# InstructDoc: 自然言語指示に基づく視覚的文書理解

田中涼太 ${ }^{1,2}$ 壱岐太一 ${ }^{1}$ 西田京介 1 齋藤邦子 1 鈴木潤 2

1 日本電信電話株式会社 NTT 人間情報研究所

2 東北大学

\{ryota.tanaka, taichi.iki, kyosuke.nishida, kuniko.saito\}@ntt.com, jun.suzuki@tohoku.ac.jp

Input: Please write a one-sentence description of what is presented in the figure.

Output: Robustness of the generalization error with respect to a Gaussian corruption noise added to the input, and the mode trained with the combination of input noise and Jacobian regularization is more robust.

図 1 InstructDoc の例. 文書画像を知識源とし，指示（intent，query and options，answer style）を基に回答を出力.
## 概要

自然言語指示に基づいて，文書を視覚的に理解するための基盤データセットである InstructDoc を提案する. InstructDoc は 12 種類の視覚的文書理解 （VDU）タスクから構成されており，多様な自然言語指示を提供した最大規模のデータセットである. さらに，大規模言語モデル (LLM) の推論能力を活用し，視覚的文書理解を行う新たなモデルを提案する. 実験により，我々のモデルは自然言語指示を基に未知の VDU タスクに適応できることを示し，従来のマルチモーダル LLM の性能を凌駕することを確認した.

## 1 はじめに

我々が扱う文書はテキストや視覚要素（図表など）を含み，多様な種類・形式が存在する. こうした実世界の文書を読解し理解する技術の実現は， $\mathrm{AI}$ 分野における重要課題の一つである。この実現に向けて，視覚的文書理解 (VDU: Visual Document Understanding）に関する数多くの研究が，文書画像質問応答 $[1,2,3]$ や情報抽出 $[4,5]$ など幅広いタスクに取り組んできた。また，モデルが画像を理解し指示に従うことで汎化能力を高める Visual Instruction
Tuning [6,7]が提案されているが，主にシーン画像内の視覚 (非テキスト) オブジェクトの理解に焦点を当てており，任意の文書及び VDU タスクを統一的に理解・遂行可能なモデルは未だ実現していない.本研究では，様々な VDU タスク・データセット（30 種類のデータセット・12 種類のタスク）をカバーする最大規模の指示チューニングデータセット InstructDoc ${ }^{1)}$ を提案する. 図 1 に示す様に, InstructDoc を構成する各データセットは，人手でアノーションされたユーザの意図や回答のスタイルなどを含む多様な指示が提供されている。また，自然言語指示を基に文書レイアウトの理解，視覚要素理解，算術演算など，様々な推論能力を必要とする。

さらに，大規模言語モデル（LLM）の推論能力を活用し，テキスト・レイアウト・視覚要素を同時に理解可能な Instruction-based Document reading and understanding model (InstructDr) を提案する。実験により，我々のモデルは自然言語指示を基に未知の VDU タスクに適応できることを示し，従来のマルチモーダル LLM（mLLM）の性能を凌駕することを確認した。また，指示チューニング済みの本モデルの重みを初期値として Fine-Tuning することで，複数の VDU タスクで世界最高性能を達成した。

1）我々のデータセットとコードはhttps://github.com/ nttmdlab-nlp/InstructDoc で公開されている

## 2 InstructDoc

## 2.1 問題定義

InstrunctDoc を構成する全てのタスクは，「自然言語指示 $T$ と文書画像 $I$ が与えられ, 回答 $A$ を出力するタスク」と定義できる. 各タスクは， 1 件以上のデータセットから構成されている. 各データセット $\mathscr{D}$ は $K$ 件の指示 $\mathscr{T}^{\mathscr{D}}=\left.\{T_{1}^{\mathscr{D}}, \ldots, T_{K}^{\mathscr{D}}\right.\}$ が付与されており， $N$ 件のインスタンス $\left.\{\left(\mathscr{T}^{D}, I_{j}, A_{j}\right)\right.\}_{j=1}^{N}$ が含まれる.また，インスタンスごとに指示文は $\mathscr{T}^{\mathscr{D}}$ から無作為に選択される。

主に zero-shot でモデルを評価する。具体的には，特定のタスク集合で学習したモデルを，以下で定義する未知のデータセットで評価する:

クと文書の種類は学習データに含まれる

が，文書の種類は学習データに含まれる
- Test Cross-Domain：データセット，タスク，文書の種類が未知

## 2.2 データ収集

ソースデータ収集 Web 上で利用可能な 30 件の VDU データセットを収集した. 従来研究 $[8,9]$ で定義されるタスク分類方法に倣って，収集したデータセットを 12 件のタスクに分類した. 詳細は，付録に掲載する。

Query 修正情報抽出タスク (FUNSD [4], CORD [5]) において, 曖昧性を含む Query に対して, Query の修正を行った（例: menu.vatyn $\rightarrow$ menu_whether_price_tax_included).

指示アノテーション各データセットに対して，人手で 5-10 件の異なる指示テンプレートを作成した. 収集された $\mathrm{QA}$ タスクは，回答の形式が複数存在する. 例えば，DocVQA [1] の回答は文書内のテキストから“スパン抽出”する形式である一方， VisualMRC [2] の回答は “要約”形式である. そのため, 図 1 で示す様に，指示文は，intent（タスクの解き方）や answer style（モデルに要求する回答形式） が含まれる様にアノテーションを行なった. また， データセットが query and options（クエリと選択肢） を提供する場合，指示テンプレートに代入する。

データ分割 InstructDocを 23 件/7 件の held-表 1 データセットの比較. IT は指示テンプレート.

in/-out データセットに分割した. 以下の held-out データセットで zero-shot 性能を測

Test $_{\text {Cross-Task: }}$ : ChartQA [10], InfoVQA [3], TabFact [11], (iii) Test Cross-Domain: DUDE [12], SlideVQA [13]. 他データセットは held-in（学習用）として使用する.

## 2.3 統計情報および従来研究との比較

表 1 に統計情報と従来の文書画像を対象とした指示チューニングデータセット $[14,15]$ との比較を示す. InstructDoc は主に3つの特長を持つ. 1) InstructDoc は複数ページの文書を含むオープンな文書種類・形式を扱った最初のデータセットである. また，OCRトークン数の標準偏差が LLaVAR（93.1 語）や DocOwl（807.2 語）と比べて大きい（1442.8 語）ことから，InstructDoc がより困難な設定であることを示している．2) InstructDoc は DocOwl と比較して 4 倍のタスク数を提供し, 最も幅広いタスクをカバーしている．3) InstructDoc はより広範な指示 （20.3 語， 7.4 件のテンプレート）及び回答スタイルに関するアノテーションを提供する。一方，DocOwl の指示は限定的であり（ 5 語， 1 件のテンプレート）, LLaVAR は自動生成された指示のみのため, 汎化性能には限界があることが報告されている.

## 3 提案モデル

提案モデル InstructDrを図 2 に示す. IstructDr は，指示チューニングされた FlanT5 [16] をLLM にもつ最先端の mLLM である BLIP-2 [17] をべースとする. InstructDrの貢献は，1) マルチモーダル情報を考慮して文書画像を LLM の表現に変換可能な Document-former を持つ点，2) 指示に基づく統一的なフォーマットによる同時学習を行う点，3) 複数ページで構成される文書を理解可能な点である.

(a) Our InstructDr for a single-page document

(b) Our InstructDr for a multi-page document

図 2 提案モデル. Document-former によって文書をエンコードし，その結果と指示文に基づいて LLM は回答を生成.

## 3.1 文書画像埋め込み

エンコーディング CLIP 画像エンコーダ [18] を利用し，文書画像を視覚特徴 $\mathbf{z}^{\text {vis }}$ にエンコー ドする。更に，文書画像に対して OCR 及びトー クナイズを適用することで, OCR 系列 $\left.\{s_{i}\right.\}_{i=1}^{M}$ と矩形領域 $\left.\{\left(x_{i}^{1}, y_{i}^{1}, x_{i}^{2}, y_{i}^{2}\right)\right.\}_{i=1}^{M}$ を獲得する. ここで, $\left(x^{1}, y^{1}\right),\left(x^{2}, y^{2}\right)$ は矩形領域の左上および右下の座標を表す。学習パラメータ $\mathbf{W}^{\{s, x, y, h, w\}}$ を用いて，

で, $\mathbf{z}_{i}^{\text {word }}=\mathbf{W}^{s}\left(s_{i}\right), \quad \mathbf{z}_{i}^{\text {bbox }}=\mathbf{W}^{x}\left(x_{i}^{1}, x_{i}^{2}\right)+\mathbf{W}^{y}\left(y_{i}^{1}, y_{i}^{2}\right)+$ $\mathbf{W}^{h}\left(y_{i}^{2}-y_{i}^{1}\right)+\mathbf{W}^{w}\left(x_{i}^{2}-x_{i}^{1}\right)$ である. 同様に， $\mathbf{W}^{s}$ を用いて，指示文を $\mathbf{z}^{\text {ins }}$ に変換する。

Document-former 文書のマルチモーダル情報を考慮し, 画像エンコーダとLLMを接続する学習可能なモジュールである Document-former 導入する。 Document-former の構造は, 複数層の cross-attention 層付き Transformer である. 文書画像の表現を LLM の空間に写像するために，学習可能な $m$ 個の $d$ 次元トークン $\mathbf{z}^{\text {token }} \in \mathbb{R}^{m \times d}$ を用いる.これらのトー クンは, cross-attention 層を通じて $\mathbf{z}^{\mathrm{vis}}$ と相互作用し, self-attention 層を通じて $\mathbf{z}^{\text {ins }}$ と $\mathbf{z}^{\text {ocr }}$ と相互作用することで， $\mathbf{z}^{\mathrm{doc}}$ を獲得する. そして, Feed-Forward Network（FFN）層を通じて，LLM の入力埋め达み次元 $d^{\mathrm{LLM}}$ を持つ $\mathbf{h}^{\mathrm{doc}} \in \mathbb{R}^{m \times d^{\mathrm{LM}}}$ に変換される.

## 3.2 マルチモーダル大規模言語モデル

文書画像埋め込みと LLM の接続 LLM は文書画像埋め込み $\mathbf{h}^{\mathrm{doc}}$ ，自然言語指示，OCR 系列を入力とし, 回答 Aを出力する. LLMのパラメータは, 指示チューニング済み FlanT5 を初期値として使用する。
マルチタスク学習全てのタスクを指示に基づく系列変換タスクとして解く. モデルを効率的に学習するために，Document-former（ $\mathbf{W}^{\{s, x, y, h, w\}}$ を含む） とその後段の FFN 層のパラメータを更新し，他のパラメータは凍結する．学習は，予測系列の負の対数尤度を最小化することで，モデルを最適化する。

複数ページ文書理解図 $2 \mathrm{~b}$ に示す様に，各ペー ジは画像エンコーダと Document-former によって個別に処理され，LLM に入力される前に mean-pooling を実施する．LLMへの OCR 入力は，各ページの OCR 系列をぺージ順に連結した。

## 4 評価実験

の 3 つの zero-shot 条件で評価する. 更に，タスクに特化した Fine-Tuning の設定でも評価する.

ベースライン Zero-shot 設定では，LLaVA [7]を含む 5 つの最先端の $\operatorname{mLLM}[14,19,17,9]$ を比較対象とする. 提案モデルのベースとなる BLIP-2 に対して, InstructDoc で学習したモデルとも比較する.回答長を制御するために，長さを制御するフレーズ (例: use 1 to 3 words to answer) を指示文に追加した. Fine-Tuning 設定では, LayoutT5 [2] を含む教師あり学習を行なった最先端の VDU モデル（Supervised SOTA models）[13,12]を比較対象とした.

評価指標各データセットの評価プロトコルに倣って, InfoVQA と DUDE では ANLS [20], SlideVQA では EM, ChartQA では Relaxed Accuracy (RAcc.), FUNSD と CORDでは entity F1 (eF1), TabFact では Accuracy (Acc.), VisualMRC では ROUGE-L を用いた. 更に，F1を zero-shot の設定で用いた。

} \\

表 3 モデル構造と指示文に関するアブレーション評価. Mean pooling をべクトル結合（concatenate）に変更した.

表 4 Held-in/outにおける Fine-tuning の性能.

## 4.1 評価結果と分析

## 提案モデルは従来の mLLM の性能を上回るか？表 2 に示す様に，我々のモデルは全データセット で最も高い性能であった。これは，InstructDoc の指示チューニングが未知の VDU データセット・タス ク・ドメインでの性能を向上させることを示して いる。一方，BLIP-2 に指示チューニングを行なっ た InstructBLIP は，BLIP-2 よりも性能が低かった。 これは，学習時に InstructBLIP が画像内にテキスト が含まれることを想定していないことが原因だと 考えられる. InstructDoc で学習された BLIP-2 は, InstructDr と比較して性能が劣っており, InstructDr の方が多様な実世界文書の理解に適していることを 示している.これは，表 3 に示した結果からも言え る. Document-former やレイアウト情報, 複数ペー ジの情報集約方法が有効であることを確認した。

図 3 学習で用いたタスク数と性能.(.) はタスク数.

指示文は性能向上に寄与するか？ 表 3 に示す様に，指示文を除去した場合 (入力は文書画像とquery and options のみ), zero-shot 性能が低下した. さらに，我々がアノテーションを行なったクエリの修正や回答スタイルは，性能の向上に寄与した.

タスクの多様性は性能向上に寄与するか？図 3 に示す様に，タスク数の増加に伴い, zero-shot 性能が向上することが確認できる.

提案モデルの重みはタスク特化学習を行う初期値として有効か? 表 4 に, held-in（VisualMRC） と held-out（DUDE，SlideVQA）タスクにおける指示チューニング済み InstructDr の Fine-Tuning 性能を示す. InstructDr は 3 つのデータセットにおいて世界最高性能を達成し, タスク特化学習のための初期値として優れていることが検証された。

## 5 おわりに

自然言語指示に基づくVDU を実現するための大規模指示チューニングデータセット InstructDocを提案した. また，LLM の推論能力を活用し，視覚的文書理解を行う InstructDr を提案した. 提案モデルは様々な VDU データセット・タスク・ドメインに対して，指示に基づいて汎化することを確認した. 視覚表現された文書を基に QAを行う技術や Web 検索など産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Minesh Mathew, Dimosthenis Karatzas, and C. V. Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[2] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[3] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and C.V. Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[4] Guillaume Jaume, Hazim Kemal Ekenel, and Jean-Philippe Thiran. Funsd: A dataset for form understanding in noisy scanned documents. In ICDARW, 2019.

[5] Seunghyun Park, Seung Shin, Bado Lee, Junyeop Lee, Jaeheung Surh, Minjoon Seo, and Hwalsuk Lee. Cord: A consolidated receipt dataset for post-ocr parsing. In Workshop on Document Intelligence at NeurIPS, 2019.

[6] Zhiyang Xu, Ying Shen, and Lifu Huang. MultiInstruct: Improving multi-modal zero-shot learning via instruction tuning. In ACL, pp. 11445-11465, 2023.

[7] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. arXiv:2304.08485, 2023.

[8] Jason Wei, Maarten Bosma, Vincent Y Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In ICLR, 2021.

[9] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards general-purpose vision-language models with instruction tuning. arXiv:2305.06500, 2023.

[10] Ahmed Masry, Xuan Long Do, Jia Qing Tan, Shafiq Joty, and Enamul Hoque. ChartQA: A benchmark for question answering about charts with visual and logical reasoning. In ACL Findings, pp. 2263-2279, 2022.

[11] Lukasz Borchmann, Micha 1 Pietruszka, Tomasz Stanislawek, Dawid Jurkiewicz, Micha 1 Turski, Karolina Szyndler, and Filip Graliński. Due: End-to-end document understanding benchmark. In NeurIPS, 2021.

[12] Jordy Landeghem, Rubén Tito, Lukasz Borchmann, Micha 1 Pietruszka, Pawe 1 Józiak, Rafal Powalski, Dawid Jurkiewicz, Mickaël Coustaty, Bertrand Ackaert, Ernest Valveny, et al. Document understanding dataset and evaluation (dude). arXiv:2305.08455, 2023

[13] Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, and Kuniko Saito. Slidevqa: A dataset for document visual question answering on multiple images. In AAAI, pp. 1363613645, 2023.

[14] Yanzhe Zhang, Ruiyi Zhang, Jiuxiang Gu, Yufan Zhou, Nedim Lipka, Diyi Yang, and Tong Sun. Llavar: Enhanced visual instruction tuning for text-rich image understanding. arXiv:2306.17107, 2023 .

[15] Jiabo Ye, Anwen Hu, Haiyang Xu, Qinghao Ye, Ming Yan, Yuhao Dan, Chenlin Zhao, Guohai Xu, Chenliang Li, Junfeng Tian, Qian Qi, Ji Zhang, and Fei Huang. mplug-docowl: Modularized multimodal large language model for document understanding. arXiv:2307.02499, 2023.

[16] Shayne Longpre, Le Hou, Tu Vu, Albert Webson, Hyung Won Chung, Yi Tay, Denny Zhou, Quoc V Le, Barret Zoph, Jason Wei, et al. The flan collection: Designing data and methods for effective instruction tuning. arXiv:2301.13688, 2023.

[17] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. BLIP2: bootstrapping language-image pre-training with frozen image encoders and large language models. In ICML, 2023.

[18] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-
8763, 2021.

[19] Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, and Mohamed Elhoseiny. Minigpt-4: Enhancing vision-language understanding with advanced large language models. arXiv:2304.10592, 2023.

[20] Ali Furkan Biten, Rubèn Tito, Andrés Mafla, Lluís Gómez i Bigorda, Marçal Rusiñol, C. V. Jawahar, Ernest Valveny, and Dimosthenis Karatzas. Scene text visual question answering. In ICCV, pp. 4290-4300, 2019.

[21] Štěpán Šimsa, Milan Šulc, Michal Uřičář, Yash Patel, Ahmed Hamdi, Matěj Kocián, Matyáš Skalickỳ, Jiří Matas, Antoine Doucet, Mickaël Coustaty, and Dimosthenis Karatzas. DocILE benchmark for document information localization and extraction. arXiv:2302.05658, 2023.

[22] Hongbin Sun, Zhanghui Kuang, Xiaoyu Yue, Chenhao Lin, and Wayne Zhang. Spatial dual-modality graph reasoning for key information extraction. arXiv:2103.14470, 2021

[23] Zheng Huang, Kai Chen, Jianhua He, Xiang Bai, Dimosthenis Karatzas, Shijian Lu, and CV Jawahar. Icdar2019 competition on scanned receipt ocr and information extraction. In ICDAR, pp. 1516-1520, 2019

[24] Xingyu Chen, Zihan Zhao, Lu Chen, Jiabao Ji, Danyang Zhang, Ao Luo, Yuxuan Xiong, and Kai Yu. Websrc: A dataset for webbased structural reading comprehension. In EMNLP, pp. 41734185, 2021.

[25] Anand Mishra, Shashank Shekhar, Ajeet Kumar Singh, and Anirban Chakraborty. Ocr-vqa: Visual question answering by reading text in images. In ICDAR, pp. 947-952, 2019

[26] Oliver Tüselmann, Friedrich Müller, Fabian Wolf, and Gernot A Fink. Recognition-free question answering on handwritten document collections. In ICFHR, pp. 259-273, 2022.

[27] Fengbin Zhu, Wenqiang Lei, Fuli Feng, Chao Wang, Haozhou Zhang, and Tat-Seng Chua. Towards complex document understanding by discrete reasoning. In ACMM, pp. 4857-4866, 2022.

[28] Pan Lu, Liang Qiu, Jiaqi Chen, Tony Xia, Yizhou Zhao, Wei Zhang, Zhou Yu, Xiaodan Liang, and Song-Chun Zhu. Iconqa: A new benchmark for abstract diagram understanding and visual language reasoning. In NeurIPS, 2021.

[29] Aniruddha Kembhavi, Mike Salvato, Eric Kolve, Minjoon Seo, Hannaneh Hajishirzi, and Ali Farhadi. A diagram is worth a dozen images. In ECCV, pp. 235-251, 2016.

[30] Pan Lu, Swaroop Mishra, Tony Xia, Liang Qiu, Kai-Wei Chang, Song-Chun Zhu, Oyvind Tafjord, Peter Clark, and Ashwin Kalyan. Learn to explain: Multimodal reasoning via thought chains for science question answering. In NeurIPS, 2022

[31] Ting-Yao Hsu, C Lee Giles, and Ting-Hao Huang. SciCap: Generating captions for scientific figures. In EMNLP Findings, pp. 3258-3264, 2021.

[32] Bryan Wang, Gang Li, Xin Zhou, Zhourong Chen, Tovi Grossman, and Yang Li. Screen2words: Automatic mobile ui summarization with multimodal learning. In UIST, pp. 498-510, 2021

[33] Adam W Harley, Alex Ufkes, and Konstantinos G Derpanis. Evaluation of deep convolutional nets for document image classification and retrieval. In ICDAR, pp. 991-995, 2015.

[34] Minghao Li, Yiheng Xu, Lei Cui, Shaohan Huang, Furu Wei, Zhoujun Li, and Ming Zhou. DocBank: A benchmark dataset for document layout analysis. In COLING, pp. 949-960, 2020.

[35] Birgit Pfitzmann, Christoph Auer, Michele Dolfi, Ahmed S. Nassar, and Peter Staar. Doclaynet: A large human-annotated dataset for document-layout segmentation. In KDD, p. 3743-3751, 2022.

[36] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017

[37] Srikar Appalaraju, Peng Tang, Qi Dong, Nishant Sankaran, Yichu Zhou, and R Manmatha. Docformerv2: Local features for document understanding. arXiv:2306.01733, 2023.

[38] Xi Chen, Josip Djolonga, Piotr Padlewski, Basil Mustafa, Soravit Changpinyo, Jialin Wu, Carlos Riquelme Ruiz, Sebastian Goodman, Xiao Wang, Yi Tay, et al. Pali-x: On scaling up a multilingual vision and language model. arXiv:2305.18565, 2023.

[39] Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, and Furu Wei. Layoutlmv3: Pre-training for document ai with unified text and image masking. In ACMM, pp. 4083-4091, 2022.

表 5 Zero-shot 性能。*は異なる split での評価結果を示す。

} \\

You must extract the answer to the question "What was the total forecast for University of Minnesota operations and maintenance for 2010-2011?" after (...) or summing values. If you could not answer the question, the answer is 'none'.

ChatGPT: none

BLIP-2: - $\$ 220,590$

InstructDr: $1,077,755$

図 5 生成例. 出力は correct/sufficient と incorrect/insufficient な回答に大別できる。 (...) は省略.

## A 付録

ソースデータ収集図4 で示す様に，VDUに関する 12 種類のタスク・ 30 件のデータセットを収集した.
- Key Information Extraction (KIE): 文書内の各単語を意味ラベルにアサインするタスク [21, 4, 22, 5, 23].
- Single-page QA: 一ページ文書のテキストルイアウトに関する QA タスク $[2,24,25,1,26]$.
- Single-page QA w/ Discrete Reasoning: 算術推論（四則演算，ソート，カウント）が必要な QA タスク [27].
- Single-page QA w/ Visual Reasoning: 物体検出や常識理解など視覚推論が必要な QA タスク [28, 29, 30, 29].
- Single-page QA w/ Discrete \& Visual Reasoning: 算術推論と視覚推論が必要な QA タスク $[3,10]$
- Multi-page QA w/ Multi-hop \& Discrete \& Visual Reasoning: 複数ページの文書に対して，マルチホップ推論，算術推論，視覚推論が必要な QA タスク $[13,12]$.
- Document NLI: 文書の含意関係認識タスク [11]

$\cdot$Dialogue: 文書を基に対話を行うタスク [14].
- Captioning: 文書の内容を説明するタスク $[31,32]$.
- Classification: 文書分類タスク [33].
- Document Layout Analysis (DLA): 文書の要素を特定するタスク $[34,35]$
- Image-Text Matching (ITM): OCR と画像が対応している否かを予測するタスク $[33,1]$.

実装従来研究 [8] に従い，各データセットについて最大 $5 \mathrm{k}$ インスタンスのサンプリングを行なった. AdamW [36] を重み減衰 0.05 で使用した. 学習可能なトー クンの数 $m$ を 32 に設定した. モデル入力の画像は全て $224 \times 224$ にリサイズした. 8 台の A100 (40G) で 3 エポックの学習を行なった. 各データセットが OCR を提供していない場合は，Google Vision API を用いて抽出した。

## API ベースの LLM や教師あり学習モデルと比べ て性能はどうか？ 表 5 に示す様に，提案モデルは 全データセットで ChatGPT の性能を上回った. さらに, InstructDr は, 複数の推論能力（算術推論, 視覚推論, マル チホップ推論など）を必要とする DUDE や SlideVQA デー タセットにおいて，教師あり SOTA モデル $[37,38,39,12]$ や GPT-4 と競合する性能を達成した. これは，我々のモ デルが InstructDoc を用いた指示チューニングにより，多様な能力を効果的に学習できることを示している。

生成例生成例を図 5 に示す. ChatGPT はテキスト情報しか考慮できないため不正解となった. BLIP-2 は構造化されたテキストを理解できないため項目の抽出に失敗しているのに対し，InstructDr は指示を理解し文書のマルチモーダル情報を考慮して項目の抽出に成功している.


# JDocQA: 図表を含む日本語文書質問応答データセットによる 大規模言語モデルチューニング

大南英理 1,2 栗田修平 2 宮西大樹 3 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所 ${ }^{3}$ 国際電気通信基礎技術研究所
\{onami.eri.ob6,taro\}@is.naist.jp shuhei.kurita@riken.jp miyanishi@atr.jp

## 概要

実用的な文書にはテキストだけでなく様々な図表等が含まれる。このような文書への高精度な質問応答を実現するためには，視覚情報とテキスト情報の両方の理解が必要となる. 本研究では図表を含む日本語文書をもとにして，視覚情報とテキスト情報の両方を参照する質問応答データセット JDocQAを提案し, 複数の日本語大規模言語モデルや画像を入力とするモデルを使用して，データセットのベンチマーキングを行った. その結果，JDocQAを用いて大規模言語モデルのチューニングを行うことで，図表を含む日本語文書の質問応答課題の性能を向上することができた. また，文書中の情報から解答できない質問を学習することにより，モデルのハルシネーション抑制に有効であることを確認した.

## 1 はじめに

視覚的なコンテンツとテキストとの双方を含む文書への質問に解答する課題は, 文書画像質問応答 (Document VQA) として注目を集めている $[1,2,3,4]$. また，学校の理科教材として使われるダイアグラムにアノテーションや質問応答を付与した AI2D [5] や，中学校理科テキストブックへの質問応答 TQA [6] などを筆頭に，グラフ読取，幾何学，科学などの分野で，図表やテキストを入力とした複雑な推論を志向した研究とも深く関連する $[7,8,9,10,11]$. 図表を含む文書は社会のあらゆる場面で使用されており，実応用としても非常に重要である。昨今は, OpenAI GPT [12] に代表される大規模言語モデル（LLM）やマルチモーダルな入力が可能なモデル $[13,14]$ が急速に発展し, 社会実装が進むに伴い，様々なチューニング用や評価用のテキストデータセットが提案されてきている $[15,16,17]$. しかしながら，テキスト情報だけで
なく視覚的な情報を必要とする質問応答のチューニング用データセットはまだ十分でなく，特に英語以外の言語での視覚的な公開データセットは，大学入試分野 [18] などを除けば非常に稀有な存在である.

本研究では，グラフ，表，地図，日本語の縦書き横書き混在等の視覚的な情報とテキスト情報の両方を参照しなければ解答できない質問応答データセット JDocQA を提案する。JDocQA は，オープンアクセス可能な PDF 形式の文書で構成され, 経済,教育，農業，歴史，文化など多岐にわたる分野を網羅し，レポート，スライド，パンフレット，Web サイト，縦書き等の様々な形式の文書を提供するデー タセットである。提案する JDocQA は, 日本語文書に特化した質問応答のチューニング用データセットしても使用することができ，高性能な日本語質問応答モデルの作成が期待できる. また，本研究では，LLM が事実に基づかない情報を生成するハルシネーションに対処するため，文書中の情報だけでは解答できない質問を全データセットの 1 割程度作成し, このデータを使って追加で学習する方法を提案する. 複数の日本語 LLM や画像を大力とするマルチモーダル LLM を使用して，JDocQA のベンチマーキングと提案手法の有効性を検証する.

本論文の貢献は以下のようにまとめられる. (i) テキストと図・表・縦書きなどの視覚情報の両方を理解しなければ解答できない質問応答データセット JDocQA を提案した, (ii) 日本語対応 LLM JJDocQA を学習させることで， ゼロショットの OpenAI GPT と比べ高い性能を示すことを確認した，(iii) LLM のハルシネーションを防ぐため, 文書中の情報では解答できない質問（解答不能問題）を作問した，(iv)解答不能問題を含む全データを学習させた場合と，解答不能問題を含まないデータで学習させた場合とを比較し，前者がハルシネーションの抑制に有効であることを確認した。

図 1 質問形式毎の質問，解答および解答根拠範囲（赤色矩形領域）アノテーションサンプル.

## 2 JDocQA データセット

## 2.1 タスク

(1) 質問に対して「はいんいえ」で解答するはい/ いいえ形式，(2) 本文中から事実を抜き出して解答する事実抽出形式，(3) 簡単な四則演算や単位を含めて数字で解答する数量形式，(4) 質問に対してある程度の長さの文章を作成して解答する自由記述形式の 4 つの形式に沿った質問を作成した.また， 4 つの質問形式とは独立に複数ページを参照しなければ解答できない質問および文書中の情報では解答できない質問 (解答不能問題)を作成した.

## 2.2 データ収集

ドキュメント収集日本の官公庁が公開しているスライドやレポート，地方自治体のパンフレット，国立国会図書館デジタルライブラリに保存されているウェブサイト，から PDFファイルを収集した.収集した文書は，レポート，スライド，パンフレット，ウェブサイトの 4 つに分類される. これらの文書のうち，表，グラフ，図，絵などの視覚的な情報理解が重要なものを人手で選択した。

テキスト標準化モデルに入力するテキストを取得するため，PDF に埋め込まれた文字の抽出および $\mathrm{OCR}^{1)}$ によるテキストの取得を行った。モデルの入力には，原則的に埋め込み文字の抽出を使用し，埋め込み文字が取得できない場合，例外的に OCR で取得したテキストを用いた。

アノテーション計 43 名のアノテーターが，テキスト情報と視覚情報の両方を使用しなければ解答できない質問とその解答，解答根拠の矩形領域を作成した。また，解答不能問題を作成し，正解解答を 「本文中に記載がありません」とした。

質問・解答データ標準化句読点と句点の有無や全角と半角，語尾の「です」「ます」などの差異が存在したため，ルールベースで標準化を行った。

画像入カデータモデルの入力として, 同じピクセルで質問の該当ページ全体の画像データ，解答の根拠を囲う矩形領域内の画像データ，白画像データの 3 種類を準備した.

## 2.3 統計

合計 5,508 個の PDF ファイルに対して 11,600 件の質問応答ペアを作成した. 図 1 は，4つの質問形式で作成された質問解答ペアの例であり，表 1 は，作成したデータセットの統計である。質問解答ペアは必ず参照する視覚情報を含み，図 2 は，視覚情報別の質問応答件数を表す。学習，検定，テストセットにそれぞれ 9,290 件，1,134 件，1,176 件の質問応答が含まれるようにデータセット全体を分割した。同一PDF ファイルは必ず同一の分割に出現する.

## 3 実験

## 3.1 モデル

テキストのみの入カモデル提案データセットの有用性を評価するため，2023 年 9 月までに公開されていた日本語に対応しかつ 13B までのパ

表 1 ドキュメントカテゴリ別の統計量，質問解答種別数，複数ページにわたる質問応答件数，解答不能問題件数.

ラメータサイズの代表的な LLMを選定し，学習データによるチューニングおよび評価を行った。具体的には, rinna japanese-gpt-4B-8k, rinna japanesegpt-1B, OpenCALM-7B, weblab-10B, PLaMo-13B, StabilityAI Japanese-StableLM-Base-Alpha-7B, StabilityAI Japanese-StableLM-Instruct-Alpha-7B および Llama-27Bを使用した。 入力トークンサイズは，公平性および簡単のため基本的に 1024 トークンとし，トー クン数を変更した際の挙動を調べるため, rinna japanese-gpt-4B-8k を 2048，4096，および 8192 トー クンで学習させた.

マルチモーダル入カモデル日本語に対応しかつテキストと画像の両方を入力できるマルチモー ダルな LLM を選定し, 評価を行った. 具体的には Stability AI Japanese-StableLM-Instruct-Alpha-7B を使用した. 入力画像には，PDFの 1 ページ全体の画像，矩形の解答根拠箇所を結合した画像，白画像の 3 種類を用いた. 入力画像サイズは $800 x 600$ ピクセルに統一した. モデルの入力制限のため, 入力トー クン数は 512 トークンとした.

OpenAI GPT ベースライン OpenAI GPT の性能と比較するため, gpt-3.5-turbo-16k と gpt-4 を使用した2). GPT モデルについては学習セットを利用したモデルのチューニングは行わず，なるべく精度のよいプロンプトテンプレートを人手で作成した上で， ゼロショットでの評価を行った.

## 3.2 評価方法

4 つの質問形式のうち，はいいいえ，事実抽出，数量の質問は，ルールベースで句読点・句点の違いやですますなどの語尾の違いを除去し，正解解答との一致を調査した. 正解解答との一致だけでなく正解解答に含まれる要素があれば加点する方式でも評価を行ったが，スコアに大きな差がなかったため正解との一致による評価とした. 自由記述形式の質問は，解答の平均長が 65.97 文字と長いため, $\mathrm{MeCab}$ でトークン化された BLEU スコアを使用した。

## 3.3 実験設定

データセットには解答不能問題が含まれるため, LLM がハルシネーションを起こすことが予想される. そこで，学習段階で解答不能問題のデータを含める場合と含めない場合の 2 通りの学習を行い，評価段階でもテストセットに解答不能問題を含める場合と除外する場合の 2 通りのテストを行った.

## 4 結果

テキストのみを入力するモデルの実験結果は表 2，テキストおよび画像を入力するモデルの実験結果は表 3 の通りである.

## 4.1 全ての質問応答で学習した場合

解答不能問題を含めた全ての学習データで学習し，テストセットに解答不能問題を含む場合と含まない場合の 2 通りでテストを行った. 表 2 にて，解答不能問題を含む全てのデータで学習をした場合，特にパラメータ数の大きいモデルにおいて, OpenAI の gpt-3.5, gpt-4 モデル以上の精度が出ることがわかる. 解答不能問題ありでテストした場合（表 2 左） となしでテストした場合（表 2右）では，精度に同じ傾向が見られるため，全データで学習した場合の振る舞いが似ていることがわかる。また、Llama-2-7B は StableLM の 7B モデルと比較した場合，解答不能問題での精度に伸び悩む傾向があった.

## 4.2 解答不能問題を除いて学習した場合

学習時に解答不能問題を除いたデータで学習し,解答不能問題を含む場合と含まない場合の 2 通りでテストを行った．まず，ほぼ全てのモデルで，全データで学習した場合の方が，解答不能問題を除くデータで学習した場合よりも精度が良いことがわかる.これは，モデルがハルシネーションを起こすためであり，学習データに正解が解答できない質問を入れることは，ハルシネーションの抑制に寄与すると言える。

表 2 各チューニング済みモデルおよび OpenAI GPT の，はいんいえ(Y/N), 事実形式 (Fact), 数量形式 (Num), 自由記述形式 (Free)，およびそれらの重み付き平均 (Avg.) での結果を示す.

表 3 マルチモーダル入力を行ったモデルの結果.

## 4.3 マルチモーダルモデル

表 3 に詳細な結果を示す. 元となったモデルの入カトークン数は 512 が上限のため，この制限が性能を低下させた恐れがある. 白画像の精度と他の 2 種類のモデルの精度がまだあまり差がなく，この対策として，事前学習も含めた日本語のマルチモーダル基盤モデルの拡充が有効であると考えられる.

## 4.4 トークンの長さによる結果への影響

JDocQA にはコンテクスト長が長い文書が含まれているが，入力トークンの最大長を超える場合はその冒頭部分のみを入力している。この影響を調べるため, rinna bi-4B-8k モデルを用いて 2,048，4,096,

表 43 段階の異なるトークン入力最大長と結果への影響 8,192 の 3 つの入力トークン最大長で学習および評価し性能を比較した結果を表 4 に示す. 入力トークン最大長が増加した場合にモデルの性能がやや改善する傾向が見られた。

## 5 結論

日本語ドキュメントに対する質問応答タスクであるJDocQA を提案し，テキスト情報だけでなく，視覚情報を用いなければ解答できない質問応答タスクを提案した。このタスクは，文書内の情報からは解答することができない質問を含んでおり，本文中に解答のない質問を含めてモデルの学習を行うことで LLM の信頼性向上に寄与する可能性が示された.

## 謝辞

本研究は JST さきがけ JPMJPR20C2，および JSPS 科研費 JPMJPR22P8 の助成を受けたものです. JDocQA データセットのアノテーションはその一部を株式会社バオバブに実施いただきました。

## 参考文献

[1] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and C. V. Jawahar. Infographicvqa. In 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp. 2582-2591, 2022

[2] Xingyu Chen, Zihan Zhao, Lu Chen, JiaBao Ji, Danyang Zhang, Ao Luo, Yuxuan Xiong, and Kai Yu. WebSRC: A dataset for web-based structural reading comprehension. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4173-4185, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, and Kuniko Saito. Slidevqa: A dataset for document visual question answering on multiple images. In AAAI, 2023

[5] Aniruddha Kembhavi, Mike Salvato, Eric Kolve, Minjoon Seo, Hannaneh Hajishirzi, and Ali Farhadi. A diagram is worth a dozen images. In Computer Vision - ECCV 2016, pp. 235-251, Cham, 2016. Springer International Publishing.

[6] Aniruddha Kembhavi, Minjoon Seo, Dustin Schwenk, Jonghyun Choi, Ali Farhadi, and Hannaneh Hajishirzi. Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017.

[7] Jayant Krishnamurthy, Oyvind Tafjord, and Aniruddha Kembhavi. Semantic parsing to probabilistic programs for situated question answering. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 160-170, Austin, Texas, November 2016. Association for Computational Linguistics.

[8] Mrinmaya Sachan, Kumar Dubey, and Eric Xing. From textbooks to knowledge: A case study in harvesting axiomatic knowledge from textbooks to solve geometry problems. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 773-784, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Kushal Kafle, Scott Cohen, Brian Price, and Christopher Kanan. Dvqa: Understanding data visualizations via question answering. In CVPR, 2018.
[10] Shailaja Keyur Sampat, Yezhou Yang, and Chitta Baral. Visuo-linguistic question answering (VLQA) challenge. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4606-4616, Online, November 2020. Association for Computational Linguistics.

[11] Pan Lu, Swaroop Mishra, Tony Xia, Liang Qiu, Kai-Wei Chang, Song-Chun Zhu, Oyvind Tafjord, Peter Clark, and Ashwin Kalyan. Learn to explain: Multimodal reasoning via thought chains for science question answering. In The 36th Conference on Neural Information Processing Systems (NeurIPS), 2022.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020 .

[13] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards generalpurpose vision-language models with instruction tuning, 2023.

[14] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In NeurIPS, 2023.

[15] Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi. Cross-task generalization via natural language crowdsourcing instructions. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3470-3487, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Multitask prompted training enables zero-shot task generalization. In International Conference on Learning Representations, 2022.

[17] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[18]東ロボプロジェクト. ロボットは東大に入れるか. In https://21robot.org.

## 本研究の制約

本研究では，代表的な LLM を JDocQA で学習させた場合の精度を報告した. しかし，これらの結果はあくまで JDocQA による学習との相性による可能性もあり，必ずしも学習前の LLM の性能を示すものではないと考える. また，ゼロショットでの質問応答性能はプロンプトに大きく依存するため, 本研究では OpenAI GPT のゼロショット性能を提示するに留めた。

## 付録

データセットの追加の統計量視覚情報カテゴリ別の質問応答件数を図 2 に，質問応答カテゴリ別のテキスト統計量を表 5 に示す. 表 5 から，JDocQA の入力データは比較的長めのテキストが多い.

図 2 視覚情報カテゴリ別の質問応答件数

Train dataset comparison

$
れる 。
$

図 6 Stable-LM モデルにおける自由記述形式出力結果の実験条件による比較解答不能問題も含まれる.

表 5 質問応答カテゴリ別の本文，質問，解答の平均文字数.

人手評価表 6 は，人手評価の結果を示す.テストケースの中の 100 件の質問応答をサンプルとして人手評価を行った. テキストを入力するモデルから PLaMo-13B と StableLM Instruct-Alpha-7B, テキストと画像を入力するモデルから StableLM InstructBLIP-Alpha の白画像を入力した場合を評価した. アノテーターは，アノテーションされた答えが生成結果に含まれているかどうか，間違った答えが生成結果に含まれていないかどうかの 2 つの観点に対して，それぞれ 0-2 点をつけて採点を行った.

表 6 サンプルセットにおける人手評価結果. 学習セット全体で学習したモデルを使用し，サンプルセットには
Q:市税などの滞納により差し押さえをした自動車を公売しますが、売却区分番号15J001はどのような自動車ですか?/ The vehicle seized due to tax delinquent will be sold at a public auction. Please explain the feature of ID $15 \mathrm{~J} 001$.

A:売却区分番号15J001は、トヨ多の「フロボックス」です。初年度登録は平成14年で、走行距離(平成27 年6月30日時点)が124,344kmで、車検有効期限が平成27年10月13日の自動車です。/ ID $15 \mathrm{~J} 001$ is TOYOTA PROBOX. Register date was 2002, total mileage was $124,344 \mathrm{~km}$ and inspection expires 2015 Oct $13^{\text {th }}$

StableLM InstBLIP-AI (img):トヨタ・チロボックスです。平成14年124,344kmの走行距離です。 It is TOYOTA PROBOX. Mileage in 2002 was $124,344 \mathrm{~km}$.

StableLM Inst.-Al.-7B:本文中に記載がありません

Not mentioned in the text

StableLM Base-Al.-7B:トヨタ゚ロボックス平成14年124,344kmです。 TOYOTA PROBOX 2002 124,344km.

Q: 2016年のイランの実質GDPと消費者物価指数の推移に影響した全要因は何ですか / What is the main factor affected to the Iran's actual GDP and consumer price index in 2016?

A:本文中に記載がありません/Not mentioned in the text

StableLM Inst.-Al.-7B (trained with all instances)本文中に記載がありません/ Not mentioned in the text

StableLM Inst.-Al.-7B (trained without unanswerable questions): 2016年はイランのGDPは18\%もの成長を記録し、インフ率も低下した。しかし、2018年の米国の制裁復活が影響することで、IMEはGDP成長率が2018年に-1\%、2019年には-4\%に落ち込み、インフル率は上昇する。/ In 2016, Iran's GDP recorded an impressive growth of $18 \%$, and the inflation rate decreased. However, the re-imposition of U.S. sanctions in 2018 had a significant impact, causing Iran's GDP growth rate to plummet to $-1 \%$ in 2018 and further to $4 \%$ in 2019 , while inflation rates rose.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 絵本を題材とするクイズの生成と評価

水上 雅博 $\dagger$ 藤田早苗 $\dagger$ 小林哲生 $\dagger$
†NTTコミュニケーション科学基礎研究所
\{masahiro.mizukami, sanae.fujita, tessei.kobayashi\}@ntt.com

## 概要

特定のドメインにおける知識量や理解度の確認を楽しく行うために，しばしばクイズが用いられる.クイズには高い需要がある一方で，クイズの作成は，クイズの題材となるドメインの理解だけでなく，クイズの目的や場面に応じた様々な明示的・暗示的条件を考慮する必要があり，作業のコストが高いという問題がある. 本研究では絵本を題材とした子ども向けクイズの自動生成に向けて，クイズデー タの人手作成，複数条件でのインストラクションの生成, LLM の追加学習を行い，インストラクションごとのクイズ生成の性能を評価することで，どのような情報がクイズ生成に有益であるか調査した。

## 1 はじめに

絵本を読むことは，子どもの言語発達と情操教育の両面で効果が期待できる [1]. NTT ではこれまで，子どもの興味や発達にあった絵本の推薦に取り組んできたが，絵本を読んだ後にも，内容に関するクイズを出題したり感想を話し合えるシステムを提供することで，理解度を測ると同時に読書への意欲を高めることを目指している.

特にクイズは，理解度を確認する有効性が示されており [2], 楽しみながら理解度の確認ができるという点で有用である. しかし, クイズを人手で作成するためには，実際に絵本を読み，クイズとして適切な問題文と回答を作成する必要があるため，高い人的コストを要する．そのため，クイズの自動生成 （作問）技術が望まれている。

クイズの自動作問サービスは既に存在するものの, クイズの作問では「場面にあった主題と様々な明示的・暗示的な条件を満たす必要がある」と言われている [3]. 本稿が目指す「子どもの絵本に対する理解度を確認するためのクイズ」においては，クイズの主題が絵本であるだけでなく，クイズで問う内容は絵本の内容に忠実かつ限定されて
いる必要がある. また，クイズの問題文や回答が， その絵本を読み終わったばかりの子どもに対して適した難易度である必要がある．例えば，日本語の QA データセット JAQKET[4] には, 絵本『ぐりとぐら』[5] に関するクイズが 4 問あるが，『ぐりとぐら』を読み終わった子どもへのクイズとしては，“おりょうりすることとたべることが好きな 2 匹の野ねずみの生活を描いた、中川李枝子（なかがわ・りえこ）の絵本シリーズは何でしょう？”よりも，“中川李枝子と山脇百合子による絵本『ぐりとぐら』で、ぐりとぐらが卵から作ったお菓子は何？” の方が適切だと考えられる。さらに言えば，『ぐりとぐら』に関するクイズだとわかっている場合には，下線部だけを出題すれば十分である.

これを踏まえ，本稿ではまず，子どもが絵本を読んだ後に回答することを想定したクイズデータを人手で作成し，インストラクションチューニング用のデータに変換する．その際，絵本のタイトル，本文や想定読者の年齢情報を含めるかどうかなど，条件を変えてインストラクションデータを作成し，LLM の追加学習を行う. 追加学習で得られたモデルを用いて，評価用の未知の絵本に対するクイズの生成を行い，クイズの品質を評価することで，インストラクションに含まれる情報がクイズの生成に与える影響を調査する。

## 2 関連研究

クイズの自動作問の研究では，AI 王1)における問題作成部門や，橋本らによる早押しクイズのパラレル問題の自動生成 [6], 折原らによる時事問題を題材とした作問作業支援 [3] がある. また， QuizGenerator ${ }^{2}$ や Questiogen $\left.{ }^{3}\right)$ といったクイズ生成サービスも提供されている. クイズの自動作問に関連する研究としては，Q\&A の自動生成の研究があ

り，製品マニュアルから QAを生成する取り組み [7] などがなされている.

具体的な生成手法については，ルールベースで質問を生成する方法 [8] やテンプレートを用いる方法 [7]，Encoder-Decoder や T5 などの NN を用いる方法 $[9,10,11,12]$ など様々な手法が提案されている.

先行研究の多くは，出題の対象者として大人を想定している. 本研究は絵本を題材とする子ども向けのクイズの生成を目指しており，想定読者の年齢を考慮した生成を行うなどの点が異なる.

## 3 クイズデータの作成

絵本 150 冊（うち 32 冊は児童書）に対し，人手でクイズを作成した。対象絵本は，図書館の推薦絵本, 教科書掲載作品, 課題図書 $\left.{ }^{4}\right)$ などから選定した. 各絵本には，本文テキストから自動推定した対象年齢 (以下，age) が付与されている [13].

クイズの作成者は著者 2 人を含む 3 人で，実際に絵本を読んだり内容を確認しながら，それぞれが独立にクイズを作成した。作成したクイズの例を表 1 に示す. 作業の結果，914 問，1 冊平均 6.1 問のクイズが作成された. さらに，クイズの情報源となる絵本の本文がある場合，本文のテキスト (以下，ref) をぺージ単位で抽出した. なお，refを抽出できなかったクイズには，絵をみて回答する必要があるものや，絵本全体を読まないと回答できないもの，絵本に出てこないものを回答させるもの等があった.

以降の実験では，refを抽出できたクイズ (113 冊 535 問)を用いる. 人手で作成したクイズは誤答 3 つを含む 4 択問題だったが，本稿では問題文 (以下，question) と正解の回答 (以下，answer)のみを用いる，以降，タイトル (title)，本文 (ref)，対象年齢 (age) の情報と合わせてクイズデータと呼ぶ.

## 4 インストラクションの生成

3 節で作成したクイズデータから，インストラクションチューニング用のデータを生成した。インストラクションでは，問題文と回答の両方を同時に生成するのではなく，与えられた任意の単語が回答となるような問題文を生成するようにした。これは， (1) 回答となる語を何らかの基準（単語親密度 [16] や学習指導要領など）で選択できるようにする，(2)生成したクイズの人手評価およびクイズの答え合わせを簡略化する，という二つの目的がある。

本稿では，どのようなインストラクションが適切かを調查するため, クイズデータ (title,ref,age)を網羅的に組み合わせてインストラクションを生成した。すなわち，利用可能な情報の全ての組み合わせ $S=\{()$ ,(title),(ref),(age),(title,ref),..,(title,ref,age)\} を用意し，ある組み合わせ $s \in S$ のインストラクションinstを次のような手順で作成した。なお，手順中の $\{$ title $\},\{$ ref $\},\{$ age $\},\{$ question $\},\{$ answer $\}$ は, それぞれクイズデータの中身である。

1. if title in $s:$ inst $+=$ “絵本「\{title $\}\lrcorner$ について、”

2. if ref in $s$ : inst += “次に入力する本文を読んだ上で、”

3. inst $+=$ “「\{answer $\}\lrcorner$ が答えになる”

4. if age in $s:$ inst $+=$ “\{age $\}$ 向けの"

5. inst $+=$ “クイズ（問題文）を考え、応答として出力してください”

6. if $r e f$ in $s$ : inst += “\#\#

7. inst $+=$ “\#\#\#出力 :"

8. output $=$ "\{quiz\}"

加えて, 問題文の生成と同時に「回答の生成」も可能なマルチタスクモデルの学習に用いるため，与えられた問題文に回答するインストラクションも作成した. 具体的には，手順 3 を inst $+=$ “「\{question $\} \perp$ という”，手順 5 をinst $+=$ “クイズ（問題文）に対する答えを考え、応答として出力してください”，手順 8 を output $=$ “\{answer $\} ”$ に変更した.

最終的に，クイズデータの情報 (title,ref,age)の組み合わせ $|S|$ が 7 種類，マルチタスク学習データ追加 (+MT) の有無で，合計 14 種類のインストラクションチューニング用のデータを作成した．表 2 に作成したデータの例を示す.

## 5 モデルの学習と生成

4 節で作成したインストラクションチュー ニング用データを用いて，LLMを Low-Rank Adaptation(LoRA)[17, 18] で追加学習した. ベースとなる LLM には，NTT が構築した日本語に強い LLM である tsuzumi ${ }^{5}$ の 7B モデルを用い，LoRA での追加学習パラメータは表 3 の通り設定した.

インストラクションチューニング用のデータは,絵本ごとにまとめた上で，学習: 検証: 評価が 8:1:1 となるように分割した. その結果，学習 429 件，検証 54 件，評価 52 件となった。なお，マルチタスク学習（+MT）を行う場合は，学習データは倍の 858 件となる。学習中は 10 step 毎に検証データに対する

5) https://www.rd.ntt/research/LLM_tsuzumi.html
表 1 絵本を題材として人手で作成したクイズの例 (回答のみ記載)

 &  \\

表 3 LoRA での追加学習パラメータ設定

Perplexity を評価し，最良のモデルを採用した。

採用したモデルと評価データを用いて問題文を生成し, beam 幅 4 の beam search を用いて最良の結果を 1 つ取得した。加えて，マルチタスク学習を行ったモデル (+MT) では, $\mathrm{Q} \& \mathrm{~A}$ 生成で提案されている Roundtrip[20] が適用できるため，この手法を用いた生成結果 (+RT) も取得した6). 表 4 に生成された問題文の例を示す。

## 6 評価

生成された問題文に対して，自動評価と人手評価を行った. 自動評価としては，人手で作成した問題文 (GOLD) を比較対象として, ROUGE[22] と BLEU[23] のスコアを計算した. 人手評価としては, (1) 妥当性評価: 生成された問題文が指定の絵本に対して適切かどうかの 5 段階評価》)，(2) 完全性評価：生成された問題文が指定された絵本の指定された単語が回答となる問題文として適切かどうかの 2 值評価8)を行った. 表 5 に評価結果を示す.また，各イ

6）ただし，計算時間の都合上，100回施行して正しい回答が得られない場合は beam search の結果を用いた

7）妥当性評価では，対象絵本のクイズとして成り立つ場合は 3 以上を付与するよう指示した

8）評価作業の簡略化のため，完全性評価は妥当性評価で 3-5 と評価されたもののみを対象に実施し, 妥当性評価で 1-2 と評価されたものは完全性評価は 1 : 不適切とした
ンストラクションで利用した情報 $s$ が問題文の生成にどの程度影響したかを分析するため, ROUGE-1 と BLEU-1 のスコアに対して情報 $s$ とマルチタスク学習 (+MT), Roundtrip(+RT) の有無を説明変数とした重回帰分析を行った (表 6).

表 5 に示したように，自動，人手評価ともに title,ref,age の全てを用いた場合の評価が最も高くなった。つまり，インストラクションが与える情報が増えるほど生成される問題文の評価が高くなっていた。これは，直感にも一致する結果と言えるだろう. 重回帰分析 (表 6)では，refを用いた場合の評価が有意に向上したことから，生成される問題文の評価に最も影響を与える情報は本文であることが示された。また，有意ではないものの title を用いた場合も評価が向上する傾向が見られ，タイトルをインストラクションで与えることにより，LLM が持つ知識を活用できた可能性も示唆された。

妥当性評価における各点数の分布を確認したところ，指定された絵本の問題文として適切であると評価された 3-5 点の割合は $53.8 \%$ であり，半数は問題文としての体裁を保っていた。一方で，完全性評価において回答まで考慮して適切なクイズであると評

を含み，流暢な問題文であっても，必ずしもインストラクションで与えられた指示に忠実な生成ができていないことがわかった (例えば表 4 (4). 問題文としては良いが，「ヤギ」が回答にはならない). 特に，本文を与えない場合は，別の絵本の知識を用いたり (表 4 (3)), それらしい内容を勝手に生成するハルシネーションが起こり，対象絵本のクイズとしては不適切な問題文が生成される現象が多く確認された。

マルチタスク学習を行ったモデル+MT と Roundtrip 推論を行う+RT では，評価は改善しな
表 4 生成された問題文の例: 対象絵本『あらしのよるに』[21]

表 5 生成された問題文に対する評価結果

かった．学習そのものが成功しているかどうかを検証するため，問題文に対して回答を生成するインストラクションを用いて回答も生成し，自動評価 (BLEU-1, ROUGE-1)と，問題文に対して正しい回答になっているかの 5 段階の人手評価を行った. 評価結果を表 7 に示す.

問題文の評価 (表 5) と同様，本文 (ref) を利用することで大幅に評価が向上し，問題文に対して正しい回答が生成できた. このことから，今回の結果ではマルチタスク学習自体は成功しているが，マルチタスク学習による回答の生成能力の向上が問題文の生成能力の向上に寄与しなかったことがわかった.

## 7 まとめ

本稿では子ども向けの絵本に関するクイズの自動作問を目指し，クイズデータの作成と，LLM の表 6 ROUGE-1 と BLEU-1 に対する重回帰分析

表 7 生成された回答に対する評価結果

LoRAを用いたインストラクションチューニングを行い，生成された問題文の評価を行った.

評価結果から，インストラクションには絵本の夕イトル，本文，対象年齢の情報を与えた場合に評価が最も高くなり，人手評価でも生成結果の $50 \%$ が問題文としては妥当， $31 \%$ がインストラクションに忠実に従った問題文であることがわかった. 一方で，問題文から回答を生成するタスクを含めたマルチタスク学習では，回答を生成することはできたものの，問題文を生成する性能は向上しなかった。

今後の課題としては，ハルシネーションに起因する不適切な問題文の生成を抑える方法を探るとともに， 4 択問題などで提示する誤答の自動生成にも取り組みたい。さらに，生成されたクイズによって子どもの理解度を測ることが可能かどうかや，読書意欲の向上につながるかの検証を行いたい.

## 参考文献

[1] 藤田早苗, 服部正嗣, 小林哲生, 奥村優子, 青山一生.絵本検索システム「ぴたりえ」〜子どもにぴったりの絵本を見つけます〜. 自然言語処理, Vol. 24, No. 1, pp. 49-73, 2017.

[2] Pedro Azevedo, Bernardo Leite, Henrique Lopes Cardoso, Daniel Castro Silva, and Luís Paulo Reis. Exploring nlp and information extraction to jointly address question generation and answering. 2020.

[3] 折原良平, 鶴崎修功, 森岡靖太, 島田克行, 狭間智恵,市川尚志. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会発表論文集, 2022.

[4] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会発表論文集, 2020 .

[5]おおむらゆりこ,なかがわりえこ.ぐりとぐら. 福音館書店, 1963 .

[6] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 早押しクイズのパラレル問題の自動生成. 言語処理学会第 28 回年次大会発表論文集, 2022.

[7] 佐藤紗都, 伍井啓恭, 奥村学. 製品マニュアル文からの質問自動生成. 人工知能学会第 32 回全国大会論文集, 2018.

[8] 田村吉宏, 山内崇資, 林佑樹, 中野有紀子. Wikipedia 記事情報に基づく歴史学習問題の自動生成手法. 人工知能学会第 28 回全国大会論文集, 2014.

[9] 牧野拓哉, 野呂智哉, 吉川和, 岩倉友哉, 関根聡, 乾健太郎. 自動生成した質問に基づく質問応答学習手法の提案と評価. 言語処理学会第 24 回年次大会発表論文集, 2018.

[10] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2017.

[11] Yao Zhao, Xiaochuan Ni, Yuanyuan Ding, and Qifa Ke. Paragraph-level neural question generation with maxout pointer and gated self-attention networks. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[12] Ying-Hong Chan and Yao-Chung Fan. A recurrent BERTbased model for question generation. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, 2019.

[13] 藤田早苗, 小林哲生, 南泰浩, 杉山弘晃. 幼児を対象としたテキストの対象年齢推定方法. 認知科学, Vol. 22, No. 4, pp. 604-620, 2015.

[14] エリック=カール,もりひさし. はらぺこあおむし.偕成社, 1976.

[15] なかのひろたか, なかのまさたか. ぞうくんのさんぽ. 福音館書店, 1968.

[16] 藤田早苗, 小林哲生. 単語親密度の再調査と過去のデータとの比較. 言語処理学会第 26 回年次大会発表論文集, 2020.

[17] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-
Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-Rank Adaptation of Large Language Models. In arXiv, 2021.

[18] Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul, and Benjamin Bossan. PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods. https://github.com/huggingface/peft, 2022.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In arXiv, 2019.

[20] Chris Alberti, Daniel Andor, Emily Pitler, Jacob Devlin, and Michael Collins. Synthetic qa corpora generation with roundtrip consistency. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[21] きむらゆういち, あべ弘士. あらしのよるに. 講談社, 2000.

[22] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, 2004.

[23] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 311-318, 2002.


# 企業の環境活動における収益性の関係解析と改善案の自動生成

児玉 実優 ${ }^{1}$ 酒井 浩之 ${ }^{1}$ 永並 健吾 ${ }^{1}$ 高野 海斗 ${ }^{2}$ 中川慧 ${ }^{2}$
${ }^{1}$ 成蹊大学 ${ }^{2}$ 野村アセットマネジメント株式会社
dm226204@cc.seikei.ac.jp, \{h-sakai, kengo-enami\}@st.seikei.ac.jp,
\{k-takano,k-nakagawa\}@nomura-am.co.jp

## 概要

本研究では，環境活動について方針の記述のみの企業と実行まで記述がある企業とで業績に影響を与えるのか調べた. エネルギーや大気への排出など環境活動に関する記述項目はいくつかある．方針を記述している項目において，実行までを記述している項目数が多い企業の方が少ない企業よりも業績が良い傾向があることが分かった。しかし，実行している項目はなく方針のみの企業の業績も高い傾向であった。また，経済産業省，環境省が，ESG 関連情報を階層 1 :上位方針，階層 2 :実行, 階層 $3:$ PDCA の 3 つの階層に応じて一貫したストーリーとして説明を行うことを求めている。このことから，数少ない階層 3 : PDCA までの記述がある企業の文を学習デ一夕とし, 階層 2 で止まっている企業に対して, 環境活動についての文章の改善案をChatGPT を用いて精度良く自動生成した。

## 1 はじめに

近年，グリーンウォッシングが問題となっている.グリーンウオッシングとは，企業が環境に対して積極的な姿勢を示しているかのように見せかけて宣伝する行為である．消費者や社会が環境に配慮した製品を求めている中で，真の環境保護に貢献している企業とそうでない企業を見分けることは重要である。

企業が毎年発行する統合報告書には，環境活動に関する記述が多くある，経済産業省や環境省は，環境活動に関する情報を階層 1 : 上位方針，階層 2 ：実行, 階層 3 : PDCA という 3 つの階層に応じて一貫したストーリーでの説明を求めている。統合報告書の環境活動に関する記述において，階層 1 ：上位方針の記述しかない企業はグリーンウォッシングに値する可能性がある．グリーンウォッシングが収益性に与える影響を検証することで，企業が正当な環境活動等に取り組む際のコストあるいはプレミアム
が明確になる。そこで，階層 2 までの記述がある企業とない企業に分類を行い，階層 1 までの企業と階層 2 の企業において実際に業績に影響が出るか，収益性との関係を調べた。

また，階層 2 までしか記述がない企業が階層 3 になるための改善案の自動生成を行う。自動生成された文章をそのまま掲載することはできないが，生成された文章からどのような取り組みが必要であるかが分かるようになり，今後の企業の ESG 戦略を決めるうえでの参考になることが期待できる.

## 2 関連研究

グリーンウオッシングの問題について根本の研究[1]では, 企業のサステナブルな活動において明確な定義がなされていないため, グリーンウォッシングが発生して，方針と実行との間で乘離が生じて投資家に影響がでていると指摘している。張の研究 [2]では，企業のグリーンウォッシング活動は ESG 評価が企業価値に与える正の影響より負の影響を与えることが大きいと分析している。この結果から，現在の資本市場が ESG 開示情報だけでなく実際の環境パフォーマンスにも注目しグリーンウォッシング活動を行なっている企業を見抜いていると考察している。そこで，本研究では，ESG 開示情報の差が業績に影響を与えるのか調べる。北島らの研究 [3]では, 企業のトップメッセージと収益性の関係を解析している。つまり企業が発信するトップメッセージの方針や実行に関する文章が業績に影響を与えるか調査している。この研究では，収益性に影響を与えている要素をはっきりとは確認できていない，北島らは，業績に影響を与える要因がトップメッセージであると仮説を立てたのに対して，本研究では，環境活動に関する記述内容の差が業績に影響を与えるのか調べる。

## 3 環境活動に関する文の分類

## 3.1 手法概要

Step1：ESG 投資における環境活動に関する単語リストを作成

Step2: 各企業の統合報告書から単語リストの単語を含んでいる文章を抽出して学習データを生成

Step3：Step 2 で生成した学習データを用いて BERT で作成した学習モデルを用いて, 上位方針文と実行文，その他に分類

## 3.2 環境活動に関する単語リスト

統合報告書は企業によって記述項目や内容が異なる. 実行したことの記述まである項目と上位方針の記述のみの項目, どちらの記述もない項目など企業によって異なる. そのため, 環境活動に関する GRI スタンダード[4]の記述項目である８項目におい

て，企業ごとに上位方針の記述数と実行したことの記述数を抽出した. そして，上位方針が記述されている項目数を分母として，実行文まで記述がある項目を分子として比率を求めた. 比率によって業績に差がでるか算出していく.

統合報告書から各項目の記述文を抽出する際に,環境活動の単語リストを作成したi. 単語リストに含まれている単語を使用している文章を各項目の記述文として抽出した。

## 3.3 階層に分類

菅原らの手法[6]によって各企業の統合報告書から ESG 関連文として識別された文を対象とし, 重要単語リストの単語を含んでいる文を環境活動に関する文として抽出する．抽出された文に対して， BERT[7]で作成した学習モデルを用いて，上位方針文と実行文, PDCA 文, その他に分類を行う。学習モデル作成のために企業の有価証券報告書から環境活動に関する文を児玉らの研究[5]をもとに抽出する.まず，ESG 開示標準である GRI スタンダードを用いて重要語の選定を行なう. 今回は環境活動に関する重要語を含む文を 4,494 企業の有価証券報告書から抽出した. 抽出された文を人手にて 3 つの階

層に分類し, 学習データを作成した. 分類した階層 1 : 上位方針, 階層 2 : 実行, 階層 3:PDCA とそれ以外の文を学習データとし, BERT を用いて学習モデルを作成して分類を行う. 分類の評価として，表 1 に三菱重工業, 味の素, セイコーエプソンの 3 つの企業での統合報告書の環境活動に関する文を階層に分類した再現率と適合率を示すii.

## 表 1 環境活動に関する文の分類の再現率と適合率

} & 再現率 & $84.2 \%$ & $53.8 \%$ \\
\cline { 1 - 4 } & 適合率 & $76.2 \%$ & $100.0 \%$ \\

\cline { 1 - 4 } & 適合率 & $90.0 \%$ & $83.3 \%$ \\

\cline { 1 - 4 } & 適合率 & $68.6 \%$ & $87.5 \%$ \\

## 4 環境活動と収益性の関係解析

## 4. 1 各企業の年度毎の業績

業績の変化を調べるために, 3.3 で使用した企業の年度毎の ROE と ROA, レバレッジ，利益率，回転率を求める. ROA は企業の資産効率を評価する指標であり，企業が保有する資産から得られる利益を示す.

## ROA=純利益/総資産

ROE は企業の株主に対する収益性を示す指標であり, 株主資本から得られる利益を株主資本と比較する.

$
\mathrm{ROE}=\text { 純利益/株式資本 }
$

レバレッジは企業の借入資金の活用度合いを示す指標であり，借入金を資産に対して比較する。

$
\text { レバレッジ=借入資金/総資産 }
$

計算に必要な值は企業が作成する決算書である PL(損益計算書) と BS（貸借対照表）から用いた. PL から純利益と売上高, BS から純資産と総資産を使用した. BS の値については, 統合報告書が発行された年度とその前年度の值から平均値を使用した。また，会計基準が日本式のデータを使用した。

## 4.2 収益性の関係解析

分類された文を環境活動の単語リストの 8 項目に分ける. 企業の統合報告書ごとに上位方針が記述されている項目数を分母として，実行文まで記述がある項目を分子として比率を求める.

$
X=\frac{\text { 実行の記述がある項目数 }}{\text { 方針の記述がある項目数 }}
$

4.1 で求めた ROE, ROA, レバレッジ, 利益率, 回転率について, 環境活動についての記述項目の比率ごとの平均を以下の表 2 に示す.

比率 X が高い方が，環境活動において実行まで取り組んでいる企業である. $\mathrm{X}=0$ は記述が「方針のみ」 であり、 $X=1$ は全ての項目で記述が「方針も実行もあり」であることを示す.一般的に ROE は $8 \%$ 以上， ROA は 4\%以上が好ましいとされている． ROE と ROA の大きな違いとしては, ROE は株主資本に対する収益性ということである，レバレッジは，低いと企業として成長速度が遅くなるが高すぎてもリスクが高まる. 利益率と回転率は高ければ高い程よい.

表 2 環境活動に関する記述比率と収益性の関係

 &  &  &  \\

## 5 考察

表 2 より，方針しか記述していない企業の ROE 值が実行までしている企業より高い. 企業が環境活動に取り組むと収益性が下がる原因はいくつか考えられる。1.コスト増加: 環境に配慮した取り組みは追加のコストを伴う. 再生可能エネルギーの導入や環境に優しい製品の開発など，環境に対する取り組みには投資が必要である。これにより，初期の段階ではコストがかかり，業績に悪影響を与える場合がある。2.競争力の低下：環境に配慮した取り組み
は，他社より価格が高くなったり，効率性が低下したり寸ることがある。これにより競争力が低下し，市場でのシェアを失う可能性がある．3.市場の反応: 消費者の意識が環境に対して高まっている一方で，価格や品質に対する要求も高まっている．環境活動に取り組むことで価格が上昇し，それに見合った品質や価値を提供できない場合，消費者からの支持を得られない．4.制度や規制の変化：環境に対する法規制が変化する。これにより，企業は新たな基準に合わせるための適合コストがかかる.これが業績に悪影響を与える.

これらのことから，方針の記述しかなく実行していない企業の ROE，ROA が高くなったと考えられる.これらの企業はグリーンウォッシングを行なっている可能性がある. ただし、先ほどあげた要因がすべての企業に当てはまるわけではない。一部の企業は環境活動に取り組むことで新たな市場を開拓し, ブランド価值や消費者からの支持を獲得することに成功している. また, 環境活動を通じてコスト削減や効率改善を達成し，逆に業績向上につなげるケースもある．表の赤色の値をみると，環境活動についての記述項目の比率に従って ROE と ROA は上がっていることが分かる．実行まで記述している項目が多い企業の方が，実行まで記述している項目が少ない企業よりも業績は良くなると分かる.

各項目の文章数を比較すると，項目 302:エネルギ一に関する記述が最も多く, 関心が高い項目であることが分かる．そこで，エネルギーに関する記述の有無が業績に関係があるか調べた。エネルギーに関する上位方針の記述と実行の記述のありなしと業績の関係を表 3 にまとめた.

## 表 3 エネルギーに関する記述と収益性の関係

 &  &  &  \\

上位方針のみを記述している企業よりも，実際にその方針を実行している企業の方が，業績における複数の指標でより良い結果を示している。これは，単に方針を宣言するだけでなく、実際にその方針を
表 4 ChatGPT の few-shot learning により生成された改善案の評価

 &  &  \\

具体的な行動に移すことが業績に影響を与えることを示唆している。また，企業の業績に影響を与えるだけでなく，投資家や市場からの評価にも影響を及ぼす可能性がある．環境方針を持つだけでなく，それを実際に実行に移すことが業績にプラスの影響を与える. 企業が持続可能な成長と社会的責任を両立させるためには，方針の策定と実行の両面での取り組みが重要であると言える.

## 6 環境活動の改善案の自動生成

4 節における収益性の関係解析により，環境活動に関する記述が多い方が業績における複数の指標でより良い結果を示している。しかし，3節において環境活動に関する文の分類を行うと，階層 1 (方針），階層 2 (実行）までの記述がある企業は多いが，階層 3 （PDCA）までの記述がある企業は少ない. そこで、階層 2 までの記述の企業に対して， ChatGPT の few-shot learning を用いて環境活動についての改善案生成を行なった. まず階層 1 から階層 3 までが一貫したストーリーで記述出来ている企業に該当した 8 文章を用いて学習データを作成する.学習データでは、階層 1 と 2 をつなげた文章に [Plan and Do]タグを付与した. その次に階層 3 の文章に[Check and Action]タグを付与する. [Plan and Do]の文章から[Check and Action]の文章を生成するように ChatGPT のプロンプトを生成する．プロンプトの一部を付録 C に示す.

ChatGPT $の$ few-shot learning により生成された改善案の評価した結果を表 4 に示す. 表 4 において改善案として適さない理由としては, Check (評価) がないからである. 11 のテストデータにおいて改善案として適していた文章は 8 文章であり精度が高いことが分かる.

## 7 おわりに

本研究では, 階層 1 : 上位方針の記述のみの企業と階層 2 : 実行まで記述がある企業とで業績に影響を与えるか調べた。実行している項目はなく方針のみの企業の業績は高い傾向であったが，環境活動に取り組まなければ良いという訳ではない。実行を記述している項目がある企業で比べると, 環境活動への方針を策定するだけではなく，それを実際に実行に移している企業の方が収益性は良い傾向があることが分かった. 今後, 企業が持続可能な成長と社会的責任を両立させるためには，方針の策定と実行の両面での取り組みが重要であると考える.

また, 数少ない階層 3 : PDCA までの記述がある企業の文を学習データとし, 階層 2 で止まっている企業に対して, 環境活動についての文章の改善案を ChatGPT を用いて精度良く自動生成した。

企業の ESG 活動は計画して実行しただけでなく， その結果を評価分析してさらに改善し, 成果を達成することが重要である. ESG 活動に取組みながら，経営効率を向上させて, 収益性を高めることが今後の企業経営に求められている. 持続可能な企業経営の実現に貢献できるよう今後も AI 研究を活用していきたい.

## 参考文献

1. 根本直子. ESG 投資を巡る課題. 財務省： https://www.mof.go.jp/pri/research/seminar/fy2021/lm 20210622.pdf, 2023-12-22 閲覧.

2. 張博慧. 企業のグリーンウオッシュ活動に関する実証分析: 慶應義塾大学大学院経営管理研究科修士学位論文,第 4000 号, 2022 .

3. 北島良三, 酒井浩之, 上村龍太郎. 潜在学習による企業トップメッセージと収益性の関係解析：日本知能情報ファジィ学会誌, vol. 31, no. 2, pp. 636644,2019

4. Global Reporting Initiative, GRI 標準日本語翻訳.(引用日：2021 年 12 月 23 .) https://www.globalreporting.org/how-to-use-the-gristandards/gri-standards-japanese-translations/ .

5. 览玉実優, 酒井浩之, 永並健吾, 高野海斗, 中川慧. 統合報告書からの ESG 関連情報の自動抽出 :第 36 回人工知能学会全国大会, June, 2022.

6. 菅原佑太, 酒井浩之, 永並健吾, 高野海斗, 中川慧. 統合報告書からの企業特有の競争優位性を表した文の抽出: 第 19 回テキストアナリティクス・ シンポジウム, pp.13-18, 2022.

7. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding : Proceedings of NAACL-HLT 2019, pp. 4171-4186, 2019.

## A 環境活動の重要単語リスト

 &  \\

## B 環境活動に関する文の分類

 & 例 \\

## C 生成したプロンプトの一部

"role": "system", "content": "あなたは企業の経営者です。",

"role": "user", "content": "これから入力する文章は企業の環境活動に関する文章です。文章は 2 つの文章で構成され、各文章には【Plan and Do】、

【Check and Action】のタグがついています。

【Plan and Do】の文は環境活動の上位方針、および、上位方針に従い実際に実行した環境活動の内容、【Check and Action】の文は実際に実行した環境活動を評価し、今後の改善点について述べています。以下に文章の例を示します。

【Plan and Do】 家庭用燃料電池システムにおきましては、商品普及のため量産によるコストダウン技術の確立が最重要課題となっております。これらの課題に対しまして当社は、地球環境への負荷の低減を心がけ、「お客様重視」「製品安全の確保」を基本とした他社にはない商品を開発、製造し、積極的に営業を行ってまいります。また、 お客様に安心して使用していただけるようにアフターサービス体制の充実を図ってまいります。これらの方針のもと、環境面におきましては、I S O 14001 の規格に基づき当社の環境方針を定めて、事業活動の全ての領域で環境に与える影響を認識しております。

【Check and Action】その上で、環境負荷の低減と污染の予防に努める活動、商品本体の環境負荷物質の問題について継続的に取り組んでまいります。

【Plan and Do】の文章が与えられたとき、対応する【Check and Action】の文章を作成して下さい。"


# T5 を用いた技術課題・解決手段推定による特許マップ自動生成

小堀 佑樹 酒井 浩之 永並 健吾
成蹊大学 理工学部 情報科学科
us202062@cc. seikei.ac.jp, $\{$ h-sakai, kengo-enami\}@st. seikei. ac. jp

## 概要

本研究では, T5 モデルを使用して特許文書から特許マップを生成するための技術課題・解決手段の端的な表現を生成する. 技術課題の学習データは人手で作成し, 解決手段の学習データはタイトルデータをターゲット文として機械的に作成する。推定された技術課題・解決手段のカテゴリをWord2Vec により統合することで直感的な特許マップを生成する. 推定された技術課題は人手評価，解決手段はタイトルデータとの一致度合いを機械的に評価する。また，人手で作成された特許マップのカテゴリと自動生成された特許マップのカテゴリの類似度を評価する。

## 1 はじめに

近年，自社企業や競合企業の特許文書を用いた分析手法が数多く行われている。 その手法の一つとして特許マップの作成があげられる. 図 1 は特許流通支援チャートに掲載されたプラスティック光ファイバの特許マップ[1]である. 図 1 の技術課題は発明が解決しようとする課題, 解決手段はこの課題を解決するための手段である．特許マップを作成することで, 自社の知財状況, 他社の技術動向の視覚的な理解が可能になる. しかしながら, 技術課題と解決手段を軸に取った特許マップは主に人手で推定・作成が行われており, 企業の分析・比較には多くの手間や時間が必要になる.

そこで本研究では, 特許文書から抽出した技術課題・解決手段のデータから T5［2を使用して技術課題のカテゴリ・解決手段を推測する. そして推定したカテゴリを軸として特許マップを自動的に生成する. また, Word2Vec[3]を用いて人手で作成された特許マップとの類似度を求め, 本手法によって自動的に生成した特許マップの評価を行う。

本研究の関連研究として, 酒井らの特許文書から技術課題を示す表現を自動抽出する手法 [4] や特許図 1.4.1-2 プラスチック光ファイバの課題と解決手段の分布

図 1 人手で作成された特許マップの例

文書からの技術課題情報の抽出手法 [5]があり,抽出した手がかり表現から共通頻出表現を抽出することで技術課題情報の抽出を試みていた。また，特許の請求項を利用した手法 [6]では, TF・IDF 値から特許文書間の類似度を計算することで企業分析を試みている。本研究では請求項ではなく, 技術課題・解決手段に該当する記述を利用して特許マップを自動生成する。 さらに，Word 2 Vec を使用して人手で作成した特許マップとの類似度を求め評価している点が異なる. Xiang らの手法[7]では BERT を用いて技術課題・解決手段のフレーズを抽出している。これらの研究に対し, 本研究は $\mathrm{T} 5$ を用いている点で異なる

## 2 技術課題 ・解決手段の推定

本研究では 2020 年度に公開された特許デー夕 207,169 件を使用する. 技術課題・解決手段に該当する記述として, 特許明細書の【発明の名称】 (invention-title)，【発明の概要】内の【発明が解決しようとする課題】（tech-problem），および【課題を解決するための手段】（tech-solution）を使用する.

## 2. 1 T5 を用いた技術課題推定

特許文書の技術課題記述からの特許マップに使用する技術課題推定は以下の 3 つの Step で構成される.

Step 1: 特許文書から【発明が解決しようとする課題】を技術課題記述として抽出

Step 2: Step1 で抽出した技術課題記述に対応する技術課題を人手で作成

Step 3: Step1, Step2 で得られた学習データを用いて, T5 で特許文書から技術課題を推定

T5の学習データは無作為に選んだ計 220 件の特許データから技術課題記述を抽出し, 人手で対応する技術課題を作成する. 技術課題は特許流通チャートに記載されている技術課題を参考に人手で作成した. T5 の学習データの例を表 1 に示す.

## 表 1 技術課題推定の学習データ

作成した学習データでファインチューニングした T5 v1.1 事前学習済みモデルににより技術課題を推定する. 技術分類の特許は国際的に統一された分類体系である IPC 第4版をベースとしてさらに細分化された日本独自の分類であるファイルインデックスと, キーワードを組み合わせてアクセスする. 表 2 にテストデータとして用意した技術分類とその特許数を示す.

表 2 技術分類と特許データ数

各技術分類に該当する特許文書に学習済み $\mathrm{T} 5$ v1.1モデルを使用して推定された技術課題を表 3 に示す.表 3 推定された特許の技術課題の例

## 2. 2 T5 を用いた解決手段推定

特許文書の解決手段記述からの特許マップに使用する解決手段推定は以下の 3 つの Step で構成される.

Step1：特許文書から【課題を解決するための手段】 を解決手段記述として抽出

Step2：特許タイトルを対応する解決手段とみなし,学習データを作成

Step3: Step2 で得られた学習データを用いて，T5 で特許文書から解決手段を推定

発明の部品名や機能名などが特許タイトルになる課題を解決する手段として, 特許タイトルは適していると考える。

特許マップを生成する技術分類の特許データから無作為に選んだ 220 件の特許文書のタイトルと解決手段記述を抽出して T5 の学習データを自動作成する. 学習データとして使用した文の一部を表 4 に示于.

表 4 解決手段推定の学習データ

 & 解決手段記述 \\

作成した学習データでファインチューニングした T5 v1.1 事前学習済みモデルとテストデータから解決手段を推定する．各技術分野に該当する特許文書に学習済み T5 v1.1 モデルを使用して推定された解決手段の一部を表 5 に記す.

表 5 推定された特許の解決手段

 &  \\

## 3 特許マップ自動生成

推定された技術課題, 解決手段は, ほぼ同じものが別の表現で出力されることがある (効率化, 効率,効率向上など）。特許マップの見やすさのために Word2vec で推定されたカテゴリ（技術課題, 解決手段）の平均ベクトル（分散表現）を求め, 統合する. Word2Vec モデルは 2017 年の全ての特許文書を使ったモデルを使用した.

Step1: カテゴリに含まれる各単語の分散表現からカテゴリの平均ベクトルを求める.

Step2: 頻出数が 2 以下のカテゴリ語は統合対象とし, Step1 で求めたカテゴリ語の平均ベクトルから、頻出数 3 以上のものとの $\cos$ 類似度を求め, 最も類似度の高いものに統合する。

統合したカテゴリを用いて特許マップを生成する。図 2 に本手法にて自動的に生成した技術分類「プラスティック光ファイバ」の特許マップを示す.また,

T5 によって推定された解決手段カテゴリと比較するため, FI ファセット末端のサブグループやタイトルを解決手段カテゴリとして, Word2Vec を用いて上述の方法で統合した特許マップを生成する. FI フアセット末端のサブグループを用いて生成した特許マップを付録 $\mathrm{A}$ に，タイトルを用いて生成した特許マップを付録 B に示す.

## 4 評価

## 4. 1 技術課題 ・解決手段推定の評価

T5 v1.1 モデルで推定された技術課題が特許マップの技術課題カテゴリとして正しいか, 人手で判定する．比較のため， $\mathrm{T} 5$ モデルiiで推定された技術課題の判定結果も併記する.

図 2 自動生成したプラスティック光ファイバの特許マップ

表 6 技術課題の正誤判定

 &  &  \\

解決手段の評価として，タイトルを正解とし， T5 v1.1 モデル, および, $\mathrm{T} 5$ モデルで推定された解決手段の結果の一致度合いを 4.2 特許マップとの比較による評価に示す。

## 4. 2 特許マップとの比較による評価

人手で作成された特許マップと本手法によって自動生成された特許マップとを比較し，評価する．評価方法を以下に示す。

Step1：Word2Vec でカテゴリ語の平均ベクトルを算出し, さらに特許マップに使用したカテゴリ群で平均をとり全体の平均ベクトルを算出する.

Step2: 特許流通チャートの人手による特許マップから同様に全体の平均ベクトルを算出し, $\cos$ 類似度を計算する。

人手による特許マップとの類似度が高いほど，適した特許マップを生成できたことになる。
表 7 解決手段の正誤判定

 &  & 食品乾燥加工技術 \\

(部分一致 1 はタイトルが解決手段を含む, 部分一致 2 は解決手段がタイトルを含む)

(正答数 / 総判定数)

比較手法として，技術課題では Cabocha を用いて 「〜性」の単語を抽出し, その単語群平均ベクトルと特許流通チャートのカテゴリ群平均ベクトルの $\cos$ 類似度を比較手法として計算する. また、解決手段ではタイトルを使用した場合, F I ファセットを使用した場合の特許マップを評価する。結果を表 7, 表 8 に示す.

## 表 7 技術課題の類似度

 &  &  \\

表 8 解決手段の類似度

 &  &  \\

## 5 考察

特許文書に対して，提案手法である「T5による技術課題・解決手段推定」と「Word2Vec によるカテゴリ統合」を行うことで, 人手で作成された特許流通チャートとのカテゴリ群の類似度は, 技術課題は最大で 0.922 , 解決手段は最大で 0.836 を示した. 夕
イトルデータから Word2Vec のみで生成された特許マップよりも T5 で生成されたものの方が解決手段の類似度の高い結果となり, T5 によって元のタイトルデータとは違う出力をしたものが類似度を上昇させたか，もしくは Word2Vec によってカテゴリを統合したことが結果の向上につながったと考えられる。

FI ファセットを解決手段カテゴリに用いると, 類似度が高くなった。しかし, FI は文言が長いため,特許マップのカテゴリとして直感的でない，その点において本手法による特許マップのほうに実用性があると考える。

## 6 むすび

本研究では, 特許文書から技術課題・解決手段を軸に取る特許マップを自動生成する手法を提案した。 T5を用いて特許文書から技術課題・解決手段をそれぞれ推定し, Word2Vec を用いてカテゴリの統合を行うことで, 自動的にかつ視認性の高い特許マップを生成することができた。

評価の結果，技術課題・解決手段の双方について 「T5 による技術課題・解決手段推定」と「Word2Vec によるカテゴリ統合」を行うことで，人手で作成された特許流通チャートとの類似度の高い特許マップを得ることができた。しかしながら，本手法では技術分野の特許文書の半数近くを学習データとして使用してしまうために，特許マップに反映される特許数が少ない. 今後は二分割交差検証を行うことで，特許マップの有効特許数を多く保ったまま有用に活用できるようにしていくことが求められる.

## 参考文献

[1] 特許流通支援チャート平成 14 年度化学 11 プラスティック光ファイバ， https://www.inpit.go.jp/blob/katsuyo/pdf/chart/fkaga ku11.pdf

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu, "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer", Journal of Machine Learning Research 21, pp.1-67, 2020

[3] Mikolov, T., Chen, K., Corrado, G., \& Dean, J. (2013). Efficient estimation of word representations in vector space, arXiv preprint arXiv:1301.3781.

[4] 坂地泰紀, 野中尋史, 酒井浩之, 増山繁: “特許文書からの課題・効果表現対の自動抽出”,電子情報通信学会論文誌 D, Vol.J93-D, No.6, pp.742-755, 2010.

５］酒井浩之, 野中尋史, 増山繁: “特許明細書からの技術課題情報の抽出”, 人工知能学会論文誌 24 巻 6 号 I, pp.531-540, 2009.

[6] 金地しおり, 酒井浩之, 北島良三, : “特許の請求項を使用した企業分析手法”, 平成 30 年度, 成蹊大学理工学部情報科学科卒業論文.

[7] Xiang Shi, Zikun Feng, Jiawei Liu, Qikai Cheng,

Wei Lu: "Automatic Construction of technology Function Matrix" , 3rd Workshop on Extraction of Knowledge Entities from Scientific Documents(EEKE2022), p74-79, 2022.

## A FI ファセットを用いた特許マップ

B タイトルを用いた特許マップ


# Beige Book のセンチメントとマクロ経済データを用いた 米国金利変動予測

藤原 真幸 ${ }^{1}$ 中川 慧 2 水門 善之 ${ }^{3}$ 秋田 祐哉 1
1 京都大学 2 野村アセットマネジメント株式会社
3 野村證券株式会社
fujiwara.masaki.099@kyoto-u.jp, kei.nak.0315@gmail.com
d2018ysuimon@socsim.org, akitalecon.kyoto-u.ac.jp

## 概要

本研究では、連邦公開市場委員会（FOMC）の決定に大きく影響される米国の金利変動を予測するもデルを提案し、その効果を検証した。具体的には、 10 年金利・2 年金利・イールドスプレッド、の 3 種類の金利変動予測に XGBoost モデルを使用し、特徴量として FinBERT モデルから得られた Beige Book のセンチメントデータと月次マクロ経済データを組み合わせた。特に金融政策との関連が強いイールドスプレッドの予測に関しては、センチメントデータとマクロ経済データの両方を使用することで、変動予測の精度とトレーディング収益が向上した。また、連邦準備制度の Dual Mandate 亿基づき、物価と雇用に関するセンチメントデータを利用することで、予測精度と収益率がさらに向上することがわかった。

## 1 序論

米国の中央銀行である連邦淮備制度（以下 FRS）记所属する連邦公開市場委員会（以下 FOMC）の公開する情報は、市場に大きな影響を与元、高い注目を集めている [1,2]。FRS は議会约付託された法的使命である「Dual mandate（二つの使命）」に従い、物価の安定と安定的な雇用の最大化を達成することを金融政策の目標と掲げ 1)、FOMC は政策金利の決定や債券の売買オペレーションなどの措置を含む国内の金融政策を決定し、実体経済に影響を与えている。FOMC は年に 8 回会合を開き、米国の経済・金融状況をレビューし、Beige Bookを含むマクロ経済状況に基づいた金融政策について決定を行い、その決定を FOMC 会合で発表する。

Beige Book は、FRS 内の 12 の地区に所在する連邦準備銀行が収集した現在の景況感を報告する文書であり、FOMC 会合の約 2 週間前に公開され、 FOMC のメンバーは FOMC 会合で金融政策を決定する際に Beige Book の情報を重要視する。そのため、Beige Book を対象としたテキストマイニングによる分析の事例が多数存在する [3-7]。

このようなテキストに対して、マーケットの予測等のためにセンチメント分析が用いられることは少なくない。しかし、実際の市場参加者はテキスト内容を単純な極性のみで評価しない $[8,9]$ 。具体的には、一般に金融センチメント分析の文脈ではネガティブであると解积される「失業率の増加」といった文言も、中央銀行が果敢纪利上げを行っている環境下では、利上げ打ち止めのきっかけとなりうる。 それ完債券投資家にとって、「失業率の増加」はポジティブな文言であると捉えられることもある。 このようにテキストの解釈は各時点での経済環境などにより変化するため、その時々のマクロ経済指標などを考慮することが重要となる。

そこで本研究では、FinBERT [10]を使用したBeige Book のセンチメント評価に加えて月次マクロ経済データを組み合せた特徵量を用いた金利変動の予測方法を提案する。

## 2 リサーチデザイン

FOMC が経済に影響を与える重要な手段の一つは、政策金利（Federal Funds rate など）の設定である。FOMC 会合での政策金利の変更は企業や個人の借入れ行動氾影響を及ぼし、それが消費や投資の意思決定に影響を与えるとされる。この際、短期金利 （2 年金利）は政策金利やインフレ期待の影響を強く受け変動する。同時に政策金利の変更は将来の経済状況に波及効果をもたらすことから投資家の長期の

1) https://www.chicagofed.org/research/dual-mandate/dual-mandate
経済見通しへも影響を与える。この投資家の見通しが債券の売買を通じて長期金利（10 年金利）に反映されることで長期金利と短期金利の金利差（イールドスプレッド）が変動する。FOMC のメンバーは、 Beige Book の公表内容とその時のマクロ経済環境から今後の金融政策を決定し、FOMC 会合終了時にその内容を公表する。一方、市場参加者も Beige Book の公表時にその内容やマクロ経済データといった FOMC メンバーと同様の情報に触れていることから、今後の金融政策の方向を推測し、その推測をもとに金利トレーディングを行うことでマーケットがその情報を織り込んでいく。図 1にこの関係を示す。市場参加者からすると、長期・短期金利やその差を適切に予測することは効率的な投資やリスク管理の観点から非常に重要である。

そこで本研究では次の金利変動を予測対象とする。

10 年金利 (10Y)・2 年金利 $(2 \mathrm{Y}):$ 市場に流通する米国債のうち残存期間が 10 年・ 2 年の債券が取引されている金利である。 10 年金利は長期金利、 2 年金利は短期金利の一種であり、金融政策のみならず複数の要因により変動するとされる。

イールドスプレッド (YS): 本研究では 10 年金利と 2 年金利の金利差を対象とする。この組み合わせは米国における景気先行指標と位置付けられ [11,12]、金融政策とのかかわりが極めて強く、多くの金融関係者が注目している指標である。

これらの金利変動を予測するにあたって、序論の議論を踏まえた 2 つの仮説を立てる。すなわち、 Beige Book の発表から FOMC 会合の終了までの金利変動を予測するモデルを構築する際、

H1：Beige Book テキストから得られるセンチメントデータと Beige Book 公表時点で利用可能なマクロ経済データを特徴量として用いることにより予測精度が向上する。

H2: Beige Bookテキストから得られるセンチメントデータのうち、物価と雇用に関する文章にのみ焦点を当てることで、より予測精度が向上する。

これらの仮説を検証するために、Beige Book の発表に対応する各金利変動の予測精度と、その予測に基づくトレーディングで得られる収益を計算する。

図 1: Beige Book の発表と金融政策発表に対する金利変動予測の関係図

## 3 評価実験

## 3.1 データセット

FRS のウェブサイトから、Beige Book のテキストデータとその公開日、及び FOMC 会合の最終日を収集した。1996 年 10 月 30 日から 2023 年 10 月 18 日までに公開された Beige Book の全 216 回の文書を入手し、2018 年 5 月 3 日から 2023 年 10 月 18 日までに開催された 44 回の FOMC 会合に関連する金利取引戦略の予測性能と収益性を検証した。

マクロ経済データについては、FRED(Federal Reserve Economic Data) のウェブサイト ${ }^{2}$ から次のデータを取得した：

## インフレ率:

年率 (Year on Year、YoY) および月率 (Month on Month、MoM) 都市消費者向け消費者物価指数 (Consumer Price Index for All Urban Consumers、 CPI)

## 失業率:

月次および月率 (Month on Month、MoM) 失業率 (Unemployment Rate、UNRATE)

CPI および UNRATE は 1996 年 6 月から 2023 年 10 月までの月次データであるが、これは Beige Book の公開日と必ずしも一致しないため、各 Beige Book の発表日より前に公表された最新の CPI および UNRATE のデータを、その発表日に対応するマクロ経済データとして扱うことにした。

ターゲットとなる 10 年金利と 2 年金利は Python パッケージである investpy 3 )を使用して収集し、イー ルドスプレッドにおいてもこのデータを利用して計算した。

2) https://fred.stlouisfed.org/

3) https://pypi.org/project/investpy

## 3.2 分類モデル

分類モデルとして FinBERT によるセンチメント分析とXGBoost による二値分類モデルを組み合わせて使用する。

Beige Book のテキストは、全地区のまとめを記述する章と、計 12 の地区連銀が各地区の景況感を報告する章で構成されている。その構成に基づきテキストを 13 章に分割した。その後、各章はさらに単文ごとに分けられ、各単文をセンチメントの計算を行う最小単位として扱った。

FinBERT モデルの出力ラベルが Positive の場合、出力スコアをそのまま文のスコアとして使用した。 ラベルが Negative の場合は、出力スコアに-1を乗じたものを文のスコアとして使用し、ラベルが Neutral の場合は、文のスコアを 0 と設定した。その後、これら個々の文の平均センチメントスコアを計算し、 それを章のスコアとして扱う。この時、ひとつの Beige Book は 13 章分のセンチメント、すなわち 13 次元の実数値で表現されることになる。

H1 に関してはすべてのテキストデータを用いる。 H2 に関しては、'inflation'、'price'、'cost'、'energy'、 'labor'、 'stability'、'wage' のいずれかの単語を含む文を物価と雇用に関連する文とみなし [13]、物価と雇用に関連するセンチメントスコアは、これらの文のスコアの平均として計算した。

こうして得られた Beige Book のセンチメントデー タとマクロ経済データを特徴量としてXGBoost の学習を行い、予測を行った。その際、XGBoost モデルのハイパーパラメータに関しては各モデルにおいて最適化を行った。

## 3.3 実験設定

仮説 H1 を検証するため、マクロ経済データおよび Beige Book 公開時点の各金利、センチメントデー 夕 (13 次元)、また両方を特徴量として使用する 3 つのケースを検討する。仮説 $\mathrm{H} 2$ の検証においては、物価および雇用に着目したセンチメントデータで同様の予測を行い、その性能を比較する。

各 Beige Book 公開日から FOMC 会合の終了までの期間、次の工程を行う事とする。訓練データは入手データの冒頭から $80 \%$ (172 サンプル)、テストデータは残りの $20 \%$ (44 サンプル) とした。

ステップ 1: XGBoost モデルを訓練データを用いて構築する。
ステップ 2: テストデータの各サンプルについて、与えられた特徴量に XGBoost モデルを適用して金利変動を予測する。

ステップ 3: 予測された変動が正の場合は債券を売り、FOMC 会合の終了時にポジションを閉じる。負の場合は債券を買い、FOMC 会合の終了時にポジションを閉じる。イールドスプレッドの場合は、スプレッドの正負に応じて片方の国債を買い、もう片方の国債を同等のリスク量で同時に売り、会合の終了時にポジションを清算する。

ステップ 4: 予測された変動と実際の変動の符号が同じ場合、変動した分だけ利益となり、逆の場合は、変動した分だけ損失となる。

## 3.4 性能指標

性能の評価にあたり、二値分類の性能と、予測に基づきポジションを構築することから得られるリターン [14]の2つの観点を考え、以下の指標を採用した。ここで、全期間を $T$ 、時間 $t$ における各種債券取引のリターン（利益または損失）を $r_{t}$ とする。 その予測である $\hat{r}_{t}$ をモデルの出力から得たものとする。

・正解率（ACC）：金利の上昇と下落の予測の正解率である。

・年間リターン（AR）：リターン $r_{t}$ の予測に基づいて、時間 $t$ までの累積リターンは $C_{t}:=\sum_{u=0}^{t} \operatorname{sign}\left(\hat{r}_{u}\right) r_{u}$ として与えられる。年間リターンは $\mathrm{AR}:=\frac{T_{Y}}{T} C_{T}$ と定義される。ここで、 $T_{\mathrm{Y}}$ は 1 年間に含まれる期間の平均数である。

・シャープレシオ（SR）：シャープレシオ、またはリターン/リスク比は、その標準偏差で調整されたリターン値である。すなわち、 $\mu:=\frac{1}{T} C_{T} 、 \sigma^{2}:=\frac{1}{T} \sum_{t=1}^{T}\left(\operatorname{sign}\left(\hat{r}_{t}\right) r_{t}-\mu\right)^{2}$ としたときに SR $:=\mu / \sigma$ と定義される。

・カルマーレシオ（CR）：最大ドローダウン （MDD）を MDD := $\max _{1 \leq t \leq T} \max _{t<s \leq T}$ $\left(1-C_{t} / C_{s}\right)$ と定義する。カルマーレシオは $\mathrm{CR}:=\mathrm{AR} / \mathrm{MDD}$ として定義される。なお、SR と CR はどちらもリスク測定値によって調整されたリターンであるが、CR は財務危機など、頻繁には発生しないドローダウンイベントに対してより敏感である。

・コスト（Cost）：実際の取引を行う際に必要となるコストを計算した。具体的にはポジションを 2 週間保有することで得られる経過利子4)を AR などと比較しやすいように年率換算した。正の値はこの経過利子を受け取ることを意味する。

## 4 実験結果

表 1: H1 に基づくモデルの性能比較

$\mathrm{YS}:$ イールドスプレッド、 $10 \mathrm{Y}: 10$ 年金利、 $2 \mathrm{Y}: 2$ 年金利。各金利において最も性能が高いものを太文字で表記している。

表 1 にそれぞれの場合の性能指標を示す。 10 年金利ではどのモデルにおいても高い性能は得られなかった。これは、 10 年金利は金融政策以外にも様々な影響を受けるため金融政策に重きを置いた本モデルでは予測が困難であったことが理由と考えられる。 2 年金利はテキストのみの特徴量を与えたモデルにて最も高いパフォーマンスとなった。これは、 2 年金利は金融政策に加えて期待インフレにも反応することから、Beige Book との関係が強かったことが考えられる。この時、 2 年金利において両方の特徵量を与えたモデルの特徴量 Importance を確認するとマクロデータが上位に存在することが確認できたため、これがノイズとなってしまった可能性がある。これに対してイールドスプレッドは、予測性能が十分に高いとは言えない 10 年、 2 年金利の差分を取っただけのものであるにもかかわらず、安定して高い予測精度となっている。また両方の特徴量を与えたモデルにおいてさらなる精度向上が見られ、 $\mathrm{H} 1$ と整合するため、本モデルは金融政策と密接な関係を持つイールドスプレッドの予測に長けていると考
 ることに注意されたい。
えられる。運用上重要なコストの観点で見ても、 10 年、 2 年金利ともに債券単体の売買であることから極めて大きくなってしまっているに対し、イールドスプレッドは債券を組み合わせることでコストが相殺され影響が小さくなっていることが分かる。

表 2: 文章抽出を行った場合 (H2) の性能

表 1の両方の特徵量を与えたモデルより性能が向上しているものは太字で表記している。

表 2は、物価と雇用に関する文章を抽出した場合の性能評価を示す。イールドスプレッドの予測の際、物価と雇用に関連するセンチメントに焦点を当てたモデルは、それに焦点を当てないモデルと比較して、より高い精度とリターン、およびより高い安定性を示した。これは $\mathrm{H} 2$ に整合し、FRB の Dual mandate を予測モデルに組み込むことの有用性が分かる。

## 5 結論

本研究では、Beige Book のセンチメントとマクロ経済データが各種金利変動予測に貢献するかを検証した。本研究の主な発見は次のようにまとめられる。
- 本研究の枠組みにおいて、金融政策との関連が強いイールドスプレッドの予測が性能やコストの観点から最も有効である。
- 本研究の枠組みにおいて、 2 年金利の予測に使用する特徴量にはマクロデータよりも Beige Bookテキストデータのほうが効果的である。

・Beige Book のセンチメントとマクロ経済データを組み合わせることで、イールドスプレッド予測の性能と収益性が向上する（H1）。

・米国中央銀行の「Dual mandate」に基づき、Beige Book における物価と雇用に関するセンチメントにのみ焦点を当てることで、イールドスプレッド予測の精度と収益性の両方が向上する (H2)。

## 参考文献

[1] Joshua Hausman and Jon Wongswan. Global asset prices and FOMC announcements. Journal of International Money and Finance, Vol. 30, No. 3, pp. 547-571, 2011.

[2] Anna Cieslak, Adair Morse, and Annette VissingJorgensen. Stock returns over the FOMC cycle. The Journal of Finance, Vol. 74, No. 5, pp. 2201-2248, 2019.

[3] Michelle T. Armesto, Ruben Hernandez-Murillo, Michael Owyang, and Jeremy Piger. Measuring the information content of the Beige Book: A mixed data sampling approach. Journal of Money, Credit and Banking, Vol. 41, No. 1, pp. 35-55, 2009.

[4] Shibley Sadique, Francis In, Madhu Veeraraghavan, and Paul Wachtel. Soft information and economic activity: Evidence from the Beige Book. Journal of Macroeconomics, Vol. 37, pp. 81-92, 2013.

[5] Nathan S. Balke, Michael Fulmer, and Ren Zhang. Incorporating the Beige Book into a quantitative index of economic activity. Journal of Forecasting, Vol. 36, No. 5, pp. 497-514, 2017.

[6] Bennett Saltzman and Julieta Yung. A machine learning approach to identifying different types of uncertainty. Economics Letters, Vol. 171, pp. 58-62, 2018.

[7] Bryan R. Routledge. Machine learning and asset allocation. Financial Management, Vol. 48, No. 4, pp. 10691094, 2019.

[8] Nan Jing, Zhao Wu, and Hefei Wang. A hybrid model integrating deep learning with investor sentiment analysis for stock price prediction. Expert Systems with Applications, Vol. 178, , 2021.

[9] Jaimin Shah, Darsh Vaidya, and Manan Shah. A comprehensive review on multiple hybrid deep learning approaches for stock prediction. Intelligent Systems with Applications, Vol. 16, , 2022.

[10] Zhuang Liu, Degen Huang, Kaiyu Huang, Zhuang Li, and Jun Zhao. Finbert: A pre-trained financial language representation model for financial text mining. In Proceedings of the twenty-ninth international conference on international joint conferences on artificial intelligence, pp. 4513-4519, 2021.

[11] David C Wheelock, Mark E Wohar, et al. Can the term spread predict output growth and recessions? a survey of the literature. Federal Reserve Bank of St. Louis Review, Vol. 91, No. 5 Part 1, pp. 419-440, 2009.

[12] Anastasios Evgenidis, Stephanos Papadamou, and Costas Siriopoulos. The yield spread's ability to forecast economic activity: What have we learned after 30 years of studies? Journal of Business Research, Vol. 106, pp. 221-232, 2020.

[13] Martin T. Bohl, Dimitrios Kanelis, and Pierre L. Siklos. Central bank mandates: How differences can influence the content and tone of central bank communication. Journal of International Money and Finance, Vol. 130, No. C, 2023

[14] Katsuya Ito, Kentaro Minami, Kentaro Imajo, and Kei Nakagawa. Trader-company method: A metaheuristics for interpretable stock price prediction. In Proceedings of the 20th International Conference on Autonomous Agents and MultiAgent Systems, pp. 656-664, 2021


# 投資家の情報選択に対する重みを考慮した金融推奖

高柳剛弘 ${ }^{1}$ 村山友理 ${ }^{1}$ 和泉潔 ${ }^{1}$
1 東京大学大学院 工学系研究科
takayanagi-takehiro590@g.ecc.u-tokyo.ac.jp murayama.yuri@sys.t.u-tokyo.ac.jp
izumi@sys.t.u-tokyo.ac.jp

## 概要

金融市場において個人投資家の目的は多岐にわたる.そのため，株式取引などの金融行動は個人投資家ごとの異質性が大きく，金融行動を予測する投資家行動予測は重要なタスクである。個人投資家は金融意思決定の際に数値情報やテキスト情報など様々な情報を参照するので，これらのプロセスを考慮することでより良い投資家行動予測につながることが期待できる. 本研究では投資家の情報選択に対する重みを考慮した金融推奨モデルである Personalized Financial Recommendation with Investors' Attention and Contextual Information (PFRIC) を提案する. 個人投資家の取引データを用いて行なった評価実験において，提案手法の精度が既存手法の精度を上回ることを確認し，金融推奨に対して個人投資家の情報選択の選好を考慮することの有用性を示した。

## 1 はじめに

オンライン証券を利用して資産運用を行う個人投資家の増加に伴い，投資家の目的や行動に合わせて情報や金融アイテム（個別株式や投資信託など）を提示する金融推奨の必要性が増加している. 投資行動において投資家が重視する要素は個人ごとに異なるために，個人化（パーソナライゼーション）が重要である。例えば，個人投資家にはより高いリター ンを重視する投資家や，個人の興味から特定の投資テーマを好む投資家など多様な目的の投資家が存在する。

Personalized された金融推奨に関する研究では, Order book analysis $や$ multiple criteria decision analysis などの金融のロジックを協調フィルタリングに組み合わせる研究が多い $[1,2,3]$. 近年では, Neural Matrix Factorization (NeuMF) [4] や LightGCN [5] などの深層学習を用いた協調フィルタリング（Neural collaborative filtering）の手法が金融推奨に応用さ
れている $[6,7,8,9,10]$. しかしながら，これらの深層学習を用いた協調フィルタリングモデルは E-commerce 推薦，映画推薦，音楽推薦など他分野の推薦領域において提案された手法であり，電子商取引などにおける購買行動とは異なり，アイテムの価值が他の市場参加者や社会状況の影響を強く受けるなど金融意思決定特有の課題を考慮することが困難である.

本研究ではこの金融推奨における 2 つ特有の課題に注目する．1つ目の課題は，投資家の情報選択に対する選好の個性である．個人投資家は株価などの数値情報に加えて，決算短信やニュースなどのテキスト情報を含む様々な情報を探索し分析した上で意思決定を行う。この過程で個人投資家はそれぞれの情報に対する選好を持つ．例えば，株価チャートの情報を重視する投資家は，意思決定において直近のニュース情報や決算の情報よりも株価を重視するだろう。したがって，投資家の金融行動を予測するためには，投資家の情報に対する選好の個性を考慮するパーソナライズされたメカニズムが必要である.

2 つ目の課題はコンテキスト情報の影響である.一般的な映画推薦や音楽推薦では，アイテムである映画や音楽の特徴は安定的である一方で，株価など金融推奨のアイテムは特徵が動的に変化し続けるという特性がある．そのため，金融推奨ではユーザー のアイテムに対する選好は時間情報に大きく依存する. 加えて，投資家の属性情報である年齢，所得， リスク許容度なども，投資家の意思決定に大きな影響を与えることが知られている [11]. したがって， より良い投資家行動予測を行うためにはアイテム， ユーザー双方のコンテキスト情報を考慮する必要がある.

この課題に対して，本研究では図 1 に示すように，投資家の情報選択に対する選好の個性を考慮した金融推奨モデルである Personalized

図 1 提案モデル（PFRIC）の概要.

Financial Recommendation with Investors' Attention and Contextual Information (PFRIC) を提案する．PFRIC は投資家の金融意思決定プロセスを取り入れることを目指し，情報選択モジュール（information selection module）とコンテキストモジュール (context module) で構成されている. 情報選択モジュールでは投資家の様々な情報に対する重みをモデル化する。一方で，コンテキストモジュールでは，株式の動的な特徵や投資家属性などのコンテキスト情報を考慮に入れる. 個人投資家の取引データを用いた評価実験において，提案手法の精度が既存手法の精度を上回ることを確認し，金融推奨に対して個人投資家の情報選択の選好を考慮することの有用性を示した。

## 2 提案手法

## 2.1 問題定義

ユーザー集合を $U=\left.\{u_{1}, u_{2}, \ldots, u_{N}\right.\} ，$ ユーザープロファイル集合を $P=\left.\{p_{1}, p_{2}, \ldots, p_{N}\right.\} ，$ 銘柄集合を $S=\left.\{s_{1}, s_{2}, \ldots, s_{J}\right.\}$, および対応する銘柄コンテキス卜集合を $C_{t}=\left.\{c_{1, t}, c_{2, t}, \ldots, c_{J, t}\right.\}$ と定義する. 上記の定義に基づいて，本研究の金融推奨タスクである投資家行動予測はユーザープロファイル $\mathbf{p}_{i} \in \mathbb{R}^{P}$ と時刻 $t$ における銘柄コンテキスト情報 $c_{j, t}$ をもとに， ユーザー $u_{i}$ が時刻 $t$ で銘柄 $s_{j}$ を取引するかどうかを予測する 2 值分類タスクとして定式化できる.

## 2.2 情報選択モジュール

情報選択モジュールでは，金融行動に関連する様々な情報に対する投資家の選好をモデル化する.具体的には，注意機構（attention mechanism）[12] を用いて，市場での価格形成に関連するテクニカル指標，企業の財務状況を表すファンダメンタル指標，事業内容など，さまざまな情報に対する重みを表す. 銘柄 $s_{j}$ の時間 $t$ に対するテクニカル指標べクトル $\mathbf{t}_{j, t} \in \mathbb{R}^{T}$ とファンダメンタル指標ベクトル $\mathbf{f}_{j, t} \in \mathbb{R}^{F}$ は次のように計算される.

$
\begin{gathered}
\mathbf{t}_{j, t}=T C\left(v_{j, t} \ldots v_{j, t-l}\right) \\
\mathbf{f}_{j, t}=F C\left(\mathbf{w}_{j, t}\right)
\end{gathered}
$

ここで， $v_{j, t}$ は銘柄 $s_{j}$ の時間 $t$ における終値， $l$ はテクニカル指標を計算する期間を示し， $\mathbf{w}_{j, t}$ は銘柄 $s_{j}$ の時間 $t$ の財務情報の売上高や営業利益などの值を含んだベクトルを示す. $T C$ はテクニカル指標を計算するための関数，FC はファンダメンタル指標を計算するための関数を示す 1)，事業埋め込み $\mathbf{d}_{j} \in \mathbb{R}^{D}$ は, Bidirectional Encoder Representation from Transformers (BERT) [13] と Graph Convolutional Networks (GCN) [14] を用いてテキスト情報とネットワーク情報 ${ }^{2}$ を付加した埋め込み手法（SETN） [15]

1）詳細は付録 Cを参照.

2） Takayanagi et al.,2022 [15] に従いテキスト情報は決算短信の事業概要，ネットワーク情報は因果チェーンによる企業間ネットワークを使用.

を使用して，以下のように計算される。

$
\begin{gathered}
\mathbf{h}_{\mathrm{BERT}, j}=\operatorname{BERT}\left(\mathbf{x}_{j}\right) \\
\mathbf{h}_{\mathrm{GCN}, j}=\operatorname{ReLU}\left(\sum_{i \in N_{j}} \hat{D}^{-\frac{1}{2}} \hat{A} \hat{D}^{-\frac{1}{2}} \mathbf{h}_{\mathrm{BERT}, i} W_{d}+\mathbf{b}_{d}\right) \\
\mathbf{d}_{j}=\mathbf{h}_{\mathrm{BERT}, j}+\mathbf{h}_{\mathrm{GCN}, j}
\end{gathered}
$

ここで， $\mathbf{x}_{j}$ は target stock $j$ の事業内容を表すテキストデータ, $\mathbf{h}_{\mathrm{BERT}, j} \in \mathbb{R}^{D}$ は BERT [13] の出力, $N_{j}$ は $j$ の隣接銘柄， $\hat{A}=A+I$ は自己ループを加えたネットワークの隣接行列を示し, $\hat{D}_{j, j}=\sum_{i=0} \hat{A}_{j i}$ はその対角次数行列の要素, $W_{b} \in \mathbb{R}^{D \times D}$ は重み行列, $\mathbf{b}_{b} \in \mathbb{R}^{D}$ はバイアスを示す. 次に，各銘柄コンテキストに対して 1 層の線形層を使用し，その出力を結合することで銘柄コンテキスト行列 $C_{j, t} \in \mathbb{R}^{3 \times C}$ を取得する。これは銘柄，時間，情報の種類，埋め込み次元からなる銘柄コンテキストテンソル $\mathscr{C} \in \mathbb{R}^{J \times T \times 3 \times C}$ を任意の銘柄 $s_{j}$ と時間 $t$ でスライスした行列 $C_{j, t}=\mathscr{C}[j, t,:,:]$ である.

$
C_{j, t}=\left[W_{t} \mathbf{t}_{j, t}+\mathbf{b}_{t}\left.\|W_{f} \mathbf{f}_{j, t}+\mathbf{b}_{f}\right.\| W_{b} \mathbf{d}_{j}+\mathbf{b}_{d}\right]^{T}
$

ここで, $W_{t} \in \mathbb{R}^{C \times T}, W_{f} \in \mathbb{R}^{C \times F}, W_{d} \in \mathbb{R}^{C \times D}$ は重み行列, $\mathbf{b}_{t}, \mathbf{b}_{f}, \mathbf{b}_{d} \in \mathbb{R}^{C}$ はバイアスであり，\|は結合を示す. 最後に，以下のように投資家の金融意思決定における情報に対する選好を表すための注意機構を導入する。

$
\begin{gathered}
\mathbf{q}_{\mathbf{i}}=W_{q} \mathbf{w}_{i}+\mathbf{b}_{q} \\
K_{j, t}=C_{j, t} W_{k}^{T}+B_{k} \\
V_{j, t}=C_{j, t} W_{v}^{T}+B_{v} \\
\mathbf{a}_{i, j, t}=\operatorname{Attention}\left(\mathbf{q}_{\mathbf{i}}, K_{j, t}, V_{j, t}\right)
\end{gathered}
$

ここで，ユーザー埋め込み $\mathbf{w}_{i} \in \mathbb{R}^{W}$ はユーザー $u_{i}$ の埋め込み表現であり, $q_{i} \in \mathbb{R}^{Q}, K_{j, t}, V_{j, t} \in \mathbb{R}^{3 \times Q}$ はそれぞれクエリ，キー，バリューに対応し， $W_{q} \in \mathbb{R}^{Q \times W}, W_{k}, W_{v} \in \mathbb{R}^{Q \times C}$ は重み行列, $\mathbf{b}_{q} \in \mathbb{R}^{Q}$, $B_{k}, B_{v} \in \mathbb{R}^{3 \times Q}$ はバイアスを表し, $\mathbf{a}_{i, j, t} \in \mathbb{R}^{Q}$ は注意

## 2.3 コンテキストモジュール

次に，金融推奨においてユーザーとアイテムのコンテキスト情報を考慮するための NeuMF [4] に基づくコンテキストモジュールを導入する.このモジュールは，投資家の行動に影響を与える株式のダ

イナミクスと投資家のプロフィールを捉える。コンテキスト情報を考慮するために，ユーザーコンテキスト埋め込み $\mathbf{e}_{i} \in \mathbb{R}^{W}$ とアイテムコンテキスト埋め込み $\mathbf{l}_{j, t} \in \mathbb{R}^{W}$ を以下のように計算する.

$
\begin{gathered}
\mathbf{e}_{i}=W_{e} \mathbf{p}_{i}+\mathbf{b}_{e} \\
\mathbf{l}_{j, t}=W_{q}\left[\begin{array}{c}
\mathbf{t}_{j, t} \\
\mathbf{f}_{j, t} \\
\mathbf{d}_{j}
\end{array}\right]+\mathbf{b}_{q}
\end{gathered}
$

ここで, $\mathbf{p}_{i} \in \mathbb{R}^{P}$ はユーザープロフィールベクトル, $W_{e} \in \mathbb{W}^{W \times P}, W_{q} \in \mathbb{R}^{W \times(T+F+D)}$ は重み行列であり， $\mathbf{b}_{e}, \mathbf{b}_{q} \in \mathbb{R}^{W}$ はバイアスを表す. 最後に， ユーザーコンテキスト埋め込み $\mathbf{e}_{i}$ とユーザー $u_{i}$ の埋め込み表現 $\mathbf{w}_{i} \in \mathbb{R}^{W}$ ，アイテムコンテキスト埋め込み $\mathbf{l}_{j, t}$ とアイテム $s_{j}$ の埋め込み表現 $\mathbf{r}_{j} \in \mathbb{R}^{W}$ にそれぞれ Hadamard 積を取り $\left(\mathbf{g}_{i}=\mathbf{w}_{i} \odot \mathbf{e}_{i}\right.$, $\mathbf{n}_{j, t}=\mathbf{r}_{j} \odot \mathbf{l}_{j, t}$ ), NeuMF 層 ${ }^{4)}$ [4] からコンテキストベクトル $\mathbf{z}_{i, j, t} \in \mathbb{R}^{Q}$ を取得する.

$
\mathbf{z}_{i, j, t}=\operatorname{NeuMF}\left(\mathbf{g}_{i}, \mathbf{n}_{j, t}\right)
$

## 2.4 予測

投資家 $u_{i}$ の株 $s_{j}$ に対する preference の予測値 $\hat{y}_{i, j, t}$ は以下のように計算される.

$
\hat{y}_{i, j, t}=\sigma\left(\mathbf{h}_{y}\left(\mathbf{a}_{i, j, t}+\mathbf{z}_{i, j, t}\right)+b_{y}\right)
$

ここで， $\sigma$ はシグモイド関数， $\mathbf{h}_{y} \in \mathbb{R}^{Q} ， b_{y} \in \mathbb{R}$ はバイアスを表す. 損失関数は以下のように定義される。

$
\begin{aligned}
L & =-\sum_{(i, j, t) \in \mathcal{Y}} \log y_{i, j, t}-\sum_{(i, j, t) \in \mathcal{Y}^{-}} \log \left(1-y_{i, j, t}\right) \\
& =-\sum_{(i, j, t) \in \mathcal{Y} \cup \mathcal{Y}^{-}} y_{i, j, t} \log y_{i, j, t}+\left(1-y_{i, j, t}\right) \log \left(1-y_{i, \hat{j}, t}\right)
\end{aligned}
$

ここで， $y$ は正のサンプル， $y^{-}$は負のサンプルであり， $y_{i, j, t}$ は投資家 $u_{i}$ が時刻 $t$ に銘柄 $s_{j}$ を取引するかどうかの正解ラベルを表す. 負のサンプル $y^{-}$ については，各投資家が以前に取引していない銘柄の集合からランダムサンプリングを行い取得する.

## 3 実験

## 3.1 データセット

本研究ではオンライン証券を使用する個人投資家から取引データ，投資家プロフィールデータを収集
4）詳細は付録 Bを参照.
表 1 実験結果とアブレーションスタディ。 $\mathrm{H} @ \mathrm{~K}$ は HitRatio@Kを，N@KはnDCG@Kを表す。

し，969 人の投資家データセットを作成した. アクティブに取引を行う投資家を対象とするために 1 年に 50 回以上の取引を行っている投資家からのサンプリングを行った. 本研究のサンプリング期間は, 2020 年 7 月から 2022 年 9 月までである. 本研究では特に個別株式の購入を抽出して分析を行った.これは事業内容などのデータを使用することに加えて，売却は本研究の対象外である流動性ニーズなどにより引き起こされる可能性が高いからである. 投資家プロフィールとしては年齢，年収，金融資産，投資経験，および投資に対する姿勢の変数を使用した.

## 3.2 実験設定

He et al., 2017 に従い，評価には各投資家のデータセット内で最後の取引（インタラクション）をテストデータとして利用する leave-one-out アプローチを用いる。 ハイパーパラメータチューニングのために，ランダムに 1 つのインタラクションを検証デー タとして用いて，残りのデータはトレーニングに使用する. 評価指標としては推薦タスクで一般的に用いられる, Hit Ratio@K と nDCG@K (normalized Discounted Cumulative Gain） [16] を使用した. 評価実験では提案モデル PFRIC を以下のベースラインと比較する：ユーザーに最も人気のあるアイテムを推薦する Pop model, BPR[17], itemKNN[18], NeuMF[4], NGCF[19], LightGCN[5], MultiVAE[20], RecVAE[21].

## 3.3 実験結果

表 1 には提案モデルとベースラインモデルの精度比較と提案モデルの各モジュールの有効性を個別に評価するためのアブレーション分析の結果を示す. ここでISM は情報選択モジュール，CM はコンテキストモジュールを表す. 表 1 から，提案手法がべー スラインモデルを上回る精度となることが確認できる. アブレーション分析の結果から，各モジュールが全体のパフォーマンスに貢献しており，特に情報選択モジュール（ISM）を除外した時の予測精度の低下が大きいことから，情報選択モジュールが効果的であることが確認できる。各モジュールを除外すると特に $\mathrm{nDCG}$ のパフォーマンス低下がより顕著になり，情報選択モジュールとコンテキストモジュー ルの両方を導入することの重要性が示される. 実験結果から，これら 2 つのモジュールを用いて投資家の金融意思決定プロセスを組み込むことが，金融推奨の精度向上に寄与することが確認できた.

## 4 おわりに

本研究では金融推奨の投資家行動予測タスクに対して投資家の情報選択の選好を考慮した Personalized Financial Recommendation with Investors' Attention and Contextual Information (PFRIC) を提案した. 情報選択モジュールでは, テクニカル指標, ファンダメンタル指標, 事業内容など様々な属性に対する投資家の選好をモデル化する。一方で，コンテキストモジュールでは，株式の動的な特徴や投資家プロファイルなどのコンテキスト情報を考慮に入れる. 個人投資家の取引データを用いて行なった評価実験において，提案手法の精度が既存手法の精度を上回ることを確認し，金融推奨に対して個人投資家の情報選択の選好を考慮することの有用性を示した。一方で，金融推奨では投資家行動予測の Accuracy のみではなく，ポートフォリオの資産分散, Profitability, Risk 許容度との合致度など 「Beyond Accuracy」の評価も重要である.したがって，今後の発展として投資家予測に加えて Beyond Accuracy 指標も考慮した金融推奨モデルの研究を進めていきたい.

## 謝辞

本研究は大和証券グループ本社とそのグループ会社である大和コネクト証券株式会社の支援を受けたものである.

## 参考文献

[1] Robin M. E. Swezey and Bruno Charron. Large-scale recommendation for portfolio optimization. In Proceedings of the 16th ACM Conference on Recommender Systems, pp. 382-386, 2018.

[2] Yang Yujun, Li Jianping, and Yang Yimei. An efficient stock recommendation model based on big order net inflow. Mathematical Problems in Engineering, Vol. 2016, pp. $1-15,2016$.

[3] Mona Taghavi, Kaveh Bakhtiyari, and Edgar Scavino. Agent-based computational investing recommender system. In Proceedings of the 7th ACM Conference on Recommender Systems, pp. 455-458, 2013.

[4] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. WWW '17, p. 173-182. International World Wide Web Conferences Steering Committee, 2017.

[5] Xiangnan He, Kuan Deng, Xiang Wang, Yan Li, YongDong Zhang, and Meng Wang. Lightgen: Simplifying and powering graph convolution network for recommendation. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 639-648, New York, NY, USA, 2020. Association for Computing Machinery.

[6] Richard McCreadie, Konstantinos Perakis, Maanasa Srikrishna, Nikolaos Droukas, Stamatis Pitsios, Georgia Prokopaki, Eleni Perdikouri, Craig Macdonald, and Iadh Ounis. Next-Generation Personalized Investment Recommendations, pp. 171-198. Springer International Publishing, Cham, 2022.

[7] Sanz-Cruzado Javier, McCreadie Richard, Droukas Nikolaos, Macdonald Craig, and Ounis Iadh. On transactionbased metrics as a proxy for profitability of financial asset recommendations. In The 3rd International Workshop on Personalization Recommender Systems in Financial Services, pp. 1-11, 2022.

[8] Takehiro Takayanagi, Chung-Chi Chen, and Kiyoshi Izumi. Personalized dynamic recommender system for investors. SIGIR '23, p. 2246-2250, New York, NY, USA, 2023. Association for Computing Machinery.

[9] Takehiro Takayanagi, Kiyoshi Izumi, Atsuo Kato, Naoyuki Tsunedomi, and Yukina Abe. Personalized stock recommendation with investors' attention and contextual information. SIGIR '23, p. 3339-3343, New York, NY, USA, 2023. Association for Computing Machinery.

[10] Takehiro Takayanagi and Kiyoshi Izumi. Context-aware stock recommendations with stocks' characteristics and investors' traits. IEICE TRANSACTIONS on Information and Systems, Vol. 106, No. 10, pp. 1732-1741, 2023.

[11] Brad M. Barber and Terrance Odean. Boys will be Boys: Gender, Overconfidence, and Common Stock Investment*.
The Quarterly Journal of Economics, Vol. 116, No. 1, pp. 261-292, 022001.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[15] Takehiro Takayanagi, Hiroki Sakaji, and Kiyoshi Izumi. Setn: Stock embedding enhanced with textual and network information. In 2022 IEEE International Conference on Big Data (IEEE BigData 2022), pp. 2367-2372, 2022.

[16] Kalervo Järvelin and Jaana Kekäläinen. Cumulated gainbased evaluation of ir techniques. ACM Trans. Inf. Syst., Vol. 20, No. 4, p. 422-446, oct 2002.

[17] Steffen Rendle, Christoph Freudenthaler, Zeno Gantner, and Lars Schmidt-Thieme. Bpr: Bayesian personalized ranking from implicit feedback. UAI '09, p. 452-461, Arlington, Virginia, USA, 2009. AUAI Press.

[18] Fabio Aiolli. Efficient top-n recommendation for very large scale binary rated datasets. In Proceedings of the 7th ACM Conference on Recommender Systems, RecSys '13, p. 273-280, New York, NY, USA, 2013. Association for Computing Machinery.

[19] Xiang Wang, Xiangnan He, Meng Wang, Fuli Feng, and Tat-Seng Chua. Neural graph collaborative filtering. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR'19, p. 165-174, New York, NY, USA, 2019. Association for Computing Machinery.

[20] Dawen Liang, Rahul G. Krishnan, Matthew D. Hoffman, and Tony Jebara. Variational autoencoders for collaborative filtering. In Proceedings of the $\mathbf{2 0 1 8}$ World Wide Web Conference, WWW '18, p. 689-698, Republic and Canton of Geneva, CHE, 2018. International World Wide Web Conferences Steering Committee.

[21] Ilya Shenbin, Anton Alekseev, Elena Tutubalina, Valentin Malykh, and Sergey I. Nikolenko. Recvae: A new variational autoencoder for top-n recommendations with implicit feedback. In Proceedings of the 13th International Conference on Web Search and Data Mining, WSDM '20, p. 528-536, New York, NY, USA, 2020. Association for Computing Machinery.

## A Attention 層に関して

本研究の $\mathbf{q}_{i} \in \mathbb{R}^{Q}, K_{j, t}, V_{j, t} \in \mathbb{R}^{|A| \times Q}$ はクエリ, キー，バリューである. ここで，A は投資家が参照する情報の種類（株価情報，ニュース情報など）の集合であり，本研究ではテクニカル指標，ファンダメンタル指標，事業内容の 3 種類の情報を用いて実験を行うために $|A|=3$ となる. Attention 層は以下のように計算される. また，ここでは簡単のため $j, t$ の添え字を外し, $\mathbf{a}_{i}=\operatorname{Attention}\left(\mathbf{q}_{i}, K, V\right)$ の説明を行う. 本文中ではキー $K_{j, t}$ とバリュー $V_{j, t}$ に銘柄 $s_{j}$, 時間 $t$ の添え字がついており, 時間と銘柄ごとに異なる値が出力される。

はじめにキーとクエリからユーザー $u_{i}$ の $e$ 番目の情報に対するアテンション $\alpha_{i, e}$ を以下のように計算する. アテンションを用いて投資家の情報選択の重みを考慮したべクトル $\mathbf{a}_{i} \in \mathbb{R}^{Q}$ が計算できる.

$
\begin{gathered}
\alpha_{i, e}=\frac{\exp \left(\mathbf{k}_{e}^{T} \mathbf{q}_{\mathbf{i}}\right)}{\sum_{e=1}^{|A|} \exp \left(\mathbf{k}_{e}^{T} \mathbf{q}_{\mathbf{i}}\right)} \\
\mathbf{a}_{i}=\sum_{e=1}^{|A|} \alpha_{i, e} \mathbf{v}_{e}
\end{gathered}
$

ここで $\mathbf{k}_{e} \in \mathbb{R}^{Q}, \mathbf{v}_{e} \in \mathbb{R}^{Q}$ はそれぞれ $, K, V$ 行列の $e$列目のベクトルである.

## B NeuMF 層に関して

本研究の NeuMF 層の計算は以下の通りである.ここでは簡単のため $t$ の添え字を外し， $\mathbf{z}_{i, j}=\operatorname{NeuMF}\left(\mathbf{g}_{i}, \mathbf{n}_{j}\right)$ の説明を行う. 本文中では時間 $t$ の添え字がついており, 時間ごとに異なる值が出力される.

NeuMF の入力はユーザー埋め込み $\mathbf{g}_{i} \in \mathbb{R}^{W}$ とアイテム埋め込み $\mathbf{n}_{j} \in \mathbb{R}^{W}$ である. NeuMF は Generalized Matrix Factorization (GMF) 層と Multilayer Perceptron （MLP）層からなる. はじめに, GMF と MLP に対応したユーザー埋め込み $\mathbf{p}_{i}^{G} \in \mathbb{R}^{G}, \mathbf{p}_{i}^{M} \in \mathbb{R}^{M}$ とアイテム埋め込み $\mathbf{q}_{j}^{G} \in \mathbb{R}^{G}, \mathbf{q}_{j}^{M} \in \mathbb{R}^{M}$ を計算する.

$
\begin{aligned}
& \mathbf{p}_{i}^{G}=W_{u}^{G} \mathbf{g}_{i}+\mathbf{b}_{u}^{G} \\
& \mathbf{q}_{j}^{G}=W_{h}^{G} \mathbf{n}_{j}+\mathbf{b}_{h}^{G} \\
& \mathbf{p}_{i}^{M}=W_{u}^{M} \mathbf{g}_{i}+\mathbf{b}_{u}^{M} \\
& \mathbf{q}_{j}^{M}=W_{h}^{M} \mathbf{n}_{j}+\mathbf{b}_{h}^{M}
\end{aligned}
$

ここで, $W_{u}^{G}, W_{h}^{G} \in \mathbb{R}^{G \times W}, W_{u}^{M}, W_{h}^{M} \in \mathbb{R}^{M \times W}$ は重み行列で, $\mathbf{b}_{u}^{G}, \mathbf{b}_{h}^{G} \in \mathbb{R}^{G}, \mathbf{b}_{u}^{M}, \mathbf{b}_{h}^{M} \in \mathbb{R}^{M}$ はバイアスである。次に GMF 層により線形の相互作用を捉えるべクトル $\Phi^{G M F} \in \mathbb{R}^{G}, M L P$ 層により非線形の相互作用を捉えるべクトル $\Phi^{M L P} \in \mathbb{R}^{M}$ を得る.

$
\Phi^{G M F}=\mathbf{p}_{i}^{G} \odot \mathbf{q}_{j}^{G}
$

$\Phi^{M L P}=a_{L}\left(W_{L}\left(a_{L-1}\left(\ldots a_{2}\left(W_{2}\left[\begin{array}{c}\mathbf{p}_{i}^{M} \\ \mathbf{q}_{j}^{M}\end{array}\right]+b_{2}\right)\right) \ldots\right)+b_{L}\right)$,

ここで MLP 層は $\mathrm{L}$ 層の線形層で $a$ は活性化関数を示す. 本研究では活性化関数に ReLUを用い, $L=4, G+M=Q$ となるように実験を行った. 最後に結合を行い $\mathbf{z}_{i, j} \in \mathbb{R}^{Q}$ を得る.

$
\mathbf{z}_{i, j}=\left[\begin{array}{l}
\Phi^{G M F} \\
\Phi^{M L P}
\end{array}\right]
$

## C TC, FC に関して

$\mathrm{TC}$ はボリンジャーバンド, MACD（移動平均収束拡散法), RSI (相対力指数), ADX (平均方向性指数）やストキャスティクスなど代表的なテクニカル指標を計算する関数であり，実装には TA-Libライブラリ 5)6)を用いた。一方で，FC は EPS（1 株当たり純利益)，BPS（1 株当たり純資産），PER（株価収益率), ROE (自己資本利益率) などのファンダメンタル指標を計算する関数であり，それぞれのファクターは以下のように計算される。

$
\text { EPS }(1 \text { 株当たり純利益 })=\frac{\text { 当期純利益 }}{\text { 発行済み株式数 }}
$

$
\operatorname{BPS}(1 \text { 株当たり純資産 })=\frac{\text { 純資産 }}{\text { 発行済み株式数 }}
$

$
\text { PER }(\text { 株価収益率 })=\frac{\text { 株価 }}{\operatorname{EPS}(1 \text { 株当たり純利益 })}
$

$
\text { 自己資本利益率 }(\mathrm{ROE})=\frac{\text { 当期純利益 }}{\text { 自己資本 }}
$


# 加法構成性を活用した最適輸送による文書類似度の定量化

赤松 朋哉 1 中川慧 ${ }^{2}$
1 大阪大学大学院理学研究科 2 野村アセットマネジメント株式会社
u149852g@ecs.osaka-u.ac.jp, kei.nak.0315@gmail.com

## 概要

本研究は，自然言語処理の基本タスクである Senmantic text similarity (STS) の精度向上を目的とし，単語ベースと文章ベースのSTS 手法の差異に着目する. 特に，金融経済分野をはじめとする専門分野のフレーズ表現に焦点を当て，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題に基づく新しい文書類似度の定量化手法を提案する。

## 1 はじめに

Senmantic text similarity (STS) は，二つのテキスト間の類似度を計算し，それらの意味的な等価性を測定するタスクである [1]. STS は自然言語処理において最も基本的なタスクの一つであり [2], 情報検索やテキスト要約などの様々なタスクへ応用されている.そのため, 正確な STS の計測が可能になると，様々な自然言語処理タスクの精度向上が期待できる [3].

STS の手法は単語アライメントベースのものと文ベースのものに大別される [4]. ここで，前者はアライメントが得られるため直感的かつ解釈可能である一方で，性能自体は文べースの方が良い [5,6].この理由として単語のアライメントでは, 複数の単語の加法で構成される “フレーズ表現”をうまくとらえることができていない一方，文べースの手法ではこれをうまくとらえているためであると考えている. 特に，金融経済といった専門領域の文章には独自のフレーズ表現に対応するための専門の辞書が用意されており [7], こういった表現が多く含まれると考えられる. ゆえに金融や経済分野といった専門領域ほどフレーズ表現を捉えることは特に重要である。例えば，「卵を一つのかごに盛るな（Don't put all your eggs in one basket)」という表現と「一つの投資先に依存するな（Don’t rely on a single investment)」 という表現はともに，分散投資の重要性を指摘する
フレーズ表現である.これに対して，単語ベースの分散表現である Word2Vec と文章ベースの分散表現である BERT の埋込空間を用いて類似度を計測すると, 前者は 0.66 , 後者は 0.90 と文章ベースはフレー ズ表現に対応できていることがわかる. また同様に，「人が売るときに買い，人が買うときには売れ (Buy when others sell; Sell when others buy)」という表現と「大衆はいつも間違える (The public is always wrong)」という群集心理に逆らう重要性を指摘するフレーズ表現でも，前者は 0.31 ，後者は 0.85 と文章ベースはフレーズ表現に対応できている.

以上を踏まえて本研究では，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題を構成することで，Word mover's distance [8] による STS の精度を向上させる手法を提案する。（図1）

## 2 準備

以下では, 正の整数 $n$ に対し, $[n]:=\{1, \ldots, n\}$ と定義する。また，集合 $X$ に対し， $\# X$ で $X$ の濃度 （要素の数）を表す。

## 2.1 問題設定

まず単語埋め込みの設定について，以下のように定義する.

・単語全体の集合を $\mathbb{W}$ とおく。

・文全体の集合を $\mathbb{S}$ とく .

・各文 $s$ を形態素解析によって \# $s$ 個の単語からなる順序対とみなし, $s=\left(s_{i}\right)_{i \in[\# s]}$ と記す。

・各単語をある次元 $D$ のユークリッド空間 $\mathbb{R}^{D}$ 内の点と対応付ける操作

$
\text { vec }: \mathbb{W} \rightarrow \mathbb{R}^{D}
$

を単語埋め迄みと呼ぶ. 単語 $w$ に対し, $\operatorname{vec}(w)\left(\in \mathbb{R}^{D}\right)$ を $w$ の単語ベクトルという.

単語埋め込みの最も単純な例として，ある成分のみ 1 でその他の成分は全て 0 であるべクトルによって

図 1: 文 $s=\left(s_{1}, s_{2}, s_{3}\right), t=\left(t_{1}, t_{2}, t_{3}\right)$ に対し, それぞれの単語埋め込みが左図のように与えられたとする. このとき，WMDでは緑の矢印のような直接的な輸送により文 $s, t$ の類似度を測る。本紙では，例えば単語 $s_{1}, s_{2}$及び $t_{1}, t_{2}$ の組合せが 1 つのフレーズとして検知できた場合に，これらをまとめて 1 つの “単語”として扱う輸送問題を提案する（右図）ただしフレーズは必ずしも 1 つの単語として表せないため，単語埋め込みには加法構成性を仮定し，この性質による近似を使用する。また，フレーズとして認識されなかった単語は WMD による通常の輸送を行う。

各単語を表現する One-hot 表現がある. この手法では単語の総数分の次元が必要，すなわち埋め込み先の空間の次元が $D=\# \mathbb{W}$ となるため，扱う単語数が大きい場合は各操作の計算時間が大きくなり実用的とはいえなくなる。このため埋め込み先の空間の次元を \#WW に比べて可能な限り削減するというのは単語埋め込みにおける重要な問題意識である。 この問題を上手く克服した埋め込み手法の 1 つに Mikolov ら [9] によって提案された Word2vecがある. Word2vecによる単語埋め込みには，特徴を表す単語ベクトルを複数足し合わせることでそれらの特徴を兼ね備えた単語の単語べクトルを（ $\mathbb{R}^{D}$ 上の点として）近似できるという加法構成性がある [10]. 加法構成性によって例えば次のよく知られた近似が可能となる：

$
\operatorname{vec}(\text { royal })+\operatorname{vec}(\operatorname{man}) \approx \operatorname{vec}(\text { king }) .
$

Word2vec 以外にも Pennington らによる [11] も加法構成性を持つことが知られている。本研究では，このような加法構成性を持つ単語埋め込みを扱う。

## 2.2 最適輸送

最初に，最適輸送による記述を行うための用語をまとめる.
- 確率測度に関して。確率測度 $\mu$ のサポート $\operatorname{supp} \mu$ を $\operatorname{supp} \mu:=\{x \in X \mid \mu(x)>0\}$ と定義する. 断りのない限り, 本紙で扱う確率測度は全てサポートが有限とする。また，集合 $X$ に対し， $X$ 上の有限サポートを持つ確率測度全体の集合を $\mathscr{P}(X)$ と書く.すなわち $\mu \in \mathscr{P}\left(\mathbb{R}^{D}\right)$
は有限個の点 $x \in \mathbb{R}^{D}$ に重み $\mu(x)>0$ が乗った確率分布である. $\pi \in \mathscr{P}(X \times X)$ が確率測度 $\mu, v \in \mathscr{P}(X)$ のカップリングであるとは，任意の部分集合 $S \subset X$ に対して $\pi(S \times X)=\mu(S)$ かつ $\pi(X \times S)=v(S)$ であることをいう. $\mu, v$ のカップリング全体の集合を $\Pi(\mu, v)(\subset \mathscr{P}(X \times X))$ と書く.
- 輸送距離に関して. $c: X \times X \rightarrow \mathbb{R}$ を集合 $X$ 上のコスト関数とする.このとき, $\mathscr{P}(X) \times \mathscr{P}(X)$上の関数 $\mathrm{W}_{1}(\cdot, \cdot ; c)$ を

$
\mathrm{W}_{1}(\mu, v ; c):=\min _{\pi \in \Pi(\mu, v)} \sum_{x, y \in X} c(x, y) \pi(x, y)
$

と定義する. $c(x, y)$ は $x \in X$ から $y \in X への$ 単位質量あたりの輸送コストを表していることから，右辺の目的関数は $\mu$ から $v$ への輸送コストの総量である. 従って $\mathrm{W}_{1}(\mu, v ; c)$ とは，確率測度 $\mu, v$ 間のコスト関数 $c$ のもとでの最小輸送費用である。扱う確率測度は全てサポー トが有限であるため, 右辺の最小値が存在することも分かる。ここで，コスト関数 $c$ によっては $\mathrm{W}_{1}(\cdot, \cdot ; c)$ は距離関数とならない（例えば三角不等式を満たさない）場合があることに注意する. 本紙ではこのような場合においても $\mathrm{W}_{1}(\cdot, \cdot ; c)$ を (輸送) 距離と呼ぶことがある. $X$ が距離関数 $d: X \times X \rightarrow \mathbb{R}_{\geq 0}$ を備えた距離空間であるとき, $\mathrm{W}_{1}(\cdot, \cdot ; d)$ は $\mathscr{P}(X)$ 上の Earth mover's distance あるいは $L^{1}$-Wasserstein 距離と呼ばれる距離尺度である ${ }^{1)}$.

次に, [8] で提案された Word mover's distance (WMD) を導入する。WMDでは 2 つの文の間の類似度を測る距離尺度であるが，そのためには (1) 文を確率測度に変換する，(2) それらの間をユークリッド距離をコストとした $W_{1}$ で測る，という 2 つのステップがある.これらを式で書き下すと以下のようになる：

(1)まず，各文 $s$ を $\mathbb{R}^{D}$ 上の確率測度に変換する写像2) STUM : $\mathbb{S} \rightarrow \mathscr{P}\left(\mathbb{R}^{D}\right)$ を，各 $i \in[\# s]$ に対し

$
\operatorname{STUM}\left(\operatorname{vec}\left(s_{i}\right)\right):=\frac{1}{\# s}
$

であるものと定義する。すなわち STUM とは，与えられた文 $s=\left(s_{i}\right)_{i \in[\# s]}$ に対し, 各単語 $s_{i}$ の単語ベクトル $\operatorname{vec}\left(s_{i}\right)$ の上に合計 1 の重みを均等に乗せる操作である.

(2)そして $\mathbb{S}$ 上の距離 Word mover's distance WMD : $\mathbb{S} \times \mathbb{S} \rightarrow \mathbb{R}_{\geq 0}$ を

$
\operatorname{WMD}(s, t):=\mathrm{W}_{1}\left(\operatorname{STUM}(s), \operatorname{STUM}(t) ; d_{\mathbb{R}^{D}}\right)
$

と定義する.ここで， $d_{\mathbb{R} D}$ は単語の埋め込み先である空間 $\mathbb{R}^{D}$ のユークリッド距離である.

## 3 提案手法

## 3.1 背景

1 章で述べたように専門領域においては特有の用語・フレーズが豊富である 3$)$ ．特定の単語が集まった場合に普段使われているのと異なる意味として対処する必要があるため, 文脈を考慮しない“静的”な埋め込みである Word2vec などではその特定のタスクにフォーカスした訓練が必要となる。また，文ベースの STS，文脈をくみ取ってその文の中での単語の意味を表現する Embeddings from Language Models による埋め込み [14] などが有効な手法となる.ただしこれらの手法には加法構成性は期待できないことが多い.

一方で文の距離尺度である輸送距離に関しては, WMD では個々の単語ベースの輸送で文の類似度を測るため，特殊な表現を含む文への適用に十分な妥当性を持たないことがしばしば見受けられる.

(詳しくは $[12,13]$ などを参照). 任意の次元 $D$ に対してユー クリッド空間 $\mathbb{R}^{D}$ は完備可分距離空間である.

2) Sentence To Uniform (Probability) Measure.

3）実際に本研究と同様の問題意識で専門用語については termextracthttp://gensen.dl.itc.u-tokyo.ac.jp/pytermextract/のように専門用語を抽出する技術が存在する.
WMD はフレーズを単語単位に分解した状態で 2 文の距離を測るため，特にフレーズに対しては埋め込みの段階で得られている各単語の分散表現の精度が低下してしまうことが原因だと考えられる。

## 3.2 加法構成性を活用した最適輸送問題

図 2: 文 $s$ から $\tilde{s}$ への変換 (式 (4)). 単語の組 $\left(s_{2}, s_{3}, s_{4}\right),\left(s_{5}, s_{6}\right)$ がフレーズとして判定された場合，これらをまとめて “単語” $\tilde{s}_{k_{2}}, \tilde{s}_{k_{3}}$ として扱う.

本研究では，加法構成性を持つ単語埋め込みによって得られている単語の分散表現に対し，加法構成性を活用した最適輸送問題を構成することで WMD の精度を向上させる手法を提案する。すなわち，単語埋め込みが与えられた（単語が $\mathbb{R}^{D}$ に埋め込まれた）状況においてWMDを修正する。

以下ではフレーズとは連続する 2 語以上からなる単語の組とする. 与えられた文 $s=\left(s_{i}\right)_{i \in[\# s]}$ に対し，以下のように定義する。
- 文 $s$ に対し, $s$ 内で検出できたフレーズ全体の集合を $P(s)$ と表す.フレーズは最低 2 語からなるものであり，また文そのものがフレーズであることもあるため $0 \leq \# P(s) \leq \# s / 2$ である.

・検出した各フレーズ $p \in P(s)$ について，以下の流れで $p$ を構成する $s$ の単語たちをまとめて 1 つの “単語”として同一視する. フレーズ $p$ を構成する $s$ の単語の数を $\# p$ とし, $p=\left(p_{j}\right)_{j \in[\# p]}$ と表す.このとき，単語埋め込み vec の記号を濫用し,

$
\operatorname{vec}(p)=\operatorname{vec}\left(\left(p_{j}\right)_{j \in[\# p]}\right):=\sum_{j \in[\# p]} \operatorname{vec}\left(p_{j}\right)
$

と定める. 任意の $j \in[\# p]$ に対して $\operatorname{vec}\left(p_{j}\right) \in$ $\mathbb{R}^{D}$ であるため $\operatorname{vec}(p) \in \mathbb{R}^{D}$ である.ここで $p \notin \mathbb{W}$ であり，また $\operatorname{vec}(w)=\operatorname{vec}(p)$ なる単語 $w \in \mathbb{W}$ は必ずしも存在しないことに注意する.

・このようにして新たに構成された “単語”の順序対を $\tilde{s}$ とき，改めて番号付けしておく（図2）：

$
\tilde{s}=\left(\tilde{s}_{k_{1}}, \ldots, \tilde{s}_{k_{\#[\tilde{s}]}}\right) .
$

いま， $\tilde{s}$ の定義より次が成り立つ：

$
\# \tilde{s}=\# s-\sum_{p \in P(s)}(\# p-1)(\leq \# s)
$

2 つのフレーズ $p=\left(p_{i}\right)_{i \in[\# p]}, q=\left(q_{j}\right)_{j \in[\# q]}$ があり, これらは互いに似た意味を持っているとする。このとき，単語埋め込み vec に加法構成性を仮定しているため, $\mathbb{R}^{D}$ での (1)のような近似

$
\operatorname{vec}(p)=\sum_{i \in[\# p]} \operatorname{vec}\left(p_{i}\right) \approx \sum_{j \in[\# q]} \operatorname{vec}\left(q_{j}\right)=\operatorname{vec}(q)
$

が期待できる。

以上の考察をもとに，WMDを修正する。まず，与えられた文 $s$ から確率測度への変換4) $S T W M: \mathbb{S} \rightarrow \mathscr{P}\left(\mathbb{R}^{D}\right)$ を考える. 本設定では重みは $s$ ではなく $\tilde{s}$ を構成する単語の単語べクトルに乗せる.ここで， $p \notin \mathbb{W}$ であることと同様に $\tilde{s} \notin \mathbb{S}$ である

の写像を構成できることに注意する. また，検出したフレーズに対して重みを割り当てることができるため, 式 (2)のような一様な重みではなく, 横井ら [4] に導入された Word rotator's distance (WRD) と同様の方法でフレーズの重要度を反映させた重みを考える. 実際，フレーズは複数個の単語の組合せであるため，本研究のような定義を採用する場合，その埋め込み先（=フレーズを構成する単語の単語べクトルの和，定義式 (3) 参照）のノルム（重要度）は特に意味を持つ.つまり，各 $\ell \in[\# \tilde{s}]$ に対し，

$
\operatorname{STWM}\left(\operatorname{vec}\left(\tilde{s}_{k_{\ell}}\right)\right):=\frac{\left.\|\operatorname{vec}\left(\tilde{s}_{k_{\ell}}\right)\right.\|}{\sum_{\ell \in[\# \tilde{s}]}\left.\|\operatorname{vec}\left(\tilde{s}_{k_{\ell}}\right)\right.\|}
$

と定める. ただし $\|\cdot\|: \mathbb{R}^{D} \rightarrow \mathbb{R}_{\geq 0}$ は $\mathbb{R}^{D}$ のユークリッドノルムである. 続いて輸送距離を決める. 式 (5) の近似を活用するため，ここでは純粋に $\mathbb{R}^{D}$ のユークリッド距離を採用する. したがって本研究で導入した輸送距離 ${ }^{5}$ MWMD : $\mathbb{S} \times \mathbb{S} \rightarrow \mathbb{R}_{\geq 0}$ を

$
\operatorname{MWMD}(s, t):=\mathrm{W}_{1}\left(S T W M(s), \operatorname{STWM}(t) ; d_{\mathbb{R} D}\right)
$

と定義する（図1も参照）.

## 4 数値例

株式相場の格言を 47 個取得6)し，それらのぺアについて (i) word2vec (ii) BERT それぞれの手法による類似度の数値例を示す。

4) Sentence To Weighted (Probability) Measure

5) Modified Word Mover's Distance.

6) https://www.jsda.or.jp/jikan/proverb/proverb26.html

図 3: (i) word2vec (ii) BERT の類似度の散布図

まず，(i)と (ii)の相関を計算すると 0.101 となり，相関が低いことがわかる (散布図3)。なお，(i) word2vec の類似度において単語分割ができないことにより類似度が 1 となっているぺアが存在するが， これを除外すると相関は-0.405と逆相関となる。

また, (i) と (ii) の類似度の差の統計量は平均:0.114, 中央値:-0.121, 標準偏差:0.099, 最小:-0.362,最大: 0.308 である. 定性的にも，「山高ければ谷深し」,「株価の里帰り」というほぼ同じ意味を持つ格言に対して，(i) 0.61 , (ii) 0.79 という類似度が計算されている傾向がみられた。

「山高ければ谷染し」，「株価の里帰り」。 (i) 0.61 , (ii) 0.79 .

(i) < (ii) となるのは BERT が word2vec に比べて埋め込みがより文レベルであることによる。一方，これらは同等の意味を持つため，これらのフレーズが検知できた場合は MWMD の値は十分小さくなる （すなわち類似度をより高く評価できる）ことが期待できる.

## 5 まとめ

本研究では，加法構成性を持つ単語埋め込みのもとでの WMD の修正案として，検知したフレーズを形式上の単語として扱った状態で類似度を求める最適輸送問題を構成した. 今回の輸送尺度はフレーズを単に単語とみなしているが，このような “単語”を通常の単語と区別するべきかどうかなどの問題はまだ改良の余地があると考えられる。

## 参考文献

[1] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. Semeval-2012 task 6: A pilot on semantic textual similarity. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012), pp. 385-393, 2012.

[2] Dhivya Chandrasekaran and Vijay Mago. Evolution of semantic similarity-a survey. ACM Computing Surveys (CSUR), Vol. 54, No. 2, pp. 1-37, 2021.

[3] John Wieting, Taylor Berg-Kirkpatrick, Kevin Gimpel, and Graham Neubig. Beyond bleu: Training neural machine translation with semantic similarity. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4344-4355, 2019.

[4] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator' $\mathrm{s}$ distance. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2020.

[5] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2019.

[6] Weizhe Yuan, Graham Neubig, and Pengfei Liu. Bartscore: Evaluating generated text as text generation. Advances in Neural Information Processing Systems, Vol. 34, pp. 27263-27277, 2021.

[7] Tim Loughran and Bill McDonald. When is a liability not a liability? textual analysis, dictionaries, and 10-ks. The Journal of finance, Vol. 66, No. 1, pp. 35-65, 2011.

[8] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In International conference on machine learning, pp. 957966. PMLR, 2015.

[9] T Mikolov, K Chen, G Corrado, and J Dean. Efficient estimation of word representations in vector space. in y. bengio \& y. lecun (eds.), 1st international conference on learning representations, iclr 2013, scottsdale, az, may 24, 2013, workshop track proceedings. 2013.

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

[11] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 15321543, 2014.

[12] Cédric Villani, et al. Optimal transport: old and new, Vol. 338. Springer, 2009.

[13] Cédric Villani. Topics in optimal transportation, Vol. 58. American Mathematical Soc., 2021.

[14] E Matthew. Peters, mark neumann, mohit iyyer, matt gardner, christopher clark, kenton lee, luke zettlemoyer. deep contextualized word representations. In Proc. of NAACL, Vol. 5, 2018.

## 謝辞

第一著者は JST 次世代研究者挑戦的研究プログラム JPMJSP2138 の支援を受けている.