# 機密情報検知における生成 AI を用いたデータ拡張

岸波洋介 $^{1}$ 藤井諒 ${ }^{1}$ 加藤善大 ${ }^{1}$
1 フューチャー株式会社
$\{$ y.kishinami.rh, r.fujii.6d, y.kato.v7\}@future.co.jp

## 概要

企業において，電子メールやチャットの誤送信等，様々な場面に機密情報漏えいのリスクが存在する.これに対して，入力文中の機密情報を事前に検知することが有用であると考えられるが，モデルの学習には大規模なデータセットが必要となる。そこで本研究では，生成 $\mathrm{AI}$ を用いた機密情報検知のデータ拡張手法を提案する。実験では提案手法で作成したデータを用いて企業名，および法人名を検知するモデルの学習を行い，有効性を調査した．実験の結果，生成 $\mathrm{AI}$ を用いてエンティティを拡張する手法によりベースラインに比べ $\mathrm{F} 1$ で $2.5 \%$ の大幅な精度向上を確認した。

## 1 はじめに

業務のデジタル化に伴い情報管理に関するセキュリティリスクが高まっている．特に，個人や顧客に関する機密情報の漏えいは重大な問題である．電子メールやチャット，SNS の誤送信に加えて，最近では ChatGPT をはじめとした生成 AIを活用する企業も増えており，情報漏えいのリスクは様々な場面に潜んでいる。情報漏えいを防ぐにあたり，重要なのは機密情報の送信を未然に防ぐことである. そのための一つのアプローチとして，入力文に含まれる機密情報を検知し，送信前にユーザに通知することが考えられる。これは自然言語処理分野では従来より固有表現抽出 (NER) の文脈で取り組まれてきた。近年，固有表現抽出では BERT [1] 等の事前学習済み言語モデルを固有表現ラベル付きデータセットでファインチューニングする手法が主流である. しかしながら，問題設定によってラベル定義が異なることや，アノテータの確保等の観点から高品質なラベル付きデータセットを大規模に構築することは高コストである.

一般に，このような課題への対処としては，既存のデータセットを元にしたデータ拡張が行われ

図 1 機密情報検知の概要.

る $[2,3]$. 固有表現抽出においても，単純なルールに基づく手法 $[4,5]$ や，言語モデルを利用し文の一部や全体を言い換える手法 [6,7] 等様々な手法でデータ拡張が行われている。ルールに基づく手法では，学習データセットの他の事例のエンティティを用いる，同一文内で順序を入れ替える等，限られた情報源を元にデータ拡張が行われることが多い。そのため，学習データの多様性が向上しないことが指摘されている [8]. これに対して，言語モデルを利用した手法では，言語モデルの表現力の範囲で多様性を大幅に向上できる可能性がある．既存研究では元の文と意味的な一貫性を保ったまま言い換えを行う等の手法の有効性が示されている [7]. しかしながら，企業や人物等に関する事実は今後も永続的に増えていくものであり，現時点で事実に反する記述も将来に渡って誤りであるとは言い切れない。したがって，現時点で事実として正しいことや，元の文と意味的に一貫していることは必ずしも重要ではないと考えられる。

そこで本研究では，生成 AIを用いた事実性に捉われない多様なデータ拡張を提案する。実験では，生成 $\mathrm{AI}$ を用いてエンティティを拡張する手法により, ベースラインに比べ $\mathrm{F} 1$ で $2.5 \%$ の大幅な精度向上を確認した。また，分析を通して，拡張したデータで学習することが文字種の複合を含む複雑な企業・法人名への頑健性を向上することが示唆された。

図 2 生成 $\mathrm{AI}$ 用いたデータ拡張の概要.

## 2 関連研究

大規模なニューラルネットワークの学習は一般に多量のデータを要する。 そのような背景において，高品質なデータを人手で大量に作成することは大きなコストを伴うため，データ拡張と呼ばれる手法が活発に研究されている $[2,3]$. 自然言語処理におけるデータ拡張は大きく，文の一部を交換・挿入・削除するといったルールベース $[9,10]$, 逆翻訳 [11] やマスク言語モデルによるトークン予測 [12] といったモデルベースの手法に二分される. 固有表現抽出においても，かねてより多くのルールベース，モデルベースのデータ拡張手法が提案されてきた。

Dai ら [4] は，文中のエンティティをデータセット中の同じラベルのエンティティに置き換える Mention Replacement (MR) 等, 合計 4 つのルールベー スによるデータ拡張を提案している. Dai らの調査では，これらの単純なデータ拡張が低資源な固有表現抽出で極めて効果的であることが示唆された. 寺本ら [5] は，Dai らの手法で非文が生成される可能性があることに着目し，POS タグによる制約を課すことで非文の生成を抑える手法を提案している。 しかしながら，これらの既存手法は限られた情報源を元に置換等の操作を行うため，学習データの多様性を向上させることができない [8].

一方で，学習済み言語モデルを利用したモデルベースの手法も多く研究されている $[6,7,8,13,14]$. Li ら [6] は，系列変換モデル [15]を使用してエンティティ以外の文脈を拡張する手法を提案している. Sharma ら [7] は， GPT-3 [16] をはじめとした複数の言語モデルを用いて言い換え文を生成し，高品質な言語モデルによる言い換え文の生成が汎化性能の向上に寄与することを示した. しかしながら， Sharma らの手法では元の文との意味的な一貫性が重要視されており，多様性の向上は限定される.

本研究では，文として自然な構造を保っていれ
ば，一見して事実に反すると思えるような文でもモデルの学習に有用であると仮定し, 多様なエンティティ・文脈のデータを生成することに着目する。

## 3 タスク: 機密情報検知

固有表現抽出タスクで一般的に使用される固有表現は必ずしも機密情報ではない．例えば IREX [17] で定義される固有表現のうち，日付表現や時刻表現に起因してセキュリティ的な問題が発生する可能性は低い。一方で，パスワード等固有表現として定義されない表現でも検知すべきものは存在する．そのため，機密情報の事前検知を目的とした場合，一般的な固有表現抽出のラベル定義は適していないと考えられる. 企業における機密情報として，第一に挙げられるのは社内や顧客の情報である。したがって本研究では，企業・法人名に着目し，与えられた文から企業・法人名を検知するタスクに取り組む.

## 4 生成 AIを用いたデータ拡張

本節では提案するデータ拡張手法について述べる. 本研究では, 生成 $\mathrm{AI}$ 用いたデータ拡張手法として大きく二つの手法を提案する。

## 4.1 周辺文脈の拡張

「フューチャーは日本の IT コンサルティングファームである。という文から「フューチャーは物流企業の一つで顧客評価が高い。という文を生成することを考える。これは一見すると事実に反するが，機密情報検知のタスクにおいては本文中の検知対象表現が必ずしも特定のエンティティと紐づいている必要はない. つまり，「フューチャー」は実在する IT コンサルティングファームでも，将来的に誕生する可能性のある物流企業でも構わない. そこで本研究では，生成 AI の「ハルシネーション」 を逆手に取り，エンティティを含む文を自由に生成させることでデータ拡張を行う，具体的には，まず
表 1 作成したデータの例. 太字は検知対象の企業・法人名を示す.

 &  &  \\

ある文に対して，文内のエンティティとは独立に学習データセット中のエンティティを選択し，該当のエンティティを含む文を生成 $\mathrm{AI}$ 用いて生成する。 その後，生成した文に含まれるエンティティを元の文のエンティティに置換する (図 2).ここで，生成 $\mathrm{AI}$ は稀に文法誤りを含む文や非文を生成してしまう場合がある。そのため, 生成された文を再度生成 $\mathrm{AI}$ に入力し，文法誤りを訂正させることで，低品質な学習データが生成されることを抑制する.

## 4.2 エンティティの拡張

「フューチャー製の新商品が発売された。」という文を考える．このとき，機密情報検知のタスクを解く上では，新商品を発売した企業が「フュー チャー」であるという情報は本質ではない．現に， エンティティ置換の有効性はDai ら [4] の提案する MRによって示されている. しかし, MR ではデー タセットの他の事例に含まれるエンティティを用いるため，データセット全体のエンティティの多様性は向上しない. また, Sharma ら [7] はMRで使用するエンティティを GPT-3を用いて生成しているが，意味的な一貫性を保持するために元のエンティティから連想されるエンティティを生成しており，多様性の向上は限定される. そこで本研究では, 元のエンティティに捉われない多種多様なエンティティを生成し，より多様なエンティティの検知に対応することを目指す。具体的には，生成 AIを用いて元の文とは独立に架空のエンティティを生成し, 元の文のエンティティと置き換える (図 2).

## 5 実験

提案するデータ拡張手法によって作成したデータを用いて機密情報検知モデルを学習することにより，機密情報検知の精度が向上するかを確かめる。

## 5.1 実験設定

データセットデータセットにはストックマー ク株式会社が公開する Wikipediaを用いた日本語表 2 機密情報検知モデルの評価結果.

の固有表現抽出データセット [18] を使用した. データセットの分割は huggingface の llm-book/nerwikipedia-dataset ${ }^{1)}$ と同様のものを使用した. なお，本研究では「法人名」のラベルを検知対象の企業・法人名として扱う．そのため，各事例について「法人名」のラベル以外を全て「O」ラベルに変換する前処理を行った。

データ拡張 4 節に示す各手法について, 元のデータセットの学習データ，検証データに含まれる正例 1 件あたり 4 件の疑似データを作成した. 実際に作成したデータの例を表 1 に示す. なお，学習データ量の増加により提案手法が不当に有利になることを防ぐため， ベースラインには元のデータセットのうち法人名ラベルが含まれる事例のみ 5 倍に複製したものを用いた. また，比較手法として Dai ら [4] の提案する MR (MR-random), Sharma ら [7] の提案する GPTを用いた MR (MR-GPT) ${ }^{2}$ も検証した。最終的に, 学習データの事例数は 9642, 検証デー タの事例数は 1166 となった。なお，評価データはデータ拡張を行わず，元の評価データと同量の 535 事例を用いた。

データ拡張に用いる生成 AI データセットの拡張には Azure OpenAI の gpt-3.5-turbo-16kを使用した.生成されるデータの多様性を向上させるため，サンプリング温度は周辺文脈の拡張では 1.6 , エンティティの拡張では 1.5 とした. また, MR-GPTでは Sharma らと同様に 0.8 とした $^{31)}$.

表 3 評価データにおける予測事例.太字は検知対象の企業・法人名を示す.

 & 日活、日活 &  &  \\

機密情報検知モデル機密情報検知のモデルには BERT-CRF を使用した. BERT-CRF は BERT [1] に CRF 層を組み合わせたモデルで，BERT 単独のモデルと比較して固有表現抽出の精度が高いことが知られている [19]. BERT には東北大学が公開する事前学習済みの日本語 $\mathrm{BERT}^{4}$ を使用した。各データセットで 5 エポック学習し, 評価には検証データでの F1 が最大のチェックポイントを用いた5).

## 5.2 評価方法

評価指標には適合率，再現率，F1，および $\mathrm{F} 2$ を用いた。機密情報を検知する上では検知漏れ，すなわち偽陰性は重大な問題である。そのため，再現率を重視する指標である F2も評価指標として使用する。

## 5.3 実験結果

機密情報検知モデルの評価結果を表 2 に示す.表 2 から，エンティティの拡張が全ての指標で最も性能が良く, ベースラインと比較して F1 で $2.5 \%$ の大幅な精度向上を確認した．拡張元のデータセットには，例えば「トヨタ」や「マツダ」のような片仮名のみで構成されるエンティティが多数含まれており，表層的な特徴を丸暗記するようなショートカッ卜学習 [20] ができてしまう可能性がある. エンティティの拡張を行ったモデルでは, 多種多様な表現が生成されたことにより，表層的な特徴を用いた判断が難しくなり，より精緻な文脈理解が必要になったことで，精度向上につながったと考えられる。また，エンティティの拡張が MR-random, MR-GPT と比較して性能が良いことから，事実性に捉われない多様なエンティティを生成することは機密情報検知の精度向上に有効であると考えられる。 さらに，周辺文脈の拡張についても，エンティティの拡張には及ばないものの, ベースラインと比較して全ての指標で性能が向上することを確認した.
-4$, バッチサイズは 32 , warmup_ratio は 0.1 とした.
}

## 6 分析

本節では機密情報検知モデルの評価結果を定性的に分析する. 表 3 に評価データにおける予測事例を示す。一つ目の事例では，提案するデータ拡張によって「日活テレビ映画芸術学院」という複雑な法人名を検知できていることが確認できる. この結果から，多様な文脈・エンティティを学習したことでモデルが文字種の複合を含む複雑な企業・法人名に対応できるようになったことが示唆される。一方，二つ目の事例では周辺文脈の拡張を行ったデータで学習したモデルが「ブルームバーグ」を検知できなかった. この事例をはじめ, 表層からは人名との判別が難しい表現で検知に失敗する場合が存在した。 データ拡張の際，地名や人名に似たエンティティでは，適切に企業・法人名の文脈で用いられていない例が散見された. そのような例を学習データから除去することで，周辺文脈の拡張においてもさらに精度を向上させることができると考える。

## 7 おわりに

本研究では，機密情報検知の精度向上に向けて，生成 $\mathrm{AI}$ を用いたデータ拡張を提案した. 具体的には，エンティティ以外の周辺文脈を拡張する手法， エンティティ自体を抬張する手法を提案した. 実際に拡張したデータを用いて機密情報検知モデルを学習した結果，エンティティを拡張する手法ではべー スラインに比べ F1 で $2.5 \%$ の大幅な精度向上を確認した. 本研究では企業・法人名に着目したが，今後は人名等の他の機密情報についても同様の手法の有効性を検証していく予定である. また，本研究で提案した生成 AIを用いた事実性に捉われないデータ拡張は機密情報検知以外の自然言語処理タスクにも応用できる可能性がある. したがって，その他のタスクに対する提案手法の有効性の調査も今後の課題としたい，最後に，今回の手法を改良して機密情報検知システムへの適用を進めていく予定である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[2] Steven Y. Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A survey of data augmentation approaches for NLP. In Findings of ACL-IJCNLP, pp. 968-988, 2021.

[3] Bohan Li, Yutai Hou, and Wanxiang Che. Data augmentation approaches in natural language processing: A survey. AI Open, pp. 71-90, 2022.

[4] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of COLING, pp. 3861-3867, 2020.

[5] 寺本優香, 駒水孝裕, 波多野賢治. 固有表現タグおよび pos タグによる交換制約付きデータ拡張手法. DEIM2023 最終論文集, 2023.

[6] Kun Li, Chengbo Chen, Xiaojun Quan, Qing Ling, and Yan Song. Conditional augmentation for aspect term extraction via masked sequence-to-sequence generation. In Proceedings of ACL, pp. 7056-7066, 2020.

[7] Saket Sharma, Aviral Joshi, Yiyun Zhao, Namrata Mukhija, Hanoz Bhathena, Prateek Singh, and Sashank Santhanam. When and how to paraphrase for named entity recognition? In Proceedings of ACL, pp. 7052-7087, 2023.

[8] Ran Zhou, Xin Li, Ruidan He, Lidong Bing, Erik Cambria, Luo Si, and Chunyan Miao. MELM: Data augmentation with masked entity language modeling for low-resource NER. In Proceedings of ACL, pp. 2251-2262, 2022.

[9] Claude Coulombe. Text data augmentation made simple by leveraging nlp cloud apis. In arXiv:1812.04718, 2018.

[10] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of EMNLP-IJCNLP, pp. 6382-6388, 2019.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of ACL, pp. 86-96, 2016.

[12] Nathan Ng, Kyunghyun Cho, and Marzyeh Ghassemi. SSMBA: Self-supervised manifold based data augmentation for improving out-of-domain robustness. In Proceedings of EMNLP, pp. 1268-1283, 2020.

[13] Jian Liu, Yufeng Chen, and Jinan Xu. Low-resource ner by data augmentation with prompting. In Proceedings of IJCAI, pp. 4252-4258, 2022

[14] Zhu Wenjing, Liu Jian, Xu Jinan, Chen Yufeng, and Zhang Yujie. Improving low-resource named entity recognition via label-aware data augmentation and curriculum denoising. In Proceedings of CCL, pp. 1131-1142, 2021.

[15] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. In Proceedings of NeurIPS, pp. 3104-3112, 2014.

[16] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proceedings of NeurIPS, pp. 1877-1901, 2020.

[17] Satoshi Sekine and Hitoshi Isahara. IREX: IR \& IE evaluation project in Japanese. In Proceedings of LREC, 2000.

[18] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会年次大会発表論文集, pp. 350-352, 2021.

[19] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using BERT-CRF. In arXiv:1909.10649, 2019.

[20] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard S. Zemel, Wieland Brendel, Matthias Bethge, and Felix A. Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, pp. 665-673, 2020.

## A データ拡張で用いるプロンプトの詳細

本節では，提案するデータ拡張手法において実際に生成 AIに入力したプロンプトの詳細について述べる.

## A. 1 周辺文脈の拡張

周辺文脈の拡張で用いたプロンプトを表 4 に示す ${ }^{6}$ ．文生成のプロンプトの LOCATION には，「できる限り文末」と「文の先頭」を 9 対 1 の比率で使用し，文におけるエンティティ位置の多様性向上を目指した.

また, 低品質な学習データの生成を抑制するため, 生成結果を再度生成 AIに入力し校正を行った. 具体的には表 4 に示すプロンプトを用いて，文法誤りが存在する場合にはそれを訂正した文，非文の場合には「×」 を出力させた．なお，文校正の際は，生成 AI のサンプリング温度は 0.1 とした. データ作成時には，各事例について，非文と判定されない文が 4 つ生成されるまで生成を繰り返した7).

## A. 2 エンティティの拡張

エンティティの拡張で用いたプロンプトを表 5 に示す. 多様なエンティティを生成するために，日本語の企業・法人名を生成するためのプロンプトと英語の企業・法人名を生成するためのプロンプトを 9 対 1 の比率で併用した ${ }^{8)}$. 日本語の企業・法人名を生成するためのプロンプトには「漢字・カタカナ・ひらがなを自由に使用してください。」と記載することで，日本語の中でも様々な文字種を使用して生成させることを促している。また，英語の企業・法人名については，生成結果を 1 対 1 対 1 の比率で「そのまま使用」「文字列を大文字に変換」「文字列を小文字に変換」する処理を行い，さらなる多様性向上を目指した.

 &  \\

表 5 エンティティの拡張で使用したユーザプロンプト.

 \\
以下の例のように漢字・カタカナ・ひらがなを自由に使 & Feel free to use lowercased / uppercased letters as shown in the \\
example below & \\
& \#\#\# Example \\
\#\#\#企業/法人名の例 & “‘ \\
““ & EPIC \\
ワンダー自動車 & Zevo Inc. \\
たけぼうグループ & ETA \\
富士山電機 & VitaNexus \\
アルファ・キャピタル & Elevate Industries \\
未来通信 & “ \\
“\#\# 企業/法人名の例終了 & \#\# End of example \\

6）ユーザプロンプトについては文生成では企業・法人名を，非文判定・文法誤り訂正では文生成で生成した文を与える．なお，複数の企業・法人名を含む文を生成する際には企業・法人名を箇条書きで与え，プロンプトの一文目を「次に示す企業/法人名を順に使って一文を生成してください。」に変更した.

7）繰り返し回数が 20 回を超えた事例は生成 AIによるデータ作成が難しいと判断し，データセットから除去した.

8） 20 文字を超えるエンティティは企業・法人名として不自然であると判断し除外した.


# CVAE による複数データセットからの固有表現抽出

大井拓 三輪誠 佐々木裕
豊田工業大学
\{sd23404, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

固有表現抽出などで主流となっている教師あり深層学習で高い性能を達成するには大量のラベル付きデータが必要になる. ラベル付きデータを増やすために既存のラベル付きデータセットを複数組み合わせて使用する方法が考えられるが，データセットごとにラベル付けの違いがあり性能が上がるとは限らないという問題がある. そこで本研究ではデータセットごとのラベル付けの違いを CVAE (Conditional Variational Autoencoder)を用いた損失関数を加えることで弱い制約として固有表現抽出モデルに与える手法を提案する．実験では生物医学文書に対する固有表現抽出において提案手法の有効性を示した.

## 1 はじめに

固有表現抽出は自然言語処理分野における基礎的な問題であり，文書からの情報抽出の第一段階として重要である．特に深層学習の進歩により，教師あり深層学習を用いた手法が主流となっている $[1,2]$.教師あり深層学習を用いた固有表現抽出モデルの性能は一般にラベル付きデータの量に依存するが，ラベル付きデータの作成には高いコストがかかる.

学習に用いるラベル付きデータを増やすために，既存のラベル付きデータセットを組み合わせて使用する方法が考えられる。しかし, 同じ固有表現を対象としたデータセットであっても，データセットごとに特徴があるため，既存のラベル付きデータセッ卜を複数組み合わせた学習は単純ではない。具体的にはそれぞれのデータセットごとにラベルの種類の違い，基準の違いによって，ラベル付けされる用語に違いがあるため，同様のデータとして扱うことが難しいという問題がある。例えば，生物医学分野の文章に対する固有表現抽出のデータセットである BC5CDR (BioCreative V CDR task corpus) [3] と NCBI (NCBI Disease corpus) [4] では，ともに “pain” が含まれており，BC5CDR では病名としてラベル付けされ
ているが，NCBIではラベル付けされていない，複数のデータセットを組み合わせて使用する既存手法としてマルチタスク学習を行う手法がある [5]. マルチタスク学習では，ベースとなるモデルを共有しつつ，データセットごとに異なる分類層を用意することで，上記のようなデータセットごとの違いを気にせずに学習できる。一方でデータセットごとの違いを気にせず別のものとして扱うため似たラベルや同じラベルを十分に活かせない，データセットの組み合わせに左右され性能が上がるとは限らないという問題がある。

それに対して Luo ら [6] は対象とするデータセットの各ラベルに対して，追加データセットをそれぞれ一つのラベルのみが含まれるように処理して加えることで，マルチタスク学習に対する性能向上を達成した。しかし，Luo らの手法ではモデルが単純である代わりに追加するデータセットの選定と正解ラベルに対する人手による編集が必要になる.

本研究では学習データの増加と対象にできるラべルの数の増加のために，ラベル付けの基準の違いを考慮した既存のデータセットの有効利用を目的とする. そのためにマルチタスク学習中に異なるデータセットで付与されたラベル間の関係を弱い制約として加える手法を提案する。具体的には，与える条件に応じた生成が可能な CVAE (Conditional Variational Autoencoder) の構造に注目し，その損失関数を固有表現抽出モデルに組み込む。

本稿の貢献を以下に示す。

-CVAE の損失関数によって，表現ベクトルに異なるデータセットのラベル間の関係を表す弱い制約をかける固有表現抽出モデルの提案.

・ラベル付けの基準の違いを考慮した複数データセットからの学習の有効性の確認.

・複数データセットに対して人手でラベルを編集を加えず特定のデータセットに合わせた学習の実現.

図 1 提案手法の概要図

## 2 関連研究

## 2.1 スパンに基づく固有表現抽出

文中の一定範囲の領域であるスパンを対象としたスパンに基づく固有表現抽出モデルが近年注目を浴びている [2,7]. Zhong ら [2] のモデルでは，文のエンコードの部分で BERT (Bidirectional Encoder Representations from Transformers) [1] における注意機構による文脈を含んだ表現を用いて，対象スパンの先頭・末尾の単語それぞれの埋め込み，長さの埋め込みを連結し，スパンを表現している. Zhong らのモデルはこのスパンの表現を用いて全結合層と Softmax で分類を行う単純なモデルである。このように単純でありながら, end-to-end で固有表現抽出と関係抽出を解くタスクで最高性能を示し, 固有表現抽出においても高い性能を示した.

## 2.2 VAE を用いた固有表現抽出

Nguyen ら [8] はスパンベースの固有表現抽出モデルで，確率分布に圧縮してから再構成するVAEを用いたスパン再構成と同義語生成を組み込んだモデルを提案した. スパンの再構成によってスパン表現にインスタンスの情報が保持され抽出性能が向上することを示した.

## 2.3 データセットを複数用いた固有表現抽出

Luo ら [6] は Disease, Chemical, Gene, Species, Variant, Cell line の 6 種類の固有表現を対象とし生物医学文書の複数のデータセットを用いた学習を行っ
た. 評価には 6 種類すべてを含む BioRED [9] を用いた。追加のデータセットは単一のラベルのみを含むようにラベルの統合や削除，ラベル付けの基準を合わせるためにスパン幅や付いているラベルに対する編集を人手で行った. 編集を加えたデータセットと複数のデータセットの負例の違いを考慮するタグ付け方式の提案によって既存のマルチタスク学習による分類性能を超える性能を示した.

## 3 提案手法

本研究では複数のデータセットにおけるデータの衝突を解消し，既存のラベル付きデータセットを有効に利用することを目的に，各ラベルに対する事前分布を条件として加える CVAE (Conditional VAE)を固有表現抽出モデルに組み込む手法を提案する. 提案モデルの全体像を図 1 に示す. スパンベースの固有表現抽出モデルに CVAE を組み込み，与えるラベルの分布によってデータセットの異なるラベルの共有や非共有の関係を表すことを目指す.

まず，固有表現抽出については，Zhong ら [2] のモデルと同様に予測対象となる文を事前学習済みの BERT によってエンコードし，その表現から単語を組み合わせたスパンの表現を作成する. BERT の出力の表現ベクトルをスパンの先頭と末尾で結合し， そこにスパンの長さの埋め込み表現を結合したものをスパンの表現とする． $x_{1}$ から $x_{n}$ のスパンの表現を式 1 に示す.

$
\boldsymbol{h}_{\text {span }}=\operatorname{Linear}\left(\operatorname{Concat}\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{n}, \Phi(n)\right)\right)
$

ここで，Linear($\cdot$) は全結合層， Concat($\cdot$) はベクトルの結合， $\Phi(n)$ はスパンの長さ $n$ に対する埋め込み
表 1 使用データセット概要（サイズに full が付いているものはフルテキスト，付いていないものは abstract のみ）

表現を表す.また，データセットが異なる入力をモデルが認識するように入力文にデータセット名を特殊トークンとして加える。作成したスパン表現を 2 層の全結合層とSoftmax で分類を行う.このとき複数のデータセットを用いる場合は，予測しているインスタンスのデータセットが対象としているラべルのみを考慮して，分類するように，対応する次元の出力以外に対してマスクをかけた上で分類を行う. 損失としては, 交差エントロピー損失 $\left(L_{C E}\right)$ を用いる.

また，CVAEについては，スパン表現に再構成時の条件となる事前分布べクトルを加えて次元圧縮を行う．事前分布べクトルは正解ラベルを基にデータセットが異なるラベルの共有と非共有を表すようなベクトルを用いる. 各スパン表現に事前分布ベクトルを繋げて二種類の全結合層に入力し平均 $(\mu)$ と分散 $(\sigma)$ を予測する.この分布からサンプリングした $z$ に事前分布べクトルを繋げたべクトルを全結合層に入力し次元を増やすことで再構成する. CVAE の損失としては，元のスパン表現と再構成したスパン表現の平均二乗誤差と予測した分布をガウス分布に近づける KL ダイバージェンスを用いる.

$
L_{C V A E}=\log p\left(\boldsymbol{h}_{\text {span }} \mid z\right)+K L\left[q\left(z \mid \boldsymbol{h}_{\text {span }}\right) \| p(z)\right]
$

最後に，この二つの損失の重み付け和を最終的な損失として，学習を行う。

$
L=\alpha L_{C E}+L_{C V A E}
$

推論時は正解ラベルを必要とする CVAE は使用せず，学習した分類器でスパンの分類を行い，固有表現を抽出する。

## 4 実験設定

## 4.1 データセット

複数データセットでの学習における提案手法の有効性を検証するために，Luo ら [6] と同様に生物医学文書を対象としてラベル付けされている 10 個のデータセットを用いて評価を行った. これらのデータセットの文書数とラベル付けしている固有表現を表 1 に示す. 学習時の設定も Luo らに従い, BioRED の開発データを用いて学習中の評価を行い, それ以外のデータセットの開発データは学習データとして使用した. Luo らは追加するデータセットに対して BioRED の基準に合うようにスパン幅や対象とするラベルに編集を加えて使用しているが，本稿の実験では編集前のデータセットを用いた.

## 4.2 事前分布ベクトル

提案手法で CVAE に条件として与える事前分布ベクトルは 2 つの one-hot ベクトルを結合して用いた. 1 つ目は表 1 に記した全ラベルとそれぞれの負例ラベルを合わせた 47 次元の中でそのスパン表現に対応する正解ラベルの次元に 1 が入った one-hot ベクトルである. 2 つ目は BioRED のラベルを基準に，追加データセットの共有するラベルを表すような 6 次元の one-hot ベクトルである. 具体的には， Luo らが追加データセットを使用する上でそれぞれのデータセットのラベルを BioRED の 6 種類のラべルに集約して使用しているため（NLMgene の Gene, FamilyName ラベルを BioRED の Gene と同様として扱っている）その対応する次元に 1 が入っている.
表 2 BioRED テストデータによる性能評価（F 值 [\%])

この対応を付録 $\mathrm{A}$ に示す.

## 4.3 実験に使用したモデル

今回の実験ではすべてのモデルのエンコー

PubMedBERT [17]を使用した.

また，比較を行ったモデルの概要を以下に示す.

・ baseline Zhong らのモデル. 複数データセットでの学習では BERT を共有し最終層をデータセットごとに持つマルチタスク学習を行った.
- 提案手法 CVAE による損失関数を加えたモデル. 入力文にそれぞれデータセット名の特殊トークンを加えた. CVAE の事前分布べクトルについては 4.2 節に記載したものを用いた。
- +label token 提案手法から入力文に加える特殊トークンをデータセット名ではなくそのデータセットで対象としているラベル名 (その個数分加える）に変更したモデル．

## 5 結果と考察

提案手法と baseline モデル，Luo らのモデル [6] の比較を表 2 に示す. 結果から BioRED の学習データのみで学習した場合と比べて表 1 に示した 10 個のデータセットすべての学習データを用いて学習した場合に baseline，提案手法でともに $\mathrm{F}$ 值が向上している. さらに baseline での上がり幅に対して提案手法での上がり幅が大きいことから，提案手法が単純なマルチタスク学習である baseline よりも複数デー タセットを追加した学習に有効であるとわかる.

また，表 3 は 10 個のデータセットで学習したモデルに対して BioRED 以外のデータセットのテストデータで評価を行った結果である。追加したデータセットの評価では baseline が高い性能を示す傾向に

表 3 追加データセットでのテスト評価（F 值 [\%]）

ある。これは提案手法における事前分布ベクトルが BioREDを基準としており，その制約によって追加したデータセットでの評価に合わなくなっている可能性がある。

## 6 おわりに

本研究では学習データの増加と対象にできるラべルの数の増加のために異なるデータセットのラベル付けの基準の違いを考慮したモデルの実現を目指し，CVAEを用いた損失関数を固有表現抽出モデルに組み込む手法を提案した．実験では追加するデー タセットに基準とするデータセットに合わせて人手で編集を行った既存手法より提案手法が高い性能を示した.

一方で提案手法で弱い制約として与えた事前分布ベクトルによって基準としている BioRED のアノテーションによった学習をしており追加したデータセットでの評価では性能が下がる傾向にあった．今後の課題としては事前分布べクトルを学習可能なパラメータとすることで追加するデータセットに対しても性能向上が可能なモデルを目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Zhong et al. A frustratingly easy approach for entity and relation extraction. In NAACL-HLT, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[3] Li et al. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, , 05 2016. baw068.

[4] Doğan et al. NCBI disease corpus: A resource for disease name recognition and concept normalization. JBI, 2014.

[5] Nicholas E. Rodriguez, Mai Nguyen, and Bridget T. McInnes. Effects of data and entity ablation on multitask learning models for biomedical entity recognition. Journal of Biomedical Informatics, Vol. 130, p. 104062, 2022.

[6] Ling Luo, Chih-Hsuan Wei, Po-Ting Lai, Robert Leaman, Qingyu Chen, and Zhiyong Lu. AIONER: all-in-one scheme-based biomedical named entity recognition using deep learning. Bioinformatics, Vol. 39, No. 5, p. btad310, 052023 .

[7] Mohammad Golam Sohrab and Makoto Miwa. Deep exhaustive model for nested named entity recognition. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 28432849, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[8] Nhung T. H. Nguyen, Makoto Miwa, and Sophia Ananiadou. Span-based named entity recognition by generating and compressing information. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1984-1996, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[9] Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi, and Zhiyong Lu. Biored: a rich biomedical relation extraction dataset. Briefings in Bioinformatics, Vol. 23, No. 5, p. bbac282, 2022.

[10] Cecilia Arighi, Lynette Hirschman, Thomas Lemberger, et al. Bio-id track overview. In BioCreative VI Workshop, pp. 28-31, Bethesda, MD, USA, 2017. BioCreative.

[11] Chih-Hsuan Wei, Hung-Yu Kao, Zhiyong Lu, et al. Gnormplus: an integrative approach for tagging genes, gene families, and protein domains. BioMed research international, Vol. 2015, , 2015.

[12] Martin Gerner, Goran Nenadic, and Casey M Bergman. Linnaeus: a species name identification system for biomedical literature. BMC bioinformatics, Vol. 11, No. 1, pp. 1-17, 2010.

[13] Rezarta Islamaj, Robert Leaman, Sun Kim, Dongseop
Kwon, Chih-Hsuan Wei, Donald C Comeau, Yifan Peng, David Cissel, Cathleen Coss, Carol Fisher, et al. Nlmchem, a new resource for chemical entity recognition in pubmed full text literature. Scientific data, Vol. 8, No. 1, p. 91, 2021.

[14] Rezarta Islamaj, Chih-Hsuan Wei, David Cissel, Nicholas Miliaras, Olga Printseva, Oleg Rodionov, Keiko Sekiya, Janice Ward, and Zhiyong Lu. Nlm-gene, a richly annotated gold standard dataset for gene entities that addresses ambiguity and multi-species gene recognition. Journal of biomedical informatics, Vol. 118, p. 103779, 2021.

[15] Evangelos Pafilis, Sune P Frankild, Lucia Fanini, Sarah Faulwetter, Christina Pavloudi, Aikaterini Vasileiadou, Christos Arvanitidis, and Lars Juhl Jensen. The species and organisms resources for fast and accurate identification of taxonomic names in text. PloS one, Vol. 8, No. 6 , p. e65390, 2013.

[16] Chih-Hsuan Wei, Alexis Allot, Kevin Riehle, Aleksandar Milosavljevic, and Zhiyong Lu. tmvar 3.0: an improved variant concept recognition and normalization tool. Bioinformatics, Vol. 38, No. 18, pp. 4449-4451, 2022.

[17] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[18] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

## A 追加データセットのラベルと BioRED のラベルの対応

Luo らが複数のデータセットに対して行った編集を基に各データセットのラベルと BioRED のラベルの対応を表 4 に示す.

 \\

表 4 追加データセットのラベルと BioRED のラベルの対応

## B ハイパーパラメータ

本研究における実験で用いたハイパーパラメー タを表 5 に示す. エンコーダとそれ以外の全結合ニューラルネットワークなどのパラメータで異なる学習率を用いている。

表 5 各モデルのハイパーパラメータ $\begin{array}{rr}\text { 提案手法 } & \text { baseline } \\ 2 \mathrm{e}-6 & 6 \mathrm{e}-6\end{array}$

$\alpha$

100

エポック数

$100 \quad 100$

batch size 48

## C 実験環境

実験のためのプログラミング言語は Python 3.7.11, 機械学習ライブラリとして PyTorch [18] のバージョン 1.11.0, 事前学習モデルを使用するために Transformers [19] のバージョン 3.0.2を用いた. また，計算機では CPU に Intel(R) Xeon(R) CPU E5-2698 v4 及び Intel(R) Xeon(R) W-3225，GPU に NVIDIA

Tesla V100 DGXS 32GB 及び NVIDIA RTX A6000 を用いた.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニュース記事テキストにおける組織名の抽出

田村光太郎
株式会社ユーザベース
koutarou.tamura@uzabase.com
k. tamura. phd@gmail . com

## 概要

ニュース記事は日々多量に配信され，その情報の瞬時の整理・構造化が求められる，我々は，ビジネスや業界固有のトピックを含むニュース記事データを利用し，テキストに現れる組織名とそれに関わる情報を固有表現として抽出するモデルを構築した。 モデルは，エンティティ単位での知識も埋め込まれたLUKE を採用し，単語境界をよりとらえられるようにトークナイザーや知識を更新した. 公開データセットを用い，提案モデルによる精度検証を行い，一定程度の精度改善が見られることを確認し，また，実データに適用することで，実データでの情報抽出の精度改善に必要な課題を考察した.

## 1 はじめに

固有表現抽出は，情報の抽出や構造化を目的とした自然言語処理における基礎的なタスクである. 主には，固有表現の出現位置が付与された系列ラベルデータを用い，条件付き確率場（Conditional random field，以下， CRF とする）などの手法を使った解法が提案 [1] されていた. 昨今では, BERT[2]などの transformerを使った深層学習モデルでのタスクの取扱いが中心となっている $[3,4,5]$.

このような固有表現抽出の適用先の例として， ニューステキストにおける情報の抽出がある $[6,7,8,9]$. ニュースが日々高頻度に配信され，機械的な情報の整理・構造化が求められていることから，自然言語処理タスクの対象として研究されている. 具体的には，業種や記事内容を分類することや, 企業名, 日付, 数量やイベントなどの特徴となる情報を固有表現として抽出し，構造化することが行われる。

ニュース記事情報を固有表現抽出タスクとして情報抽出を行う研究では高橋，田村などがモデルを提唱している。高橋は，BiLSTM-CRFによりニュー
ス情報からキーワードを抽出 [6] することを行っている。一方，BERT-MRC のモデルでは改善が見られず，系列ラベリングを解くタスクでは CRF の有効性が示唆 [8] されている. 田村も同様に BERT に CRF 層を付加することでモデルを構築 [9]している。これらのモデルをべースとして，データ拡張 $[10,11]$ や能動学習 [12] などが議論されている.

本研究では，固有表現としてニュースの主体となる組織名を高精度に抽出することに注目する。田村らの提案手法におけるモデルを改善し，公開データにより精度評価を行いその有用性を評価する。

1 章では，本研究の背景となるニュース記事デー タの情報抽出に関連する研究を紹介した. 2 章と 3 章では，本研究で利用するデータとモデルの説明をそれぞれ行う． 4 章では，モデルを評価するための数値実験の設定について，5 章ではその結果を報告する. 最終章では，本研究の成果をまとめ，今後の課題を述べる.

## 2 データ

ニュース情報に関する固有表現抽出モデルを構築し，評価するにあたって，固有表現に関する公開データセットとニュース記事テキストデータセットの2つのデータを利用する. 双方とも，組織名やそれに関連する情報が固有表現ラベルとして，テキスト中に系列ラベリング（開始位置，終了位置，固有表現タイプ）として付与されている。また，2つのデータセットは法人名（企業名）や製品名のラベルを共通に持つため，これらを抽出する際の基礎的なデータセットとして利用する。

## 公開データセット

ストックマーク株式会社が提供する Wikipedia の日本語固有表現抽出データセット [13] である. Wikipedia の記事データから構築された全 5343 件のテキストデータに対して，固有表現ラベルが付与さ
表 1 利用データにおけるラベルの内訳

れており，各データは 1 文で構成されている。各文に出現する固有表現に対し, 表 1 にあるような 8 種類のラベルが付与されている。また， 484 件 (約 9\%) のテキストデータが負例として，ラベルを含まないデータとなっていることが特徴である.

## ニュース記事データセット

株式会社ユーザベースが運営する NewsPicks が取得した 2023 年 1 月〜 6 月までのニュース記事から，金融・経済分野の記事を中心にサンプルした 1991 件の記事データである. 政治・スポーツなどの一般的なジャンルの記事からもサンプルされている.

前述のデータと異なり，1 件のデータは主に 1 記事1)に対応し，タイトル・本文とこれらに含まれる固有表現の情報から構成される. 固有表現の前後の文脈を含むことや，本文途中での言い換えなどで，略称や別名として組織名が登場するケースも含んでいる． 1 件の記事データは，記事本文の長さにばらつきがあり，アノテーションコストや特定の記事のテキスト量でバイアスが発生することを避けるため, タイトルと本文冒頭 10 文までのテキストに対し，アノテーションがなされている.

実データからのサンプルであるため，全 1991 件のデータのうち，負例 (固有表現を含まない記事) が 1317 件 (66\%) となっている. 公開データにあるラべルに対して，表 1 のような類似するラベルが付与されている。

## データ間のラベルの対応

公開データとニュース記事テキストデータに付与されているラべルの内訳は表のとおりである. 本研究では組織名の抽出に注目するので，公開データセットにおける「法人名」ラベルとニュース記事データの「組織名」ラベル，「製品名」ラベルと「製品・サービス名」をそれぞれ対応させる．そのため， そのほかの 6 種類のラベルについては，本稿では過去研究との比較のみ利用する.

## 3 組織名抽出のモデル

本研究で実施するニュース記事における組織名の抽出には，田村らが提案したモデル [9] を参考とする. 特に，先行研究でベースとされていた方式の中で，固有表現抽出モデルの部分を利用する。

先行研究では, 東北大が公開する BERT[14]を利用しているが, 本研究では山田らが提案したLUKE[15] に置き換える. LUKEは, entity-aware self-attention と呼ばれる機構を内部に持ち, Wikipedia から選ばれたエンティティなどを通常の単語とは別に学習することで，エンティティ単位を重視するタスクに対し有効であることが知られている。 さらに，LUKE は SentencePiece をトークナイザーとすることで公開されているが，我々は日本語の単語境界をより正確にとらえるために，トークナイザーを MeCab に変更し, Wikipedia の7月 1 日時点の日本語記事で事前学習し，知識を更新している [16].

我々は，この LUKEをべースとして，最終層の埋め込み表現を, CRF 層に接続する構造とした. CRF 層は， 入力系列から発生させる出力系列が，教師データの系列と等しくなるように遷移関係を調整す

ることができる．これを，各トークンごとのラベル分類の問題として解くモデルと組み合わせることでの有効性が報告 [3] されているため，ここでは，最終層の各トークンの埋め込み表現を，ラベルの個数に対応した埋め込み表現に変換し, CRF 層に入力する構造としている.

## 4 数値実験の設定

本研究でのモデル改善による組織名の抽出精度の評価については，2つのデータセットにおける学習と精度評価を通して行う。 データの利用にあたり， それぞれのデータのラベルをニュース記事データに対応させる。つまり，固有表現抽出のための系列ラベルの種類は，組織名と製品・サービス名の 2 種類を扱うこととしている。また，モデルには表 2 のようにサブワードに対して，固有表現の開始部 $\mathrm{B}$ ，中間部 I，終端部 EとしたIOBE 形式で入力する.

表 2 IOBE形式におけるデータの保持

数値実験設定として，下記の 3 つのケースで，モデルをファインチューニングし，精度評価を行う。

(I) 公開データセット 5343 件を (訓練: 検証：テスト $)=(8: 1: 1)$ に分割したデータセット.データに付与された 8 種類の固有表現ラベルを学習する。

(II) ニュース記事データ 1991 件のうち，500 件をテスト用データとする. データに付与された 2 種類の固有表現ラベルを学習する。

(III) ニュース記事データ 1991 件のうち，500 件をテスト用データとする。ニュース記事データ 1491 件の学習データと公開データセット 5343 件のデータを混合させ 6834 件データセットとしたうえで，ラベル対応させた 2 種類の固有表現ラベルを学習する。

ケース (I) は，公開データセットであるため，先行研究と本研究の提案モデルと比較するために設定する．ケース (II)，(III) は，独自の実ニュース記事
データセットに対し，モデルをあてはめ，本モデルのニュース記事の情報抽出モデルとしての精度を評価する。また，データの混合により精度改善するかを検証する。

モデルの学習において，IOBE 形式における禁止遷移に関しては，CRF 層の遷移コストを-100 に設定している。また，512トークンを超えるテキストに関しては，512トークンを超えないようにトークン数を当分割している．各データセットの分割を 5 セット行い，それぞれで学習を 10 epoch 行い，テストデータでの精度検証を行う。

## 5 結果

モデルがテストデータで推論した固有表現の出現位置とラベルの組が，教師データと一致するかを， Precision, Recall, F1 を評価指標として表 3 として算出した.

本研究による提案モデルにより，過去研究 [8] で示されたものより全体精度の向上が見られている.具体的には，政治的組織名，その他の組織名や施設名以外のラベルにおいて F1 值の改善が見られていることや，全体の F1 值が改善している。このことから，本研究におけるモデルの改良により，固有表現抽出モデルとしての一定程度の改善が見られている.

さらに，同モデルをニュース記事データのみで学習したケース (II) の場合よりも，ニュース記事と公開データを混在させて学習したケース (III) の場合において，精度値の改善が見られている。製品・サー ビス名の精度値はもともとの水準が低いが，これは，企業名と製品・サービス名が同名であるケースがデータ中に多く含まれ，固有表現として位置情報を正確に抽出しつつも，ラベルのタイプ判断を誤るケースが見られた。一方，公開データは短文で構成されていることや製品名ラベルに関するデータが多いことから，検証データにおける短文や製品名ラべルにおける精度の改善が見られた。 しかし，固有表現の出現割合（正例の比率）が公開データセットの方が高いため，検証データセットでの組織名ラベルの Precision が下がる形でのモデルの傾向の変化が見られた。

## 6 まとめと今後の課題

組織名を抽出するモデルとして，LUKE を改善し $\mathrm{CRF}$ 層を付加する固有表現抽出モデルを提案した。
表 3 数值実験における精度指標. 数值は各試行で得られた精度指標の平均値である.

} & 人名 & 97.22 & 94.66 & 95.92 \\

公開データセットとニュースの実データセットでそれぞれ精度評価を行った結果，提案モデルが過去研究における精度を一定程度上回ることが確認され，固有表現抽出モデルとして期待できる水準であることが示唆された。

さらに実データを使った検証により，ニュース記事データにおいても先行研究 [9] と同水準となり， ニュース記事の情報抽出として有用であることが期待できる．ただし，類似のデータセットではあるが，異なるもののため，厳密な比較ではないことは注意が必要である.

一方で，公開データと実データであるニュース記事データを混合して使うことでのモデルの全体精度改善の効果が見られたが，データ間での特徵に乘離があることから，その混合の比率や分布の補正などは検討の余地がある．特に，データ間の特徴的な差異である，文章長や負例の割合は大きくモデルの傾向を変えていて，これらの特徵を加味したうえでデータの混合や拡張を行うことが必要である.

## 参考文献

[1] A. McCallum J. Lafferty and F. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In ICML 2001, 2001.

[2] K. Lee J. Devlin, M. Chang and K. Toutanova. Bert: Pre- training of deep bidirectional transformers for language understanding. In arXiv:1810.04805.

[3] R. Nogueira F. Souza and R. Lotufo. Portuguese named entity recognition using bert-crf. In arXiv:1909.10649.

[4] L. Cui and Y. Zhang. Hierarchically refined label attention network for sequence labeling. In EMNLP-IJCNLP, 2019.

[5] F. Xiao Y. Luo and H. Zhao. Hierarchical contextualized representation for named entity recognition. In AAAI2020, 2020.

[6] 奥田裕樹, 橋寛治. ニュース記事からの企業キーワー ド抽出. 言語処理学会第 26 回年次大会発表論文集, 2020.

[7] 橋寛治, 奥田裕樹. 辞書に基づく組織名抽出における辞書整備の影響. 言語処理学会第 26 回年次大会発表論文集, 2020.

[8] 橋本航, 笛木正雄, 黒木裕鷹. 日本語固有表現抽出における bert-mrc の検討. 言語処理学会第 28 回年次大会, 2022.

[9] 田村光太郎, 北内啓, 高山温. 固有表現抽出によるニューステキスト内の企業名抽出. 人工知能学会全国大会論文集, 2023 .

[10] 田村光太郎. 疑似ニュース生成による固有表現抽出タスクのデータ拡張. 第 19 回 Web インテリジェンスとインタラクション研究会, 2023.

[11] 田村光太郎. 固有表現抽出タスクにおける文章のランダム連結によるデータ拡張. In 2023-IFAT-153(3), 2023.

[12] 橋本航, 橋寛治. Bert を用いた固有表現抽出におけるバッチ能動学習. 信学技報, vol. 121, no. 82, 2021.

[13] Wikipediaを用いた日本語の固有表現抽出データセット，（2023-01 閲覧）.
https://github.com/stockmarkteam/ner-wikipedia-dataset.

[14] （2023-01 閲覧）. https://huggingface.co/cl-tohoku/bertbase-japanese-v3.

[15] H. Shindo H. Takeda I. Yamada, A. Asai and Y. Matsumoto. Luke: Deep contextualized entity representations with entity-aware self-attention. pp. 6442-6454. Association for Computational Linguistics, 2020.

[16]（2023-01 閲覧）. https://huggingface.co/uzabase/lukejapanese-wordpiece-base.


# 一部のエンティティに紐づくテキスト情報を知識グラフ埋め込 みに活用するための手法

風間 健太郎 ${ }^{1}$ 中村 光祐 ${ }^{1}$ 乙村 浩太郎 ${ }^{1}$ 小路悠介 ${ }^{1}$
1 三菱電機株式会社 情報技術総合研究所
\{ kazama.kentaro@cw, nakamura.kosuke@ds,otomura.kotaro@df,
koji.yusuke@bx \}.mitsubishielectric.co.jp

## 概要

知識グラフ埋め込みは知識グラフの構成要素をべクトルとして埋め込む手法で，近年，構成要素に紐づくテキストを利用して性能を向上させる手法が提案されている。一方，実用上対象となる知識グラフにおいては，有効なテキスト情報を持つ要素と持たない要素が混在する場合がありえる。本研究では，一部のエンティティのみ有効なテキスト情報が紐づく知識グラフにおいてもテキスト情報を活用可能な手法を提案する. 実際の社内技術文書から構築した知識グラフを対象にリンク予測タスクによって精度を評価したところ，ベースとなる TransEを上回る精度を達成し, 提案手法が一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対して効果があることを確認した。

## 1 はじめに

知識グラフは現実世界の知識を計算機で扱いやすい形で記述する手段の一つであり，質問応答やレコメンデーションなどに広く利用されている. 知識グラフは，ノードがエンティティを，エッジがその両端のエンティティ間の関係性を表す有向グラフであり，1つのファクトをエッジの始点エンティティ $h$ と終端エンティティ $t$ およびリレーション $r$ からなるトリプル $(h, r, t)$ で表す [1].

知識グラフは多くの場合不完全であり，欠落した知識を補完する必要がある。知識補完のためのメジャーなアプローチの 1 つとして，知識グラフ埋め込みモデルを用いたリンク予測がある。知識グラフ埋め込みは，エンティティとリレーションを低次元のベクトルとして埋め込む手法で，上述したリンク予測の他，エンティティやトリプルの分類・クラスタリングなど離散的なグラフの状態では難しい様々
なタスクに応用される [2].

初期の知識グラフ埋め込みモデルは，グラフの構造情報のみに基づいて埋め込みを学習するため，グラフが不完全だったり疎な場合，その精度が低下してしまう。この問題に対処するため，近年ではエンティティやリレーションを説明するテキストの情報を活用した埋め込み手法が提案されている [3].

こうした既存のテキスト情報を活用する手法では，全てのエンティティやリレーションに対応するテキスト情報が与えられたり，検索により対応するテキストを見つけられることを前提として，学習プロセスやモデルの構造が設計されている.

しかし，実用において対象とされる実際の知識グラフにおいては，エンティティやリレーションの夕イプによって有効なテキスト情報を持たなかったり，テキスト情報を正しく獲得できないことがある。例えば，企業の持つ文書データベースから構築した知識グラフでは，書類の作成者の人物のタイプのエンティティは人名以外に直接関連するテキス卜情報を持たないことが考えられる。また，文書が $\mathrm{PDF}$ 等で保存されている場合，テキスト情報を保持しているとは限らない.

そこで本研究では，一部のエンティティにのみ有効なテキスト情報が紐づいている知識グラフを対象に，効果的にテキスト情報を活用する知識グラフ埋め込みモデルを提案する。

## 2 関連研究

リンク予測は $h$ か $t$ が欠けたトリプル $(h, r, ?),(?, r, t)$ に対して，その欠けたエンティティを予測する問題として定式化される。知識グラフ埋め込みモデルでは一般に，トリプル $(h, r, t)$ に対して，その尤もらしさを評価するスコア関数 $f(h, r, t)$ を定義し，既知のトリプルに対してこれを
最大化するように，埋め込みべクトルを学習する。

知識グラフ埋め込みモデルの最も典型的な例としてあげられる TransE[4] では，エンティティをユー クリッド空間上の超球面上の点を指すべクトルとして, リレーションを平行移動として表現し, 既知のトリプルに対して， $\mathbf{h}+\mathbf{r}=\mathbf{t}$ が成り立つように，すなわち以下のスコア関数を最大化するように学習する。

$
f(h, r, t)=-\|\mathbf{h}+\mathbf{r}-\mathbf{t}\|_{p}
$

ここで $\|\cdot\|_{p}$ は $l_{p}$ ノルムを表す. TransE の派生モデルとして，埋め込み空間を複素空間とする RotatE[5] や，四元数空間に埋め込む QuatE[6] などが提案されている.

また，グラフの隣接テンソルのテンソル分解に基づいて埋め込みを獲得する手法 $[7,8]$ や，畳み込みニューラルネットワークやグラフニューラルネットワークを用いて埋め込みべクトルを獲得する手法も提案されている $[9,10]$.

これらの手法はすべて，グラフの構造情報のみ （既知のトリプルの情報のみ）を用いて埋め込みを学習しており, グラフの誤りやスパースネスに対して脆弱であるという問題がある [3]. これに対処するため, 構造情報に加えてエンティティやリレー ションに関連するテキスト情報を活用する埋め込み方式が提案されている.

例えば文献 [11,12] では, 学習済みの単語ベクトルを使い，エンティティの説明文に登場する単語の平均ベクトルを計算して，そのエンティティの埋め込みべクトルを得るのに利用している。

文献 [13] では，エンティティのラベルを含む文章をWikipedia から収集して対応付け，対応する文章の埋め込みとエンティティの埋め込みが同一のベクトルになるように 1 つの空間に埋め込んでいる.

また文献 $[14,15]$ では，エンティティの説明文を畳み込みニューラルネットワークや再帰ニューラルネットワークによりエンコーディングし、得られたテキスト埋め达みべクトルを利用してグラフとしてのエンティティの埋め込みべクトルを学習している. 文献 [16] では，エンティティに対応するテキス卜をWikipedia から収集し，エンコーディングには学習済み言語モデルを用いて, リンク予測と言語モデルタスクを同時に学習している.

これらの，テキスト情報を活用する既存の手法では，ほとんどの場合，すべてのエンティティやリ表 1 技術文書 $\mathrm{KG}$ 中のエンティティのタイプと件数

表 2 技術文書 KG 中のリレーションと件数

レーションの対応するテキスト情報が，十分に利用できることを前提としている. そこで以降では，一部のエンティティにのみ有効なテキスト情報が紐づいている知識グラフを対象に，テキスト情報を活用する知識グラフ埋め込みモデルを提案する。

## 3 提案手法

## 3.1 データセット: 技術文書 KG

本研究では, 社内のデータベースに 2013 年から 2020 年の間に登録された約 57,000 件の技術文書から, 概要, 著者, 著者の所属部署, 重要語を抽出し作成された知識グラフ: 技術文書 KGを構築し, デー タセットとして用いる。技術文書 KG に含まれるエンティティのタイプ一覧と数を表 1 に，リレーション一覧と数を表 2 に，各エンティティタイプと接続関係を表した知識グラフスキーマを図 1 に示す. なお，KeyPhrase(重要語) は各文書につき TF-IDF 値の上位 30 語を抽出している。技術文書 $\mathrm{KG}$ は，技術文書 (Document) の場合にのみ，その概要をテキスト情報として保持しており，その他のエンティティ及びリレーションはテキスト情報を持たないため、技術文書 $\mathrm{KG}$ は一部のエンティティにのみ有効なテキス卜情報が紐づく知識グラフである。

## 3.2 モデルと学習方法

本研究では一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対する埋め込み手法として，テキスト情報活用モデルと，テキスト+ID 埋め込みモデル (以下，+ID 埋め込みモデルと呼ぶ) を提案する.テキスト情報活用モデルと+ID 埋め込みモデルの概観図を図 2，3 亿それぞれ示す.これらのモデルは，利用可能な場合に文章の

図 1 技術文書 $\mathrm{KG}$ の知識グラフスキーマ

図 2 テキスト情報活用モデルの構成

埋め込み情報を付加するよう拡張した TransE と見ることができる. 技術文書 KG から得られるトリプルは， $h$ が Document である場合テキスト情報が利用できる. この際，テキスト情報活用モデルは SentenceBERT[17] により Document に紐づく概要の埋め込み表現 $\mathbf{h}_{\text {sum }}$ を獲得し，変換層 (図 4)を通して概要のテキスト情報を用いた $h$ の埋め込み表現 $\mathbf{h}$ を獲得する。+ID 埋め込みモデルは， $\mathbf{h}_{\text {sum }}$ に加えて Document の ID に紐づく固有の埋め込み表現 $\mathbf{h}_{\mathrm{docID}}$ を生成・結合させ，更に変換層を通して次元調節し得られるべクトルを $h$ の埋め込み表現 $\mathbf{h}$ とる， ノードの構造的な情報も反映するモデルである. $h$ が Documentでない場合，テキスト情報活用，+ID 埋め込みモデルのどちらも，TransE と同様に埋め込み表現 $\mathbf{h}, \mathbf{r}, \mathbf{t}$ を獲得する. 埋め込み学習のためのスコア関数 $f(h, r, t)$ は TransE と同様で，式 (1) において $p=2$ とした関数を用いる.

## 4 実験

## 4.1 実験方法

提案した手法の有効性を評価するために，技術文書 KG に対するリンク予測性能の実験を行った。実験では，任意のトリプル $(h, r, t)$ について， $(r, t)$ から $h$ を予測するタスクと， $(h, r)$ から $t$ を予測するタスクを実行し，2 つの結果の平均をとる Both Prediction タスクで評価する．実験においては，準備した全てのデータセット (以下，フルDS と呼ぶ) だけでなく，テキスト情報が全く含まれないトリプルの影響を検証するために，Affiliation タイプのエンティティが含まれるトリプルを削除した所属削除 DS 92 種類を用いる. 図 1 より， $h$ か $t$ のタイプが

図 3 テキスト + ID 埋め込みモデルの構成

図 4 変換層の構成詳細

Affiliation である場合，Document タイプのエンティティが含まれないため，そのトリプルはテキスト情報を持たない。またそれぞれのデータセット中のトリプル集合 $T$ を，訓練データ，検証データ，テストデータ，に分割比率 $7: 2: 1$ で分けた。

評価指標には，各タスクにおいて学習済みモデルが予測する $h$ か $t$ の候補をスコアで並び替えたときの順位をもとに，Hits@k と MRR(Mean Reciprocal Rank)を計算し用いる (A. 1 節参照)．モデルは Python 向け知識グラフ埋め込みライブラリ PyKEEN[18] を用いて実装した. ベースラインには TransEと RotatE を採用した。提案手法含め全てのモデルでベクトル $\mathbf{h}, \mathbf{r}, \mathbf{t}$ の次元は 200 次元とした. また提案手法において，概要の文章の埋め込みには SentenceBERT[17] の事前学習済みの多言語対応モデル1)を用いた。このモデルから得られる文章埋め込みべクトルの次元は768で, SentenceBERT モデルのパラメータは学習時に更新されない設定とした. 学習時, Optimizer は AdaGrad[19], 学習率は 0.01, バッチサイズは学習時に 512，評価時には 32 とした。

## 4.2 結果

4.1 節の条件で，フル DS 使用時のリンク予測性能の評価結果を表 3 に示す. 提案手法の精度はベースとした TransE より高く，概要の埋め込み表現を組み込むことでリンク予測精度が向上することを確認した。一方，最高精度を達成したのは全評価指標で RotatE であった．次に，所属削除 DS 使用時の結

1) https://huggingface.co/sentence-transformers/ paraphrase-multilingual-mpnet-base-v2
表 3 フル DS 使用時のリンク予測精度.太線: 最良値,下線: 次点.

表 4 所属削除 DS 利用時のリンク予測精度

果を表 4 に示す.この場合，提案手法は RotatE と同等か上回る精度を残した. 表 3 の結果と比べると, RotatE はほとんど性能に差が見られなかった一方で，提案手法は性能が大きく向上しており，提案手法に対して，テキスト情報を全く含まないトリプルの排除がリンク予測精度向上に寄与することを確認した.

## 5 考察

## 5.1 各リレーション毎のリンク予測性能

トリプル中のテキスト情報の有無による影響を考察するために，各リレーション毎のリンク予測精度を見る.フル DS 使用時の各リレーション毎のリンク予測精度を表 5(A. 2 節) に示す.この場合, 4.2 節と同様, 全リレーションで RotatE が最高精度であった. CONTAIN, WRITTEN_first, WRITTEN_subsequent では提案手法の精度が RotatE の次点であるが，IS_PART_OF におけるリンク予測精度は TransE が RotatE の次点となっている. 加えて, WRITTEN_first における+ID 埋め込みモデルの精度は, TransE の 0.109 に対し大幅に精度向上し 0.254 あった. 以上より, 文章埋め込みを利用可能なトリプルに対して，提案手法は精度向上に寄与すると推察される。

所属削除 DS 利用時の各リレーション毎のリンク予測精度を表 6(A. 2 節)に示す. 表 5 からの変化に注目すると，CONTAIN の精度は RotatE ではほとんど変化が見られないのに対し，テキスト情報活用モデルでは精度向上しRotatE を上回った。 WRITTEN_first と WRITTEN_subsequent は引き続き
RotatE が最良であるものの，テキスト情報活用モデルは精度が大きく上昇している．以上より，提案手法は文章情報を含まないトリプルの除外によって精度向上が期待できる。逆に言えば，文章情報を全く含まないトリプルは提案手法にとって性能低下に繋がる恐れがあると推察される.

## 5.2 PCA による埋め込み空間の可視化

テキスト情報による知識グラフ埋め込み空間の性質の変化を定性的に見るために，知識グラフ埋め込み空間を PCA[20] によって低次元化し可視化する. ただし，RotatE は複素空間への埋め込みみで，PCA による次元削減後の解釈が困難なため, ここでは考察対象から除く。

図 5, 6(A.3 節)にTransE，テキスト情報活用モデルの可視化結果をそれぞれ示す. この場合, Document 以外のエンティティは一つのクラスタに集まり， WRITTEN_\{first, subsequent \} CONTAIN ののべクトルは Document から他エンティティのクラスタへ向いているが，互いにほとんど差がない．以上から，hが Document であるトリプルのリンク予測時に, Document 以外のエンティティの重なりが大きいため, $t$ の判別が難しくなることが予想できる. 図 7 に+ID 埋め込みモデルの可視化結果を示す. TransE やテキスト情報活用モデルの場合と異なり，各エンティティタイプ毎にクラスタが分離している。加えて WRITTEN_\{first, subsequent \} や CONTAIN のべクトルは異なる方向を向いており，またその方向も Document から Person や KeyPhrase のクラスタを向いている. リンク予測時に他のエンティティを混同しにくい埋め込み空間を獲得していることが伺える。

## 6 おわりに

社内技術文書から，概要，著者，所属部署，重要語を用いて作成された，一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフのデータセット: 技術文書 $\mathrm{KG}$ を構築した. 知識グラフ中のテキスト情報を活用したテキスト情報活用モデルとテキスト+ID 埋め込みモデルを提案し，技術文書 KG を用いて提案手法のリンク予測タスクによって精度を評価した. 結果, ベースとなる TransEを上回る精度を達成し，提案手法が一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対して効果があることを確認した．今後は TransE 以外のモデルをベースにした手法への拡張を進めたい.

## 参考文献

[1] 蛭子玩磨, 市瀬龍太郎. 知識グラフの補完における translation-based models の発展と課題. 人工知能学会第二種研究会資料, Vol. 2018, No. SWO-044, p. 03, 2018.

[2] Quan Wang, Zhendong Mao, Bin Wang, and Li Guo. Knowledge graph embedding: A survey of approaches and applications. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 12, pp. 2724-2743, dec 2017.

[3] Fengyuan Lu, Peijin Cong, and Xinli Huang. Utilizing textual information in knowledge graph embedding: A survey of methods and applications. IEEE Access, Vol. 8, pp. 92072-92088, 2020.

[4] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space.

[6] Shuai Zhang, Yi Tay, Lina Yao, and Qi Liu. Quaternion knowledge graph embeddings. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Bishan Yang, Wen tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. December 2014.

[8] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction.

[9] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, Vol. 8, pp. 5212-5224, 2020.

[11] Richard Socher, Danqi Chen, Christopher D Manning, and Andrew Ng. Reasoning with neural tensor networks for knowledge base completion. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[12] Teng Long, Ryan Lowe, Jackie Chi Kit Cheung, and Doina Precup. Leveraging lexical resources for learning entity embeddings in multi-relational data. May 2016.

[13] Zhen Wang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. Knowledge graph and text jointly embedding. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on
Empirical Methods in Natural Language Processing (EMNLP), pp. 1591-1601, Doha, Qatar, October 2014. Association for Computational Linguistics.

[14] Ruobing Xie, Zhiyuan Liu, Jia Jia, Huanbo Luan, and Maosong Sun. Representation learning of knowledge graphs with entity descriptions. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 2659-2665. AAAI Press, 2016.

[15] Jiacheng Xu, Xipeng Qiu, Kan Chen, and Xuanjing Huang. Knowledge graph representation with jointly structural and textual encoding. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI'17, p. 1318-1324. AAAI Press, 2017.

[16] Xiaozhi Wang, Tianyu Gao, Zhaocheng Zhu, Zhengyan Zhang, Zhiyuan Liu, Juanzi Li, and Jian Tang. KEPLER: A unified model for knowledge embedding and pre-trained language representation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 176194, mar 2021.

[17] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3982-3992, 2019 .

[18] Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Sahand Sharifzadeh, Volker Tresp, and Jens Lehmann. PyKEEN 1.0: A Python Library for Training and Evaluating Knowledge Graph Embeddings. Journal of Machine Learning Research, Vol. 22, No. 82, pp. $1-6,2021$.

[19] John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, Vol. 12, No. 61, pp. 2121-2159, 2011

[20] Karl Pearson. On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, Vol. 2, No. 11, pp. 559-572, 1901.

## A 付録

## A. 1 評価指標の定義

トリプルの Head か Tail を削除して作った組 $(?, r, t)$ と $(h, r, ?)$ をクエリ $q_{i}$, 評価に用いたクエリの集合を $Q$ ，クエリ $q_{i}$ に対する正解を $y_{i}$ とする. また， $q_{i}$ の予測部分にエンティティ $e$ を代入し得られるトリプルを $\left(q_{i}, e\right)$, スコア関数 $f\left(q_{i}, e\right)$ の值によって降順に並び替えたときの順位を $\operatorname{rank}\left(q_{i}, e\right)$ とする。すると，Hits@k と MRR は以下の式で表せる.

$
\begin{aligned}
\text { Hits } @ \mathrm{k} & =\frac{\left|\left.\{q_{i} \in Q \mid \operatorname{rank}\left(q_{i}, y_{i}\right) \leq k\right.\}\right|}{|Q|} \\
\mathrm{MRR} & =\frac{1}{|Q|} \sum_{q_{i} \in Q} \frac{1}{\operatorname{rank}\left(q_{i}, y_{i}\right)}
\end{aligned}
$

ここで $k$ はしきい値となる順位の数値が入り，実験では $k=(1,5,10)$ の 3 パターンで評価をする.

## A. 2 リレーション毎のリンク予測結果

表 5,6 にフル DS，所属削除 DS に対するリレーションごとのリンク予測精度を示す. 指標は MRRである。評価に用いたサンプル数はそれぞれ CONTAIN が 311, 724, WRITTEN_first が 11, 144, WRITTEN_subsequent が 10,469, BELONG_TO が 816 , IS_PART_OF が 137 である.

表 5 リレーションごとのリンク予測精度 (フル DS,MRR).

 & $\underline{0.111}$ & 0.102 & 0.077 \\
+ID 埋め込み & 0.102 & $\underline{0.254}$ & $\underline{0.168}$ \\

TransE & 0.159 & $\underline{0.077}$ \\
RotatE & $\mathbf{0 . 3 0 1}$ & $\mathbf{0 . 1 4 9}$ \\
テキスト情報活用 & 0.086 & 0.042 \\
+ID 埋め込み & $\underline{0.171}$ & 0.057 \\

表 6 リレーションごとのリンク予測精度 (所属削除

DS,MRR)

## A. 3 PCA による可視化結果

図 5,6,7 に，TransE, テキスト情報活用モデル，テキスト+ID 埋め込みモデルの埋め込みべクトルを PCA にて低次元化・可視化した結果を示す. データセット中のエンティティ・リレーションを各モデルで埋め込んだ結果に PCAを適用し，第二主成分までを可視化した。 $(h, r, t)$ の埋め込みべクトルが $\mathbf{h}+\mathbf{r}=\mathbf{t}$ という関係を満たしている場合，PCA の線形性から低次元化後のベクトル $\mathbf{h}^{\prime}, \mathbf{r}^{\prime}, \mathbf{t}^{\prime}$ 間でも, $\mathbf{h}^{\prime}+\mathbf{r}^{\prime} \simeq \mathbf{t}^{\prime}$ の成立が期待でき，解釈がし易い.これは t-SNE などの他の低次元化手法に対して PCA が有利な点であると言える.

図 5 PCA による埋め込み表現可視化 (TransE モデル) AF:Affiliation, DC:Document, KP:KeyPhrase, PN:Person

図 6 PCA による埋め込み表現可視化 (テキスト情報活用モデル)

図 7 PCA による埋め込み表現可視化 (+ID 埋め込みモデル)


# 文献グラフにおける多項関係の埋め込み

井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

知識グラフ埋め込み (Knowledge Graph Embeddings; KGE）では，二つの節点間の関係，すなわち，二項関係を表現する埋め込みを学習している。二項関係は，複数のエンティティと関連するエンティティの検索など，より複雑な関係を推定する上では不十分であり，複数の節点間の関係である多項関係を考慮する必要がある. 本研究では，多項関係を考慮する KGE の獲得を目指し，多項関係をモデル化する KGE モデルを提案する．実験では，文献グラフ内の多項関係の予測性能を評価する。

## 1 はじめに

知識グラフ（Knowledge Graph; KG）では，エンティティを節点，その間の関係を辺とするグラフ構造によって知識を表現する．KG は既存の情報を基にした新たな関係の推定などに利用されており，具体的にはソーシャルプラットフォームにおけるコンテンツのユーザーへの推薦 [1] や文献検索システム [2] に応用されている. 新たな関係の推定など， $\mathrm{KG}$ の利用に向けて，KG の節点と辺をべクトル空間に埋め込む知識グラフ埋め込み（Knowledge Graph Embeddings; KGE）が頻繁に利用される. 現在，多くの KGE モデルが提案されており $[3,4,5]$, これらのモデルでは始点節点と終点節点間の関係（以降，二項関係と呼ぶ）を表現する埋め込みを学習する。二項関係の例を図 1 （a）に示す。

一方で，既存モデルが対象とする二項関係は，複数のエンティティと同時に関連するエンティティの検索など，より複雑な関係を推定する上では不十分であり，図 1（b）のような複数の節点間の関係（以降，多項関係と呼ぶ）を考慮する必要がある. 多項関係は，複数の始点節点 $H=\left.\{h_{1}, \ldots, h_{n}\right.\}$ と一つの終点節点 $t$ の間のそれぞれの関係 $R=\left.\{r_{1}, \ldots, r_{n}\right.\}$ という複数の二項関係により構成される多対 1 の関係である。このため，多項関係を表現可能な KGE が

図1文献グラフにおける二項関係と多項関係の例求められる.

そこで，本研究では，二項関係を対象とする既存モデルを拡張し，多項関係を考慮する KGE の獲得を目指し，多項関係をモデル化する KGE モデルを提案する。具体的には，多項関係を学習事例として，複数の始点節点 $H=\left.\{h_{1}, \ldots h_{n}\right.\}$ とそれぞれの関係 $R=\left.\{r_{1}, \ldots r_{n}\right.\}$ に対応する埋め込みを混合して得られる埋め込みと終点節点 $t$ に対応する埋め込み間の距離を近づける学習を行う。この際， $H$ の部分集合である $H_{s u b} \subseteq H$ とそれに対応する $R_{s u b} \subseteq R$ と $t$ から成る $\left(H_{\text {sub }}, R_{\text {sub }}, t\right)$ も多項関係であるため $\left.{ }^{1}\right)$ ，多項関係の学習事例数は膨大になる。この問題を軽減するため，学習事例のサンプリングを行う.

評価では，文献グラフ内の多項関係の予測性能を評価する。提案手法の有効性を確認するために，多項関係を構成する各二項関係における既存の KGE モデルの予測を組み合わせて，多項関係を予測するベースラインモデルを作成し，性能を比較する。

本研究の貢献は以下の 2 点である.

・多項関係をモデル化する新たな KGE モデルを提案した。

・多項関係の予測において，既存の KGE モデルを用いたべースラインと比較して，提案手法が
$ と $R_{s u b}$ のサイズが 1 の時， $\left(H_{s u b}, R_{s u b}, t\right)$ は一つの始点節点と一つの終点節点間の関係，すなわち二項関係となる。
}

より高い性能を示すことを示し，提案手法の多項関係の予測における有効性を示した.
- 学習事例に含まれる項数以上の多項関係において，Transformerが有効であることを示した.

## 2 関連研究

KGE は，推薦や知識グラフ補完などのタスクでの利用に向けて，知識グラフの節点と辺を密な低次元空間へ埋め込む手法である. どのような制約を満たす埋め込みを目的とするかは手法によって異なるが，一般的にグラフ構造を始点節点，終点節点，およびそれらの関係から構成される二項関係の集合とみなして，それらの二項関係を表現できる埋め込みを学習する. TransE [3] では，始点節点の埋め込みと関係の埋め込みの和が終点節点の埋め込みに近づくように，埋め込みを更新する．TransEでは，表現できない関係があるため，関係固有の重み行列を利用して，関係固有の空間に節点表現を射影する TransR [4] や始点節点と終点節点間の関係を回転で表現する RotatE [5] などの後続の改善手法が多く提案されている.

また，二項関係を超える関係をモデル化する KGE も提案されており，二項関係にその成立する期間を付与した時間知識グラフ $[6,7]$ やより詳細な説明を付与した超関係知識グラフ (Hyper-Relational Knowledge Graph）[8,9] などを対象とした手法がある.これらの手法では，二項関係に付与された追加情報のモデル化を対象としており, 複数の二項関係により構成される多項関係は対象としていない.

## 3 提案手法

提案手法である多項関係をモデル化する KGE モデルについて説明する. まず， 3.1 節では本研究で対象とする文献グラフの構築方法について説明し，次に 3.2 節で多項関係を学習事例として, 多項関係をモデル化する KGE モデルの説明をする。

## 3.1 文献グラフの構築

各論文から書誌情報として，題目・要旨・著者・出版年・掲載誌というタイプの異なる情報を取り出す。また，論文間の引用関係も取り出す。さらに，題目と要旨から自動的に抽出したキーフレーズとトピックを書誌情報に追加する．キーフレーズ抽出には，文と n-gram の埋め込みの類似度に基づいてキー フレーズを抽出する KeyBERT [10] を用い，トピッ始点節点埋め込み $\mathbf{H}$ 混合埋め込み $\mathbf{Q}$ 終点節点埋め込み $t$

図 2 多項関係をモデル化するグラフ埋め込み.

ク抽出には, Sentence-BERT [11] と c-TF-IDF を活用して密なクラスタを作成する BERTopic [12]を用いる.この際，トピックがその他に分類された場合， そのトピックは論文に割り当てない，論文そのものを表現する論文節点は，その論文に関する書誌情報節点に接続される。各論文節点間は，引用関係がある場合に接続される. さらに，各論文の書誌情報節点間も接続する．また，題目，要旨節点では，対応するテキスト情報が利用可能な場合には，テキスト情報を付与する。

## 3.2 多項関係をモデル化する KGE

多項関係は複数の二項関係によって構成され，始点節点の集合 $H=\left.\{h_{1}, \ldots, h_{n}\right.\}$ と一つの終点節点 $t$ の間のそれぞれの関係 $R=\left.\{r_{1}, \ldots, r_{n}\right.\}$ から成る $(H, R, t)$ の組で表現できる. それぞれの節点, 関係に対応する埋め込みを $\mathbf{h}_{\mathbf{n}}, \mathbf{r}_{\mathbf{n}} \in \mathbb{R}^{k}$ と表現する ${ }^{2)}$. 多項関係のモデル化では， $\mathbf{H}$ と $\mathbf{R}$ を混合した埋め込み $\mathbf{Q}(\mathbf{H}, \mathbf{R})$ と $\mathbf{t}$ の距離を近づけるように学習する. 提案手法の概要を図 2 に示す. $\mathbf{Q}(\mathbf{H}, \mathbf{R})$ は，式 (1) に示す通り， $\mathbf{H}$ と $\mathbf{R}$ 和を混合して作成される。混合 （Mix）の方法として，単純な平均と Transformer [13] に入力し，その出力を利用する手法の二つを比較する。

$
\begin{gathered}
\mathbf{X}=\left(\mathbf{h}_{1}+\mathbf{r}_{1}, \mathbf{h}_{2}+\mathbf{r}_{2}, \ldots, \mathbf{h}_{\mathbf{n}}+\mathbf{r}_{\mathbf{n}}\right) \\
\mathbf{Q}(\mathbf{H}, \mathbf{R})=\operatorname{Mix}(\mathbf{X})
\end{gathered}
$

具体的に，Transformer の出力を利用する手法では，式(2)のように，Transformer を $L$ 層通して獲得した $\mathbf{X}^{\mathbf{L}}$ の平均ベクトルを線形変換して $\mathbf{Q}(\mathbf{H}, \mathbf{R})$ を作成する。

$
\begin{aligned}
\mathbf{X}^{\mathbf{L}} & =\left.\{\mathbf{x}_{\mathbf{1}}^{\mathbf{L}}, \mathbf{x}_{\mathbf{2}}^{\mathbf{L}}, \ldots, \mathbf{x}_{\mathbf{n}}^{\mathbf{L}}\right.\} \\
\mathbf{X}_{\text {Avg }} & =\operatorname{Average}\left(\mathbf{x}_{1}^{\mathbf{L}}, \mathbf{x}_{\mathbf{2}}^{\mathbf{L}}, \ldots, \mathbf{x}_{\mathbf{n}}^{\mathbf{L}}\right) \\
\mathbf{Q}(\mathbf{H}, \mathbf{R}) & =\operatorname{FC}\left(\mathbf{X}_{\text {Avg }}\right)
\end{aligned}
$

$\mathbf{Q}(\mathbf{H}, \mathbf{R})$ と $\mathbf{t}$ の距離は, $d(\mathbf{Q}(\mathbf{H}, \mathbf{R}), \mathbf{t})=\| \mathbf{Q}(\mathbf{H}, \mathbf{R})-$ $\mathbf{t} \|$ と計算される. 負例サンプリングでは, $n$ 個の節

点 $t^{\prime} を t$ と同じ節点タイプの負例からサンプリングする [3]. また，予測が困難な負例に注目するために，モデルの予測に基づく重み $\alpha_{i}$ を使用する自己敵対的負例サンプリングを採用して，損失はマージン「を用いて式 (3)のように計算する [5].

$
\begin{aligned}
\operatorname{Loss}= & -\log \sigma(\Gamma-d(\mathbf{Q}(\mathbf{H}, \mathbf{R}), \mathbf{t})) \\
& -\sum_{i=1}^{n} \alpha_{i} \log \sigma\left(-\Gamma+d\left(\mathbf{Q}(\mathbf{H}, \mathbf{R}), \mathbf{t}_{\mathbf{i}}^{\prime}\right)\right)
\end{aligned}
$

また，複数の節点の組み合わせで構成される多項関係の事例数が膨大になるという問題を避けるため，事例のサンプリングを行い，計算コストを削減する. 具体的に， $(H, R, t)$ について，部分始点集合 $H_{\text {sub }} \subseteq H$ と一つの終点節点 $t$ の間の関係 $R_{\text {sub }} \subseteq R$ から成る $\left(H_{s u b}, R_{\text {sub }}, t\right)$ は, $\sum_{i=1}^{|H|}|H| C_{i}$ 個と膨大である. そこで，各エポックにおいて，各 $(H, R, t)$ に対して，1 個から $\min \left(\max \_n u m,|H|\right)$ 個の節点をランダムに選択して学習事例とする. max_num は，選択する節点数の最大値を表すハイパーパラメタであり，max_num 個の始点節点と $t$ の間に成り立つ max_num + 1 項関係までを学習対象にする。この際，学習の初期には予測しやすい項数の多い多項関係から学習して，学習が進むにつれて予測が難しい項数が少ない多項関係を学習するようにして，最終的には二項関係の学習をするというカリキュラム学習を採用する。

## 4 実験と考察

## 4.1 実験設定

データセットには ACL Anthology [14] に掲載されている ACL 2023 までに発表された 82,414 件の論文とその書誌情報を利用した. ACL Anthology には引用情報が含まれないため，Semantic Scholar Academic Graph API [15] を用いて取得した. 実験では, 他の節点との接続が少ない（次数が 5 未満）著者節点は削除した. KeyBERT と BERTopic では, sentence-transformers/all-mpnet-base-v2 [11] を使用した.また，キーフレーズ抽出では，3-gramまでのフレーズを対象とした. 共有されないキーフレーズや一般的すぎるキーフレーズを除去して，論文間でのキーフレーズの共有性を向上させるため，各論文からキーフレーズを抽出した後，2 件から 1,000 件の論文が持つキーフレーズのみを含む辞書を作成し，文字列照合によって辞書に含まれるキーフレーズを論文に付与した. この処理により，キーフレーズの種類は 216,143 から 37,678 に減少したが，各論文に付与されたキーフレーズの数の平均は 5.7 から 11.9 に増加した。題目節点と要旨節点は SciBERT [16] で初期化し，それに合わせて文献グラフの各節点の表現は 768 次元とした. 本研究では簡単のため過去 5 年の論文とその文献情報を使用して文献グラフを作成した。文献グラフの統計は付録 A に示す。

開発データと評価データについては，書誌情報から論文を検索するという設定を想定して，終点節点が論文節点であり，かつ始点節点と終点節点が共に，学習データ内に 5 回以上含まれる二項関係を各関係タイプごとに 1 割ずつ選択した。この開発デー タ，評価データのそれぞれで，終点節点が同じである二項関係をマージして，多項関係のデータに変換した。二項関係と多項関係の両方で評価を行うために，Word2vec [17] に着想を得た 3/4 次確率分布から対象節点と同じタイプの負例 127 個を負例サンプリングした。なお，多項関係においては，全ての始点節点と関連する論文節点が正例であるため，一部の節点と関連する節点も負例に含まれる。評価指標にはHit@1とMRRを用いた。

ベースラインモデルとして，二項関係をモデル化する KGE の予測を組み合わせた手法を用意した。具体的には，多項関係を構成する二項関係ごとに予測を行い，それぞれのランキング・スコア・埋め込みの平均を利用して，多項関係の予測をする。二項関係をモデル化する KGE には，TransE と TransE のスコア関数を $\|\operatorname{Transformer}(\mathbf{h})+\mathbf{r}-\mathbf{t}\|$ に変更したモデルを用意した.

また，カリキュラム学習のスケジューリングについて， 3 種類の方法 (Replace, Add, Add Weighted) を検討した. Replaceでは，各ステップにおいて $n-1$個の始点節点をランダムに選択して $n$ 項関係のみを対象にする。 $n$ 項関係が作れない $(H, R, t)$ に対しては，可能な最大の項数を対象とする．Addでは，前ステップまでの対象である事例に加えて，項数を一つ減らした事例を対象とする. Add Weighted では，Add とほぼ同様であるが，後で加えた事例がサンプリングされやすいように $1 /(n-1)$ の重みづけサンプリングを行う．全てのスケジューリングで MRR が 5 回更新されなければカリキュラムの次のステップに進むようにした。

## 4.2 多項関係における予測性能の比較

多項関係における予測性能について表 1 にまとめる. Transformer の層数は，開発データセットを用い
表 1 多項関係の予測における性能比較多項関係

表 2 二項関係の予測における性能比較

てチューニングし，最も性能が良いモデルでの結果を報告する。使用したハイパーパラメタやチューニングの結果は付録 Bに示す.

提案手法はベースラインと比較して高い性能を達成した. この結果から，多項関係のモデル化が有効であることが分かった. Transformerを使用しない場合に，特に高い性能となった。これは，今回使用した文献グラフは，単純な平均で多項関係を表現できたためだと考えられる。また，カリキュラム学習によって性能は改善せず，Transformerを使用しない場合の Replace では性能が大幅に低下した。これは, Replace では初期に学習した多項関係の混合方法を忘却してしまうためだと考えられる。ベースラインにおいて，ランキング平均の性能はスコア平均，埋め込み平均の性能よりも低く，スコア平均と埋め込み平均の性能はほぼ同じであった。

次に，提案手法が二項関係の予測にも適用可能かを検証するために行った実験の結果を表 2 に示す.提案手法はベースラインと同等の性能を達成した。 この結果から，提案手法は既存の KGE と同等の二項関係に対する表現力を維持しつつ，多項関係に対する表現力を向上させたと言える。

続いて，提案手法の多項関係に対する表現力をさ

図 3 始点節点の数ごとの Hit@ 1

表 3 学習事例を超える項数での性能評価 (Hit @ 1)

らに詳細に確かめるために，多項関係のデータにおける項数ごとの評価を行う．始点節点の個数が 1 の時，また学習対象の最大数である 5 の時，さらに学習対象以上の項数で予測できるかを確認するために，9,10 の時の性能比較を図 3 に示す3). この結果から，項数が多いときに，特にベースラインよりも高い性能を示す.また，始点節点の数が 10 個の時には，表 1 の結果と反し，Transformer を使用するモデルの方が性能が高い. さらに，表 3 に示す通り，始点節点が 6〜10 個の時の性能は Transformer を使用するモデルのほうが高いことから，Transformer を使用するモデルのほうが項数がより多くなった際に有効であると言える。

## 5 おわりに

本研究では，多項関係を考慮できる KGE の獲得を目的として，多項関係をモデル化する KGE モデルを提案した。その結果，既存の KGE モデルの予測を用いたベースラインと比べて，高い性能を達成した. 実験では $2 \sim 6$ 項関係を学習事例としてモデルを学習した。その範囲では Transformerを用いないモデルが高い性能となり，それ以上の項数では Transformer を用いたモデルが高い性能となった.この結果から，Transformerによって，より多くの項を考慮できる可能性がある。また，カリキュラム学習は，性能の改善に寄与しなかった，今後は，より有効な学習事例をサンプリングする方法を模索する。

3）始点節点の個数が 1 の時は，二項関係である．多項関係のデータ作成では，終点節点が同じ二項関係をマージする. この際，開発データセット内に一度しか登場しない終点節点は二項関係となる．表 2 の結果は文献グラフの全ての二項関係を対象としているため，評価対象が異なる。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L Hamilton, and Jure Leskovec. Graph convolutional neural networks for web-scale recommender systems. In Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery \& data mining, pp. 974-983, 2018.

[2] Xiao Yu, Quanquan Gu, Mianwei Zhou, and Jiawei Han. Citation prediction in heterogeneous bibliographic networks. In SDM, 2012.

[3] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[4] Yankai Lin, Zhiyuan Liu, Maosong Sun, Yang Liu, and Xuan Zhu. Learning entity and relation embeddings for knowledge graph completion. In Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, AAAI'15, p. 2181-2187. AAAI Press, 2015.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In International Conference on Learning Representations, 2019.

[6] Julien Leblay and Melisachew Wudage Chekol. Deriving validity time in knowledge graph. In Companion Proceedings of the The Web Conference 2018, WWW '18, p. 1771-1776, Republic and Canton of Geneva, CHE, 2018. International World Wide Web Conferences Steering Committee.

[7] Pengpeng Shao, Dawei Zhang, Guohua Yang, Jianhua Tao, Feihu Che, and Tong Liu. Tucker decomposition-based temporal knowledge graph completion. Know.-Based Syst., Vol. 238, No. C, feb 2022

[8] Jianfeng Wen, Jianxin Li, Yongyi Mao, Shini Chen, and Richong Zhang. On the representation and embedding of knowledge bases beyond binary relations. In Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, IJCAI'16, p. 1300-1307. AAAI Press, 2016.

[9] Bo Xiong, Mojtaba Nayyeri, Shirui Pan, and Steffen Staab. Shrinking embeddings for hyper-relational knowledge graphs. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1330613320, Toronto, Canada, July 2023. Association for Computational Linguistics.

[10] Maarten Grootendorst. KeyBERT: Minimal keyword extraction with BERT., 2020.

[11] Nils Reimers and Iryna Gurevych. Sentence-bert: Sen- tence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[12] Maarten Grootendorst. BERTopic: Neural topic modeling with a class-based tf-idf procedure. arXiv preprint arXiv:2203.05794, 2022.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[14] ACL Anthology. ACL anthology. (Accessed on 2023-0723).

[15] Semantic Scholar. Semantic scholar academic graph api. (Accessed on 2023-07-23)

[16] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[17] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

## A データセットの統計

実験で利用した ACL Anthology 亿掲載されている過去 5 年分の論文とその書誌情報を使って作成した文献グラフの統計を表 4，表 5，表 6 に示す。

表 4

表 6 学習データにおける書誌情報間の関係の統計

## B チューニング結果

実験で使用したハイパーパラメタを表７亿示す。 Transformer を使用する二項関係をモデル化する KGE モデルのチューニング結果を表 8，Transformer を使用しない多項関係をモデル化する KGE モデルのチューニング結果を表 9，Transformer を使用する多項関係をモデル化する KGE モデルのチューニング結果を表 10 に示す.

表 8 Transformer を使用する二項関係をモデル化する KGE モデルの開発データにおけるチューニング結果

表 9 Transformerを使用しない多項関係をモデル化する KGE モデルの開発データにおけるチューニング結果

表 10 Transformerを使用する多項関係をモデル化する KGE モデルの開発データにおけるチューニング結果


# 衣服を対象とした商品レビューからの長所 $\cdot$ 短所の抽出

井上京 ${ }^{1}$ 山田剛一 ${ }^{2}$ 増田英孝 ${ }^{2}$
東京電機大学大学院未来科学研究科 ${ }^{1}$ 東京電機大学未来科学部 ${ }^{2}$
22fmi06@ms. dendai. ac.jp \{yamada, masuda\}@mail. dendai. ac. jp

## 概要

近年，アパレル通販市場が拡大しており，商品レビューはユーザが商品を購入するかどうか決める際の大きな手掛かりとなっている. しかし, 商品レビユー数が多い場合，それらをすべて読むことは難しい. そこで, 本研究では商品の長所・短所を提示することを目的とし, 商品レビューから商品の長所・短所を抽出する手法を提案する。商品レビューから属性と評価値を抽出し, それらに対する感情の 3 つをトリプレットとして予測する. また，商品レビュ一に属性が明記されていない場合には，その属性の推定も行う. 評価実験において, トリプレット抽出の F1 スコアが「T シャツ・カットソー」カテゴリで 0.54，「セーター」カテゴリで 0.53 であった.

## 1 はじめに

近年, コロナ禍の影響でオンラインの需要が伸びたことによりアパレル通販市場が拡大しつつある [1]. また, 多くの通販では商品レビューを投稿する機能があり，ユーザは他のユーザが投稿した商品レビューを見ることができる．商品レビューは実際に商品を購入した人の意見や感想が記載されており， これらはユーザが商品を購入するかどうかを決める際の大きな手掛かりとなっている.

しかし, 商品レビュー数が多い場合, それらをすべて読むのに膨大な時間がかかってしまう。また，

一部を読んだだけでは商品の長所や短所をすべて把握することは難しい.

そこで，本研究ではユーザが商品レビューをすべて読まなくても商品の長所や短所を把握できるシステムを作ることを目的とし, 商品レビューから商品の長所・短所を抽出する手法を提案する. 商品レビユーから属性と評価値を抽出し, それらに対する感情を予測する。最終的には，これら 3 つをまとめてトリプレットとして抽出する. また, 商品レビュー に明記されていない場合には, その属性の推定も行い，より網羅的な抽出を図る.

## 2 関連研究

Wu ら[2]はレビューからトリプレットを抽出することを目的とした，グリッドタギング方式(GTS)を提案している.GTSは6種のタグ $\{\mathrm{A}, \mathrm{O}, \mathrm{Pos}, \mathrm{Neu}, \mathrm{Neg}$, $\mathrm{N}\}$ を用いて文中の任意の 2 つの単語関係を表すものである. CNN，BiLSTM，BERT をエンコーダとしてそれぞれ学習モデルを構築し，検証した結果， BERTが最も良い精度を得た。

Mukherjee ら[3]はタグ付けを用いない手法として。 ポインタネットワーク(PASTE)を提案している. PASTE では属性の開始位置と終了位置, 評価値の開始位置と終了位置, 感情を予測することにし, 位置に基づいた予測を行うことにより，属性と評価値の単語の長さが異なってもトリプレットを一様に表現することができる.

上記を含む多くの先行研究は属性が文中に明記されていることを前提とした手法を提案しておりここれらが文中に明記されていない場合の考慮はされてない、しかし，これらが文中に明記されていない場合の抽出手法を提案している先行研究も存在する.

Cai ら[4]はトリプレットにカテゴリを加えたクアドラプルの抽出を提案している。属性が文中に明記されていない場合は属性を null で抽出し，その分を力テゴリで補う。しかし, 最も良い結果で F1 スコア 0.446 であり，改善の余地がある．柏木ら[5]は省略された属性の推定も含めた属性一評価値ぺア抽出を提案している。事前に属性の候補リストを作成し， この中から省略された属性を推定する。また，レビユー文中の属性・評価値を抽出するための属性辞書・評価値辞書を作成している。文書中に明記されていない属性の抽出は $\mathrm{F}$ 値 0.55 , 文書中に明記されている属性の抽出は $\mathrm{F}$ 値 0.24 だった.

日本語の商品レビューは, 基本的に評価値は文中に明記されているが，属性は明記されていない場合が多くある。 そのため, 本研究では, 属性が文中に明記されているトリプレット抽出と属性が文中に明記されていないトリプレット抽出を同時に行う．

図 1 アノテーションの例(属性有り)

(属性) - 評価珄值 $^{\text {- 評価値 }}$

白を購入為るますた。可愛いてふわ尔わです。

・(デザイン)

図 2 アノテーションの例(属性無し)

## 3 提案手法

本章では, 本研究で使用するデータセットや前処理, トリプレット抽出の手法について述べる.

## 3. 1 用語の定義

本研究で扱う用語を以下のように定義する.
- 属性 : 評価対象となる商品の評価視点
- 評価値：属性に対する評価

・トリプレット : 属性, 評価値, 感情をまとめて抽出したもの

## 3.2 データセット

本研究では，楽天グループ株式会社が提供している「楽天データセット」[6]の商品レビューデータを使用し, その中から「T シャツ・カットソー」カテゴリと「セーター」カテゴリのデータを使用する.上記のカテゴリの特徴とこれらを使用する理由は以下の通りである.
- $\mathrm{T}$ シャツ・カットソー: 基本的に 1 年中需要がある

・ セーター：基本的に秋冬に需要がある
- 本研究で使用する理由：どの季節にも需要があるカテゴリと偏った季節に需要があるカテゴリの比較を行うため

なお, このデータセットには属性, 評価値, 感情のアノテーションが付与されていないため, 本研究の手法に対応するためにアノテーションの付与を行

図 3 GTS のタグ付け結果例([2]から引用)

表 1 各タグの意味

 \\

う.

## 3. 2. 1 前処理

アノテーションの付与を行う前にデータの前処理を行った。これを行う理由として，表記ゆれによる機械学習精度の低下が挙げられる。例えば，「あたたかい」と「暖かい」は本質的には同じ単語であるが，機械学習モデルはこれらを同一であると判断することができない。そのため，事前に表記ゆれの統一を行う必要がある。具体的には SudachiPy と Unicode 正規化を用いてデータに収録されている商品レビュー文の正規化を行い，表記ゆれの統一を行う.

## 3. 2.2 アノテーション

前処理を行った商品レビュー文に対し，アノテー

ションの付与を行う. アノテーションの例を図 1 ,図 2 に示す (アノテーション対象のテキストは活用する語の語形を基本形に変換している）。今回は各カテゴリ約 1,500 件のデータに対し，アノテーションを行い, 学習データ, 検証データ, テストデータをおよそ 7:2:1 の割合で分割する.

## 3.3 トリプレットの抽出

本研究では, 2 節で紹介した GTS[2]の手法を日本語のデータでも適応できるようにする。 また, 属性が文中に明記されていないトリプレットの抽出にも適応できるようにする.

## 3.3.1 GTS

GTS は 6 つのタグ $\{\mathrm{A}, \mathrm{O}, \mathrm{Pos}, \mathrm{Neu}, \mathrm{Neg}, \mathrm{N}\}$ を用いて文中の任意の 2 つの単語関係を表すものである. タグ付け結果の一例を図 3 に示す. また， 6 つの夕グの意味を表 1 に示す. なお, Pos, Neu，Negが夕グ付けされた場合, その単語ぺア (wi, wj)は属性一評価値ペアであることを表している. また, 本研究では Pos を肯定, Neu を中立, Neg を否定と言い換えて感情を予測する。

## 3.3. 2 日本語データへの適応

まず，MeCab[7]を用いてレビュー文の分かち書きを行う. 英語の文は単語ごとに空白があるため, 文を容易に分割することができるが，日本語の文は各単語が連結されているため, 事前に分かち書きをする必要がある. また, トークナイザを BertTokenizer から BertJapaneseTokenizer に変更する.これにより，文を BERT モデルに入力できる形にする際，より日本語に適した形に変換することができる.

## 3. 3.3 属性が文中に明記されていないトリ プレットの抽出

文中に明記されていない属性を推定するための属性リストを作成する。属性リストに載っている単語を表 2 に示す。

表 2 属性リストの単語一覧

属性が文中に明記されている場合は属性と評価値を同時に抽出していたが，属性が文中に明記されて
いない場合は先に評価値のみ抽出する。次に，評価値に対応する属性を属性リストの中から選出し, これらを仮の属性一評価值ペアとする。 その後, 仮の属性一評価値ぺアの感情を予測することで, 属性が文中に明記されていない場合でもトリプレットを抽出できる.

## 4 実験

本章では, トリプレットの抽出精度を確認するため, 3.2 節で作成したデータセットを用いてトリプレットの抽出実験を行う. 今回は以下の 3 パターンで実験を行う。
- 属性が文中に明記されているトリプレットのみ抽出

・属性が文中に明記されていないトリプレットのみ抽出
- 上記 2 種類のトリプレットを同時に抽出

なお，学習データ，検証データ，テストデータは各パターンに該当するトリプレットのみ使用する.各パターンのデータの詳細を表 3 , 表 4 , 表 5 に示す.

## 表 3 データの詳細(属性有り)

表 4 データの詳細(属性無し)

表 5 データの詳細(両方)

## 4. 1 実験設定

事前学習済み BERT は東北大学が提供している bert-base-japanese-v $3^{1}$ を使用する。また，学習率を 5e-5, バッチサイズを 4 , ドロップアウト確率を 0.1 に設定した。モデルパラメータの最適化には AdamW を用いた. 実験では，各データ 30 エポックの学習を行う。

## 4. 2 実験結果

各データの実験結果をそれぞれ表 6 , 表 7 に示す. なお, トリプレットは属性, 評価值, 感情すべてが正しく予測された場合のみ正解とする.

表 6 実験結果（Tシャツ・カットソー）

表 7 実験結果（セーター）

## 5 考察

両データ共に F1 スコアで $0.53 \sim 0.54$ の値となった. また, 今回の実験結果は $\mathrm{Wu}$ ら [2]が行った英語デー タでの評価実験の結果との間に大きな差がなかった. このことから, GTS[2]は日本語のデータへの適応も可能であることがわかった.

$
\text { パターンごとの結果を見ると, 属性無しトリプレ }
$

ットのみの抽出が最も良い結果となった。これは属性の選択肢が 8 個のみだったため, 属性の誤推定が少なかったことが要因だと考えられる。また，属性有りトリプレット，属性無しトリプレットを同時に抽出すると別々に抽出するよりも精度が低い結果となった. 同時に抽出する時に使用したデータは，属性有りデータと属性無しデータを混ぜて作成しているため, 別々に抽出する時よりも学習の難易度が上がっていることが原因の 1 つだと考えられる。

また，セーターにおける属性有りトリプレット抽出の再現率が他の項目と比べて著しく低い結果となった.これは 1 回しかデータセットに出現していない属性・評価値の数が多かったことが原因の 1 つだと考えられる。この課題を解決するには，データ数を増やすことが必須である。なお，属性・評価値の出現回数の詳細は付録 A に記載する。

全体的な結果としては, セーターの方が $\mathrm{T}$ シャツ・カットソーより精度が低い結果となった。これはセーターの方が $\mathrm{T}$ シャツ・カットソーより属性,評価值の種類が共に多く, その分属性一評価値ぺアの組み合わせ数も多くなることから，誤った組み合わせで抽出してしまった可能性がある.

## 6 おわりに

本研究では，ユーザが商品レビューをすべて読まなくても衣服の長所や短所を把握できるシステムを実装することを目的とした，商品レビューからの衣服の長所・短所抽出手法を提案した. 既存の手法を日本語データへ適応できるようにし, 属性が文中に明記されていないトリプレットの抽出を可能とした。評価実験を行った結果, F1 スコアで 0.53 0.54 の値となった. 今後の課題として, データ数を増加することや他の手法の検討が挙げられる. また，トップスだけでなく, ボトムスなどの他カテゴリのデータを用いた評価実験も行いたい。
^{1} \mathrm{https}$ //huggingface.co/cl-tohoku/bert-base-japanese-v3
}

## 謝辞

本研究では, 国立情報学研究所の IDR データセッ卜提供サービスにより，楽天グループ株式会社から提供された「楽天データセット」を利用した. ここに記して感謝する。

## 参考文献

[1] Commerce Marketing Blog：アパレル業界を目指す方が読むべき市場規模や平均年収まとめ！， https://www.interfactory.co.jp/blog/apparel/, 12 月 28 日参照

[2] Z.Wu, C.Ying, Z.Fan, et al: Grid Tagging Scheme for Aspect-oriented Fine-grained Opinion Extraction, In Findings of the Association for Computational Linguistics EMNLP 2020, pp.2576-2585(2020).

[3] R.Mukherjee, T.Nayak, Y.Butala, et al: PASTE A Tagging-Free Decoding Framework Using Pointer Networks for Aspect Sentiment Triplet Extraction, In Proceeding of the 2021 Conference on Empirical Methods in Natural Language Processing, pp.9279-9291(2021).

[4] H.Cai, R.Xia, J.Yu: Aspect-Category-Opinion-Sentiment Quadruple Extraction with Implicit Aspects and Opinions, In Proceeding of the 59th Annual Meeting of the Association for Computational Linguistics and $11^{\text {th }}$ International Joint Conference on Natural Language Processing, pp.340-350(2021).

[5] 柏木潔, 小町守, 松本裕治 : レビュー文書からの省略された属性の推定を含めた意見情報抽出, 言語処理学会第 19 回年次大会, pp.528-531(2013).

[6] 楽天グループ株式会社: 楽天市場データ, 国立情報学研究所情報学研究データリポジトリ(データセット), https://doi.org/10.32130/idr.2.1(2020).

[7] MeCab, https://taku910.github.io/mecab/.

## A 属性・評価值の出現回数

## A. 1 属性 ・評価值の出現回数上位 10 件

各データセットの属性・評価值の出現回数上位 10 件を表 8 ，表 9 に示す. なお，属性は文中に明記されている属性のみカウントした。

表 8 属性の出現回数上位 10 件

 & 出現回数 & セーター & 出現回数 \\
ー & & & \\

着心地 & 156 & 着心地 & 152 \\
デザイン & 110 & 肌触り & 135 \\
肌触り & 81 & デザイン & 120 \\
袖 & 63 & 形 & 102 \\
丈 & 63 & 袖 & 99 \\
素材 & 53 & 色 & 95 \\
色 & 51 & 丈 & 77 \\
形 & 49 & ニット & 66 \\
サイズ & 45 & 素材 & 62 \\

表 9 評価值の出現回数上位 10 件

 & 出現回数 & セーター & 出現回数 \\

なお, 全属性の合計出現回数は $\mathrm{T}$ シャツ・カットソーが 3,125 回，セーターが 3,629 回である.また,全評価値の合計出現回数は $\mathrm{T}$ シャツ・カットソーが 4,023 回，セーターが 4,708 回である.

## A. 2 出現回数ごとの属性数 - 評価值数

各データセットの出現回数ごとの属性数・評価值数を表 10 , 表 11 に示す.表 10 出現回数ごとの属性数

} & セーター & 属性数 \\

表 11 出現回数ごとの評価値数


# 複数の形式・表現の質問を利用した多角的な関係抽出

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd22439, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

質問応答を用いた関係抽出手法は，各関係タイプごとにその有無を確認する質問を利用し，それぞれの関係タイプに特化した処理を可能にしている。さらに，これらの手法では，質問を変えると結果が変わる柔軟性をもつが，既存手法はそれを十分に利用できていない．本研究では，質問の柔軟性を利用し，関係そのものを複数の方法で捉える，多角的な捉え方が可能な関係抽出の実現を目指し，複数の形式・表現の質問を利用する関係抽出手法を提案する. DrugProt データセットを用いた評価によって，複数の質問形式の利用が有効であること，質問の表現による関係抽出性能への影響を確認した。

## 1 はじめに

文献中から構造化された情報を取り出す情報抽出タスクの 1 つとして，文献中に存在する用語間の関係を抽出する関係抽出が研究されている $[1,2,3]$.既存の関係抽出手法の多く $[2,4,5]$ は，用語ぺア間の関係を事前に定義された候補の関係タイプから選択し，用語ペアを分類する手法である。これらの手法では，用語ぺア間の関係を候補となる関係タイプから一度の処理で選択し分類するため，それぞれの関係タイプに特化した処理ができず，各関係タイプに着目できていない。

それぞれの関係タイプに着目した関係抽出手法として，質問応答を用いた関係抽出手法 $[6,7,8]$ がある.これらの手法では，まず，候補となる関係タイプすべてに対して用語をスロットとして持つ質問文テンプレートを作成し，用語ぺアの片方を当てはめることで質問文を作成する。作成した質問文と用語ペアを含む元の文を用いて質問応答を行い，回答が質問文に当てはめていない方の用語であれば，テンプレートに対応する関係タイプであると判定し，関係抽出を行う．質問応答を用いる手法では，関係夕イプごとの質問を用いて質問応答を行うことで，そ

図 1 複数の形式・表現の質問を用いる関係抽出

れぞれの関係タイプに特化した処理が可能になるという利点がある。さらに，質問応答を用いた関係抽出手法は，質問を変更することで関係抽出の結果が変化するという，質問の柔軟性もある。しかし，既存手法はこの柔軟性を十分に利用できていない.

そこで本研究は，質問応答を用いた関係抽出における質問の柔軟性を利用して，関係そのものを複数の方法で捉える多角的な捉え方が可能な関係抽出手法の実現を目的として，形式・表現の異なる複数の質問応答を用いる関係抽出手法を提案する。本稿で対象とする薬物タンパク質間関係抽出データセット DrugProt [9] の各関係タイプに対して，回答対象の異なる複数の形式の質問を作成し，関係抽出に利用する。また，各形式について，質問表現の異なる複数の表現の質問も作成・利用する. 本研究の貢献は以下の通りである。
- 質問の柔軟性を利用して関係を多角的に捉える手法として，複数の形式・表現の質問を利用す

る手法を提案した。
- 複数の質問形式の利用が関係抽出に有効であることを示した.

・質問の表現が関係抽出性能に影響を与えることを確認した。

## 2 関連研究

## 2.1 複数の質問を用いた関係抽出

Cohen らは，用語ぺアの始点と終点の用語をそれぞれ含む 2 つ形式の質問を用いて，双方向の質問応答を行うことで関係抽出を行う手法 [8] を提案している。まず，候補となる各関係ラベルに対して，用語ペアの始点の用語を当てはめて終点の用語を回答する質問文のテンプレートと, 終点の用語を当てはめて始点の用語を回答するテンプレートの 2 種類を作成する．2つの質問のうち片方でも質問文に当てはめていない用語ぺア内のもう 1 つの用語が回答であるときに，その用語ペアはテンプレートの持つ関係タイプであると判定する。著者らは, Cohen らの手法を用いて，質問文の表現を一部変更した 2 つの質問文を比較し，質問文の表現が関係抽出の性能に影響を与えることを報告した [10].

## 2.2 関係抽出に適した質問応答モデル

著者らは，関係抽出に適した質問応答モデルとして，タスク情報を利用する 2 值分類型の手法 [11] を提案した。まず，関係抽出タスクで事前に与えられる情報として, 質問文と入力文中の用語の前後には各用語タイプのマーカーを，疑問詞の前後には回答となる用語のタイプのマーカーを付与した. また，質問応答を用いた関係抽出において必要な，回答がテンプレートに当てはめていないもう 1 つの用語であるかを 2 値分類によって直接判定するモデルを提案した. BERT (Bidirectional Encoder Representations from Transformers) [12]を用いて, 回答の候補となる用語のスパン表現を作成し，2 值分類を行うモデルを提案した。

## 3 提案手法

本研究では，質問の柔軟性を利用して，関係そのものを複数の質問で捉える，多角的な捉え方が可能な関係抽出手法の実現を目的とする. 提案手法の概要を図 1 に示す. 1 つの関係に対する複数の質問として，複数の形式・表現の質問を利用するためのテ
ンプレートを作成した. 3.1 節では回答の対象を変更した複数の形式の質問文テンプレートについて， 3.2 節では, 各形式の質問に対して表現を変えた複数の表現の質問文テンプレートについて，それぞれ説明する。なお，いずれのテンプレートも本稿で対象とする薬物タンパク質間関係抽出データセットの DrugProt [9] のアノテーションガイドライン [13]を参考に作成した.

## 3.1 複数の形式の質問テンプレート

1 つの関係に対する複数の質問として，本稿で対象とする薬物タンパク質間関係抽出データセットの DrugProt のすべての関係タイプに対して3つの形式の質問文テンプレートを作成した. ここで，形式とは，質問応答における回答とする対象を指す. 1つ目の形式は薬物とタンパク質の用語ペアに対して,薬物の用語を当てはめて，回答がタンパク質の用語であれば関係があると判定するもの（D $\rightarrow \mathrm{P} ）$ で，2 つ目の形式はタンパク質の用語を当てはめて，薬物の用語であれば関係があると判定するもの $(\mathrm{P} \rightarrow \mathrm{D})$ である.これらの 2 つの形式の質問文テンプレートは，Cohen らの双方向の質問を用いた手法 [8]を基に著者らが作成したもの [10] である. 形式名の D と P はそれぞれ薬物 (Drug) とタンパク質 (Protein) を指す. 3 つ目の形式の質問文テンプレートは，用語ペアの両方を当てはめ，用語ぺア間に関係があるかどうかを yes か no で回答する形式の質問文テンプレート（yes/no）である.

## 3.2 複数の表現の質問テンプレート

1つの関係に対して複数の質問を利用するもう 1 つの方法として, 複数の表現の質問文テンプレー トの作成を行った. ここで，表現とは質問表現を指し, 3.1 節で作成した 3 つの形式の質問文テンプレー トセットの一部に対して表現を変更することで，異なる 2 つ表現の質問文テンプレートセットを作成した. 2 つのテンプレートのうち，1つは薬物とタンパク質の用語ペアに対して，薬物の用語または対応する疑問詞を主語にしたもの（D $\rightarrow \mathrm{P}-\mathrm{D}, \mathrm{P} \rightarrow \mathrm{D}-\mathrm{D}$, yes/no-D）で，もう1つはタンパク質の用語または対応する疑問詞を主語としたもの $(\mathrm{D} \rightarrow \mathrm{P}-\mathrm{P}, \mathrm{P} \rightarrow \mathrm{D}-2 \mathrm{P}$, yes/no-P）である. ただし， $\mathrm{P} \rightarrow \mathrm{D}-\mathrm{D}$ と yes/no-Dについては, 3.1 節で作成した $\mathrm{P} \rightarrow \mathrm{D}$ と yes/no と同一のものである. 質問セットの名前は，ハイフンの前が形式，後が主語となる用語タイプを指す.
表 1 複数の形式の質問を用いた結果 $(\%)$

## 4 実験設定

## 4.1 データセット

関係抽出データセットとして, DrugProt データセット [9]を用いて，学習および開発データでの評価を行った. DrugProt データセットは薬物とタンパク質の用語を含む薬学文献のアブストラクトで構成され，薬物とタンパク質の用語間に 13 種類の関係タイプが設定されているデータセットである。また，関係が存在しない薬物とタンパク質のペアも存在する。評価指標にはマイクロ $\mathrm{F}$ 値を用いる.

## 4.2 複数形式の質問の利用

複数の形式の質問を利用する手法の評価のため，比較手法として，BERT の CLS トークンを用いて文分類を行う質問を用いない手法と， 3.1 節で作成したそれぞれの質問形式のうち 1 つのみを用いて学習を行う手法（ $\mathrm{D} \rightarrow \mathrm{P}, \mathrm{P} \rightarrow \mathrm{D}$, yes/no）との比較を行う. また，複数の質問形式を利用する手法として，3つの形式で学習したモデルのうち 1 つ以上で予測された関係を予測する手法 (vote-1/3), 同様に，3つの形式のうち，2つ以上，3つ以上で予測された関係を採用する手法 (vote-2/3, vote-3/3)，3つの形式の出力を平均して用いる手法 (mean) で比較を行った.付録 $\mathrm{C}$ に実際に使用したモデルの設定を示した.

## 4.3 複数表現の質問の利用

複数の形式の質問を利用に対する評価のため，比較手法として, それぞれの 3.2 節で作成した質問セッ卜を用いる手法 ( $\mathrm{D} \rightarrow \mathrm{P}-\mathrm{D} / \mathrm{P}, \mathrm{P} \rightarrow \mathrm{D}-\mathrm{D} / \mathrm{P}$, yes/no-D/P) との比較を行う. 複数の表現の質問を利用する手法として，各形式の異なる 2 つの表現でそれぞれ学習したモデルのうち，片方でも予測された関係を採用す表 2 複数の表現の質問を用いた結果 $(\%)$

るもの $(\mathrm{D} \rightarrow \mathrm{P}$-vote, $\mathrm{P} \rightarrow \mathrm{D}$-vote, yes/no-vote $)$, 複数の形式・表現を利用する手法として，異なる 6 種類の質問のうち，3つ以上または 4 つの以上で予測された関係を採用するもの（all-vote-3/6, all-vote-4/6）で比較を行う。

## 5 結果と考察

## 5.1 実験結果

複数の質問形式を用いる手法と各比較手法の結果を表 1 に示した. 文分類による関係抽出手法と比較すると，質問応答を用いるどの手法もより高い $\mathrm{F}$ 値となっている。この結果は，関係抽出に対して質問応答を利用する有効性を示唆している。また. 複数の質問形式を用いる手法は，1つの質問形式を用いる手法と比較すると，3つの形式のうち 2 つ以上の形式で予測された関係を採用する手法（vote-2/3）はより高い $\mathrm{F}$ 值が，3つのモデルの出力を平均して用いる手法（mean）は同程度の $\mathrm{F}$ 值が，他の 2 つの手法はより低い $\mathrm{F}$ 値がそれぞれ得られた。この結果から, 複数の質問形式の利用は, vote- $2 / 3$ のように利用する方法によっては有効であると考えられる。

複数の表現の質問を用いる手法と各比較手法の結果を表 2 に示した. 1 つの表現の質問のみを用いた手法で比較すると，薬物を主語にした表現を用いた場合は，タンパク質を主語とした表現を用いた場合よりも高い $\mathrm{F}$ 値になる傾向が見られた.これは， DrugProt データセットではそれぞれの関係タイプが薬物の用語を始点・タンパク質を終点として定義されているため，薬物の用語が主語の質問文の方が適しているという結果になったと考えられる。また，
表 3 複数の質問形式の利用によって変化した事例（斜字は薬物，太字はタンパク質の用語. どちらも関係 INHIBITOR に対する事例）

 \\

2 つの表現の質問を利用した手法は，1つの表現のみを用いた場合の結果に比べて，性能の向上が見られなかった. 使用した質問の表現が 2 つであり，そのうちのどちらか一方でも予測されれば，その関係タイプを採用しているため，どちらかの予測での誤りを排除できないことや，タンパク質を主語とする表現の質問（D $\rightarrow \mathrm{P}-\mathrm{P}$ など）を用いた際の性能が薬物を主語とする質問（D $\rightarrow \mathrm{P}-\mathrm{D}$ など）を用いた場合と比較して低いことなどが原因と考えられる．また，複数の形式・表現を同時に用いる手法 (all-vote-3/6, 4/6）は複数の表現のみを用いる手法（D $\rightarrow$ P-vote, $\mathrm{P} \rightarrow \mathrm{D}$-vote, yes/no-vote）と比較した場合は性能の向上が見られるが，表 2 の複数の形式のみを用いる手法（vote-2/3）と比較しても性能の向上が見られないのも同様の原因であると考えられる。

以上の結果より，複数の質問形式の利用は，関係抽出に対して有効であると考えられる。一方で，今回作成した 2 つの表現の質問の利用による関係抽出の性能向上は得られなかった. しかし, それぞれの表現ごと抽出結果から, 質問の表現の違いによる関係抽出結果への影響が見られたため, 表現の選択によって, 複数の表現の質問が関係抽出に有効に作用する可能性もあると考えられる。

## 5.2 解析

複数の形式の質問文を利用することによる関係抽出結果への影響を, 複数の形式を用いた手法 （vote-2/3）によって結果が変化した事例を用いて確認する. 表 3 に, 複数の質問形式によって, 結果が改善した事例と改悪した事例をそれぞれ示した. 上の事例では, 関係 INHIBITOR に対する 3 つ形式の質問文のうち，タンパク質を当てはめて薬物を回答する形式の質問は誤った回答によって関係が正
しく予測できていないが，他の 2 つの形式は正しく予測できているため，3つの形式を合わせて利用することで，正しく関係 INHIBITOR を予測することができている。一方で, 下の事例も同じく, 関係 INHIBITOR に対する事例だが，yes か no で回答する形式のみ正しく予測できており，他の 2 つの形式では誤った予測をしているため，3つの形式の利用した手法では，関係 INHIBITOR がないと誤った予測をしてしまっている.

## 6 おわりに

本研究では，質問応答を用いた関係抽出における質問の柔軟性を利用して，関係そのものを複数の方法で質問することで捉えるという多角的な捉え方が可能な関係抽出手法の実現を目的に，複数の形式 ・表現の質問文を利用することを提案し，そのための質問文テンプレートの作成を行った. DrugProt デー タセットで評価した結果，複数の形式の質問によって，1つの形式のみを用いた場合よりも高い性能が得られることを示した. 一方で，複数の表現の質問を用いた手法では，性能の向上は見られなかったが，各表現の質問ごとに性能に差異が見られ，質問の表現が関係抽出の結果に影響を与えることを示した.

今後は，関係そのものを複数の方法で質問するのではなく, 関係が持つ複数の属性や性質といった側面に対する質問の利用など，質問の柔軟性の異なる利用方法を検討する。また，どのような質問文をいくつ利用するのが有効かは明確でなく, すべて人手で設計するのは困難であるため，質問もしくはそれに相当する入力を自動で作成する手法も検討する。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[2] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[3] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Christoph Alt, Marc Hübner, and Leonhard Hennig. Improving relation extraction by pre-trained language representations. In Automated Knowledge Base Construction (AKBC), 2019.

[5] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[7] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Supervised relation classification as two-way spanprediction. In 4th Conference on Automated Knowl- edge Base Construction, 2022.

[9] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021.

[10] 山田晃士, 三輪誠, 佐々木裕. 複数の質問形式を利用した分類型の質問応答による薬物タンパク質間関係抽出. 言語処理学会第 29 回年次大会, 2023 .

[11] Koshi Yamada, Makoto Miwa, and Yutaka Sasaki. Biomedical relation extraction with entity type markers and relation-specific question answering. In Dina Demner-fushman, Sophia Ananiadou, and Kevin Cohen, editors, The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, pp. 377-384, Toronto, Canada, July 2023. Association for Computational Linguistics.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[14] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[15] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, p. 1-23, Jan 2022.

## A 作成した質問文テンプレート

3.1 節の複数の質問形式のテンプレートの例を表 4 に， 3.2 節の複数表現の質問テンプレートの例を表 5 にそれぞれ示す.

表 4 関係 INHIBITOR に対する複数形式の質問テンプレート（DRUG は薬物，PROTEIN はタンパク質の用語）

表 5 関係 INHIBITOR に対する複数表現の質問テンプレート（DRUG は薬物，PROTEIN はタンパク質の用語）

## B データセットの統計

実験に使用した DrugProt データセット [9] の統計を表 6 に示した. ただし, DrugProt データセットはテストデータのラベルが公開されていないため, 開発データを約 $1: 1$ となるように分割してそれぞれ開発，テストデータとしている.

表 6 訓練，開発，テストセットの各関係タイプの事例数

## C モデル設定

実験において用いるモデルの設定について述べる.モデルには，2.2 節のタスク情報を利用する 2 值分類型の質問応答モデル [11]を利用した. モデルは，質問文に含まれない用語が回答のときに関係があると判定する質問形式に対して，回答の候補となる用語のスパン表現から，その用語が回答かどうかを 2 值分類するモデルである. yes か no で回答する質問形式に対しては，回答の候補が入力文中にないため，疑問符のスパン表現をから回答が yes かどうかで 2 値分類を行った. 最適化手法には Adam [14] を，事前学習モデルには PubMedBERT-base-uncased-abstract-fulltext [15]を用いた. 表 7 に実験で用いたパラメータを示した. 各実験はシード値を 40-42 に設定して 3 回学習・評価を行い，その平均をとった値を最終的な評価値とした.


# ChatGPT と表整理技術を利用した株価に関わる新聞記事の分析

村田真樹 1
1 鳥取大学工学部電気情報系学科/鳥取大学工学部附属クロス情報科学研究センター
murata@tottori-u.ac.jp

## 概要

本研究では，株価予測のために毎日新聞の記事を表整理技術と ChatGPT を用いて分析している。分析から，日経平均株価に影響を与える 22 の主要因が特定された. また, ChatGPTが新聞データを抽出し，表形式で表示できることがわかった. さらに， ChatGPT に表整理技術を統合することで，高効率で大規模な表生成手法を構築した。この手法は緩い基準を用いて 0.88 を達成している. 日経平均株価に関連する記事で頻出する項目を体系的に表にし，その項目に対して株価指数がどのように上昇・下降するかを表に示した．機械学習の素性となるカテゴリをChatGPTを利用して取り出すことで，知見獲得を目的とする特殊な状況での株価の上昇下落の予測性能が向上することを確認した. ChatGPT によるカテゴリにより，株価の上昇下落の理由がわかりやすくなった. ChatGPT によるカテゴリを利用して，同種のカテゴリを持つが挙動が異なるデータの分析も行った.

## 1 はじめに

Bollen らによると，株価の予測が Twitter の感情分析によってある程度達成できる [1]. 機械学習や深層学習が，新聞から抽出された情報に基づいて株価を予測するために様々な研究で使用されている $[2,3,4,5]$. 新聞には一般的な経済情勢や株価の変動に関する貴重な洞察が含まれている。株価予測の精度を向上させるために，本研究では，新聞から特に株価に関連する文章を調査した。新聞によく見られる株式関連コンテンツの種類を特定するために，表整理技術 [6] と ChatGPT を使用した。本研究は日本語の文章を用いて行われた。本稿は文献 $[7,8,9]$ の研究も紹介している. 2 節と $A$ 節は文献 [7] で，2 節から 5 節と A 節と B 節は文献 $[8,9]$ でより詳細を述べている.

## 2 表整理技術を用いた分析

2007 年から 2020 年の毎日新聞において，「前日終値比」「前日比」のいずれかを含み，「東京株式市場」「日経平均株価」を含む記事を抜き出した. それをクラスタリングし，類似記事を収集した．類似記事を表整理技術 [6] を用いて，表に整理する。この表整理技術では，複数の記事を入力すると，記事中の文をクラスタリングして，表の行に，入力した記事，表の列に，クラスタリングした文を配置するような表を生成できる。よく似た内容の文が同じ列に配置された表が生成できる。表の列には新聞記事に書かれやすい項目が入る。この項目のうち有用なものとして以下の項目が得られた $[7,8,9]$. 詳細は $\mathrm{A}$節を参照されたい.

（a）夕゙ウ平均，(b) 為替，(c) 市場の情報 1，(d) 市場の情報 2，(e) 世界情勢，(f) 海外株価指数，(g) 以来纪類するもの, (h) 下げ幅，(i) 東証，(j) 国際的な情報，(k) 指摘事項，(1) 利回り，(m) 金融緩和，(n) 業績, (o) 取引開始, (p) 関連, (q)貿易，(r) 欧州， (s) 警戒，(t)トランプ，(u) 新型コロナ， (v)海外投資家

## 3 ChatGPT を使った分析事例

自然言語処理の分野は急速に進歩しており，深層学習の進歩が大きな役割を果たしている。その中でも，大規模言語モデルを用いたチャットシステム ChatGPT は，自然言語処理において高い性能を発揮している [10,11]. ここでは, ChatGPT(GPT-4)を用いて新聞の内容を分析し，株価予測に役立つ情報を抽出した $[8,9]$.

ChatGPT は大量のデータを学習する。その中には株価の記事も含まれる. ChatGPT からそれを取り出して分析する.

「日経平均に大きな影響を与えた出来事を 10 個示してくたさい.」「この 10 個の出来事において, 日経平均株価のことを記載する新聞記事の文章例を書いてください。日経平均株価の值も記載ください.」「これらの記事を時間順に並べかえて記載ください.」「この 10 個の記事の文章を，である調に書き直してください.

上記を ChatGPT の出力に対して逐次的に ChatGPT
表 1 重要な出来事と日経平均株価の動き

に入力すると, ChatGPTが最終的に下記を出力した. もちろんです。以下に，上記の架空の新聞記事を「である調」に書き直した文章を示します。
1. 1989 年のバブル経済の崩壊

「バブル崩壊後の 1990 年 12 月，日経平均株価は 22,000 円近辺で取引されている. これは，バブルのピーク時に比べて大きく下落した数値である.」
2. 1990 年代のアジア通貨危機

「アジア通貨危機の最中の 1997 年，日経平均株価は 14,000 円近辺で推移している. アジア経済全体の不安定さが日本の市場にも影響を及ぼしている。

下記を ChatGPT の出力に対して逐次的に ChatGPT に入力した.

「上記 10 個の記事を様々な観点で分析して，表に整理してください.」「上記 10 個の記事を様々な観点で分析して,表に整理してください．列の数をもう少し増やす感じで作成ください.」

ChatGPT が最終的に表 1 を出力した.

新聞記事を使わなくても，ChatGPT で新聞記事での株価の分析ができることがわかる.

表を見ると，日経平均の動きがわかる．バブル崩壊で日経平均が暴落した印象を持っていたがさらに，2008 年の世界金融危機，2011 年の東日本大震災で下がったことがわかる。日経平均のおおまかな動きがわかる便利な表である.

## 4 表整理技術と ChatGPT を併用し た解析事例

ChatGPT を用いて生成された表は，表整理技術を用いて生成された表よりも列数が少ない。この節では，表整理技術と ChatGPT の両方を組み合わせることで，多くの列を持つ表を生成することを目的とする. ChatGPT は高性能な技術である. この 2 つのアプローチを併用することで，高性能な表生成が期待できる。この融合手法の性能を評価するために，表生成処理の簡単な性能評価を行う $[8,9]$. 本節では ChatGPT(GPT-4)を利用する.

手順としては，表整理技術によって列として得られた項目を，対象となる抽出項目とする。その後， ChatGPT を用いて，各文書からこれらの項目に関連
する情報を抽出する。この処理は複数の文書に渡って実行され，その結果は多数の列と行を持つ表に構造化される。この融合手法では，列は抽出される内容を表し，行は複数の文書に対応する。この手法により，高い性能を維持しながら，多数の列を持つ表を生成できる．ChatGPT は，文章を分割しない表整理技術とは異なり，文章を分割して情報を抽出するため，融合手法においてより適切な情報を抽出することができる.

ChatGPTへの入力は，表整理配置技術で得られた分類をさらに手作業で精緻化し，(a)～(v) とラベル付けされた分類を作成する。これらの分類に対応する内容を ChatGPT で取得する。

以下の文章から，以下のカテゴリーに該当する文章を抜き出してください，該当するものがない場合は，該当なしとしてください。＃分類 (a) 日経平均，(a2) 日経平均の推移，(b) ダウ平均，(c) 為替，(d) マーケット情報，(中略) (t) トランプ政権，（u) 新型コロナ， (v) 外国人投資家 \#本文 8 月 28 日の東京株式市場では，米格付け会社スタンダー ド・プアーズによるギリシャ国債とポルトガル国債の格下げを受け，欧州財政の悪化懸念が広がり，日経平均株価は一時 330 円以上下落した. (残りの記事の文章)

ChatGPT に上記を入力すると，以下を出力する.各カテゴリーに該当する記述を抽出すると，以下のようになる.

(a) 日経平均株価
- 8 月 28 日の東京株式市場で日経平均株価は一時 330 円以上下落した.
- 日経平均株価は大幅に下落し，取引時間中に 3 営業日ぶりに 10,900 円台を割り込んだ。

(中略)

(b) ダウ平均
- "5 月 27 日のニューヨーク株式市場でダウ工業株 30 種平均は 7 営業日ぶりに大幅下落し, 前日終値比 213.04 ドル安の $19,991.99$ ドルと，2月 4 日（268.37 ドル安）以来の下げ幅を記録した。

(c) 外国為替
- 外国為替市場では，ユーロが対ドル，対円で大きく売られ, 一時 1 ユーロ $=1.3166$ ドルと昨年 4 月下旬以来約 1 年ぶりの安値水準まで下落した. 円も対ドルで強含み，一時 3 営業日ぶりに 1 ドル $=92$ 円 81 銭をつけた.,

実験は，A 節の毎日新聞の 21 記事を使用した。上記と同じ手順を 21 記事に適用した. 記事を表に整理することで，A 節で示されたもの (表 8) と同様
表 2 内容の抽出精度

の表が作成された.

本節では，2 節で説明した表整理技術と，本節で紹介する融合手法の両方を用いて, 最初の 10 記事から抽出した内容の性能を評価する. 2 節で作成した表は，主に (b) から (i) までの情報を取り込んでいる. そのため, (b)〜(i) の情報のみに基づいて性能を評価した。

結果を表 2 に示す.ここでは，表整理手法または融合手法のいずれかによって得られた正しい情報を正しいとする. 入力文書中に正しい情報がない場合，情報が得られなかったもの，あるいは N/A として抽出されたものは，正しいとみなす. さらに，情報の欠落や追加にもかかわらず，得られた情報が部分的に正しい場合も正しいと判断する. 表 3 より融合手法の有効性がわかる.

以前の研究において，我々は質問応答処理を使って表の各セルの情報を取り出し，すべてのセルの情報抽出を完了することを提案した [12](質問応答処理を使って，目的の列 (文書から取り出すべき内容項目)を見つけるのが良いということも強調した [12]). ChatGPT は質問応答処理の性能を向上させるため, 今回の研究はこれを達成するために ChatGPT を活用していると考えることができる。

## 5 得られたカテゴリーと ChatGPT を使った簡単な分析

2 節では，分析に有用な項目を示した. この分類を用いた知識獲得を行った [9]. ChatGPT(GPT-4)に， これらの項目が発生したときに日経平均株価がどうなるかを分析してもらった. ChatGPT には次のように入力した.

日経平均株価が上昇したとき，あるいは下落したときを，以下の内容夗基づいて表整理せょ. (a) 日経平均，(a2)日経平均の推移, (b) 分ウ平均, (c) 為替, (d) マーケット情報，(e) 世界情勢，(f) 海外株価指数，(g)「以降」関連，(h)下落，(i) 東証，(j) 国際情報，（k) 注目，（1) 利回り，（m)金融緩和，（n）決算，（o）取引開始，（p）関連，（q）貿易, (r) 欧州， (s) 注意， (t) トランプ政権，（u) 新コロナ, (v)外国人投資家

これにより ChatGPT が出力した表の一部を表 3 に示す. 2 節で得た有用な項目がどうなると日経平均が上昇下落するかがわかり便利である.表 3 日経平均株価の上昇および下落の要因

表 4 株価の上昇下落の予測

## 6 ChatGPT で付与したカテゴリを 利用した分析

文献 [13] と同様に知見獲得を目指して記事から株価の上昇下落を予測する。日経平均を記載した新聞記事に ChatGPT により，カテゴリを付与する．付与したカテゴリも利用して，新聞記事から，株価の上昇下落を予測する.

本研究は, 株価の上昇下落の理由を新聞記事の文章から得ることが目的である. 次の日の株価を予測するのでなく，新聞記事の文章から前日から当日の株価の上昇下落を予測し，株価の上昇下落の理由を抽出する.

2007 年から 2022 年の毎日新聞から「東京株式市場〜日経平均株価〜前日比・前日終値比」を含む記事 (820 件) を抽出し実験データとして用いる. ChatGPT(GPT-4)により各記事が各カテゴリに当てはまるかを判定させる．カテゴリとしては以下を用いた.

金価格の上昇, 金価格の下落, 石油価格の上昇, 石油価格の下落, 日本の金利の上昇, 日本の金利の下落, 米国の金利の上昇, 米国の金利の下落, ヨーロッパの金利の上昇, ヨー ロッパの金利の下落..

記事からは TermExtract を用いて用語を取り出した. 用語とカテゴリを利用して, 前日から当日の株価の上昇下落を予測する．用語では上昇下落を直接意味するもの（「好感」「嫌気」「全面安」「全面高」「買い」「売り」「買われ」「売られ」など）は取り除いた。機械学習には最大エントロピー法を用いる。

実験結果を表 4 に示す。機械学習の素性となるカテゴリを ChatGPT を利用して取り出すことで，株価の上昇下落の予測性能が向上することを確認した.

最大エントロピー法では有用な素性を正規化 $a$ 値が大きいものとして検出できる [13]. 正規化 $a$ 值が大き素性で興味染いものを表 5 と表 6 に示す. 文献 [13] では単語連続の素性しか用いなかったが，カテゴリの素性を用いるとわかりやすい有用な素性が得られた. 米国の金利の下落，石油価格の変化で株価

表 5 株価上昇に寄与するカテゴリ

表 6 株価下落に寄与するカテゴリ

が上昇すること，マーケットの過熱感，コロナ患者の増加，トランプ氏の影響低下で株価が下落することがわかる. ChatGPT を用いてわかりやすいカテゴリを付与して分析すると，分析がわかりやすくなる場合があることがわかる.

## 7 同種のカテゴリを持つが挙動が異 なるデータの分析

6 節で ChatGPT で新聞記事にカテゴリを付与でき

た. 本節では，同種のカテゴリを持つが株価の上昇下落の向きが異なる新聞記事対の分析を行う.

同種のカテゴリを持つ状況なので，一般的には株価の上昇下落は同じになると思われる. そういう状況なのに，株価の上昇下落が異なるというのは特殊な状況と思われる。 そのような状況を分析する。

6 節のデータを用いる．そのデータで，ChatGPT で付与したカテゴリを用いる．多くのカテゴリを共通して持ち，かつ，カテゴリの有無を 1,0 としたべクトルの内積が大きい記事対を考察した。

5 記事対を調査した. そのうちの 2 記事対に付与されたカテゴリを表 7 に示す.

記事対 1 では，どちらの記事も状況は同じく海外株式の下落により株式市場の状況は良くない. しかし，記事対 1 のうちの株価上昇をした記事では，日経平均は下落で始まったもののその後反発し結局その日は前日に対して株価上昇となった.

記事対 2 では，どちらの記事も状況は同じく日本の金利の下落により円高が進行し株式市場の状況は良くない。しかし，記事対 2 のうちの株価上昇をした記事では，連日の日経平均の株価下落の反動で反発し結局その日は前日に対して株価上昇となった.

調査した 5 つの記事対はすべて，株価が下落しや表 7 同種のカテゴリを持つが挙動が異なるデータ

 &  \\

すい株式市場の状況は良くないもので，記事対のうちの株価上昇をした記事では，下落で始まったものの反発し結局前日に対して株価上昇となるものであった。

株価は状況により動くだけでなく，下落の反動で反発する動きもあり，予測が複雑になることがわかる.

本節では，ChatGPT で付与したカテゴリを用いた分析を行った. ChatGPT で付与したカテゴリは，このような分析にも役立つ便利なものである.

## 8 おわりに

本研究では，株価に関連する新聞記事を表整理技術と ChatGPT を用いて分析し，株価を論理的に予測した. 表整理技術により 22 個の分析に役立つ項目を得た。表整理技術と ChatGPTを組み合わせることで，性能高く列数の多い表を生成できることを示した. 22 個の項目がどのようになると株価が上下するかを示す表も生成した. 機械学習の素性となるカテゴリを ChatGPT を利用して取り出すことで，特定の状況での株価の上昇下落の予測性能が向上することを確認した. ChatGPTによるカテゴリにより，株価の上昇下落の理由がわかりやすくなった. ChatGPT によるカテゴリを利用して，同種のカテゴリを持つが挙動が異なるデータの分析も行った.

## 謝辞

本研究は，公益財団法人石井記念証券研究振興財団の助成金を受けて実施された．6節は，西垣孝紀氏との共同研究である。西垣氏の了承を得て，本論

## 参考文献

[1] Johan Bollen, Huina Mao, and Xiao-Jun Zeng. Twitter mood predicts the stock market. Journal of Computational Science, Vol. 2, No. 1, pp. 1-8, 2011.

[2] Heeyoung Lee, Mihai Surdeanu, Bill MacCartney, and Dan Jurafsky1. On the importance of text analysis for stock price prediction. In Proceedings of Ninth International Conference on Language Resources and Evaluation (LREC 2014), pp. 1170-1175, 2014.

[3] Arman Khadjeh Nassirtoussi, Saeed Aghabozorgi, Teh Ying Wah, and David Chek Ling Ngo. Text mining for market prediction: A systematic review. Expert Systems with Applications, Vol. 41, No. 16, pp. 7653-7670, 2014.

[4] Ryo Akita, Akira Yoshihara, Takashi Matsubara, and Kuniaki Uehara. Deep learning for stock prediction using numerical and textual information. In 2016 IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS), pp. 1-6, 2016.

[5] 村田真樹, 中原裕人, 馬青. 機械学習と言語処理による株価予測と知識獲得. 言語処理学会第 26 回年次大会, pp. 657-660, 2020.

[6] Masaki Murata, Kensuke Okazaki, and Qing Ma. Improved method for organizing information contained in multiple documents into a table. Journal of Natural Language Processing, Vol. 28, No. 3, pp. 802-823, 2021.

[7] 村田真樹. 株価予測のための新聞データでの表整理技術を用いた記載事項の内容分析. 行動経済学会第 16 回大会, pp. 1-6, 2022.

[8] Masaki Murata. Content analysis of items in newspaper data using table arrangement technology and chatgpt for stock price prediction. In Proceedings of The 22nd International Conference on Information \& Knowledge Engineering on CSCE 2023, pp. 1-8, 2023.

[9] Masaki Murata. Leveraging chatgpt and table arrangement techniques in advanced newspaper content analysis for stock insights. Big Data, Data Mining and Data Science: Algorithms, Infrastructures, Management and Security, 2024. (submitted)

[10] OpenAI. Chatgpt. https://openai.com/blog/chatgpt/, 2022.

[11] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. arXiv:2203.02155, 2022.

[12] 村田真樹, 内山将夫, 井佐原均. 質問応答システムを用いた情報抽出. 言語処理学会第 6 回年次大会ワー クショップ論文集, pp. 33-40, 2000.

[13] 村田真樹, 中原裕人, 馬青. パターンと教師あり機械学習と素性分析を利用したウェブと新聞からの株式相場に関わる知見獲得. 情報処理学会第 82 回全国大会, pp. 55-56, 2022.

## A 表整理技術を用いた分析の詳細

2 節の研究の詳細を本節で述べる $[7,8,9]$.

2007 年から 2020 年の毎日新聞において，「前日終值比」「前日比」のいずれかを含み，「東京株式市場」「日経平均株価」を含む記事を抜き出した．2,084 件の記事が抜き出された。

次に，この記事群をクラスタリングした．K-means 法でクラスタ数を 100 と指定してクラスタリングを行い，その中から密集度が高く件数も適度に多いクラスタを選択して実験データとする．密集度 $0.989,21$ 件の記事を含むクラスタを抜き出し，実験データとする．ここで，密集度とはクラスタ内の情報の関連具合を表したものであり，似たような情報が詰まったクラスタは密集度が高くなる。 fastText で単語ベクトルを作りそれに基づき文書ベクトルを作り，文書間の類似度を算出し K-means でクラスタリングしている．密集度も同様に文書べクトルを利用して算出する.

この 21 件の記事に対して，表整理技術 [6] で表に整理する.この表整理技術では, 複数の記事を入力すると, 記事中の文をクラスタリングして，表の行に，入力した記事，表の列に，クラスタリングした文を配置するような表を生成できる。よく似た内容の文が同じ列に配置された表が生成できる．実際にこの技術を利用したところ，13 列が生成された。表では左の方の列が重要度が高いものが配置される. 重要度は密集度と表の充填率 (空白の欄が少ないほどよい）の積でもとまる. 手法の詳細は文献 [6] にある. 生成された表のうちの一部を表 8 に示す.

13 列のうちの最後の 3 列は断片的なものや記事の著者の情報であり不要なものであった. 残る 10 列の内容は，重要度順に以下のものがあった. (a) ダウ平均, (b) 為替, (c) 市場の情報 1, (d) 市場の情報 2，（e）世界情勢，（f) 海外株価指数，(g) 以来に類するもの，(h) 下げ幅，(i) 東証，(j)国際的な情報

密集度 $0.983 ， 79$ 件の記事を含むクラスタで，列数 20,列数 50 の表を生成した. その表で新たに有用と思われる列の内容が， 12 個見つかった. (k) 指摘事項， (l) 利回り, （m) 金融緩和，(n) 業績，(o) 取引開始，(p) 関連，（q) 貿易， (r) 欧州，（s) 警戒，(t) トランプ，（u) 新型コロナ， (v) 海外投資家

新聞で日経平均について記載する際，上記のような情報を同時に書くことが多いということがわかる．表で列数を増やすとより多くの内容を取得できる.「トランプ政権」「新型コロナ」などの特殊な事象に関わる内容も得ら

## 犯得られたカテゴリーと ChatGPT を使った簡単な分析の追加事例

本節では，5 節で行った分析の追加事例を示す [9]. 5 節で得た結果に続いて，下記を ChatGPTに入力する。

上記表で示した要因以外の要因を多数考案ください。日経平均株価が，その新たに考案した要因がどのような場合に，上昇または下落するかを表に整理してください.

これにより ChatGPT が出力した表の一部を表 9 に示す.下記を ChatGPT に入力する.

石油価格では，それがどのような場合に，日経平均株価が上昇または下落するかを表に整理してください.

これにより ChatGPT は表 10 を生成した。この表により石油と日経平均のより詳細な関係がわかる.表 8 生成された表の一部

 & 円を買う動き & 前日の欧米株 \\

 \\

 &  &  \\


# テキストアナリティクスツールの説明文に含まれる 設定キーの認識

仲田将斗 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
nakata.masato.26m@st.kyoto-u.ac.jp \{kameko,forest\}@i.kyoto-u.ac.jp

## 概要

テキストアナリティクスツールは，テキスト集合の性質を統計的に明らかにすることを目的として，人文学において広く用いられている. こうした分野において，テキストアナリティクス実験の再現性を保証するために，論文の説明文から分析手法やそのパラメータを正しく特定することが大事となる. 我々はこれをいくつかのサブタスクへ分解し, そのうちの一つである設定キー認識タスクに焦点を当てた. ここでは設定キーごとの二值分類として定式化し，事前学習済みの言語モデルに基づく encoder-decoder モデルを提案する.

## 1 はじめに

人文学分野において，研究対象のテキスト集合を統計的手法によって分析するために，テキストアナリティクスツールが注目を集めている [1]. こうした手法は，単語の出現頻度による分析やクラスター 分析，潜在的ディリクレ配分法（LDA）など多岐に渡るが，これらの手法を使いこなすには情報学の専門知識が必要となる．それは分析結果の論文を読み書きする際も例外ではなく，分析手法のパラメータに関して必要十分に説明文を記述する，あるいはその説明文を読み解き正しくパラメータを特定する， という作業は特に非専門家にとって苦労を要している.

こうした労力を軽減するために，森田ら [2] はテキストアナリティクスツールの操作ログと説明文の間の相互変換モデルを提案した. 操作ログ（以下ログと表記）とはテキストアナリティクスの分析手法とそのパラメータの対のことを言い，ツールが直接扱えるような構造化データとなっている。森田らはログと説明文の正解対からなるデータセットを作成し，これを「原文と翻訳文」の対と見做すことで言語モデルによる変換モデルを実現した.

森田らは「ログからの説明文生成」と「説明文からのログ生成」の双方向の変換を試みたが，そのうちログ生成タスクにおいて以下の問題を抱えている：

・ログは構文解析できるようにフォーマットが定められているが，出力が正しいフォーマットに従っているとは限らない.

・存在しないパラメータや表記の僅かに誤ったパラメータを出力することがある.

そこで我々はログを“生成”するのではなく“認識・抽出” するという立場で，実用的な精度まで引き上げることを目標とする.

まずログ生成タスクをより細かなサブタスクに分解し，認識や抽出のタスクに帰着させる．分解の詳細については 2 節で述べる。続いてサブタスクの一つである設定キー認識，つまり分析手法のパラメー タのうち「どのパラメータが明示的にセットされているか（デフォルト值でないか）」を特定するタスクを取り上げ，それを解くためのモデルを 3 節で提案する. 最後に，このモデルの精度評価について 4 節で解説する。

## 2 タスク詳細

本節ではまずタスクに係る用語の定義をし，ログ生成タスクについて述べる。 その後，ログ生成タスクのサブタスクを説明し，本研究での対象範囲を規定する.

## 2.1 用語の定義

一つのテキストアナリティクスツールは, 分析手法と呼ばれる機能 (functions) の集合 $\mathscr{F}$ を持つ. 分析手法は，ユーザが与えたテキスト集合を分析するための統計的手法または機械学習による手法であり，たとえばあるテキストアナリティクスツール

には

共起ネットワーク,対応分析 $\in \mathscr{F}$

といった手法が存在する.

各分析手法 $f \in \mathscr{F}$ は固有の設定キー (configuration key）集合 $\mathscr{K}_{f}$ を持ち，それぞれの設定キー $k \in \mathscr{K}_{f}$ には設定可能な設定値 (configuration values) の集合 $\mathscr{V}_{f, k}$ が対応する. これらの集合はツールの仕様によって事前に定められている. たとえばあるテキストアナリティクスツールの共起ネットワーク $(C N \in \mathscr{F}$ と表記する）には

$
\text { MinTF := 語の最小出現数 } \in \mathscr{K}_{\mathrm{CN}}
$

などの設定キーがあり，設定値として 0 以上の整数を指定できる：

$
\mathscr{V}_{\mathrm{CN}, \operatorname{MinTF}} \subset \mathbb{Z}_{\geqslant 0}
$

ところで，設定値というものは必ずしも明示的に指定されるわけではなく, デフォルトの値が暗黙的に用いられることも多い. そのため，分析手法 $f \in \mathscr{F}$ の設定を，設定キー集合のある部分集合 $K \subset \mathscr{K}_{f}$ に対する設定値の対応

$
\left.\{\left(k, v_{k}\right) \mid k \in K\right.\} \quad\left(v_{k} \in \mathscr{V}_{f, k}\right)
$

として定義し， $K$ に含まれない設定キーについてはデフォルト値であると見做す.このような定式化はタスクの本質には影響しないが，これによって後述の設定キー認識を単純なモデルで解くことができるようになる（3 節)。そこでは，説明文中には $K$ に含まれる設定キーのみ現れるという仮定を置く。

最後に，テキストアナリティクスツールの操作ログあるいは単にログとは, 分析手法 $f \in \mathscr{F}$ とのの設定 $c$ の対 $(f, c)$ を意味し，それを自然言語により論文等で説明したものを説明文と呼ぶ.

## 2.2 ログ生成タスクとその分解

このように定式化したとき，ログ生成タスクは「説明文 $D$ が与えられたとき，条件付き確率 $p(L \mid D)$ が最大となるログ $L$ を生成せよ」という夕

手法 $F$ と設定 $C$ という二つの確率変数によって書き直せば，

$
p(L \mid D)=p(F, C \mid D)=p(C \mid F, D) \cdot p(F \mid D)
$

という関係を得る。さらに設定を設定キーの集合 $K \subset \mathscr{K}_{F}$ とそれらの值対応 $V$ に分けて概念的に

$
p(C \mid F, D)=p(V \mid K, F, D) \cdot p(K \mid F, D)
$

のような分解を考えることができる.

以上から示唆を得て，ログ生成タスクを次の三つのサブタスクへ分解する.

1. 分析手法分類 — $p(F \mid D)$ に対応. 説明文がどの分析手法に対しての記述なのかを判定する。

2. 設定キー認識 — $p(K \mid F, D)$ に対応. 説明文中に明示された設定キーを列挙する。

3. 設定値抽出 $-p(V \mid K, F, D)$ 亿対応. 説明文中からそれぞれの設定値を特定し，設定キーとの対応付けを構築する。

設定キー認識および設定値抽出に関しては図 1 も見よ.

## 2.3 本研究の範囲

上で見た三つのサブタスクのうち，本研究では 2.設定キー認識を扱う.

## 3 提案モデル

設定キー認識（2.2 節）を解くためのモデルとして，設定キーごとの二値分類器を提案する.

より詳細に説明するために，設定

$
c=\left.\{\left(k, v_{k}\right) \mid k \in K\right.\}
$

を持つログ $\ell=(f, c)$ を考えよう．記法については 2.1 節を見よ.このログから作られた説明文 $d$ があるとして，設定キー認識とは $d$ から設定キー集合 $K \subset \mathscr{K}_{f}$ を推定する問題となる. (分析手法 $f$ は予め推定できているとする.）そこで我々が目指すのは, 各設定キー $k \in \mathscr{K}_{f}$ に対して二值分類器

$
\text { Found }_{k}:\{\text { 説明文 }\} \rightarrow\{0,1\}
$

を，与えられた説明文 $d$ について

$
\left.\{k \in \mathscr{K}_{f} \mid \operatorname{Found}_{k}(d)=1\right.\}=K
$

が成り立つように構築することである。つまり， Found $_{k}(d)=1$ は説明文の元となった口グ $\ell$ 中に設定キー $k$ が明示的に現れていることを意味し, $=0$ は明示的には現れずデフォルト值が使われていることを意味する．たとえば図 1 の入力例 $d$ の場合であれば， Found 上位 $(d)=1$, Found $_{\text {外部変数 }}(d)=0$ などとなる.

そしてこの分類器を，事前学習された言語モデルによる transformer encoder と，線形 decoder からなる確率モデルで実現する（図 2). Transformer encoder
入カ：KH Coder の共起ネットワーク機能を用い，最小出現数を 3 回および上位 60 語に設定した.

図 1 設定キー認識（左）および設定值抽出（右).

には BERT [3] を用い，説明文を表現べクトルの列に変換させる．線形 decoder 層はその表現ベクトルを受け取り，線形変換した後活性化関数によって0 以上 1 以下の実数を出力する.

比較として，transformer encoderに BERT の代わりに T5 [4]，GPT-2 [5], RoBERTa [6] を使用したモデルも提案する．T5 などは transformer encoder-decoder ではあるが，単にある次元のベクトルを出力するニューラルネットワークと見做し，BERT の部分を置き換えた。

## 4 実験

2.2 節で述べたサブタスクへの分解，および 3 節のモデルを検証するための実験を行った. ベースラインのモデルとして，サブタスクへの分解をしない森田ら [2]によるモデルの実験も行った.

## 4.1 データセット

実験には森田らによって作成されたデータセットを用いた。このデータセットは，広く普及したテキストアナリティクスツールである KH Coder [7]を用いた実際の論文を集め，それらにログと説明文をアノテーションすることで作られた. 共起ネットワー クおよび対応分析の二つの分析手法について，合わせて約 250 エントリーを収録している.

## 4.2 実験設定

## 4.2.1 提案モデル

事前学習それぞれのモデルの encoder には，日本語の大規模なコーパスで事前学習され, 公開されているものを用いた. 事前学習に使用したコーパスには Wikipedia， CC $100[8,9]$, OSCAR [10,11] がある（表 1). CC 100 および OSCAR は多言語を含むコーパスであるが，そのうち日本語の部分に限定している.

表 1 Encoder に用いたモデルを事前学習したコーパス. ○とマークされたコーパスが使用された.

メトリクス Found $_{k}(d)=1$ を陽性 (positive),$=0$ を陰性（negative）として，全体に占める真陽性と真陰性の割合

をメトリクスとして採用した.

## 4.2.2 先行研究のモデル

森田らの提案した，T5 [4] によるマルチタスクモデルを用いた. T5 モデルは，我々のモデルと同じコーパスで事前学習されている. 学習時 (validation データ上での評価）のメトリクスとして，森田らは 4-gram に対する BLEU [12] を採用したが，デー タセットのサイズを考慮して代わりに 1-gram に対する BLEUを採用した。

テストデータ上での評価の際には, 出力されたログから設定キーを抽出し，それを設定キー認識の結果とした. この結果をさらに設定キーごとに分け， それぞれの設定キーについて上記のメトリクス acc を計算した。なお，データセット中のログはすべて一定のフォーマットに従っているが，言語モデルの出力も同じフォーマットであるとは限らない. そこで，正しくないフォーマットの場合は設定キーが存在しない，つまり 2.1 節の記法で $K=\emptyset$ と見做して評価を行った。

## 4.2.3 共通の設定

交差検証データセットのサイズを考慮し，5-fold 交差検証を実施した。

図 2 モデルの概略図. 大規模なコーパス（表 1）で事前学習された encoder と，単層の decoder との組み合わせ. 入力にはトークン列に変換した説明文を与える。

表 2 共通の設定キーと出現頻度. CN は共起ネットワー クを，CA は対応分析を表す。

設定キーの選択 3 節の分類器 Found $_{k}$ は本来は分析手法にも依存する概念であるが，データセットを分析手法ごとに分割するとサイズが小さくなり，学習が十分でなくなる恐れがある. したがってデー タセット内の共起ネットワーク，対応分析いずれの分析手法にもに対応できるよう，共通の設定キー

$
\mathscr{K}_{\text {共起ネットワーク }} \cap \mathscr{K}_{\text {対応分析 }}
$

に対してのみ分類器を学習した（表 2).

これは「分析手法によらず，同じ設定キーなら似たような説明文（したがって似た分類器）となる」 という仮定に基づく選択である.

## 4.3 結果

交差検証の各 fold においてメトリクス acc を計算し，モデルごとに集計した.メトリクスの分布の五数要約を図 3 に示す.

五数要約のいずれの指標においても，BERT によるモデルが最も高い精度を達成できていることが確かめられる. 特に最小值および第 1 四分位数において大きな精度差が見られる.このことは，我々の提

図 3 評価結果. acc の分布についての五数要約を箱ひげ図で並べた。横軸のラベルはそれぞれBERT，T5，GPT-2, RoBERTa，森田らによるモデルを表す.

案モデルが一定以上の精度を維持することができ， その意味で安定していることを意味する。

## 5 おわりに

テキストアナリティクスツールのログ生成タスクについて，まず分析手法分類，設定キー認識，設定値抽出の三つのサブタスクへの分解ができることを述べた。そのうちの設定キー認識のためのモデルとして，事前学習された言語モデルに基づく設定キー ごとの分類器を提案した. その結果，我々の提案モデルは安定して高い精度を記録することができた。

これを設定キーに依存しない一般的な分類器へと汎用化することは，今後の課題となっている。また，ここで触れなかった他のサブタスクに関しても，さらなる研究が必要である.

## 参考文献

[1] David M. Berry. Introduction: Understanding the Digital Humanities, pp. 1-20. Palgrave Macmillan UK, London, 2012.

[2] 森田康介, 西村太一, 亀甲博貴, 森信介. テキストアナリティクスツールの操作ログからの実験設定の説明文生成. In Proceedings of the Twenty-ninth Annual Meeting of the Association for Natural Language Processing, pp. 2785-2790, Okinawa, Japan, 2023. 言語処理学会.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[7] 樋口耕一. テキスト型データの計量的分析. 理論と方法, Vol. 19, No. 1, pp. 101-115, 2004.

[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[9] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France, May 2020. European Language Resources Association.

[10] Pedro Javier Ortiz Su'arez, Laurent Romary, and Benoit Sagot. A monolingual approach to contextualized word embeddings for mid-resource languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1703-1714, Online, July 2020. Association for Computational Linguistics.

[11] Pedro Javier Ortiz Su'arez, Benoit Sagot, and Laurent Romary. Asynchronous pipelines for processing huge corpora on medium to low resource infrastructures. Proceedings of the Workshop on Challenges in the Management of Large Corpora (CMLC-7) 2019. Cardiff, 22nd July 2019, pp. 9 - 16, Mannheim, 2019. Leibniz-Institut f'ur Deutsche Sprache.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.