# 生成モデルは医療テキストの固有表現抽出に使えるか？

西山智弘 ${ }^{1}$ 柴田大作 ${ }^{2}$ 宇野裕 $^{2}$ 辻川剛範 ${ }^{2}$ 北出祐 ${ }^{2}$ 久保雅洋 ${ }^{2}$
矢田竣太郎 ${ }^{1}$ 若宮翔子 ${ }^{1}$ 荒牧英治 1
1 奈良先端科学技術大学院大学 先端科学技術研究科
2 日本電気株式会社 バイオメトリクス研究所
${ }^{1}$ \{nishiyama. tomohiro.ns5, s-yada, wakamiya, aramaki\}@is.naist.jp
${ }^{2}\{$ shibata, yutaka_uno, tujikawa, t-kitade, masahirokubo\}@nec.com

## 概要

医療テキストからの情報抽出など，大規模言語モデル（Large Language Model; LLM）の医療分野への利活用に期待が高まっているが，日本語での実施は少ない. 本研究では，医療テキストからの固有表現抽出 (Named Entity Recognition; NER) について，生成モデルと既存の分類モデルを比較した. その結果，生成モデルにおいて固有表現の種類によっては, データが少数であっても多くのデータで fine-tuning した分類モデルに匹敵するような性能で NER が実現可能であることが明らかとなり，精度の高い生成モデルがアノテーション支援に役立つことが示唆された。

## 1 はじめに

大規模言語モデル (Large Language Model; LLM) ベースの生成モデル（以下，生成モデル）が医療系データセットのタスクの State-of-the-Art を大きく更新するなど LLM の医療分野への利活用には期待が集まっている [1]. 特に, 非構造データからの情報抽出の精度向上に期待が高まっている [2-4]. こうした情報抽出のための基礎技術として，固有表現抽出 (Named Entity Recognition; NER) があり, Hu らは, ChatGPT を用いて医療テキストからの NER を試みた [5]. Tang らは，生成モデルを用いて医療テキストからの NER のためにデータ拡張を行った [6]. また，医療ドメインにおける NER は一般ドメインのものより性能が劣ることが報告されている [5,7].

先行研究の多くは英語で実施されたものであり，生成モデルによる日本語の医療テキストからの NER は報告が少ない. 国内の医療テキストは基本的に日本語で記述されるため，現状の生成モデルが日本語の医療テキストからの情報抽出においてどの程度活用できるかを明らかにすることは，今後の医療分野における LLM 応用において有益である。医療分野への自然言語処理の活用には，高いアノテー ションコスト，少ない教師データなどが障壁となっており，少数の事例で高い精度での情報抽出が実現できれば，生成モデルをアノテーションの支援に転用できる。それに伴い，アノテーションコストなどが大幅に下げられる可能性があり [8]，医療系デー タセットの普及に役立つと考えられる。したがって，こうした情報抽出のための基礎技術である NER が，生成モデルを用いてどの程度の性能を発揮するか調査することは重要であると言える.

本研究では分類モデルである Bidirectional Encoder Representations from Transformers (BERT) と近年注目を集める LLM ゙ースの生成モデルを用いた医療テキストからの NER の性能を比較し，それぞれのモデルが有効に活用できる条件を調査した．実験では少数事例で学習させた生成モデルと，少数事例に加えて全データで学習させた分類モデルを比較した。

## 2 実験材料

症例報告コーパス (MedTxt-CR) [9]を用いた.これは，J-Stage で公開されている症例報告のうち，再配布の許諾を得た症例報告コーパス (148 文書) であり，文書中に出現する症状や治療，医薬品など 9 種類の固有表現に対してアノテーションがなされている. 本研究では，この中から i2b2 2010 コーパス [10] に対応する 4 種類の固有表現 ( $d$, remedy, m-key, $t$-test) を選択し， $d$ を病名/症状 (disease), remedy と $m$-key を治療 (treatment), test を検査 (test) として使用した.

データセットは文章を文単位に分割し，訓練セットとテストセットに 4:1 の割合で分割した. 表 1 に訓練セットとテストセットの統計情報を示す.
表 1 訓練セットとテストセットの統計情報

## 3 実験

## 3.1 モデル

分類モデルとしては BERT [11]を，生成モデルとして ELYZA ${ }^{1)}$ おび GPT-4を用いた。使用した $\mathrm{BERT}^{2}$ ) は日本語コーパス CC-100 (74.3GB), Wikipedia (4.9GB) で事前学習されたものであり, パラメータ数は 0.1B である. ELYZA は Meta 社の Llama-2-7b-chat に約 180 億トークンの日本語テキストを用いて追加学習されたモデルであり, パラメータ数は7B である. GPT-43) に関しては事前学習やパラメータ数については公開されていないが，GPT-3 [12] のパラメータ数が 175Bであるということを考えると，これより大きいものと推測される。

## 3.2 実験設定

生成モデルでは，文中に含まれる固有表現をリスト形式で抽出させた. ELYZA の生成条件として, 最大出力トークンは 256 とし, トークンのサンプリングは行わなかった. GPT-4 では，モデルは gpt-4-1106-previewを，パラメータはデフォルト値を利用した. 文ごとに図 1 に示すようなプロンプトを用いて事例を入力し，出力されたテキストを予測結果とした.

分類モデルでは，ラベリング方法として Inside-Outside-Beginning2 (IOB2) 形式を利用した. 最大入力トークンは 512, Epoch 数は 100，学習率は $2.0 \times 10^{-5}$, バッチサイズは 32 (訓練)，256（検証）, 256 (テスト), 最適化関数には Adam を利用した。訓練としては，全ての訓練セットを用いて BERTを fine-tuning した他, 生成モデルと詳細に比較するために few-shot による実験も実施した。

図 1 few-shot $(\mathrm{n}=3)$ のプロンプト例. 青枠：訓練事例，赤枠 : テスト事例

## 3.3 評価方法

評価指標には Micro-F1（以下、F1 スコア）の 5 回平均を利用した. 5 回の試行で生成モデルでは few-shot 時に訓練事例を変更した．BERT では seed 値および few-shot 時には合わせて訓練事例の変更を行った. 予測結果の判定には完全一致（Exact）と部分一致（Partial）の 2 種類を用いた. 例えば，Exact では，[正解: 紅潮予測: 紅潮]を正解とみなすが，[正解: 顔面紅潮予測: 紅潮] や [正解: 紅潮予測: 顔面紅潮]という事例を不一致とみなす。Partial ではこれら全ての事例を正解とみなす. 表 2 に各モデルで行った実験設定を示す.

一般的に NER の評価ではエンティティの位置情報（出現位置）の一致も含めて評価するが，生成モデルではエンティティの位置情報を適切に生成することが困難であったため，位置情報は用いず評価した. そのため, 生成したエンティティの集合で評価することとし，同じエンティティの重複は除外する
表 2 実験設定

 &  &  \\

表 3 正解と誤りタイプごとの出力例

 \\

こととした.

## 3.4 生成モデルの出力の処理

生成モデルで予測した場合，表 3 に示すようにリスト形式で出力されなかったり，余分な区切り・表現が含まれるような事例が予測結果に含まれた。上記のような場合でも, エンティティが適切に判定されるように出力の後処理を行った. 加えて, 余分な表現は判定されないように，出力と予測元のテキストとのストリングマッチングを行い，出力のうち元のテキストに含まれていない表現は削除し，生成モデルの予測結果として扱った.

## 4 結果

表 4 に生成モデルと分類モデルによる NER の実験結果を示す. few-shot 時では生成モデルの ELYZA と GPT-4 の F1 スコアが分類モデルである BERT の F1 スコアよりも高かったが，最も F1 スコアが高かったモデルは，全訓練セットで fine-tuning した BERT であった. 全訓練セットで fine-tuining した BERT を除いた，いずれのモデルにおいても，Partial のとき $\mathrm{F} 1$ スコアが大きく改善した.

タグ別に見るとタグごとで $\mathrm{F} 1$ スコアは大きく異なり，disease および treatment においては，全訓練セットで fine-tuning した BERT に匹敵する結果が， zero-shot および few-shot で学習させた GPT-4 で得られた。一方で，testにおいては，結果に大きな乘離が見られ, fine-tuning した BERT の方が高い F1 スコアであることが確認された.

## 5 考察

## 5.1 各モデルの予測結果の比較

表 5 に各モデルの予測結果と NER の誤りタイプを示す. 誤りタイプは BERT と GPT-4 の出力に着目して分類した.

表５の(1)において，BERT では，「カルシウム結石」と「カルシウム結石症」というアノテーションにおける微妙な境界を判断できているが，GPT-4 では正解とは異なる境界を予測している。しかし， これはアノテーションの定義による影響であり, GPT-4 の予測は医学本質的には間違ってはいない. (4) も同様の誤りであり，エンティティの境界を厳密に判定する Exact を用いると，少ない事例で学習させた生成モデルに不利な結果を導きやすいと予想される。

(2)において，文脈からは本文に登場する「イレウス」は，「イレウスチューブ」であることが判別できるため，本文に登場する「イレウス」は病名ではない，BERT ではその判別ができているが，GPT-4 では「イレウス」を病名として抽出している。「イレウス」という単語そのものは病名であるため, 単語そのものに着目して抽出された結果であると考えられる。こうした誤りはプロンプトの入力方法で改善できると思われる。

（3）において，「EL」（エンドリークの略語）が， BERT では抽出されなかった．他に，(5)のような TNM 分類など，英数字のみの表現も抽出ができない場合があった. GPT-4 では，英数字のみからなる表現される用語も抽出可能な場合があり，GPT-4 はこのような医療用語の知識を有すことが示唆される。

## 5.2 分類・生成モデルの応用性

訓練データがごくわずかな場合，生成モデルの方が性能が優れていることが明らかとなった. 特に， GPT-4 は zero-shot の場合であっても，抽出するタグの種類によっては部分一致において，十分なデータで訓練された BERTに匹敵する結果を示した。これは，生成モデルの可能性を裏付ける重要な結果である。一方で，十分なデータがあるのであれば，性能，速度，扱いやすさを考えると分類モデルが現状の第一選択になり得る．少量のデータに GPT-4 を利用するのであれば，zero-shot で 1 文あたり 0.4 円程
表 4 NER における F1 スコア（太字は同じ実験設定における最大 F1 スコア）

表 5 正解と各モデルの出力結果例

 &  &  & [] &  \\

度とコストは大きくないが，実用性を考えると予測モデルとして GPT-4 を大量の文章にそのまま適用することはコストの面で課題がある.

一方で，本実験結果とアノテーションコストを鑑みると，GPT-4のアノテーターの支援への活用は十分検討できる. 教師データ作成時に，人によるアノテーションの前に生成モデルを用いてラベル付きデータを作成する，という流れが NER の教師デー タを作成する際により一般的になっていくことが予想される。

## 6 おわりに

医療ドメインでの NER の性能として，データがわずかであれば，生成モデルの性能が分類モデルを上回ったが，データが十分にある場合には分類モデルが生成モデルの結果を上回った. 生成モデルの中でもモデルにより大きく性能が異なり，GPT-4 が ELYZAを上回る結果であった.

医療テキストからの情報抽出を行うモデルとして分類モデルと生成モデルのどちらが望ましいか， という問いに対しては，データ量が十分にあれば分類モデルが現状では第一選択肢となると言える。ただ，データ数が限られた条件下では，生成モデルが優れた性能を発揮し，データ拡張などへの活用が期待できる．特に，医療ドメインなどアノテーションコストが高く，専門性を有すアノテーターの数が限られる場合には，精度の高い生成モデルがアノテー ション支援に十分に役立つことが示唆される. 今後は，NER の一つの手法として，データ整備に生成モデルを利用し，実文書の予測モデルには分類モデルを用いる，という流れがより一般的になっていくと考えられる。

## 謝辞

本研究は日本電気株式会社の 2023 年度研究インターンシップで実施された内容を奈良先端科学技術大学院大学と日本電気株式会社との共同研究において発展させたものであり、内容の一部は戦略的イノベーション創造プログラム (SIP3) の助成を受けたものである.

## 参考文献

[1] Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Abubakr Babiker, Nathanael Schärli, Aakanksha Chowdhery, Philip Mansfield, Dina Demner-Fushman, Blaise Agüera Y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, and Vivek Natarajan. Large language models encode clinical knowledge. Nature, Vol. 620, No. 7972, pp. 172-180, August 2023.

[2] Amir Feder, Itay Laish, Shashank Agarwal, Uri Lerner, Avel Atias, Cathy Cheung, Peter Clardy, Alon Peled-Cohen, Rachana Fellinger, Hengrui Liu, Lan Huong Nguyen, Birju Patel, Natan Potikha, Amir Taubenfeld, Liwen Xu, Seung Doo Yang, Ayelet Benjamini, and Avinatan Hassidim. Building a Clinically-Focused Problem List From Medical Notes. In Proceedings of the 13th International Workshop on Health Text Mining and Information Analysis (LOUHI), pp. 60-68, Abu Dhabi, United Arab Emirates (Hybrid), 2022.

[3] Fan Zhang, Itay Laish, Ayelet Benjamini, and Amir Feder. Section Classification in Clinical Notes with Multi-task Transformers. In Proceedings of the 13th International Workshop on Health Text Mining and Information Analysis (LOUHI), pp. 54-59, Abu Dhabi, United Arab Emirates (Hybrid), 2022.

[4] Xin Liu, Daniel McDuff, Geza Kovacs, Isaac GalatzerLevy, Jacob Sunshine, Jiening Zhan, Ming-Zher Poh, Shun Liao, Paolo Di Achille, and Shwetak Patel. Large Language Models are Few-Shot Health Learners. arXiv, 2023. preprint arXiv:2001.08361.

[5] Yan Hu, Iqra Ameer, Xu Zuo, Xueqing Peng, Yujia Zhou, Zehan Li, Yiming Li, Jianfu Li, Xiaoqian Jiang, and Hua Xu. Zero-shot Clinical Entity Recognition using ChatGPT. arXiv. preprint arXiv:2303.16416.

[6] Ruixiang Tang, Xiaotian Han, Xiaoqian Jiang, and Xia Hu. Does Synthetic Data Generation of LLMs Help Clinical Text Mining? arXiv, 2023. preprint arXiv:2303.04360.

[7] Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei Zhang, Jiwei Li, and Guoyin Wang. GPT-NER: Named Entity Recognition via Large Language Models. arXiv, 2023. preprint arXiv:2304.10428.

[8] Akshay Goel, Almog Gueta, Omry Gilon, Chang Liu, Sofia Erell, Lan Huong Nguyen, Xiaohong Hao, Bolous
Jaber, Shashir Reddy, Rupesh Kartha, Jean Steiner, Itay Laish, and Amir Feder. LLMs Accelerate Annotation for Medical Information Extraction. arXiv, 2023. preprint arXiv:2312.02296.

[9] Shuntaro Yada, Yuta Nakamura, Shoko Wakamiya, and Eiji Aramaki. Real-MedNLP: Overview of REAL documentbased MEDical Natural Language Processing Task. In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285296, 2022.

[10] Özlem Uzuner, Brett R South, Shuying Shen, and Scott L DuVall. 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, Vol. 18, No. 5, pp. 552-556, September 2011.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. arXiv, 2020. preprint arXiv:2005.14165.

[13] 近江崇宏. Webコーパスからのノウハウの獲得. 言語処理学会年次大会発表論文集, pp. 350-352, 2021.

## A 生成モデル（ELYZA）の特徴

検討の中で，SHOT 数が増えると，プロンプトに従えなくなり精度が下がる傾向にあることがわかった. 例えば，次のような入力があるとする。

次の「」内の文から病名や症状を意味する表現を抜き出し、リスト形式で出力せよ.「今回我々は腹腔内遊離ガスを伴った気腫性胆囊炎の症例を経験し救命し得たのでこれを報告する.」

このときの出力は 3 -SHOTS 時では,

[' 腹腔内遊離ガス', '気腫性胆囊炎']

であるが，15-SHOTS 時には以下のようになった.

承知しました. 要求に応じて、「病理組織学的所見は」「抗核抗体」などのように、単語のみのリストを作成します。病理組織学的所見は 'adenocarcinoma,MP,NO,MO StageI' $\square$ 抗核抗体 '抗核抗体'

このように，従って欲しい指示に従わず，プロンプト中に含まれる，事例を学習するための入力からトークンを抽出してしまう事例やリスト形式で出力できない事例が目立った. 定量的な解析のため，各入力に対してその出力形式がリスト形式であるか判定し，各入力文字数に対する頻度を解析した. 図にこれを示す。この図からも，実際に入力文字数が増えるに従い，リストの形式で出力されなくなるということがわかった. 入力文が長くなると，モデルが指示を適切に把握できなくなる傾向にあることが示唆される。

## B 一般ドメインでの精度比較

一般ドメインにおける生成モデル（ELYZA）の抽出精度についても比較検討した。この検討には医療ドメインのデータセットとして MedTxt-CR を，一般ドメインのデータセットとしてストックマーク株式会社により作成された Wikipedia の記事に対して 8 種類の固有表現を付与されたものを使用した [13]. また，固有表現タグは人名，組織名，法人名に限定して実験したところ，一般ドメインにおける結果の方が，医療ドメインにおける結果を上回っていた。 この傾向は，生成モデルを利用した情報抽出において医療ドメインでは精度が低い傾向にあるという先

図 2 プロンプトの長さと出力形式の頻度（青：プロンプトの指示通りにリスト形式で出力，赤：プロンプトの指示に従わないリスト形式ではない形で出力）

表 6 一般ドメインにおける生成モデルの NER による F1 スコア

行研究の結果とも一致する. 例えば，Wang らによる CoNLL 2003 のデータを利用した一般ドメインでの結果は，F1 スコアで 0.909 であり [7]，Hu らによる i2b2を利用した医療ドメインでの結果は F1 スコアで 0.620 であった [5].


# ID レベル関係抽出における不要な文の自動選択

辻村有輝 三輪誠佐々木裕
豊田工業大学
\{sd18602, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

言及を超えた文書に現れるエンティティ間の関係を，エンティティに対応するデータベース上の ID 間の関係として抽出する ID レべル関係抽出が取り組まれ始めている．IDにより文書を超えた利用性の高い関係情報を抽出できる一方で，入力の広域化による不要な入力情報の増大が問題となる. 本研究では，関係抽出対象のエンティティ IDぺアに対する入力文書中の各文の重要性を判断し，不要な文をマスクする ID レベル関係抽出モデルを提案する。 さらに固有表現抽出とエンティティリンキングを組み合わせることでテキストのみから ID レベルの関係を抽出するパイプラインシステムを実現し，その性能を明らかにする。

## 1 はじめに

関係抽出は文書中に出現するエンティティ同士の意味的な関係を抽出するタスクであり，データベー ス拡張や下流タスクでの利用性から広く研究されている $[1,2,3]$. 既存研究では文書中に出現するエンティティの特定の言及スパン同士の間に成立する関係を抽出する言及レベルの関係抽出が広く取り組まれてきた $[1,2]$. 一方で，文書中には同一エンティティを表す言及が複数出現することが多く，文書の意味をよく捉えた関係抽出のためには，文書中の同一エンティティについて情報の統合が必要である。

そこで，近年，エンティティ間の関係性を取り扱う研究が取り組まれ始めている [3]. このような研究では，各エンティティに対する言及を専門家が整備する用語データベース上の ID にリンクすることによって概念的な同一性の粒度を取り扱う，IDレベル関係抽出のタスク設定が一般的である. IDレベル関係抽出における抽出結果は ( $\mathrm{ID}_{\mathrm{Arg} 1}$, relation, $\mathrm{ID}_{\mathrm{Arg} 2}$ ) のトリプルの形で表現される. エンティティ各項がすでにデータベース上の ID とリンクされているため，言及レベルの関係抽出に比べて表記ゆれの問題がなく，文書を超えた利用が可能であり，データベースの参照や拡張に直接利用できたり，他の下流タスクでの利用時に ID による参照できたりするなど，応用上のメリットも大きい.

このようなメリットの一方で，ID レベル関係抽出は言及レベルの関係抽出に比べて，入力として利用する文脈が必然的に長くなり，その結果，入力中に含まれる不要な情報も増えるという問題点がある.関係抽出の性能向上には，関係の判断に必要な情報の取捨選択が重要であることが知られており，例えば単文上の言及レベル関係抽出では，ルールベースでの文の構文木上の最短経路を用いた重要単語の選択手法の有効性が知られている [1]. この手法は,観察によって得られたヒューリスティックに基づいており，重要な単語が選択できないケースが存在するため，著者らはルールの代わりに学習による重要単語の選択手法を提案した [2].

本研究ではこの学習ベースの重要単語の選択手法を ID レベル関係抽出に拡張し，入力文中の不要な文を自動選択する ID レベル関係抽出モデルを提案する。提案モデルは関係抽出対象のエンティティ ID ゚゚アと各文の表現ベクトルから，その文の重要度スコアを計算し，この重要度スコアに基づいて不要な文を離散的にマスクする，マスクの基準はタスク損失から end-to-end に学習する。

実験では生化学分野の論文概要上での ID レベル関係抽出を取り扱う BioRED データセット [3]を用いて，提案モデルの評価を行った. 実験結果から，提案モデルの性能は recall に比べて precision が高くなる傾向が確認された。また本研究では，提案モデルを用いたパイプライン情報抽出システムの構築と評価も行った。このパイプラインシステムは，関係抽出に加えて固有表現抽出とエンティティリンキングを実施することで，テキストのみを入力とした ID レベルの情報抽出を実現した。

本研究の主な貢献は以下の 2 点である.

図 1 関係抽出モデルの外観. 本モデルは文分割された文書と対象のエンティティIDペアに属する全言及スパン位置を入力とし，対象のペアを関係クラスに分類する.

・不要な文の判断をタスク損失から end-to-end に学習する，入力中の不要な文をマスクする ID レベル関係抽出モデルを提案し，BioREDデー タセットで評価した。提案モデルは不要な文をマスクしない場合に比べて，precision が高くなることを確認した.

・テキストのみの入力から ID レベルの関係を抽出するパイプライン情報抽出システムを構築し，BioRED データセットで評価した. 最終的な関係抽出の性能として，システムは $32.2 \%$ のテスト $\mathrm{F}$ 值を記録した。

## 2 関連研究

## 2.1 情報抽出

情報抽出はテキストから構造化された情報を抽出する自然言語処理技術である [1]. 情報抽出によって抽出される情報の多くは文書中に出現するエンティティとその間に成立する関係の形で構成される. 情報抽出のサブタスクとしては，テキストからエンティティの言及スパンを取り出す固有表現抽出，同一概念のクラスタリングを行う共参照解析，各言及スパンについて，それが意味するエンティティに対応する外部 ID を識別するエンティティリンキング，エンティティ間の関係を抽出する関係抽出などがある.

## 2.2 BioRED

BioRED は文書に対する ID レベル関係抽出デー タセットである [3]. 各文書は PubMed ${ }^{11}$ に登録されている生化学分野の論文概要であり，6クラスのエンティティと 8 クラスの関係から構成される. エンティティのラベルは各言及スパンの位置とそのクラス，およびデータベース上の ID である. リンク先となるデータベースはエンティティクラスごとに異

なる。関係は各 ID ペアごとに高々 1 つのラベルがつく，シングルラベル設定であり，負例ぺアも存在する. データセットの分割として公式の訓練 (400 文書)，開発 (100 文書)，テストセット (100 文書) が提供されている。各正例関係にはその関係がその論文中で新たに見つかったものかを表す新規性ラベルが付与されているが，本研究では新規性ラベルは使用しない.

## 2.3 文レベル関係抽出における重要箇所

著者らは，単文からの言及レベル関係抽出において，学習を通じて重要単語を自動で選択する手法を提案した [2]. 選択の基準は Gumbel-Softmax サンプリング [4] を利用することで，離散的な振る舞いを表現し，タスク損失から end-to-end に学習した。

## 3 提案手法

## 3.1 ID レベル関係抽出モデル

文書からの関係抽出の入力中には，抽出対象のエンティティ ID ペアに無関係な記述が多く存在する．また，対象 ID ゚゚アに関連する記述ではあるが，関係については言及していない記述も存在し， そのような不要な情報は関係抽出の性能に悪影響を及ぼすと考えられる。そこで，各文について，その文の対象エンティティ ID ゚アに対する重要度を判断し，不要な文をマスクするマスク処理を備えた ID レベルの関係抽出モデルを提案する. 不要な文の判定はタスク損失から end-to-end に学習され， Gumbel-Softmax サンプリングによって離散的なマスク処理の学習を実現する。提案モデルの外観を図 1 に示す.

提案モデルは，文分割された文書と対象のエンティティIDペアに属する全言及スパン位置を入力とし，そのぺア間の関係クラスを出力する分類モデルである. 初めに各文を BERT [5]によってエ

ンコードし，BERT 最終層の隠れべクトルとして各トークンの表現ベクトルを得る．続いてエンティティの言及スパンごとに，そのスパンに含まれるトークンの表現ベクトルに対して平均プーリングを行うことで，スパン表現ベクトルを計算する.

$
v_{i, j}^{\mathrm{span}}=\frac{1}{\left|\mathrm{M}_{i j}\right|} \sum_{t \in \mathrm{M}_{i j}} v_{i, t}^{\mathrm{token}}
$

ここで $v_{i, j}^{\mathrm{span}}$ は文書中の $i$ 番目の文において $j$ 番目に出現する言及のスパン表現であり， $\mathrm{M}_{i j}$ はスパンに含まれるトークンインデックスの集合， $v_{i, t}^{\text {token }}$ は番目の文の $t$ 番目のトークンに対する BERT の最終層の隠れべクトルである.

次に，対象 ID ペアに対する $i$ 番目の文の重要度スコア $c_{i}^{\text {mask }}$ 計算する。重要度スコアは, 文中のトークンの表現ベクトルの平均から計算される文表現と，対象 ID ゚アアそれぞれのエンティティの言及スパン表現の平均から計算されるエンティティの表現から計算される.

$
\begin{aligned}
\boldsymbol{v}_{i}^{\text {sent }} & =\frac{1}{T_{i}} \sum_{t=1}^{T_{i}}\left(\boldsymbol{v}_{i, t}^{\text {token }}\right) \\
\left.\{\boldsymbol{v}_{1}^{\text {lstm }}, \boldsymbol{v}_{2}^{\text {lstm }}, \ldots, \boldsymbol{v}_{S}^{\text {lstm }}\right.\} & =\operatorname{LSTM}\left(\boldsymbol{v}_{1}^{\text {sent }}, \boldsymbol{v}_{2}^{\text {sent }}, \ldots, \boldsymbol{v}_{S}^{\text {sent }}\right) \\
\boldsymbol{v}_{i}^{\text {csent }} & =\left(\mathrm{W}^{\text {csent }} \boldsymbol{v}_{i}^{\text {lstm }}+\boldsymbol{b}^{\text {csent }}\right)+\boldsymbol{v}_{i}^{\text {sent }} \\
\boldsymbol{v}_{i}^{\text {key }} & =\mathrm{W}^{\text {key }} \boldsymbol{v}_{i}^{\text {csent }} \\
\boldsymbol{v}_{k}^{\mathrm{ID}} & =\frac{1}{\left|\mathrm{E}_{k}\right|} \sum_{(i, j) \in \mathrm{E}_{k}}\left(\boldsymbol{v}_{i, j}^{\text {mention }}\right) \\
\boldsymbol{v}^{\text {query }} & =\mathrm{W}^{\text {query }}\left[\boldsymbol{v}_{\text {Arg } 1}^{\mathrm{ID}} ; \boldsymbol{v}_{\text {Arg } 2}^{\mathrm{ID}}\right] \\
c_{i}^{\text {mask }} & =\sigma\left(\frac{\boldsymbol{v}^{\text {query T }} \boldsymbol{v}_{i}^{\text {key }}}{\sqrt{\operatorname{dim}\left(\boldsymbol{v}^{\text {query }}\right)}}\right),
\end{aligned}
$

ここで $\boldsymbol{v}_{i}^{\text {sent }}$ が $i$ 番目の文に対する文表現であり， $T_{i}$ は $i$ 番目の文の文長を， $S$ は文書中の文数を表す。 LSTM は双方向の出力を結合する双方向 LSTM, $\left[v_{1} ; v_{2}\right]$ はベクトル $v_{1}$ と $v_{2}$ の結合， $\sigma$ はシグモイド関数である. $\operatorname{dim}(\boldsymbol{v})$ はベクトル $\boldsymbol{v}$ の次元数を表す. $\mathrm{E}_{k}$ はエンティティ IDが $k$ であるエンティティに対応する言及スパンが属する文インデックスとスパンインデックスのペア集合， $v_{k}^{\mathrm{ID}}$ はエンティティ IDが $k$ であるエンティティの表現, $\operatorname{Arg} 1$ および $\operatorname{Arg} 2$ が関係抽出対象のエンティティIDペアのそれぞれを

列とバイアスである.

$i$ 番目の文のマスク $m_{i}^{\text {mash }}$ を決定する. 学習時のマ
スクは，Gumbel-Softmax サンプリングを利用することで，離散的な値に近いマスクを得る。

$
m_{i}^{\text {mask }}=\operatorname{Gumbel}_{2}\left(c_{i}^{\text {mask }}\right),
$

ここで Gumbel $2_{2}$ は 2 クラスの Gumbel-Softmax サンプリングである．このサンプリングは微分可能であり，勾配法によって重要度スコアに影響するパラメータを学習する。テスト時のマスクは重要度スコアが 0.5 を超える場合 1 , 超えない場合 0 として決定的に計算する。

最後に，計算されたマスクに基づいてエンティティの表現を計算し，関係を予測する。

$
\begin{aligned}
\boldsymbol{v}_{k}^{\mathrm{mID}} & =\frac{\sum_{(i, j) \in \mathrm{E}_{k}}\left(m_{i}^{\text {mask }} \boldsymbol{v}_{i, j}^{\text {span }}\right)}{\sum_{(i, j) \in \mathrm{E}_{k}} m_{i}^{\text {mask }}} \\
\boldsymbol{v}^{\mathrm{h}} & =\tanh \left(\mathrm{W}^{\mathrm{h}}\left(\left[\boldsymbol{v}_{\text {Arg } 1}^{\mathrm{mID}} ; \boldsymbol{v}_{\text {Arg } 2}^{\mathrm{mID}}\right]+\boldsymbol{v}^{\text {noise }}\right)+\boldsymbol{b}^{\mathrm{h}}\right) \\
\boldsymbol{p} & =\operatorname{softmax}\left(\mathrm{W}^{\mathrm{o}} \boldsymbol{v}^{\mathrm{h}}+\boldsymbol{b}^{\mathrm{o}}\right),
\end{aligned}
$

$v_{k}^{\mathrm{mID}}$ は ID が $k$ であるエンティティの言及のスパン表現をその言及の属する文の重要度を考慮して統合したエンティティの表現であり，関係予測では対象エンティティ ID ペアの各エンティティ表現 $\boldsymbol{v}_{\mathrm{Arg} 1}^{\mathrm{mID}}$ と $v_{\mathrm{Arg} 2}^{\mathrm{mID}}$ を力として分類を行う. tanh と softmax はそれぞれ $\tanh$ 関数とソフトマックス関数を表す。 $\mathrm{W}^{\mathrm{h}}$, $\mathrm{W}^{\mathrm{o}}$ と $\boldsymbol{b}^{\mathrm{h}} ， \boldsymbol{b}^{\mathrm{o}}$ はそれぞれ重み行列とバイアスである. 出力 $\boldsymbol{p}$ は対象エンティティペアに対する関係ラベルの確率分布である.

最終的な予測としては, $\boldsymbol{p}$ において最大の確率となった関係クラスを選ぶ. $v^{\text {noise }}$ はマスクされなかった文数が多いほど分散が大きくなるノイズであり，不要な情報を多く利用するほど入力がノイズに晒されることをモデルしている。この設定により， ノイズの予測への影響を低減させるために使用する文数を減らすよう訓練されることを期待している。 ノイズの計算式は付録 $\mathrm{A}$ に示す. テスト時にはノイズは使用しない.

## 3.2 パイプライン情報抽出システム

本研究では，提案する関係抽出に，固有表現抽出とエンティティリンキングを組み合わせた，パイプライン ID レベル情報抽出システムも構築した. 本システムは，初めに文書に対して固有表現抽出を実行し，言及スパンを抽出する。続いて各スパンにエンティティリンキングを行いIDを識別する．最後に，抽出されたスパンと ID から提案モデルによってIDレベルの関係を抽出する。
表 1 “Chemical” および“Disease”エンティティのみからなる ID ゚゚アを対象とした関係抽出の評価。結果はそれぞれ micro 平均スコアの 5 回の評価の平均値である. Luo らは全エンティティクラスのペアに対して実験を行っており，本研究で対象とする 2 種のみの microF 值は報告されていないため，論文中の ID ペア種別ごとの $\mathrm{F}$ 值のうち対応するものの macro 平均值を参考として記した．また，各スコアにおいて最大の值を太字で示した.

## 4 実験と考察

## 4.1 実験設定

実験では，BioRED データセット [3]を用いて学習と評価を行った. パイプラインシステムの固有表現抽出には著者らのニューラル固有表現抽出モデル [6]を使用し，BioREDで学習と評価を行った。 エンティティリンキングには著者らのニューラルリンキングモデル [7] の，NLM-CHEM データセット [8]で学習された学習済みモデルを用いた。この

行うが，BioRED データセット上のエンティティでは, “Chemical" と “Disease" クラスが MeSH ID とリンクされているため, 固有表現抽出モデルがこの 2 クラスへ分類したエンティティに限ってリンキングを行った. 関係抽出においてもこの2クラスのエンティティのみを対象とした. ベースラインとして，学習によるマスクを用いず常に全文を利用する設定での実験も行った. また，比較として学習によるマスクの代わりに，対象エンティティペアが共起する文のみを利用する設定での実験も行った．学習によるマスクを用いない場合は，学習時も式 (4) 中のノイズは利用しない. 各設定についてそれぞれ 5 回ずつ乱数シードを変更して学習と評価を行った. デー タセットの分割は公式の訓練・開発・テストセットを採用し，100 エポックの学習において最大の開発 $\mathrm{F}$ 值を計測したエポック時のパラメータでテスト評価を行った. より詳細な実験設定は付録 B に示す.

## 4.2 実験結果と考察

関係抽出の評価を表 1 に示す. 提案手法は開発セットではシングルタスク設定においてべースラインよりも $1 \%$ ポイント以上高い $\mathrm{F}$ 値であったが，テ
ストセットにおいては優劣が逆転した，共起のみを用いた場合でも同様の傾向が確認された. なお，エンティティ ID ペア 2 種のみでの設定ではあるが， いずれの手法も先行研究 [3] よりも高い $\mathrm{F}$ 值となった. パイプラインシステムに用いた固有表現抽出とエンティティリンキングの性能は付録 C に示す.

提案手法は比較手法と比べて常に最高の precision となったが，逆に recall は常に最低となった. また， パイプライン設定では，シングルタスク設定同様に提案手法がベースラインよりも $1 \%$ ポイント以上高い開発 $\mathrm{F}$ 值となった一方，テストセットではほとんど差がない結果となっている. パイプライン設定では言及スパンや ID がシングルタスク設定より信頼しにくいため, この点で precision の高い提案モデルが有利であった可能性が示唆されるが，より詳細な分析は今後の課題である.

シングルタスク設定において，学習済みの提案手法が開発セット上でマスクしなかった文数を計測したところ, 1 文書当たりの平均で約 3.0 文であった. これは文書中の文数の約 $25 \%$ にあたる。 もし各対象エンティティID のスパンが別々の文に出現する場合，最低 2 文は入力として利用しなければならないが，提案手法はこれに近い数まで利用する文をマスクしていることが確認された.

## 5 おわりに

本研究では, ID レベル関係抽出における不要な情報の増大に対処するため，不要な文をマスク処理によって自動で選択する ID レベル関係抽出モデルを提案した. さらに提案モデルに固有表現抽出とエンティティリンキングを組み合わせることで，テキストのみから ID レべルの関係を抽出するパイプライン ID レベル情報抽出システムを実現した. 今後の課題として，マスク処理が利用する文についてのより詳細な分析が挙げられる。

2) https://www.nlm.nih.gov/mesh/meshhome.html

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Razvan Bunescu and Raymond Mooney. A shortest path dependency kernel for relation extraction. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, 2005.

[2] 辻村有輝, 三輪誠, 佐々木裕. 関係分類における依存木上の重要トークンの自動判別. 自然言語処理, Vol. 27, No. 2, pp. 211-235, 2020.

[3] Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi, and Zhiyong Lu. BioRED: a rich biomedical relation extraction dataset. Briefings in Bioinformatics, Vol. 23, No. 5, p. bbac282, 2022.

[4] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. Computing Research Repository, Vol. arXiv:1611.01144, , 2017. version 5.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

[6] Tomoki Tsujimura, Koshi Yamada, Ryuki Ida, Makoto Miwa, and Yutaka Sasaki. Contextualized medication event extraction with striding ner and multi-turn qa. Journal of Biomedical Informatics, p. 104416, 2023.

[7] Tomoki Tsujimura, Makoto Miwa, and Yutaka Sasaki. Large-scale neural biomedical entity linking with layer overwriting. Journal of Biomedical Informatics, p. 104433, 2023

[8] Rezarta Islamaj, Robert Leaman, David Cissel, Meng Cheng, Cathleen Coss, Joseph Denicola, Carol Fisher, Rob Guzman, Preeti Kochar, Nicholas Miliaras, Zoe Punske, Keiko Sekiya, Dorothy Trinh, Deborah Whitman, Susan Schmidt, and Zhiyong Lu. The chemical corpus of the nlm-chem biocreative vii track: Full-text chemical identification and indexing in pubmed articles. In Proceedings of the seventh BioCreative challenge evaluation workshop, 2021.

[9] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing. In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 319327, Florence, Italy, 2019. Association for Computational Linguistics.

[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pre- training for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, 2021.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014

## A 提案モデルにおけるノイズの計算

学習時の式 (4) 中のノイズ $\boldsymbol{v}^{\text {noise }}$ は以下の式によって計算する.

$
\begin{aligned}
r^{\text {num }} & =\sum_{S} m_{i}^{\text {mask }} \\
r^{\text {penalty }} & =\max \left(0, r^{\text {num }}-1\right) \\
\boldsymbol{p} & \sim \mathcal{N}\left(\mathbf{0}, \alpha^{2} \boldsymbol{I}\right) \\
\boldsymbol{v}^{\text {noise }} & =r^{\text {penalty }} \boldsymbol{p},
\end{aligned}
$

ここで $\alpha$ はハイパーパラメータであり，実験では 0.5 とした.

## B 実験設定の詳細

ここではより詳細な実験設定について説明する.

関係抽出では，前処理として BioRED データセットの各入力文書を scispaCy [9] によって文分割した. scispaCy のモデルには“en_core_sci_scibert”を用いた. 提案モデルの BERT エンコーダーの初期值には PubMedBERT [10] を用いた. PubMedBERT の最終層隠れべクトルの次元数は 768 次元である. 式 (2) 中のパラメータの各次元数は， $\mathrm{W}^{\text {csent }}$ と $\boldsymbol{b}^{\text {csent }}$ はそれぞれ $768 \times 1536$ 次元と 768 次元， $\mathrm{W}^{\text {key }}$ と $\mathrm{W}^{\text {query }}$ はそれぞれ $768 \times 768$ 次元と $768 \times 1536$ 次元とし，双方向 LSTM の各方向の次元数も 768 次元とした. 式 (4) 中のパラメータの各次元数は， $\mathrm{W}^{\mathrm{h}}$ と $\boldsymbol{b}^{\mathrm{h}}$ はそれぞれ $1536 \times 1536$ 次元と 1536 次元， $\mathrm{W}^{\mathrm{o}}$ と $\boldsymbol{b}^{\mathrm{o}}$ はそれぞれ $9 \times 1536$ 次元と 9 次元とした. 式 (5) 中の $\boldsymbol{p}$ の次元数は 1536 次元とした. 汎化性能を向上させるため，隠れ層の出力に対してドロップアウト [11]を用いた. 各入力では入力文書中の 1 つのエンティティ IDペアのみの関係抽出を行うこととし，そのエンティティIDペアに対応する全ての言及スパンの始まりと終わりの位置にマーカー となる特殊トークンを挿入した. 対象エンティティが共起する文のみを利用する設定では，入力文書中に利

用できる文が存在しなくなるエンティティ ID ゚アアも存在するが，その場合は常に関係なしと予測することとした.

## Ｃ固有表現抽出とエンティティリンキングの性能

表 3 “Chemical”および “Disease” クラスのエンティティに対するエンティティリンキングの性能. 文書レベルのスコアは micro 平均によって計算した.

パイプラインシステムに用いた固有表現抽出の性能を表 2 に，エンティティリンキングの性能を表 3 に示す.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習言語モデルとグラフニューラルネットワークの組合せ による専門知識の抽出

浅野聖也 1 磯沼 大 ${ }^{1,2}$ 浅谷 公威 1 野村 美鈴 3 森純一郎 1,4 坂田一郎 1
1 東京大学 2 エディンバラ大学 3 ダイキン工業株式会社 4 理研 AIP
seiyaasano4084@u-tokyo.ac.jp \{isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
asatani@tmi.t.u-tokyo.ac.jp misuzu.harada@daikin.co.jp mori@mi.u-tokyo.ac.jp

## 概要

本研究では, 事前学習言語モデルとグラフニュー ラルネットワークを組み合わせることで, 化学物質に関する知識抽出を試みる. 具体的には, マスクド言語モデルの一つである BERT にグラフニューラルネットワークを組み込むことで, 化学物質の分子構造をグラフ情報として活用することを可能にし, 汎化性能が向上することを示す. 実験では Scopus の科学論文抄録コーパスを利用し, 特に学習コーパスに出現する頻度が少ない化学物質について, 従来のモデルに比べて顕著な性能向上を確認した.

## 1 はじめに

近年の自然言語処理分野では, 学習済み言語モデルの活用による飛躍的な進歩が見られる. 中でも,BERT (bidirectional encoder representations from transformers）[1] は, 多様なタスクで優れた成果を上げており,その柔軟性と拡張性により広範な応用が提案されている. その一つとして, 学習済み BERTを知識抽出に用いる方法が注目を集めている [2].これは BERT が文章中のマスクされたトークンを予測するように学習されていることを利用したものである. “[MASK] is the president of the United States of America in 2023.”のように, あるエンティティに関する文章についてエンティティ部分をマスクし, 学習済み BERT にマスクされた部分に入るトークンを予測させることで, 自然言語をクエリとした柔軟な知識抽出を行うことができる. 従来の知識抽出手法では,エンティティの性質やエンティティ同士の関係を考慮した知識グラフを人手で構築する必要があるため, 学習済み言語モデルを知識抽出に活用できれば, 既存手法に比べて低コストかつ柔軟な知識抽出が可能になる.

図 1 名称は類似するが, 異なる物性を示す物質例

ただし，このアプローチは専門的なドメインでは有効でないことが指摘されている $[2,3]$. 特に化学分野では, 化学物質の解釈に専門的な知識や複雑な構造解析を伴う場合が多く，言語モデルでそれらを扱うことは難しい. 例えば, 図 1 に示す二つの化学物質はいずれも名称は類似しているが, 全く異なる物性を示す. ${ }^{12)}$ こうした化学物質を言語モデルで扱うことは困難であり, 化学物質に関する専門知識や構造情報を活用する必要がある.これまでの研究では, 化学物質の構造情報を用いて物性を学習・予測する試み $[4,5]$ や, 化学物質の分子構造を曖昧性なく文字列化した記法である SMILES 表現を言語モデルで扱う手法 [6] などが取り組まれているが, 化学物質の分子構造を言語モデルによる知識抽出タスクに利用した例は確認されていない.

本研究では, 化学物質に関する知識や分子構造を扱うため, 化学物質の構造情報を BERT に入力する手法を提案する. 具体的には, 化学物質のグラフ構造情報をグラフニューラルネットワークの一つである Graphormer [7] に入力し, その出力を BERT の入力として用いる. 専門的なドメインのコーパスを対象に知識抽出タスクを解かせることで,Graphormer と

1) https://pubchem.ncbi.nlm.nih.gov/compound $/ 8400$

2) https://pubchem.ncbi.nlm.nih.gov/compound/241

図 2 提案手法の概要

BERT を一体的に学習する.これにより,化学物質の専門知識や構造情報を扱うことを可能にし, 化学分野での知識抽出手法として BERT の活用を目指す.

評価実験では,PubChem から取得した化学物質の説明文章のマスク部を予測する知識抽出タスクにて,Graphormer を用いたことによる効果を評価した。 その結果, 特に学習コーパスに出現する頻度が少ない化学物質について,Graphormer を用いていないモデルに比べて顕著な性能向上を確認した.

## 2 提案手法

本節では,Graphormerを組み合わせることで,BERT を化学分野の知識抽出タスクに適用する方法について述べる. 図 2 に提案手法の概要を示す.

## 2.1 文章中の化学物質の特定

まず, 入力文章中に含まれる化学物質を特定する方法について説明する。本手法では ChemDataExtractor[8] を用いて入力文章中のトー クンのうち化学物質のものを特定する。さらに,National Center for Biotechnology Information (NCBI) の PubChem データベースを用いて, 抽出した化学物質を SMILES 表現に変換する。

ただし,Graphormerによって埋め込みが作成できない単原子分子や, 異常原子価の物質は抽出しない.

## 2.2 化学物質の埋め込み

変換された SMILES 表現を,Graphormerにより埋め込みベクトルに変換する. Graphormer は, グラフ構造データを処理するために設計された transformer ベースのモデルであり, 特に分子構造などの複雑なグラフ表現の解析に適している. また,Graphormer
は, 大規模な分子データセット上での事前学習を通じて, 幅広い化学物質に対する汎化能力を持つ.これにより, 学習コーパス中の出現回数が少ない化学物質でも, 知識抽出を行えることが期待される。

まず，与えられた SMILES 表現をもとに，原子をノード, その結合をエッジとしたグラフ情報を作成する.グラフ情報には, 各ノードに当たる原子について, 原子番号やキラリティを含む 9 つ情報が用いられ,エッジにあたる結合部分については, 単結合や二重結合といった結合の種別に関する情報が含まれる. そして,ノード $i, j$ について以下の式 (1), (2) に示すようにアテンションを計算し, 式 (3) の様に層ごとに各ノードの特徴ベクトルを計算する。

$
\boldsymbol{h}_{\boldsymbol{i}}^{(\mathbf{0})}=\boldsymbol{x}_{\boldsymbol{i}}+z_{\boldsymbol{v}_{i}}^{\mathrm{deg}-}+z_{\boldsymbol{v}_{i}}^{\mathrm{deg}+}
$

$
\begin{aligned}
& A_{i j}=\frac{\left(\boldsymbol{h}_{\boldsymbol{i}} W^{Q}\right)\left(\boldsymbol{h}_{\boldsymbol{j}} W^{K}\right)^{T}}{\sqrt{d_{k}}}+b_{\phi\left(v_{i}, v_{j}\right)}+c_{i j} \\
& \boldsymbol{h}_{\boldsymbol{i}}^{(\boldsymbol{l}+\mathbf{1})}=\operatorname{FFN}\left(\operatorname{MHA}\left(\operatorname{LN}\left(\boldsymbol{h}_{\boldsymbol{i}}^{(\boldsymbol{l})}\right)\right)+\boldsymbol{h}_{\boldsymbol{i}}^{(\boldsymbol{l})}\right)
\end{aligned}
$
- $\boldsymbol{h}_{\boldsymbol{i}}^{(\boldsymbol{l})}:$ ノード $i$ の $l$ 層目における特徵べクトル

・ $x_{i}$ : ノード $i$ の特徴ベクトル
- $z_{v_{i}}^{\mathrm{deg}-}$ と $z_{v_{i}}^{\mathrm{deg}+}:$ ノード $v_{i}$ の入次数と出次数に対応する埋め込みべクトル

$\cdot$ $A_{i j}$ : ノード $i$ からノード $j$ へのアテンション
- $W^{Q}$ と $W^{K}$ : クエリとキーの重み行列
- $d_{k}:$ キーの次元数
- $b_{\phi\left(v_{i}, v_{j}\right)}$ :ノード $v_{i}$ と $v_{j}$ 間の最短経路距離に基づくバイアス項
- $c_{i j}$ : ノードペア $\left(v_{i}, v_{j}\right)$ に対する edge encoding 項

・FFN: フィードフォワードネットワーク

・MHA: マルチヘッドアテンション
- LN: レイヤー正規化

ここで注目すべき点は,ノード情報としてエッジの入出次数を考慮することで attention 機構においてノード重要性を捉える試み (Centrality Encoding), ノード間の最短経路の距離に基づいたバイアス項を追加しグラフの構造情報を捉える試み (Spatial Encoding), そして最短経路上の各エッジについてその特徵ベクトルと重みべクトルの内積を平均したものを追加しノード間の関係性を捉える試み (Edge Encoding) である.このように計算された全ノードについての特徴ベクトルを READOUT 層に通し, グラフ全体の埋め込みを作成している. Graphormerにより出力されるべクトルは,BERT のトークンの埋め込みべクトルと同様に 768 次元のベクトルであるため,BERT の学習においてトークンの埋め込みべクトルと同様に扱うことができる.

## 2.3 Graphormer と BERT の学習

Graphormerにより出力された化学物質の埋め込みベクトルと各トークンの埋め込みベクトルをもとに,BERT はマスクされたトークンの確率を推定する. そして, マスクされたトークンの尤度を最大化するように BERT と Graphormer のパラメータを更新する.これにより,Graphormer は学習時に出現しなかった化学物質に対しても, 既に学習した化学物質の情報からその物性を推定することができ,BERT はその推定された物性に関する情報をもとに, 知識抽出タスクを解くことができると期待される.

## 3 実験

## 3.1 学習用データセット

学習用データセットとして,Scopus データベースから取得した科学論文の抄録コーパスを用いた. Scopus はその広範な論文収蔵量で知られ, 多様な科学分野にわたる豊富な文章データを提供している.本研究では Scopus に収蔵されている 2022 年までの論文抄録データ $63,584,937$ 件のうち, 2.1 節で説明した方法で埋め込み可能な化学物質が含まれる抄録 19,037,080 件を使用した.

## 3.2 モデル

学習を行うベースモデルとして,SciBERT [9]を用いた. SciBERT は学術文献に特化して事前学習され
た BERT モデルであり,一般的な BERT モデルと比較して学術文献の処理において優れた性能を示す. このモデルは, 学術文献で使用される専門用語と文体に適応するために,EBM-NLP [10] や SciERC [11] といった学術論文からなる大規模なコーパスを使用して事前学習されている. 従って, 本研究で扱う化学物質名の文脈的意味解析や, 科学的テキストの精密な情報抽出に適していると考えられる。

一方,Graphormer は PCQM4Mv2 にて事前学習されたものを用いた.PCQM4Mv2 は,PubChemQC プロジェクト [12] から派生した, 分子グラフに関する量子化学的特性の予測のための大規模なデータセットである. 約 380 万の分子に対してラベル付けされた,HOMO-LUMO ギャップの予測タスクで事前学習された. HOMO-LUMO ギャップは分子の電子的特性と化学反応性に影響するため [13], このタスクを解くことで,Graphormer が分子構造と分子の化学的性質との関係を学習することが期待される。

## 3.3 評価方法

本研究では評価用データセットとして,PubChem の PUG REST API を通じて得られた, 学習時に登場した化学物質の説明文章 53,353 件を用いた. 化学物質の説明文章は “XX is YY” という形式で提供されており,XXには対象となる化学物質名が,YYにはその説明が記載されている。これらのテキストは，モデルが化学物質に関する専門的な情報をどの程度正確に理解し処理できるかを評価するために用いられる. 本研究では, 既存研究 [2] と同様に [MASK] トークンに関する知識抽出タスクで性能を確認した. 具体的には,YY 部分に含まれるトークンの中からランダムにマスクし, 元のトークンを予測する.ただし,YY 部分は知識抽出対象の化学物質についての知識を表しているため,YY 部分をランダムにマスクすることで知識関係の理解を確認できると考えられる. 本研究では, 既存研究 [2] と同様に, 評価指標としてPrecision@kを採用した. 具体的には, モデルによる上位 $\mathrm{k}$ 番目までの予測が正解トークンを含んでいれば 1 , そうでなければ 0 を出力し, 全評価用データセットでの平均を求める.

## 3.4 比較モデル

本研究では, 以下のモデルについて比較を行った.

1. 追加学習を行なっていないSciBERT

2. Graphormer を使わず追加学習した SciBERT
表 1 PubChem 上の化学物質説明文におけるトークン予測の Precision@ $\mathrm{k}$ 比較（学習時の登場回数ごとに評価）

SciBERT w/o finetune SciBERT w/o Graphormer SciBERT w/ Graphormer

学習時の登場回数 Precision@1 Precision@5 Precision@1 Precision@5 Precision@1 Precision@5

3. Graphormer を用いて追加学習した SciBERT

これらを比較することで,Graphormer を用いた追加学習が, どのようにモデルの性能に影響を与えるか明らかにする. 特に, 学習データ中の登場頻度が低い化学物質に対して,Graphormer の利用がモデルの汎化性能向上に寄与するか検証する.

## 4 結果

本実験では, 学習データセットでの化学物質の登場頻度に応じて, 異なる条件下でのモデルの性能評価を行った. 学習データ中の登場回数ごとに化学物質を分類し（1-9 回,10-99 回,100-999 回,1000-9999 回,10000 回以上）,それぞれに対して分割した評価用データセットについて,Precision@1とPrecision@5 を計算し比較した. さらに, 評価用データセット全体を対象にした場合の性能評価も行った。

## 4.1 Precision@k

3.4 で述べた条件に基づき,Precision@kによるトー クン予測精度比較の結果を表 1 に示す.

Graphormerを用いて追加学習した SciBERT が, ほぼ全ての登場回数において最も高い精度を出した. また,Graphormer を使わず追加学習した SciBERT についても,Precision@1 では 10-99 回,10009999 回,10000 回以上出現した化学物質について最大精度を出した. また, いずれの追加学習したモデルについても, 追加学習を行なっていない SciBERT よりも高い精度を出した.

## 4.2 考察

表 1 に示した結果について注目すべき点は, 化学物質の登場回数が少ない場合（1-9 回）におけるPrecision@k の值である.このカテゴリにおいて,Graphormer を用いて追加学習した SciBERT は, 他の 2 つのモデルに比べ Precision@ 1,Precision@5とも
に高い精度を示した.これは,Graphormer を活用することで, 学習データでの登場頻度が低い場合においても化学物質の構造情報をより効果的に統合し, 理解を深めることができることを示唆している.

一方で, 化学物質が頻繁に登場するカテゴリ （1,000 回以上）では, 追加学習における Graphormer の有無に大きな差は見られず,一部 Graphormer を用いない場合の精度が用いる場合よりも高くなっていた. これは, データセットに頻繁に登場する化学物質に関しては, 既存の SciBERT モデルでも十分な学習が可能であることを示している。

これらの結果は, データセット内で稀にしか登場しない化学物質を含む文章を扱う上で,Graphormer を用いた追加学習の有効性を強く支持している.

## 5 おわりに

本研究では SciBERT と Graphormer を例としてマスクド言語モデルとグラフニューラルネットワークを組み合わせることで, 化学物質に関する知識抽出の性能向上を確認した. これにより, 専門的なテキストにおける学習済み言語モデルを用いた知識抽出について, 専門的な用語を別途それに特化したモデルで埋め込むことの有効性が示唆された.

今後の展望として, 本手法の学習過程を GPT[14] のように,BERT をべースとしていない言語モデルでも採用した場合に有効であるかの調査の実施が考えられる. また, 他の科学分野への応用も検討されるべきである. 特に, 生物学や物理学など他の複雑な専門領域におけるテキスト解析に本手法を応用することで, 新たな知識の発見や理解の深化が期待される.

## 謝辞

本研究は, ダイキン工業株式会社,NEDO JPNP20006 及び JST CREST JPMJCR21D1 の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Mujeen Sung, Jinhyuk Lee, Sean Yi, Minji Jeon, Sungdong Kim, and Jaewoo Kang. Can language models be biomedical knowledge bases? In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4723-4734, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, and Junzhou Huang. Selfsupervised graph transformer on large-scale molecular data. Advances in Neural Information Processing Systems, Vol. 33, pp. 12559-12571, 2020.

[5] Fang Wu, Dragomir Radev, and Stan Z Li. Molformer: Motif-based transformer on 3d heterogeneous molecular graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 37, pp. 5312-5320, 2023.

[6] Gayane Chilingaryan, Hovhannes Tamoyan, Ani Tevosyan, Nelly Babayan, Lusine Khondkaryan, Karen Hambardzumyan, Zaven Navoyan, Hrant Khachatrian, and Armen Aghajanyan. Bartsmiles: Generative masked language models for molecular representations. arXiv preprint arXiv:2211.16349, 2022.

[7] Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, and Tie-Yan Liu. Do transformers really perform badly for graph representation? Advances in Neural Information Processing Systems, Vol. 34, pp. 28877-28888, 2021.

[8] Matthew C Swain and Jacqueline M Cole. Chemdataex- tractor: a toolkit for automated extraction of chemical information from the scientific literature. Journal of chemical information and modeling, Vol. 56, No. 10, pp. 1894-1904, 2016.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Benjamin Nye, Junyi Jessy Li, Roma Patel, Yinfei Yang, Iain Marshall, Ani Nenkova, and Byron Wallace. A corpus with multi-level annotations of patients, interventions and outcomes to support language processing for medical literature. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 197-207, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3219-3232, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[12] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. Journal of chemical information and modeling, Vol. 57, No. 6, pp. 1300-1308, 2017.

[13] Kenichi Fukui, Teijiro Yonezawa, and Haruo Shingu. A molecular orbital theory of reactivity in aromatic hydrocarbons. The Journal of Chemical Physics, Vol. 20, No. 4, pp. 722-725, 1952.

[14] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

## A 知識抽出タスクの具体例

評価用データセットから取得した文章に対する予測結果例を掲載する. Dypyridamole についての説明文章

"2,3-dihydroxy-3-methylbutanoate is a hydroxy monocarboxylic acid anion. It is functionally related to a butyrate. It is a conjugate [MASK] of a 2,3-dihydroxy-3methylbutanoic acid."

の場合, 正解単語 “base” に対しての予測は以下のようになった. ただし, 左から第 1 予測 - 第 5 予測である.
- BERT w/o finetune :

['metabolite', 'form', 'product', 'compound', 'derivative']
- BERT w/o Graphormer : ['acid', 'ester', 'form', 'metabolite', 'product']
- BERT w/ Graphormer : ['acid', 'ester', 'form', 'metabolite', 'base']

## B学習用データセット前処理詳細

本研究での実験で用いたモデルの学習用データセットについては,Scopus の論文抄録コーパスを用いたが, そのうち埋め込み可能な化学物質を含む文章を選定する際には以下のような流れで行った。

1. NIH(National Institutes of Health) の公開データ3) を活用して物質名と SMILES 情報を紐付けた辞書を作成した. それを利用して文章単語内に SMILES 変換できる化学物質があるもののみを抽出した.この操作により $63,584,937$ 件のデー タが 50,981,559 件に剪定された。

2. ChemDataExtractor $の$ Document 関数を利用して単語の化学物質判定を行った. 化学物質判定される単語を抽出した後に, 新たな化学物質 setにした.

3. 2で作成した set 内の化学物質を含む文章へさらに絞り込みを行った.この操作により 50,981,559 件のデータが $19,440,221$ 件に剪定された.
4. 2 で作成したもののうち,graphormer を用いてべクトル化できない物質を除いて新たな setを作成した。
5. 4 で作成した set 内の化学物質を含む文章へさらに絞り込みを行った.この操作により 19,440,221

件のデータが 19,037,080 件に剪定された.

また,このデータセットを提案手法を適用したモデルに渡すため, 文章中の 4 内に含まれる化学物質名部分を CHEM トークン ([CHEM]) というスペシャルトークンに置き換えた. スペシャルトークンにした意図は, 学習時にマスクがされないようにするためである.そして,CHEM トークンと対応する置き換える前の化学物質名を index の形で保持し, モデルに渡すことで化学物質ごとの区別を行っている。

## C モデル実装詳細

モデルの実装には PyTorch $^{4)} と$ Hugging Face ${ }^{5)}$ を用いた。事前学習済みモデルとして,SciB$\mathrm{ERT}^{6)}, \mathrm{Graphormer}^{7)}$ を用いた.ハイパーパラメータは学習を通して事前学習済みのモデルの設定を継承している. Graphormer の埋め込みを BERT の学習内で利用するため,Hugging Face の modeling_bert.py ${ }^{8}$ の BertForLaskedLM を継承し, 入力トークンが 4 内に含まれる化学物質である場合は Graphormerによる埋め込みを返すようにしている。さらに,Hugging Face の data_collator.py ${ }^{9}$ ) $の$ DataCollatorForLanguageModeling を継承し, モデルへの入力 batch に化学物質名と対応する index を渡すための処理を追加している. また,MLM での追加学習のコードは Hugging Face の run_mlm.py ${ }^{10)}$ をべースにした. 当コードに対して,CHEM トークンをスペシャルトークンとして追加する処理を加えている. ただし, 学習の際には, 学習用データセットのうち, $5 \%$ \%゙リデーションのために使用した. なお計算環境の都合上, 評価用データセットについて, 各登場回数及び全体について 1,000 件ランダムサンプリングして用いている.その際には seed 值を 0 に固定して行った.

4) https://pytorch.org/

5) https://huggingface.co/

6) https://huggingface.co/allenai/scibert_scivocab_uncased

7) https://huggingface.co/clefourrier/graphormer-base-pcqm $4 \mathrm{mv} 2$

8) https://github.com/huggingface/transformers/blob/main/src/transformers/ models/bert/modeling_bert.py

9) https://github.com/huggingface/transformers/blob/main/src/transformers/data/ data_collator.py

10) https://github.com/huggingface/transformers/blob/main/examples/pytorch/ language-modeling/run_mlm.py


# データ拡張による固有表現抽出の不確実性推定

橋本 航 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hashimoto.wataru.hq3, kamigaito.h, taro\}@is.naist.jp

## 概要

本研究では，固有表現抽出タスクにおけるデータ拡張が不確実性推定に与える影響について調査する. 医療や金融のような高い安全性が求められる領域では，予測結果が正しいだけではなく，その信頼度が高い必要がある。しかし，事前学習済みモデルを含む深層学習モデルはしばしば実際の正解率と乘離した確信度を出力するため, それらの領域への適用が妨げられている. また，その問題に対応する既存手法は推論コストが高い. 我々は, ジャンル横断および言語横断の設定にて，固有表現抽出におけるデータ拡張が不確実性の推定性能に与える影響を調査した. その結果，データ拡張は多くの場合不確実性の推定性能を向上させ，データ拡張によって生成した文の Perplexity が低い場合はデータ拡張サイズを増やすことで，さらに不確実性の推定性能が改善することが判明した。

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキストから人名や組織名などの固有表現を抽出する，自然言語処理における基礎的なタスクの一つである。自然言語処理タスクは深層学習 (Deep Neural Networks; DNNs）によって大きな成功を得ており，その中でも BERT [1] や DeBERTa [2] を始めとした事前学習済みモデル (Pre-trained Language Models; PLMs) に基づいた手法が，NER も含めて強力なベースラインとなっている.

しかし，一般的に PLMs を含む DNNs は図 1 のように，モデルの出力する確信度が実際の正解率と乘離している傾向にある [3]. この問題により, DNNs は高い確信度での誤った予測の出力をしばしば引き起こすため，医療や金融のような誤りに対するコストが大きい領域での DNNs の適用が制限される. このような問題に対処するため，自然言語処理における様々な領域で不確実性をより正しく推定するた

図 1 分布内および分布外のデータに対する，mDeBER$\mathrm{TaV} 3$ による固有表現抽出の信頼度プロット ${ }^{1)}$. 対角線は,確信度と正解率が完全に一致していることを示す.

めの研究が進んでいる [4,5]. しかし, これらの研究では MC Dropout [6] や Bayesian Neural Networks [7] のような 1 つのデータインスタンスに対して複数回の予測を行う必要がある手法が用いられており，その推論コストは莫大になるため実用的ではないという問題がある.

そこで，我々はデータ拡張に着目する。コンピュータビジョン領域では，データ抎張はモデルを入力に対してロバストにするため，不確実性推定の改善につながることが報告されている $[8,9]$. さらにデータ拡張自体はモデル構造を変えないため，推論時間の増加を伴うことなく不確実性推定が改善されると期待される。データ拡張はNERにも適用されているが $[10,11] ，$ 低資源設定における汎化性能の観点に限定されているものが多い.

本研究では，NERにおけるデータ拡張が不確実性推定に与える影響を，ジャンル横断および言語横断の設定において調査した.その結果，我々の実験からいくつかの知見が得られた。第一に，NERにおけ

1）分布内および分布外のデータは，それぞれ OntoNotes 5.0 の bn および tc である.

るデータ拡張は多くの場合不確実性の推定性能の改善につながる. 特に，文脈に応じてエンティティを新しく生成する Masked Entity Language Modeling (MELM) [11] や，エンティティを学習データ内の同じエンティティタイプのエンティティで置換する Mention Replacement (MR) [10] により不確実性の推定性能が改善した. 第二に, データ拡張によって生成された文の Perplexity が低いほど，データ拡張サイズを増やしたときにさらに不確実性の推定性能が改善することが判明した.

## 2 手法

本節では，実験で用いる既存手法および NER におけるデータ拡張について説明する。

## 2.1 既存手法

Baseline 最終層の Softmax 関数を通した後の最大確率を用いる.

Temperature Scaling (TS) TS は DNNs が出力する確信度を補正するための後処理方法である. Softmax 関数を適用する前に logit を温度パラメータでスケーリングする.

Label Smoothing (LS) LS は機械学習で一般的な正則化手法であり, 確信度を他ラベルにも割り振ることで自信過剩な予測を防ぐ.

Monte-Carlo Dropout (MC Dropout) MC Dropout は DNNs の不確実性推定に利用できる正則化手法であり, 複数の確率的推論を必要とする. 本研究では $M=20$ の確率的推論を行い，その平均を出力する.

## 2.2 固有表現抽出におけるデータ拡張

Label-wise Token Replacement (LwTR) LwTR では，まずトークンを置換するかどうかを決定するために二項分布を用いる. 二項分布により選ばれたトークンは，学習データ上のラベルごとのトークン分布に基づいて，同じラベルを持つ別トークンとランダムに置き換えられる.

Mention Replacement (MR) MR は，トークンの代わりに学習データに存在する同じラベルを持つ別のエンティティで文中のエンティティを置き換える. 学習データ中のエンティティは様々なトークン数から構成されているため, MR はLwTR と異なり元のラベル列を保持するとは限らない.

Synonym Replacement (SR) SR は LwTR と同様に置換するトークンを二項分布で選び，対象のトー
クンを WordNet の同義語で置換する. 同義語は複数のトークンを持つことがあるため，SR は元のラべル列を保持するとは限らない。

Masked Entity Language Modeling (MELM) MELM では，まずエンティティマーカーによってエンティティ部分がマスクされた文に対して，文脈上適切なエンティティを予測するような言語モデルを学習する。その言語モデルを用いて，指定した比率でマスクされたエンティティ部分に対して元エンティティとは異なるエンティティを出力することでデータ拡張を行う。

## 3 実験設定

本研究では, 系列ラベリングの枠組みで NER を行い，事前学習済みモデルの mDeBERTaV3 (microsoft/mdeberta-v3-base) [12] をエンコーダとして採用する. ${ }^{2)}$ 各実験は異なるシードで 10 回試行し, 評価指標は平均值および標準偏差を報告する. また，視認性の向上のため，報告值は 100 倍した.

## 3.1 データセット

本研究では, ジャンル横断および言語横断設定における不確実性推定性能を測るため, OntoNote 5.0 データセット [13] および MultiCoNER データセット [14]を用いる. OntoNote 5.0 データセットは broadcast conversation (bc), broadcast news (bn), magazine (mz), newswire (nw), telephone conversation (tc), および web data (wb) の 6 つのジャンルから構成される. MultiCoNER データセットは 11 の言語から構成される NER データセットであり, 本研究では英語 (EN)，ドイツ語 (DE)，スペイン語 (ES)，およびヒンディ語 (HI)の 4 言語を用いる.

## 3.2 評価尺度

本研究ではエンティティの確信度を評価するため，エンティティを構成するトークンの確信度の積をエンティティの確信度とみなして評価を行う。用いる評価指標を以下に示す。

Expected Calibration Error(ECE) ECE は各ビンごとの正解率と確信度の差を測り，その期待値を取る. 本研究ではビンの個数を 10 とする.

Maximum Calibration Error(ECE) MCE は ECE と類似しており，期待值ではなく最大値をとる.

2） MELM におけるエンティティ予測のための言語モデルにも，同様に mDeBERTaV3を用いる。
表 1 OntoNotes 5.0 を用いたジャンル横断設定における結果. 太字は手法間での最良を示す.

## Area Under the Precision-Recall Curve (AUPRC)

AUPRC は Precision/Recall (PR) 曲線の下の領域の面積である。高いほど，特定の Recall において Precision が高い傾向となる.

## 4 検証

本節では，ジャンル横断および言語横断の設定における不確実性推定の結果を提示する。

## 4.1 ジャンル横断における評価

表 1 に, OntoNotes 5.0でソースジャンルが bc, bn, および tc の場合における，ジャンル横断的な不確実性推定の評価結果を示す。この表から，エンティティごとの不確実性の推定性能の評価において，一般的な分類問題に有効であると考えられてきた TS， LS および MC Dropout よりも，データ拡張の方が性能が高い傾向にあることがわかる. 特に, ソースジャンルが tc の場合，MELM をはじめとするデー 夕補強法は，Baseline と比較して，ECE で最大 6.01 $\%$ ，MCE で最大 $7.94 \%$ 改善し, 優れた校正性能を示す。また，MRとSR もMELMに続いて良好な校正性能を示す。一方で，データ増強法では $w b$ に
おける校正性能は改善されない傾向にある．また， AUPRC を表 4 に示す. データ拡張の中では，MRが優れた性能を示す一方で，MELM は ECE や MCE のような校正エラーに基づく評価指標ほど改善されない.

## 4.2 言語横断における評価

MultiCoNER でソース言語をENとした場合の言語横断設定における不確実性推定の結果を表 2 に示す. ジャンル横断設定の場合と異なり，MRが分布内および分布外において優れた不確実性推定性能を示した. Zhengping ら [15]により，言語的な距離が大きいほど確信度校正性能が低下する傾向にあることがわかっているが，本実験でも同様の傾向が得られた。一方，ジャンル横断的な校正では優れた不確実性推定性能を示す傾向にある MELM は，言語横断的な設定では良い性能を示さない。

また, 本研究で用いた mDeBERTaV3 の事前学習に用いられている CC100 データセット [16] の言語比率を見ると，英語が最も多く次いでドイツ語，スペイン語，ヒンディ語の順に多く，不確実性推定性能の順位と相関している。 さらに，Tomasz らによ
表 2 MultiCoNER を用いた言語横断設定における結果.

 & $47.95 \pm 1.30$ & $82.57 \pm 1.96$ \\

表 3 データ拡張によって生成した文の Perplexity.

OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{mz}$ transfer

MultiCoNER EN $\rightarrow$ ES transfer

図 2 データ拡張サイズを増やした場合における各評価指標の推移.

り [17]，トークン化において言語間で語彙の重複が生じやすい場合，NER における言語横断設定においてよい予測性能を示す傾向にあることが示されたが，不確実性推定においても同等の傾向を示す.

## 5 分析

本節では，NER のデータ拡張の不確実性推定性能への理解を深めるため, 生成した文の Perplexity およびデータ拡張サイズの影響を調査する。

まず，データ拡張によって生成した文の不確実性推定性能への影響を調査するため, 我々は GPT2 [18] を用いてデータ拡張による生成文の Perplexityを測った. 表 3 に，各データ拡張手法で生成した文および元の学習データの Perplexity を示す. いずれの場合においても, MR が最も Perplexity が低い一方で，MELM は MR ほど低い Perplexity は示さなかった. MELM において文脈に適合しているが実際には存在しないエンティティが生成されると，文の Perplexity が悪影響を受ける可能性がある.

さらに, 図 2 に, OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{mz}$, MultiCoNER $\mathrm{EN} \rightarrow \mathrm{ES}$ のような分布外の横断設定において，デー
タ拡張サイズを増やした場合の評価指標の推移を示す (分布内横断設定の結果は図 3 に示す). 多くの場合，MR がデータ拡張サイズを増やした場合に不確実性推定がさらに改善される．先述の通りMR は複数のデータセットで最も Perplexity が低いため, Perplexity の低さがデータ拡張サイズを大きくした場合の不確実性推定性能にとって重要であることがわかる。

## 6 まとめ

本研究では，NER におけるデータ拡張が不確実性推定性能に与える影響をジャンル横断および言語横断の観点から調査した. その結果，MELM やMRのようなデータ拡張を用いた場合に優れた不確実性推定性能を示すことが判明した。一方で， TS や MC Dropout のような良い不確実性推定性能を示すとされてきた既存手法は，NER の場合においては良い不確実性推定性能を示さない。また，データ拡張により生成した文の Perplexity が低い MR のような手法において，データ拡張サイズを増やすことでさらに不確実性推定性能が改善されることが判明した。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[2] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[3] Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1321-1330. PMLR, 2017.

[4] Yijun Xiao and William Yang Wang. Quantifying uncertainties in natural language processing tasks. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019.

[5] Andrey Malinin and Mark Gales. Uncertainty estimation in autoregressive structured prediction. In International Conference on Learning Representations, 2021.

[6] Yarin Gal and Zoubin Ghahramani. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1050-1059, 2016.

[7] Charles Blundell, Julien Cornebise, Koray Kavukcuoglu, and Daan Wierstra. Weight uncertainty in neural network. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 1613-1622, Lille, France, 2015. PMLR.

[8] Yeming Wen, Ghassen Jerfel, Rafael Muller, Michael W Dusenberry, Jasper Snoek, Balaji Lakshminarayanan, and Dustin Tran. Combining ensembles and data augmentation can harm your calibration. In International Conference on Learning Representations, 2021.

[9] Yang Liu, Shen Yan, Laura Leal-Taixé, James Hays, and Deva Ramanan. Soft augmentation for image classification. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16241-16250, June 2023 .

[10] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3861-3867, 2020.

[11] Ran Zhou, Xin Li, Ruidan He, Lidong Bing, Erik Cambria, Luo Si, and Chunyan Miao. MELM: Data augmentation with masked entity language modeling for low-resource
NER. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2251-2262, 2022.

[12] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTav3: Improving deBERTa using ELECTRA-style pretraining with gradient-disentangled embedding sharing. In The Eleventh International Conference on Learning Representations, 2023.

[13] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using OntoNotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, 2013.

[14] Shervin Malmasi, Anjie Fang, Besnik Fetahu, Sudipta Kar, and Oleg Rokhlenko. MultiCoNER: A large-scale multilingual dataset for complex named entity recognition. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3798-3809, 2022.

[15] Zhengping Jiang, Anqi Liu, and Benjamin Van Durme. Calibrating zero-shot cross-lingual (un-)structured predictions. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2648-2674, 2022

[16] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[17] Tomasz Limisiewicz, Jiří Balhar, and David Mareček. Tokenization impacts multilingual language modeling: Assessing vocabulary allocation and overlap across languages. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 5661-5681, 2023.

[18] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[19] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[20] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, p. 2623-2631, 2019 .
表 4 OntoNotes 5.0を用いたジャンル横断設定における AUPRC.

 & $93.27 \pm 0.41$ & $92.69 \pm 0.57$ & $93.03 \pm 0.56$ \\

MultiCoNER EN $\rightarrow$ EN transfer

図 3 データ拡張サイズを増やした場合における各評価指標の推移.

## A OntoNotes 5.0 におけるジャンル横断設定の場合の AUPRC

表 4 に，OntoNotes 5.0 におけるジャンル横断設定の場合の AUPRC を示す.

## Ｂ分布内設定におけるデータ拡張サイズを増やした場合の各指標の推移

図 3 に，OntoNotes $5.0 \mathrm{tc} \rightarrow \mathrm{tc} ，$ MultiCoNER EN $\rightarrow$ EN の横断設定においてデータ拡張サイズを増やした場合の評価指標の推移を示す.

## C 詳細な学習設定

損失関数の最適化に linear schedulerつき AdamW [19] を用いた. ミニバッチサイズは 32 であり，初期の学習率を 1e-5 とした. Early Stopping の停止基準に評価セットの F1を用い，5 回連続でスコアが改善されない場合に学習を打ち切った.

TS の温度パラメータを調整するため Optuna [20]を用いた. [0.001, 0.002,..., 5.000] の範囲で探索され，100 回の試行の中で評価セットの損失が最小となる温度パラメータが採用された．LS におけるスムージングパラメータの選択のため， $[0.01,0.05,0.1,0.2,0.3]$ の範囲内でグリッドサーチを行った．LwTR，MR，およびSRにおける二項分布のハイパーパラメータ選択では， $[0.1,0.2, \ldots, 0.8]$ の範囲内でグリッドサーチを行い，最適なものを選択した．MELMにおいては，エンティティ予測モデルの微調整のための学習データマスク率 $\eta$ およびエンティティ予測時におけるマスクパラメータ $\mu$ の選択が必要なため，それぞれ $[0.3,0.5,0.7]$ の範囲でグリッドサーチを行い，最適となる組み合わせを採用した. 4 節におけるデータ拡張では，最終的な学習セットのサイズが元の学習セットのサイズの 1.5 倍になるように学習データを増加させた.


# 変数定義抽出におけるテンプレート文を活用したデータ拡張法

永山航太郎 加藤祥太 加納学
京都大学大学院情報学研究科
nagayama.kotaro.63c@st.kyoto-u.ac.jp
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

科学技術論文における変数定義の抽出は，論文の理解や活用に欠かせない。しかし，分野によって変数定義の長さや構成する単語は異なるため，既存の変数定義抽出手法の性能は分野間で差がある. 各分野の学習データを用意することは性能向上に効果的だが，高品質な学習データの作成コストは高い. この課題を解決するため，本研究では，変数を定義するテンプレート文と学習データ中の変数-変数定義ぺアから新たな定義文を生成する手法を提案する. 化学プロセス関連論文からの変数定義抽出において，提案手法で生成した定義文で学習した定義抽出モデルは, 山本ら [1] のモデルを上回る正解率 $89.6 \%$ を達成した。

## 1 はじめに

近年は世界の論文数の増加率が大きくなっている. 2020 年は自然科学分野で 190 万報が発表されたが，2021 年には 9.2\%増加し 205 万報以上が発表された [2]. これに伴い，文献調査に必要な時間と労力は年々増加している.この負担を軽減するべく，膨大な文献から重要な情報を自動的に抽出，整理，活用する技術の開発が進められている [3]. このような技術開発の恩恵が大きい分野の一つとして，プロセス産業が挙げられる. プロセス産業では，装置設計や運転条件の最適化などの様々な場面で科学原理に基づく物理モデルが活用されている.しかし，対象プロセスの挙動を正確に再現できる物理モデルを構築するには，膨大な量の文献を調査し, モデル構築に必要な情報を統合する必要がある.この多大な労力を要する作業を効率化するために，我々は物理モデル自動構築システム (Automated physical model builder; AutoPMoB）の実現を目指している [4]. AutoPMoB は，(1) 文献データベースからの対象プロセス関連文書の収集，（2）収集した文書
の形式統一，（3）物理モデル構築に関する情報（数式，変数，実験データなど）の抽出，（4）複数文書から抽出した情報の表記統一，（5）表記統一した情報の統合，を自動で行い所望の物理モデルを構築する. AutoPMoB を実現するには，文献からの正確な変数定義抽出手法が必要である. 本研究では化学プロセス関連論文を対象とした変数定義抽出に取り組む。

化学プロセス関連論文からの変数定義抽出において，山本らは正解率 $85.6 \%$ を達成した [1]. 山本らが学習に用いた化学プロセス関連論文データセットは関連研究 $[5,6]$ で用いられたデータセットのサイズと比較して小さい，そのため，学習データを増やすことで定義抽出性能が向上する可能性がある．ただし，変数定義を構成する単語やその長さは分野によって異なり，変数定義抽出性能も分野によって差がある [7]. そのため，他分野の定義文を増やしても性能向上に寄与する可能性は低い。さらに，適用対象の分野に応じて新たに学習データを作成するには高いコストが伴う.

このような問題を解決するために，本研究では，図 1 に示すような学習データ拡張手法を提案する.提案手法は, “[symbol] is defined as [primary].” のように変数 [symbol] と対応する定義 [primary] を含むテンプレート文を複数用意し，それに学習データ中の変数と変数定義を代入することで新たな定義文を生成する。化学プロセス関連の論文 47 報から作成したデータセットを対象に，山本ら [1] のモデルと提案手法により生成した定義文を用いて学習したモデルの性能を比較する。

## 2 関連研究

変数定義抽出タスクでは，パターンに合致する名詞句を抽出するルールベース手法 [8] や品詞タグや文中の位置といった特徴を用いた機械学習に基づく手法 $[9,10]$, 深層学習モデルを用いた手法 [11] など

図 1 提案手法の概略図. $T_{J}$ は $J$ 種類のテンプレート文の集合， $P$ は学習データに含まれる変数-変数定義ぺアを格納したリスト， $D_{\mathrm{TPL}, J}$ は生成した文を格納するためのリストを表す。

が提案されている。その中で，BERT（Bidrectional Encoder Representations from Transformers) [12]に代表される事前学習モデルを用いた手法は特に高い性能を達成している. Kang らは，SciBERT [6] によって文から専門用語とその定義を同時に抽出する手法を提案し， ACL Anthology [13, 14] に含まれる 50 報の論文からの定義抽出において F1-score 70.8\%を達成した [15]. Lee らは, 変数と変数定義の対応付けタスクである SemEval 2022 Task 12: Symlink [5]にて，単純なルールに基づく記号用のトークナイザと SciBERT を用いて, 変数と変数定義の固有表現認識とそれらの関係抽出を順に実行する方法を提案し，最高性能を達成した [16]. Popovic らは, Symlink に

図 2 テンプレート文の例. テンプレート文には変数-変数定義ペアを 1 つ含むものから 6 つ含むものが存在する.

て，SciBERT を用いて固有表現認識と関係抽出を同時に行う手法を提案し, 第 3 位の性能を達成した [7]. 山本らは，定義抽出対象の変数が既知であるという条件の下での変数定義抽出タスクを対象とし，変数を特殊トークンに置換した文を BERT モデルに入力することで文中の変数定義の位置を予測する方法を提案した [1]. 彼らは，化学プロセスとの関連性が低い 5 分野からなる Symlink データセット [5] と化学プロセス関連論文データセットを順に用いて二段階のファインチューニングを行い定義抽出モデルを構築した. 彼らの手法は，化学プロセス関連論文からの変数定義抽出において正解率 85.5\%，F1-score $81.6 \%$ 達成した. しかし，いずれの手法も AutoPMoB の要素技術としては十分な性能に達していない.

## 3 提案手法

提案手法の概略図を図 1 に示す. 本手法は，変数変数定義ぺアと図 2 のようなテンプレート文を用いて，新たな定義文を生成する。

事前準備として, 学習データ中の変数-変数定義ペアを格納したリスト $P$, 生成した文を格納するための空のリスト $D_{\mathrm{TPL}, J}$ を作成する. 加えて， $J$種類のテンプレート文の集合 $T_{J}$ を用意し， $j$ 番目のテンプレート文を $\mathrm{TPL}_{j}$ とする. $\mathrm{TPL}_{j}$ は $n_{j}$ 組の [symbol] と [primary] を含み， $P$ に含まれるぺアの数は $J$ よりも十分大きいとする. テンプレート文の作成には ChatGPT（gpt-3.5-turbo-1106）を使用する. プロンプトには出力形式の説明，生成する文中の変数の数の指定, 定義文の例が含まれるように設計する.

定義文を生成する手順を以下に示す.
1. $j=1$ とする.
2. $n_{j}$ 個の変数-変数定義ペアを $P$ から選択する.
表 $1 D_{\text {Process }}$ に含まれる論文数と定義を持つ変数の数

選択したぺアは $P$ から削除する。

3. 選択した $n_{j}$ 個の変数-変数定義ペアを $\mathrm{TPL}_{j}$ 中の [symbol] と [primary] に代入し, 定義文を 1 つ生成する. 生成した文を $D_{\mathrm{TPL}, J}$ に追加する.
4. $j$ に $j+1$ を代入して手順 2 に戻る. ただし, $j=J$ のときは $j$ に 1 を代入して手順 2 に戻る. $P$ が空になった時点で終了する.

## 4 実験

## 4.1 タスク設定とデータセット

タスク設定本研究では次の 2 つの条件を満たす変数の定義を抽出するタスクに取り組む.

1. 文中にその変数に対応する定義が存在する.

2. スペースで囲まれているか数式の左辺にある.

例えば，

The pressure $P=n R T / V$ is assumed constant, where

$T$ and $V$ are the temperature and volume, respectively. において $, P, T, V$ が定義抽出対象であり,$n$ と $R$ は対象外である．定義抽出対象の変数は既知とする。

化学プロセス関連論文データセット化学プロセスに関連する計 47 報の論文に登場する変数に対して定義を付与したデータセット $D_{\text {Process }}$ を作成した. $D_{\text {Process }}$ には晶析プロセス (crystallization process; CRYST), 連続槽型反応器 (continuous stirred tank reactor; CSTR)，バイオディーゼル生産プロセス (biodiesel production process; BD)，チョクラルスキー プロセス (Czochralski process; CZ), 多管式熱交換器 (shell and tube heat exchanger; STHE）の 5 つのプロセスに関する論文が含まれる．各プロセスの論文数と定義を持つ変数の数を表 1 に示す.

Symlink データセット Symlinkで用いられたデータセット $D_{\text {Symlink }}$ は情報科学, 生物学, 物理学,数学, 経済学の 5 分野の合計 101 報の論文からなり，定義を持つ変数は 11,462 個含まれる.

データセットの分割割合 $D_{\text {Process }}$ を論文単位で表 $2 T_{J}$ 中の含まれる変数の数ごとのテンプレート文の数

訓練用，検証用，テスト用に分割する．STHEで 2 報，それ以外のプロセスで 3 報をテスト用とする. さらに各プロセスにおいて 1 報を検証用, 残り全てを訓練用とする． $D_{\text {Symlink }}$ と $D_{\mathrm{TPL}, J}$ は訓練用と検証用に 3:1に分割する. 訓練用と検証用のデータセットを用いてモデルをファインチューニングし，テスト用データセットを用いて性能を評価する.

## 4.2 実験設定

山本ら [1] と同じく，ベースモデルには DeBERTaV3 ${ }_{\text {LARGE }}$ [17]，オプティマイザには Adam [18]，GPU には A100を用いる，バッチサイズは 8 , 学習係数は 1e-5とする. また, 山本らの二段階ファインチュー ニングと同様に， $D_{\text {symlink }}, D_{\mathrm{TPL}, J}, D_{\text {Process }}$ を順に用いて三段階でモデルをファインチューニングする. エポック数は 3 とし，検証用データに対する交差エントロピー誤差が最小のモデルで性能評価を行う。

テンプレート文の数の影響テンプレート文の数が定義抽出性能に与える影響を検証するため，テンプレート文の数が異なる 3 つのテンプレート文の集合 $T_{20}, T_{100}, T_{600}$ と対応するデータセット $D_{\mathrm{TPL}, 20}$, $D_{\mathrm{TPL}, 100} ， D_{\mathrm{TPL}, 600}$ を作成する. $T_{100}$ は，変数の数の分布が均等になるように， $T_{600}$ からランダムに選択し， $T_{20}$ も同様に $T_{100}$ から選択する. $T_{20}, T_{100}, T_{600}$ における変数の数とテンプレート文の数の関係を表 2 に示す。

未知プロセスへの性能検証提案手法を実際に用いる際には $D_{\text {Process }}$ に含まれる 5 つプロセス以外のプロセスに関する論文も対象にする。そのような場合に提案手法が有効かを検証するために， $D_{\text {Process }}$ からプロセス $X$ に関するデータセット $D_{X}$ を取り除いたデータセット $D_{\text {Process }-X}$ を訓練と検証に用いて， $D_{X}$ に対する定義抽出性能を検証する。

## 4.3 評価方法

評価指標として，全ての変数のうち正しい定義の抽出に成功した変数の割合（正解率）を用いる. 定義抽出成功の基準として, 正解の定義の範囲とモデ

ルの予測した定義の範囲が完全に一致した場合を正解とする基準（full）と, 正解の定義の範囲と予測した定義の範囲に重複があれば正解とする基準 （partial）の2つを採用する． $D_{\text {Process }}$ の訓練・検証・ テスト用データに含まれる論文の種類によって性能が変動することが予想されるため， 4.1 節に従って $D_{\text {Process }}$ を 10 通りに分割し，それらから得られる評価指標の平均を比較する。

## 5 結果と考察

提案手法と山本らの手法による定義抽出結果を表 3 亿示す. 正解率（full）と正解率（partial）のいずれにおいても提案手法が山本らの手法を上回り，正解率（full）は最高で 2.8 ポイント向上した. また, 全ての場合で正解率（partial）は96\%を超え，提案手法は $97 \%$ 超えた。いずれの手法でも文中での定義の位置は概ね判定できたが，より正確な位置の判定に提案手法が有効であることが示された.

## 5.1 テンプレート文の数の影響

表 3 に示すように，テンプレート文の数 $J$ を増やすほど正解率（full）が向上した. また，提案手法（ $J=20 ）$ では定義抽出に失敗したが提案手法 $（ J=600 ）$ では成功した事例の中には， $T_{600}$ に含まれないパターンの定義文も存在した。このことから，J の増加はテンプレート文にないパターンの定義文からの定義抽出性能の向上にも寄与していると考えられる。

## 5.2 未知プロセスへの性能

提案手法と山本らの手法による未知プロセスへの性能検証結果を表 4 に示す. 5 つ全てのプロセスにおいて，学習データに定義抽出対象プロセスのデー タが含まれるか否かに関わらず，提案手法により生成した定義文で学習したモデルが山本らの手法によるモデルを上回った. 提案手法は, 学習データに含まれないプロセスに対する変数定義抽出においても有効であることが示された。 また， $\mathrm{CZ}$ を除く 4 つのプロセスにおいて， $D_{\text {Process- } X}$ を学習データとした提案手法が， $D_{\text {Process }}$ を学習データとした既存手法よりも高い正解率（full）を達成した. CZでは,登場する変数定義や定義文のパターンが他の 4 つのプロセスと大きく異なり, 学習データから $D_{\mathrm{CZ}}$ を削除することによる性能低下が最も大きい. 以上のことから， $D_{\text {Process }}$ に含まれる 5 つのプロセスと類似し表 3 実験結果. 太字は各列における最高値を表す. $D_{\text {symlink }}, D_{\text {TPL, } J^{\prime}}, D_{\text {Process }}$ による三段階ファインチューニングを提案手法 $\left(J=J^{\prime}\right)$ と表記している.

表 4 未知プロセスへの性能. 各数値は正解率 (full) を表す. 提案手法は $J=600$ としている.

たプロセスに関しては， $D_{\text {Process }}$ に提案手法を適用することで，そのプロセスのデータを用意せずとも既存手法と同等以上の性能を達成することが期待できる.

## 6 おわりに

本研究では変数定義抽出における学習データ不足を解決するため，定義文のテンプレート文を複数用意し，各文に学習データ中の変数-変数定義ペアを代入することで学習データを拡張する手法を提案した. 既存手法と提案手法を比較した結果，提案手法は正解率（full）において 2.8 ポイント高い $89.6 \%$ を達成した. また，テンプレート文の数を増やすほど正解率が向上した. 今後は，既存のデータに含まれるプロセスと適用対象のプロセスとの類似度を算出して，提案手法が有効かを事前に判断できるようにする。また，本研究では文中に定義が存在する変数のみを対象としたが，同一文に定義が含まれない変数も存在する. そのような変数に対して定義が存在しないと判断できるように提案手法を拡張する.

## 謝辞

本研究は，JSPS 科研費 JP23K13595 の支援を受けたものである.

## 参考文献

[1] 山本蒔志, 加藤祥太, 加納学. 二段階のファインチューニングを行った BERT による変数定義抽出. 言語処理学会第 29 回年次大会発表論文集, pp. 2957-2961, 2023.

[2] 文部科学省科学技術- 学術政策研究所. 科学技術指標 2023. 調査資料 328,2023 .

[3] Elsa A. Olivetti, Jacqueline M. Cole, Eun Kim, Olga Kononova, Gerbrand Ceder, Tzu-Ying J. Han, and Anna M. Hiszpanski. Data-driven materials research enabled by natural language processing and information extraction. Applied Physics Reviews, Vol. 7, No. 4, 041317, 2020.

[4] Shota Kato and Manabu Kano. Towards an automated physical model builder: CSTR case study. Computer Aided Chemical Engineering, Vol. 49, pp. 1669-1674, 2022.

[5] Viet Lai, Amir Pouran Ben Veyseh, Franck Dernoncourt, and Thien Nguyen. Semeval 2022 task 12: Symlink linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1671-1678, 2022.

[6] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[7] Nicholas Popovic, Walter Laurito, and Michael Färber. AIFB-WebScience at SemEval-2022 task 12: Relation extraction first - using relation extraction to identify entities. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 16871694, 2022.

[8] Robert Pagel and Moritz Schubotz. Mathematical language processing project. In Joint Proceedings of the MathUI, OpenMath and ThEdu Workshops and Work in Progress track at CICM, 2014.

[9] Moritz Schubotz, Leonard Krämer, Norman Meuschke, Felix Hamborg, and Bela Gipp. Evaluating and improving the extraction of mathematical identifier definitions. In Experimental IR Meets Multilinguality, Multimodality, and Interaction, Vol. 10456 LNCS of CLEF 2017, pp. 82-94, 2017.

[10] Jason Lin, Xing Wang, Zelun Wang, Donald Beyette, and Jyh-Charn Liu. Prediction of mathematical expression declarations based on spatial, semantic, and syntactic analysis. In Proceedings of the ACM Symposium on Document Engineering 2019, DocEng '19, pp. 1-10, 2019.

[11] Yiannos Stathopoulos, Simon Baker, Marek Rei, and Simone Teufel. Variable typing: Assigning meaning to variables in mathematical text. In Proceedings of the
2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 303-312, 2018.

[12] Jacob Devin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pretraining of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[13] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), 2008.

[14] ACL Anthology team. Acl anthology. https:// aclanthology.org/. (Accessed on 12/29/2023).

[15] Dongyeop Kang, Andrew Head, Risham Sidhu, Kyle Lo, Daniel S Weld, and Marti A Hearst. Document-level definition detection in scholarly documents: Existing models, error analyses, and future directions. arXiv preprint arXiv:2010.05129, 2020.

[16] Sung-Min Lee and Seung-Hoon Na. JBNU-CCLab at SemEval-2022 task 12: Machine reading comprehension and span pair classification for linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1679-1686, 2022.

[17] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving DeBERTa using ELECTRA-style pretraining with gradient-disentangled embedding sharing. arXiv preprint arXiv:2111.09543, 2021.

[18] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.


# 知識志向 Mixture of LoRA Experts の構築

伊藤俊太朗 河原大輔
早稲田大学理工学術院
schnellheiter@fuji.waseda.jp dkw@waseda.jp

## 概要

大規模言語モデル（LLM）の進化は驚異的であるが、知識の管理には依然として課題が存在する。全パラメタの再学習には膨大なリソースが必要なため、LoRA という手法が採用されることが多い。さらに、複数モデルの出力を組み合わせること （Mixture of Experts; MoE）による性能向上が注目されている。本研究では、LoRA と MoEを組み合わせて、モデルのパラメタ増加を最小限に抑えつつ性能を向上させる方法を提案する。提案手法は、知識を専門家（expert）に依存させることで、知識をより効果的かつ局所的に管理する。CommonsenseQA デー タセットを利用した評価によって提案手法の有効性を確認した。

## 1 はじめに

大規模言語モデル (LLM) の進化は驚異的であり、対話形式で指示を入力すれば内容に応じた様々な応答を柔軟に生成することが可能となった。初期の Decoder-only モデルである GPT [1] のパラメタ数は $0.1 \mathrm{~B}$ 程度であったが、モデルのパラメタ数および学習データ量を増量することでモデルが様々な夕スクを汎用的にこなせることが明らかになった [2]。 その後、モデルのパラメタ数や学習データ量をさらに増やす傾向が進んだ。GPT-3 [3] では 175B ものパラメタを持つようになり、少数の回答例を入力に含めることで、これまで fine-tuning が必要であったタスクにおいてもパラメタを更新せずに回答可能になった。

GPT-2 [2] の学習には 22GB 程度1)の GPU メモリが必要となる。学習に使うデータや内部状態の容量も考慮すればさらに大規模なモデルを扱う場合一般的に用いられている GPU では学習が難しい。そこでモデルの追加学習時に更新するパラメタを一部に絞ることで学習時に必要となる GPUメモリを大幅

1） 32bit での学習を想定
に減らす手法である LoRA [4] が提案された。

また、LLM の登場により単一のモデルで幅広いタスクへの対応が可能になり、モデルが想定する入力空間が膨大になる傾向が進んだ。そこで、expert と呼ばれる様々なモデルの出力を組み合わせることで、各々の expertを入力空間の異なる部分に特化させるアプローチ Mixture of Experts (MoE) [5] が注目されるようになった。

これらの手法は、汎用モデルに追加の知識を付与する場合にも有効である。しかし、LoRA 単体では追加知識が 1 組の追加パラメタに全て付与されるため、新たな知識や以前の学習で記録した知識を保持することが難しい。また、MoE を利用する場合は expert ごとに独立したモデルの出力を結合するため、expert で利用するモデルの大規模化がハードウェアの制約で難しくなる。本研究では、LoRA と MoEを組み合わせることで、追加知識の管理の煩雑化やパラメタの上昇を抑えつつ新たな知識を付与する手法を提案する。CommonsenseQA データセットを利用した評価によって提案手法の有効性を確認した。

## 2 関連研究

## 2.1 LoRA

LoRA (Low-Rank Adaptation) [4] は、特に大規模な言語モデルにおけるパラメタの全体的な微調整の限界に対処するために提案された。従来の全体的な微調整では、各ダウンストリームタスクごとに異なるパラメタを学習する必要があり、効率が悪くリソー スを大量に消費する問題があった。LoRA により、 タスク固有のパラメタの差分を低ランク行列で表現することで、特に大規模なモデルにおいて効率的な微調整が可能となった。

LoRA の主なアイデアは、ニューラルネットワー クの密な層で使用される低ランクパラメタ化更新行列の利用にある。通常のニューラルネットワーク

では、これらの密な層は一般にフルランクの重み行列を使用して行列乗算を行う。LoRA は、タスク適応中のこれらの重みの更新が低い「固有ランク」を持っていると仮定し、この低ランクアプローチにより、フルランクの更新を必要とせずに、全体的な微調整の表現力を維持することが可能となる。その結果、LoRA は Transformer [6] のようなニューラルネットワーク内の任意の重み行列のサブセットに適用でき、訓練可能なパラメタの数を減少させることができる。

## 2.2 Mixture of Experts

Mixture of Experts (MoE) [5] は、機械学習におけるアンサンブル手法の一つであり、特定の問題に対して最適な解を提供するために、複数の専門家 (小規模なモデル, expert）が共同で作業するアプローチである。MoEでは、各専門家は問題の特定の側面に特化し、ゲート関数が入力に基づいて最も適切な専門家を動的に選択する。これにより、アンサンブルの中で最も知識のある専門家の意見が重視され、全体としての性能が向上する。この手法の導入により、 より柔軟かつ適応性の高いモデル構築が可能となり、特に多様な特徴やパターンを持つデータに対して効果を発揮する。

MoE の主要な構成要素として expert とゲート関数があり、これらをどのように設計するかで様々な派生が存在する。自然言語処理における応用例としては、翻訳タスクにおいて事前に大量の expert をゲー 卜関数によって疎に結合し計算コストを抑えつつ擬似的なパラメタ数を大幅に増強する手法 [7] がある。また、expertを LoRA で代替してゲート関数により疎に出力を結合することでパラメタ数を抑えつつアンサンブル学習の効果による性能向上を狙う手法 [8] がある。

## 2.3 CommonsenseQA

質問に回答する際に人間は文脈だけではなく世界知識を活用する。このような事前知識を伴う質問応答能力を測定するために CommonsenseQA [9] が構築されている。これは、ConceptNet [10] からした抽出したエンティティとその類似エンティティを判別するための多肢選択式質問をクラウドワーカに作成してもらうことによって構築された。これらの質問に回答するにはコンテキスト外の事前知識が必要となる。例えば図 2 において正しい回答 “complete job”

図 1 提案手法の概要図

を選択するには、与えられた文脈だけでなく“work” という単語に関する世界知識が必要となる。

本研究では、expertへの知識付与の効果検証としてこのデータセットを利用して評価を行う。

## 3 提案手法

MoE は機械学習モデルの性能を上げる手法として一般的に知られている。しかし、モデルが大規模化する近年の傾向を考えると、主に計算コストの問題で複数の大規模モデルを用意して運用するのは難しい。本研究では、特定のデータセットやドメインに特化した expertを LoRA で学習し、ゲート関数を用いて出力を重み付けして結合する手法を提案する。これにより、必要な知識を局所化しつつ、モデル全体のパラメタの増加が抑制される。手法の概要図を図 1 に示す。モデルの構成要素のうち、ベースモデルと expert は独立して学習を行い、ゲート関数はモデル全体の出力調整のための追加学習時に学習を行う。

## 3.1 ベースモデル

ベースモデルは全ての expert (LoRA) の基盤となるモデルである。通常の MoEではそれぞれの expert が独立したモデルを利用するのに対し、提案手法においては全ての expert においてこのべースモデルが共通のパラメタとなる。そのため、推論及び学習時に利用されるGPUメモリは expert として独立モデルを利用する場合と比べて大幅に削減され、近年の大規模なモデルに対しても容易に適用できる。なお、追加学習時においてべースモデルのパラメタは全て凍結させる。

## 3.2 Expert

各 expert の LoRA パラメタは特定のタスクやデー タセットに特化するように予め学習する。学習済みの LoRA パラメタの挿入によりベースモデルの状態からパラメタ調整が入ったモデルを expertとして扱う。LoRA パラメタは追加学習時にも更新する。

## 3.3 ゲート関数

ゲート関数は、各 expert の出力をどの程度の比重で結合するかを決定する重みを動的に作成するために利用する。入力として想定される自然言語データ $x$ は離散表現であり、直接重み行列への変換ができない。そこで BERT [11] 等の小規模な encoder モデルで連続表現 $H(x)$ に変換した後に、次元調整用の行列 $W$ を乗算した上で Softmax 関数で調整したものを重み $G(x)$ とする。その重みを利用して各 expert の出力 $E_{i}(x)$ を結合したものを提案手法の $\mathrm{MoE}$ モデルの出力 $O(x)$ とする。

$
\begin{aligned}
& G(x)=\operatorname{Softmax}(\mathrm{H}(x) \cdot W) \\
& O(x)=\sum_{i}^{N} G_{i}(x) \cdot E_{i}(x)
\end{aligned}
$

## 4 実験

提案手法の有効性を検証するために、複数の比較モデルを作成し CommonsenseQA データセットで性能の評価を行う。

## 4.1 データセット

データセットとして、expert に知識を付与するためのもの、および性能評価用のものの複数個を用意する。expertを事前に学習するための知識源としては、Wikipedia の情報を基に見出し語とその自然言語での説明をカテゴリごとにまとめたデータセットである $\mathrm{DBPedia}^{2}$ [12] と、評価データである CommonsenseQA の構築に利用された ConceptNet ${ }^{3}$ ) を利用する。DBPedia は見出し語の説明文を連結、 ConceptNet はエンティティ同士の関係を説明する自然言語の文が存在する事例のみを抽出したもの連結し、それぞれトークナイズした上で各事例が 512 トークンになるようにしたものを expert 学習用のデータセットとする。

2) https://huggingface.co/datasets/dbpedia_14

3) https://huggingface.co/datasets/conceptnet5
Please answer the following questions from the options below. Question: What do people aim to do at work?

Option 1: complete job

Option 2: learn from each other

Option 3: kill animals

Option 4: wear hats

Option 5: talk to each other

Answer:

図 2 プロンプトの例

性能評価は CommonsenseQA ${ }^{4}$ を利用する。 decoder モデルを利用するため、あらかじめ問題を図 2 のような形式のプロンプトに変換する。解答の生成は選択肢ではなく、選択肢の内容を生成する形式とする。なお、モデルが正解の選択肢と完全に一致する出力を行った場合のみ正答として扱い、正答率の評価を行う。例えば図 2 の問題の場合、“complete job”をモデルが生成した場合に正答として扱う。

## 4.2 モデルの学習設定

gpt2-x1 ${ }^{5}$ をべースモデルとして複数の LoRA モデルを作成し、提案手法の有効性を検証する。MoE モデルの expert の数は $N=3^{6)}$ とする。いずれのモデルにおいても、解答の形式を学習させるために CommonsenseQA の学習データを 3 epoch 程度利用して LoRA およびゲート関数のパラメタ更新を行う。 そして、検証データを利用して正答率の評価を行う。比較モデルは、以下のとおり、ゲート関数を除いたネットワークのパラメタの数が一致するように LoRA の低ランク行列の階数を設定する。
- MoE(ConceptNet, DBPedia): ベースモデル、LoRA $(\mathrm{r}=8$, ConceptNet)、LoRA ( $\mathrm{r}=8$, DBPedia) を expert とする $\mathrm{MoE}$ モデル
- MoE (random init): ベースモデルに加え、expert の LoRA $(\mathrm{r}=8)$ をランダムに初期化したものを 2 つ用意7) した $\mathrm{MoE}$ モデル

・LoRA (r=16): ベースモデルに LoRA (r=16)を插入し微調整したモデル
- LoRA (r=16, ConceptNet+DBPedia): ベースモデルに ConceptNet 及び DBPedia で追加学習した LoRA (r=16)を挿入し微調整したモデル

## 4.3 結果

CommonsenseQA の検証データセットにおける各モデルの正答率を表 1 に示す。また、学習過程における 100 ステップごとの正答率を図 3 に示す。

$\mathrm{MoE}$ モデル同士の比較では、提案手法である、事前に知識源を利用して学習する場合 (MoE (ConceptNet, DBPedia) )と、LoRA のパラメタをランダム初期化する場合 (MoE (random init)) を比較した際、提案手法が $6 \%$ 程度高い正答率となっている。 また、図 3 から $\mathrm{MoE}$ (random init) の条件で学習した場合、過学習が発生していることが分かる。

ランク $r=16$ の LoRAを利用して ConceptNet および DBPediaで学習したモデルを利用した場合 (LoRA (r=16, ConceptNet+DBPedia)) との比較では、提案手法は $3 \%$ 程度高い正答率となっている。なお、 $r=16$ の LoRA パラメタを利用して ConceptNet および DBPedia で事前知識の学習をしない場合は、正答率 $20.6 \%$ となり最も低い正答率となった。

## 4.4 ゲート関数の事前学習の検証

ゲート関数はモデルへの入力テキストを基にして、どの expert の出力をどの程度利用するかを動的に決定する。提案手法においてはゲート関数、各 expert の LoRAを同時に学習しており、各 expert の LoRA は評価タスクの回答に役立つ知識で事前に学習されている。一方、ゲート関数に関しては事前学習されておらず、ゲート関数で入力テキストのエンコードに利用されるモデルが大規模テキストで事前学習されているのみである。

そこで、expert の perplexityを元にラベル作成を行い、ゲート関数の事前学習を行って検証する。ラべルは、i番目の expert の perplexityを $\mathrm{PPL}_{i}$ として、以下のルールで作成する。各 expert の負数を softmax 正規化することで、最も perplexity の小さなモデルの出力を大きな割合で採用するように学習が進む。

$
\begin{aligned}
\text { label } & =\operatorname{Softmax}(-\mathbf{P P L}(x)) \\
\operatorname{PPL}(x) & =\left(\operatorname{PPL}_{0}(x), \operatorname{PPL}_{1}(x), \ldots\right)
\end{aligned}
$

全ての訓練事例を利用してラベル付を行いゲート関数を学習させた MoE (pretrained encoder full)、および訓練事例の $5 \%$ 利用した MoE (pretrained encoder partial) の学習過程を図 3 に示す。

最初の 100 ステップまでは提案手法よりも正答率が良いが、200 ステップ以降は全ての時点において表 1 CommonsenseQA における各モデルの正答率 (EM は完全一致による正答率を表す)

図 3100 ステップごとの正答率

提案手法の方が良い。この結果から、perplexityによるゲート関数の事前学習はモデルの性能に良い影響を与えないと言える。

## 5 おわりに

本論文では LoRA と MoE を統合してモデルに新たな知識を付与する手法を提案した。知識志向で事前に調整した LoRA モデルの出力を結合することで知識の保存箇所を局在化しパラメタの増加を抑えつつ知識志向タスクの精度の向上が期待できる。貢献点をまとめると以下のとおりである。

・MoEアーキテクチャの expert としてLoRAを利用することでパラメタの増加を最小限に抑えて MoE の構築が可能になる。

・ベースモデルのパラメタを凍結するので、ベー スとなるモデルに含まれる知識は保存される。
- 追加知識が LoRA のパラメタに局在するので新たな知識を付与しやすくなる。

本研究の検証の範囲ではハードウェアの都合上、 ベースモデルとして gpt2-xl の利用にとどまっている。今後は、さらに大規模なモデルをべースとして利用した場合の挙動の確認、また、知識付与用および評価用のデータセットをより関連性の高いものにし、より詳細な定性分析を行っていきたい。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Alec Radford and Karthik Narasimhan. Improving language understanding by generative pre-training. 2018.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models, 2021.

[5] Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan, and Geoffrey E. Hinton. Adaptive Mixtures of Local Experts. Neural Computation, Vol. 3, No. 1, pp. 79-87, 031991.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2023.

[7] Noam M. Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc V. Le, Geoffrey E. Hinton, and Jeff Dean. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. ArXiv, Vol. abs/1701.06538, , 2017.

[8] Yun Zhu, Nevan Wichers, Chu-Cheng Lin, Xinyi Wang, Tianlong Chen, Lei Shu, Han Lu, Canoee Liu, Liangchen Luo, Jindong Chen, and Lei Meng. Sira: Sparse mixture of low rank adaptation, 2023.

[9] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artifi- cial Intelligence, Vol. 31, No. 1, Feb. 2017.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Sören Auer, Christian Bizer, Georgi Kobilarov, Jens Lehmann, Richard Cyganiak, and Zachary Ives. Dbpedia: A nucleus for a web of open data. In Karl Aberer, Key-Sun Choi, Natasha Noy, Dean Allemang, Kyung-Il Lee, Lyndon Nixon, Jennifer Golbeck, Peter Mika, Diana Maynard, Riichiro Mizoguchi, Guus Schreiber, and Philippe Cudré-Mauroux, editors, The Semantic Web, pp. 722-735, Berlin, Heidelberg, 2007. Springer Berlin Heidelberg.

## A トークン生成時の設定

Hugging Face Transformers の generate メソッドを利用する。トークン生成にはビームサーチを利用し 3 トークン先までの生成結果を考慮した上で尤度の最も高いトークンを順に生成する。 repetition penalty は設定せず、その他のハイパーパラメタは generate メソッドのデフォルトに従う。

## B 学習時のハイパーパラメタの 設定

学習には Transformers ${ }^{8)}$ の Trainer クラスを利用しここに記載していないハイパーパラメタについてはデフォルト値を利用している。また全ての実験においてデバイス数は 3 である。

表 3 追加学習時

8) transformers $==4.35 .2$


# 汎用言語モデルを用いた効率的な類似特許検索

山本隼輔 1 加藤康聡 ${ }^{2}$ 綱川隆司 1
1 静岡大学情報学部情報科学科
2 合同会社 MODE ・CREATE

## 概要

本研究では汎用言語モデルを使用した教師なしの類似特許検索手法を提案する。予め絞り込んだ類似特許候補の中から、特許明細書中の「請求項」同士のテキスト間の BERTScore による類似度を用いて検索を行う。また、検索性能向上のため汎用言語モデルを分野ごとにファインチューニングする。評価実験において TFIDF による類似文書検索手法と比較し、提案手法の効果を確認した。

## 1 はじめに

知的財産の管理は社会で重要な役割を担っているが、毎年 28 万を超える出願がある特許を管理する上では多くの課題が存在している。特許の出願時には、先行技術調査や審査において類似する特許があるか探す必要があり、類似特許検索が重要なタスクとなっている。そこで、本研究では汎用言語モデルを用いて求めた特許文書の類似度に基づく類似特許検索手法を提案する。従来の類似特許検索手法は、検索対象特許に対して人手で種となる正解データをある程度用意しなければならない教師あり学習が用いられてきた。それに対し、提案手法では国際特許分類のセクションごとのコーパスを用意して言語モデルを再学習することによって、正解データを用意する必要がなく教師なしで類似特許検索を効率的に高い精度で行うことを目的とする。提案手法の有効性を示すため、特許公報とその被引用文献から構築したテストセットを用いて評価実験を行う。

## 2 国際特許分類とは

特許は国際特許分類 (以下 IPC) によって分類されている [1]。IPC は階層構造を持ち、上位から「セクション」「クラス」「サブクラス」「メイングルー プ」、「サブグループ」の 5 つの階層がある。また 1 つの特許公報につき、通常複数の IPC が付与される。その中で、最初に記載されている筆頭 IPC がそ
の発明を代表する分類になっており、本研究では筆頭 IPC のみを用いる。

## 3 関連研究

従来から文章間の類似度を求める研究は行われており、TFIDF のコサイン類似度を用いた手法 [3] や、LSAを用いた手法 [4] が利用されてきた。近年では、大規模言語モデルを用いたものが利用されており、SentenceBERTを用いて文章を分類する手法 [5] や、BERTScore を用いて文章の類似度を計算する手法 [6] が存在している。また、大規模言語モデルを用いた類似特許検索も行われており、[7] では、教師あり学習で類似特許検索を行っている。

## 4 BERTScore

BERTScore は、BERT モデルを用いて 2 文間の類似度を計算する一手法である [8]。入力する 2 文はトークン単位に分割され、それぞれ対応する埋め込みべクトルを抽出し、それらのぺアの中からコサイン類似度の高い組み合わせを求めて文間の類似度を計算する。BERTScore には Recall, Precision および F 値のスコアがあるが、本研究では $\mathrm{F}$ 値を用いる。

## 5 提案手法

本研究での類似特許検索を行う上では、特許公報の「特許請求の範囲」に記載される各請求項の内容が似ているものを検索するという考えの基で行う。 その上で、2つの特許の請求項からそれぞれ得られた文章を、BERTScore を用いて類似度を計算していく。ここで、一般的にその特許を構成する最も重要な要素を最初の請求項とすることが多いため、本研究では最初の独立項とその従属項1) のみを、類似度を求めるための文章として使用する。また、特許の類似箇所を判定するため、請求項で文を分割する。

1） 請求項がいくつ書かれているかは特許公報ごとに異なるが、請求項 2 以降は、その前に記述した請求項を引用することが多々ある。前の請求項を引用しているものを従属項と呼び、引用していないものを独立項と呼ぶ。
表 1 請求項分割アルゴリズム

入力 $: \mathrm{N}$ 個の請求項テキスト $\mathrm{T}=(\mathrm{t} 1, \mathrm{t} 2, \ldots, \mathrm{tN})$, セグメント文字数上限 max, セグメント文字数下限 min 出力 : セグメントのリスト $\mathrm{L}=()$

1. 処理テキスト $\mathrm{t}$ の初期値を $\mathrm{t} 1$ とし、 $\mathrm{T}$ から先頭の要素を削除する。
2. $\mathrm{t}$ が max 文字以内のテキストであれば、 $\mathrm{t}$ をの末尾に追加して5へ。そうでなければ3へ。
3. $\mathrm{t}$ の $\min \sim \max$ 文字目に句読点があれば、 $((\min +\max ) / 2)$ 文字目に最も近い句読点を探し、その句読点の位置を $\mathrm{k}$ 文字目とする。

4. $\mathrm{t}$ の $\mathrm{k}$ 文字目までのテキストを $\mathrm{L}$ の末尾に追加、かつ $(\mathrm{k}+1)$ 文字目以降のテキストを新たに $\mathrm{t}$ とし、2へ。

5. L の先頭の要素を削除する。Tにまだ要素が残っていれば先頭の要素を $\mathrm{t}$ として $2 へ 。$ 残っていなければ終了する。

さらに、類似特許検索において「請求項」「前記」 などの、文章の内容を表す上で重要ではないと判断したものはストップワードとして予め削除する。ここで、一つの請求項に非常に長い文が現れることがあるが、一度に長い文章を比較すると内容は関係なくても類似度の高い単語が見つかる可能性が高くなり、検索の精度が落ちてしまう。そのため、概ね 150 文字を超える請求項については、各セグメントの長さが 100 文字前後になるようにさらに分割する。区切り方のアルゴリズムは表 1 に示す。 $\max$ は 150 文字、 $\min$ は 50 文字とした。以下、分割したテキストを「セグメント」と呼ぶ。

2 つの特許から抽出した各セグメントのすべての組み合わせについて BERTScore による類似度を求める。それらの組み合わせのうち、同一セグメントの重複を除き、スコアの高い上位 5 つ組を類似セグメントとし、それらの類似度の平均を特許間の類似度として求める。

さらに、類似特許検索の精度を上げるために汎用言語モデルのファインチューニングを行う。 BERTScore は単語単位で類似度を計算するため、元のモデルの単語の理解に加え、特許に出てくる単語に関する知識を獲得することで特許の分野に適合した検索が期待できる。

## 5.1 モデルの学習方法

メインクラスごとに特許公報 5 万件をコーパスとして用意し、汎用言語モデルのファインチューニングを行う。特許は請求項だけではなく、「詳細な説明」から拒絶理由を探すこともあるため、「詳細な説明」も学習する対象として用意する。なお、学習の際のエポック数は 2 である。他の設定は初期値のままとした。

## 5.2 被引用文献

図1のように、ある特許公報 $\mathrm{A}$ の出願の審査において拒絶理由通知書等で特許 B が引用されている場合、Aを B の「被引用文献」という。拒絶理由通知書で引用されることは、審査において A と B の類似性が指摘されていることを意味している。そこで、本研究ではこの関係を用いて B の類似特許検索において、B の全ての被引用文献を正解集合として評価実験を行う。

図 1 被引用文献の説明

## 6 特許公報収集方法

特許公報収集には特許検索システムを使用する。 データを取得する際に「請求項」と「詳細な説明」 を含める。特許同士の類似度を比較する際には、特許の「請求項」のみを用い、モデル学習の際には 「請求項」と「詳細な説明」を用いる。

## 7 実験

## 7.1 実験概要

BERTScore と汎用言語モデルによる類似特許検索の性能評価方法について述べる。まず被引用文献が 1 件から 5 件存在する特許公報を検索対象のデータ （以下、「教師データ」と呼ぶ）として用意する。そして教師データの被引用文献を、教師データに対して検索されるべき正解データとする。さらに、教師データの筆頭 IPC とメイングループまでが同じ特許公報を約 100 件ほど用意し、それらを「検査データ」 として扱う。これらの教師データと正解データ、検査データを合わせて、1つのテストセットと呼ぶ。1 つの教師データに対し、各正解データおよび各検査データとの類似度を求め、大きい順にソートした検索結果を得る。検索結果の中で正解データがより上位にあれば高い性能を持っているといえる。本研究では各検索順位における再現率、適合率を求めて得られる PR 曲線の AUC (Area Under Curve)を検索性能評価指標として用いる。

また本研究では、G01、G02、G03、G06、H01、H02、 H04、以上 7 つの IPC（セクション、メインクラス） の特許公報を用いた。これらを選んだ理由は、他の IPC（セクション、メインクラス）と比べて特許公報の件数が多く、学習に必要なデータが十分確保できるからである。

## 7.2 モデルごとの性能比較

まずどのモデルが一番類似特許検索に適しているかを確かめるために、予備実験として G01 の 1000 件のテストセットを用いてモデルごとの性能比較を行った。性能比較を行ったモデルは、「LINE DistilBERT」[9]、「日本語 DeBERTa V2 tiny」[10]、「日本語 DeBERTa V2 large」[11] の3つである。結果を図 2 に示す。

図 2 モデルごとの性能比較

一番性能が高かったものは「LINE DistilBERT」 だったため、以降本モデルを性能比較に用いる。

AUC の值がどの程度の性能を示しているのかを確かめるために、AUC の値と検索結果の正解デー タがどの程度高い順位にあるのかの関係を表 2 に示す。代表として、「LINE DistilBERT」と「日本語 DeBERTa V2 large」の結果を示した。例えば「LINE DistilBERT」の「Recall at 5」の結果は 0.4451 だが、 これは 5 位まで確認すると、全体の正解データのうち約 $44.5 \%$ が存在することを示している。

## 7.3 学習効果とセクションごとに学習した モデルとの性能比較

学習による効果と、モデルの学習を行う際、G01 などのメインクラスのカテゴリーで学習させる方が良いのか、 $\mathrm{G}$ や H などのセクションのカテゴリーで学習させる方が良いのかを検証する。

G01、G02、G03、G06、H01、H02、H04 の同じ IPC表 $2 \mathrm{AUC}$ の値と検索結果の正解データの順位の関係

表 3 IPCごとの AUC 比較

（セクション、メインクラス）ごとに特許公報 5 万件をコーパスとして用意し、それぞれファインチュー ニングを行った汎用言語モデルを用意する。また、 $\mathrm{G}$ セクションの 4 つのメインクラスおよび、 $\mathrm{H} セク$ ションの 3 つのメインクラスのそれぞれについてコーパスを結合してファインチューニングを行った汎用言語モデルも用意する。そして、それぞれのモデルで対応するメインクラスの 1000 件のテストセットを用いて性能比較を行った結果を表 3 に示す。また、比較対象として、ファインチューニング前の元の LINE DistilBERT モデルの性能も示す。G または H のセクション全体の単位で学習したモデルは、元のモデルよりも性能が高い結果が得られたため、学習による効果があると言える。しかしメインクラスごとにばらつきはあるが、各メインクラスで学習をしたモデルが一番高い性能を示した。

## 7.4 TFIDF との性能比較

提案内容が、既存手法である TFIDF よりも優れているかを確かめるために、TFIDF と LINE DistilBERT の性能を比較する。それぞれ G01 の特許 5 万件を学習したのち、G01の 1000 件のテストセットを用いて性能比較を行った。LINE DistilBERTを学習する際のエポック数は 2 である。また比較対象として元の LINE DistilBERT の性能も示す。結果を図 3 に示す。 G01 を学習した LINE DistilBERT は、TFIDF よりも高い性能を示していた。また元の LINE DistilBERT も TFIDF より高い性能を示しており、本提案内容が TFIDF よりも優れていると言える。

図 3 TFIDF と LINE DistilBERT の性能比較

## 8 検索性能の人手評価

G01 のテストセットのうち、58 件を用いて検索性能の人手評価を行った。検査データであっても、教師データの被引用文献にはならなかっただけで、実は教師データと酷似している内容であり、それゆえに順位が高くなっている可能性などを確かめることができる。

人手評価の方法について説明する。教師データと正解、検査データとの類似度を測る際、似た文章の組み合わせが最大 5 つ存在する。正解データのうち上位 2 つおよび最下位 1 つ、検査データのうち上位 3 つのデータにおいて、教師データと似た文章として挙げられた部分が、本当に似ているのかを人手で確認する。正解データが 1 ２個の場合は、全ての正解データを対象とする。文章の類似度を評価する際は、五段階評価を用いる。五段階評価の内容を、表 4 に示す。得られた評価を、正解データ、検査データごとに平均を取る。また、検索対象の約 100 件のうち順位が 50 位以下となった正解データの平均も取る。評価の結果を表 5 に示す。結果は、正解データ、 50 位以下の正解データ、検査データの順で評価平均が高いことがわかった。これは正解データにおいて、他のデータと比べて、より似たセグメントを検索できていることを示している。また、この結果だけ見ると、順位が高い検査データの評価は比較的低いため、検査データの順位が高くても、必ずしも似たセグメントを検索できているとは限らないことがわかる。

検索された特許公報のセグメントを実際に確認し、正解データなのに低い順位にあるものや、検査データなのに高い順位にある原因を確かめた。その表 4 五段階評価の内容

 \\

表 5 人手評価の結果

原因の一つとして、特許公報のセグメントが 10 文字から 30 文字と非常に短いものが存在するということが挙げられる。これらは請求項番号が 90 などと大きい場合に、短いセグメントが存在していると思われる。セグメントが短い場合、正しく類似度を計算できないため、極端に高い、もしくは低い類似度が算出されていたと思われる。また、セグメント数が 1 つや 2 つなど少ない場合、類似度を求めるセグメントの組み合わせが少なくなってしまうため、正しい類似度を算出できない可能性がある。正解データが 2 位や 3 位など高い順位にある時、それよりも高い位置に検査データがある場合は、内容が他の検査データと比べて似ていることが多く、さらにはそれは教師データの特許公報と出願人が同じ場合が多かったように思えた。

## 9 おわりに

本研究では、汎用言語モデルを使用し、教師なしで類似特許検索を行う方法を提案した。結果ファインチューニングによって検索性能は上がり、従来手法である TFIDF よりも高い性能を示した。

今後の課題としては、「発明の概要」「発明を実施するための形態」の文章も類似度比較の対象とすることにより、性能が上がるかを検証したい。また類似度比較の際、セグメントが短い場合は比較の対象外にしたり、周辺の請求項と繋げて一つのセグメントにしたりすることで性能が上がるかを検証したい。

## 謝辞

本研究は公益財団法人浜松地域イノベーション推進機構より A-SAP 産学官金連携イノベーション推進事業による助成を受けています。

人手評価においては、静岡大学情報学部綱川研究室のメンバーの協力を得ました。ここに感謝の意を表します。

## 参考文献

[1] 特許庁."特許分類の知識”. 発明推進協会アジア太平洋工業所有権センター. 2013

[2] 松田聡." 特許申請・特許出願件数の推移”. 松田国際特許事務所.2023-08-29.https://www.matsudapat.com/tokkyo-nagare/kensuu.html

[3] 渡邊博之.TF・IDF 法を用いた類似レポート判定に関する一検討. 2006

[4] 沈暁䳏, 森元史朗, 三原徹治. 潜在的意味検索 LSA における縮約効果. 電気関係学会九州支部連合大会. 2009

[5] 加納涉, 竹内孔一.Sentence-BERT を利用した FAQ 検索におけるデータ拡張手法. 言語処理学会第 28 回年次大会発表論文集. 2022

[6] 吉田基信, 松本和幸, 吉田稔, 北研二.BERTを用いた SNS 上における攻撃的文章訂正システム. 情報処理学会第 84 回全国大会. 2022

[7] 星野雄毅, 内海祥雅, 中田和秀.Contrastive Learning 利用した類似特許検索. 言語処理学会第 29 回年次大会発表論文集. 2023

[8] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger and Y. Artzi: "Bertscore: Evaluating text generation with bert", ICLR 2020 (2020)

[9] LINE. https://huggingface.co/line-corporation/linedistilbert-base-japanese

[10] 京都大学. https://huggingface.co/ku-nlp/deberta-v2-tinyjapanese

[11] 京都大学. https://huggingface.co/ku-nlp/deberta-v2large-japanese


# IPC と要約文を用いた特許 Encoder と教師なし分類手法の提案

東将己 ${ }^{1}$ 内海祥雅 ${ }^{2}$ 中田和秀 1
1 東京工業大学大学院 2 楽天グループ株式会社
higashi.m.ac@m.titech.ac.jp

## 概要

特許には，その特許の技術分野を表す IPC（国際特許分類）が付与されている. しかし，この分類は粒度は荒いため，企業が経営戦略の立案に利用するには，その企業が行っているビジネス・技術分野を踏まえた特許分類の方が望ましい，そのため本研究では企業独自の詳細な特許分類を機械学習を用いて行う．1つ目として，特許の IPC と要約文を入力とした特許 Encoder からなる教師あり学習を行い，さらに IPC の表現力を高めるために，IPC と要約文の関連性を利用した事前学習法と組み合わせる手法を提案する. 2つ目として，アノテーションを行わず一般的な特許文書データのみを用いた教師なし学習を行い，その結果を利用して企業独自の特許分類を行う手法を提案する。

## 1 はじめに

特許は発明を保護するものであり，社会において重要な役割を果たしている。そのような特許の主な分類法として，国際的に定められた IPC や地域特有の CPC, FI などがある.それらは現状，特許審査官が手作業で分類しているため，作業コストや人為的ミスが大きな課題となっている。そのため，IPC などの特許分類を機械学習によって自動化する研究が行われてきた. しかし, これらの汎用的な分類は粒度が荒く使いにくい. 企業が経営戦略 (知財戦略) を立案する際には，その企業が行っているビジネス・技術分野を踏まえた独自の観点での特許分類の方が有用である。そのため IPC などの分類情報を活用しつつ, 企業独自の観点での粒度の細かい特許分類を自動で行う手法を開発する。

本研究では 2 つの問題設定を考える. 1 つ目は企業独自の観点で特許分類されたアノテーションデー タがある状況であり，2つ目はアノテーションデー タが全くない状況である．1つ目の問題設定の方が特許分類の精度は期待できるが，手作業でアノテー
ションする作業コストは高いため，それを必要としない2つ目の問題設定も考える.

1 つ目の問題設定では，教師あり学習を行うことになる．そのため，特許の IPC と要約文を入力とする特許 Encoder を提案する．IPCを入力に用いる既存研究は存在するが，それらは IPC の共起性のみに着目していた. 本研究では IPC の表現力向上のために IPC の共起性だけではなく，要約文にも着目したものとなっている.また，入力に使う IPC の表現力を高めるために， 3 種類の事前学習手法を提案する. 事前学習では，アノテーションされていない多数の特許における IPC と要約文の関連性を用いる。

2 つ目は問題設定では，教師なし学習を行うことになる。まず，アノテーションされていない多数の特許を用いて対照学習を行う。そして，企業が想定する特許分類の内容を表すクラス名に LLM を適用して得られたテキストを利用して，企業独自の特許分類を行う。そのとき， 1 つ目の問題設定で提案した特許 Encoder も利用する。

## 2 関連研究

機械学習を用いた特許の自動分類として多くの研究があるが，ここではその中でも深層学習を用いた代表的な研究を紹介する。まずは IPC を分類する既存研究を 3 つ紹介し，その後 IPC 以外のものを分類する既存研究を 2 つ紹介する.

IPC 分類における先行研究の 1 つ目は DeepPatent[1] である.これは特許の要約文を skipgram を用いて数値化し，CNNを用いて特許の要約文から IPC 分類を試みたモデルである．2つ目は PatentBERT[2] で, 特許のタイトル, 要約文, 請求項を入力として，BERT[3] を用いて IPC，CPC 分類を行ったモデルである. その結果 DeepPatent と比較すると，precision@1，F1@5において精度が向上したという結果を得ている. 3 つ目は Hoshino et al.[4] が提案した単語の出現頻度と IPC の階層構造を考慮しながら IPC 予測を行ったモデルである。入力には特
許文書の請求項を用いている. PatentBERT と比較して precision, recall, F1, AUC の精度が向上したという結果を得ている。

IPC 以外の分類における先行研究の 1 つ目は Choi, et al. [5] が提案した，開発した技術が特許侵害していないか調べるモデルである. IPC，CPC，USPC の特徴量を diff2vec[6] を用いて作成した上で, 要約文の入力モデルとして（事前学習されていない） Transformer[7] を用いている. 2 つ目は Higashi, et al. [8] が提案した IPC と要約文を用いて, 企業の経営戦略に用いるために独自に作成した技術分野別のカテゴリに分類するモデルである．IPC の特徴量は共起グラフから Node2vec[9] によって作成し, 要約文の入力モデルとして BERTを用いている.

## 3 提案手法

## 3.1 提案 Encoder

本研究では IPC と特許文書の（自然言語的）関係性を捉えるために Asymmetric Attention[10]を参考に図 1のようなモデル Asymmetric Patent Encoderを提案する. Asymmetric Patent Encoder は TransformerEncoder を用いた言語モデルと Multi-Head-Attentionを組み合わせたモデルになっている. TransformerEncoder で採用されている Attention 機構により, 単語間の関係の重要度を考慮することが可能となる。 そして，それらは IPC 側のモデルにも採用した。なお， TransformerEncoder 部分のパラメータについては東北大が公開している大規模データで学習された BERT base モデル [11]を使用する。これにより言語の汎用的な特徴を利用することができる. ただし，学習時間の削減のために TransformerEncoder のパラメータは更新しないようにする。

そして，要約文のテキスト情報，IPC と要約文の関係性，IPC 間の共起性の3つを同時に考慮するために, 図 2 のように BERT と Asymmetric Patent Encoder と Higashi, et al. [8] が提案した共起グラフと Node2vecを用いた Encoder の 3つの出力を concat したものを提案 Encoder とする。

## 3.2 IPC の事前学習手法

3.1 節で Asymmetric Patent Encoderを提案したが， そこで使うIPC の表現力を向上させるためにアノテーションされていない多数の特許データを用いた 3 つの事前学習手法を提案する.
1 つ目は特許文書と IPC が紐づいているかどうかの二値分類タスクを学習するものである。 ある特許に対して各 IPC の Asymmetric Patent Encoder の出力を 1 次元に変換する。そのあとそれらを Sigmoid 関数と Binary Cross Entropy に入力することで，その特許に付与されている IPC は 1 , そうでないものは 0 に近づくように学習を行う。

2 つ目は $\cos$ 類似度を回帰タスクで学習するものである. ある特許の Asymmetric Patent Encoder の BERT 部分の出力に対して各 IPC の Asymmetric Patent Encoder の出力との $\cos$ 類似度を計算する。そしてその特許に付与されている IPC 1 , そうでないものは-1 に近づくように回帰を行う。

3つ目は triplet loss[12]を用いたものである. ある特許文書の埋め込みとその特許に付与されている IPC の埋め込みのユークリッド距離を近くし，そうでないものは遠くなるように学習を行う. 本研究では特許文書の埋め込みについては Asymmetric Patent Encoderの BERT 部分の出力, IPC の埋め込みについては各 IPC の Asymmetric Patent Encoder の出力を用いる。

## 3.3 教師なし分類手法

教師あり学習を行うには，企業独自の観点での特許分類データを必要とするため，事前に手作業でアノテーションを行う必要がある。この作業コストは非常に高く，実用上の制限となる．そのため本節では，アノテーションを必要としない教師なし学習を用いた特許分類法を提案する。

教師なし分類手法として自由なクラス名を入力できる対照学習に着目する. 対照学習は SimCLR[13], SimCSE[14], CLIP[15] などに用いられている手法であり，ペアであるデータの分散表現の距離を近くするものである. 本研究では図 3 のような学習フレー ムワークを提案する．3.1 節で説明した特許の要約文と IPC を入力する提案 Encoder に加え，特許の背景技術の項目の文書を入力とする BERTを用いて学習する. 損失関数には InfoNCELoss を使用する. InfoNCELoss とはバッチ内の二つの出力について類似度行列を作成し，対角成分の類似度を高くしそれ以外の部分を低くするように softmax 関数を用いた学習を行うものである. 具体的には, 以下の式のように表される。

$
\text { InfoNCELoss }=-\sum_{i=1}^{r} \log \frac{e^{\operatorname{sim}\left(x_{1}^{a_{i}}, x_{2}^{b_{i}}\right)}}{\sum_{j=1}^{r} e^{\operatorname{sim}\left(\boldsymbol{x}_{1}^{a_{i}}, \boldsymbol{x}_{2}^{b_{j}}\right)}}
$

図 1 Asymmetric Patent Encoder

図 2 提案 Encoder

図 3 教師なし学習のフレームワーク

続いて推論では図 4 のように特許の要約文と IPC を提案 Encoder に入力し，「ペイアプリにおける利用促進」などのクラス名を BERT に入力する. ただし，クラス名をそのまま入力すると表現力が乏しいという問題が生じたため，GPT3.5[16] を用いてクラス名を説明文に変換した. 変換の方法については例示を提示せずに生成させる zero-shot 変換と，例を提示する few-shot 変換を用いる.

## 4 数値実験結果

## 4.1 IPC 事前学習の検証

3.2 節で説明した IPC 事前学習の有無，並びに 3 つの事前学習方法の精度検証を行う. Encoder は BERT と Asymmetric Patent Encoder を組み合わせたモデルである。事前学習は 951,340 件の特許データ，

図 4 推論時のフレームワーク

教師あり学習はアノテーションされた特許データ 8,160 件で行い，訓練，検証，テストデータに $6: 2: 2$ で分割する.

表 1 事前学習別の精度比較

各事前学習手法ごとの結果が表 1 となる. 事前学習なしの状態と比較して二值分類による事前学習は大きく精度向上に繋がると分かった. その一方, $\cos$類似度による事前学習は精度向上が小さく, triplet loss による事前学習は精度が向上していない. このように特許文書の埋め込みと IPC の埋め込みを用いた埋め込みべースの事前学習手法は精度向上に結びつきにくいことがわかった.

## 4.2 Encoder による精度比較

3.1 節で提案した Encoder と既存の Encoderによる精度比較を 4.1 節で用いた特許データで行う. 事
表 2 事前学習別の精度比較

 & Node2vec & precision & recall & F1 & PR-AUC \\

前学習方法については二値分類を用いる．結果が表 2 である．要約文単体を入力する BERT のみのモデルと比較して, 要約文と IPC を入力に用いる BERT+Node2vec や BERT+Asymmetric Patent Encoder は精度が大きく伸びていることがわかる.このことから特許分類において IPC の利用は有効的であることといえる. また, 本研究で提案した Asymmetric Patent Encoder は，[8] で提案された共起グラフを用いた手法と同等の効果があることが示唆される. そして, 提案 Encoder (BERT+Asymmetric Patent Encoder+Node2vec）は, 全てのモデルの中で最も精度が高い. つまり共起グラフと Asymmetric Patent Encoder が捉えている IPC の特徴は別の要素であり, 2つを組み合わせることでより高い精度を達成していると考えられる。

## 4.3 教師なし分類手法の精度検証

3.3 節で提案した教師なし学習を 395,470 件の特許データで行う．ここでは，推論時にクラス名を変換せずにそのまま利用, zero-shot 変換, few-shot 変換の 3 つ変換について精度がどのように変化するかを検証する。推論については 4.1 節で用いた教師あり学習のテストデータを使用し, 評価指標は類似度の高い上位 $K$ 個のクラスを真と予測したときの precision, recall, F1, accuracy とする. 結果が表 3である.まず zero-shot 変換によって精度が大きく伸びていることから GPT3.5を用いたクラス名の変換は効果的であることがわかる. 次に few-shot 変換によって zero-shot 変換よりも精度をさらに向上させられることがわかる. そのため GPT3.5によるクラス名の変換は効果的であることがわかった.

## 4.4 実用性に対する考察

教師あり学習における提案 Encoder(BERT+ Asymmetric Patent Encoder+Node2vec) の性能は，表 2 より precision が約 68\%, recall が約 66\%であることがわかる. よって，機械学習単体での運用は難しいが，表 3 教師無し分類: 変換比較

機械学習による分類結果を人間が適宜修正するといった使い方が現実的である．続いて教師なし分類手法については，表 3 より上位 10 個を取ってくることで約 $81 \%$ の特許について有効なクラスを提供できることがわかる. そのため分類クラスの候補を 10 個程度まで絞り，そこから専門家が有効なクラスに紐づけるといった利用により，専門家への負担を軽減することが可能であると考えられる。

## 5 おわりに

本研究では，企業独自の特許分類を自動で行うための特許 Encoder の提案と，特許の大規模データを用いた教師なし分類手法の提案を行った. その結果，提案 Encoder は既存研究を上回る精度となり，教師なし分類手法についてはクラスの候補を絞ることで専門家の負担を軽減させられるツールになりうることがわかった. 今後の課題として, Encoder の改良による特許分類精度の向上と GPT 3.5 に入力するより良いプロンプトの開発が挙げられる.

## 参考文献

[1] Shaobo Li, Jie Hu, Yuxin Cui, and Jianjun Hu. Deeppatent: patent classification with convolutional neural networks and word embedding. Scientometrics, Vol. 117, No. 2, pp. 721-744, 2018.

[2] Jieh-Sheng Lee and Jieh Hsiang. Patent classification by fine-tuning bert language model. World Patent Information, Vol. 61, p. 101965, 2020.

[3] Jacob Devlin, Kenton Lee Ming-Wei Chang, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 41714186, 2019.

[4] Yuki Hoshino, Yoshimasa Utsumi, Yoshiro Matsuda, Yoshitoshi Tanaka, and Kazuhide Nakata. Ipc prediction of patent documents using neural network with attention for hierarchical structure. PLOS ONE, 2023.

[5] Seokkyu Choi, Hyeonju Lee, Eunjeong Lucy Park, and Sungchul Choi. Deep learning for patent landscaping using transformer and graph embedding. Technological Forecasting and Social Change, Vol. 175, p. 121413, 2022.

[6] Benedek Rozemberczki and Rik Sarkar. Fast sequencebased embedding with diffusion graphs. In International Workshop on Complex Networks, pp. 99-107, 2018.

[7] Ashish Vaswani, Niki Parmar Noam Shazeer, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, /Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[8] Masaki Higashi, Yoshimasa Utsumi, and Kazuhide Nakata. Patent classification for business strategy with bert. In Intelligent Computing and Optimization, Vol. 5, pp. 84-94, 2023.

[9] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 855-864, 2016.

[10] Lisa Anne Hendricks, John Mellor, Rosalia Schneider, Jean-Baptiste Alayrac, and Aida Nematzadeh. Decoupling the role of data, attention, and losses in multimodal transformers. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 570-585, 2021.

[11] 東北大学乾研究室. Pretrained Japanese BERT models. https://github.com/cl-tohoku/bert-japanese (参照 2024-01-12).

[12] Elad Hoffer and Nir Ailon. Deep metric learning using triplet network. In Similarity-Based Pattern Recognition, pp. 84-92, 2015.

[13] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning, Vol. 119, pp. 1597-1607, 2020.

[14] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE:
Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910, 2021.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139, pp. 8748-8763, 2021.

[16] Open AI. GPT-3.5-turbo. https://platform.openai. com/docs/models/gpt-3-5 (参照 2024-01-12).