# 引用文脈の類似度に基づく局所的引用論文推薦

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 3 有田朗人 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 大阪工業大学
$\{m 24 p 010$, dohsaka\}@akita-pu.ac.jp, h.sugi@ieee.org
\{hirotoshi.taira, m1m21a02\}@oit.ac.jp

## 概要

出版される論文の爆発的な増加により引用論文推薦の需要が高まっている. 本論文では，対象論文の関連研究の章を執筆する際に，引用を付与すべき個所に対し適切な引用論文を推薦する局所的引用論文推薦のタスクを扱う. 引用を付与すべき個所の周囲の文は引用文脈と呼ばれる。本研究では，ある特定の論文を引用する際に書かれる引用文脈同士は似通っていることが多いという仮定のもと，対象論文の引用文脈と既存論文の引用文脈の類似度を使って引用論文を推薦する引用文脈参照法を提案する. しかし，この手法には一度も引用されたことがない論文は推薦できないコールドスタート問題が存在する. 本研究では, 対象論文の引用文脈と既存論文のタイトル・要旨間の類似度を使った従来手法と組み合わせることによりコールドスタート問題に対処し，論文推薦の性能が向上することを示す.

## 1 はじめに

学術論文を執筆する際，論文中の主張を裏付けるために適切な引用を行うことは重要である.しかし, 近年論文数が爆発的に増加し, 研究者が関連する研究をすべて読み切ることは困難となっており，関連研究に関わる論文執筆支援の必要性が高まっている.

Narimatsu ら [1] は, 研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援を目的として，関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本稿では, その中の引用論文推薦タスクに着目する. これは与えられたテキストに対して適切な引用論文を推薦するタスクであり，大域的引用論文推薦と局所的引用論文推薦に分類される [2]. 大域的引用論文推薦では, 参考文献リストに入るべき論文を推薦するのに対し，局所的引用論文推薦では，引用を付与すべき個所（引用マーカー）が与えられたときに引用マーカー内に入る論文を推薦する。本研究では，関連研究の章を執筆する際の局所的引用論文推薦のタスクを扱う．また, 用語の定義として, 引用マーカーの前後 50 単語を引用文脈，引用を付与したい引用文脈をもつ論文を対象論文と呼ぶ。

引用論文推薦タスクにおいて，推薦候補となる既存論文のタイトル・要旨を集めたものを論文プールと呼ぶ. 2 節で説明するように, 従来研究として,現在着目する対象論文の引用文脈と, 論文プール内の既存論文のタイトル・要旨の間の類似度を計算し, 対象論文の引用文脈と類似したタイトル・要旨をもつ論文を推薦するという手法が提案されてきた. この手法をタイトル・要旨参照法と呼ぶ.この手法には論文のタイトル・要旨は容易に収集できるという利点があるが，引用文脈とタイトル・要旨は別の意図で書かれた文章であるため，適切な引用論文を検索できない場合がありえる．そこで，本研究では，ある特定の論文の引用文脈同士は似通っていることが多いことを仮定し，対象論文の引用文脈と既存論文が引用された際の引用文脈の類似度を使って引用論文を推薦する引用文脈参照法を提案する. この手法では，既存論文の引用文脈を引用文脈プー ルとして収集し, 現在着目している対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プー ルから探して推薦する. 局所的引用論文推薦の従来研究では，タイトル・要旨を使った手法は提案されてきているが，知る限りにおいて，既存論文の引用文脈を収集し，それを活用することに着目した研究はない。しかし，引用文脈参照法には，過去に一度も引用されたことがない論文は推薦できないというコールドスタート問題が存在する。 そこで，本研究では，広く用いられてるタイトル・要旨参照法と組み合わせることで，一度も引用されていない論文も推薦できるように対処した.

図 1 手法の概要

以下において，2節で関連研究を述べ，3節で提案手法を示す. 4 節で，データセット並びに評価方法を説明し，評価結果について考察する。

## 2 関連研究

局所的引用論文推薦は現在までに様々なアプロー チがとられてきた. 既存研究には, 引用文脈と論文間の関係に焦点を当てる研究が多くあり, Sugimoto ら [3] は，対象論文の引用文脈と推薦する候補の論文のタイトル・要旨の双方を独立に SciBERT[4] で埋め込み，候補の論文をコサイン類似度でランク付けするモデルを提案している。 また，Ebesu ら [5] は，引用文脈に応じた引用推薦のためのニューラル引用ネットワークを，引用文脈と著者ネットワーク，論文のタイトルを使用することで検討した. Zhang ら [6] は，草稿時の状況を想定しており，引用文脈と既に自分で引用している被引用論文の情報, 引用文脈を書いている章に着目した推薦手法を提案している. Jeong ら [7] は，引用文脈の埋め込み表現を， BERT[8] と GCN[9] を用いて取得し, 引用論文推薦に取り入れている. しかし, 既存研究には著者が引用したい被引用論文が，他の既存論文ではどのような引用文脈で引用されているかに着目した研究は知る限りでは存在しない. 本稿では, 対象論文の引用文脈と被引用論文の既存論文における引用文脈の比較を行うことが引用論文推薦に有効であることを示す.

## 3 提案手法

本稿では，与えられた引用文脈に対して，類似したタイトル・要旨をもつ論文を取得する手法をタイトル・要旨参照法と呼ぶ。また，新たに提案する，類似した引用文脈で引用された論文を取得する手法を引用文脈参照法と呼ぶ．さらに，引用文脈参照法亿存在する， 1 度も引用されていない論文は推薦対象にならないというコールドスタート問題に対処するため, タイトル・要旨参照法と引用文脈参照法を組み合わせた手法を提案する.

推論の概要図を図 1 に示す.この図は, 論文プー ル内に $\mathrm{A}, \mathrm{B} ， \mathrm{C}$ の 3 件の論文があり， B のみ一度も引用されていない状況である. よって, 引用文脈プールに B の引用文脈は存在しない. 引用文脈が存在する A および C は引用文脈参照法を用いてスコアを計算し，引用文脈が存在しない B はタイトル・要旨参照法を用いてスコアを計算している例を示している.

タイトル・要旨参照法引用文脈と論文プール内の既存論文のタイトル・要旨の類似度を比較するために, 文の埋め込み表現に特化した BERT である SBERT[10](以下 SBERT)を用いてモデルを作成す

る. アンカーの引用文脈と対応する論文のタイトル・要旨を正例とし, 論文プール内の正例論文以外からランダムに選んだ論文のタイトル・要旨を負例として，以下の式で表される損失関数で埋め込み表現を学習する．また，プーリング層には，BERTの出力ベクトルの平均値を使用する.

$
\text { Loss }=\max \left.\{\left(\left.\|C-P^{+}\right.\|-\left.\|C-P^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $P^{+}$は正例の埋め込み, $P^{-}$は, 負例の埋め込みを示す.また，元論文 [10] に従い，距離にはユークリッドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，論文プール内の論文のタイトル・要旨をそれぞれ上記のモデルに入力して得られたべクトル間のコサイン類似度を計算し，これをスコアとする。最後に，スコアが高い順に $\mathrm{k}$ 件の論文を取得する。

引用文脈参照法引用文脈同士の類似度を比較するために，タイトル・要旨参照法と同様に SBERT を用いてモデルを作成する。この手法では，アンカーの引用文脈で引用されている論文と同じ論文を引用している引用文脈を正例とし, 引用文脈プール内の正例の引用文脈以外からランダムに選んだ引用文脈を負例として，以下の式で表される損失関数で埋め込み表現を学習する。

$
\text { Loss }=\max \left.\{\left(\left.\|C-C^{+}\right.\|-\left.\|C-C^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $C^{+}$は正例の埋め込み， $C^{-}$は，負例の埋め込みを示す. タイトル・要旨参照法と同様に，距離にはユー クリッドを使用し，マージン $\epsilon$ は 1 とした.

推論時は，対象論文の引用文脈と，引用文脈プー ル内の論文の引用文脈の類似度をモデルに入力し,得られたべクトル間のコサイン類似度を計算する。 その際，引用文脈プール内の論文で，引用文脈が複数所持しているときは, 最も大きい類似度をスコアとする。最後に，スコアが高い順に $\mathrm{k}$ 件の論文を取得する.

組み合わせた手法引用文脈参照法において，1 度も引用されていない論文が推薦対象にならないという問題に対処するため，2つの手法を組み合わせる. 1 度以上引用されている論文，つまり引用文脈を所持している論文には引用文脈参照法を使用し, 対象論文の引用論文と引用文脈プール内の論文の引用文脈とのコサイン類似度を計算する. 未引用の論文には，論文プール内の論文との類似度をタイ
トル・要旨参照法を使用しコサイン類似度を計算する. その後, 得られたコサイン類似度をソートし,高い順に $\mathrm{k}$ 件の論文を取得する。

## 4 実験

## 4.1 データセット

研究者の学術論文の執筆支援を目的として, Narimatsu ら [1] によって作成されたデータセットを使用する。このデータセットには， arXiv から取得した論文の関連研究の章が約 30000 件と，関連研究の章で引用されている論文のタイトル，要旨が含まれている. すべての関連研究の章のうち, 引用論文数が 1 件以上である約 13000 件を使用する. これを訓練データ，検証データ，テストデータにそれぞれ約 10400，1300，1300 件ずつに分割する．また，引用文脈の数は訓練データ，検証データ，テストデー タそれぞれで約 70000，10000，7800 件である. テストデータの引用文脈のうち，コールドスタート問題が起こり得る数は 692 件であり，約 $9 \% を$ 占めている.

## 4.1.1 論文プール

本稿では，論文のタイトル・要旨が得られた論文集合を論文プールと定義する。関連研究の章をもつ論文と，その章で引用されている論文が論文プールに含まれている．総数は約 38000 件である．

## 4.1.2 引用文脈プール

訓練データ内の関連研究の章で使われた引用文脈を集めたものを引用文脈プールと定義する。 よって，総数は約 70000 件である. 引用文脈プール内の論文は約 10000 件存在し, 最大引用回数は 830 回,最小引用回数は 1 回, 平均引用回数は 7.8 回である.

## 4.2 評価手法

提案した論文推薦システムが既存の論文の引用をどの程度予測できるかを測定する。本稿では，推薦された候補の上位 5 件と上位 10 件に対して Recall とMRRを計算して評価する. Recall は以下の式で表される。

$
\text { Recall @k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は考慮する上位ランキング件数， $\alpha$ は正解の被引用論文集合, $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストで

ある. また，MRR は以下の計算で表される.

$
M R R @ k=\frac{1}{|\alpha|} \sum_{u \in \alpha} \frac{1}{\operatorname{rank}_{u}}
$

ここで， $u$ が正解論文の 1 つ, $\operatorname{rank}_{u}$ が論文 $u$ の候補論文のうち，最初に正解論文が出現する順位を示している.

## 4.3 結果と考察

対象論文の引用文脈と論文プール内の論文のタイトル・要旨の類似度並びに対象論文の引用文脈と引用文脈プール内の引用文脈との類似度を計算するためのベースラインとして TF-IDF を使用する. ベー スラインと本手法の評価結果を表 1 に示す. まず， タイトル・要旨法も引用文脈参照法も，SBERTをモデルとして使った場合がベースラインを上回っていることが確認でき，SBERTによる類似度の学習に効果があることが分かる. 次に, 引用文脈参照法はタイトル・要旨参照法よりも性能が良く，対象論文と既存論文の引用文脈同士の類似度を活用することに効果があることが分かる.

さらに，2つの手法を組み合わせることで引用文脈参照法単体の場合よりも性能が向上していることが分かる.このことは，一度も引用されたことがない論文を推薦する場合に，タイトル・要旨参照法に組み合わせることによって，引用論文推薦の性能が向上する可能性があることを示している.

また，コールドスタート問題が起こる 692 件の引用文脈の評価結果を表 2 に示す.これはSBERT モデルのみでの評価となっている. 引用文脈参照法での性能が 0 ではないのは，正解の論文が複数ある場合，すべての正解の論文が引用文脈をもたないとは限らないためである.この表から分かるように, コールドスタート問題が起こり得る場合において， タイトル・要旨参照法を組み合わせることで，引用文脈参照単独よりも性能が改善したことが分かる.表 2 コールドスタート問題が起こる引用文脈の評価結果手法 @ 510

## 5 おわりに

本稿では，引用マーカーが与えられたときに，適切な被引用論文を推薦する局所的引用論文推薦の夕スクに取り組んだ。同じ被引用論文が引用されている引用文脈は類似する傾向があるという仮定に基づき，SBERT を用いて引用文脈同士の類似度を計算し，適切な論文を推薦するという引用文脈参照法を提案した。ただし，この手法には一度も引用されたことがない論文は推薦できないというコールドスタート問題が存在するため, 既存研究で広く用いられているタイトルと要旨を使用する手法と組み合わせることにより，引用文脈参照法単独よりも論文推薦の性能が向上することを示した. 今後の課題としては，どのような意図で引用されているかを考慮した手法の検討や，引用回数に着目した手法の検討などが挙げられる.

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただきました，電気通信大学小山康平氏，NTTコミュニケーション科学基礎研究所成松宏美主任研究員,電気通信大学南泰浩教授, 工学院大学大和淳司教授，名古屋大学東中竜一郎教授，国立研究開発法人科学技術振興機構菊井玄一郎氏に感謝いたします。 また，日頃より丁寧にご指導してくださる秋田県立大学石井雅樹准教授, 伊東嗣功助教に感謝いたします。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[2] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, pp. 375-405, 2020.

[3] Kaito Sugimoto and Akiko Aizawa. Context-aware Citation Recommendation Based on BERT-based Bi-Ranker. In 2nd Workshop on Natural Language Processing for Scientific Text at AKBC 2021, 2021.

[4] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[5] Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th international ACM SIGIR conference on research and development in information retrieval, pp. 1093-1096, 2017.

[6] Yang Zhang and Qiang Ma. Dual attention model for citation recommendation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3179-3189, 2020.

[7] Chanwoo Jeong, Sion Jang, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084, 2019.


# 文書外の書誌情報と用語情報を組み込んだ文書分類

井田龍希 三輪誠 佐々木裕
豊田工業大学
\{sd22401, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本論文では，書誌情報に基づく文献グラフを組み込んだ新しい文書分類手法を提案する。近年，事前学習モデルである BERT の利用により文書分類の性能は大幅に向上した. さらなる性能向上のためには，書誌情報や引用情報，用語の説明文や上位下位関係などの外部情報など，対象テキスト情報以外の情報の活用が鍵となると考えられる。本提案手法では，対象テキスト情報以外の情報を利用する既存の文書分類手法が考慮できていない，書誌情報や用語などの文書間に共通する情報を含む文書間の関係を文献グラフとして利用し，文書間のより詳細な関係を考慮する．実験では，生化学分野の文書分類デー タセットで既存手法からの性能向上を確認した.

## 1 はじめに

近年提案された，大量のデータで事前学習をし，文脈を考慮した表現が得られる BERT (Bidirectional Encoder Representations from Transformers) [1] を用いた手法は，少ないデータで fine-tuning をすることでタスクに特化したモデルを作成でき，文書分類においても高い性能を示している。

さらに文書分類においては，著者や出版ジャーナルなどの書誌情報や引用関係にある論文，テキスト中の用語についての外部情報などの対象テキスト情報以外の情報が活用できる. Yao ら [2] は，文書と単語を節点とし, 文書節点とその文書に出現する単語節点の間・共起頻度が高い単語節点間それぞれに辺を張った文書グラフの表現を用いて文書分類を行っている.この文書グラフにより, 共通した単語を持つ文書節点がその単語節点を介してつながり，文書間の関係を考慮した文書分類を実現している。 さらに BertGCN [3] では, 文書グラフの節点表現に BERT [1]を用いてテキスト情報を追加している. また，Yasunaga ら [4] は引用関係にある文書のテキス卜情報を同時に入力する事前学習手法を提案し，文書間の関係を考慮した言語モデル LinkBERT を作成し，従来の BERT より高い性能を達成している.このようにテキスト情報以外の情報の有効性は示されているものの，これらの手法では単語の共起や引用関係という限られた情報のみしか考慮できておらず，著者や出版ジャーナルなどの書誌情報，用語に関する説明文や上位下位関係などの外部情報（以降，用語情報と呼ぶ）などの複数の情報を同時に考慮できていない。

そこで，本研究では複数の情報を同時に利用できる文書分類の実現を目的に，書誌情報・用語情報など多くの対象テキスト以外の情報を含む文献グラフから文書間の様々な関係を考慮した表現べクトルを作成し，その表現ベクトルと文書のテキスト情報を組み込んだ文書分類モデルを提案する．本研究の貢献は以下の通りである.

・書誌情報・用語情報を含む文献グラフからの表現ベクトルを利用して，より複雑な文書間の関係の情報とテキスト情報を組み込んだ文書分類モデルを提案した。

・生化学分野の文書分類データセットである Ohsumed [5], Hallmarks of Cancer (HoC) [6] において文献グラフの情報を用いることで既存手法からの性能向上を確認した.

## 2 関連研究

## 2.1 文書分類

文書分類には対象文書のテキスト情報のみを使用する手法 [1] と対象テキスト情報以外の情報を考慮する手法 $[2,3,4]$ がある.

対象テキスト情報以外の情報を利用した手法では，文書グラフを用いた手法があり，Yao らは文書と単語を節点として，文書節点とその文書に出現する単語節点の間に TF-IDF 值で重みづけした辺を張った文書グラフを用いた文書分類を提案した [2].

(1)文献グラフを作成し，

(2) 用語間の関係を追加

Bacterial Infections and Mycoses

Virus Diseases

Eye Diseases

Parasitic Diseases

(4) 文献グラフからの表現を利用したテキスト分類

BERT

図 1 提案手法の流れ

この文書グラフでは PMI の値によって関連度が高いとみなした単語節点間にも辺を張っている. 節点に接続する辺を通して周りの節点からの情報をその節点に集約するグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] を用いて, 文書グラフの節点表現をグラフ構造を考慮しながら更新し，その表現を文書分類に利用している。 さらに，BertGCN [3] では，文書節点の表現に BERTを利用し, 文書グラフに文書のテキスト情報を追加する手法を提案し，高い性能を達成している.

また, Yasunaga ら [4] は引用関係などでリンクされた 2 つの文書を同時に BERT の入力とする事前学習手法により文書間の関係を考慮した事前学習モデル LinkBERT を提案した. 従来の BERT で用いられる Masked Language Modeling (MLM) と，2つの文書を入力しそれぞれが引用関係にあるかどうかを分類する Document Relation Prediction (DRP) という 2 つのタスクで BERT の事前学習をしており，文書間の依存関係や文書間にまたがる情報を利用している. その結果, LinkBERT は GLUE [8] タスクや生化学分野のベンチマークである BLURB [9] タスクにおいて既存手法の性能を上回り, 文書分類においても従来の BERT より高い性能を達成している.

## 2.2 グラフの表現学習

文献グラフなどのグラフからグラフ構造を考慮した節点の表現ベクトルを獲得するグラフ表現学習の研究が盛んに行われている [10]. グラフ表現学習では，グラフ構造を有向辺の始点節点 $h$, 終点節点 $t$,関係 $r$ を用いて $(h, r, t)$ と表現したトリプルの集合として表現するのが一般的であり，このトリプルの節点や関係を表現するように学習を行う TransE [11], DistMult [12] などの手法が提案されている. TransE
のスコア関数は始点節点のベクトル表現を関係のべクトル表現だけ平行移動したものと終点節点のべクトル表現との距離の大きさを損失とする.

## 3 提案手法

提案手法である書誌情報・用語情報を含む文献グラフの表現を組み込んだ文書分類モデルについて説明する. 提案手法の概要を図 1 に示す. 3.1 節で文献グラフの作成と表現学習について説明した後に 3.2 節で書誌情報・用語情報を含む文献グラフのべクトル表現と文書のテキスト情報のベクトル表現を組み込んだ文書分類モデルについて説明する。

## 3.1 文献グラフの作成・表現学習

まず，文献グラフを作成し，文書・用語節点を BERT で初期化する（図 1(1)）。文献グラフは文書と書誌情報を節点とし，文書節点とその書誌情報の節点間，引用関係にある文書節点間に辺を張る．文献グラフは論文・著者・出版年・出版ジャーナル・用語を節点とし，共有する節点を介して文書節点を繋げる。題目，要旨，用語の説明文がデータベースから取得できる文書・用語節点にはテキスト情報を追加する．BERT の出力の [CLS] トークンは文全体を表す表現と考えられるので，[CLS]トークンの表現を初期表現とする。データベースから取得できない場合は BERT で初期化した節点表現の平均，標準偏差の正規分布に従う乱数でランダム初期化する。書誌情報の節点についてもランダム初期化する。

次に，データベースから取得した上位下位関係，補足概念の関係にある用語節点間に辺を張り，用語間の関係も追加する（図 1(2)）。そして，作成した文献グラフについて，TransE [11]1)を用いて表現学

1）本研究で扱う文献グラフは大規模であり，GCN [7] などの計算コストの高い手法は単純には適用できないため，簡単の
習を行い，ベクトル表現を獲得する（図 1(3)）。このように作成した文献グラフから得られたべクトル表現は対象テキスト情報以外の書誌情報・用語情報からの文書間の様々な関係を考慮したものとなっていると期待できる.

## 3.2 文書分類モデル

3.1 節で獲得した書誌情報・用語情報を含む文献グラフのベクトル表現と分類する文書のテキスト情報のべクトル表現を組み込んだ文書分類を行う (図 1(4)).このために, BERTの入力として, 対象文書とそれに現れる用語に対応する文献グラフの文書・用語節点のべクトル表現を文書のテキスト情報と同時に入力し, BERT で統合しながらエンコードして得られた出力の [CLS] トークンの表現を全結合層により文書のカテゴリに分類する. より具体的には，まず，文書内の用語をデータベースに登録された用語との文字列一致で抽出する. 次に文献グラフの文書節点の表現と文書から抽出した用語の節点表現を文書のテキスト情報と結合する．結合の際には文書のテキスト情報の [SEP] トークンの後ろに文献グラフからの表現を追加する。この際に，テキスト内のサブワードと文献グラフの節点表現を対応付けるために，[CLS]トークンと文書節点の表現，テキスト内の用語のサブワードの先頭と用語節点の表現に同じ Position ID を割り当てる [13]. テキスト情報と対応する文献グラフ内の節点のベクトル表現を同時に BERT に入力することで, 文献グラフ内の書誌情報や用語情報を活かした文書分類を目指す。

## 4 実験設定

文献グラフの表現学習で獲得した表現ベクトルの質を始点節点との関係ぺアになる終点節点を予測するリンク予測で評価する。また，文書分類における文献グラフの表現の有効性を確かめるために文献グラフの表現を利用した文書分類の評価する．どちらの実験も BERTには BioLinkBERT-base [4]を使用する。

## 4.1 文献グラフの表現学習

医療文献データベース Medline [14] の 2022 年版を利用して 3.1 節で説明した文献グラフを作成する. Medline には 3,000 万件以上の論文が登録されており，文献グラフが巨大になるので他の節点とのつな

表 1 TransEでの表現学習の結果

がりが少ない次数が 5 未満の著者節点は削除した.用語のデータベースには MeSH [15] の 2021 年版を利用した. 文献グラフは引用関係を表す辺 (cites),文書とその著者 (author) ・出版年 (year)・出版ジャー ナル (journal) ・用語 $(\mathrm{MeSH})$ を表す辺, 用語間の上位下位関係 (hypernym)，補足概念の関係 (supp) を表す辺を持つ. 付録 A の表 4 と 5 に統計を示す.

文献グラフの表現学習の評価指標には MAP@30, Hit@nを用いた. 訓練・開発・評価用データはトリプルの関係タイプの比率が同じになるように 98:1:1 の割合で分割した. また，訓練用データに出現する節点間のトリプルを開発・評価用データに選んだ. リンク予測の評価の際には，訓練用データに含まれる終点節点は予測結果から削除した.また，始点節点のタイプと関係タイプから決まる終点節点のタイプの節点のみを予測対象とした。付録 $\mathrm{B}$ に実装に使用したライブラリと学習の設定を示した.

## 4.2 文献グラフの表現を利用した文書分類

評価には，医学文献の要旨の文書分類データセットである Ohsumed [5] と Hallmarks of Cancer (HoC) [6] を使用した. Ohsumed は文書に 23 種類の心血管系疾患のカテゴリのうち 1 つ以上のカテゴリが付与されている. Ohsumed の分類ラベルは MeSH から作られているので, Ohsumedに含まれる文書とその文書の書誌情報の一つである MeSH との関係が文献グラフに含まれないようにして評価した. 既存研究 [2] と同様に複数ラベルを持つ文書は除外した.この結果，訓練，評価用データ内の文書はそれぞれ 3,357 件，4,043 件となった. 訓練用データを 7:3 に分割して開発データを作成した．HoCではそれぞれの文書に 10 種類の癌の特徵のカテゴリが複数付与されている. 既存研究 [9] に従って訓練, 開発，評価用データを分割し, それぞれ 1,295 件, 186 件, 371 件
表 2 文献グラフの表現を利用した文書分類の結果 [\%].太字は最高のスコアを表す。

を使用した. 文書内の用語をデータベースに登録された用語との文字列一致で抽出した結果, Ohsumed では文書あたり平均 20.41 語, $\mathrm{HoC}$ では文書あたり平均 26.56 語の用語を抽出できた.

評価においては，乱数シードを変更した 5 つのモデルを作成し, その評価の平均を最終的な予測結果として報告する. Ohsumed の評価には正解率，HoC の評価には $\mathrm{F}$ 値を用いた. ベースラインモデルとしては， 3.2 節の文書分類モデルの入力にテキスト情報のみを利用するモデル (BioLinkBERT) を用意した.また，文書分類モデルに文献グラフから追加する節点情報としては，文書の表現 (+ Paper), 用語の表現 (+ Entity)，文書・用語の両方の表現 (+ Paper + Entity)の 3 つの組み合わせを比較をした. 付録 B に実装に使用したライブラリと学習の設定を示した.

## 5 結果と考察

## 5.1 結果

TransE での表現学習の結果を表 1 に示す. 今回使用した文献グラフは節点数が多かったため, MAP@30, Hit@n ともに全体的に低い値となった.特に引用関係，MeSH 間の関係の性能が低いのは，一つの始点節点との関係ぺアになる終点節点が複数あるため, TransEでは表現できなかったためだと考えられる。

文献グラフの表現を利用した文書分類の結果を表 2 に示す. Ohsumed における BioLinkBERT の結果と提案した情報を追加したモデル (BioLinkBERT + Paper, BioLinkBERT + Entity, BioLinkBERT + Paper + Entity) 以外の値は元論文から引用したものである. Ohsumed については，これまでに報告されている分類スコアを大きく上回ることができた．また，論文の表現のみを使用したときに Ohsumed, HoC ともにベースライン (BioLinkBERT) からの性能向上が見られた。一方で，用語の表現のみを使用したときには表 3 用語をタグで置き換えた文書分類の結果 [\%]

ほとんど性能の違いが見られなかった. 論文・用語の表現の両方を使用したときには Ohsumed では性能低下, HoCでは僅かな性能向上が見られ，一貫性のない結果となった.いずれの表現も文献グラフ全体を考慮して学習された表現ではあるものの，使う表現によって結果に違いがあることがわかった.

## 5.2 考察

文献グラフの表現ベクトルの質を確かめるために，対象テキスト情報から抽出した用語をマスクして実験をした. その結果を表 3 に示す. 対象テキストの用語をマスクしたときべースラインモデルでは, 4.5 ポイント性能が低下した. 一方で，文書の表現のみ，用語の表現のみ，文書・用語の両方の表現を使用したときはそれぞれ 3.46 ポイント， 3.40 ポイント， 3.66 ポイントの性能低下となり, ベースラインよりも性能の低下が小さかった. この結果から，提案手法では対象テキスト情報以外の情報を分類に利用できていることが分かった. 付録 Cにテキスト情報を利用しない文書分類の結果と考察を示した。

## 6 おわりに

本研究では複数の情報を同時に利用できる文書分類を目的として，書誌情報・用語情報など多くの情報を含む文献グラフから文書間の様々な関係を考慮した表現ベクトルを作成し，その表現ベクトルと文書のテキスト情報を組み込んだ文書分類モデルを提案した. Ohsumed, $\mathrm{HoC}$ の 2 つのデータセットで実験を行った結果, 文書の表現のみを利用したときにはどちらも性能向上が見られた. 特に, Ohsumed では従来モデルを上回る性能を達成した. 論文・用語の表現の双方を利用すると性能が低下することがあるという現象がみられ, 異種の情報の組み込みが単純ではないことを示すことができた.

今後は，このような問題を解決するために GCN などの手法での大規模文献グラフの表現学習を検討する. また文献グラフの表現学習手法と文書分類モデルを同時に学習する方法についても模索する。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Jacob Devlin, et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Liang Yao, et al. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019.

[3] Yuxiao Lin, et al. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Michihiro Yasunaga, et al. Linkbert: Pretraining language models with document links. In Association for Computational Linguistics (ACL), 2022.

[5] Thorsten Joachims. Text categorization with support vector machines: Learning with many relevant features. In Proceedings of the 10th European Conference on Machine Learning, ECML'98, p. 137-142, Berlin, Heidelberg, 1998. Springer-Verlag.

[6] Simon Baker, et al. Automatic semantic classification of scientific literature according to the hallmarks of cancer. Vol. 32 3, pp. 432-40, 2016.

[7] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations, 2017.

[8] Alex Wang, et al. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] $\mathrm{Yu} \mathrm{Gu}$, et al. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3, No. 1, oct 2021.

[10] William L Hamilton. Graph representation learning. Synthesis Lectures on Artifical Intelligence and Machine Learning, Vol. 14, No. 3, pp. 1-159, 2020.

[11] Antoine Bordes, et al. Translating embeddings for modeling multi-relational data. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[12] Bishan Yang, et al. Embedding entities and relations for learning and inference in knowledge bases. In International Conference on Learning Representations, 2014.

[13] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[14] Pubmed. https://pubmed.ncbi.nlm.nih.gov/（1月 2 日アクセス）。

[15] Medical subject headings - home page. https://www. nlm.nih.gov/mesh/meshhome.html（1 月 2 日アクセス).

[16] Da Zheng, et al. Dgl-ke: Training knowledge graph embeddings at scale. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '20, p. 739-748, New York, NY, USA, 2020. Association for Computing Machinery.

[17] Thomas Wolf, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[18] Adam Paszke, et al. Pytorch: An imperative style, highperformance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 80268037, 2019.

[19] Masajiro Iwasaki and Daisuke Miyazaki. Optimization of indexing based on k-nearest neighbor graph for proximity search in high-dimensional data. CoRR, Vol. abs/1810.07355, , 2018.

[20] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

[21] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

## A グラフの統計

文献グラフの統計を表 4 と 5 に示す. テキスト情報を追加した節点数は，文書節点は $33,404,632$ 個，用語節点は 244,373 個である.

表 5 文献グラフのトリプル統計

## B 学習の設定

実装には，Python 3.7.11を使い，TransEには DGLKE 0.1.2 [16], 事前学習モデルを使うために Transformers 4.19 .4 [17], モデルの作成のために Pytorch 1.10.0 [18]を用いた. また, リンク予測の評価は, 近傍探索ライブラリ NGT [19]を用いて近似的に求めた. TransE は 50 エポック学習した. 文献グラフの文書・用語節点の表現は BERT で初期化するため表現は 768 次元となるので，ランダム初期化する節点の表現についても 768 次元で初期化した. TransE の学習ではグラフに含まれるトリプル $(h, r, t)$ の $h$ か $t$ のどちらかをランダムに置き換えるネガティブサンプリングが使用される．始点節点のタイプと関係タイプから決まる終点節点のタイプのみからネガティブサンプリングをした. TransE 学習のための計算機には CPU に AMD Ryzen Threadripper 3990X 64-Core Processor，GPU に GeForce RTX 3090 を使用した.

文書分類モデルでは，BERT の CLS トークンの表現を一層の線形層で分類している。また，訓練用データでの過学習を防ぐために線形層の前にドロップアウト [20]を加えた. 文書分類学習のための計算機には CPU に Intel(R) Xeon(R) CPU E5-2698 v4 及び Intel(R) Core(TM) i9-10900K CPU，GPU には Tesla
V100-DGXS-32GB 及び GeForce RTX 3090 を使用した. 文書分類モデルの最適化手法には AdamW [21] を使用した。学習率は $\{1 \mathrm{e}-5,2 \mathrm{e}-5,3 \mathrm{e}-5,4 \mathrm{e}-5,5 \mathrm{e}-5$, 6e-5\} の範囲でハイパーパラメータチューニングを行い，表6のように設定した.

表 6 ハイパーパラメータチューニングの結果

## C テキスト情報を除いた文書分類

文献グラフから得られた表現単体での性能を評価するため，対象テキスト情報を使用しない実験を行った. BERTへの入力を文献グラフからの表現のみにして出力の [CLS] トークンで分類をした結果を表 7 に示す. 文書・用語の表現の両方を使用したときに最も高い性能となった．様々な情報を含む文献グラフからの表現を利用することで対象テキスト情報がなくても分類できたと考えられる.

表 7 テキスト情報を除いた文書分類の結果 [\%]

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# サーベイ論文自動生成に向けた 大規模ベンチマークデータセットの構築

笠西 哲 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学大学院 2 理研 AIP
kasanishi@ipr-ctr.t.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

サーベイ論文の自動生成は、自動文章要約において最も挑戦的なタスクの一つである。近年、大規模言語モデルによりサーベイ論文生成が挑まれているものの、大規模データセットの欠如がその進歩の足枷となっている。本研究では、 1 万本超のサーベイ論文と 69 万本超の被引用論文で構成されたサーベイ論文生成データセットを公開する。本データセットをもとに、近年の Transformer 要約モデルをサー ベイ論文生成用に改良し、サーベイ論文生成の評価実験を行なった。人手評価により、モデルにより生成された要約の一部は人が作成したサーベイ論文と遜色ないことが示された一方で、自動サーベイ論文生成の課題が明らかになった。

## 1 はじめに

科学論文ドメインの文書要約において、サーベイ論文の自動生成は最も重要な課題の一つである。 サーベイ論文は、研究者によって過去の研究成果を調査するために執筆される、複数の論文の要約である [1]。サーベイ論文の自動生成が実現すれば、研究者がこれまでサーベイ論文がなかった分野へ進出する際の大きな一助となる。しかし、これまでにサーベイ論文生成に取り組んだ研究はごく少数である。例えば、Taylor ら [2] は科学論文で学習を行った大規模言語モデルである GALACTICAを用いて、 サーベイ論文を自動生成するデモンストレーションを公開したが、内容の正確性について批判が寄せられ、数日中に公開が中止された [3]。サーベイ論文生成タスクに利用可能な大規模データセットの不在が、教師あり要約モデルの同タスクへの適用を困難にし、サーベイ論文自動生成の障壁となっている。本研究は、10,269 本の論文からなるサーベイ論文

図 1 サーベイ論文自動生成タスクの概要

自動生成タスクのための大規模データセットを公開し、サーベイ論文生成の研究を開拓する。図 1 に夕スクの概要を示す。本研究では、サーベイ論文の章分けと各章で引用される論文が与えられた時に、章ごとにそれらの論文を要約するタスクに取り組む。実際のサーベイ論文執筆では、引用する論文を選定し、章構成を決定するというプロセスが必要だが、本研究はそれらのプロセスはスコープ外とし、章ごとに複数の論文を要約するプロセスに焦点を当ててサーベイ論文生成タスクの実験を行った。さらに、既存の Transformer ベースの要約モデルを拡張することで、タイトルや章タイトルを要約のクエリとした複数文書要約としてサーベイ論文を生成するモデルを提案する。提案手法の生成文章に対して詳細な人手評価を行い、サーベイ論文の完全な自動生成に向けた今後の課題について議論する。

## 2 タスクとデータセット

## 2.1 サーベイ論文生成のタスク定義

出力本研究ではサーベイ論文を章ごとに生成するタスクを考える。これは、現在の要約モデルの殆どが数百単語以下の短い要約文を生成するタスク [4][7] に適合しており、一般に数千単語以上の長さとなるサーベイ論文全文を現在の要約モデルで生成
表 1 Multi-News[4], Multi-XScience[5], MS^2[6] との比較。train/valid/test における参照要約の数、入力文章の合計の長さ (単語数)、参照要約の長さ（単語数)、入力文書の数、novel n-gram の割合を示す。

するのは困難なためである。

入カ本タスクでは、被引用論文のアブストラクトおよびサーベイ論文のタイトル・章タイトルの情報を入力として用いる。ここで、被引用論文とはサーベイ論文の各章で引用されている論文を指す。被引用論文のアブストラクトは、被引用論文の内容を表す主要な情報源として利用される。本来であれば被引用論文の本文を入力することが望ましいが、構築するデータセットにおいて本文情報が得られない被引用論文が約 $30 \%$ 存在することを鑑みて、アブストラクトのみを入力とする問題設定とした。また、タイトル情報は、生成される各章でどのような内容が記述されるのかを示唆する、いわば要約の方向性を示すクエリとしての機能を持つ。

## 2.2 データセットの構築

我々は、科学論文の大規模コーパスである S2ORC[8]を用いて、10,269 本のサーベイ論文からなるサーベイ論文生成タスクのデータセットを構築した。構築方法の詳細は Appendix A に記載した。

## 2.3 データセットの統計

構築したデータセットと代表的な複数文書要約のデータセットを比較した統計を表 1 に示す。ここで、表中の novel n-gram とは、参照要約中の n-gram のうち入力文書中に含まれないものの割合を示し、 novel n-gram の割合が高いデータセットほど要約の抽象度が高い [7]。我々のデータセットは他のデー タセットと比較して約 2 倍以上のデータ数を有し、 データドリブンなニューラル要約モデルにより適したデータセットとなっている。さらに、我々のデータセットは Multi-News や MS^2 と比較して novel n-gram の割合が高く、より抽象的要約手法に適した難易度の高いタスクであることが示唆される。

## 3 実験

我々が提案したサーベイ論文データセットを用いて、文書要約モデルによるサーベイ論文生成の実験

\begin{abstract}
Cited paper 1
Literature review title <s> Chapter title <s> Abstract of paper 1 <s> BIB001 Cited paper 2
\end{abstract}

Literature review title <s> Chapter title <s> Abstract of paper 2 <s> BIB002

図 2 文書要約モデルへの入力データのフォーマット

を行う。本章では実験に使用するモデルについて述べ、実装詳細については Appendix B に記載した。

## 3.1 ベースライン手法

ベースライン手法として、教師なし抽出型要約手法である LEAD と LexRank[9]、Transformer ベースの抽象型要約手法である Big Bird[10] と Fusion-in-Decoder[11]を使用する。Big Bird は、通常の Transformer の Self-attention の計算を簡略化し、約 16,000 単語までの長文の入力に対応した Transformer モデルである。今回は、単文書要約タスクにより arXiv データセット [12] で事前学習したモデルを、サーベイ論文データセットで fine-tuning して実験を行う。Fusion-in-Decoder (FiD) は、元々は Open domain question answering 用の複数文書を入力できる Transformer Encoder-Decoder モデルであるが、多文書要約タスクにも適用されている [6]。FiD は複数の文書を個別にエンコードして、その hidden_states を連結してデコーダーに入力し、一括で出力することで文書間の関係性も考慮しながら複数文書を一度に処理できる。今回は、エンコーダとデコーダの初期重みとして CNN/Daily Mail データセットで事前学習を行った BART-Large モデルの重みを使用し、サーベイ論文データセットで fine-tuning して実験を行う。 これらの要約モデルに入力するデータのフォーマットを図 2 に示す。今回は、サーベイ論文のタイトルと章タイトル、各被引用論文のアブストラクト、および異なる被引用論文を識別するための識別記号を連結して入力する。Big Birdでは全ての被引用論文の情報を連結してモデルに入力する。FiDでは各被引用論文の情報を Encoder に別々に入力する。

## 3.2 提案手法

本節では、前節で紹介した FiD を改良した我々のサーベイ論文生成モデルについて述べる。 3.1 節で述べた通り、タイトル・章タイトルはサーベイ論文の各章でどのような内容が記述されるのかを示唆する、いわば要約の方向性を示すクエリとしての機能を持つ。これらのクエリとの類似度によって各被引用論文を重みづけし、よりクエリに沿った要約を出力できるように FiDを改良した。具体的には、クエリと各被引用論文のアブストラクトをそれぞれ Encoder に入力し、得られた hidden_states を average pooling したそれぞれのべクトルの内積をクエリと各被引用論文の類似度とする。その類似度で各被引用論文の hidden_statesを重みづけして Decoderに入力することで、モデルにクエリと各被引用論文の類似度の情報を与えている。 $n$ 本の被引用論文の入力トークン列をそれぞれ $R_{1}, R_{2}, \ldots, R_{n}$ とし、それぞれの長さを $l_{1}, l_{2}, \ldots, l_{n}$ とする。タイトル・章タイトルを結合したクエリのトークン列を $Q$ とし、その長さを $l^{q}$ とする。BART Encoder を Enc とすると、 $m$ 番目の被引用論文、クエリの hidden_statesがそれぞれ以下のように得られる。

$
\begin{aligned}
H_{m} \in \mathbb{R}^{M \times l_{m}} & =\operatorname{Enc}\left(R_{m}\right) \\
H^{q} \in \mathbb{R}^{M \times l^{q}} & =\operatorname{Enc}(Q)
\end{aligned}
$

ここで、 $M$ は hidden_states の行数であるが、BART の場合は $M=1024$ である。また、行列の各行の平均をとってべクトルを得る操作を Avgpool とすると、 $m$ 番目の被引用論文、クエリの特徴ベクトルをそれぞれ以下のように得られる。

$
\begin{aligned}
\boldsymbol{h}_{m} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H_{m}\right) \\
\boldsymbol{h}^{q} \in \mathbb{R}^{M} & =\operatorname{Avgpool}\left(H^{q}\right)
\end{aligned}
$

そして、クエリと $m$ 番目の被引用論文の類似度 $w_{m}$ をこれらの内積として求め、 $w_{m}$ で重みづけした $H_{m}$ を結合して BART Decoder に入力することで、出力となるサーベイ論文の章が得られる。

$
\begin{aligned}
w_{m} & =\operatorname{dot}\left(\boldsymbol{h}_{m}, \boldsymbol{h}^{q}\right) \\
\text { output } & =\operatorname{Dec}\left(\operatorname{concat}\left(w_{1} * H_{1} ; \ldots ; w_{n} * H_{n}\right)\right)
\end{aligned}
$

ここで、dot は内積、concat は行方向に行列を結合する操作、*は行列の各要素にスカラー値をかける操作、Dec は BART Decoderを表す。表 2 ベースライン手法と提案手法の ROUGE スコアによる自動評価の結果

## 4 結果

本章では、ベースライン手法と提案手法を用いたサーベイ論文生成実験の結果について述べる。

## 4.1 ROUGE スコアによる自動評価

ベースライン手法と提案手法の ROUGE スコアを表 2 に示す。表 2 より、BigBird のスコアが FiDよりも低く、LEAD や LexRank と同程度であることが分かる。長文の入力に対応した単文書要約モデルである BigBird を fine-tuning するのみでは性能が著しく低いことから、サーベイ論文生成が通常の文書要約と比較してより難易度の高いタスクであることが示唆される。また、我々の改良手法とべースラインの FiD を比較すると、改良手法のスコアが高いことがわかる。我々の改良手法がタイトル・章タイトルを要約のクエリとして考慮することで、より適切な文章を生成できていることが確認された。

## 4.2 人手評価

1 年以上の研究経験を有する画像処理研究従事者 3 人に生成文章の人手評価を依頼し、評価対象として画像処理分野の 5 本のサーベイ論文中の 30 章を選定した $[13,14,15,16,17]$ 。これらの論文は、学習・検証用データセット中のいずれのサーベイ論文とも被引用論文の重複が $20 \%$ 未満である。評価項目として以下の 5 つを定め、各項目について提案手法によって生成された章と実際のサーベイ論文の章のどちらが優れているか、あるいは同程度であるかの 3 段階で評価するように依頼した。評価者は、提示された 2 つの章のうちどちらが実際のサーベイ論文であるかを伏せられた状態で評価した。

・Relevance: 文章がタイトル・章タイトルと関連しているか
- Coherence: 文章に一貫性があり、情報が構造化されているか
表 3 提案手法の生成文章と実際のサーベイ論文を比較した人手評価の結果

図 3 Overall score で高い評価が得られた生成章の例

・Informativeness: 一般的な情報だけではなく、引用文献に関する具体的な情報を記述しているか

・ Factuality: 入力アブストラクトと矛盾する情報や、事実に反する情報がないか

・Overall score: 全体的なサーベイ論文としての完成度

人手評価の結果を表 3 に示す。数値は、各指標について実際のサーベイ論文の章が優れている (Human > Machine-Generated)、同程度である (Comparable)、生成された章が優れている（MachineGenerated > Human）と評価された割合を示している。Relevance に関しては、生成された章が優れている、もしくは同程度であると評価された割合の合計が約 $75 \%$ 達しており、提案手法が要約のクエリを適切に考慮でき、おおむね実際のサーベイ論文と遜色なくタイトル・章タイトルと関連した文章を生成できていることが明らかとなった。また、 Factuality に関しては、生成された章が優れている、 もしくは同程度であると評価された割合の合計が $60 \%$ に達しており、おおむね半分以上の生成文章で実際のサーベイ論文と同程度以上に誤りのない記述を生成できていることが明らかとなった。一方、 Informativeness に関しては生成された章が優れている、もしくは同程度であると評価された割合の合計が約 36\%にとどまっており、引用文献に関する具体的な情報を記述できているかという点では、生成文章は実際のサーベイ論文に及んでいないといえる。
そして、Overall score に関しては、生成された章が優れていると評価された割合が $22.2 \%$ に達している。これは、生成された文章のほうが本物のサーべイ論文よりも「サーベイ論文らしい」という例が一定程度存在することを示しており、非常に興味深い結果であるといえる。Overall score で 2 人の評価者に優れていると評価された生成章の例を図 3 に示す。図3より、生成文章は “Progressive Upsampling Super-resolution” について一貫した流暢な説明ができていることが分かる。

## 4.3 今後の方向性

第 4.2 節の人手評価の結果、生成文章が優れていると評価された割合が特に少ないのは Informativeness と Factuality の項目であった。これは、被引用論文の情報としてアブストラクトのみを入力しているため、参照要約が大力文書にない情報を含むことが原因であると考えられる [18]。このため、アブストラクトのみならず本文や本データセットで利用可能な引用文などの追加情報を入力することで、 Informativeness と Factualityをともに改善できると考えられる。

本研究では、人手評価において生成文章が全体的に優れていると評価された割合が $20 \%$ 以上に達するなど、サーベイ論文の自動生成に向けた第一歩として有望な結果を示した。一方で、具体的な情報の欠如や誤った情報の出力など、未解決の重要な課題も明らかになった。現状の性能においては、サーベイ論文の執筆時に草稿を自動生成するツールなど、人間による修正を前提とした応用が期待される。

## 5 おわりに

本研究では、サーベイ論文自動生成タスクとそのための大規模なデータセットを提案し、さらに同タスクに適した文書要約手法を提案した。人手評価を含む詳細な実験により、同タスクの課題と今後の方向性を明らかにした。本研究が、サーベイ論文生成という挑戦的な課題に取り組む今後の研究の基礎となることを願う。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Kokil Jaidka, Christopher Khoo, and Jin-Cheon Na. Deconstructing human literature reviews - a framework for multi-document summarization. In Proceedings of the 14th European Workshop on Natural Language Generation, pp. 125-135, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica: A large language model for science. arXiv preprint arXiv:2211.09085, 2022.

[3] Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica demo. https://galactica.org/, 2022. (Accessed on 12/26/2022)

[4] Alexander Fabbri, Irene Li, Tianwei She, Suyi Li, and Dragomir Radev. Multi-news: A large-scale multidocument summarization dataset and abstractive hierarchical model. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1074-1084, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Yao Lu, Yue Dong, and Laurent Charlin. Multi-XScience: A large-scale dataset for extreme multi-document summarization of scientific articles. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8068-8074, Online, November 2020. Association for Computational Linguistics.

[6] Jay DeYoung, Iz Beltagy, Madeleine van Zuylen, Bailey Kuehl, and Lucy Wang. MS^2: Multi-document summarization of medical studies. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7494-7513, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 17971807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.
[9] Günes Erkan and Dragomir R Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. Journal of artificial intelligence research, Vol. 22, pp. 457-479, 2004.

[10] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, Vol. 33, pp. 17283-17297, 2020.

[11] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[12] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[13] Zhihao Wang, Jian Chen, and Steven CH Hoi. Deep learning for image super-resolution: A survey. IEEE transactions on pattern analysis and machine intelligence, Vol. 43, No. 10, pp. 3365-3387, 2020.

[14] Licheng Jiao and Jin Zhao. A survey on the new generation of deep learning in image processing. IEEE Access, Vol. 7, pp. 172231-172263, 2019.

[15] MD Zakir Hossain, Ferdous Sohel, Mohd Fairuz Shiratuddin, and Hamid Laga. A comprehensive survey of deep learning for image captioning. ACM Computing Surveys, Vol. 51, No. 6, pp. 1-36, 2019.

[16] Hamid Laga. A survey on deep learning architectures for image-based depth reconstruction. arXiv preprint arXiv:1906.06113, 2019.

[17] Chunwei Tian, Lunke Fei, Wenxian Zheng, Yong Xu, Wangmeng Zuo, and Chia-Wen Lin. Deep learning on image denoising: An overview. Neural Networks, Vol. 131, pp. 251-275, 2020.

[18] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan $\mathrm{Su}$, Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Computing Surveys, 2022. Just Accepted.

[19] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A データセット構築手法の詳細

我々のデータセットは、タイトル、章タイトル、 アブストラクト、本文情報、さらには引用情報を含んだ科学論文の大規模コーパス S2ORC[8]を使用して構築された。まず、サーベイ論文の候補として、Computer Science 分野の論文の中から “survey”, “overview", "literature review", “a review” のいずれかをタイトルに含み、かつ本文情報にアクセスできる論文を抽出した。これによって、13,984 本の論文がサーベイ論文の候補として得られた。

これらの候補の中にはサーベイ論文として適切ではない論文が含まれているため、候補からサーベイ論文として適切な論文を抽出するための SciBERT[19] ベースのサーベイ論文分類器を学習した。まず、コンピュータサイエンスの研究に従事している大学院生に、候補論文のうち 889 本の論文について、サーベイ論文として適切かどうかを以下の基準でアノテーションするように依頼した。

・複数の科学論文をレビューしていること

一一般的なツールや書籍、記事をレビューしていないこと
- 特定のプロジェクトや Shared Tasks の解説を行っていないこと
- 文献レビューのみを行っており、新規手法の提案・先行研究の再実験・アンケート等をしていないこと（＝引用文献の情報だけでは原理的に生成不可能な情報が含まれていないこと）

アノテーターは、候補論文のタイトルとアブストラクトを対象として上記の基準でアノテーションを行い、 3 人のアノテーターのうち 2 人以上が一致した判断を採用することで最終的なアノテーション結果を得た。アノテーションによって、候補論文 889 本のうち 583 本が適切、 306 本が不適切として分類され、Fleiss'kappa $=0.65$ となった。このアノテーション結果を train:valid:test=589:150:150 に分け、SciBERTを fine-tuning してサーベイ論文分類器を学習した。その結果、accuracy $=89 \%$, precision $=$ $88 \%$, recall $=97 \%, f 1=92 \%$ の精度を持つサーベイ論文分類器を学習できた。このサーベイ論文分類器を使用して、候補論文からサーベイ論文として適切な論文を抽出したところ、698,049 本の被引用論文と 210,049 章を含む 10,269 本のサーベイ論文が残った。最後に、これらのサーベイ論文の合計 210,049 章のうち、S2ORC の引用データを利用して被引用論文のアブストラクトを合計 1 本以下しか抽出できなかった章を除外したところ、664,319 本の被引用論文と 94,795 章を含む 9,607 本のサーベイ論文が残った。これらの操作によって、被引用論文のアブストラクトとサーベイ論文のタイトル・章タイトルを入力とし、サーベイ論文の各章を生成するタスクのデータセットを作成した。

## B 実装詳細

モデルは PyTorch ${ }^{1)}$ と HuggingFace Transformers ${ }^{2)}$ を用いて実装された。BigBird の初期重みは google/bigbird-pegasus-large-arxiv) を、FiD の初期重みは facebook/bart-large-cnn ${ }^{4}$ を使用した。文書要約モデルはいずれもサーベイ論文データセットで 10epoch 学習を行い、検証時に ROUGE-2 スコアが最も高くなった epoch のモデルを評価に使用した。なお、今回は実験時間の都合上、検証用データセットの 8,217 章からランダムに 1,000 章サンプリングしたデータを使用して評価を行った。学習の optimizer は AdamWを使用し、 $\beta_{1}=0.9$, $\beta_{2}=0.999, l r=5 e-05$ とした。モデルの出力は beamsize $=4$ のビームサーチによってデコードされ、 maximumgenerationlength $=256$ とした。なお、FiDでは各被引用論文の入力が最大 1024 単語になるように入力を切り詰めている。


# Construction of English Resume Corpus and Test with Pre-trained Language Models

Chengguang Gan ${ }^{1}$ Tatsunori Mori ${ }^{1}$
${ }^{1}$ Graduate School of Environment and Information Sciences
Yokohama National University
gan-chengguang-pw@ynu.jptmori@ynu.ac.jp
}

\begin{abstract}
Information extraction (IE) is an essential NLP task, especially for extracting information from resumes. This study aims to transform the information extraction task of resumes into a simple sentence classification task, using an English resume dataset and improving the classification rules to create a larger and more fine-grained classification dataset. The new dataset is used to test the performance of mainstream pre-training language models, and experiments are also conducted to compare the impact of different training set sizes on the accuracy of the resume dataset. The results show that the improved annotation rules and increased sample size of the dataset improve the accuracy of the original resume dataset.
\end{abstract
## 1 Introduction

As artificial intelligence develops, using artificial intelligence instead of HR for resume screening has always been the focus of research. And the accuracy of resume screening depends on the precision of resume information extraction.Hence, it is crucial to improve the precision of resume extraction for the subsequent steps of various analyses performance of resumes. The previous study on resume information extraction tends to use the Bi-LSTM-CRF model for Name Entity Recognition(NER) of resume text[1].Although this method extracts the resume information (e.g. Personal information, Name, Address, Gender, Birth) with high accuracy, it also loses some original verbal expression information. For example, the description of one's future career goals, requires complete sentences that cannot be extracted by the NER method. As an AI system that scores the candidate's resume, the career object is also part of the score. In summary, sentences such as these should not be ignored. Hence, in the prior study, the task of resume information extraction is transformed into a sentence classification task. Firstly, the various resume formats were converted into a uniform txt document. Then the sentences were classified after dividing them by sentence units. The classified sentences are used in the subsequent AI scoring system for resumes. The pilot study segmented and annotated 500 of the 15,000 original CVs from Kaggle. ${ }^{1)}$ Five categories of tags were set: experience, knowledge, education, project and others ${ }^{2}$. The pilot study annotated resume dataset has problems, such as unclear classification label boundaries and fewer categories. Also, a dataset of 500 resumes with a total of 40,000 sentences in the tagging is sufficient for PLMs to fine-tune. If the dataset sample is increased, can the model's performance continue to improve.

To resolve all these problems, we improved the classification labels of resumes and used them to label a new resume classification dataset. To find out how many training samples can satisfy the fine-tune requirement of PLMs, we annotated 1000 resumes with a total of 78000 sentences. Furthermore, various experiments have been performed on the newly created resume dataset using the current mainstream PLMs.

## 2 Related Work

Since the last century, resume information extraction has been a critical applied research subfield in IE. In earlier studies, methods such as rule-based and dictionary matching were used to extract specific information from resumes[2]. HMM, and SVM methods extract information

Figure 1: Resume annotation rules diagram.

such as a person's name and phone number from resume information[3].Related Resume Corpus Construct study has an extensive resume corpus in Chinese[4].

## 3 Corpus Construction

## 3.1 Annotation Rule

We increased the number of categories from 5 to 7 in order to discriminate the various parts of the resume more carefully.As shown in Figure 1, the blue block on the left is the abbreviation of the seven classification labels, and on the right is the name of the resume section corresponding to the label.The full names of the seven labels are Experience, Personal Information, Summary, Education, Qualifications, Skill, and Object.The newly developed classification rules make it possible to have a clear attribution for each item in the resume. It will not cause the neglect of some sentences in the resume, as there are other labels in the prior study.

## 3.2 Annotation Tool

In order to label resume datasets faster and more accurately, we developed a simple annotation program based on Tkinter $^{3)}$.The operation interface of the resume annotation tool.This tool automatically recognizes original resumes in pdf, Docx, and txt formats. It can also segment all the sen-

Figure 2: The operation interface of the resume annotation tool.

tences in the original resume according to a simple rulebased approach.Figure 2 shows the sample interface of the resume annotation tool. On the left are the sentences split by rule-based, and on the right are seven buttons that can be selected individually. After the sentence annotation of a whole resume is completed, a separate txt file will be automatically exported after closing the window, and the sentence annotation window for the next resume will be started automatically.

## 4 Experiments Set

In this section, we will perform various test experiments on the new-constructed resume dataset. First, we compared the performance of the BERT[5] model on the original resume corpus and the newly constructed resume dataset. Furthermore, four mainstream PLMs models are selected to test the resume dataset performance: BERT,ALBERT[6],RoBERTa[7], and T5[8]. For the fairness of the experiment, the size with the most similar parameters was chosen for each of the four models(BERT ${ }_{\text {large }}, \mathrm{ALBERT}_{\text {xxlarge }}, \mathrm{RoBERTa}_{\text {large }}$, $\mathrm{T} 5_{\text {large }}$ ).The evaluation metrics for all experiments were F1-micro.The training set, validation set, and test set are randomly divided in the ratio of 7:1.5:1.5. And each experiment was performed three times to take the average of the results.

## 5 Result

## 5.1 Pre-train Models Test

As shown in Table 2, the new resume corpus ameliorated by $0.35 \%$ over the original dataset $\mathrm{F} 1$-score for the same BERT model. RoBERTa and T5 scores improved by $0.68 \%$

Table 1: The first row indicates the number of training sets. The following two rows indicate the F1-score of the validation set and test set corresponding to the number of training samples.

Table 2: The first column * show accuracy of resume dataset before improvement.

Figure 3: F1-score of different training samples.

and $0.97 \%$ over baseline, respectively. The above results are also consistent with the ranking of the four PLMs in terms of their performance in various benchmark tests of NLP.

## 5.2 Sample Size Affects Experiment

In order to find out how many samples can bring out the maximum performance of the model, we divide the data set into training set 58000: validation set 10000: test set 10000. As shown in Table 1, the scores of the validation and test sets for different sample sizes. The model scores are tested from the 58000 training set, starting from 5000 and increasing the number of training samples every 5000.The highest score in the validation set is 86.6 when the training sample equals 45000 . the highest score in the test set is 85.9 when the training sample equals 40000 and 45000.In order to visualize the relationship between the number of training samples and performance, we plotted the graphs (As Figure 3).It can be seen that as the number of training samples increases, the correctness of the

Figure 4: Fan chart of the percentage of each category of the resume corpus.

model rises. Finally, the model's performance reaches the highest point when the training samples are increased to 40,000. From the experimental results, for the PLMs, this resume corpus above 40,000 is sufficient for the model's maximum performance. The results also prove that the new resume corpus, which doubles the sample size, is significant compared to the original resum corpus.

## 6 Analysis

In the final section, we analyze the sample distribution of the constructed resume corpus. Figure 4 shows that the category with the most significant proportion in the resume corpus is experience, which accounts for half of the resume text. In addition, the three categories that account for the least in the resume corpus are skill, object, and qualification, which account for only 7\%, $3 \%$, and $1 \%$.Conclusively, resume text is a very easy sample imbalance for experimental subjects. Thus, the resume corpus also vigorously tests the model's learning capability for categories
with sparse samples in the training dataset. Hence, we plotted the conflation matrix of RoBERTa and T5 models. It is used to analyze the learning ability of the two models for sample-sparse categories in the dataset.

As shown in the figure 5, we can see the confusion matrix of RoBERTa and T5 models. First,the RoBE-RTa model is better for classifying qualification with the least number of samples. Secondly, the T5 model is slightly better than the RoBERTa model in terms of overall category classification results. The above results also demonstrate that our constructed resume corpus is highly unbalanced. However, if the model has strong performance, it can still learn the features of the corresponding category from very few samples.

Figure 5: Confuse Matrix of RoBERTa arge and $5_{\text {large }}$ model in test set.

## 7 Conclusion

In this paper, we improve the classification labels of the original English resume corpus. Furthermore, it doubled the number of samples size. The final tests and analyses also show the reliability of the newly constructed resume corpus. In future work, we will explore how to solve the sample imbalance problem of the resume corpus. Make the model learn effectively even for small sample categories.

## References

[1] S. Huang, L. I. Wei, and J. Zhang. Entity extraction method of resume information based on deep learning. Computer Engineering and Design, 2018.

[2] R Mooney. Relational learning of pattern-match rules for information extraction. In Proceedings of the sixteenth national conference on artificial intelligence, volume 328, page 334, 1999.

[3] Kun Yu, Gang Guan, and Ming Zhou. Resume information extraction with cascaded hybrid model. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL' 05), pages 499-506, 2005.

[4] Yanyuan Su, Jian Zhang, and Jianhao Lu. The resume corpus: A large dataset for research in information extraction systems. In 2019 15th International Conference on Computational Intelligence and Security (CIS), pages 375-378. IEEE, 2019.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140):1-67, 2020.


# 自然言語で書かれた複数の情報リソースの 時系列解析による市場探索手法の提案

上田 紗綾宮前 義範奥 良彰中原健
ローム株式会社 研究開発センター 融合技術研究開発部
\{saya. ueda, yoshinori.miyamae, yoshiaki.oku, ken. nakahara\}@dsn. rohm.co.jp

## 概要

本手法は、研究開発のテーマについてその市場性を分析する手法を提案する。研究開発テーマの代表的な単語を対象として、技術ニュースや特許データベースなど性質の異なる複数の自然言語で書かれた情報リソースを入力とし、Word2vec によるホットワ ード解析を実施する[1]。市場規模などまだ統計的な数値データがはっきりとしない分野や、その市場において独占的な分野があり他の分野が見えにくい状況においても、客観的かつ短時間に市場を俯瞰することを目指す。

解析テーマとして、酸素および湿度センサに関する市場分析を行った。どちらのセンサも、その既存市場は自動車産業が大きなシェアを占め[2][3]、それ以外のニッチな市場は見えにくくなっている。本手法により、技術ニュースサイトからは可能性のある市場のホットワードを、特許データベースからは、 その市場と関連性の高い技術を取り出すことができた。

## 1 背景

研究開発テーマおよび事業成功確率の向上は喫緊の課題である。例えば、経済産業省が取りまとめた製造業別研究開発の成功確率のうち、「基礎研究が事業化に結び付くもの」は平均で $12.3 \%$ と、低い值にとどまっている[4]。このため、どの研究機関が有望であるかについて、国は研究開発に係る無形資産価値の可視化についての議論を進めている状況である[5]。しかしながら、研究開発領域、「知」の価値を評価する際の情報の妥当性について、該当する領域範囲での経験がなければ研究開発テーマや事業を適切に評価することができないことが課題となっており、またその評価手法については定式化することが望まれている。

一方で市場がまだ形成されていないことが多い研究開発のテーマについては、定量的なデータが容易
に手に入らないため統計的な手法を使うことができずに、各種定性的な情報を使用する必要がある。定性的な情報を解析するためのソフトウェアやコンサルティングが増えてきており研究も進んでいるが、特許や論文といった単一の情報源を処理する例がほとんどであり、例えば、ニュースなども含めた上での、複数の情報を組み合わせた評価はほとんどない。 これは複数の媒体から得たニュースの評価を行おうとすると、質の異なるニュース自体を評価する必要があり、尚且つ、その重要度の判断を人が行なわなければならないためである。限られた時間の中でこれらの判断を適切に行うことは難しいのが現状である。

## 2 関連研究

売り上げ規模など市場における客観的な情報を使わない手法としては、大量のテキストデータの解析手法として、新規性の評価[6][7][8][9]、概要の要約 [10]がある。また、特許をターゲットとしたものでは、記載技術の価値判断および時系列解析を用いた価値判断手法として、特許の引用数を使用して対象とする技術の価値を判断する手法[11] や、SCDV (Sparse Composite Document Vectors )による文書ベクトルと財務諸表のデータを使用して評価する手法[12]、論文本数を用いて評価する手法[13]がある。しかしこれらの手法は、あくまでも単一の情報リソースから分析したものであって、複数の情報リソースからデ一夕を得て多角的に評価したものではない。

## 3 提案手法

本研究は、複数の媒体からデータ収集を行い、かつ技術者 1 名に対して事前ヒアリングを実施した。技術者より、酸素センサと湿度センサの想定している市場は「1.車載(自動車産業)、2.医療、3.産業機器、 4.家電、5.モバイル、6.IoT(Internet of Things)」との回答を得た。また、3.1-3.3 でデータセットの収集方法及び解析手法を述べる。

## 3.1 解析対象とする媒体

本研究で対象としたニュースは「日経 TechFind[14]」「Anews[15]」「Share research[16]」の 3 つの媒体ごとに得たものである。異なる 3 つの媒体の検索結果を自然言語処理によって評価し、比較する。まず、日経 TechFind は技術的記事に強みがあり、独自に、これから伸びる技術領域についてユー ザーが簡単に理解できるような工夫がされている。次に Anews は技術サイトのニュースの中から、研究開発部門に所属するメンバーの好みが反映されたサイトを選択できるため、その部門の嗜好を反映させることができる。最後に Shareresearch は特許に特化されている媒体であり、ほかの 2 つの媒体と比べて学術色が強い。

図 1 対象とする 3 つの媒体について

## 3.2 解析対象とするデータ

データ範囲は、「日経 TechFind」は 2017 年から 2022 年、「Anews」は 2019 年から 2022 年(のぞく 2020 年)、「Shareresearch」2017 年から 2021 年のものである。

## 3.3 解析フロー

図 2 本手法のフローチャート

図 2 に本研究のフローチャートを示す。技術者に対してヒアリングを実施し、どの分野について自然言語処理をしたいのか特定をする。次に、特定した分野に対して 3 つの媒体から記事収集を行う。そして、Word 2vec における「skip-gram」[17]によりベクトル空間を作成し、t-SNE[18]による次元圧縮後、 DBSCAN[19]によるクラスタリングを行った。特許だけに使用した例としては[1]があるが、今回は 3つの媒体に対しても同じ手法を適用する。最後に、結果の比較を行う。

## 4 結果

## 4. 1 「酸素センサ」の解析結果

酸素センサの解析結果を図 3 に示す、まず「日経 TechFind」は、2019 年度は「血中」「溶存」「無菌」、 2020 年度は「血中」「ウェルネス」「計測」「症状」、 2021 年度は「リハビリテーション」「感度」、2022 年度は「代謝」「精度」という単語の出現が確認できた。これらの単語からは医療分野に関して酸素センサの適性を示すものである。一方「Anews」では 「光線」「破断」といった各研究開発センターのメンバーが興味を持っている分野の単語が集まった。

「Shareresearch」に関しては「冷蔵庫」「NO $O_{x}$ (窒素酸化物)」といった酸素センサが活用されるであろう技術的な領域に関する単語が導出された。(ここで述べた単語については図 3 で赤文字表記を行った。)

これらの結果から、車載や IoT といった研究開発センターのメンバーの志向以外に、医療分野や環境系への市場への発展も期待できるという結果を得ることができた。

## 4. 2 「湿度センサ」の解析結果

湿度センサの解析結果を図 4 に示す。「日経 TechFind」は、2017 年度は「環境」「照度」「気圧」 2018 年度は「温度」「照度」「濃度」、2019 年度は 「温度」「照度」「濃度」、2020 年度は「土壌」「日照」という単語の出現が確認できた。これらの単語からは農業分野に関して湿度センサの適性があるのではという事を示すものである。一方「Anews」は、「高機能」「コンセプト」「組み合わせ」「全体的」 といった、システム全体に対してメンバーが興味を持っているということが判明した。「Shareresearch」 に関しては、「アウトドア」「スプリンクラー」など、湿度センサの使用用途として複数の関連単語を得た。(ここで述べた単語については図 4 で赤文字表記を行った。)

これらの結果から、酸素センサと同様に、研究開発センターのメンバーの志向以外に環境やシステム、特定の市場に関する知見を得ることができた。

図 3 ホットワード「酸素」に関する結果

図 4 ホットワード「湿度」に関する結果

## 4. 2 考察

酸素センサと湿度センサに対して記事の収集を行い、自然言語解析を実施したが、「日経 TechFind」

「Anews」「Shareresearch」で同じテーマを扱っているにもかかわらず、それぞれの出力結果は異なっており、傾向も媒体ごとに異なっていた。また市場調査では自動車産業が大きなシェアを占めており、同様に、技術者の頭の中では「1. 車載(自動車産業)、2.医療、3. 産業機器、4.家電、5.モバイル、6.IoT」との回答だったが、今回の解析結果では主に車載以外の項目がピックアップされ、一般的な回答とは異なる結果を得ることが出来た。

## 5 おわりに

本研究では、市場探索の 1 つの手法として、情報リソースごとに年代ごとの自然言語処理を行い、重要単語をピックアップした。これを時系列に並べることでその変遷が分かるようになった。また「日経 TechFind」「Anews」「Shareresearch」の3つの媒体を同一テーマ(「酸素センサ」「湿度センサ」)で自然言語処理解析することで比較をした。さらに出力結果と、市場調査及び(技術者に対する)事前ヒアリングとの比較を行うことで自動車産業(車載)以外の市場についての見出しを行うことが出来た。これは、 (同じテーマであっても媒体ごとに出力結果が異なっており)解析者が多様な見方をすることにつながっていると考えられる。人力調査や一般論では見落としていた情報や市場が見えることになり、これか

## 参考文献

[1]上田紗綾.特許情報の時系列解析結果と売上デー タを利用した半導体に関する重要技術の抽出方法.(オンライン)(引用日: 2023 年 1 月 11 日.) https://www.anlp.jp/proceedings/annual_meeting/2022/p df_dir/G6-5.pdf

[2]株式会社グローバルインフォメーション.酸素ガスセンサー市場-成長、動向、COVID-19 の影響、予測(2022 年-2027 年).(オンライン)(引用日: 2022 年 12 月 28 日.)

https://www.gii.co.jp/report/moi393345-global-oxygengas-sensors-market-growth-trends.html
らの技術開発の多様化を促し、開発の一助となるだろうと考えている。

今後は、技術者ヒアリングについて今回は 1 名のみであったので、特定テーマの複数人員に対して事前ヒアリングを行いかつ自然言語処理を組み合わせる手法について検証を行いたい。また、今回は単語による市場探索を行ったが、文脈理解、文章や文脈の単位でクラスタリングできる手法が適切であるとも考えられる。今後はトピックモデルや BERT の適用も検討していく。

[3]株式会社グローバルインフォメーション.湿度センサーの世界市場(2022-2027 年).(オンライン)( 引用日: 2022 年 12 月 28 日.) https://www.gii.co.jp/report/imarc1071045-humiditysensor-market-global-industry-trends.html

[4]小沼良直.民間企業における研究開発テーマ評価と研究開発者評価.(オンライン)(引用日: 2023 年 1 月 11 日.)

https://www.mext.go.jp/component/a_menu/science/deta il/_icsFiles/afieldfile/2010/06/25/1294227_8.pdf

[5]経済産業省.研究開発に係る無形資産価值の可視化研究会.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://www.meti.go.jp/shingikai/economy/mukei_shisan /index.html

[6] 難波英嗣. 手順オントロジー構築のための特許請求項の)構造解析.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.japio.or.jp/00yearbook/files/2020book/20_3 _01.pdf

[7] 安藤俊幸.特許調査のためのプログラム事例紹

介.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/jkg/70/4/70_203/_pdf /-char/ja

[8] 安藤俊幸,桐山勉.分散表現学習を利用した効率的な特許調査.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/infopro/2019/0/2019_ 31/_pdf/-char/ja

[9] 安藤俊幸.機械学習による予備検索を考慮した効率的な特許調查.(オンライン)(引用日:2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/infopro/2020/0/2020_ 43/_pdf/-char/ja

[10]特許庁.特許出願技術動向調査.(オンライン)(引用日: 2023 年 1 月 12 日.) https://www.jpo.go.jp/resources/report/gidouhoukoku/tokkyo/index.html [11]山本雄太.技術コミュニティの成長性を加味した特許価值評価手法の開発.(オンライン)(引用日: 2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSA I2020_4K2GS305/_pdf/-char/ja

[12]米村崇.特許分析を通じた製薬企業の研究開発と企業価値との関連性の研究.(オンライン)(引用日: 2023 年 1 月 12 日.)

https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/deta il.php?koara_id=KO40003001-00002020-3761
[13]柴田洋輔. 特許と論文の複合解析による有望応用分野の予測一印刷技術を例に一(オンライン)(引用日: 2023 年 1 月 12 日.)

https://www.jstage.jst.go.jp/article/jkg/69/3/69_128/_pdf /-char/ja

[14]日経 TechFind.トップページ.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://xtech.nikkei.com/service/techfind/

[15]Anews.トップページ.(オンライン)(引用日: 2022 年 12 月 28 日.)

https://anews.stockmark.ai/\#/account/login

[16]Shareresearch.(オンライン)(引用日: 2022 年 12 月 28 日.)

http://demosc.shareresearch.net/sr-c/Login/Login.aspx [17] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean (2013) "Efficient Estimation of Word Representations in Vector Space” . (online) (引用日: 2023 年 1 月 12 日.)

https://arxiv.org/pdf/1301.3781.pdf

[18]Laurens van der Maaten, Geoffrey

Hinton.Visualizing Data using t-SNE(online) (引用日:

2022 年 1 月 12 日.)

https://www.jmlr.org/papers/volume9/vandermaaten08a/ vandermaaten08a.pdf

[19] a b Simoudis, Evangelos; Han, Jiawei; Fayyad, Usama M., eds (1996). "A density-based algorithm for discovering clusters in large spatial databases with noise". Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96). AAAI Press. pp. 226-231. ISBN 1-57735004-9 (引用日: 2022 年 1 月 12 日.)

https://www.aaai.org/Papers/KDD/1996/KDD96-037.pdf


# 数学的表現の構造的情報のトークン化手法による ProcessBERT の性能改善

張 純朴 加藤 祥太 加納 学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

プロセス産業において重要な役割を果たす物理モデルの構築には，文献調査を含めた多大な労力を要する．その労力を削減するために，物理モデルを自動で構築するシステム (AutoPMoB) の実現を目指している. 本研究の目的は，AutoPMoB の実現に必要な要素技術として，複数文献間の変数定義の同義性判定手法を開発することである. 本研究では，まず，化学プロセス関連の論文約 80 万報からなるコー パスを作成した. そして，数学的表現の構造的情報を扱う前処理およびトークン化手法を提案し，化学プロセスに特化した言語モデル ProcessBERT 2022 $^{\text {を }}$構築した. ProcessBERT ${ }_{2022}$ は変数同義性判定において，既存モデルを上回り，F1 值 0.872 を達成した。

## 1 はじめに

化学や鉄鋼などのプロセス産業では，プロセスの設計や運転に物理モデルに基づくプロセスシミュレータが用いられている．物理モデルの構築にはプロセスに関する深い理解と専門知識だけでなく, 精度向上のための試行錯誤的な取り組みが必要とされる.このため, 物理モデルの構築には多大な労力がかかる. 本研究の最終目的は，複数の文献から物理モデルを自動で構築するシステム (Automated physical model builder; AutoPMoB) を開発することである．AutoPMoB の実現には，物理モデル構築に必要な情報を文献から抽出し，抽出した情報の表記を統一する必要がある。本研究の目的は，表記を統一するために，異なる文献から抽出した変数の定義が同じかどうか (同義性) を正確に判定する手法を開発することである. 本研究では，1) 約 80 万報の化学工学関連論文を収集し，2) BERT モデルが数学的表現の構造的情報を学習できるような前処理手法を提案し，BERT モデルをゼロから学習する。 そして，提案手法と既存手法で構築した BERT モデルによる変数定義の同義性判定性能を比較する.

## 2 関連研究

自然言語処理の分野において，単語の意味をべクトル (埋込ベクトル) で表現することの有効性が多くの研究で検証されてきた. Word2Vec [1]，GloVe [2]， FastText [3] は，文脈に依存しない埋込べクトルである.しかし，単語の意味は文脈によって変わる場合がある。単語に対して一意に決まる埋込べクトルを学習する手法はそのような状況に対応できない。文脈に依存した埋込べクトルを学習する言語モデルの一つが BERT (Bidirectional Encoder Representations from Transformers) [4] である. Peng ら [5] は，数式とその周辺の文脈から構成されるコーパスを用いて，数学分野の情報抽出，トピック分類および文生成のタスクに特化したモデル MathBERT を構築した. Dadure ら [6] は，数学分野の情報抽出と質問応答の研究を行う ARQMath [7] が作成したコーパスを用いて，数式の情報抽出タスクに特化した BERT モデルを作成した. これらの研究では，一般的な数学的情報を扱うコーパスを用いて追加で BERT モデルを訓練していた。しかし，化学プロセス分野における変数定義同義性判定のタスクに対応するために，その分野に特化したコーパスでモデルを構築する必要がある．金上ら [8] は，化学工学分野のコーパス (約 7 億語)を用いて BERT を追加で訓練し，ProcessBERT を構築した. 彼らの前処理では，数学的表現の構造的な情報を無視したテキストを使用していた. 図 1 に数式 $\frac{c_{k}}{c_{l}}$ の前処理およびトークン化後の文字列を示す. この前処理後の文字列が元々数学的表現の一部なのか，単語の一部なのかを区別することはできないため，数学的表現の構造的情報は学習されない。また，学習に使用したコーパスのサイズが小さいという課題があった.

図 1 先行研究 [8] の前処理およびトークン化手法による数式の変換例.

## 3 提案モデル (ProcessBERT 2022 )

## 3.1 コーパス

Elsevier 社が提供する Elsevier Research Product APIs [9] を用いて, 化学工学分野の 130 ジャーナルから XML (Extensible Markup Language) 形式の論文ファイルを収集した. XML はタグを用いて文章の見た目と構造を記述するマークアップ言語の一種である. XML の数学的表現に対応するタグは 2004 年に $\langle$ formula $\rangle$ タグから $\langle\mathrm{mml}: \mathrm{math}\rangle$ タグに変更された. 本研究では, 論文中の数学的表現を統一的に処理するために, 数学的表現の記述に $\langle\mathrm{mml}: \mathrm{math}\rangle$ が用いられている 2005 年以降の論文約 80 万報を使用する. 簡単のため, 以降の文では，数学的表現の記述に用いられるタグを “mml”が省略された形で表記する. 先行研究 [8] と同様に，論文の抄録と本文を用い，タイトル・著者情報・キーワード・参考文献・付録は用いない.

## 3.2 前処理とトークン化

前処理では，まず数学的表現の置換を行う．数学的表現は変数と数式の二種類に分けられる. 本研究では，以下の 2 つの条件を全て満たす XML 構文を変数を表現するものとみなす.
1. $\langle\mathrm{mi}\rangle,\langle\mathrm{msub}\rangle,\langle\mathrm{msup}\rangle,\langle\mathrm{msubsup}\rangle,\langle\mathrm{mover}\rangle$, $\langle$ munder $\rangle$, 〈moverunder $\rangle$, $\langle$ math $\rangle,\langle\mathrm{mrow}\rangle$ の 9 種類のタグのみを使用する。

2. 一番外側の $\langle\mathrm{math}\rangle$ 要素の直下にある子要素の数が 1 である.表 17 種類の XML タグごとの変数変換ルール

図 2 提案する前処理による変数と数式の変換例. XML タグと変換ルールに基づいてタグを含まない文字列に変換する。

XML で変数の表現に用いられる 7 種類のタグに注目し，表 1 に示す変換ルールを定義した. このルールに基づき，各変数を処理する。一つの変数に複数のタグが用いられる場合，外側から順に処理を行う．数式は変数と比較してタグの種類が多く，構造も多様である．また，数式より変数の方が変数定義の同義性判定を行う上で重要であると考えたため，数式は一律に “[FOR]” トークンで置換することとした. 図 2 に変数と数式の変換処理の例を示す.

次に，前処理後の文字列をトークン化する。トー クン化には BERT と同じ WordPiece [10] アルゴリズムで作成したトークナイザを用いた. トークナイザの作成時には 6 種類の特殊トークン (“[FOR]”, “[VAR]”, “[SUB]”, “[SUP]”, “[OVER]”, “[UNDER]”) を追加した。

## 3.3 事前学習

以下の 3 つのステップを経て，XML ファイルを一文一行 (one sentence per line) のテキストファイルに変換する。

1. 数学的表現を提案した前処理で変換する.

2. 抄録と本文のテキスト部分を結合する。

3. 文分割のツール Spacy [11]を用いて，結合されたテキストを文に分割し，一行が一文のテキストファイルに変換する。

以上の処理で事前学習データ (36 億語)を得た. これを用いて BERT モデルをゼロから訓練し, 化学プロセスに特化した言語モデル ProcessBERT ${ }_{2022}$ を構築した. ProcessBERT ${ }_{2022}$ の学習では, バッチサイズとシーケンスの最大長をそれぞれ 256 と 128 とし，学習ステップを $1,000,000$ とした。それ以外のハイパーパラメータは $\mathrm{BERT}_{\mathrm{BASE}}$ [12] と同じとした。事前学習タスクは Masked Language Model と Next Sentence Prediction とした. 計算には Google Cloud Platform [13] で 8 コアの TPU v3 を使用した.学習には約 32 時間要した. 事前学習の際に指定する語彙ファイルはトークナイザの作成時と同じものを使用した。

## 4 実験

## 4.1 データセット

先行研究 [8] で使用したデータセットに新たに 2 プロセスを追加した合計 5 つの化学プロセスに関する論文 45 報からなるデータセットを用いる． 5 つのプロセスは，バイオディーゼルプロセス (Biodiesel; $\mathrm{BD})$ ，晶析プロセス (Crystallization; CRYST)，連続槽型反応器 (Continuous Stirred Tank Reactor; CSTR), チョクラルスキープロセス (Czochralski; CZ)，多管式熱交換器 (Shell and Tube Heat Exchanger; STHE) である. 同一プロセスの異なる 2 つの論文に含まれるすべての変数定義のぺアについて，同義 (1)もしくは非同義 (0) のラベルが付与されている. プロセスごとの同義と非同義の変数定義ぺアの数を表 2 に示す.このデータセットは，同義ぺアの数が非同義変数定義ぺアの数よりもかなり少ない不均衡データセットであるため，以下のように各プロセスについて，訓練用およびテスト用データを作成した。

訓練用同義変数定義ぺアの半分をランダムにサンプリングし，どのプロセスでもデータの総数が 1,500 になるように非同義の変数定義ぺアをランダムにサンプリングした.

テスト用訓練用データ以外の同義変数定義ぺアをテスト用とした。また，テスト用データの数が全体のサンプル数の $10 \%$ になるうに非同義の変数定義ペアをランダムにサンプリングした.表 2 各プロセスの論文数と同義および非同義のペア数

## 4.2 同義性判定手法

先行研究 [8] と同様に，「変数定義の類似度に基づく手法」と「ファインチューニング済モデルに基づく手法」を用いる.

## 4.2.1 変数定義の類似度に基づく手法

2 つの変数定義をそれぞれ BERT モデルに入力して変数定義べクトルを算出し，それらのコサイン類似度が閾値より大きければ同義と判定する。変数定義ベクトルとして, 先行研究 [8] では 12 層の Transformer encoder の出力ベクトルの平均を使用していたが，本研究では，最終層の出力ベクトルのみを使用する．変数定義べクトルの計算には Devlin らが Github 上で公開しているプログラム [12] (extract_features.py) を使用した。閾值には Youden's Index [14]を採用した.

## 4.2.2 ファインチューニング済モデルに基づく手法

各プロセスについて, ProcessBERT ${ }_{2022}$ の事前学習済モデルを訓練用データでファインチューニングし，そのモデルで同義性を判定する. ファインチューニングの際の下流タスクとして，2つの名詞句が言い換えであるかどうかを判定する Microsoft Research Paraphrase Corpus (MRPC) [15] を用いたタスクを使用し，訓練には Devlin らが Github 上で公開しているプログラム [12] (run_classifier.py)を使用した.

## 5 結果と考察

## 5.1 結果

類似度による同義性判定の結果を表 3 に示す. 本研究で構築した ProcessBERT 2022 に加えて, ProcessBERT [8], BERT ${ }_{B A S E}$ [4], SciBERT [16] の結果も示した. ProcessBERT ${ }_{2022}$ は CRYST と CZ の 2 つのプロセスにおいて最も高い $\mathrm{F} 1$ 値を達成したのに
表 3 類似度に基づく変数定義同義性判定結果 (F1 値)

対して，SciBERTはBD，STHEおよび全プロセスをまとめたデータセット (All), ProcessBERT は CSTR においてそれぞれ最高値を達成した。

ProcessBERT $_{2022}$ と ProcessBERT のファイチュー ニング済モデルによる同義性判定結果 (正解率,適合率，再現率， $\mathrm{F}$ 値)をそれぞれ表 4 と表 5 に示す.いずれの場合も類似度を用いた手法と比較して，BD と STHE を除いたデータセットで性能が向上した. BD と CSTR 以外のデータセットにおいて, ProcessBERT ${ }_{2022}$ の性能は ProcessBERT よりも高かった.

## 5.2 考察

本研究で構築したコーパス (36 億語) は，他のドメイン特化 BERT モデルのそれと同等のサイズである (SciBERT [16]: 32 億語, BioBERT [17]: 45 億語, PubMedBERT [18]: 31 億語). そして, 先行研究 [8] では事前学習済の BERT $_{\text {BASE }}$ のモデルに追加で学習を行ったのに対して, 本研究では, 構築したコーパスのみを用いてゼロから学習を行った. このため,先行研究で報告された，コーパスのサイズが小さく, モデルが十分に化学プロセス分野の専門的知識を十分に学習できない問題は改善された。

ファインチューニング済モデルによる同義性判定の結果において，ProcessBERT ${ }_{2022}$ は BD のデータセットに対する再現率と $\mathrm{F}$ 値が，他のプロセスの場合よりも低かった.これは, BD の同義変数定義ぺアの数が少なく，モデルが十分に正例を学習できなかったことが原因として考えられる. 高い性能を達成するには，他のプロセスと同等の数の正例データを確保する必要がある。

また, 本研究では変数定義の類似度に基づく手法とファインチューニング済モデルに基づく手法の両方において，変数定義を大力とした. これは，変数定義を含む文を入力とし，類似度に基づく手法で同義性判定を行ったところ，モデルの性能が著しく低下したためである．単語は周辺の文脈から意味が決まるという分布仮説や BERT モデルが事前学習時に表 4 ProcessBERT ${ }_{2022}$ のファインチューニング済モデルに基づく変数定義同義性判定結果

表 5 ProcessBERT のファインチューニング済モデルに基づく変数定義同義性判定結果

文を入力とする事実を踏まえると，本来は文を入力することで性能向上を期待できるはずである. さらに，定義を含む文を入力とする方法はファイチュー ニング済モデルに基づく手法に適用できるが，その際に適切な下流タスクを考案する必要がある.このような文を入力として用いる方法の開発は今後の課題である.

## 6 おわりに

本研究では先行研究 [8] に引き続き，物理モデル自動構築システム (AutoPMoB) の要素技術である複数文献間における変数の同義性判定手法の開発に取り組み，XML 形式のコーパスに含まれる数学的表現の構造的情報を扱う前処理およびトー クン化手法を提案した. 提案手法で構築した言語モデル ProcessBERT ${ }_{2022}$ は先行研究で構築された ProcessBERT [8] よりも高い同義性判定性能を達成した. 今後は， 5.2 節で議論した課題に対応し，さらなる性能向上を目指す.

## 謝辞

本研究は JSPS 科研費 JP21K18849 および Google Cloud Research Credits プログラムの助成 (GCP19980904)を受けたものです.

## 参考文献

[1] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[2] J. Pennington, R. Socher, and C. Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[3] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[4] J. Devlin, M. Chang, K. Lee, and K. Toutanova. Bert: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] S. Peng, K. Yuan, L. Gao, and Z. Tang. Mathbert: A pre-trained model for mathematical formula understanding. arXiv preprint arXiv:2105.00377, 2021.

[6] P. Dadure, P. Pakray, and S. Bandyopadhyay. Bert-based embedding model for formula retrieval. In CLEF (Working Notes), pp. 36-46, 2021.

[7] R. Zanibbi, D. W Oard, A. Agarwal, and B. Mansouri. Overview of arqmath 2020: Clef lab on answer retrieval for questions on math. In International Conference of the Cross-Language Evaluation Forum for European Languages, pp. 169-193. Springer, 2020.

[8] 金上和毅, 加藤祥太, 加納学. 複数文献間の変数の同義性判定に向けた ProcessBERT の構築. 言語処理学会第 28 回年次大会発表論文集, 2022.

[9] Elsevier developer protal. https://dev.elsevier.com/ ., Accessed on 2022/01/16.

[10] X. Song, A. Salcianu, Y. Song, D. Dopson, and D. Zhou. Fast wordpiece tokenization. arXiv preprint arXiv:2012.15524, 2020

[11] M. Neumann, D. King, I. Beltagy, and W. Ammar. Scispacy: fast and robust models for biomedical natural language processing. arXiv preprint arXiv:1902.07669, 2019.

[12] Original bert codes. https://github.com/ google-research/bert, Accessed on 2022/07/13

[13] Cloud computing services-google cloud. https:// cloud. google.com/., Accessed on 2022/12/29.

[14] W. J. Youden. Index for rating diagnostic tests. Cancer, pp. 32-35, 1950.

[15] B. Dolan and C. Brockett. Automatically constructing a corpus of sentential paraphrases. In Third International Workshop on Paraphrasing (IWP2005), 2005.

[16] I. Beltagy, K. Lo, and A. Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019

[17] J. Lee, W. Yoon, S. Kim, D. Kim, S. Kim, C. So, and
J. Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[18] Y. Gu, R. Tinn, H. Cheng, M. Lucas, N. Usuyama, X. Liu, T. Naumann, J. Gao, and H. Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.


# Wikipedia 協調フィルタリング法

竹内皓紀 ${ }^{1}$ 林克彦 ${ }^{2}$
1 群馬大学 2 北海道大学
${ }^{2}$ katsuhiko-h@ist.hokudai.ac.jp

## 概要

Wikipedia は様々な物事（ここでは「エンティティ」と呼ぶ）について質の高い記事が存在し, 多様な研究領域において利用されてきた。従来の研究では，Wikipedia の概要文やハイパーリンクなどのコンテンツ情報を利用することが一般的であったが， Wikipedia のコンテンツ情報はユーザの主観を排して編集されるため，評論やレビュー文とは異なり， エンティティに関する表層的な属性情報しか考慮することができない. この課題を解決するため, 本稿では Wikipedia の編集者情報を利用した協調フィルタリング法を提案する。提案手法をエンティティ間の類似度推定に利用し，推薦タスクで評価を行った結果，その有効性を確認した。

## 1 はじめに

Wikipedia は誰でも編集できるオンライン百科事典であり，編集の容易さや編集人数の多さから様々な物事（ここでは「エンティティ」と呼ぶ）について質の高い記事が存在する. そのため, Wikipedia から得た情報は様々な研究領域において利用されてきた。その中でも，エンティティ間の類似度推定は，推薦，検索や自然言語処理など多くの応用先があり，単語埋め込みなどの手法とも関係性がある研究課題である. エンティティ間の類似度を推定する際には，まずエンティティの特徴量を抽出する必要がある。その情報源として図 1 に示すような概要文やハイパーリンクなどの Wikipedia のコンテンツ情報を活用することが一般的である $[1,2,3]$.

しかし, Wikipedia は百科事典であり，そのコンテンツに関しては「中立的な観点」を基本方針の 1 つとしている．「中立的な観点」とは，信頼できる情報源を慎重に分析し，可能な限り編集上の偏向なく読者に伝えることを指す1)．そのため，Wikipedia

1) https://en.wikipedia.org/wiki/Wikipedia:

図 1: Wikipedia から取得できる各種情報. 画像は英語版 Wikipedia から引用.

のコンテンツ情報は，編集者の個人的な意見や嗜好が反映されにくく, 表層的な属性情報に限られる。 よって，従来のコンテンツベースによるエンティティ類似度推定手法の欠点の 1 つとして，人間の埕好性などに内在するエンティティ間の複雑な類似性を捉えることが本質的に難しい点が挙げられる。

一方，コンテンツベースとは異なる考え方として，協調フィルタリングと呼ばれる方法論がある [4]. 協調フィルタリングはユーザの諾好情報で推論を行う方法論であり，主に推薦に関する研究分野で発展してきた. 有名な応用例としては, Amazon の商品推薦，Netflix の動画推薦システムなどが知られている。このようなシステムを構築するにはユー ザの嗜好が含まれた購買履歴などのプロファイル情報を入手する必要があり，協調フィルタリングを適用できるドメインは一般に限られるが，商品や動画などのエンティティ間に内在する複雑な類似性を捉えることが可能となる.

このような背景から, 本研究では協調フィルタ

リングを参考にして，Wikipedia におけるエンティティ間の類似度を推定する新しい手法を提案する。図1で示すように, Wikipedia には各記事を誰が編集したかという履歴が残されており，提案手法ではこのような記事の編集者情報を利用する。編集者は一般に関心がある記事を編集するため，協調フィルタリングの考え方から，同一編集者に編集された記事に対応するエンティティ同士は類似すると仮定できる.そのため，提案手法では，客観的な属性情報では捉えることが難しかったエンティティ間の複雑な類似性を推定できることが期待される.

本研究では推薦タスクを用いて提案手法の有効性を検証した. 実験結果からは Wikipedia の概要文やハイパーリンクに基づくコンテンツベースの手法に対して, 編集者履歴を使った提案手法の有効性が確認されたのでこれを報告する.

## 2 関連研究

## 2.1 Wikipedia からの特徵量抽出

推薦・情報検索・自然言語処理分野において， Wikipedia から単語間や文書間の意味的な類似性を捉えた特徴べクトルを学習することは重要な課題である.このとき, Wikipedia のコンテンツ情報であるテキストやハイパーリンクに対して， Explicit semantic analysis (ESA) [2], Word2Vec [5], Wikipedia2Vec [1], BERT [6], 潜在的意味解析 [7] や Paragraph Vector [8] などのモデルやツールを利用してベクトルを学習することが一般的となっている。

このような特徴べクトルの応用先の 1 つとして推薦タスクが考えられる。文献 [3] では, Wikipedia 記事のテキストを対象に文書べクトルを推定し，その類似度を使って映画や書籍の推薦を実現している。 しかし，推薦のような応用先を考える場合，コンテンツ情報では人の嗜好性を捉えることが難しく，文献 [3] の手法では十分な推薦精度を達成できていない. 本稿で提案する Wikipedia の編集者情報を利用するアプローチは，このような従来手法の課題を解決できる可能性を秘めた新しい試みとなっている.

## 2.2 協調フィルタリングを用いた推薦

協調フィルタリングを用いた推薦手法として，行列分解による手法 [9] や，それを一般化させた深層学習による手法 [10] がある. しかし, 深層学習モデルの隠れ層を増加させても，推薦性能に大きな違い
が見られないという報告もある $[11,12,10,13,14]$.一方で，協調フィルタリングを用いた古典的な推薦法として，近傍探索に基づく手法 $[15,16]$ があり，現在でも商用のシステムで広く利用されている.

アイテムベースの近傍探索モデルではアイテム間の類似度を推定する必要があり，近年では回帰に基づく手法が主流である $[11,17]$. 特に EASE モデル [11]では，類似度行列の推定をリッジ回帰問題として定式化する。これは閉形式で解を推定できるため，最適化が容易であり，安定的に高い推薦性能を実現できることが報告されている.

## 3 EASE による類似度推定

本稿ではエンティティ間の類似度を推定するためのモデルとして，EASE [11]を採用する。

$N$ 件の Wikipedia 記事 $\left(D_{1}, D_{2}, \cdots, D_{N}\right)$ が与えられたとき， $D_{i}$ は $M$ 種類の素性 (特徴量)を基底としたべクトル $\left[f_{i 1}, f_{i 2}, \cdots, f_{i M}\right]^{\mathrm{T}}$ として表せる (Wikipedia 記事はエンティティに対応する).これは Wikipedia 記事 $D_{i}$ に素性 $w_{j}$ が出現すれば， $f_{i j}=1$, 出現しなければ， $f_{i j}=0$ となるべクトルとする2).このような $N$ 個のべクトルを行に並べた Wikipedia 記事行列:

$
\mathbf{F}=\left(\begin{array}{cccc}
f_{11} & f_{12} & \cdots & f_{1 M} \\
f_{21} & f_{22} & \cdots & f_{2 M} \\
\vdots & \vdots & \ddots & \vdots \\
f_{N 1} & f_{N 2} & \cdots & f_{N M}
\end{array}\right) \in\{0,1\}^{N \times M}
$

を定義する. Wikipedia 記事の素性としては，概要文に含まれる 1-gram 2 -gram，ハイパーリンク，編集者履歴などを利用することができる.

EASEによって類似度行列を推定する場合， Wikipedia 記事 $D_{i}$ に素性 $w_{j}$ が出現することを回帰で予測する問題として定式化する。回帰で用いる説明変数として，素性 $w_{j}$ を除いた残りの $M-1$ 個の素性を用いることを考える。これを行列形式で定義すると以下のようになる。

$
\begin{aligned}
& \widehat{\mathbf{B}}=\underset{\mathbf{B}}{\arg \min }\left.\{\|\mathbf{F}-\mathbf{F B}\|_{F}^{2}+\lambda\|\mathbf{B}\|_{F}^{2}\right.\} \\
& \text { s.t. } \operatorname{diag}(\mathbf{B})=\mathbf{0} .
\end{aligned}
$

これは L2 正則化付きの二乗誤差を最小化することで，行列 $\mathbf{F}$ を自己復元する重み表現 $\mathbf{B}$ を獲得することが目的となる．ただし， $\mathbf{B}=\mathbf{I}$ とすれ゙，自明な形
$ には Wikipedia 記事 $D_{i}$ 中に素性 $w_{j}$ が出現した回数を
}考えることもできる。
表 1: データセットの統計情報: 各特徵量の種類数.

で式 (1)の最小化が達成されてしまうため, 制約条件として $\operatorname{diag}(\mathbf{B})=\mathbf{0}$ を課している。これは $\mathbf{B}$ の対角成分を全て 0 とすることを意味する.

式 (1) はラグランジュの未定乗数法により,

$
\|\mathbf{F}-\mathbf{F B}\|_{F}^{2}+\lambda\|\mathbf{B}\|_{F}^{2}+2 \boldsymbol{\alpha}^{\mathrm{T}} \operatorname{diag}(\mathbf{B})
$

を最小化する問題に帰着される。ここで $\alpha$ はラグランジュ乗数のべクトルを表す。そして，この解は下記のような閉形式を持ち，

$
\widehat{\mathbf{B}}=\mathbf{I}-\mathbf{P} \text { mat }(\mathbf{1} \oslash \operatorname{diag}(\mathbf{P}))
$

$\mathbf{P}=\left(\mathbf{F}^{\mathrm{T}} \mathbf{F}+\lambda \mathbf{I}\right)^{-1}$ であり，各要素は

$
\widehat{\mathbf{B}}_{j k}= \begin{cases}0 & (j=k) \\ -\frac{\mathbf{P}_{j k}}{\mathbf{P}_{k k}} & (j \neq k)\end{cases}
$

として推定できる。、 $\widehat{\mathbf{B}}$ は Wikipedia 記事間の類似度行列として用いることができる.

## 4 実験

## 4.1 評価用データセットの整備

実験ではデータセットとして MovieLens-20M $\left(\right.$ ML-20M) ${ }^{3)}$ ，Last.fm hetrec-2011 (Last.fm) [18] と LibraryThing $(\mathrm{LT})^{4)}$ を用いた. それぞれ，映画，音楽アーティストと書籍のドメインに関する推薦評価用データセットであり，ユーザの評価値を 2 値として扱っている.また，エンティティと Wikipedia 記事の対応付けについて，ML-20M は映画タイトルと編集距離が近いタイトルの Wikipedia 記事を用いた. Last.fm と LT については，エンティティと Wikipedia 記事の対応付けデータ $[19,20]$ を参考にした。

各推薦データのエンティティ（映画，音楽アー ティストや書籍）に対応付けた Wikipedia 記事から，英語 Wikipedia の編集者，多言語 Wikipedia の編集者，概要文，ハイパーリンクとカテゴリに関する情

3) https://grouplens.org/datasets/movielens/20m/

4) https://github.com/sisinflab/LinkedDatasets

図 2: 多言語 Wikipedia の記事数 (上位 25 力国).

報を取得した。ユーザ数や編集者数，語彙数などの統計情報は表 1 に示す.また，図 2 には ML-20M， Last.fm と LT に対して，記事数が多い上位 25 力国の記事数を示した. 英語版 Wikipedia については全エンティティに対する記事が存在する。

## 4.2 推薦による評価

本実験では推薦データに内在するユーザの嗜好性を Wikipedia 情報からどの程度捉えることができるのか調査する，具体的には，Wikipedia 情報から推定したエンティティの類似度行列を用いて推薦タスクの性能評価を行う．よって，以下ではまず，推薦タスクの手順について説明する。

評価手順推薦による評価を行うには，まず以下 3 つのデータが必要となる.

・訓練用データ

・評価用履歴データ

・評価用解答データ

訓練用データはエンティティの類似度行列 $\widehat{\mathbf{B}} \in \mathbb{R}^{N \times N}$ を推定するのに利用するデータである.本実験では，Wikipedia から抽出した情報を訓練用データとして扱う。

評価用履歴データは推薦データに含まれるユー ザの過去の埕好プロファイル情報である. 評価用解答データは, 評価用履歴データと同じユーザに対する嗜好プロファイル情報であるが，それぞれのデータにおいて，あるユーザ $u$ が関心を持ったエンティティに重なりはないように分割されている. ML-20M，Last.fm と LT の各推薦データに対して，ユーザをランダムに 5 分割し，各分割のユーザに対して，評価用履歴データと評価用解答データを大凡 $80 \%$ と $20 \%$ の割合で分割した.

評価用データについて，推薦タスクにおける具体的な役割を説明する。評価用履歴データに含まれる

図 3: ML-20，Last.fm と LT における 5 分割した各結果の推薦性能に対する平均と標準偏差.

ユーザ $u$ の履歴情報は $\mathbf{x} \in\{0,1\}^{N}$ というエンティティ数 $N$ 次元のベクトルで表され，このべクトルは $u$ が過去に関心を持ったエンティティに対応する次元の要素が 1 となり，それ以外は 0 となる. 推薦はこのユーザ $u$ が関心を持つ可能性のあるエンティティを予測するタスクである。この予測は $\mathbf{x}^{\mathrm{T}} \widehat{\mathbf{B}}$ で計算され，その結果はユーザ $u$ の各エンティティに対するスコア（関心）を表す。そして，このスコアの高いエンティティが評価用解答データに含まれていれば良い推薦として評価される。

評価指標本実験では Recall@ $R$ とDCG@ $R$ という2つの評価指標を用いて，推薦性能を評価する。 $R$ とは推薦したエンティティの数を表す. また，本稿では $\omega(r)$ を $R$ 個中の上位 $r$ 番目のエンティティ，

として定義する。これらをふまえて，あるユーザ $u$ に対する Recall@Rは以下のように定義される.

$
\text { Recall@ } R:=\sum_{r=1}^{R} \frac{\square\left[\omega(r) \in \mathscr{I}_{u}\right]}{\min \left(R,\left|\mathscr{F}_{u}\right|\right)}
$

また，DCG@Rは以下のように定義される.

$
\mathrm{DCG} @ R:=\sum_{r=1}^{R} \frac{2^{\left[\left[\omega(r) \in \mathcal{F}_{u}\right]\right.}-1}{\log (r+1)} .
$

NDCG@R は，推定したDCG@RをDCG@R の理想值で割ることにより計算される. これらの詳細は文献 [10] などを参照されたい.

性能評価結果を図 3 に示す。これらは 5 分割した各結果の推薦性能に対する平均と標準偏差を示している. Wikipedia のコンテンツ情報と編集者情報を比較すると ML-20M，Last.fm と LT の各データにおいて，すべての評価指標で編集者情報を用いたシステムの方が高い性能を示している。分析 Wikipedia 情報で推定した類似度行列に対する事例分析を行うことで，提案手法がコンテンツ情報を用いる従来法よりも優れた推薦性能を達成できた要因を探る．ML-20M の Fight Club という映画に対して，各情報から推定した類似度が高い上位 10 映画を抽出し，定性的分析を行った. コンテンツ情報から推定した類似度上位 10 映画について， ハイパーリンクは Fight Club と同監督の映画を多く挙げていた。一方で，編集者情報から推定した類似度上位 10 映画においては，Pulp Fiction や Memento （film）など，Fight Club と人の嗜好性に基づく関係性のある映画が挙げられた。つまり，従来法では属性情報を捉えているのに対し，提案手法では嗜好情報を捉えており，こうした違いが推薦性能の差に現れたのだと考えられる。詳細は付録 Aに付す。

## 5 まとめ

本稿では，Wikipedia の編集者情報を利用した協調フィルタリング法を提案し，エンティティの類似度推定に応用した. 従来の概要文やハイパーリンクなどのコンテンツ情報を利用した推定手法とは異なり，提案法はユーザの嗜好性を反映した類似度の推定が可能になると期待され，実際に，映画，音楽と書籍ドメインの推薦データを用いた評価実験から提案法の有効性を確認することができた.

今後は，推薦以外のタスクへの応用も検討し，提案法の有効性をさらに検証したい. その際，類似度としての活用ではなく, Wikipedia 記事行列の行列分解などを用いて，エンティティの低次元ベクトル表現を構築することで，より応用性の高い形式で結果を活用することも検討したい.

## 謝辞

本研究は JSPS 科研費 JP 21H03491 の助成を受けた.

## 参考文献

[1] Ikuya Yamada, Akari Asai, Jin Sakuma, Hiroyuki Shindo, Hideaki Takeda, Yoshiyasu Takefuji, and Yuji Matsumoto. Wikipedia2vec: An efficient toolkit for learning and visualizing the embeddings of words and entities from wikipedia. arXiv preprint arXiv:1812.06280, 2018.

[2] Evgeniy Gabrilovich and Shaul Markovitch. Computing semantic relatedness using wikipedia-based explicit semantic analysis. In Proc. of IJCAI, pp. 1606-1611, 2007.

[3] Cataldo Musto, Giovanni Semeraro, Marco de Gemmis, and Pasquale Lops. Learning word embeddings from wikipedia for content-based recommender systems. In Proc. of ECIR, pp. 729-734, 2016.

[4] David Goldberg, David Nichols, Brian M Oki, and Douglas Terry. Using collaborative filtering to weave an information tapestry. Communications of the ACM, Vol. 35, No. 12, pp. 61-70, 1992.

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Proc. of NIPS Conference, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[7] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. Journal of the American society for information science, Vol. 41, No. 6 , pp. 391-407, 1990.

[8] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proc. of ICML, pp. 11881196, 2014.

[9] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl. Application of dimensionality reduction in recommender system-a case study. Technical report, 2000.

[10] Dawen Liang, Rahul G Krishnan, Matthew D Hoffman, and Tony Jebara. Variational autoencoders for collaborative filtering. In Proc. of WWW Conference, pp. 689698,2018 .

[11] Harald Steck. Embarrassingly shallow autoencoders for sparse data. In Proc. of WWW Conference, pp. 32513257, 2019.

[12] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. In Proc. of WWW Conference, pp. 173-182, 2017.

[13] Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, and Lexing Xie. Autorec: Autoencoders meet collaborative filtering. In Proc. of WWW Conference, pp. 111-112, 2015.

[14] Yin Zheng, Bangsheng Tang, Wenkui Ding, and Hanning Zhou. A neural autoregressive approach to collaborative filtering. In Proc. of ICML, pp. 764-773, 2016.

[15] Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl. Item-based collaborative filtering recommendation algorithms. In Proc. of WWW Conference, pp. 285-295, 2001.

[16] Katsuhiko Hayashi. Rethinking correlation-based itemitem similarities for recommender systems. In Proc. of SIGIR Conference, pp. 2287-2291, 2022.

[17] Xia Ning and George Karypis. Slim: Sparse linear methods for top-n recommender systems. In Proc. of ICDM, pp. 497-506, 2011.

[18] Iván Cantador, Peter Brusilovsky, and Tsvi Kuflik. Second workshop on information heterogeneity and fusion in recommender systems (hetrec2011). In Proc. of RecSys Conference, pp. 387-388, 2011.

[19] Ignacio Fernández-Tobías, Paolo Tomeo, Iván Cantador, Tommaso Di Noia, and Eugenio Di Sciascio. Accuracy and diversity in cross-domain recommendations for cold-start users with positive-only feedback. In Proc. of RecSys Conference, pp. 119-122, 2016.

[20] Tommaso Di Noia, Vito Claudio Ostuni, Paolo Tomeo, and Eugenio Di Sciascio. Sprank: Semantic path-based ranking for top-n recommendations using linked open data. ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 8, No. 1, pp. 1-34, 2016.

## A 参考情報

表 2: ML-20M に登録されている映画 Fight Club と類似度が高い上位 10 映画: 下線は Fight Clubと同監督の映画を，太字は Fight Club と嗜好性に基づく関係性がある映画を表す。

## Fight Club

 \\

表 2 には, Wikipedia 情報で推定した類似度行列に対する事例分析の結果を記す。具体的には， ML-20M に登録されている Fight Club という映画に対して，各情報から推定した類似度が高い上位 10 映画を示した。下線は Fight Clubと同監督の映画を，太字は Figth Club と嗜好性に基づく関係性があると思われる映画を表す。この結果から，コンテンツ情報を用いる従来法は表層的な属性情報を，提案手法は人の嗜好性を捉えていることがわかる.


# 複数の質問形式を利用した分類型の 質問応答による薬物タンパク質間関係抽出

山田晃士 三輪誠 佐々木裕
豊田工業大学
\{sd22439, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

近年，質問応答による関係抽出手法が提案され，高い性能を達成している。しかし，質問文は人手で作った固定のものが使われており，質問文の表現が抽出結果に与える影響は明らかでない。また，一般分野以外のタスクへの有効性は未知数である。加えて，質問応答モデルは関係抽出を考慮して設計されていない. 本研究では，質問応答を用いた関係抽出手法の薬物タンパク質間関係抽出への適用を目指し，有効な質問形式の調査と，関係抽出に合わせた質問応答モデルの提案を行う. DrugProt データセットを用いて評価を行い，質問文の形式の関係抽出の性能への影響と薬物タンパク質間関係抽出における質問応答の有効性を確認した。

## 1 はじめに

近年，関係抽出に対して質問応答を用いる手法 $[1,2,3]$ が高い性能を示している. 質問応答を用いた関係抽出手法では，まず，候補となるすべての関係ラベルに対して質問文テンプレートを作成し，そこに関係抽出の対象とする用語ぺアの片方を当てはめることで質問文を作成する。作成した質問文と用語ペアを含む元の文で質問応答を行い，回答がテンプレートに当てはめていない用語であった場合にテンプレートが持つ関係が存在するとして関係抽出を行う. 質問応答を利用した関係抽出手法は，質問文の表現を調整することで 1 つ関係を複数の視点から抽出することができるという利点がある.

一方で，従来手法は人手で作成した固定したテンプレートを利用しており，質問文の表現の違いが関係抽出の結果にどのような影響を与えるのかは明らかにされていない．また，質問応答を用いた関係抽出手法は一般ドメインのデータセットを対象としており，薬学分野などの専門性の高いドメインに対す
る有効性は検証されていない，加えて，質問応答モデルが関係抽出のために設計されていないという問題点もある.

そこで，本研究では，質問応答による関係抽出手法の薬物タンパク質への適用を目的として，薬物タンパク質間関係抽出のデータセットである DrugProt データセット [4] に対して 2 種類の質問文テンプレートのセットを作成し，質問文の形式の違いが関係抽出の結果に与える影響について調査を行う。また，質問応答を用いた関係抽出において，関係の有無を決定づけるテンプレートに含まれていない用語が回答かどうかを直接二值分類により判定する，関係抽出に特化した分類型の質問応答モデルを提案する. 本研究の貢献は以下の通りである.

・薬物タンパク質間関係抽出に対して質問応答を用いた手法を適用し，有効性を確認した。

・質問文の形式が関係抽出の性能へ影響を与えることを確認した。
- 関係抽出への利用に特化した分類型の質問応答モデルを提案した.

## 2 関連研究

## 2.1 双方向の質問応答による関係抽出

Cohen らは，関係の始点と終点の用語をそれぞれ含む 2 つの質問文を用いて，双方向の質問応答を行うことで関係抽出を行う手法 [1] を提案している. まず，候補となるそれぞれの関係ラベルに対して，関係の始点の用語を当てはめて終点を回答する質問文のテンプレートと，終点の用語を当てはめて始点を回答するテンプレートの 2 種類を作成する. テンプレートから作成した 2 つの質問文を用いてそれぞれ質問応答を行い，片方でも回答が質問文に当てはめていない方の用語であった場合にテンプレートが持つ関係があると判定する。これを全ての関係ラべ

図 12 值分類による質問応答モデル

ルに対して繰り返すことで関係抽出を行っている。

## 2.2 関係抽出に適した質問応答

著者らは，質問応答を用いた関係抽出を行う際に，関係抽出タスクで与えられる情報を利用して質問応答を行う手法 [5] を提案した。 入力文と質問文に含まれる用語の前後と，質問文の回答に対応する疑問詞の前後にデータセットで与えられる用語の情報をマーカーとして挿大することで，関係抽出タスクで与えられる情報を利用した質問応答を行った。 マーカーを用いて挿入する情報として，データセットで与えられる関係の項のタイプを利用することで関係抽出性能が向上することを報告した。

## 3 提案手法

本研究では，質問応答を用いた関係抽出を薬物夕ンパク質間関係抽出に適用する際の有効な質問形式の調査と, 関係抽出に適した質問応答モデルの提案を目的とする． 3.1 節では質問応答を用いた関係抽出を薬物タンパク質間に適用し, 質問文の表現による関係抽出の性能への影響について調査する際に必要な質問テンプレートの作成について，3.2 節では関係抽出に適した質問応答モデルについてそれぞれ説明する。

## 3.1 質問文テンプレートの作成

質問応答を用いた関係抽出手法を薬物タンパク質間関係抽出に適用するため, 本研究で学習・評価に用いる DrugProt データセット [4] に含まれるすべての関係ラベルに対して質問文テンプレートを作成した. 2.1 節で説明した双方向の質問応答による関係抽出を行うため，それぞれの関係ラベルに対して薬物を当てはめてタンパク質を答える質問とタンパク質を当てはめて薬物を答える質問の 2 種類を作成した。また，質問文の形式が関係抽出の性能に影響を与えるかどうかを調査するため，2つ目の質問文テンプレートセットとして，質問文の形を統一したものも作成した. 13 種類ある関係ラベルに対して双方向の質問応答をするため，1つの質問文テンプレートセットは 26 個の質問文テンプレートを持つ.質問文テンプレートはいずれもデータセットのアノテーションガイドライン [6] を参考に作成した. 作成した 2 つ質問文テンプレートセットは付録 A に示した.

## 3.2 分類型の質問応答モデル

従来の質問応答モデルをそのまま用いる関係抽出では質問の回答と用語の一致を確認するが，関係抽出では質問の回答が関係抽出の対象の用語であるかどうかを判別できればよい，そこで，本研究では，図 1 に示すような質問文に含まれない用語のスパン表現からその用語が質問の回答であるかどうかを判別する 2 值分類モデルを利用した，分類型の質問応答モデルを提案する。

まず，BERT (Bidirectional Encoder Representations from Transformers) [7] エンコーダを利用して質問文と入力文の各トークンの表現ベクトルを得る.ここで，質問文と入力文を入力する際は，2.2 節で説明した手法を用いて，関係抽出を行う対象の薬物タンパク質の用語ペアの前後と回答に対応する疑問詞の前後に用語のタイプをマーカーとして挿入する. BERT の SEP トークンを利用して連結した質問文と入力文 $S=\left.\{w_{1}, w_{2}, \cdots\right.\}$ を BERT エンコーダに入力し，各トークンの表現 $\mathbf{h}_{i}$ を得る。

$
\left.\{\mathbf{h}_{1}, \mathbf{h}_{2} \cdots\right.\}=\operatorname{BERT}\left(w_{1}, w_{2}, \cdots\right)
$

得られた表現ベクトルのうち，回答候補の用語のス
表 12 種類の質問文セットと比較手法の F 値 $(\%)$

パンに含まれるトークンの表現から，スパンの表現ベクトルを作成する. ここで， $s$ と $e$ はそれぞれ用語のスパンの開始位置と終了位置を， $\mathbf{h}_{s p a n}$ は用語のスパンの表現ベクトルを表す.

$
\begin{array}{r}
\mathbf{h}_{m}=\operatorname{mean}\left(\mathbf{h}_{s}, \cdots, \mathbf{h}_{e}\right) \\
\mathbf{h}_{\text {span }}=\operatorname{Concat}\left(\mathbf{h}_{s}, \mathbf{h}_{m}, \mathbf{h}_{e}\right)
\end{array}
$

作成したスパンの表現ベクトルに全結合層と Sigmoid 関数を適用することで，その用語が質問の回答である確率を得る.

$
p_{\text {span }}=\operatorname{Sigmoid}\left(W_{\text {span }} \mathbf{h}_{\text {span }}+\mathbf{b}_{\text {span }}\right)
$

得られた確率が閾値より大きい時，その用語が回答であるとし, 双方向の質問応答に対して片方でも回答が対象の用語であれば，テンプレートが持つ関係があると判定する。これをすべての関係に対して繰り返すことで関係抽出を行う. また，複数の関係に対して回答が用語である確率が閾値より大きい時，その用語ペアに複数の関係ラベルがあるとして，マルチラベルな予測を行う。

## 4 実験設定

## 4.1 データセット

薬物タンパク質間関係抽出のデータセットとして, DrugProt データセット [4]を用いて学習および開発データでの評価を行った。このデータセットは薬物及びタンパク質を含む薬学文献のアブストラク
トで構成され，薬物・タンパク質間には 13 種類の関係が設定されている。また，関係を持たない薬物とタンパク質のペアも存在する。評価指標にはマイクロ $\mathrm{F}$ 値を用いる.

## 4.2 実験環境

実装にはプログラミング言語 Python 3.7.11を用いた. また, 深層学習ライブラリとして PyTorch 1.10.0 [8] を, 事前学習モデル利用のため Transformers 4.18 .0 [9] を使用した. 計算機には CPU に $\operatorname{Intel}(\mathrm{R})$ Xeon(R) W-3225 及び Intel(R) Xeon(R) CPU E5-2698 v4 を，GPU に NVIDIA RTX A6000 及び NVIDIA Tesla V100-DGXS-32GB を用いた。

## 4.3 比較手法

作成した 2 種類のテンプレートセット（テンプレートセット1（TS1）,テンプレートセット 2 （TS2）を用いて，それぞれモデルの学習を行い $\mathrm{F}$ 値の比較を行った.また，質問文の代わりに関係固有のマーカーと用語を利用した場合（マー カー）との比較を行った. これは，図 1 を例とすると, “What decreases the activity of MAO-A?" という質問文の代わりに，調べたい関係ラベル INHIBITOR 固有のマーカーを用いた “<INHIBTOR> MAO-A?" を使用して学習・評価を行ったものである. 加えて，質問応答を用いたモデルの有効性を調査するため，BERT の CLS トークンを用いて文分類を行ったモデル（文分類）をベースラインとして比
表 2 テンプレートセットによって関係抽出の予測結果が異なる事例（文中の太字が薬物，下線がタンパク質）

較を行ういいずれの手法も，事前学習モデルとして大規模な生物医学文献を用いて事前学習された PubMedBERT-base-uncased-abstract-fulltext [10]を用いた.また，最適化手法として Adam [11]を用いており，学習率は 3e-6 に設定した. また, 3.2 節で説明した質問応答モデルにおける閾値は 0.7 とした.

## 5 結果と考察

## 5.1 関係抽出性能の比較

作成した質問文テンプレートを用いた場合と比較手法それぞれについて， $\mathrm{F}$ 値を比較した結果を表 1 に示す. TS1 と 2 は作成した 2 種類のテンプレートセット 1 と 2 を用いた際の結果，マーカーは質問文の代わりに関係固有のマーカーを用いた結果，文分類は BERT の CLS トークンを用いて文分類として関係抽出を行った結果である。

ベースラインである文分類による関係抽出に対して，質問応答形式で関係抽出を行ったテンプレー トセット 1，2，マーカーの 3 つと比較すると，訓練事例数の少ない関係クラスのうち, AGONISTACTIVATOR と AGONSIT-INHIBITOR において, 予測性能の向上が見られた。また，マイクロ平均についても最大で $1.0 \%$ ポイントの向上が見られた.このことから，質問応答を利用した関係抽出手法は，薬物タンパク質間関係抽出においても有効であることがわかった。

次に，テンプレートセット $1 ， 2$ とマーカーの質問応答を用いた 3 つの手法で比較すると，各関係クラスで $\mathrm{F}$ 値が変化していることがわかるため,質問文の表現が関係抽出性能に影響していることがわかる. また, INDIRECT-UPREGULATOR と PRODUCT-OF の 2 つのクラスでは質問文の代わりにマーカーを用いた手法が，テンプレートセットを用いた他 2 つの手法と比較して, 高い $\mathrm{F}$ 值が見られた.

## 5.2 解析

質問文の表現の違いが関係抽出の結果に影響を与えることを抽出結果が変化した事例で確認する。表 2 は正解ラベルを予測するための 2 種類の質問文テンプレートセットに対して，片方のテンプレー トセットを使用した場合にのみが正しく関係ラべルを予測できている事例を示したものである. テンプレートセットはそれぞれ上が薬物を当てはめる質問，下がタンパク質を当てはめる質問になっており, DRUG と PROTEIN を文中の薬物とタンパク質の用語に置き換えて質問文を作成する。

片方のテンプレートセットのみが正解した事例はどちらも，正解したテンプレートセットでは 2 つの質問の両方で正しく答えられている一方で, 間違っている方のテンプレートセットの 2 つ質問の両方に対して間違った予測をしている.このことから, 同じ関係クラスを予測するための質問文であっても表現を変えることで大きく抽出結果が変わってしまうことあることがわかる.

## 6 おわりに

本研究では, 質問応答を用いた関係抽出手法の薬物タンパク質間関係抽出への適用を目的に, DrugProt データセットに対して 2 種類の質問文テンプレートのセットの作成による有効な質問形式の調査と，質問の回答が用語であるかを判定する 2 值分類モデルによる関係抽出に特化した分類型の質問応答の提案を行った. DrugProt データセットにおける評価から，質問文の形式が関係抽出の性能に影響すること，薬物タンパク質間関係抽出においても質問応答を用いた手法が有効であることを示した.

今後は質問応答を用いた関係抽出手法に対して有効な質問形式や組み合わせの調査を行い，1つの関係クラスを複数の視点から抽出可能な手法の実現を目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Relation classification as two-way span-prediction. arXiv preprint arXiv:2010.04829v2, 2021.

[2] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1340-1350, Florence, Italy, July 2019. Association for Computational Linguistics.

[3] Omer Levy, Minjoon Seo, Eunsol Choi, and Luke Zettlemoyer. Zero-shot relation extraction via reading comprehension. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 333-342, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[4] Martin Krallinger, Obdulia Rabal, Antonio MirandaEscalada, and Alfonso Valencia. DrugProt corpus: Biocreative VII Track 1 - Text mining drug and chemical-protein interactions, June 2021

[5] 山田晃士, 三輪誠, 佐々木裕. 項の表現に着目した質問応答による関係分類. 言語処理学会第 28 回年次大会, 2022 .

[6] Obdulia Rabal, Jose Antonio López, Astrid Lagreid, and Martin Krallinger. DrugProt corpus relation annotation guidelines [ChemProt - Biocreative VI], June 2021.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare, Vol. 3,
No. 1, p. 1-23, Jan 2022.

[11] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 作成した質問文テンプレート

本研究で作成した 2 つの質問文テンプレートセットを表 3 と 4 にそれぞれ示す.

表 3 作成した質問文テンプレート 1（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）関係 $\quad$ 質問文

 \\

表 4 作成した質問文テンプレート2（上が薬物を当てはめる質問，下がタンパク質を当てはめる質問）


# 二段階のファインチューニングを行った BERT による 変数定義抽出

山本蒔志 加藤祥太 加納学
京都大学大学院情報学研究科
\{shota, manabu\}@human.sys.i.kyoto-u.ac.jp

## 概要

製造プロセスのデジタルツインを実現するためには，物理モデルが必要である．しかし，物理モデルの構築には多大な労力を要するため, 我々はこの作業の自動化に取り組んでいる. 本研究ではその要素技術として化学プロセス関連論文からの変数定義の抽出手法を提案する。提案手法は対象とする変数を特殊トークンに置換した文を BERT に入力することで文中の定義の位置を予測する．他分野のデータセットと化学プロセス関連論文データセットを順に用いて二段階のファインチューニングを行い，変数定義抽出モデルを構築した. 提案手法を適用することで，沼本ら [1] の特徴量を用いた手法よりも高い性能を実現し，正解率 $85.6 \%$ 達成した。

## 1 はじめに

化学や鉄鋼などの製造プロセスにおいて，物理モデルが活用されている. 物理モデルは数式に基づいて設計され，実プラントでは計測できない状態量やプラントの将来の挙動を予測し, 生産効率の改善や装置設計，制御系設計，運転条件の最適化などを行うのに活用される. 多くの場合, 物理モデル構築には，専門知識に加えて膨大な量の文献調査とモデル構築に必要な情報の抽出・統合が必要である. しかし，複数の文献の内容を精査しその関連性を把握するには，非常に多くの時間と労力がかかる. この負担を軽減するために，我々は複数の文献から情報を抽出し，組み合わせ，物理モデルを自動構築する人工知能 (Automated physical model builder; AutoPMoB) の開発に取り組んでいる [2]. AutoPMoBを実現するには，文献に含まれる変数の定義を正確に抽出する手法が必要であり，本研究はこの手法の開発に取り組む。

本研究では定義抽出対象の変数を特殊トー
クンで置換した文を BERT（Bidirectional Encoder Representations from Transformers) [3] に入力して定義抽出を行う手法を提案する. 提案手法はシンプルであり実装が容易であるだけでなく，すべての変数を統一的に扱うことができる．化学プロセスに関する論文より作成したデータセットを用いて，既存手法と提案手法の性能を比較する。

## 2 関連研究

変数の定義抽出にはいくつかの先行研究が存在し，変数の定義抽出のために複数の特徴量が提案されている. Lin らは変数と定義の距離，意味的な正しさ，品詞の文法的な妥当さの 3 つを特徴量として用い，複数の分類器をアンサンブルして定義を抽出する手法を提案した [4]. 沼本らは Stanford Parser [5] を用いて定義の候補を抽出し，位置関係や定義らしさなどの特徵量をもとに，最も定義らしいと判断した候補を抽出する手法を提案し，F1-Score で $41.2 \%$ を達成した [1]. しかし，いずれの手法も AutoPMoB の要素技術として性能が不十分である.

近年，BERT に代表される事前学習モデルが多くの自然言語処理タスクで最高の性能を達成している. Kang らは SciBERT [6] によって文から専門用語及びその定義を抽出する手法を提案した [7]. 彼らが定義抽出対象とした専門用語には変数も含まれるが，変数の定義抽出を行う場合，一般的な専門用語に比べ性能が低下することを報告している。

自然言語処理ワークショップ SemEval2022にて，変数と定義の対応付けタスクである Symlink が提案された [8]. Symlink は，文中から変数と定義を抜き出す固有表現抽出タスクと，抜き出した名詞句の関連性を判別する関係抽出タスクの 2 つからなる. Symlink では Lee らが最も高い性能を達成した [9].彼らの手法は文の先頭に疑問文を追加した単語列を SciBERT に入力して質疑応答を行うことで変数と定
義を抽出した. 彼らは固有表現抽出では $47.61 \%$, 関係抽出では $37.19 \%$ の F1-Score を達成した。

本研究は 2 つの点で Symlink とは問題設定が異なる. 1 つ目は変数の抽出の有無である. Symlink では文中のどこに変数があるかは未知という状況を想定し，変数の抽出もタスクに含めていた. 本研究で対象とする変数はすべて既知とするが，Lee [9] らは変数抽出タスクにおいて $99 \%$ 以上の recall を達成していたため，同じ手法でほぼ完璧に変数を抽出できると考えられる．2つ目は抽出対象の種類である。 Symlink では変数によって数量を指示された名詞句や，定義の内容を補足する名詞句などの定義以外の変数に関連する名詞句も予測の対象としていた. 本研究は定義のみを対象とする。

## 3 データセット

## 3.1 化学プロセス関連論文データセット

化学プロセスに関連する論文計 45 報の変数に対して定義を付与したデータセット $D_{\text {Process }}$ を作成した. ここで変数とは論文中に単独で現れる数学的記号のことであり，数式のみに現れる変数は対象外とする。 $D_{\text {Process }}$ は晶析プロセス [crystallization process; CRYST], 連続層型反応器 [continuous stirred tank reactor; CSTR], バイオディーゼル生産プロセス [biodiesel production process; BD]，チョクラルスキー プロセス [Czochralski process; CZ], 多管式熱交換器 [shell and tube heat exchanger; STHE] の 5 つのプロセスいずれかに関するものである．各プロセスの論文数と変数の総数を表 1 に示す.

## 3.2 Symlink データセット

定義抽出は固有表現抽出に近いタスクであるが， Devlin らが固有表現抽出を行ったデータセットには抽出の対象として約 20,000 の固有表現が含まれてい

表 $1 D_{\text {Process }}$ に含まれる論文数と変数の数

たのに対して [3]， $D_{\text {Process }}$ の抽出対象となる定義は約 1,000 であり，ファインチューニングに必要なサンプル数として十分でない. そこで， $D_{\text {Process }}$ に追加で Symlink データセット $\left(D_{\text {Symlink }}\right)$ に含まれる変数と定義の関係を用いる [8]. $D_{\text {Symlink }}$ は情報科学, 生物学, 物理学, 数学, 経済学の 5 つの分野の合計 101 報の論文からなり， $D_{\text {Process }}$ の約 10 倍の 16,642 個の変数を含む。

## 4 提案手法

## 4.1 BERT を用いた変数定義抽出手法

提案手法の概略図を図 1 に示す.まず定義抽出対象の変数を特殊トークン [target] で置換する. 同じ変数が複数回登場する場合，そのすべてを [target] に置換する。次に置換した文を BERT に入力し，各トークンが定義の開始位置である確率と終了位置である確率を得る。開始位置が終了位置と同じか，より前にあるという条件のもと，開始位置と終了位置の確率の合計が最大となる箇所を探す。得られた開始位置から終了位置までの単語を定義として抽出する。

論文中の変数は必ずしも定義が明記されているとは限らない。例えば，慣習により使用法が決まっている $\pi$ などの変数は大抵の場合定義が明記されていない. 文脈から推測できる変数の定義も明記されないことがある。例えば， $A_{i}$ について定義が与えられた後に， $A_{i}$ に似た定義を有する変数 $A_{i+1}$ が登場した場合，その定義は省略される. 定義がない変数については，入力文の先頭 [CLS] トークンを抜き出すこととする. [CLS]トークンは定義にはなり得ないため，負例の正解として代用できる.

## 4.2 二段階ファインチューニング

定義抽出を行う場合に， $D_{\text {Symlink }}$ 単独でファインチューニングを行っても, $D_{\text {Process }}$ に含まれる定義を正確に抽出できるモデルを構築できないと予想される。変数定義は各分野ごとに多く用いられるパターンが存在するが， $D_{\text {Symlink }}$ と $D_{\text {Process }}$ は分野が異りそのパターンも異なるためである。また $D_{\text {Symlink }}$ と $D_{\text {Process }}$ でアノテータが異なるため，どこまで詳細な内容を定義に含めるかが一致しない. さらに $D_{\text {Process }}$ のサンプル数はファインチューニングを行うのに十分でない. 以上の問題点を解決するため, $D_{\text {Process }}$ と $D_{\text {Symlink }}$ の両方のデータセットを用いて二

抽出する定義

the velocity of air

図 1 提案手法の概略図

段階のファインチューニングを行うこととした. まず第一段階のファインチューニングにて $D_{\text {Symlink }}$ を用い，定義抽出タスクを行うモデルを作成する. 次に第二段階のファインチューニングにて $D_{\text {Process }}$ を用い, $D_{\text {Process }}$ 中の定義のパターンにモデルを適応させる.

## 5 実験

## 5.1 前処理

$D_{\text {Process }}$ と違い $D_{\text {Symlink }}$ に含まれる文は $\mathrm{TeX}$ 形式であり，変数の表記に $\$ \mathrm{X} \$$, $\$$ mathcal $\{\mathrm{x}\}$ \$ などマンドを含む。このようなコマンドは，BERTが事前学習で用いた Wikipedia と BookCorpus の文に登場しないため，BERT のファインチューニングにおいてノイズとなる。そこで, pylatexenc [10]を用いて, TeX 形式の文をコマンドの含まれない Unicode 形式に変換した。

## 5.2 実験設定

$D_{\text {Symlink }}$ を訓練用，検証用，テスト用に 8:1:1 に分割し，訓練用，検証用データのみをファインチュー ニングに用いた. ただし分割は各分野の文が等しい割合で含まれるように文単位で行った。また， $D_{\text {Process }}$ を論文単位で訓練用，検証用，テスト用に分割した. 沼本ら [1] と同じく $D_{\mathrm{STHE}}$ で 2 報, それ以外のデータセットで 3 報をテスト用とした. さらに各プロセスにおいて 1 報を検証用とし，残りを全て訓練用とした。

プティマイザには Adam [12]を，GPU には Google Colaboratory の Tesla T4を用いた. バッチサイズは GPU のメモリで利用可能な範囲で最大の 8 , 学習係数は Symlink タスクにおいて最高の性能を達成したモデルと同じく1e-5を選択した. ファインチュー ニングは 5 エポック行い，各エポックにて検証用データに対するモデルの性能を確かめ，損失が最小となったモデルを性能評価に用いた。

二段階ファインチューニングが定義抽出の性能に与える影響を調べるため, 提案手法に追加で以下に示す 2 つ方法で BERT のファインチューニングを行いそれぞれの性能を確認した。
1. $D_{\text {Symlink }}$
のみでファインチューニング
2. $D_{\text {Process }}$ のみでファインチューニング

## 5.3 評価方法

データセットのアノテーションされた定義に対して，モデルの予測した定義が完全に一致した場合を正解とする基準（full）と予測した定義が一部でも一致すれば正解とする基準（partial）の 2 つの評価方法にてモデルの評価を行った. また 1 つの変数に複数の定義が存在する場合は，アノテーションされた定義のうちのどれか 1 つを抜き出すことができれば正解とした. 性能評価には $D_{\text {Process }}$ のテスト用デー タを用いた. 評価指標には正解率 (Acc.), 定義が存在する変数のうち正しく定義を抽出した変数の割合 (Rec.)，定義を抽出した変数のうち正しく定義を抽出した割合 (Pre.), Pre. と Rec. の調和平均 (F1)の 4 つを用いた. 実験は分割方法をランダムに変更しながら 10 回行い，その平均の性能を比較した。

## 6 結果と考察

## 6.1 結果

提案手法，比較用の 2 つの方法, 沼本らの手法による定義抽出結果を表 2 に示す. 全ての評価指標について二段階ファインチューニングを行った場合が最高の性能となった. 特に沼本らの従来手法に比べ，提案手法は各指標が 30 ポイント以上向上した.

## 6.2 二段階ファインチューニングの有効性

表 2 のように $D_{\text {Symlink }}$ のみでファインチューニングを行ったモデルの full の性能が，他 2 つのモデルに比べて低くなった. 主に 2 つの原因が考えられる.

1 つ目に, $D_{\text {Symlink }}$ に含まれる論文と $D_{\text {Process }}$ に含まれる論文は分野が異なるため，変数を定義する文のパターンが異なる。例えば， $D_{\text {Process }}$ では “ $w_{c}$ is the mass flow rate of cold fluid $(\mathrm{kg} / \mathrm{sec})$.”のように，括弧の中に単位を記入するパターンが頻繁に登場する。一方で $D_{\text {Symlink }}$ では，括弧が定義に含まれる例は 1 つもない，単位が定義に出現する頻度が $D_{\text {Symlink }}$ では $D_{\text {Process }}$ に比べて少ないなど，他にもいくつか定義に用いられるパターンに違いが見られるが，特に括弧の用法の違いは顕著であった。

2 つ目に $D_{\text {Symlink }}$ と $D_{\text {Process }}$ では定義の長さが異なる. 図 2 に $D_{\text {Process }}$ と $D_{\text {Symlink }}$ の定義に含まれる単語数を示す. $D_{\text {Process }}$ の定義は $D_{\text {Symlink }}$ よりも長い傾向にある. $D_{\text {Symlink }}$ では 1 単語または 2 単語の定義が $58 \%$ 占め, 10 単語以上の定義は $3 \%$ に過ぎない. それに対して， $D_{\text {Process }}$ では 1 単語または 2 単語の定義は $10 \%$ のみであり, 10 単語以上の定義が $20 \% を$ 占める. 実際， $D_{\text {Symlink }}$ のみでファインチューニングを行ったモデルは正解の定義よりも短い名詞句を抽出する傾向にあった.

図 $2 D_{\text {Process }}$ と $D_{\text {Symlink }}$ の定義に含まれる単語数の比較

## 6.3 full と partial の性能差

$D_{\text {Symlink }}$ のみでファインチューニングを行ったモデルについて, full の F1-Score は $14.5 \%$ であった一方で，partial の F1-Score で $80.8 \%$ となった. full と partial の性能差が大きいことから，一段階目のファインチューニングを行ったモデルは $D_{\text {Process }}$ の定義の正確な位置は予測できないものの， $D_{\text {Symlink }}$ と $D_{\text {Process }}$ の定義に共通する大まかな位置を学習できたと考えられる. また，一段階目の大まかな学習により， $D_{\text {Process }}$ のみでファインチューニングを行ったモデルよりも高い性能を達成できたと考えられる。

## 7 おわりに

本研究では対象とする変数を特殊トークンに置換した文を BERT に入力することで変数定義抽出を行う手法を提案した，さらに，化学プロセス関連のデータセットのサンプル数が不足するという問題を解決するため，二段階のファインチューニングによりモデルを構築した. 従来手法と提案手法を比較した結果，提案手法は各指標において 30 ポイント以上従来手法を上回った.

## 謝辞

本研究は JSPS 科研費 JP21K18849 の助成を受けたものです.

## 参考文献

[1] 沼本真幸, 加藤祥太, 加納学. 変数の記号と定義に関する情報を活用した変数定義抽出手法. 言語処理学会年次大会発表論文集 (Web), Vol. 28th, pp. 486-491, 2022.

[2] Shota Kato and Manabu Kano. Towards an automated physical model builder: Cstr case study. In Yoshiyuki Yamashita and Manabu Kano, editors, 14th International Symposium on Process Systems Engineering, Vol. 49 of Computer Aided Chemical Engineering, pp. 1669-1674. Elsevier, 2022.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Jason Lin, Xing Wang, Zelun Wang, Donald Beyette, and Jyh-Charn Liu. Prediction of mathematical ex-pression declarations based on spatial, semantic, and syntactic analysis. In Proceedings of the ACM Symposium on Document Engineering, pp. 1-10.

[5] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. CoRR, Vol. abs/2003.07082, , 2020.

[6] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Dongyeop Kang, Andrew Head, Risham Sidhu, Kyle Lo, Daniel S Weld, and Marti A Hearst. Document-level definition detection in scholarly documents: Existing models, error analyses, and future directions. arXiv preprint arXiv:2010.05129, 2020

[8] Viet Lai, Amir Pouran Ben Veyseh, Franck Dernoncourt, and Thien Nguyen. Symlink: A new dataset for scientific symbol-description linking. arXiv preprint arXiv:2204.12070., 2022.

[9] Sung-Min Lee and Seung-Hoon Na. JBNU-CCLab at SemEval-2022 task 12: Machine reading comprehension and span pair classification for linking mathematical symbols to their descriptions. In Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1679-1686, Seattle, United States,
July 2022. Association for Computational Linguistics.

[10] Philippe Faist. pylatexenc, 2021. https://github.com/ phfaist/pylatexenc, version2.10.

[11] Pengcheng He, Jianfeng Gao, and Weizhu Chen. Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing, 2021.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014 .