# HTML 構造を補助情報として利用する 日本語ブログ記事からの固有表現抽出

植 塁 ${ }^{1}$ 數見 拓朗 ${ }^{2}$ 小泉和之 ${ }^{1}$
1 横浜市立大学大学院 2 株式会社サイバーエージェント
 }^{1}\left.\{}.$ w205607d,zumi\}@yokohama-cu.ac.jp ${ }^{2}$ kazumi_takuro@cyberagent.co.jp

## 概要

Web 上のテキストからの固有表現抽出では, HTML タグが除去され自然言語のテキストのみが利用されていることが多い. 本研究では, HTML 構造を補助情報として利用する固有表現抽出手法を提案する。提案手法は複数あり，グラフニューラルネットワークを用いて HTML 構造を読み取るアプロー チの手法と，単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法に分けられる．また，ブログ記事を用いた実験を通して，提案手法の中でも BERT と Graph Attention Networks を組み合わせた手法と BERT に HTML タグを入力する手法の 2 つが優れた性能を持つことを示す.

## 1 はじめに

現在，Web 上には様々なテキストが蓄積されており，その 1 つとしてブログ記事が挙げられる. 2000 年以降のブログサービスの急速な普及に伴い，日々増加する大量の記事から有用な情報を抽出する技術が求められ，盛んに研究されている $[1,2,3,4]$.

本研究では，HTMLテキストとして記述された日本語ブログ記事からの固有表現抽出を扱う. HTML テキストからの固有表現抽出に関する先行研究では，前処理として HTML タグを除去し自然言語のテキストのみを利用していることが多い $[5,6]$. そこで本研究では，HTML 構造を補助情報として利用する固有表現抽出手法を提案しその有効性を検証する。

本研究では複数の手法を提案するが，それらは大きく 2 種類に分けられる. 1 つ目は，既存の固有表現抽出モデルに HTML タグをトークンとして入力する単純なアプローチである． 2 つ目は，グラフニューラルネットワークを用いて HTML 構造情報を処理するモジュールと既存の固有表現抽出モデル
を用いて自然言語情報を処理するモジュールとを組み合わせるアプローチである.

レシピに関するブログ記事を対象とした実験を行い，提案手法を用いて HTML 構造を補助情報として活用することで既存手法に比べて性能が向上することを確認した．提案手法の中でも特に，BERT [7] と Graph Attention Networks [8] とを組み合わせた手法と，BERT に HTML タグをトークンとして入力する手法の 2 つが高い性能を示すことを確認した.

## 2 関連研究

近年，ニューラルネットワークを用いた固有表現抽出モデルが注目を集め盛んに研究されている. Lample et al. [9] は双方向の LSTM と Conditional Random Field (CRF) を組み合わせた BiLSTM-CRF モデルを提案し，この手法は現在の固有表現抽出の主流となり様々な自然言語データに適用されている. また，自然言語処理分野において汎用的なモデルである BERT [7] をべースにした手法が，いくつかのデータセットにおいて最高性能を記録する [10] などして注目を集めている. Web 上のテキストを扱った研究の例として, Duc et al. [6] が提案した Web 上から固有表現を収集するシステムでは, Google 検索によって収集した Web ページに対して HTML タグを削除した上で固有表現抽出モデルが適用されている.

## 3 手法

## 3.1 HTML タグをトークンとして入力する アプローチ

提案手法 1 : BiLSTM-CRF with Tag この提案手法では，HTML テキストを「単語と HTML タグが入り混じった系列」と見なし，それを埋め込みべクトル系列に変換し BiLSTM-CRF [9] に入力する. 例えば
「今日はハンバーグを作る」という文があった場合, 先行研究では HTML タグを除去した系列「今日ハは/ハンバーグにを/作る」を BiLSTM-CRF に入力する場合が多い（例えば [5]など）が，この提案手法では「今日/は/>/ハンバーグ|/を/作る」というそのままの系列を入力する．各トークンの埋め込みべクトルは, 単語については東北大学の研究グループによる日本語 Wikipedia エンティティベクトル [11]で初期化した上でファインチューニングを行い，各種 HTML タグについては乱数で初期化した上で学習させる。なお，HTML タグ内の属性は全て事前に除去し利用せず，開始タグと終了タグは区別して扱う。

提案手法 2: BERT with Tag この提案手法では,前項の手法と同様に HTMLテキストを「単語と HTML タグが入り混じった系列」と見なし，そのまま BERT [7]に入力する．単語の埋め込みベクトルと BERT 内部の Transformer Encoder [12] のパラメー タについては東北大学の研究グループによる事前学習済み BERT モデル [13] で初期化した上でファインチューニングを行い，各種 HTML タグの埋め込みべクトルは乱数で初期化した上で学習させる.

## 3.2 グラフニューラルネットワークを用い て HTML 構造を読み取るアプローチ

本節では，グラフニューラルネットワーク (GNN) を用いて HTML 構造情報を処理するモジュールと既存の固有表現モデルを用いて自然言語情報を処理するモジュールとを組み合わせるアプローチの提案手法を 3 つ説明する.

HTML テキストのグラフ表現 Document Object Model (DOM) [14] は，マークアップされたテキストをツリー構造で表現し操作する仕組みである. HTML テキストは HTML タグでマークアップされたテキストであるため，DOM を用いることでツリー構造のグラフとして表現することができ，これを本論文では DOM グラフと呼ぶこととする．DOM グラフのノードは要素ノードとテキストノードの 2 つに大別できる。例えば「
見出し
」という HTMLテキストは，要素ノード「h1」とテキストノード「見出し」がエッジで繋がった DOM グラフとして表される. 本研究で扱うブログ記事の HTML テキストとそれをDOM グラフとして表したものを図 1 の左側に示す.
GNN によるノード埋め込み抽出したい固有表現はグラフ中の一部のテキストノードに含まれる. そこで本節の提案手法では，GNNを利用しHTML 構造情報を考慮した上で各テキストノードをべクトルに埋め込むことを考える。まず，ノード埋め込みを行う様々な GNN の共通事項を述べる。ノー ド集合 $V$ とエッジ集合 $E$ の組からなるグラフ $G$ において，各ノードの特徵量ベクトル $\boldsymbol{x}_{v}[v \in V]$ を用意する. 最終的な出力は各ノードの埋め込みべクトル $\boldsymbol{y}_{v}^{\mathrm{GNN}}[v \in V]$ である. また，内部に学習可能なパラメータ $\Theta$ を持ちグラフ構造を考慮した変換を行う関数 $f(\cdot ; G, \Theta)$ をレイヤ数の分だけ複数用意する. この関数 $f$ はグラフ上の近傍ノードの特徴量ベクトルを集約するように構成され，具体形は手法によって異なる。また， $\sigma$ を活性化関数とし，ネットワークのレイヤ数は $L$ とする。そして，次式のように更新していくことで，ノードの特徵量 $X_{V}:=\left[x_{1}, x_{2}, \ldots, x_{|V|}\right]^{T}$ を埋め込み表現 $Y^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ に変換する.

$
\begin{aligned}
& \boldsymbol{X}^{(0)}=\boldsymbol{X}_{V} \\
& \boldsymbol{X}^{(l)}=\sigma\left(f\left(\boldsymbol{X}^{(l-1)} ; G, \Theta^{(l)}\right)\right)[l=1,2, \ldots, L-1] \\
& \boldsymbol{Y}^{\mathrm{GNN}}=\boldsymbol{X}^{(L)}=f\left(\boldsymbol{X}^{(L-1)} ; G, \Theta^{(L)}\right)
\end{aligned}
$

次に，本節の 3 つの提案手法それぞれで利用する Graph Convolutional Networks (GCN) [15], GraphSAGE [16], Graph Attention Networks (GAT) [8] について説明する. GCNでは，まずグラフ $G$ の全ノードに自己ループ (自分自身と接続するエッジ)を追加する。 その状態での隣接行列を $\widehat{\boldsymbol{A}}$, 次数行列を $\widehat{\boldsymbol{D}}$ とする. GCN では, 式 (2), (3) の関数 $f$ として, 次式の $f_{\mathrm{GCN}}$ を用いてノード特徴量を変換する。

$
f_{\mathrm{GCN}}(\boldsymbol{X})=\widehat{\boldsymbol{D}}^{-\frac{1}{2}} \widehat{\boldsymbol{A}} \widehat{\boldsymbol{D}}^{-\frac{1}{2}} \boldsymbol{X} \boldsymbol{W}
$

ここで重み行列 $\boldsymbol{W}$ は学習対象のパラメータである. GraphSAGE では複数のモデルが提案されており, その中で本研究では GraphSAGE-mean (GSAGE) を利用する. このモデルでは, 式 (2), (3) の関数 $f$ として,次式の $f_{\mathrm{GSAGE}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
f_{\mathrm{GSAGE}}\left(\boldsymbol{x}_{v}\right)=\boldsymbol{W}_{1} \boldsymbol{x}_{v}+\boldsymbol{W}_{2} \operatorname{MEAN}\left(\left.\{\boldsymbol{x}_{u} \mid u \in \mathcal{N}^{\prime}(v)\right.\}\right)
$

ここで重み行列 $\boldsymbol{W}_{1}, \boldsymbol{W}_{2}$ は学習対象のパラメータであり，MEAN は平均べクトルをとる操作を表す。また, $\mathcal{N}^{\prime}(v)$ はノードvの近傍ノードをランダムサンプリングして得られる集合であり，これは計算コス

トの削減を目的としている，GATでは，式 (2) の関数 $f$ として, 次式の $f_{\mathrm{GAT}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
\begin{aligned}
& f_{\mathrm{GAT}}\left(\boldsymbol{x}_{v}\right)=\operatorname{CONCAT}\left(\boldsymbol{h}_{v}^{(1)}, \boldsymbol{h}_{v}^{(2)}, \ldots, \boldsymbol{h}_{v}^{(K)}\right) \\
& \boldsymbol{h}_{v}^{(k)}=\sum_{u \in \mathcal{N}(v)} \alpha_{v u}^{(k)} \boldsymbol{W}^{(k)} \boldsymbol{x}_{u} \\
& \alpha_{v u}^{(k)}=\frac{\exp e_{v u}^{(k)}}{\sum_{u^{\prime} \in \mathcal{N}(v)} \exp e_{v u^{\prime}}^{(k)}} \\
& e_{v u}^{(k)}=\operatorname{LReLU}\left(\boldsymbol{a}^{(k)^{T}} \operatorname{CONCAT}\left(\boldsymbol{W}^{(k)} \boldsymbol{x}_{v}, \boldsymbol{W}^{(k)} \boldsymbol{x}_{u}\right)\right)
\end{aligned}
$

ここで重み行列 $\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \ldots, \boldsymbol{W}^{(K)}$ と縦べクトル $\boldsymbol{a}^{(1)}, \boldsymbol{a}^{(2)}, \ldots, \boldsymbol{a}^{(K)}$ は学習対象のパラメータであり, K は Multi-head Attention のヘッド数である.また， $\mathcal{N}(v)$ はノード $v$ の近傍ノードの集合であり，LReLU は活性化関数 Leaky ReLU [17] である.

提案手法 3, 4, 5 : BERT + GCN, GSAGE, GAT 提案手法 3, 4, 5 は，言語情報を処理する BERT 部と HTML 構造情報を処理するGNN 部で構成される. その概要図を図 1 に示す. BERT 部では，HTML タグを除去して自然言語のみとなったテキストのサブワード系列 $w_{1}, w_{2}, \ldots, w_{N}$ を BERT に入力し，さらに出力次元が固有表現ラベル数となるように線形変換を行い，ベクトル系列 $\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}$ を得る.これを行列 $\boldsymbol{Y}^{\mathrm{BERT}}:=\left[\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}\right]^{T}$ にまとめる。 GNN 部では，まず HTMLテキストを DOM グラフで表現し，ノード特徴量 $\boldsymbol{x}_{v}[v \in V]$ としてノード種別 (h1 要素ノード, $\mathrm{p}$ 要素ノード, ...,テキストノード）の One-Hot ベクトルを用意する．このグラフを式(1),(2), (3) からなる GNNに入力し，ノー ド埋め込み表現 $\boldsymbol{Y}^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ を得る.ここで，埋め込み次元は固有表現ラベル数と一致するようにしておく. BERT 部の出力 $\boldsymbol{Y}^{\text {BERT }}$ と GNN 部の出力 $\boldsymbol{Y}^{\mathrm{GNN}}$ を合わせるために, サブワードと DOM グラフ上のノードの対応を表す行列 $\boldsymbol{I}_{\text {Word,Node }}$ を用意する. この行列の第 $i, j$ 成分は「第 $i$ サブワードが第 $j$ ノードに含まれていれば 1 でそ

提案手法の最終的な出力とする.

$
\boldsymbol{Y}^{\mathrm{BERT}+\mathrm{GNN}}=\boldsymbol{Y}^{\mathrm{BERT}}+\boldsymbol{I}_{\mathrm{Word}, \mathrm{Node}} \boldsymbol{Y}^{\mathrm{GNN}}
$

$Y^{\mathrm{BERT}}$ と $Y^{\mathrm{GNN}}$ とをこのように組み合わせることで，各サブワードに対して BERT が出力したスコアベクトルに，そのサブワードが属するノードの埋め込み表現ベクトルが足し合わされ，言語情報と HTML 構造情報とを両方とも利用した固有表現抽出が行わ表 1 各モデルの F1 スコア

 &  \\

BiLSTM with Tag & 75.3 & 54.4 & 77.6 \\
BERT (既存手法) & 78.5 & 72.5 & 80.2 \\
BERT with Tag & 80.2 & 72.6 & $\mathbf{8 6 . 9}$ \\
BERT + GCN & 80.3 & 76.4 & 80.8 \\
BERT + GSAGE & 80.9 & 76.6 & 80.4 \\
BERT + GAT & $\mathbf{8 1 . 2}$ & $\mathbf{7 8 . 0}$ & 81.6 \\

れる。ここで，上記の GNN 部に GCN, GSAGE, GAT を用いた 3 パターンの提案手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ.

## 4 実験と考察

## 4.1 データセット

本節では，提案手法の性能評価実験のために構築したデータセットについて述べる。まず，ブログサービス「アメーバブログ1)」上の料理レシピに関する 2 つのブログ $\mathrm{A}, \mathrm{B}{ }^{2}$ から，それぞれ 100 個ずつの記事を HTML テキストとして取得した. 次に，株式会社サイバーエージェントから提供を受けたアノテーションシステム Orion Annotator [18] を利用し，その 200 記事に 3 種類の固有表現「料理」「材料」「分量」をアノテーションした.

## 4.2 実験設定

前項で構築したデータセットを比率 $6: 2: 2$ で Train, Valid, Test に分割し，Train で訓練を行い Valid で八イパーパラメータをチューニングすることで，提案手法 $1,2,3,4,5$ それぞれのモデルを作成した. また，比較のために， HTML タグを除去したテキス卜を利用する BiLSTM-CRF, BERT のモデル（すなわち提案手法 1,2 から HTML タグを削除したモデル) も作成した. そして，この7つのモデルを Test セッ卜に適用し，F1 スコアで性能を評価・比較した。なお，同様の実験をブログ $\mathrm{A}, \mathrm{B}$ それぞれの 100 記事のみを含むデータセットに対しても行った。

## 4.3 実験結果と考察

実験結果を表 1 に示す. 表中の評価値において， BiLSTM with Tag が BiLSTM を上回っていることと，

図 1 提案手法 3, 4, 5 の概要図. GNN 部に GCN, GSAGE, GAT レイヤを用いた手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ. 図中の A ではノード特徴量としてノード種別の One-Hot ベクトルを持つグラフを作成している．B では各テキストノードに含まれる文を BERT のトークナイザでサブワード化している．Cでは各サブワードの BERT 出力ベクトルに対してそのサブワードが属していたノードの GNN 埋め込みべクトルが足し合わされている.

BERT with Tag, BERT + GCN, BERT + GSAGE, BERT + GAT が BERT を上回っていることから，提案手法を用いて HTML 構造を補助情報として活用することで既存手法に比べて性能が向上することを確認した.また，提案手法の中でも特に，BERT + GAT と， BERT with Tag の 2 つが高い性能を示している.

BERT + GCN, BERT + GSAGE, BERT + GAT はいずれも GNNを用いて HTML 構造情報を読み取るが，表 1 で性能を比較すると BERT + GAT が他 2 つを上回っている.これは, GAT が持つ Multi-head Attention 機構によるものだと考えられる. HTMLテキストのDOM グラフには，異質なノードが混在している. 例えば，太字を表す $\mathrm{b}$ ノード, 画像の存在を表す img ノード, 段落を表す $\mathrm{p}$ ノード, ハイパー

このようなノードの異質性に対して Attention 機構の「異なる近傍ノードに異なる重みを与えて集約する」という仕組みが有効に作用したと考えられる.

また，ブログ B のみを対象とした実験では，ブログ A とは異なり BERT with Tag の性能が BERT +GATを上回っている. ここで，固有表現のうち HTML の開始タグ（ や
など）の直後に現れているもの比率を調べたところ，ブログ A では 20.4 $\%$, ブログ B では $52.0 \%$ であったため，ブログ B で
は固有表現が開始タグの直後に現れやすい傾向があると言える．BERT + GAT では HTML 情報を DOM として扱うため, 開始タグとその中の単語との位置関係を参照することはできず，先程のような傾向を利用することはできない. 一方 BERT with Tag では HTML タグと単語の系列を BERTに入力するため, 先程のような傾向を学習し利用することができる.このことが，ブログ B において BERT with Tag が BERT + GAT を上回った理由の 1 つとして考えられる。

## 5 おわりに

本研究では，Web上のテキストを対象とした固有表現抽出タスクにおいて, HTML 構造を補助情報として利用する手法を提案した。そして，レシピに関するブログ記事を対象とした実験を通して提案手法の有効性を検証した。提案手法は複数あり, 単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法と，GNNを用いて HTML 構造情報を読み取るアプローチの手法に分けられる. 今後の課題として, どちらのアプローチがどのような特徴を持つ HTML テキストに有効であるかを明らかにするため，様々なブログでデータセットを構築し性能評価実験を行うことが挙げられる。

## 参考文献

[1] Tetsuya Nakatoh and Sachio Hirokawa. Extraction of Tourist Behavior Contexts from Blog by Verbs and Their Objects. In Proceedings of the 2012 IIAI International Conference on Advanced Applied Informatics, 2012.

[2] 齋藤邦子, 鈴木潤, 今村賢治. CRF を用いたブログからの固有表現抽出. 言語処理学会第 13 回年次大会発表論文集, 2007.

[3] 堀達也, 白井清昭. ブログページからのウェブサイト情報・作成者情報の抽出. 言語処理学会第 21 回年次大会発表論文集, 2015.

[4] 池田流弥, 安藤一秋. 深層学習によるブログ記事からの土産の品名・店名抽出. 言語処理学会第 25 回年次大会発表論文集, 2019.

[5] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, 2021 .

[6] Nguyen Tuan Duc, Danushka Bollegala, 石塚満. エンティティペア間類似性を利用した潜在関係検索. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1790-1802, 2011.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[8] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph Attention Networks. In International Conference on Learning Representations, 2018.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[10] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice Loss for Data-imbalanced NLP Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[11] 日本語 Wikipedia エンティティベクトル. https: //github.com/singletongue/WikiEntVec.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[13] 日本語 BERT 訓練済みモデル. https://github.com/ cl-tohoku/bert-japanese.

[14] WHATWG. DOM Living Standard. https://dom. spec. whatwg.org/.

[15] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[16] William L Hamilton, Rex Ying, and Jure Leskovec. Inductive representation learning on large graphs. In Neural Information Processing Systems, 2017.
[17] Andrew L. Maas, Awni Y. Hannun, and Andrew Y. Ng. Rectifier nonlinearities improve neural network acoustic models. In Proceedings of the International Conference on Machine Learning, 2013.

[18] 上辻慶典. アノテーションを支える Orion Annotator の紹介. CyberAgent 秋葉原ラボ技術報告, Vol. 2, pp. 32-37, 2019.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In International Conference on Learning Representations, 2015.

## A 実験設定の詳細

ここでは，本文の 4.2 に記載しなかった実験設定の詳細について述べる。

まず，提案手法 $1,2,3,4,5$ と HTML タグを利用しない BiLSTM-CRF, BERT の計 7 つの手法の訓練において共通で，エポック数を 10 , バッチサイズを 1, オプティマイザを Adam [19] とした. 学習率は, BiLSTM を用いる 2 つの手法では 0.001 とし, BERT を用いる 5 つの手法では 0.00001 とした. また，全ての実験は NVIDIA T4 (16GB) を利用して実行した.

BiLSTMを用いる 2 つ手法においては，ハイパーパラメータとして隠れ状態べクトルの次元を 10,50,100,150,200 の中から選択した.

グラフニューラルネットワークを用いる 3 つの提案手法では, レイヤの数と各レイヤの出力次元をハイパーパラメータとしてチューニングした. レイヤの数の候補値は, GCN と GSAGE では $2,3,4$ 層とし, GAT では 2,3 層とした. 出力次元の候補值は $16,32,64,128,256$ とした. なお，組み合わせを減らす目的で, 同一モデルの各レイヤの出力次元は同じ値とした. ただし, 最後のレイヤの出力次元は固有表現ラベル数で固定した. また, GAT の Multi-head Attention のヘッド数は, 2 層のモデルでは順に 4,6 で固定し, 3 層のモデルでは順に $4,4,6$ で固定した. また, GATの最終レイヤでは, [8] に倣って式 (6)の CONCAT の部分を平均ベクトルをとる操作に置き換えている。

## B 実験結果の詳細

各手法の F1 スコアを記した表 1 に Precision と Recall の評価值を追記したものを表 2 に示す.

表 2 各モデルの F1 スコア, Precision, Recall


# 静的および動的な埋め込みに基づくエンティティの曖昧性解消

大葉大輔 1,2 山田育矢 ${ }^{2,3}$ 吉永直樹 4 豊田正史 ${ }^{4}$
1 東京大学 ${ }^{2}$ Studio Ousia ${ }^{3}$ RIKEN ${ }^{4}$ 東京大学生産技術研究所
oba@tkl.iis.u-tokyo.ac.jp ikuya@ousia.jp \{ynaga,toyoda\}@iis.u-tokyo.ac.jp

## 概要

エンティティの曖昧性解消タスクでは，各エンティティを埋め込み表現としてパラメタ化した上で曖昧性解消モデルの学習を行うことが有効である (Yamada et al. 2021) が，パラメタ化対象外のエンティティの曖昧性解消は行えない。本稿では，エンティティの説明文やエンティティを含む文からエンティティの埋め込み表現を動的に推定し，学習済み曖昧性解消モデルを拡張する手法を提案する．実験では，評価データに出現する候補エンティティ全てをパラメタ化した上で訓練された既存モデルらと同等またはそれ以上の性能が得られることを示した。

## 1 はじめに

入力テキストに含まれるエンティティのメンションを知識ベース (KB) のエントリに分類する Entity Disambiguation (ED) は，文書分類や質問応答等の言語処理タスクや，テキストからの KB 構築等の情報抽出タスクにおける重要な前処理の一つである [1].近年，ED モデルのパラメタとして分類候補のエンティティ集合に埋め込み表現を与えた上で， Wikipedia のハイパーリンクを正解データとする大量の学習データを用いた訓練を行うことで EDを高精度に解けるようになった $[2,3,4,5,6,7]$. しかし，埋め込み表現は訓練時にパラメタ化の対象となる一部のエンティティに対してのみ学習されるため，その他エンティティ (未知エンティティ）のメンションは曖昧性を解消できない，実際，多くの既存システムは，評価時の正解候補エンティティすべてをパラメタ化した上で訓練および評価を行っている。

対して，エンティティの説明文とエンティティを言及する文のエンコード結果を近づける学習により zero-shot で ED を解く方法 $[8,9]$ は未知エンティティの曖昧性解消を可能とする。しかし，埋め込み表現に基づいた上述の方法より性能が低い上 [10],各メンションについて，その候補エンティティの数

図 1 提案手法の概要. エンティティの説明文 (Description) やエンティティを言及する文 (Sentence with hyperlink) からその埋め込み表現を推定し, ED モデルのエンティティ埋め込み表現行列 (Entity Embeddings) を補完する。

だけエンコーダの順伝搬計算を必要とする.

本稿では，訓練時にパラメタ化されたエンティティの静的な埋め込み表現と，テキストから推定した動的な埋め込み表現を相補的に用いることを提案 (§3) し，静的なエンティティ表現に基づくED モデル [7] (§2)を拡張する（図 1). 具体的には，まず高頻度エンティティに限定した形で ED モデルを構築し, Wikipediaのハイパーリンクを正解とするデー 夕を用いて訓練を行う (§3.1). 次にエンティティの埋め込み表現を動的に推定する 2 種類のエンコーダを訓練する (§ 3.2). そして低頻度エンティティの埋め込み表現を推定し，ED モデルのパラメタ（エンティティの埋め込み表現行列）を拡張する (§3.2). これにより学習時にパラメタ化されない未知エンティティを含む評価データでも，精度の高い静的なエンティティ表現に基づく EDを適用出来る.

代表的な評価データ (AIDA-CoNLL, MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI)用いた実験では，提案手法により，正解候補エンティティが既知な状態で訓練を行う既存手法と同等またはそれ以上の性能が得られることを示す (§4).

## 2 事前知識

本節では，我々が基盤とする Yamada ら [7] の Global Model（以降 $\mathbf{Y}_{\mathbf{G}}$ )を説明する． $\mathbf{Y}_{\mathbf{G}}$ は BERT $_{\text {LARGE }}$ [11]を基盤とする現在の最高精度のモデルである. テキストの単語とエンティティのトークン列を入力に取り (§2.1), 各エンティティトークンに対応する BERT の出力を基に曖昧性解消を行う (§2.2). 以降，単語とエンティティの語彙セットを $V_{w}, V_{e}$ ，埋め込み表現の次元を $H$ とする.

## 2.1 入力表現

$\mathbf{Y}_{\mathbf{G}}$ では，入力テキストの単語トークン列とその内のエンティティに対応するトークン列を結合し, 単語トークン列の先頭と末尾に特殊トークンの [CLS] と [SEP] を挿入する.この時，各トークンは以下 3 種の埋め込み表現の和により表現される:

Token embedding： 各単語およびエンティティに対応. 表現行列は $\mathbf{A} \in \mathbb{R}^{\left|V_{w}\right| \times H}$ および $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$.

Type embedding: トークンの種類（単語かエンティティか) に対応. $\mathbf{C}_{w} \in \mathbb{R}^{H}$ および $\mathbf{C}_{e} \in \mathbb{R}^{H}$.

Position embedding: 入力系列中の単語トークンの位置に対応. 位置 $i$ にある単語およびエンティティの位置埋め込みは, $\mathbf{D}_{i} \in \mathbb{R}^{H}$ および $\mathbf{E}_{i} \in \mathbb{R}^{H}$ とする. 複数トークンで構成されるエンティティについては対応する位置埋め込みを平均する。

## 2.2 曖昧性解消

$\mathbf{Y}_{\mathrm{G}}$ は Masked Language Model (MLM) [11] の要領でエンティティの曖昧性解消を行う. より具体的には，メンションに該当する入力エンティティトー クンを [MASK] に置き換え，対応する BERT の出力 $\mathbf{h}_{e} \in \mathbb{R}^{H}$ からエンティティの推定を行う:

$
\begin{aligned}
\mathbf{m}_{e} & =\text { layernorm }\left(\operatorname{gelu}\left(\mathbf{W}_{f} \mathbf{h}_{e}+\mathbf{b}_{f}\right)\right) \\
\hat{\mathbf{y}} & =\operatorname{softmax}\left(\mathbf{B m}_{e}+\mathbf{b}_{o}\right)
\end{aligned}
$

$\mathbf{W}_{f} \in \mathbb{R}^{H \times H}, \mathbf{b}_{o}, \mathbf{b}_{f} \in \mathbb{R}^{H}$ はパラメタであり, gelu は活性化関数 [12], layernorm は層正則化 [13] を表す.

訓練エンティティトークンを一定確率で [MASK] に置換し，対応する推定結果 $\hat{\mathbf{y}}$ の対数尤度を最大化させる最適化を行う. Wikipedia のハイパーリンクを正解ラベルと見なした訓練データを使用する。

推論 $\mathbf{Y}_{\mathrm{G}}$ は推論を逐次的に行う．まず全エンティティトークンをマスクし, 各 [MASK] に対応するエンティティを推定する (式 2). 次に $\hat{\mathbf{y}}$ の最大確率が最も高い [MASK] を，その推定結果のエンティティトークンに置き換えて新しい入力を得る.この処理を全 [MASK] が曖昧性解消されるまで繰り返す。

## 2.3 問題点

$\mathbf{Y}_{\mathrm{G}}$ は多くの評価データ (§ 4.1) で最高精度を達成している [7] が， $V_{e}$ 外のエンティティは学習時に埋め込み表現としてパラメタ化されないため曖昧性解消が行えない. 全てのエンティティを $V_{e}$ に含める場合，訓練時の計算量が大幅に増加するだけでなく特に低頻度エンティティに関するデータの過踈性が問題になる. また，こうした制約から $\mathbf{Y}_{G}$ を含む先行研究の多く $[2,3,4,5,6,7]$ は訓練の段階で評価データに出現する全メンションのリンク先候補エンティティの集合を $V_{e}$ に定め, エンティティの埋也込み行列 $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$ を学習し評価に使用している. しかし, 訓練の段階で評価データに現れる全メンションを知っている設定は非現実的である.

## 3 提案

前節の問題点を踏まえ，訓練時のパラメタ化対象外のエンティティの埋め込み表現を動的に推定することを提案する. まず前節で導入した $\mathbf{Y}_{G}$ を基盤に, Wikipedia で頻出する一定数のエンティティ $V_{e}^{\prime}$ にのみ静的な埋め込み表現を与え, その $V_{e}^{\prime}$ に閉じた ED モデルの訓練を行う (\$ 3.1). 次にその他エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を別途推定し(§ 3.2), 訓練済みモデルの静的な埋め込み表現行列を拡張する (§3.2). これにより, 頻出エンティティに関しては高い性能への寄与が報告されている静的な埋め込み表現を保証しつつ，他のエンティティが出現する評価データについても同じ ED モデルで曖昧性解消が行える。

## 3.1 高頻度エンティティに限定した訓練

実装後に拡張可能な形式で $\mathbf{Y}_{\mathrm{G}}$ の再定義 $\left(\mathbf{Y}_{\mathrm{G}}^{\prime}\right)$ を行う. エンティティ埋め込み行列 $\mathbf{B}$ のみを補完するため，項 $\mathbf{b}_{o}$ (式 2)を取り除く.また高頻度エンティティ $V_{e}^{\prime}$ のみで表現行列 $\mathbf{B}^{\prime} \in \mathbb{R}^{\left|V_{e}^{\prime}\right| \times H}$ を構成する:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime} \mathbf{m}_{e}\right)
$

訓練 $\mathbf{Y}_{\mathrm{G}}$ と同じくWikipediaのハイパーリンクを正解データとして，エンティティトークンを $30 \%$ の確率で [MASK] に置換し，[MASK] に対応する推定結果 $\hat{\mathbf{y}}$ (式 3) の対数尤度を最大化させる最適化を行う.

## 3.2 エンティティ表現の推定エンコーダ

異なる言語資源に基づく 2 つのエンコーダを用いてエンティティの埋め込み表現を動的に推定する。 エンコーダは訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§3.1)を基盤とする:

Description-based Encoder エンティティ $e_{i}$ の説明文を § 2.1 と同じ方法で $\mathbf{Y}_{\mathrm{G}}^{\prime}$ の入力表現とし, [CLS] に対応する BERT の出力表現 $\mathbf{h}_{\mathrm{CLS}}$ からエンティティ $e_{i}$ の埋め込み表現を推定する:

$
\hat{\mathbf{e}}_{\mathrm{DESC}_{i}}=\mathbf{W}_{\mathrm{DESC}} \mathbf{h}_{\mathrm{CLS}}+\mathbf{b}_{\mathrm{DESC}}
$

$\mathbf{W}_{\text {DESC }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\text {DESC }} \in \mathbb{R}^{H}$ は学習パラメタ.

Hyperlink-based Encoder エンティティのハイパーリンクを含む文集合を用いて埋め込み表現を推定する。まず， $e_{i}$ のハイパーリンクを含む文を [SEP]を挟んで連結したものを 82.1 における単語トークン列とする。次に，エンティティトークン列のうち $e_{i}$ に該当するものを [MASK] に置換し，各 [MASK] に対応する BERT の出力 $\left[\mathbf{h}_{\text {MASK }_{1}} \ldots \mathbf{h}_{\text {MASK }_{\mathrm{N}}}\right]$ の平均から埋め込み表現を推定する:

$
\begin{aligned}
\overline{\mathbf{h}}_{\mathrm{MASK}} & =\frac{1}{N} \sum_{j}^{N} \mathbf{h}_{\mathrm{MASK}_{j}} \\
\hat{\mathbf{e}}_{\mathrm{HL}_{i}} & =\mathbf{W}_{\mathrm{HL}} \overline{\mathbf{h}}_{\mathrm{MASK}}+\mathbf{b}_{\mathrm{HL}}
\end{aligned}
$

$\mathbf{W}_{\text {HL }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\mathrm{HL}} \in \mathbb{R}^{H}$ は学習パラメタ.

訓練訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}(\S 3.1)$ におけるエンティティ埋め込み表現行列 B' を教師信号とし，エンティティ $e_{i}$ に該当するインデックスの埋め込み表現と, エンコーダが推定した埋め込み表現 $\hat{\mathbf{e}}_{i}$ の平均二乗誤差を最小化する. 埋め込み表現行列 $\mathbf{B}^{\prime}$ のみ固定し, 高頻度エンティティ $V_{e}^{\prime}$ に関する Wikipedia エントリから抽出した説明文 (概要) およびそれらのハイパー リンクを含む文を学習データに用いて訓練する。

推定表現のアンサンブル最終的に，上記の異なるエンコーダから推定された埋め込み表現を平均化することで一つのエンティティ埋め込み表現とする.これにより，2つの異なる言語資源に含まれる情報を利用できるようにする。

エンティティ表現の推定と補完高頻度エンティティ集合に含まれないエンティティ集合 $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を上記エンコーダで推定し, 訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§ 3.1)の埋め込み表現行列 $\mathbf{B}^{\prime}$ (式 3)を補完する $\left(\mathbf{B}^{\prime \prime \prime} \in \mathbb{R}^{\left|V_{e}^{\prime}+V_{e}^{\prime \prime}\right| \times H}\right) . \mathbf{Y}_{\mathrm{G}}^{\prime}$ は追加のエンティティ集合に対しても同様の推論が行える:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime \prime \prime} \mathbf{m}_{e}\right)
$

表 1 AIDA-CoNLL における In-KB Mico-F1. 最も性能が良い $2 つの$ 数値に太字，下線の順で印をつけた。

## 4 実験

Yamada ら [7] の $\mathbf{Y}_{\mathrm{G}}$ (§2) に提案手法を実装し, 評価データ中の全候補エンティティの埋め込み表現をパラメタに持った上で訓練された既存システム $[3,4,5,6,7]$ と同等の性能が得られるか確認する.

## 4.1 実験設定

実装まず， BERT $_{\text {BASE }}$ [11]を基に，Wikipedia 上の頻出エンティティ $\left|V_{e}^{\prime}\right|=1 \mathrm{M}$ に限定した $\mathbf{Y}_{\mathrm{G}}$ の再定義 ( $\mathbf{Y}_{\mathrm{G}^{\prime}}{ }^{\prime}$ および訓練 (§3.1) を行う. 評価データで使用される約 $270 \mathrm{~K}$ 件の正解候補エンティティうち, $V_{e}^{\prime}$ のカバレッジは $55.9 \%$, 既存システムは $100 \%$ である。次に，訓練済み $\mathbf{Y}_{\mathrm{G}^{\prime}}$ と Wikipediaを用いて提案エンコーダを訓練した後, 未知エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込みを推定し $\mathbf{Y}_{\mathrm{G}^{\prime}}$ を拡張する (§3.2).

評価データ Ganea \& Hofmann (2017) [3] の設定に倣い, AIDA-CoNLL [14], MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI [15] を用いる.また，メンション表層に対する各エンティティへの被リンク事前確率 [3] に基づいて, 正解候補エンティティ集合を各メンションに割り当てる(KB+YAGO) [14]. 式 7 における推論の際には，候補エンティティ集合に対応するインデックスの埋め込み表現行列のみを用いて内積計算および softmax を実行する. AIDA-CoNLLでは異なる候補エンティティ集合 PPRforNER [16] を使用した評価も行う.

評価指標 micro-F1 值を報告する。

Fine-Tuning AIDA-CoNLLでは，提案手法により拡張した $\mathbf{Y}_{\mathrm{G}}^{\prime}$ を付属訓練セットを用いて Fine-tuning した評価も行う. Yamada ら [7] と同様にエンティティの埋め込み表現行列を固定，またエンティティトークンを $90 \%$ の確率でマスクして, 出力 $\hat{\mathbf{y}}$ (式 7) の対数尤度を最大化させる. その他ハイパーパラメタの探索空間は Devlin ら [11] と同じものを用いた.
表 2 AIDA-CoNLL 以外のデータにおける Micro-F1 值. 最も性能が良い 2 つの数値に太字，下線の順で印をつけた，

表 3 エンティティの動的な埋め込み表現を部分的に用いた時の AIDA-CoNLL における Micro-F1 値の変化.

表 4 未知エンティティメンションに関する Precision. また, 未知エンティティの hyperlink-based emb. を推定する際に使用出来たハイパーリンク文の数 (\# sentences) によってメンションを分類し各々で precisionを算出した. Baseline は被リンク事前確率 [3] 最大のエンティティを選択する。

## 4.2 実験結果

AIDA-CoNLL およびその他評価データにおける実験結果を表 1 , 表 2 に示す. 提案モデルは WIKIおよび ACE2004において最高性能であり，他の評価デー タでは Yamada ら [7]を除く全システムに優った.総合して，提案モデルの基盤である Yamada ら [7] のモデルが最も優れていたが，提案モデルは MSNBC を除く全評価データで $1 \mathrm{pt}$. 以内に迫った.

比較システム $[3,4,5,6,7]$ と異なり, 提案モデルは評価データの約 $60 \%$ の候補エンティティについてしか訓練を行なえていない。加えて，Yamada ら [7] は，提案モデルが基盤とする $\mathrm{BERT}_{\text {base }}$ よりも大きな $\mathrm{BERT}_{\text {large }}$ を基盤としている (§2). 提案手法がこれらシステムと同等またはそれ以上の性能を得たことは，エンティティの埋め込み表現の推定および補完が一定の水準で達成されていることを示す.

## 4.3 考察

推定表現のアンサンブルの影響動的な埋め込み表現の平均化 (§ 3.2) の影響を観るため，いずれかのエンコーダで推定された埋め込み表現のみを用いて $\mathbf{Y}_{\mathrm{G}}[7]$ の拡張を行い，AIDA-CoNLL で評価し
た (表 3). 僅かではあるが，いずれの場合も一貫して性能が低下しており，埋め込み表現の平均化により異なる性質を補い合っていることが推測される.

未知エンティティの曖昧性解消性能訓練対象外のエンティティをどの程度曖昧性解消できているのか確認するために，全評価データ (§ 4.1)の中で，未知エンティティ $\notin V_{e}^{\prime}$ をラベルに持つメンションについて precisionを計算した (表 4). 動的なエンティティ埋め込み表現の種類に関わらず約 8 割の未知エンティティが正しく曖昧性解消されていた。一方， その中でも Hyperlink-based な埋め込み表現が最も効果的であるという傾向は，既知エンティティを含めた結果の傾向（表 3）に反していることから，同埋め込み表現は既知エンティティ $V_{e}^{\prime}$ の正しい曖昧性解消を惑わせる影響もあることを示唆している。

エンコードに使用する文の数の影響 Hyperlinkbased emb. の質と，そのエンコードに使用できるエンティティを言及する文の数の関係を分析するため，その文の数に基づいて未知エンティティおよびそれらをラベルに持つメンションを大まかに分類し，それぞれで precision を計算した (表 4)，表より， エンティティを言及する文が 3 文以上利用できる場合はそこからエンコードされた埋め込みは全ての埋め込みの中で最も質のよい表現であった. 反対に, 2 文以下の場合はエンティティの頻度に依存しない説明文の利用が最も効果的であった. 今後，エンティティの頻度に応じて両埋め込み表現に重みをつけてアンサンブルするといった改善が考えられる。

## 5 おわりに

本稿では，未知エンティティの埋め込み表現を動的に推定し, 静的な埋め込み表現に基づく曖昧性解消モデルを拡張する方法を提案した (§3). 実験 (§4) では，提案手法を用いて拡張したモデルが，評価データで使用される全エンティティの埋め込みをパラメタ化して訓練しているモデルらと同等またはそれ以上の性能を得られることを示した。また，提案手法による未知エンティティの曖昧性解消への有効性と，動的な埋め込みの品質改善の余地を示した。

## 参考文献

[1] Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[2] Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, and Yoshiyasu Takefuji. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 250-259, 2016.

[3] Octavian-Eugen Ganea and Thomas Hofmann. Deep Joint Entity Disambiguation with Local Neural Attention. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629, 2017.

[4] Phong Le and Ivan Titov. Improving Entity Linking by Modeling Latent Relations between Mentions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604, 2018.

[5] Samuel Broscheit. Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking. In Proceedings of the 23rd Conference on Computational Natural Language Learning, pp. 677-685, 2019.

[6] Thibault Févry, Nicholas FitzGerald, Livio Baldini Soares, and Tom Kwiatkowski. Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking. In Automated Knowledge Base Construction, 2020.

[7] Ikuya Yamada, Koki Washio, Hiroyuki Shindo, and Yuji Matsumoto. Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities. arXiv preprint arXiv:1909.00426, 2021.

[8] Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin, and Honglak Lee. Zero-Shot Entity Linking by Reading Entity Descriptions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3449-3460, 72019.

[9] Ledell Wu, Fabio Petroni, Martin Josifoski, Se- bastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, 2020.

[10] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive Entity Retrieval. In International Conference on Learning Representations, 2021.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415v3, 2016.

[13] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450v1, 2016.

[14] Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. Robust Disambiguation of Named Entities in Text. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 782-792, 2011.

[15] Zhaochen Guo and Denilson Barbosa. Robust Named Entity Disambiguation with Random Walks. Semantic Web, Vol. 9, No. 4, pp. 459-479, 2018.

[16] Maria Pershina, Yifan He, and Ralph Grishman. Personalized Page Rank for Named Entity Disambiguation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, p. 238-243, 2015.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 情報抽出技術を用いた JCoLA の拡張に向けて

染谷大河 1 進藤 裕之 ${ }^{2,3}$ 大関 洋平 1
1 東京大学 2 奈良先端科学技術大学院大学
${ }^{3}$ MatBrain 株式会社
\{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp
shindo@is.naist.jp

## 概要

近年多くの場面で活躍するニューラル言語モデルが、自然言語に内在する統語構造をどれほど理解しているのかを検証する研究が盛んである。しかし、検証のためのデータセットを言語学論文の例文をもとに作成する際には、人手での例文抽出が不可欠であり、それゆえにデータセットの規模を容易に拡大することができないという課題があった。本研究では、情報抽出の技術を言語学の分野に応用し、理論言語学の論文や教科書等から自動で例文を抽出することで、複雑な統語現象を扱いつつ、かつ大規模であるという特徴を併せ持つ初めてのデータセットの構築を試みる。

## 1 はじめに

近年、翻訳や文章要約、文法誤り訂正等さまざまな場面で、ニューラル言語モデルが活躍している。特に Transformer [1] をべースとしたモデルの精度は非常に高く、様々なタスクで高い精度を発揮している $[2,3]$ 。一方、理論言語学の分野では、自然言語には一種の統語構造が存在しているということが伝統的に主張されてきている $[4,5]$ 。確かに、先述のようなニューラル言語モデルは多くの自然言語処理夕スクで高性能を発揮し、多くのアプリケーションの基盤となっているが、そのようなニューラル言語モデルが自然言語の統語構造をどれほど理解しているのかについては、未だ多くが分かっていない。

このような背景から、ニューラル言語モデルが実際にどれほどの統語知識を獲得しているのかを検証する研究が盛んに行われている。近年は、特に言語モデルの統語的評価を行うための大規模なデータセットを作った上で、それを用いて言語モデルを評価する研究が盛んになってきている $[6,7,8,9]$ 。そのような研究の例としては、Warstadt et al. (2019) [6]
や Trotta et al. (2021) [8] のように、より複雑な統語現象を取り扱う理論言語学のジャーナル論文や教科書から例文を抽出することによりデータセットを作成するという方法がある。これにより、自動生成により作成されたデータセットに比べて、より複雑な統語現象を扱うデータセットを作成することができる一方で、例文の抽出作業は人手で行う必要があるため、自動生成の場合と比べてそのデータセットの規模に課題があった。また、このようなデータセッ卜を日本語で作成した例がなかったことなどから、理論言語学のジャーナル論文をもとに JCoLA [10] が構築されたが、依然データセットの規模の問題は解決されていない。

そこで本論文では、情報抽出の技術を言語学の分野に応用し、理論言語学の論文や教科書等から自動で例文を抽出する試みを紹介する。これにより、理論言語学で議論されている複雑な統語現象を扱いつつ、かつ大規模であるという特徵を併せ持つ初めてのデータセットの構築が可能になる。

## 2 言語モデルの統語的評価

近年は、Linzen et al. (2016) [11]を端緒として、統語的評価用のデータセットを用いて、言語モデルがどれほどの統語知識を獲得しているのかを検証する研究が盛んである。Warstadt et al. (2019) [6] は、理論言語学のジャーナル論文や教科書から例文を抽出し、言語モデルの 2 値分類性能をテストする大規模データセットである CoLA (Corpus of Linguistic Acceptability) ${ }^{1)}$ を構築した。CoLAなどの言語学の論文中の例文から構築されているデー タセット $[6,8]$ は、理論言語学の論文や教科書から例文を抽出しているため、理論言語学で扱われている複雑な統語現象 (Class III judgments, Marantz

1）英語を対象とした大規模な言語理解ベンチマークである GLUE [2] に含まれるデータセットの一つともなっている。
表 1 既存の統語的評価用大規模データセットと JCoLA

2005 [12]; Linzen and Oseki 2018 [13] 参照)を対象とした評価が可能になっているものの、例文の抽出を人手で行っているため、その規模を容易に拡大していくことが困難であるという特徴があった。一方、Warstadt et al. (2020) [7] は、ミニマルペアを自動生成してまとめた大規模データセット BLiMP（The Benchmark of Linguistic Minimal Pairs for English) を構築した。BLiMPなど例文の自動生成を行うことで構築されたデータセット $[14,7,15]$ は、自動生成をおこなっているためそのデータセットの規模が大きく、さらにその拡大も容易であるが、ある特定のパターンにより例文が生成されるため、複雑な統語現象を扱うことができないという問題点があった。

一方で、以上の言語モデルの統語知識を検証する試みは、その大多数が英語を対象としたものである。一部の研究で対象を英語以外にも拡張した検証 $[16,17,18,15]$ が行われてはいるが、幅広い統語現象を対象とし、かつ英語以外で検証を行った研究は非常に限られている $[8,9]$ 。特に日本語においては自然言語処理の分野で広く使われる言語モデルの統語知識を評価するベンチマークとなるようなデー タセットは存在しておらず、言語モデルが英語等の一部の言語だけではなく、自然言語一般の統語現象を捉えられているかどうかについての明確な証拠を得ることはできない状況であると考えられる。

そのような背景から、染谷・大関 (2022) [10] では理論言語学のジャーナル論文から例文を手動で抽出することで、日本語を対象とした言語モデルの統語的評価用データセット JCoLA (Japanese Corpus of Linguistic Acceptability)を作成した。しかし、その作業の性質上データセットの規模の拡張が難しいという問題点は解決することはできず、総例文数は 2,323 文にとどまった（表 1)。

本論文では、すでに化学分野等の論文から自動で図表等の情報を抽出するために用いられている情報抽出の技術を言語学の分野に応用し、理論言語学の論文から自動で例文を抽出する試みを紹介する。これにより、理論言語学で議論されている複雑な統語現象を扱いつつ、かつ大規模であるという特徴を併せ持つ初めてのデータセットの構築が可能となる。

## 3 JCoLA の拡張

## 3.1 データ収集

本研究では、東アジア・東南アジア言語の理論言語学のジャーナルとして著名な JEAL (Journal of East Asian Linguistics) 、また世界的に著名な理論言語学のジャーナルである LI (Linguistic Inquiry) と NLLT (Natural Language Linguistic Theory)のそれぞれにおいて 2006 年から 2020 年の 15 年間で掲載された論文の中で、特に日本語の統語論を扱う論文を対象として、それらの論文に含まれる例文の自動抽出を行う。

これにより、理論言語学の分野で頻繁に議論されているような、複雑な統語現象 (Class III judgments, Marantz 2005[12]; Linzen and Oseki 2018[13] 参照) を伴う例文を収集することができると考えられる。また、レイアウトの異なる複数のジャーナルを対象とすることで、各ジャーナルごとのレイアウトの差異に堅牢な情報抽出モデルの学習が可能となる。

## 3.2 訓練・評価用データの作成

前節で収集した論文 PDF はそのままでは情報抽出モデルの訓練・評価用データとして直接的に用いることは出来ず、情報抽出モデルの入力として適切な形式にするには、PDFからテキストを抽出し、かつどの範囲が抽出すべき例文に該当するのかのアノテーションを行うことが必要となる。本研究では、 PDF に対して直接アノテーションを行い、結果をテキスト形式で取り出すことができる PDFAnno [19] を用いて、論文PDFからアノテーション済みのテキストを抽出する2)。具体的には、論文 PDF 上の各ページごとに例文として抜き出すべき行の範囲のアノテーションを行った上で、本文とアノテーションを PDF に埋め込まれている単語ごとの座標情報と共にテキストに出力する。そして、その出力テキストを行単位に分割することで、情報抽出モデルの訓練・評価用データを用意する。

2） PDFAnno のインターフェースについては、付録 A を参照されたい。

## 3.3 例文抽出

## 3.3.1 問題設定

化学分野等では、すでに固有表現抽出や関係抽出の技術を用いて論文から情報抽出を行う試みがある。本研究ではその情報抽出の技術を言語学分野に危用することで、言語学論文からの例文の自動抽出を試みる。

ここで、論文 PDF から例文を抽出するためには、前節で用意されたアノテーション済みデータについて、例文が含まれる行の範囲を予測する必要があるが、本研究では、固有表現抽出の手法として一般的な BIO-tagging の手法 $[20,21]$ の変種である BIEOS-tagging の手法を用いて例文が含まれる行のスパン予測を行う。具体的には、例文の先頭となる行に B (Beginning)、例文中となる行に I (Inside)、例文の範囲外には $\mathrm{O}$ (Outside)、例文の最終行に $\mathrm{E}$ (End)、さらに 1 行からなる例文の行に S (Single) というラベルを予測するモデルを学習することにより、例文が含まれる行のスパンを予測し例文を抽出する。

## 3.3.2 モデルアーキテクチャ

固有表現抽出を行うモデルとしては、ゲート付き畳み込みニューラルネットワーク (GCNN; Gated Convolutional Neural Network) [22] ${ }^{3)}$ と CRFを組み合わせたモデルを使用する。

本研究で用いる GCNN の隠れ状態 $\boldsymbol{h}_{0}, \cdots, \boldsymbol{h}_{L}$ は以下のように計算される。

$
\boldsymbol{h}_{l}\left(\boldsymbol{h}_{l-1}\right)=\boldsymbol{h}_{l-1} \otimes \sigma\left(\boldsymbol{h}_{l-1} * W+b\right)
$

ここで、 $\boldsymbol{W}, \mathrm{b}$ は学習されるパラメータであり、 $\boldsymbol{h}_{0}$ は、入力ベクトル系列 $\boldsymbol{X}=x_{0}, \cdots, x_{N}$ に相当する。 また、 $\sigma$ はシグモイド関数であり、 $\otimes$ はアダマール積を表す。

また CRF (linear-chain CRF) は、GCNNにより得られた入力系列の特徴ベクトルを入力とし、最も尤度が高い BIEOS ラベルの系列を出力するモデルである。

$
P\left(\boldsymbol{y} \mid \boldsymbol{h}_{t}, \boldsymbol{W}, b\right)=\frac{\prod_{t=i}^{n} \exp \left(\boldsymbol{W}^{y_{t-1}, y_{t}} \boldsymbol{h}_{t}+b\right)}{\sum_{\boldsymbol{y}^{\prime}} \prod_{t=i}^{n} \exp \left(\boldsymbol{W}^{y_{t-1}, y_{t}} \boldsymbol{h}_{t}+b\right)}
$

ここで、 $\boldsymbol{W}, \mathrm{b}$ は学習されるパラメータである。

3）ゲート関数は本論文とは異なり、 $h_{l}\left(\boldsymbol{h}_{l-1}\right)=\left(\boldsymbol{h}_{l-1} * W+b\right) \otimes$ $\sigma\left(\boldsymbol{h}_{l-1} * V+C\right)$ で隠れ状態が計算される。ただし、 $\boldsymbol{W}, \boldsymbol{V}, b, c$ は学習されるパラメータである。
ラベルの予測の際には、1) 各行の単語列の埋め込み行列と単語の座標情報の埋め込み行列の連結を入力として、GCNNを用いて各行に対応する特徵ベクトル $\boldsymbol{h}_{\text {row }}^{1}, \cdots, \boldsymbol{h}_{\text {row }}^{N}$ を計算したのちに、2)さらにその各行の特徴べクトルを入力として、GCNN を用いて周辺の行の情報を考慮した各行のより良い特徴べクトル $\boldsymbol{h}_{\text {row }}^{\prime 1}, \cdots, \boldsymbol{h}_{\text {row }}^{\prime N}$ を計算し、3) 最後に、そのべクトルを入力として CRFで BIEOS ラベル $y_{1}, \cdots, y_{N}$ の予測を行う。情報抽出モデル全体のアーキテクチャについては、付録 B を参照されたい。

また、モデルのアーキテクチャについては今後検証を進めていく段階で変更する可能性も考えられる。例えば、GCNN の部分を双方向 LSTM (Bidirectional Long Short-Term Memory) モデルに変更することなどが考えられるが、モデルの最終的な選定は今後の課題としたい。

## 3.3.3 予備実験

$\mathrm{JEAL} \cdot \mathrm{LI} ・ \mathrm{NLLT}$ の各論文の 2 年間（2006 年-2007 年）で収録されている日本語統語論に関する論文すべて（各 5 報の合計 15 報、合計 381 ページ）を学習・訓練データとして、予備実験を行った。全 381 ページのうち $90 \%$ を学習データ、残りの $10 \%$ を評価データとした。すべてのデータについて、例文の先頭となる行に B (Beginning)、例文中となる行に I (Inside)、例文の範囲外には O (Outside)、例文の最終行に E (End)、さらに 1 行からなる例文の行に S (Single) のラベル付けがされている。学習は 10 エポック行った。

表 2 予備実験の結果

タグレベルとスパンレベルでの結果を表 2 に示す。ここで、タグレベルでの評価では、ある行のモデルの予測が正解のラベルと一致していたら正解と見做されており、スパンレベルの評価では、ある例文の範囲全体に対するモデルの予測が正解のラベルと完全一致した場合にのみ正解と見做されている。

スパンレベルの評価を見ると、15 報という少量なデータにも関わらず 8 割程度の精度を達成できているという結果になった。また、タグレベルでの評価において S-example の精度が悪くなっているのは、 その事例数が少ないためと考えられ、学習データを増やすことによって解決し得る問題であると考えられる。

## 3.4 後処理

前節までにより、対象の論文から例文が自動で抽出されるが、一般に言語学の論文の例文は以下のような形で提示される。

(1) Taroo-ga Hanako-ni/*o au.

Taroo-Nom Hanako-Dat/Acc see

'Taroo sees Hanako.' (Takahashi, 2006) [23]

各行はそれぞれ上から 1) 例文、2) グロス4)、3) 英語訳に対応する。このように、各行はそれぞれ性質の異なるテキストとなっているため、抽出後に後処理的に分割が必要となる。また、英語で書かれた論文を対象とする際には、例文は漢字やひらがなではなくローマ字を用いて提示されているため、それらを漢字平仮名混じりの例文へと変換する必要がある。 さらに、(1) の例文には-ni/*o という部分があるが、「に」を用いるのは文法的だが、「を」を用いるのは

う。」は正文であるが「太郎は花子を会う。」は非文であるということを、この 1 行で示している。こちらについても、データセットに含めるためには後処理的に 1 行から 2 文への変換を行う必要がある。

## 3.5 今後の展望

以上で紹介した手法を用いて、その規模に課題を抱えている JCoLA[10] の例文数を、まずは既存の言語学論文の例文に基づくデータセット $[6,8]$ に匹敵する 10,000 文規模に拡張する予定である。その後、必要に応じてさらにデータセットの規模を拡大していく予定である。

一方、言語学の論文には純粋な統語的制約の違反によって容認不可能とされている例に加えて、ある特定の解釈をすることができないという意味において容認不可能とされている例もある。

ここで、(2)は「ジョン」が「書いた」という動作の主体であると解釈される場合にのみ容認不可能な例であるが、言語モデルにこの文の容認度を予測させる際に、ある特定の解釈を強制することは難しく、 したがってデータセットに含めるのが必ずしも適切ではない例となる。以上のような例への対応については、今後の検討事項としたい。

## 4 おわりに

本論文では、すでに他分野で応用が進んでいる情報抽出の技術を言語学の分野に応用し、理論言語学の論文から自動で例文を抽出することで、言語モデルの統語的評価のためのデータセットを作成する試みを紹介した。既存の言語モデルの統語的評価用データセットは、例文を手動で抽出していたことによりデータの規模を容易に拡大できないという課題 $[6,8]$ や、例文を自動で生成していたことにより必ずしも複雑な統語現象を対象にした検証ができるデータセットではないという課題 $[7,9]$ を抱えていた。

本論文で紹介した言語学論文からの例文の自動抽出が実現すれば、理論言語学の論文で問題となっているような複雑な統語現象を扱い、かつ大規模であるという既存のデータセットにはなかった特徴を持つ言語モデルの統語的評価のためのデータセットを作成することが可能になるだろう。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. CoRR, Vol. abs/1905.00537, ,

2019.

[4] Noam Chomsky. Syntactic structures. Mouton, 1957.

[5] Martin B H Everaert, Marinus A C Huybregts, Noam Chomsky, Robert C Berwick, and Johan J Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends Cogn. Sci., Vol. 19, No. 12, pp. 729-743, December 2015.

[6] Alex Warstadt, Amanpreet Singh, and Samuel R Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, November 2019.

[7] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[8] Daniela Trotta, Raffaele Guarasci, Elisa Leonardelli, and Sara Tonelli. Monolingual and cross-lingual acceptability judgments with the Italian CoLA corpus. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2929-2940, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Beilei Xiang, Changbing Yang, Yu Li, Alex Warstadt, and Katharina Kann. CLiMP: A benchmark for Chinese language model evaluation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2784-2790, Online, April 2021. Association for Computational Linguistics.

[10] 染谷大河, 大関洋平. 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会, 2022.

[11] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[12] Alec Marantz. Generative linguistics within the cognitive neuroscience of language. Vol. 22, No. 2-4, pp. 429-445, 2005.

[13] Tal Linzen and Yohei Oseki. The reliability of acceptability judgments across languages. Glossa: a journal of general linguistics, Vol. 3, No. 1, 2018.

[14] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[15] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[16] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1195-1205, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[17] Shauli Ravfogel, Yoav Goldberg, and Francis Tyers. Can LSTM learn to capture agreement? the case of basque. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 98-107, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[18] Aixiu An, Peng Qian, Ethan Wilcox, and Roger Levy. Representation of constituents in neural language models: Coordination phrase as a case study. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2888-2899, Hong Kong, China, November 2019. Association for Computational Linguistics.

[19] Hiroyuki Shindo, Yohei Munesada, and Yuji Matsumoto. PDFAnno: a Web-based Linguistic Annotation Tool for PDF Documents. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 7-12, 2018 2018. European Language Resources Association (ELRA).

[20] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

[21] Lev Ratinov and Dan Roth. Design challenges and misconceptions in named entity recognition. In Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009), pp. 147-155, Boulder, Colorado, June 2009. Association for Computational Linguistics.

[22] Yann N. Dauphin, Angela Fan, Michael Auli, and David Grangier. Language modeling with gated convolutional networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, p. 933-941. JMLR.org, 2017.

[23] Daiko Takahashi. Apparent parasitic gaps and null arguments in japanese. J. East Asian Ling., Vol. 15, No. 1, pp. 1-35, 2006.

[24] Yasutada Sudo. Hidden nominal structures in japanese clausal comparatives. J. East Asian Ling., Vol. 24, No. 1, pp. 1-51, 2015.

[25] Hideki Kishimoto. Ditransitive idioms and argument structure. J. East Asian Ling., Vol. 17, No. 2, pp. 141-179, 2008.

## A PDFAnno のユーザーインターフェース

図 1 PDFAnno のインターフェース。例文の範囲を PDF に直接アノテーションできる。論文は Kishimoto (2008) [25]。

B モデルアーキテクチャ

図 2 情報抽出モデル全体のアーキテクチャ。Coord. はPDF 文書に埋め込まれている単語の座標情報である。


# 物理モデル自動構築に向けた変数アノテーションツールの開発

加藤 祥太 加納 学
京都大学大学院情報学研究科
katou. shouta.23v@st.kyoto-u.ac.jp
manabu@human.sys.i.kyoto-u.ac.jp

## 概要

製造業におけるデジタルツイン実現に不可欠な物理モデルの構築には多大な労力を要する.この問題を解決するために，著者らは，文献情報から物理モデルを自動で構築するシステム（Automated physical model builder; AutoPMoB）の開発を目指している. AutoPMoB の実現に向けた複数の要素技術の開発には専用のデータセットが必要である. 本研究では，文献中の変数の記号とその定義を含むデータセットを作成するためのアノテーションツールを開発した。開発したツールを用いてプロセスの物理モデルに関する論文 28 報に含まれる変数の記号とその定義をまとめたデータセットを作成した.

## 1 はじめに

化学や鉄鋼などのプロセス産業において，物理や化学の法則に基づく物理モデルはプロセスの設計や運転に必要不可欠である. 物理モデルの構築にはプロセスに関する深い理解と専門知識に加えて精度向上のための試行錯誤的な取り組みが必要なため, 多大な労力を要するという問題がある.

著者らはこの問題を解決するために，文献情報から物理モデルを自動で構築する人工知能 (Automated physical model builder; AutoPMoB）の開発を目指している. AutoPMoB は，1）文献データベースから対象プロセスに関する文書を収集し，2）文書の形式を HTML 形式に変換し，3）物理モデル構築に必要な情報（数式，変数，実験データなど）を抽出し，4）複数の文書から抽出した情報の同義性を判定して表現を統一し，5）その情報を統合して所望の物理モデルを構築する。

AutoPMoB を実現するためには上述の 5 つのタスクを実行するための要素技術を開発する必要がある. 著者らはこれまでにタスク 3 に関連する変数を正確に抽出する手法の開発 [1] やタスク 4 に関連する数式群の同義性判定手法の開発に取り組んでき
た [2]. さらなる要素技術を開発するためにはプロセスに関する文献に情報を付与したデータセットが必要である．本稿では，変数の定義抽出と同義性判定の技術の開発に必要なデータセットを作成する.

従来の変数の定義抽出に関連する研究 $[3,4,5,6]$ は，Wikipedia の記事や arXiv.org に掲載されている論文を対象としており，HTML 文書中の math タグが付与された要素や TeX 文書中の数式をスペースで区切ることで得られるトークン，記述子などに対応する定義を抽出していた. プロセスに関する文献では，単一の記号で表される変数に加えて下付き文字がついた変数や複数の記号で表される変数などが登場するが，従来の研究ではプロセスに関する文献はほとんど扱われていない。また，従来の研究で用いることを想定したアノテーションツールがいくつか存在するが，工学分野の文献に特化したツールはなく，上述の変数と定義に特化したデータセットも存在しない.

そこで，本研究では，工学分野の文書から変数の記号を自動で抽出するアルゴリズムを提案し，抽出した変数の記号に対応する定義を付与する際に役立つアノテーションツールを開発する。 さらに，そのツールを用いてプロセス関連の論文に対してアノテーションをおこなう.

## 2 変数を意味する記号の抽出方法

科学文書中の数式を対象とした研究の多くは HTML 形式または TeX 形式の文書を扱っている.数式は, HTML 形式の文書では Mathematical Markup Language (MathML) 形式で, TeX 形式の文書ではコマンドを用いて記述されるため，それらから数式は容易に抽出できる. HTML 形式の文書が Web ペー ジで入手可能であること，PDF 形式の文書を HTML 形式に変換するツールが開発されていることを踏まえ，本稿では HTML 形式の文書を対象とする。なお， $\mathrm{LT}_{\mathrm{E}} \mathrm{XML}[7]$ のようなソフトウェアで TeX 形式の文書を HTML 形式に変換することも可能である.

プロセスの物理モデルに関する文献では， $T$ のように単一の記号で表される変数だけでなく, $T_{\mathrm{R}} や$ $\hat{y} ， \Delta E$ のように複数の記号で表される変数も存在する.このような変数を表す記号を自動で抽出するためのアルゴリズムを Algorithm 1 に示す.

この変数記号抽出アルゴリズムでは，まず， HTML 形式の文書 $d$ に含まれる msup タグが付与された要素（上付き文字がついた記号）の一覧 $\mathscr{E}_{\text {msup }}$ を取得する (1 行目). 各要素の上付き文字に該当する記号列がすべて立体（ローマン体）でない場合，その要素が累乗を表すと判断し， $d$ に含まれる当該要素と同じ文字列を記号 ^を用いた表記に置換する (2-8 行目).これにより累乗と付加的な情報を表す上付き文字を区別する（例えば， $T^{\mathrm{R}}$ は
1 つの変数であるが， $T^{R}$ は $T$ の乗である)．次に, $d$ から math タグが付与された要素の一覧 $\mathscr{E}_{\text {math }}$ を得る (9 行目). HTML 形式の文書における math タグが付与された要素は, TeX 形式の文書における数式環境（\begin\{equation\}...lend\{equation\}, } \begin\{eqnarray\}...lend\{eqnarray\}，\$..\$など) } に対応する. $\mathscr{E}_{\text {math }}$ の各要素について, 複数の記号が連続した文字列（ $\Delta E$ や $\delta t$ など）のみが存在する場合，その文字列を変数として抽出し，同じ文字列を $d$ から削除する（11 行目から 18 行目）. 最後に，上述の処理をした $d$ から math タグが付与された要素の一覧 $\mathscr{E}_{\text {math }}^{\prime}$ を得て，各要素に含まれる変数を抽出する (19 行目から 24 行目).ここで抽出される変数は 1 つの記号，または 1 つの記号に上付き文字，下付き文字，上下の装飾（‘など）のいずれか，あるいはそれらの組み合わせがついた文字列である.

## 3 アノテーションツール

科学文書中の変数を表す記号（変数記号）に対して定義（変数定義）を付与する際には，文書中の変数記号を特定し，変数定義に該当する名詞句を割り当てる. 本稿ではこの作業の実行者をアノテータと呼ぶ. 著者らは，アノテータが文書中の変数記号と変数定義をまとめたデータを作成するためのツールを開発した。

本ツールを用いる際，各変数記号に対して文中の変数定義と正しい変数定義を入力する必要がある.これは，文中の変数定義が変数記号の意味として必要十分ではない場合があるからである.例えば， $C_{\mathrm{A}}$ and $C_{\mathrm{B}}$ are concentrations of $\mathrm{A}$ and B. という文において，変数記号は $C_{\mathrm{A}}$ と $C_{\mathrm{B}}$ であり，それに対応する正しい変数定義は concentration of A と concentration of B であるが，文中の変数定義はいずれも concentrations of A and B である. 文中の変数定義（concentrations of A and B）を抽出してから，それが必要十分かを識別し処理することで正しい定義 （concentration of A と concentration of B）を得る定義抽出手法を今後開発していく予定である.

アノテーションツールの使用画面を図 1 に示す.最初に画面上部で対象とする文書を選択する（1）.本ツールは Algorithm 1 に従って選択された文書から変数記号を自動で抽出しIDを付与する. 画面左側には文書中のテキストが表示される（2），各変数記号が MATH_ID の文字列に置換されたテキスト （Processed text）と元のテキスト（Original text）の 2

## Annotation tool

Processed text

## III. CSTR Process Description

In this paper, we consider the control problem of an ideal jacketed Continuously Stirred Tank Reactor (CSTR) system (Fig.1), where the following exothermic and irreversible firstorder reaction is taking place:

$\mathrm{A} \rightarrow \mathrm{B}(7)$

With a kinetic rate law:

-MATH $\_0000=$ MATH_0015 $($ MATH_0016)MATH_0001 = MATH_0002exp

Under the assumptions of constant volume, perfect mixing inside the reactor and constant reacting mixture heat capacity, one may write down the following mass balance for species $A$, as well as an overall energy balance for the reactor:

$\frac{\text { dMATH_0001 }}{\text { dMATH_0019 }}=$ invalid-markup $($ MATH_0003 - MATH_0001) - MATH_001s
$\frac{\text { dMATH_0016 }}{\text { dMATH_0019 }}=$ invalid-markup $\left(\right.$ MATH_0004 - MATH_0016) $-\frac{\text { MATI }}{\text { MATH_002' }}$

Under the assumptions of uniform temperature of the jacket fluid inside the circulation tubes and constant water heat capacity, an energy balance for the jacket may also be written down:

$\frac{\text { dMATH_0008 }}{\text { dMATH_0019 }}=$ MATH_0009invalid-markup $($ MATH_0012 - MATH_0008) +

In equations (7)-(1) MATH_0019 is the time, MATH_0025 are concentrations, MATH_0016 represents temperatures, MATH_0008 is the jacket temperature, MATH_0006 is used for specific heat capacities, MATH_0020 represents volumetric flow rate, MATH_0011 is overall effective mass of the heating/cooling system, MATH_0021 is reactor volume, MATH_0022 represents densities, MATH_0007 is the heat exchange surface, MATH_0013 is heat capacity of water, MATH_0024 is power input to the heater, MATH_0012 is temperature of cooling water and MATH_0023 is the heat transfer coefficient. The numerical values taken from [8] (see, [9] for more details on CSTR). A linear model will be developed around the steady-state operating point. The linearization will be respect to MATH_0001 and MATH_0016,

Original text $(2)$

Choose variable No.

26

HTML format: <mi>u</mi>

TeX format: $\mathbf{u}$

Select the sentence including the variable definition.

$
\text { The goal is to contr... }
$

[

0 :

"The goal is to control the reactor composition by manipulating the cool rate through the control signal MATH_0026."

Input the variable definition in the sentence.

the control signal

[

๑ : "the control signal"

]

Input the correct variable definition.

the control signal

$\checkmark$

○ : "the control signal"

]

 &  &  \\

図 1 アノテーションツールの使用画面

種類を表示可能である. アノテーションは 1 変数記号単位でおこなう。アノテータは，画面右側でアノ
テーションをする変数記号を選択してから（3），変数定義を表す名詞句が含まれる文を選択し（4），
文中の変数定義と正しい変数定義を手作業で入力する (5). 複数の文に変数定義が登場する場合，それらをすべて抽出する。 選択した文の数と入力した文中の変数定義の数が異なるときや選択した文に変数定義が含まれないときには警告文が出力される.入力が終了したら Save ボタンを押して情報をファイル（xlsx 形式）に保存する（6）. 変数定義が存在する文がなければ文を選択せずに Save ボタンを押し，変数定義が存在する文がない，という情報を保存する．保存された情報は画面上で確認できる。

各変数記号に対して以下の 8 つの情報を保存する.

## $\cdot$ ID
- 変数記号の文字列 (HTML 形式)

・変数記号の文字列 (TeX 形式)
- 文中の変数定義
- 正しい変数定義

・変数定義が存在する文の番号
- 変数定義が存在する文の文字列
- 正しい変数定義が抽出可能か否か（文中の変数定義と正しい変数定義が一致するか)

本アノテーションツールは Python で実装し, UIには Streamlit [8] を，テキストの文分割には Stanza [9] を使用した。

## 4 データセット作成

連続槽型反応器 (CSTR) に関する論文 10 報, 熱交換器に関する論文 7 報, 晶析プロセスに関する論文 11 報を対象に，開発したツールを使用して変数記号と変数定義を含むデータセットを作成した. これらの論文は PDF 形式で入手したため, InftyReader [10] で TeX 形式に変換したのちに，もとの論文を再現するように人手で修正し, LATEXML で修正後の TeX 形式の論文を HTML 形式に変換した。

作成したデータセットの統計情報を表 1 に示す.抽出された変数の総数は 1,094 , 文中に変数定義が存在する変数の数は 680 , 文中に存在する変数定義と正しい変数定義とが少なくとも 1 つ一致した変数の数は 513 であった. 論文単位の変数の数の最小値は 16, 最大値は 96, 平均値は 39 であった.

このデータセットはアノテータ 1 名（第一著者） が作成した. 作業ぺースは論文に含まれる変数の数によるが，1 報あたり約 30 分であった. ツールを用いずに上述の 8 つの情報を手作業で保存する場合,表 1 データセットの統計情報. $V$ は変数集合, $V_{\mathrm{ext}}$ は文中に変数定義が存在する変数の集合, $V_{\mathrm{cor}}$ は文中の変数定義と正しい変数定義が一致した変数の集合である. $|V|$ は $V$ に含まれる要素数を表す。

論文 1 報あたりの処理時間は 1 時間以上だったため, 本ツールによって大幅に作業を効率化できた.今後は, 複数名のアノテータで上述の 3 つのプロセス以外のプロセスに関する論文と書籍を対象にしてアノテーションをおこない，データセットを拡張する予定である。

## 5 おわりに

本研究では，製造プロセスの物理モデルに関する文献に含まれる変数を表す記号（変数記号）とその定義（変数定義）からなるデータセットを作成する作業を効率化するアノテーションツールを開発した. 作業者（アノテータ）は本ツールによって自動で抽出される変数記号に対して，変数定義を手作業で入力する。開発したツールを用いて製造プロセス関連の論文 28 報に対して変数記号と変数定義を含むデータセットを作成した. 本ツールとデータセットは公開予定である.

開発したツールは今後も改良を続けていく，具体的には以下の機能を追加予定である.

PDF 形式の文書の扱い本稿では, PDF 形式の文書を $\mathrm{TeX}$ 形式に変換したが，数式や本文の一部が正しく変換されなかったため, 手作業で修正した. 今後, PDF 形式の文書を入力として扱えるように, TeX 形式への変換精度の改善に取り組む予定である.

定義の候補の提示現状，アノテータは本文から定義に該当する名詞句を探し出す必要がある. アノテータがより効率的に定義を発見するためには，定義の候補を出力することが有効であると考えられる. アノテータの負担を軽減するために，変数定義の抽出技術を組み合わせ，定義候補を提示できるようにする予定である.

## 謝辞

本研究は JSPS 科研費 JP21K18849 および JST 次世

代研究者挑戦的研究プログラム JPMJSP2110の助成

を受けたものです。

## 参考文献

[1] Shota Kato and Manabu Kano. Identifier information based variable extraction method from scientific papers for automatic physical model building. PSE Asia, Paper No. 210043, 2020.

[2] 張純朴, 加藤祥太, 金上和毅, 加納学. ルールベース手法による数式群の同義性判定. 言語処理学会第 27 回年次大会発表論文集, pp. 279-282, 2021.

[3] Giovanni Yoko Kristianto, Goran Topić, and Akiko Aizawa. Extracting textual descriptions of mathematical expressions in scientific papers. D-Lib Magazine, Vol. 20, No. 11, 2014.

[4] Moritz Schubotz, Alexey Grigorev, Marcus Leich, Howard S Cohl, Norman Meuschke, Bela Gipp, Abdou S Youssef, and Volker Markl. Semantification of identifiers in mathematics for better math information retrieval. In SIGIR 2016 - Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 135-144, 2016.

[5] Moritz Schubotz, Leonard Krämer, Norman Meuschke, Felix Hamborg, and Bela Gipp. Evaluating and improving the extraction of mathematical identifier definitions. In Conference and Labs of the Evaluation Forum (CLEF), Dublin, Ireland, pp. 82-94, 2017.

[6] Hwiyeol Jo, Dongyeop Kang, Andrew Head, and Marti A Hearst. Modeling mathematical notation semantics in academic papers. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3102-3115. Association for Computational Linguistics, 2021.

[7] Bruce Miller. ${ }^{2} T_{E} X M L$ The Manual-A ${ }^{2} T_{E} X$ to XML/HTML/MathML Converter, Version 0.8.3. https: //dlmf.nist.gov/LaTeXML/, 2018. (Accessed on 2021/11/06).

[8] Streamlit - the fastest way to build and share data apps. https://streamlit.io/. (Accessed on 01/10/2022).

[9] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020. Association for Computational Linguistics.

[10] M. Suzuki, F. Tamari, R. Fukuda, S. Uchida, and T. Kanahori. Infty: An integrated ocr system for mathematical documents. In Proceedings of the 2003 ACM Symposium on Document Engineering, p. 95-104, 2003.


# MioGatto による数式グラウンディングデータセットの構築

朝倉卓人

東京大学

takuto@is.s.u-tokyo.ac.jp宮尾祐介

東京大学

yusuke@is.s.u-tokyo.ac.jp相澤彰子

国立情報学研究所

aizawa@nii.ac.jp
## 概要

計算機を用いた科学技術文書の読解には，数式内の 1 つ 1 つの記号の意味をグラウンディングできることが重要である．現実の科学技術文書においては数式内の記号の意味は必ずしも一定ではなく, 同じ記号が複数の意味で用いられるため，グラウンディングの際には記号間の共参照関係も明らかにする必要がある. 本研究では arXiv.org から選んだ 15 本の科学論文を対象に, 数式内の記号の共参照関係を明示的にアノテーションしたコーパスの構築を行った. その結果, 数式内の記号の曖昧性は狭い範囲に絞っても存在するほど複雑だが，共参照関係は高いアノテータ間一致率を保ちながらラベル付け可能であることが示された.

## 1 はじめに

論文や専門書などの科学技術文書に書かれた知識を，検索・数式処理・定理証明支援などの計算機を応用した諸技術を用いて十分に活用するためには，文書中の自然言語テキストのみならず数式についても解析を行うことが必須である. そして, 自然言語中の数式解析を行うには，数式内に現れる 1 つの文字や記号（トークン）がどのような意味で用いられているのかを明らかにする必要がある．著者らはこれまでに，この部分の処理を数式グラウンディングとして定式化・提案してきた $[3,4]$. このタスクは各数式トークンに対してそれぞれ文脈に応じた説明を付与する説明アライメントタスク（図 1）と， まったく同じ意味で用いられているトークンとそうでないトークンを判別する共参照解析タスクの 2 つの性質を併せ持つ.

計算機による科学技術文書理解の達成には，数式グラウンディングの自動化が必要である. 自動化手法の開発を目指し, 著者らはまず実際にグラウンディングされたデータの観察・分析・学習・評価のため人の手によるグラウンディング結果のアノテー

図 1 説明アライメント

ションを付したコーパス構築に取り組んだ。一般に共参照情報のアノテーションは特に高コストであるため [12] 著者らは専用のアノテーションツール MioGatto ${ }^{1)}$ を開発してデー夕構築プロセスを効率化した [5]. その上で，実際に MioGatto を用いて 11 名の学生アノテータとともに計 15 本の科学論文について，それらの論文中の数式のすべての数式識別子出現に対するアノテーションを行った.

本稿では，この数式グラウンディングデータセットのこれまでの構築手順を紹介するとともに，得られたアノテーション付きコーパスの概要と分析結果について報告する。構築したデータセットは SIGMathLing リポジトリ2)にて配布している.

## 2 関連研究

文書中の数式理解に資することを目的とするデー タセットは，複数提案されてきた。 arXMLiv デー タセット [10] はプリプリントサーバ $\operatorname{arXiv.org}{ }^{3}$ に収録されている 150 万本以上の科学論文を, 様々な研究用途の計算機プログラムで扱いやすいよう $\mathrm{LAT}_{\mathrm{E}} \mathrm{XML}$ [11] を用いて XHTML 文書に変換した巨大な文書コーパスである。文書中の数式部分は

LATEXML の機能により機械的にプレゼンテーション MathML [6] に変換されているが, 基本的に通常の $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$ マークアップに含まれるのと同じ「見た目」 に関する情報がエンコードされているに過ぎず，特にそれ以上に踏み込んだ情報は付加されてはいない.それでも数式を含む文書の貴重な言語資源として広く活用されており, MioGatto の入力形式もこの arXMLiv の XTHML の仕様 [9] に準じている.

科学技術文書の数式部分について，各トークンに説明を付与したアノテーション付きコーパスはいくつか提案されている. NTCIR-10では Math Pilot 共通タスクの一部として自然言語テキスト内にあるトー クンの定義を抽出する Math Understanding サブタスクが提案され, その開発・評価のために arXMLiv データセットに含まれるXHTML 文書内の数式に人手で説明が付与されたデータセットが提供された [1]. また類似のタスクは数式内の 1 つ 1 の識別子に対して説明を付与する MathAlign タスクとしても定式化されており, 同じく arXiv.org に収録されている 116 本の論文の中から，合わせて 584 の識別子に説明を与えたデータセットも存在する [2].

ある程度以上の長さのある現実の科学技術文書では，しばしば数式トークンは 1 つの文書内においても複数の意味で用いられる $[3,4]$. 例えば機械学習分野の教科書 PRML [7] の第 1 章では, 太字の $\mathbf{y}$ は同じ章の中で少なくとも 4 つの意味で用いられている （表 1)。そのため文書中の数式理解には, こうした同一文書内のトークン間の共参照関係を明らかにすることが必要だが，数式トークンの共参照関係が明示的にラベル付けされたデータセットは知られていない. 本研究では, 本文にある程度の長さがあり数式も豊富なものを中心として 15 本の科学論文を選定し, それらに現れる合計 12,352 個の数式識別子出現すべてについて，各論文内での共参照関係を明示的にアノテーションしたデータセットを構築した.

表 1 PRML [7]第 1 章における $\mathbf{y}$ の曖昧性

## 3 アノテーションの目的と方法

数式グラウンディングの自動化には, 手法の構築と評価のためにデータセットが必須である. 統計モ
デルを構築して自動化を実現するには一般に大量の教師データが必要になる. 最初はルールベースでデータを増やす場合にも，ルールの検討には実際の文書における数式トークンの使われ方を観察する必要があり, やはりある程度のデータが要ることに変わりはない. またいずれにしても評価用のデータは必要である. 本研究では, グラウンディング自動化の第一歩として実際の科学論文を対象に次の 2 種類の情報をすべて人手でアノテーションした（図2）.

数学概念数式中のトークンが参照する概念. 実際のアノテーションデータとしては，単純な説明 (description) に加えて, 数学的な型やアリティ,制約条件などの付加的な属性を付与することができる.

グラウンディング情報源人間がグラウンディングを行う際に，その根拠として利用できるテキストスパン．数学的に定義や宣言にあたる箇所が該当する. 例えば図 2 の最初の $f$ は実数関数にグラウンディングされるが, その根拠となる情報源は直前の “a real-valued function”である.

図 2 アノテーションした情報: 数式中の各トークンをそれぞれの参照する数学概念に紐付ける. その際の根拠となるテキストスパンをグラウンディング情報源と呼ぶ.例文テキストは英語版 Wikipedia ${ }^{4)}$ より.

4) https://en.wikipedia.org/wiki/Integral
各数式トークンの出現に直接説明をアノテーションする代わりに，文書ごとにアノテータが作成する数学概念の一覧（数学概念辞書と呼ぶ）に定義される概念 ID をラベル付けすることで，共参照関係を明示したデータセットを構築することができる. すなわち, 同じ概念 ID と紐づく出現同士は共参照関係にある一方で，異なる ID と紐づくものは共参照関係にない。こうしたアノテーションを実現するために，実際のアノテーションにおいては著者らが開発した専用のアノテーションツール MioGatto を用いた (図 3). MioGatto は (1) 数学概念辞書の作成, (2) 各出現への数学概念 ID の紐付け, (3) 各出現に対応するグラウンディング情報源のスパン位置のアノテーションを GUI 操作のみで素早く行うことができるように設計されている [5].

図 3 MioGatto の操作画面. 画面の左側にアノテーション対象の論文の本文があり, 右側のサイドバーに MioGatto の提供する情報やアノテーション操作に必要なボタン類が配置されている.

データセット構築にあたっては, arXiv.org に $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$文書ソース付きで収録されている英文論文の中から, ある程度以上の数式が用いられているものを選んでアノテーションを行った. こうした英文で数式を含む科学論文を正しく読解してアノテーションを行うには，それぞれの論文の分野について専門的な知識を要することから, 様々な分野の専門知識を持つ学生 (主に大学院生と学部生) の中から協力者を募集した (付録 $\mathrm{A})$. 参加アノテータにそれぞれの背景知識・興味に合った論文を arXiv.org 收録論文の中から選定してもらい, 選ばれた論文を MioGattoを用いてアノテーションするための前処理を行った. この前処理には論文著者によるオリジナルの $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$文書を $\mathrm{IAT}_{\mathrm{E}} \mathrm{XML}$ で XML に変換する作業と, 著者の誤った数式マークアップを修正する作業（付録 B） が含まれる. 各アノテータには MioGatto の使用法を説明するとともに，実際のアノテーションに必要な論文 XHTML データ，アノテーションデータの雛形, 手順書5)を提供し, 同手順書にしたがってアノテーション作業を実施してもらった. アノテーションの結果得られたデー夕は著者らが内容を確認の上, その後の分析を行った。

今回アノテーションの対象としたのは，選定した論文内で用いられているすべての数式の，すべての数式識別子の出現である. ここで数式識別子とは数式トークンの一種で，変数・関数・定数を表す単一の文字 $(x$ や $\theta$ )または短い名前 $(\sin なと ゙)$ のことである. 数式内には識別子以外にも演算子 (+など) や数値といったトークンもあるが，アノテーション対象が多くなり過ぎることを防ぐため今回は識別子に対象を絞っている. またグラウンディング情報源については, 論文内でアノテータが発見できたものすべてをアノテーションした. 1 つの概念に紐付く情報源が論文内に複数箇所ある場合や，ある概念に紐付く情報源が 1つもない場合もあるため, ラベル付けする情報源の数には制約を設けなかった.

## 4 構築済みデータセットの分析

NLP ・数理論理学・代数学・天文学などの分野の科学論文合わせて 15 本について, すべての数式識別子出現に対する手動アノテーションを完了した （表 2）、データセット全体では合計 12,354 個の識別子出現があり, そのすべてに数学概念が割り当てられた. またグラウンディング情報源にあたるテキストスパンは計 938 個収集できた。各論文について識別子の「種類」数を, 対応する概念辞書の「概念」数で割ると，識別子の種類ごとに平均いくつの意味で用いられているかが算出できるが，その平均値は全体を通して 2.09 であった. また識別子の種類ごとに使われる回数が異なるので, 出現数を考慮して加重平均したものが表 2 の「平均候補」数である.これは実際のアノテーション時に, 各出現に対して数学概念を割り当てる際にアノテータが目にした選択肢の数の平均値に相当する. そのため「平均候補」 の数が大きいほど識別子の曖昧性の度合いが高く, アノテーションの難易度も高かったと解釈できる.
 s-Guide
表 2 アノテーション結果.「番号」は説明のための便宜的な論文 ID，「単語」は本文の単語数，「種類」は識別子の種類数, 「出現」は識別子の出現数,「概念」は概念辞書に登録された項目数,「平均候補」は辞書項目数の識別子出現回数に応じた加重平均, 「情報源」はグラウンディング情報源の数. 具体的な文献情報は付録 A に掲載する。

## 4.1 アノテータ間一致率

本研究でアノテーション対象としたのは専門性の高い科学論文であるので，同一の文書に対してアノテーション可能な人員を複数名確保するのは容易でない. しかしアノテーションの正確性・再現性を確認するため, 論文 1 については計 5 名のアノテータで独立にアノテーションを実施し，アノテー夕間一致率の算出を行った (表 3). 概念辞書の作成はアノテータ A が担い，他はその辞書を用いて概念の割当や情報源のアノテーションを行った. アノテータにより作業精度に多少ばらつきがあるが, 数学概念の一致率・Cohen の $\kappa$ 値 [8] を算出すると十分に高い值となっている. またグラウンディング情報源も高い頻度で重複しており，人間が情報源とみなすテキストスパンはよく一致することがわかった.

## 4.2 スコープの切替位置と情報源

ある数式識別子の出現に対して割り当てられた数学概念が, 同じ識別子種の直前の出現に割り当てられた概念と異なる場合, その 2 つの識別子出現の間にスコープの切替があると言う．数式グラウンディングを行うには，1つの文書内のすべてのスコープの切替位置を特定する必要があり, これが自動化において最も挑戦的な部分である. 今回構築したデータセットでは，論文 15 本の中で合計 2,378 回のスコープ切替があった. このうち 1 つのセクショ表 3 アノテータの役割と一致率. 上 3 行に各アノテータの役割, 中 2 行に数学概念の一致率, 下 2 行に情報源の数を示す。一致率・重複率は対アノテータ A の値である.

ンの中でスコープ切替が起こっているものは 2,129 回 $(89.5 \%$ )であったことから, 文書内の単一のセクションという狭い範囲に絞ってみても数式識別子には曖昧性があることがわかった。

またグラウンディング情報源とされたテキストスパンと，それぞれと紐付けられている数式識別子の出現との位置関係についても分析を行った. アノテーションされた計 938 個のグラウンディング情報源のうち $76.5 \%$ にあたる 718 個が数式識別子よりも先行する位置に存在していた。また各情報源とそれと紐付く数式識別子出現（最も距離が近いもの）の距離を，間に挟まる単語の数で計数すると，平均して 14.7 単語であった. ただし, 情報源・識別子間の距離はばらつきが大きく, 距離の中央値はすべての論文で $0 \sim 4$ 単語の範囲にあり, 典型的な情報源は対応する識別子出現の直前数単語以内に存在する.

## 5 結論と今後の展望

本研究では多様な分野の科学論文 15 本について, グラウンディング情報を人手でアノテーションしたデータセットを構築した。その中ではすべての識別子出現に説明といくつかの付加情報がラベル付けされるとともに，各論文内で識別子間の共参照関係が明示的になっている. さらにこうしたデータセットは必ずしも言語資源構築を専門としないアノテータによる作業でも構築可能であることを示した.

今後は概念辞書の作成のみを人手で行い，論文中の識別子出現に対してその概念辞書のうちの適当な項目を自動で割り当てる半自動化を行う。これにより効率よく提案データセットを量的に拡張し，ひいてはグラウンディング全体の自動化を達成する.

## 謝辞

本研究は JST ACT-X (JPMJAX2002) の支援を受けて実施しました. 日頃より実りある議論をしている Michael Kohlhase 教授と André Greiner-Petter 氏に感謝します.また MioGatto の改善を手伝ってくださった石井太河氏と, 本研究に参加いただいたすべてのアノテータの方々にも感謝します.

## 参考文献

[1] Akiko Aizawa, Michael Kohlhase, Iadh Ounis. "NTCIR-10 Math Pilot Task Overview." Proceedings of NTCIR-10. 2013.

[2] Maria Alexeeva, Rebecca Sharp, Marco A. Valenzuela-Escárcega and Kadowaki, Jennifer Kadowaki, Adarsh Pyarelal, Clayton Morrison. "MathAlign: Linking Formula Identifiers to their Contextual Natural Language Descriptions". Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020).

[3] 朝倉卓人, André Greiner-Petter，相澤彰子，宮尾祐介. 『数学概念への数式グラウンディングのためのデータセット』. 言語処理学会第 26 回年次大会予稿集 (NLP2020).

[4] Takuto Asakura, André Greiner-Petter, Akiko Aizawa, Yusuke Miyao. "Towards Grounding of Formulae." In Proceedings of First Workshop on Scholarly Document Processing (SDP 2020).

[5] Takuto Asakura, Yusuke Miyao, Akiko Aizawa, Michael Kohlhase. "MioGatto: A Math Identifieroriented Grounding Annotation Tool." In 13th MathUI Workshop at 14th Conference on Intelligent Computer Mathematics (MathUI 2021).

[6] Ron Ausbrooks et al. Mathematical Markup Language (MathML) 3.0 Specification. 2014. https: //www.w3.org/TR/MathML3/.

[7] Christopher M Bishop. Pattern Recognition and Machine Learning. 2006.

[8] Jacob Cohen. "A coefficient of agreement for nominal scales." Educational and Psychological Measurement. 1960.

[9] Deyan Ginev, Heinrich Stamerjohanns, Bruce R. Miller, and Michael Kohlhase. 'The IATEXML Daemon: Editable Math on the Collaborative Web." Intelligent Computer Mathematics. 2011.
[10] Deyan Ginev. arXMLiv:2020 dataset, an HTML5 conversion of arXiv.org. SIGMathLing. 2020. https://sigmathling.kwarc.info/resources/ arxmliv-dataset-2020/.

[11] Bruce Miller. $\mathrm{AT}_{\mathrm{E}} \mathrm{XML}$ The Manual-A $\mathrm{LAT}_{\mathrm{E}} \mathrm{X}$ to XML/HTML/MathML Converter, Version 0.8.3. 2018. https://dlmf.nist.gov/LaTeXML/.

[12] Bruno Oberle. "SACR: A Drag-and-Drop Based Tool for Coreference Annotation." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018).

## 付録 A アノテータの募集方法とアノテーション対象の論文

数式を含む英文科学論文の読解を伴うアノテーションタスクは一般のクラウドソーシングでは実現が難しいため, 本研究に参加するアノテータは, ソーシャル・ネットワーキング・サービスも活用しㄱ) 広く理工系分野を専攻する学生の中から募集し，直接謝金を支払って作業に従事してもらった．実際のアノテーションに従事した学生は, 分野としては自然言語処理を専門とする者が最多だが, 他にも数理論理学・代数学・物理学・天文学などを専攻する者もいた。参加アノテータの身分としては大学院生（修士課程）が最も多く, 大学院生 (博士課程) や学部生, さらにはそれよりも若い参加者もいた. アノテーション対象の論文は arXiv.org に LATEX 文書ソース付きで収録されているものの中から，参加アノテータの専門と論文中の数式の数を考慮して選定した（表 A)。

表 A アノテーション対象論文. 論文の通し番号は本文の表 2 の番号と対応している.

 & 1808.02342 & cs.IT \\

## 付録 B 前処理における数式マークアップの修正

MioGatto は単純に入力 XHTML 文書のタグ情報を参照することでアノテーション対象となるトークナイズされた識別子を認識している. 入力 XHTML 文書の夕グ構造は LATEXML で変換する前の論文著者による ${ }^{\mathrm{AT}} \mathrm{E} \mathrm{E}$ ソースの記述のされ方によって決定されているため, 大元の $\mathrm{IAT}_{\mathrm{E}} \mathrm{X}$ ソースの数式マークアップが誤っていると正しく識別子を認識することができない。そのため，このようなマークアップミスは前処理において修正を行った.この過程で修正された誤ったマークアップのほとんどは大きく 3 種類に分類できる. 第一は数式でない部分に対して（単に強調などでイタリック体の出力を得る目的で）数式モードが使用されているケースである. 第二は逆に数式であるはずの部分がテキストとしてマークアップされているケースである.例えば数式内で FNN のような関数名を使用する際に \text\{FNN\} と記述されていると，その部分は数式識別子ではなくテキストと扱われてしまう．第三は本来はひとまとまりの識別子が，1 文字ごとの識別子の積であるものとしてマークアップされているケースである. 例えば正弦関数は $\mathrm{L} \mathrm{T}_{\mathrm{E}} \mathrm{X}$ では \$要があるが，これが単に $\$ \sin \$$ と記述されていると $s, i, n$ はそれぞれ別々の変数として認識され，全体としては 3 変数の積となってしまう. 実際に IATEXML の出力では各変数間に不可視の乗算記号 (Invisible Times, U+2062) が挿入された状態となってしまい，意図された数式とは明確に異なるものとなる.


# ユーザの興味があるカテゴリに応じた NER システム構築フレームワーク

芝原 隆善 1,2 大内 啓樹 1 山田 育矢 ${ }^{2,3}$ 西田 典起 ${ }^{2}$
}

寺西裕紀 ${ }^{2}$ 古崎 晃司 2,4 渡辺太郎 1 松本 裕治 ${ }^{2}$

1 奈良先端科学技術大学院大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ Studio Ousia ${ }^{4}$ 大阪電気通信大学

\{shibahara.takayoshi.sk4, hiroki.ouchi, taro\}@is.naist.jp

\{takayoshi.shibahara, hiroki.ouchi, ikuya.yamada, noriki.nishida, hiroki.teranishi, kouji.kozaki, yuji.matsumoto\}@riken.jp ikuya@ousia.jp kozaki@osakac.ac.jp
## 概要

異なるユーザーは異なる固有表現のカテゴリに関心を持つ. そのため本論文ではユーザーが関心を持つ固有表現を抽出可能な固有表現抽出システムを構築するフレームワークを提案する. このフレームワークでは，まずユーザーに関心のある固有表現力テゴリをシソーラスから選択してもらい，次に選択されたカテゴリを含むシソーラス全体のカテゴリ情報を活用した Distant Supervision を行い固有表現抽出モデルを学習する. 本論文では UMLS シソーラスと MedMentions コーパスを利用したいくつかの実験を通じて提案フレームワークの有効性を確認した。

## 1 導入

固有表現抽出: Named Entity Recognition (NER) は自然言語処理の基本タスクの 1 つであり, 質問応答 [1], 関係抽出 [2], Entity Linking [3], 対話システム [4]など様々なタスクで応用されている.

本論文は，「異なるユーザは異なる固有表現 (Named Entity: NE) のカテゴリに興味を持つ」という着眼点に立っている. 例えば, 疫学者と薬学者が COVID-19 関連論文を調査する場合を考えてみる。疫学者は人間集団ごとの症状に関心を持ち, 症状や人々の特徴 (性別，民族性，年齢など) に関する固有表現を求めるだろう. 一方薬学者はコロナウイルスやその関連薬の作用機序に関心を持ち, 解剖学的構造や化学物質に関連する固有表現に注目するだろう.

しかし，既存の固有表現認識手法では異なるカテゴリを欲するユーザーの要求に柔軟に対応できな

2. シソーラスに基づいてDistant Supervisionする

Coronavirus disease cause a pneumonia especially for the elderly. It is caused by cytokine from white blood cell.

3. NERモデルをDistant Supervisionデータセットで学習する

図1タスクの全体像

い. 通常 NER システムは，固有表現カテゴリがあらかじめ定義されたデータセットを用いて構築される. それゆえ，ユーザにとって関心のある固有表現カテゴリが予め定義されたデータセットが存在しなければ，それらの固有表現は抽出されない. 各ユー ザが興味のある固有表現カテゴリを人手でアノテー ションすることもできるが，これには大変なコストと時間がかかってしまう。

そこで本論文では，ユーザが興味をもつ固有表現を抽出可能な NER システム構築フレームワークを提案する(図 1).まず，このフレームワークでは各ユーザーに興味のある固有表現カテゴリをシソー ラスから選択してもらう。そして，その選択されたカテゴリに基づき，Distant Supervision によりテキス卜を擬似的にアノテーションし，その擬似アノテー ションを用いてシステムを学習させる. その結果, システムはユーザの関心のある固有表現を抽出することができるようになる.

しかしながら Distant Supervision NER の問題とし

て, Unlabeled Entity Problem が指摘されている [5]. Unlabeled Entity Problem とは，シソーラスにない未知の固有表現を Distant Supervision でラベル付けすることが難しいという問題である.

我々はこの Unlabeled Entity Problem を擬似負例の信頼性の問題であると考える. 従来の研究では，信頼性の低い擬似負例がもたらす影響を割り引くために，擬似負例の一部は本来正例であると仮定して NER タスクを実行していた. 本研究では，シソー ラスのカテゴリ情報を利用して，より信頼性の高い擬似負例を擬似データセットに追加し (3 節), 擬似負例の信頼性の低さの問題を緩和する。また，本フレームワークの有効性を検証するために，タスクと実験設定を提案・定式化する. 本論文ではいくつかの実験を通じて提案法の有効性を確認した。

要約すると，我々の貢献は主に以下の 3 つである.

・本論文は，ユーザーの興味に応じた固有表現を抽出するオーダーメイドの NER システムを構築するためのフレームワークを開発した最初の研究である.

・Unlabeled Entity Problem を解決するために，シソーラスのカテゴリ情報を有効に活用する新しい手法を提案した.

・「ユーザが興味を持つ固有表現カテゴリに応じたNER システム構築」の状況をシミュレートできるタスクと実験設定を策定・実施した。

## 2 タスク設定

提案法は Distant Supervision NER (DS NER) に基づいている. 固有表現抽出: Named Entity Recognition (NER) は $n$ 長の単語列: $X=\left.\{w_{j}\right.\}_{j=1}^{n} \in V^{n}$ に対し $m$ 個のスパンとそれらのラベル: $Y=\left.\{\left(s_{i}, e_{i}, l_{i}\right) \in\right.$ $[0 . . n-1] \times[1 . . n] \times L\}_{i=0}^{m-1}$ を事前に定義されたラべル集合: $L$ から予測するタスクとして形式的には定義される. 通常の教師あり設定ではアノテーションされたデータセットを元に学習するが, DS NER では，文書と用語集から構築される擬似データセットを利用することでアノテーションを省く．擬似デー タセット: $\left.\{X_{k} \in V^{*}, \tilde{Y}_{k}=\left.\{\left(\tilde{s}_{k i}, \tilde{e}_{k i}, \tilde{l}_{k i}\right)\right.\}_{i=0}^{m_{k}-1}\right.\}_{k=1}^{|D| 1)}$ は文書: $\mathscr{D}=\left.\{X_{k}\right.\}_{k} \subset V^{*}$ と用語集 $g: T \rightarrow L$ から構築される.ただしここで $T \subset V^{*}$ は用語集の中で記述される用語の集合である. 用語集 $g$ は文書 Dに対
$ は $k$ 番目の文に含まれているスパンの個数である.
}

する文字列マッチによって擬似データの構築に利用される。しかし, このDS NER のタスク設定には, Unlabeled Entity Problem [5] と呼ばれる問題がある.これは，用語集の被覆率が低いために，擬似データセット中の固有表現が見逃され，学習モデルがこれらのラベル付けされていないスパンを無視してしまうという問題である。例えば，使用した用語集に新しい化学物質が記述されていない時に, DS NER モデルがこの化学物質を見逃すという可能性がある。この問題に対処するため，先行研究では信頼性の低い擬似負例が与える影響を割り引き，擬似負例の一部が本来正例であると仮定して NER タスクを実行している。具体的には, lenient CRF [6] , Self-Training [7], PU 学習 [8], 擬似負例スパンのアンダーサンプリング [5] によって疑似負例に正のラベルを予測する手法が知られている。しかし，これらの擬似負例の影響を割り引く手法は，本来負例であるスパンまで固有表現として予測してしまうという危険性がある.

本研究では，ユーザーが選択したカテゴリ $L$ に応じて用語集を作成することで，ユーザーごとにオーダーメイドな NER モデルを実現する。ここでシソーラスは Directed Rooted Tree DRT $=(C, E, r)$ であるとする。つまり, シソーラスは, 概念の集合 $C$, $C$ 上の辺としての is-a 関係の集合 $E$ ，ルートノー ド $r$ からなるものとする. 本研究では $L$ だけではなくDRTを利用して負例のカテゴリ $L_{n e g}$ を作成し, $L_{n e g}$ と $L$ 両方の語句を含む用語集 $g^{\prime} を$ 利用した Distant Supervisionを行う．このことにより提案手法がシソーラス全体の情報やクラス間の排他的な関係を捉えられるようになることを目指す ${ }^{2}$. ここで $L_{n e g}$ は $L$ と組み合わせることでシソーラス全体を被覆するように定義する。つまり $L$ に含まれるいずれかの概念の子孫の全ては $L$ によって被覆されているので，負例カテゴリ $L_{n e g}$ を $L$ によって被覆されていないDRTに含まれる概念の最小の集合とする3). 例えばユーザーが \{"Diseases or Symptoms", "Age"\}を正例の概念として選んだ場合，提案手法は $L_{n e g}$ として $\{$ "Sex, "Chemical", "Anatomical Structure"\}

2）より形式的には，提案手法のタスク設定は用語集 $g^{\prime}: T \cup T_{n e g} \rightarrow L \cup L_{n e g}$ が負例クラス $L_{n e g}$ を含んでいるという点で通常の Distant Supervision と異なっている. ただし $T_{\text {neg }}$ は $L_{\text {neg }}$ に含まれる語句の集合である.

3）形式的には $L_{n e g}$ は $L^{\prime}$ を利用して次のように定義でき 3. $L^{\prime}=\left.\{a \mid l \in L \wedge(l, a) \in E^{*}\right.\} L_{n e g}=\left.\{c \mid l^{\prime} \in L^{\prime} \wedge\left(l^{\prime}, p\right) \in\right.$ $\left.E \wedge(c, p) \in E \wedge l^{\prime} \neq c \wedge c \notin L^{\prime}\right.\}$ ただし $E^{*}$ は $E$ の反射推移閉包であるとする。

図 2 Pseudo Dataset Construction

を選ぶ(図1).

文字列マッチによってこの負例カテゴリ $L_{n e g}$ を利用して得られた擬似負例は，確害に $L$ に含まれないカテゴリであることが保証されるので，単純に辞書マッチしなかったという従来の擬似負例よりもより負例として正しいことが期待される. また負例クラスを利用することで Distant Supervision NER モデルが本来の負例に対して過剩な固有表現の予測を行うという，従来の Unlabeled Entity Problem 対策手法の欠点を補うことができると考えられる. 例えば先の例であれば，Distant Supervision NER モデルが本来 Chemical であるスパンに対して, Disease or Syndrome とラベル付けすることを防ぐことができると期待される.

## 3 手法

## 3.1 擬似データセット構築

擬似データセットを構築する手順を，図 2 亿記述する. (i) シソーラスから $L ， L_{n e g}$ の各カテゴリの用語リストを構築する。例えば，UMLS は固有表現のカテゴリを階層構造で定義しており，階層を推移的に利用することで各カテゴリの用語リストを容易に得ることができる。また，用語のリストに対し， inflector ${ }^{4}$ という python ライブラリを用いて, 用語リスト上の各用語の複数形・単数形を追加する. (ii) $L ， L_{n e g}$ の用語リストを用いて, 用語からカテゴリへの対応付け (用語集) $g, g^{\prime}$ を計算する. ただし，複数のクラスに含まれる曖昧な用語がある ${ }^{5)}$.このような曖昧な用語を用語集から削除することで，エ

4) https://github.com/ixmatus/inflector

5）例えば，AAA は Abdominal Aortic Aneurysms という病名の頭文字であると同時に, APP gene という遺伝子名の別名でもある。
ラー伝搬を低減する. (iii) ラベルの付与されていないコーパスに対して Noun Phrase (NP) Chunker を適用し，擬似アノテーションの対象となる候補スパンを獲得する。(iv) (ii) の用語集 $g ， g^{\prime}$ と (iii) の候補 NPチャンクとの間に文字列マッチアルゴリズムを適用し，対象の NP チャンクの末尾部分文字列に基づいて分類する. 文字の大小で異なる用語が存在する場合は大文字と小文字を区別して NP チャンクを分類し，そうでない場合は区別せずに分類する。

## 3.2 スパン分類モデル

本研究では BERT による符号化を利用した簡素なスパン分類モデルを利用しており， $n$ トー クンからなる文 $X=\left.\{w_{j} \in V\right.\}_{j=1}^{n}$ の候補スパン $(s, e) \in[0 . . n-1] \times[1 . . n]$ をラベル集合: $\left.L \cup\left.\{“ O^{\prime \prime}\right.\}^{6}\right)$ に分類する.

まず，BERT の最終隠れ層： $v=\left.\{v_{j}\right.\}_{j=1}^{n}$ を利用し入力文を符号化する7).この符号化べクトルに対し Dropout を適用した: $\tilde{v}=\operatorname{Dropout}(v)$. Dropout の後で，スパンの開始位置と終了位置のベクトルを連結したスパン表現を分類した: $\hat{y}=\operatorname{Softmax}\left(W^{T}\left(\tilde{v}_{s} \oplus \tilde{v}_{e}\right)+b\right)$. この予測確率に対し交差エントロピーを利用して学習を行った. ただ ᄂ， $\mathrm{Li}$ ら [5] と同様に擬似ラベルが O である，つまりいかなる用語集の用語にもマッチしなかったスパンに対して，そのロスを事前に定義された確率で無視することで擬似負例のノイズを軽減する。

## 3.3 前処理 - 後処理

前処理として，NER データセットをスパン分類データセットに変換する．長さがあらかじめ定義された最大長より小さいスパンを列挙し，ラベルを付ける．NER データセットでラベル付けされているスパンにはそのラベルを付与し，そうでないスパンには $\mathrm{O}$ ラベルを付与する。

後処理として，予測時にスパンの分類スコアをスパン重複のない NER 出力に変換する. 具体的には，学習したモデルによって予測される最尤確率の高い順に，貪欲に列挙されたスパンを埋めていく．ただし，最大尤度のラベルが O であったり $L_{n e g}$ に含まれるスパンは予測に利用しない。
 \cup\{“ O "\}$ である.

7）トークンの最後に位置するサブワードのベクトルをトークンの表現として利用した。
}

Chunker Match $\quad 29.8116 .7821 .4762 .0036 .2245 .73$

Span Classif. w/ N.U. 24.1922 .9423 .5451 .7051 .2551 .47 +Thesaurus Negatives 24.0423 .3523 .6952 .6053 .6453 .12

表 1 MedMentions で指定された 21 クラスを選択したときの NER スコア: Strict はスパン完全一致，Lenient はスパン部分一致で評価.

## 4 実験設定

1 節で述べたような「ユーザにシソーラスから興味のあるクラスを選択してもらう」状況を模倣した実験を行う．本論文では，シソーラスとして UMLS (2021AA 版) [9]を，DS NER の評価には MedMentions コーパス [10]を利用する. UMLS は生物医学分野のシソーラスで, 127 のクラス (Semantic Types) と 16,132,274 の用語を持つ. MedMentions は, 4,392 の生物医学論文抄録に 352,496 のスパンが UMLS の概念に対応付けられるようにアノテーションされている Entity Linking/NER 用のコーパスである. train/dev/test の文書数はそれぞれ2,635/878/879 である. train 部分のデータセットは Distant Supervision の擬似アノテーションの対象として, dev/test の分割は正解アノテーションまま利用する．ただし，評価時にユーザが興味のあるクラスのみを対象とするため，ユーザが興味のない (と実験上仮定する)クラスは dev/test データから除外している。

## 5 結果

表 1 の実験では MedMentions [10] が指定する 21 のクラスをユーザーが UMLS から選択したと仮定し評価を行った ${ }^{8)}$. 具体的には Strict/Lenient NER P./R./F. を文字列マッチ，Distant Supervision のベースライン, 提案法で比較した. Strict/Lenient NER P./R./F. は，スパン完全一致 (Strict) またはスパン部分一致 (Lenient) のどちらかで計算された Precision/Recall/F1 スコアである. Chunker Match の行は，擬似データセット構築に利用した NP chunker を利用した文字列マッチ手法のスコアを示している. Span Classif. w/ N.U.の行は, Li ら [5] のように擬似負例をアンダー サンプリングすることで Unlabeled Entity Problem に対処したスパン分類モデルにおけるスコアを示す.

また, +Thesaurus Negativesの行は, Span Classif. w/ N.U. に追加してシソーラスに基づいたより信頼できる負例 ${ }^{9}$ を利用した場合のスコアを示している。

Baseline モデル (Span Classif.) を文字列マッチ手法と比べた時 Recall が向上していることがわかる.これは擬似負例のアンダーサンプリングにより，擬似負例のスパンに対して正のラベルを予測できているためであると考えられる。提案手法は，ベースラインと比較して，Strict 設定では F1 の差が小さく，Precision が若干低下するが， Lenient 設定では Precision, Recall ともに向上することが示された. Distant Supervsion によるアノテーションでは，表 1 の Chunker Match の行にあるように，完全なスパン一致を得ることは非常に困難である. したがって， Lenient 設定に着目すると、この結果はシソーラスを用いた負例カテゴリの利用の有効性を示していると言える。

## 6 結論

本論文においてユーザーがシソーラスから選択した固有表現を認識するフレームワークを示した。本研究では私達は擬似正例だけでなく, 擬似負例に着目し，より負例として信用でき，難しい擬似負例の重要性を明らかにした。また本害験は関心のある固有表現だけではなく，それらの固有表現と排他的なカテゴリ活用の重要性を明らかにした。

今後の課題としては，より具体的で粒度の細かい固有表現を取得したり DBPedia [11]のような巨大シソーラスで見られるシソーラスのノイズに対応するなどが考えられる。また，Mention レベルと Entity レベルの間にはスパン情報の大きな違いがあり、文字列マッチのみでは限界がある。そのため，少量のアノテーションを組み合わせていくのことも有用だと考えられる $[12,13]$.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けたものである.

9）シソーラスを利用した擬似負例の信用性の改善は実際に碓認された (付録 $\mathrm{A}$ ).

## 参考文献

[1] Mahboob Alam Khalid, Valentin Jijkoun, and Maarten de Rijke. The impact of named entity normalization on information retrieval for question answering. In Advances in Information Retrieval, pp. 705-710. Springer Berlin Heidelberg, 2008.

[2] Tianyi Liu, Xinsong Zhang, Wanhao Zhou, and Weijia Jia. Neural relation extraction via Inner-Sentence noise reduction and transfer learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2204, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Yaming Sun, Lei Lin, Duyu Tang, Nan Yang, Z Ji, and Xiaolong Wang. Modeling mention, context and entity with neural networks for entity disambiguation. IJCAI, 2015.

[4] Kevin Bowden, Jiaqi Wu, Shereen Oraby, Amita Misra, and Marilyn Walker. SlugNERDS: A named entity recognition tool for open domain dialogue systems. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[5] Yangming Li, Lemao Liu, and Shuming Shi. Empirical analysis of unlabeled entity problem in named entity recognition. September 2020.

[6] Zhanming Jie, Pengjun Xie, Wei Lu, Ruixue Ding, and Linlin Li. Better modeling of incomplete annotations for named entity recognition. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 729-734, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, and Chao Zhang. BOND: BERT-Assisted Open-Domain named entity recognition with distant supervision. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1054-1064, New York, NY, USA, August 2020. Association for Computing Machinery.

[8] Minlong Peng, Xiaoyu Xing, Qi Zhang, Jinlan Fu, and Xuanjing Huang. Distantly supervised named entity recognition using Positive-Unlabeled learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2409-2419, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Olivier Bodenreider. The unified medical language system (UMLS): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database issue, pp. D267-270, January 2004.

[10] Sunil Mohan and Donghui Li. MedMentions: A large biomedical corpus annotated with UMLS concepts. p. 13, 2018.

[11] Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick Van Kleef, Sören Auer, and Others. Dbpedia-a large-scale, multilingual knowledge base extracted from wikipedia. Semantic web, Vol. 6, No. 2, pp. 167-195, 2015.

[12] Lukas Lange, Michael A Hedderich, and Dietrich Klakow. Feature-dependent confusion matrices for low-resource NER labeling with noisy labels. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), Stroudsburg, PA, USA, 2019. Association for Computational Linguistics.

[13] Haoming Jiang, Danqing Zhang, Tianyu Cao, Bing Yin, and Tuo Zhao. Named entity recognition with small strongly labeled and large weakly labeled data. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), Stroudsburg, PA, USA, 2021. Association for Computational Linguistics.

図 3 教師あり設定との比較: 提案手法とデータセット量を変えたときの教師ありモデルに対する完全マッチ (Strict) と部分マッチ (Lenient) に基づくNER F1 スコア

表 2 カテゴリを一つずつ選んだときの Lenient P./R./F.: それぞれの行は文字列マッチ，Distant Supervision におけるべー スライン，提案手法を示す (表 1 と同様). 列はそれぞれの UMLS カテゴリ (T***)を関心のあるカテゴリとして選択したときの lenient NER P./R./F. スコアを示す.

## A 追加実験

MedMentions [10] で指定された 21 クラスを着目クラスとして選択した際の追加実験として，擬似負例の負例としての正しさを Negative NP P./R. で確認した. Negative NP P./R. とは Gold で固有表現とアノテーションされていない $\mathrm{NP}^{10)}$ を負例の正解としたとき，作成された擬似負例がこれに一致する割合としての Precision/Recall である. 辞書マッチしなかった NP スパンの擬似負例としての Negative NP P./R. は 58.00/59.57 となった。一方でシソーラスに基づいた負例カテゴリを用いた擬似負例の Negative NP P./R. は 78.25/29.91 となった. 我々の提案したシソーラスに基づく擬似負例は Negative NP Recall では劣るが，Negative NP Precision では改善している.

このことから確かに，我々のシソーラスに基づく擬似負例はより信頼性の高いものになっているといえる. 更にシソー ラスを利用した擬似負例は NP Chunker を利用しているので句や NP になっていない，明らかに固有表現でない擬似負例を含まない. 負例として信頼性が高くより識別が難しい擬似負例が，表 1 でみられた精度改善をもたらしていると考えられる

また，図 3 における実験では，教師ありデータ量を変化させて教師ありモデルの精度を確認し，擬似負例のアンダーサンプリングとシソーラスに基づいた擬似負例を用いた提案のスパン分類モデルと比較した. その結果，完全教師ありの設定と比較して, Lenient $\mathrm{f} 1$ では $20 \%$ 近くスコアが減少した. しかし, 提案手法では，800～900 文の人手アノテーションと同等の Lenient f1 が得られることが分かった．また，Strict f1 では，完全教師ありモデルとの間で $48 \%$ 近い差が生じた. この結果は，Distant Supervsion モデルでは，スパン範囲を正確に捉えることが困難であることを示唆している．この困難は Entity レベルと Mention レベルの間の違いに原因があると考えられる。例えば，“water” が化学物質として登録されていて，擬似アノテーションの対象文に “purified water”があった場合，“water”までを取るべきか “purified water”までを取るのが良いのかが分からないというような困難である。このような Mention と Entity の間の違いに対処するには少量のアノテーションを組み合わせることも必要だと考えられる.

表 2 は，シソーラス上の 10 個の概念から 1 つずつ着目する概念を選択しDistant Supervision を行った際の， lenient P./R./F. の比較を行ったものである. 擬似負例のアンダーサンプリングだけのベースラインでは，Precision を犠牲に Recall を増加させている. しかし，Unlabeled Entity に対して固有表現ラべルを予測するため，過剩に固有表現を予測しやすく，f1 スコアが低下することが多い。擬似負例のアンダーサンプリングだけのべースラインと比較すると，シソーラスに基づいた擬似負例を利用したモデルはより頑健であり，T062を除いた全てで $\mathrm{f1}$ を向上させることができた. しかし，T022，T033， T037，T058，T062では，Recallが文字列マッチの水準よりも低下している。その結果，T022，T037，T062 の f1 スコアが減少した。これは負例クラスの追加により, Unlabeled Entity に対する固有表現のラベル予測が過剰に妨げられているためだと考えられる。

10）より正確には，固有表現と NP のスパンが完全一致するとは限らないため，固有表現と部分一致しないNPを評価対象にした.


# Pre-trained Transformer による 引用文脈を考慮した引用ネットワーク埋め込み

大萩雅也 ${ }^{1}$ 相澤彰子 ${ }^{2,1}$
1 東京大学大学院 2 国立情報学研究所
ohagi-masaya999@g.ecc.u-tokyo.ac.jp aizawa@nii.ac.jp

## 概要

論文間の引用関係を表した引用ネットワークをべクトル空間に投影することで得られる論文の埋め込みは論文推薦や論文分類など研究支援に関する様々なタスクに役立てることができる。この埋め込みに関する研究は多くあるが、引用関係に付随する引用の目的を取り込んだ埋め込みに焦点を当てた研究は多くない。そこで我々は、論文を引用する際に記述される文章である引用文脈を引用の目的の情報源であると捉える。そして Pre-trained モデルの一種である SciBERT を、被引用論文を引用元論文と引用文脈から予測するタスクで訓練することで引用文脈を捉えた引用ネットワーク埋め込みを作るモデルを作成する。実験を通して提案手法は引用論文推薦、論文分類上で既存手法を超える性能を示した。

## 1 はじめに

論文を引用するという行為は、その分野における研究の進展、そしてその中に自分の研究をどう位置づけるかを示すという点において論文執筆の際には不可欠なものである。そして論文間の引用関係はこの世に存在する数多くの論文の間にどのような関係性が存在するかを突き止めるための鍵の一つとなっており、それぞれの論文をノード、論文間の引用関係をエッジと捉えた時それらは引用ネットワークと呼ばれるグラフを構成する。さらにこのグラフをべクトル空間に投射することで得られたそれぞれの論文の埋め込みは論文推薦 [1]、論文の可視化 [2]、もしくは論文の分類 [3] など研究活動を支援するための様々なタスクに役立てることができる。

このべクトル空間への投射は引用ネットワーク埋め込みと呼ばれ数多くの先行研究 [4] が存在するが、どのような目的である論文が別の論文を引用しているかに注目した研究は数少ない。引用とは常に肯定的なものではなく、時には過去の研究に対する批判を目的として行われるものであり、さらに、 ACL-ARC [5] データセットでは引用の目的を 6 種類に分類しているように単純な肯定/否定で捉えられるものでもない。これらの引用目的を考える上で重要となるのが引用文脈である。

引用を行う際に引用記号 ([5] など) とともに記述される文章である引用文脈は引用の目的を特定する上で重要な役割を果たしており [6]、その引用文脈をエッジの特徴として論文埋め込みに取り込んだ引用ネットワーク埋め込みは多様な引用の目的を取り入れたものとしてより正確に論文間の関係を捉えることが期待される。しかしながらその重要性、応用可能性にもかかわらず十分な数の既存研究が存在するとは言いがたい。

以上に基づき、我々は本研究で Pre-trained Transformerを活用した新たなモデルを提案する。我々は引用元論文とその論文内の引用文脈から被引用論文を予測させる Masked Paper Prediction(MPP) 夕スクを提案し、そのタスクを用いて SciBERT [7]を fine-tune することで引用文脈を考慮した引用ネットワーク埋め込みを作成した。さらに損失関数として、特定の引用文脈による被引用論文だけでなく引用関係にあるその他の近隣ノードにも注意を配る Structure-Aware Cross-Entropy Loss を提案する。

実験の結果、我々の手法は二つの引用ネットワー ク上での引用論文推薦と論文分類において (1) 引用文脈を考慮した引用ネットワーク埋め込みの先行研究である hyperdoc2vec [8] を超える性能を示し、(2)引用文脈を考慮しない引用ネットワーク埋め込みの state-of-the-art である RotatE [9] と匹敵する性能を出した。我々の手法は引用ネットワークだけでなくレビューサイトでの user2item のグラフ [10] などエッジに文章情報を持つその他のグラフへの応用可能性が期待される。

## 2 提案手法

## 2.1 引用文脈を考慮した引用ネットワーク

我々が対象とする引用ネットワークは \{引用元論文, 引用文脈, 被引用論文\} のトリプルの集合として捉えられる。それぞれの論文はネットワーク内の論文の集合 $V$ に属し、論文間の引用関係は引用文脈という文章情報を特徴にもつ、論文ノード間のエッジとして捉えられる。本研究の目標はこの引用ネットワークのグラフ構造と、エッジの特徴としての引用文脈を捉えた論文埋め込みを作り出すことである。

## 2.2 既存手法: hyperdoc2vec

引用文脈を考慮した引用ネットワーク埋め込みの代表的な既存手法としては word2vec [11]を応用した hyperdoc2vec [8] が挙げられる。この手法は後続の研究 [12] にとってもその基礎となる重要なものであるが、この手法には (1) 4.1 節での RotatE との比較からわかるようにグラフ構造を捉える力が弱く、そして (2) ネットワーク埋め込みのコーパスのみを訓練に用いているため大規模コーパスを用いて事前学習したモデルに比べて言語知識や学術知識に乏しいという 2 つの問題点が存在する。

## 2.3 提案手法

既存手法の問題を解決するために、Transformer [13] を用いナレッジグラフ埋め込みで高い性能を上げた CoKE Model [14]を参考に、これを引用文脈を考慮するように拡張した新たな手法を提案する。提案手法は学術論文上で事前学習された SciBERTを Masked Paper Prediction という我々の提案タスクで訓練することで引用ネットワークのグラフ構造と引用文脈の両方を学習することを目的とする。

Masked Paper Prediction は引用元論文と引用文脈から被引用論文を予測するタスクであり、概略を図 1 に示す。具体的な手順としては、引用ネットワーク内のそれぞれのトリプル \{引用元論文, 引用文脈, 被引用論文\}に対し、我々はまず引用文脈をトークナイズする。そして引用文脈内の引用記号の部分 ([1] や(Devil et al. 2019) など)をマスクトークンで置き換え、そのトークン列と引用元論文 id を連結したものをSciBERT に入力する。そして SciBERT から出力された埋め込み列のうち、マスクされたトークンの場所に相当する位置の出力を linear 層に入力するこ

図 1 提案手法の概略

とで被引用論文を予測する。さらに、正解ラベルとの間の損失を用いてモデル全体を訓練することで、 それぞれのトリプル内の関係をモデルに学習させていく。損失関数には Cross-Entropy Loss、もしくは我々が新しく提案した Structure-Aware Cross-Entropy Loss を使用する。

CoKE Model はネットワークのグラフ構造を捉える能力があることが [14] で示されており、我々の手法はその点で hyperdoc $2 \mathrm{vec}$ のグラフ構造に対する弱さを補うことが期待される。さらに、SciBERT の学術論文に対する専門知識と言語知識を活用することで引用文脈のより良い埋め込みが期待される。

## 2.4 損失関数

我々のモデルで用いられる損失関数は CrossEntropy loss (CE) と新たに提案する Structure-Aware Cross-Entropy Loss (SACE) の 2 種類である。まず通常の $\mathrm{CE}$ は以下の数式で定義される。

$
\begin{aligned}
& \operatorname{loss}\left(x, d_{\text {cited }}\right)=-\log \left(\frac{\exp \left(x\left[d_{\text {cited }}\right]\right)}{\sum_{j} \exp (x[j])}\right) \\
& =-x\left[d_{\text {cited }}\right]+\log \left(\sum_{j} \exp (x[j])\right)
\end{aligned}
$

$\mathrm{CE}$ はある論文 $\mathrm{A}$ が特定の引用文脈で引用している論文 B とそれ以外の論文を区別することができるが、論文 B 以外の論文 $\mathrm{A}$ と引用関係にある論文 $\mathrm{C}, \mathrm{D}$ も完全な誤りと見なしてしまう。しかしながら我々の手法は引用ネットワークのグラフ構造を学習することが目的の一つであるため、隣接する論文に報酬を与えることはその学習に有用であると考えられる。hyperdoc2vec をべースとして Structure-Aware な引用論文推薦を提案した [12] は入力に隣接する論文を付け加えることでこれを達成したが、我々は損失関数で実現することを目的として以下の数式からなる SACE を提案する。 $d_{\text {citing }}$ は引用元論文、 $d_{\text {cited }}$ は被引用論文、 $N\left(d_{\text {citing }}\right)$ は引用元論文の隣接論文を表し、 $\gamma$ は被引用論文と隣接論文のどちら

を重視するかのハイパーパラメータである。なお、 $N\left(d_{\text {citing }}\right)=1$ の時は通常の Cross-Entropy Loss を用いた。今回の実験では $\gamma=0.8$ とした。

$
\begin{aligned}
& \operatorname{loss}\left(x, d_{\text {cited }}\right)=-\gamma \log \left(\frac{\exp \left(x\left[d_{\text {cited }}\right]\right)}{\sum_{k} \exp (x[k])}\right) \\
& -\frac{(1-\gamma)}{\left|N\left(d_{\text {citing }}\right)\right|-1} \sum_{j \in\left(N\left(d_{\text {citing }}\right) / d_{\text {cited }}\right)} \log \frac{\exp (x[j])}{\sum_{k} \exp (x[k])}
\end{aligned}
$

## 3 実験

## 3.1 評価タスク

本研究では二つの評価タスクを用いた。一つ目は引用元論文と引用文脈から被引用論文を予測する引用論文推薦であり、提案手法の訓練タスクである Masked Paper Prediction と類似のタスクである。このタスクで我々はモデルが引用ネットワーク内のトリプルを正確に捉えられているかを評価する。二つ目はそれぞれの論文が扱っているタスク (機械翻訳、要約等) を引用ネットワークを用いて予測する論文分類である。このタスクはノードの埋め込みがネットワークのグラフ構造をどれほど捉えられているかを評価するために従来研究で用いられており $[15,4]$ 、それぞれの埋め込みがどれほどグラフ構造を捉えられているかを評価する。

## 3.2 データセット

実験では二つの引用ネットワークを用いた。まず一つ目は FullTextPeerRead[16] と呼ばれる、ACL, ICLR, NIPS 上のネットワークであり、二つ目は ACL Anthology Sentence Corpus  と呼ばれる、ACL 上のコーパスから我々が作成したネットワークである。Appendix にそれぞれのデータセットの詳細を載せる。簡潔にいうと、AASC の方が FullTextPeerRead よりサイズが大きく、またネットワークの凝集度を表す Clustering Coefficiency が AASC は 0.135 であるのに対して FullTextPeerRead は 0.149 であることから後者の方がグラフ構造を活かした推論がしやすいと言える。それぞれのネットワークは訓練データ、評価データに分割され、訓練データを引用ネットワーク埋め込みの作成に、評価データを引用論文推薦タスクの評価に用いた。さらに、論文分類タスクのデータセットの作成にはそれぞれの論文が取り組んでいるタスクを抽出する必要があり、AASC のアノテーションに
は NLP-TDMS [17] 内で定義されている主要な NLP タスクのリスト、FullTextPeerRead のアノテーションには paperswithcode 内の機械学習のタスクのリストを用いて論文のタイトルとアブストラクトから文字列一致でタスクを抽出した。

## 3.3 ベースライン

ベースラインとしては、hyperdoc2vec と RotatE[9] の 2 つの手法を用いた。前者は 2.2 節で紹介した、引用文脈を考慮した引用ネットワーク埋め込みの既存手法である。後者はは複素数空間上のベクトルとしてノードを、空間上の回転としてエッジを表現する手法であり、引用文脈を考慮しない引用関係の有無のみを含む引用ネットワークの埋め込みを作成するために用いた。我々は RotatE とその他の手法の比較によって引用文脈を特徵として用いることが埋め込みの性能向上につながるかどうかを検証する。

## 3.4 実験設定

提案手法においては、バッチサイズを 16 、学習率を 5e-5 に設定した上で、5 エポックの訓練を行った。論文埋め込みはランダムに初期化したものを用いた。引用文脈の長さとしては、引用記号が含まれる文章とその前後一文を抜き出した上で、トークナイズした際のサブワードが引用記号の前後それぞれ 125 トークンに収まるように文章を切り出した。 ベースラインの実験設定はそれぞれの論文に従った。また、論文分類タスクに関しては先行研究 [8] に従いそれぞれのモデルから論文の埋め込みを取り出した上で、SVMを用いて訓練、評価を行った。

## 4 結果

## 4.1 実験結果

表 1,2 に示す通り、提案手法は hyperdoc2vec に比べて両タスク、両データセットにて高い性能を出しておりその有用性が確認できる。特に引用論文推薦における性能の向上は顕著であり、SciBERT を用いたことによって我々の手法が二つの論文の間の橋渡しとしての引用文脈をより正確に捉えることができるようになったことがわかる。さらに、論文分類における性能の向上からは提案手法がより正確にグラフ構造を捉えることに成功していることがわかる。

次に、Cross-Entropy Loss (CE) と我々の提案した

Structure-Aware Cross-Entropy Loss (SACE)を比べてみると、引用論文推薦において SACE を用いたモデルは CE を用いたものに比べて FullTextPeerRead では性能が下がっており、AASC では性能が上がっている。これは二つのネットワークの違いに起因すると考えられる。性能向上した AASCでは、3.2 節に書いたように、グラフ構造を活かした推論がしやすく、SACE は引用文脈だけでなく周囲のグラフ構造を意識した訓練を行う損失関数であるためその効果が出たものと考えられる。ただ FullTextPeerRead においてもSACE を活用することによる埋め込みの変化はあるものと思われ、論文分類におけるSACEを用いた提案手法の性能向上はグラフ構造をより意識した訓練方法の有用性を示している。

最後に我々の手法とRotatE を論文分類上で比較すると、FullTextPeerRead では我々の手法がより高い性能を収めており、ここからは引用文脈を考慮することによって論文の埋め込みがより他の論文との関係、そして論文が取り組むタスクに関する情報を捉えることに成功していることが見てとれる。ただ AASC においては RotatE の方がわずかではあるが高い性能を出しており、全ての条件に一貫する有用性まで示すことはできなかった。

表 2 論文分類の結果

## 4.2 Ablation Study

前節の通り、提案手法は既存手法である hyperdoc2vec に対して有意な性能向上を果たしたが、提案手法は既存手法に対して (1) Transformer の活用、 (2) 事前学習の活用という二つの違いが存在し、どちらがより性能向上に貢献したかは定かでない。 よって我々は (1) 事前学習なしの Transformer Model、 (2) 学術知識を持たない Pre-trained Transformer Model
である BERT [18]、(3) SciBERT の 3 つを比較する Ablation Study を行った。引用論文推薦、論文分類における実験結果を表 3、4 に示す。まず BERT base と SciBERT base を比べると、FullTextPeerRead では SciBERT base の方が性能が上がっているものの、 AASC では BERT base のモデルの方が性能が高くなっており、二つのモデルの間にはどちらかが全ての条件において優れていると言えるほどの差は存在しない。よって、提案手法の性能向上は論文に関する学術知識というよりは、言語一般に関する知識によるものであると考えられる。さらに、事前学習をしない場合とその他のモデルを比べてみると、事前学習をしない場合はかなり性能が落ちており、ベースラインである hyperdoc 2 vec にも劣る結果となっている。ここからは、提案手法の性能向上は Transformer Model からだけではなく、それを事前学習による言語知識と組み合わせた際にのみ得られるということが見てとれた。

## 5 おわりに

本論文では Pre-trained Transformerを用いて引用文脈を考慮したネットワーク埋め込みを作成する新たな手法を提案した。この手法は引用論文推薦と論文分類に対して高い性能を発揮し、既存手法に対する優位性を示した。本研究では埋め込みの汎用的な評価を目指して論文分類での評価を行ったが、引用文脈の直接的な有用性に焦点を当てた評価タスクの導入は我々の手法の実用性を示す上で重要な一歩になると考える。さらに、引用ネットワーク以外にエッジに文章情報を特徵として持つネットワークにその適用範囲を広げることも重要な指針の一つである。

## 参考文献

[1] Chanathip Pornprasit, Xin Liu, Natthawut Kertkeidkachorn, Kyoung-Sook Kim, Thanapon Noraset, and Suppawong Tuarob. ConvCN: A CNN-Based Citation Network Embedding Algorithm towards Citation Recommendation, p. 433-436. Association for Computing Machinery, New York, NY, USA, 2020.

[2] Han Tian and Hankz Hankui Zhuo. Paper2vec: Citationcontext based document distributed representation for scholar recommendation. CoRR, Vol. abs/1703.06587, , 2017.

[3] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph attention networks. In International Conference on Learning Representations, 2018.

[4] Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and Philip S. Yu. A comprehensive survey on graph neural networks. IEEE Transactions on Neural Networks and Learning Systems, Vol. 32, No. 1, p. 4-24, Jan 2021.

[5] David Jurgens, Srijan Kumar, Raine Hoover, Dan McFarland, and Dan Jurafsky. Measuring the evolution of a scientific field through citation frames. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 391-406, 2018.

[6] Simone Teufel, Advaith Siddharthan, and Dan Tidhar. Automatic classification of citation function. In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, EMNLP' 06 , p. 103-110, USA, 2006. Association for Computational Linguistics.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 23842394, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[9] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. In International Conference on Learning Representations, 2019.

[10] Lu Lin and Hongning Wang. Graph attention networks over edge content-based channels. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, pp. 1819-1827, 2020.

[11] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representa- tions, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[12] Yang Zhang and Qiang Ma. Doccit2vec: Citation recommendation via embedding of content and structural contexts. IEEE Access, Vol. 8, pp. 115865-115875, 2020.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[14] Quan Wang, Pingping Huang, Haifeng Wang, Songtai Dai, Wenbin Jiang, Jing Liu, Yajuan Lyu, Yong Zhu, and Hua Wu. Coke: Contextualized knowledge graph embedding. arXiv preprint arXiv:1911.02168, 2019.

[15] Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. Deepwalk: Online learning of social representations. In Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '14, pp. 701-710, New York, NY, USA, 2014. ACM.

[16] Chanwoo Jeong, Sion Jang, Hyuna Shin, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks, 2019.

[17] Yufang Hou, Charles Jochim, Martin Gleize, Francesca Bonin, and Debasis Ganguly. Identification of Tasks, Datasets, Evaluation Metrics, and Numeric Scores for Scientific Leaderboards Construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5203-5213, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 提案手法における入力埋め込み

本節では提案手法における入力埋め込みの作成方法をモデルに関する詳細として説明する。我々がベースとしている SciBERT の入力埋め込みはトー クン埋め込み、位置埋め込み、セグメント埋め込みの合計によって構成されるが、提案手法の入力埋め込みはトークン埋め込み、位置埋め込み、トークンタイプ埋め込みの 3 つの埋め込みの合計によって構成される。トークン埋め込みは引用文脈内の単語埋め込み、もしくはネットワーク内の論文埋め込みに対応するものであり、大力の際にトークンの埋め込みの辞書として機能する。単語埋め込みに関しては SciBERT のそれを流用し、論文埋め込みに関してはランダムに初期化したものを用いた。位置埋め込みはトークンの位置を表すためのものであり、これも SciBERT のものを流用した。最後に、トークンタイプ埋め込みは単語埋め込みと論文埋め込みを区別するためのものでありそのトークンが単語の場合はトークンタイプ 0 に対応する埋め込みが、論文の場合はトークンタイプ 1 に対応する埋め込みが足し合わされる。この埋め込みもまたランダムに初期化したものを用いた。

## B 論文分類における論文埋め込み

本節では実験における論文分類の詳細設定としてそれぞれのモデルに対する論文埋め込みの抽出方法を説明する。まず既存研究である hyperdoc2vec に関して説明すると、hyperdoc $2 \mathrm{vec}$ には IN vector と OUT vector と呼ばれる 2 種類の論文埋め込みが存在し、今回は実験による検討の結果、それぞれの論文に対応する OUT vectorを論文埋め込みとして用いた。また、ベースラインとして用いた RotatE は静的な論文埋め込みを訓練する手法であり、その埋め込みを用いた。最後に我々の提案手法における抽出方法を説明する。提案手法は SciBERT をべースとしており、例えば入力に用いるトークン埋め込みを論文埋め込みとして用いることは可能であるが今回は複数の手法を検討した結果以下の工程を用いて埋め込みを取得することとした。ここで埋め込みを抽出したい論文を論文 $\mathrm{A}$ とすると、まず我々は埋め込みの訓練に用いたデータから論文 $\mathrm{A}$ を被引用論文とするデータ (そのようなデータがない場合は論文 $\mathrm{A}$ が引用元論文であるデータ)を集める。そしてそれぞれのデー タを訓練である Masked Paper Prediction と同様の変換方法を用いて入力系列としたのちに SciBERT に入力する。そして SciBERT から出力された埋め込みのうち入力系列内の論文 $\mathrm{A}$ に対応する位置の出力埋め込みの平均を全てのデータに対して取ることでこれを論文 $\mathrm{A}$ の埋め込みとしてみなした。

## C データセット間の比較

表 5 に今回我々が用いた 2 つの引用ネットワークの詳細が記載されている。まずAASCが ACL の論文のみで構成されているのに対し、FullTextPeerRead(以下 FTPR) は ACL だけでなくICLR,NIPS の論文も含んでおり、機械学習全般の論文をターゲットとしている。ノード数、エッジ数からは FTPR の方が AASC よりサイズが小さいことがわかるが、連結成分の数からは FTPR がより分離されたネットワークであることがわかる。平均最短経路長 (今回は連結なノード間でのみ計測した) は AASC の方が FTPR より長く、さらにネットワークの凝集度を表すクラスタリング係数は AASC の方が高い。ここからは AASC が FTPR に比べてノード間の距離が近く、そしてネットワークにおける関係性の密度が高く凝集性が高いということが見て取れる。ネットワーク上

係があるならノード A、C の間にも関係が成り立ちやすいという特性を活かしたものであり、AASC はこの特性が強いためネットワーク構造を用いた推論を行いやすいデータセットであると考えられる。

表 5 ネットワーク分析の指標によるデータセットの比較

## D 謝辞

本研究の一部は JST CREST JPMJCR1513 の支援を受けたものである。