# 近傍知識グラフからの埋め込みを統合利用する 文書からの遠距離教師あり関係抽出

松原拓磨 三輪誠 佐々木裕
豊田工業大学
\{sd19082, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

データベースから入力文書に出現する用語の近傍を含む近傍知識グラフを動的に構築し，その近傍知識グラフから獲得した用語の表現を入力文書に統合して利用する，新たな文書からの遠距離教師あり関係抽出モデルを提案する。提案手法により，遠距離教師あり関係抽出において作成したラベル付きテキストの言語情報のみを用いており，データベースに登録されている他の用語や関係に関する豊富な情報を活用できていない，という問題の解消を目指す.実験では薬物・疾患・遺伝子間の文書単位関係抽出データセットである ChemDisGene データセットにおいて，提案手法における用語の表現の統合による顕著な性能向上を確認した。

## 1 はじめに

様々な分野において，エンティティ間の新たな関係を報告する文書は日及爆発的に増え続けており，人手での分野データベースへの登録・整備が追いついていない. そのため, 文書からの関係の自動抽出が求められており，その高い性能から機械学習を用いた手法が主流となっている。 しかし，機械学習では大量のラベル付きデータを必要とするため，ラべル付けにコストがかかる.

このコストの削減のために，Mintz ら [1] は既存のデータベースを用いてラベルなしコーパスに機械的にラベル付けをした遠距離教師データを利用する遠距離教師あり関係抽出を提案した. 遠距離教師データは，人手でラベル付けされたコーパスとは異なり，データベースに登録されている用語間の関係をもとにラベル付けをするため，データベースに直接結び付けられたラベル付きコーパスである. しかし，既存の遠距離教師あり関係抽出ではコーパスのみを用いており，データベースに登録されている用語の性質などの他の豊富な情報を利用できていない.

そこで，本研究では，データベースに登録されている情報の関係抽出への活用を目指す。このために，データベース内の入力文書の全用語近傍の情報を近傍知識グラフとして動的に構築し，遠距離教師データに統合利用する新規の文書からの遠距離教師あり関係抽出モデルを提案する。近傍知識グラフを動的に構築することで，遠距離教師あり学習における対象用語ペア間の教師ラベルをデータベースの情報から選択的に排除できるとともに，用語ペアごとに参照するデータベース内の情報の量を抑えることができる．本研究の貢献は次の通りである。

・入力文書の全用語近傍のデータベースの情報を表現する近傍知識グラフの動的構築に基づく,遠距離教師あり関係抽出のための用語の埋め込み表現の獲得手法を提案

・近傍知識グラフから獲得した用語の表現を入力文書に統合し，利用する遠距離教師あり関係抽出モデルを提案

・文書単位遠距離教師あり関係抽出データセットである ChemDisGene[2] で，用語の表現を追加することでの性能向上を確認

## 2 関連研究

## 2.1 遠距離教師あり関係抽出

遠距離教師あり関係抽出は Mintz ら [1] により提案され，人手でラベル付けされた教師データを必要としない関係抽出モデルの学習方法である。遠距離教師データはデータベースと大量のラベルなしコー パスを用いて作成される。ラベルなしコーパスで共起した 2 つの用語に対して，データベースで 2 つの用語間に関係が登録されているときに，2つの用語間に関係をラベル付けする。

図 1 提案手法の概要. 具体例として ChemDisGene [2] のデータを利用.

Zhang ら [2] は遠距離教師あり関係抽出データセットである ChemDisGeneを提案し，テキストベー スの関係抽出モデルの評価を行った. ChemDisGene は生物医学文献データベース Medline [3] に登録されている文献の題目・要旨に CTD (Comparative Toxicogenomics Database) [4] に登録されている薬物・疾患・遺伝子間の相互作用を割り当てた文書単位での遠距離教師あり関係抽出データセットである. 評価のために人手でラベル付けされたテストデータを提供している. CTD は薬物・疾患・遺伝子・突然変異・代謝の相互作用に関する複数のデータベースを統合したデータベースである. PubTator [5] を用いて文献の題目・要旨に対して, 用語のスパンと概念クラスのラベル付けがされている。また，関係抽出モデルは事前学習済みモデル BERT (Bidirectional Encoder Representations from Transformers) [6] を用いて，BERT，最大値プーリング，全結合層の構成としている.

## 2.2 知識グラフの表現学習

知識グラフの各ノードにベクトル表現を与え， ノード間の関係性を学習する手法として，Kipf ら
が提案したグラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [7] が挙げられる. GCN はグラフ構造を表現するグラフニューラルネットワーク (Graph Neural Network; GNN) の 1 種であり，対象ノードの表現に隣接ノードの表現に重みをかけたものを畳み込むことでノード表現の更新を行う。

また，知識グラフを対象に対象ノード近傍で抽出したサブグラフを利用する手法が提案されている.例えば，Zhang らの提案したサブグラフに GNNを適用する SEAL (learning from Subgraphs, Embeddings and Attributes for Link prediction) [8] はリンク予測タスクにおいて高い性能を報告している。しかし, 遠距離教師あり学習において用語の近傍のサブグラフを利用する手法は存在しない。

## 3 提案手法

本節では，本研究で新たに提案する，データベー ス内の入力文書近傍の情報を，入力文書に統合し利用する遠距離教師あり関係抽出手法について説明する. 3.1 節で入力文書の近傍知識グラフ抽出（図 1(1) について説明し，3.2 節で入力文書と近傍知識グラフのベクトル表現の統合利用（図 1-(2) につい

て説明する。

## 3.1 入力文書の近傍知識グラフの埋め込み

データベースに登録されている入力文書の全用語の近傍となるトリプルを抽出する．具体的にはそれぞれの用語について，一定ホップ数以内で繋がるトリプルの集合を抽出する. 次に分類対象となる用語ペアについて, 遠距離教師データの正解ラベルの情報となるぺア間のトリプルを削除した上で，近傍知識グラフとし， GCNで埋め込みを行う。このようにすることで，データベース内の文書全体の用語の周辺情報と関係情報を利用できるとともに，トリプルの集合を文書ごとに一度事前計算することで関係ごとの近傍知識グラフの計算を簡略化できる.

## 3.2 言語情報と近傍知識グラフのベクトル 表現の統合利用

GCN で埋め込んだエンティティに対応するノー ドのベクトル表現をテキストと同時に BERT に入力することで，遠距離教師データの言語表現と近傍知識グラフのベクトル表現を統合利用した関係抽出を行う. 具体的には, BERT の入力テキストの後ろに “[SEP]”トークンを挟み，それぞれのテキスト内の用語に対応するノードのベクトル表現を用語の位置 ID と一致させながら追加する [9]. 以降の関係抽出は既存研究 [2] と同様に行う. 具体的には，まず，対象用語ペアの用語のトークンに対応する BERT の最終層のベクトルを取り出し, 用語ごとに最大值プーリング層を通してそれぞれの用語の表現を得る.その後, 用語の表現を結合し, 全結合層を通して，関係ラベルに分類する. 本手法では文献 [9] とは異なり，用語ペアに対応するエンティティペアの表現を分類に用いず，文献 [10] と同様，用語ペアの表現を分類に用いる.

学習においては，最適化手法に Adam [11]を用い，交差エントロピーを目的関数として, GCN と BERT を同時に学習する。

## 4 実験設定

遠距離教師あり関係抽出データセットとして, ChemDisGene [2] の 78,463 件の医学文献をもとに作成された遠距離教師データ (CTD-derived) のうち, 76,942 件・1,521 件をそれぞれ訓練・開発データ, 523 件の人手でラベル付けされたデータ (Curated)をテストデータとして学習・評価を行った. 評価指標はマイクロ平均 $\mathrm{F}$ 値を用いた. 予測する関係の種類は
14 種類であり，内訳は薬物と疾患の関係 (Chem-Dis) が 2 種類，薬物と遺伝子の関係 (Chem-Gene) が 10 種類，遺伝子と疾患の関係 (Gene-Dis) が 2 種類である. ChemDisGene データセットの統計を付録 A の表 4 に示す.

また，近傍知識グラフのエンティティには CTD の薬物・疾患・遺伝子を用いた。近傍知識グラフには，入力文書に出現する用語に対応するエンティティからそれぞれ 2 ホップ先のノードを含んだものを用いた. 100 個以上のエッジを持つノードについてはランダムに 100 個のエッジに制限した．CTDのデータの統計を付録 A の表 5 に示す.

ベースラインモデルは提案モデルから近傍知識グラフの情報を除いた既存研究 [2] と同じモデルである. 文献 [2] に従い，BERTには，データセットと近いドメインで事前学習された PubMedBERT [12] を用いた. PubMedBERT の埋め込み次元は 768 次元, テキストの最大長は 512 である. GCN の入力と出カのベクトルはともに 768 次元とし, $\mathrm{GCN}$ は 2 層とした．実験環境の詳細は付録 B に示す.

## 5 結果と考察

Curated テストデータを用いて評価した文献からの薬物・疾患・遺伝子間の関係抽出の性能を表 1 に示す. 提案手法により近傍知識グラフの情報を用いないべースラインから $\mathrm{F}$ 値のマイクロ平均が全体で $1.04 \%$ ポイント向上し，一番上がり幅の大きい Chem-Gene: activity-decreases については $\mathrm{F}$ 值が $6.81 \%$ ポイント向上した. この結果より, 近傍知識グラフを用いることで予測性能が向上しており，背景的な情報を考慮した関係抽出ができていると考えられる。

$
\text { データベースに含まれているトリプル以外の関係 }
$
への影響を調べるために，CTD に登録されていない事例についての予測を確認したところ，テストデー タにおいて, ベースラインでは CTD に登録されていない関係は 1 つも抽出できなかったのに対し，提案手法ではこのような関係を 3 件抽出できていることがわかった。この結果より，CTDの背景的な情報を考慮することで，CTDに登録されていない関係も抽出できるようになったと考えられる．実際に提案手法によって抽出できるようになった表 2 に示す. これらの事例の多くは題目で言及されているものが多かった.

最後に表 3 に, 既存研究 [2] との比較を示す. 提

ベースライン

PubMedBERT

提案手法

PubMedBERT+近傍知識グラフ

Curated テストデータでの既存研究 [2] との比較

案手法は PubMedBERT+BRAN に比べて平均は若干低い $\mathrm{F}$ 值となったがほぼ同等の性能となっており，本提案手法は PubMedBERT+BRAN にも導入が可能であることを考えると，良好な結果を得られていると言える。

## 6 おわりに

本研究では，データベースに登録されている豊富な情報の有効利用を目的として，入力文書周辺の近傍知識グラフの表現を遠距離教師データに統合利用する遠距離教師あり関係抽出モデルを提案した。提案した手法を ChemDisGene データセットで学習・評価を行った結果，近傍知識グラフの表現を追加することでマイクロ $\mathrm{F}$ 值が $1.04 \%$ ポイント向上し，最先端モデルとほぼ同等の性能を達成した. また，提案手法ではテキスト情報だけでのモデルでは抽出ができなかった，データベースに登録されていない関係を抽出することができていることを確認した。

今後は，最先端モデルへの本手法の適用を行うとともに，抽出結果をデータベースからのトリプルに追加し，再びモデルを学習するなど，文献内の情報とデータベース内の情報の連携を深め，データベー ス内の情報のさらなる有効利用を目指す。

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[2] Dongxu Zhang, Sunil Mohan, Michaela Torkar, and Andrew McCallum. A distant supervision corpus for extracting biomedical relationships between chemicals, diseases and genes. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1073-1082, Marseille, France, June 2022. European Language Resources Association.

[3] NCBI Resource Coordinators. Database resources of the national center for biotechnology information. Nucleic Acids Res., 12018.

[4] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative toxicogenomics database (ctd): update 2021. Nucleic acids research, Vol. 49, No. D1, pp. D1138-D1143, 2021.

[5] Chih-Hsuan Wei, Alexis Allot, Robert Leaman, and Zhiyong Lu. PubTator central: automated concept annotation for biomedical full text articles. Nucleic Acids Research, Vol. 47, No. W1, pp. W587-W593, 052019.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019

[7] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[8] Muhan Zhang and Yixin Chen. Link prediction based on graph neural networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171-5181. Curran Associates, Inc., 2018.

[9] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[10] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug-drug interaction extraction from the literature. Bioinformatics, Vol. 39, No. 1, 11 2022. btac754.

[11] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations,
2015.

[12] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[13] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[14] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

## A データセットの統計

データセットの統計を表 4 と 5 に示す.

表 4 文書単位の遠距離教師あり関係抽出データセット ChemDisGene. テストのみ人手でタグづけされている.

表 5 本実験で使用したデータベース CTD の統計

## B 実験環境

本実験を行った環境について説明する。 Python [13] のバージョン 3.8.10 と深層学習ライブラリである PyTorch [14] のバージョン 1.9.0を用いて実装し，表 6 に示すハードウェア環境で実験した. 本実験のハイパーパラメータを表 7 に示す. Curated の関係抽出スコア表 1 は遠距離教師データで学習したモデルを 5 個用意し，それぞれのモデルでテストしたスコアの平均と標準偏差を報告した.

表 6 本実験に用いたハードウェア

表 7 本実験におけるハイパーパラメータ


# テキスト情報を用いた表構造の修正

鈴木祥子 ${ }^{1}$ 那須川哲哉 ${ }^{1}$ 吉田一星 ${ }^{1}$ Lihong He $^{2}$
1 日本アイ・ビー・エム株式会社 東京基礎研究所 ${ }^{2}$ IBM Research - Almaden
\{e30126,nasukawa,issei\}@jp.ibm.com lihong.he@ibm.com

## 概要

画像やPDF として保存された文書から表の構造を抽出する試みは多く行われており、特に画像認識モデルを用いた手法の性能が良いことが知られている。しかし、多種多様な表の抽出において、一律に高い抽出性能を出すことは難しい。本論文では、表の性質によらず共通して現れる抽出誤りを修正する、テキスト情報を活用する方法を提案する。多様な形式の表データセットで評価することで、提案手法がロバストに表構造の抽出性能を向上させることを示す。

## 1 はじめに

文書中の表（テーブル）には有用な情報が豊富に含まれているが、画像やPDF として保存された表からそれらを確実に抽出することは容易ではない。文書からの表抽出のタスクは、大きく「表領域の特定」と「表構造の抽出」から成る $[4,2]$ 。ここで表構造とは、各セルが表の $\mathrm{m}$ 列 $\mathrm{n}$ 行に属する、という情報である。セルは空白セルであるか、あるいは文書中の座標と紐づいたテキストを含む。ここでは数字を含む文字列全般をテキストとして扱う。表構造が抽出されれば、例えばhtml で表を再構築することができる。図 1 は文書中の表と表抽出結果の一例である。表抽出タスクを解くアプローチとして、深層学習による画像認識モデルの応用が近年盛んである $[10,7,5]$ 。

しかし、画像認識モデルによるアプローチには 2 つの課題がある。1つは、表領域と表構造の抽出性能が表の形式に大きく依存して変化することである。表抽出向け画像認識モデルの訓練データとして、科学論文や経済レポート中の表などが通常利用される $[11,10,7]$ 。これらのデータで訓練されたモデルは、実ビジネスでの適用対象となる請求書やバランスシート (例えば $[12,13]$ ) に対しては抽出精度が高くない。この問題を解決するために対象分野の表を含む文書を用意してモデルをフアインチューニングすることは可能であるが、表抽出の訓練データ作成には多大なアノテーションコストを要するため [9]、多数の表形式に対して都度ファインチューニングを実施することは現実的ではない。もう 1 つの課題は、従来の画像認識モデルによる表抽出では、表のセル内テキスト情報が表構造を読み解く手がかりを与えるにも関わらず利用されないことが多い点である。

本研究では、テキスト情報を利用して表構造の抽出性能を向上させる方法を検討する。特に、表抽出の SotA である画像認識モデルによりあらかじめ抽出された表に対して、表構造の誤りを修正する後処理の手法を提案する。提案手法では入力の表構造から異常セルを特定し、テキスト情報を用いて可能な表変形を検討することで表構造の誤りを修正する。実用上、後処理の実行時間は、画像認識モデルによる表構造の抽出時間に比べて小さいことが望ましい。このため、自然言語処理においても様々な分野で効果を発揮する深層学習モデルは使用せず、軽量かつ表データのドメインに依存しない手法を考案した。種々のドメインの表データでの実験を行い、提案手法を用いることで表構造の抽出性能が画像認識モデルによる結果よりも向上することが確かめられた。本手法はまた、修正の対象となる表がどのようなアプローチによって抽出されたものなのかを問わない。例えば人手で作成した表に対して誤りが含まれている可能性があった時、それを修正するという場面でも利用が可能である。

## 2 画像認識モデルによる表抽出

文書が html の table タグなどにより構造化されていないケースでの表抽出は、画像認識モデルの性能が良いことが知られている。[10]では文書内の表の領域、及び表内のセルの領域の特定に画像認識モデルを利用している。PDF もしくは画像データを入力とし、出力は表領域、表構造、各セル内テキストの

図 1 左 : 文書中の表の例、中央 : 左の表を [10] で表抽出した出力（赤の囲みはデータセルが行列方向に over-merged となる誤り)、右 : 中央の表出力を本手法で修正した結果（青の囲みは修正箇所）。橙の囲みは列ヘッダーを表す。

位置情報である。ここではテキストの文字列情報および位置情報は、文書がそれらを自明に保持している場合には（例えば programmatic PDF の場合）そのまま利用し、そうでない場合は OCRによって抽出されている。しかしテキスト情報は表の領域特定、 あるいは表構造抽出に利用されていない。[7] でも表構造抽出に画像認識モデルを利用するが、モデルを OCR に依存しない形にデザインしているため、 セル内のテキスト情報は利用されない。

これらの手法は表抽出の性能において SotA といえる。しかしビジネス上表抽出が必要な請求書やバランスシートに対しては抽出精度が高くない。特に、これらの画像認識モデルを適用の際、セルの境界検出に失敗すると、最終的な表にセルの over-merged あるいはセルの over-split というタイプの誤りとなって現れる。over-merged は本来属しているよりも広い範囲の行または列にわたって複数セルが結合されてしまう誤りである。図 1 の左は文書中の表の例、中央はこれを画像認識モデルを用いた表抽出ツール [10] で抽出した結果を表す。中央の表には over-merged な誤りが存在する。セルの over-split とは、単独のセルが複数のセルに分割されてしまう誤りである。

## 3 提案手法の説明

本手法では、画像認識モデルで利用されていないテキスト情報に着目し、2 節で述べたセルの over-merged あるいは over-split の誤りを解消することで表構造の抽出性能を上げることを試みる。本手法は文書内から画像認識モデルなどによって表が抽出された後、後処理として適用することを想定している。本手法の入力となる表の持つ情報として以下を想定する。
- 各セルの文書内座標情報
- token の文書内座標情報

・表の構造（各セルに対する行、列の id）

ここで token とは、空白を含まず一塊になっている水平方向に並んだ文字の集合を表す。

本手法では十分一般的な仮定として、表は列へッダーを持つこととする。列へッダーは各列のラベルを示すセルの並びである。

提案手法が着目する表の性質は、表中の各列において、列ヘッダーを除くセル内のテキストはその列内で類似性を持つことである [1]。例えば図 1 の左の表では、最上部の橙の囲みが列ヘッダーであり、列ヘッダー以外の第 1 列（左端の列）のセル内テキストはアルファベットと数字の組み合わせである。第 2 列以降はどの列も小数点第一位までの数値、あるいは空の値を表す記号で占められている。本研究ではこの同一列内類似性を前提とし、類似性を破るセルを異常セルとして抽出する。次に、この異常セルを減らす表の変形を探索し表の修正を行う。この操作を繰り返すことで、入力の表に含まれる誤りを除去し、表構造の抽出性能を高めることを目的とする。

提案手法は次のステップからなる。

1. 表の列ヘッダーの特定

2. 各セルの異常度スコアを算出

3. 各列ごとにセル内テキストの正当性予測モデルを学習

4. 異常セルの特定

5. 異常セルの変形パターンをスコア化

6. 最大スコアを持つ変形パターンに従い表を修正

7. 4-6 のステップの繰り返し

## 3.1 列ヘッダーの特定

列ヘッダーは列内セル類似性の前提に含まれないため、除く必要がある。ここでは列ヘッダーは表の上部の行にのみ含まれると仮定し、また列ごとに、列ヘッダーのテキストはそれ以外のセルのテキストと特徴が異なること、複数列ヘッダーがある場合にはそのへッダーの組み合わせが各列について一意になること、を仮定し列へッダーの特定を行う。

## 3.2 セルの異常度スコア算出

2 節で述べたように、画像認識モデルでは表構造抽出においてセルの over-split あるいは over-merged という誤りが発生しやすいという問題がある。このタイプの誤りが起きた場合、同一列に属するセル内テキスト類似性が壊れる可能性が高い。このようなセルを入力の表から検出するために異常度スコアを次のように定義する。

1. 各セルの形状やテキストを特徴量化

2. 同一列に属するセル集合に対し、各特徴量の外れ値を決定

3. 外れ値を持つ特徴量をセルごとに特定し、該当する特徴量の個数をそのセルの異常度スコアとして算出

セルごとの特徴量は Appendix の A 節で示すようにセルの形状、あるいはセル内テキストの特徴からデザインできる。異常度スコアが閾值を超えたセルを異常セルとし、異常セルの集合を $Y$ とする。

## 3.3 予測モデルの学習

前述のように本研究では、表内の各列において列ヘッダーを除くセル内テキストには類似性があることを前提としている。この前提が満たされる状況では、あるテキストが与えられた時、それがある列内に属するセルのテキストとして適切かどうか、という予測モデルを構築できる。

列 $i$ に属するセル集合のうち、3.2 節で導出した異常セル集合 $Y$ に含まれないセル集合を $X_{i}$ と表す。各列 $i$ の予測モデル $M_{i}$ は入力をテキスト、出力を $[0,1]$ のスコアとして入力テキストの正当性を確率值で表すものを採用する。決定木やロジスティック回帰などが挙げられる。入力テキストの特徵べクトル導出には各種アプローチがあるが、例えば各 token の以下のような表層上の特徵を利用する。
・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字+数值

・最初の 1 文字が大文字、残りが小文字

・表に複数回出現する token
- 先頭文字

・未尾の文字
- 文字数

学習の際は各セル $x \in X_{i}$ 内のテキストを予測モデルの正例とする。負例の入力テキストには、 $x$ の隣接セル（上下セル、左右セル）をランダムに結合させたもの、及びその部分文字列を用いる。

## 3.4 異常セルの変形パターンのスコア化

3.2 節で得た異常セル集合 $Y$ から異常度スコアの最も高いセルを取り出し、変形を検討する。これをすべての異常セル $y \in Y$ が検討されるまで、あるいは決められたステップ数が完了するまで繰り返す。

異常セル $y$ が特定された後、変形パターン候補の集合 $P(y)$ を導出する。セル $y$ に over-merged の可能性のある時（行 span あるいは列 span の異常がある時）には、変形パターンは、yの token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ の行あるいは列方向への分割方法を列挙することになる。セル $y$ に行方向の over-split の可能性がある時（同一行の空白セルの数に異常がある時）には、 セル $y$ と隣接する上下のセルを結合した token 列を考えた上で、この結合した token 列の行方向の分割方法を列挙すれば良い。本提案手法では、 $P(y)$ を $y$ の周辺セル情報から推定するアプローチをとる。 Appendix の B 節及び図 2 に算出の詳細と例を示す。

次に、このようにして得られた各変形パター ン候補 $P \in P(y)$ に対し、スコアを計算する。パターン $P$ は、分割された token 列である仮想的なセル $p$ の集合、及び各 $p$ がどの列（行） $j$ に属するかの情報を持つ。例えば図 2 では分割パターン 1 において、仮想セル $\left.\{w_{1}, w_{2}\right.\}$ は列 1 に属し、もう一つの仮想セル $\left.\{w_{3}, \ldots, w_{7}\right.\}$ は列 2 と列 3 に属している。 3.3 節の予測モデルから $M_{1}\left(w_{1}, w_{2}\right) \times M_{2}\left(w_{3}, \ldots, w_{7}\right) \times M_{3}\left(w_{3}, \ldots, w_{7}\right)$ はこのパターンの正当性の確率值と解釈できる。そこで、列方向に対して over-merged な異常セルの変形パター ン $P$ のスコア $S(P)$ を式 (1) で定義する。ここで、 $p$
表 1 提案手法適用前後の表構造抽出性能比較（数値は F1 スコアのパーセント表示）

は $P$ に含まれる仮想セル、 $j$ は $p$ が属する列番号、 $c$ は正の定数である。

$
S(P)=\sum_{p \in P} \ln \left.\{M_{j}(\text { token sequences in } p)+c\right.\}
$

同様に、行方向に over-merged な異常セル $y$ のパターン $P$ のスコアを式 (2) で定義する。行方向の over-merged ではパターン $P$ は列方向と同様に仮想セル $p$ を要素として持つが、予測モデルはセル $y$ の属する列 $k$ のものを適用する。

$
S(P)=\sum_{p \in P, k} \ln \left.\{M_{k}(\text { token sequences in } p)+c\right.\}
$

$P(y)$ 中の最大スコアのパターンに従い表を修正する。このステップを各異常セルに対して繰り返す。

## 4 評価実験

提案手法の効果を確かめるため、画像認識モデルを用いた表抽出手法 [10] の出力結果に対して、本手法を適用した。画像認識モデルは複数の backbone を採用し、結果を比較した。

## 4.1 データと設定

表の形式や内容はドメインに大きく依存するため、多様な表データセットを収集し評価に利用した。一部のデータは表抽出タスクのデータとしてアノテーション付与された状態で公開されている [4]。 その他のデータは web 上で公開された表あるいは非公開の表に対しアノテーションを追加で付与している。セルの異常度スコア算出には、Appendix の A 節で示すセルの特徴量を利用した。セル内テキストの正当性予測モデルとしては決定木を用いた。予測モデルにおいて、セル内テキストの特徴ベクトルには 3.3 節で示した token 単位のものを利用する。token ごとの特徴べクトルを導出後、先頭 token の特徴べクトル、最終 token の特徴ベクトル、全 token の特徴ベクトルの和、を結合したものを予測モデルの入力として用いた。

## 4.2 評価結果

表構造の評価指標として、正しい表のセル隣接関係と出力した表のセル隣接関係から算出した F1 スコアを利用する [3]。12 種類の異なるドメインから成るデータセットについて、Resnet50[6] と EfficientNetB0[8] の 2 種の backbone の画像認識モデルを用いた表抽出手法 [10]を適用し、表領域の特定、および表構造の抽出結果を得た。この出力された表を入力として提案手法を適用した結果を表 1 に示す。なおデータセット D および I が公開データ [4]にあたる。多くのドメインにおいて、どちらの画像認識モデルでも提案手法適用後の F1 スコアが適用前より高く、提案手法の有効性が認められた。但し、データセット $\mathrm{G}$ のように適用後にスコアが悪くなるケースも存在する。このようなケースへの対応が今後の課題である。

## 5 まとめ

本論文では、表構造の誤りを表内のテキスト情報を用いて修正する手法を提案した。特に、文書からの表抽出タスクにおいて SotA である画像認識モデルを用いた手法の後処理として本手法を適用し、各種ドメインの表データに対して表構造の抽出性能が上がることを示した。

本手法では各列のテキスト表記に類似性があることを前提とする。この前提を満たす表であれば、今回の実験で利用した画像認識モデルの表抽出手法の出力に限らず、あらゆる表に対して本手法は適用可能である。

本研究では実行速度を重視したため、テキスト情報として表層上の特徵のみを利用し、シンプルな予測モデルを用いたが、深層学習の言語モデルを利用することで表構造抽出の性能は更に上がることが期待される。

## 参考文献

[1] Taha Ceritli, Christopher K. I. Williams, and James Geddes. ptype: probabilistic type inference. Data Mining and Knowledge Discovery, Vol. 34, No. 3, pp. 870-904, mar 2020.

[2] Liangcai Gao, Yilun Huang, Hervé Déjean, Jean-Luc Meunier, Qinqin Yan, Yu Fang, Florian Kleber, and Eva Lang. Icdar 2019 competition on table detection and recognition (ctdar). In 2019 International Conference on Document Analysis and Recognition (ICDAR), pp. 1510-1515, 2019.

[3] Max C. Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. A methodology for evaluating algorithms for table understanding in PDF documents. In Proceedings of the 12th Symposium on Document Engineering, pp. 45-48. ACM, 2012.

[4] Max Göbel, Tamir Hassan, Ermelinda Oro, and Giorgio Orsi. Icdar 2013 table competition. In 2013 12th International Conference on Document Analysis and Recognition, pp. 1449-1453, 2013.

[5] Khurram Azeem Hashmi, Marcus Liwicki, Didier Stricker, Muhammad Adnan Afzal, Muhammad Ahtsham Afzal, and Muhammad Zeshan Afzal. Current status and performance analysis of table recognition in document images with deep neural networks. CoRR, Vol. abs/2104.14272, , 2021.

[6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CoRR, Vol. abs/1512.03385, , 2015.

[7] Ahmed Nassar, Nikolaos Livathinos, Maksym Lysak, and Peter Staar. Tableformer: Table structure understanding with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4614-4623, June 2022.

[8] Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. CoRR, Vol. abs/1905.11946, , 2019.

[9] Nancy Xin Ru Wang, Douglas Burdick, and Yunyao Li. Tablelab: An interactive table extraction system with adaptive deep learning. CoRR, Vol. abs/2102.08445, , 2021.

[10] Xinyi Zheng, Douglas Burdick, Lucian Popa, Xu Zhong, and Nancy Xin Ru Wang. Global table extractor (GTE): A framework for joint table identification and cell structure recognition using visual context. In IEEE Winter Conference on Applications of Computer Vision, WACV 2021, Waikoloa, HI, USA, January 3-8, 2021, pp. 697706. IEEE, 2021.

[11] Xu Zhong, Elaheh ShafieiBavani, and Antonio JimenoYepes. Image-based table recognition: data, model, and evaluation. CoRR, Vol. abs/1911.10683, , 2019.

[12]宏田中. 全体最適化戦略に基づく複雑な帳票画像の自動認識に関する研究.

[13] 藤江翔太郎, 白松俊, 大直忠親, 新谷虎松. フォーマッ卜分類機構に基づく帳票管理支援システムの試作. 第 76 回全国大会講演論文集, Vol. 2014, No. 1, pp. 303-304, 032014.

## A セルの異常度スコア算出時の特徵量例

3.2 節では各セルの異常度スコアを算出するための全体的な流れを紹介した。利用される特徵量としては、セルの形状を反映したものとして
- 最左端 token の $x$ 座標

・最右端 token の $x$ 座標

・セル行 span

-セル列 span
- セル内 token 数

-セルと同一行の空白セルの数

などがある。またテキストの特徴を反映したものとして、各 tokenに対し

・大文字のみ

・小文字のみ

・数值のみ

・数值 + ピリオド
- 数値 + 記号
- 文字 + 数值
- 最初の 1 文字が大文字、残りが小文字

などが考えられる。例えばセル形状の特徴量、セル内最初の token の特徵量、セル内最後の token の特徵量を結合して各セルの特徴量として扱うことができる。

## B token 列分割パターン算出の詳細

3.4 節では、異常セル $y$ の変形パターンを探索し、各パターンにスコアを付与することを説明した。ここでは、 $y$ 内の token 列の変形パターンを導出する方法の詳細を述べる。over-split なセルを変形する際には、3.4 節で述べたように、一旦隣接セルと merge させた上で分割パターンを考えればよい。そこで以降は token 列の分割方法のみ考えることとする。また、以下では token 列の列方向の分割方法のみ説明する。行方向の分割パターンも同様の方法で抽出できる。

各 token はは座標情報が紐づいている。token 列 $\left.\{w_{1}, w_{2}, \ldots\right.\}$ を列方向に分割する可能性を考えたとき、座標情報から許される分割と許されない分割とが存在する。このとき、各列に属する異常でないセルの座標情報から、列の右端、左端座標を推定し、可能な区切り箇所でのみ token 列の分割を許すことで、 token 列が長い場合にも効率的な探索が可能になる。

図 2 token 列分割パターン作成の例

図 2 を例に説明する。列 1 に属する異常でないセル内の token である $w_{8}, w_{9}, w_{13}, w_{17}$ の座標情報から、列 1 に属するセルが必ず満たす $x$ 領域が推定できる。この領域と token $w_{1}, w_{2}, \ldots$ の $x$ 座標を比較したとき、 $w_{1}, w_{2}$ は必ず列 1 に属していなければならないことが分かる。同様の処理で、 $w_{4}, w_{5}$ は必ず列 2 に属し、 $w_{7}$ は必ず列 3 に属する。これらの拘束条件を満たしつつ、 token 列の分割を考えると全て merge された状態となんらかの分割された状態、合わせて 9 パターンが許される。例えば図 2 の分割パターン 2 は、 $\left.\{w_{1}, w_{2}, w_{3}\right.\}$ が列 0 に属するセルであり、 $\left.\{w_{4}, \ldots, w_{7}\right.\}$ が列 1 および列 2 に属する結合セルである。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 手がかり表現に基づく非論理的な言語推論の学習

張 辰聖子 1 持橋 大地 ${ }^{2}$ 小林 一郎 1
1 お茶の水女子大学 2 統計数理研究所
\{g1920524,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

人間が行っている推論は論理的な含意関係だけではなく, 日常的な知識を背景にした常識推論が大きな役割を果たしている. 本研究はこの際の知識を,複雑な内容を表現できる自然言語文自体ととらえ,「から」「ため」のような手がかり表現を利用することで, 前提と帰結がともに文となる自然言語推論をコーパスから深層学習モデルとして直接学習する。 コーパスから抽出した 157 万文ぺアについて学習し, テストデータにおいて, 前提から生成した帰結文について人手評価を行ったところ, $65.8 \%$ が妥当な推論であるとの結果を得た. さらにエラーの原因について考察し, 改善と今後の可能性について議論する.

## 1 はじめに

ロボットのような人工知能が人間と共生する未来社会において, 人間と同等の推論や知的判断が行える方法を開発することは, 重要な研究課題だと考えられる. 自然言語処理の最近の推論の研究は含意関係認識のような論理的な推論を扱っていることが多いが,これでは扱えない自然な「推論」も実際には重要である. たとえば, 富士山と湖の写った写真を見て 「富士山がある」「湖が見える」と判断するだけでなく,そこから「キャンプによい」「日本的な風景だ」 と判断することは論理的な推論ではないが, 人間が常に行っている常識的な推論である. そこで本研究では，「〜ため」のような手がかり表現とニューラル言語モデルを用いることで, 大量のコーパスから直接,こうした常識的推論を学習する. 提案法の特徴は, 前提と帰結がどちらも自然言語の文となる言語的推論であり, 従来のように論理構造を介していないことにある。

## 2 関連研究

こうした非論理的な1) 推論は, 自然言語処理では常識推論 (commonsense reasoning) とよばれて長く議

図 1 Wikipedia からのデータ生成と, 推論の学習の概要.論されており, 特に最近活発に研究されている分野である [1]. ただし,このためのデータセット [2][3] がそうであるように, 従来はこうした知識はあくまで知識グラフのような離散的な知識構造で表されていた.こうしたグラフの作成やラベル付けには大量の人手が必要である上,多くは単語間のグラフ関係であるため, 複雑な知識を表すことができず, 表現力にそしいという大きな欠点がある.

いっぽう, 推論についてこうした知識構造を介さず, 文から直接文を導く自然言語推論が行われ始めている [4].こうした自然言語推論は論理的含意を対象にしているが,この方法は常識推論にも自然に適用でき, 本研究ではその可能性を模索する. Yu ら [5] は, 短い文のペアを人手でラベル付けしたデータセット ASER [6] から, 文の連続をグラフ上のランダムウォークとしてサンプリングし, そのデータに基づく常識推論の学習を提案している. ASER は大量のコーパスからあらかじめ作成されたものであるが, 本研究は関係を絞って, 常識推論を直接コーパスから学習するものであるといえる。

## 3 自然言語による推論

## 3.1 研究概要

図 1 に研究の概要を示す. 日本語 Wikipedia コー パスから，「理由」を表現する手がかり表現を元に

1）論理的推論と区別するために, あえて「非論理的」という言葉を使っているが,これは推論に結果として論理的推論が含まれることを排除するものではない.
根拠と結論がペアになった文を抽出する. 根拠部分を大力, 結論部分を出力とし, 文を生成する深層学習モデルである $\mathrm{T} 5$ に学習させる. これにより根拠に相当する文から結論を示す文を生成することを通じて, 自然言語推論を実現する。

## 3.2 データ作成

データの収集には日本語版 Wikipedia コーパスを用いた. 以下にデータ作成の手続きを示す.

Step 1. 正規表現で理由節を持つものを抽出日本語版 Wikipedia 本文から，理由節を持つ 1 文を正規表現を用いて抽出する. その際，手がかり表現として「から」「ので」「ため」「おかげで」「せいで」の 5 つを用いた．また，理由節を持つ文の文頭が指示詞（「この」，「その」）であった場合，前文で置換をするという簡単な指示詞の補完を行った.

Step 2. 形態素解析によるフィルタリング正規表現によって抽出された理由節を持つ文に対し，1文ごとに MeCabを用いて形態素解析を行う．正規表現での抽出では，5つの手がかり表現は，理由を表す以外の意味を持つことがある. そこで，形態素解析により主に理由を表す品詞として使われている場合のみを抽出する. 以下に品詞による使われ方の違いの例を示す。

・信号が青から赤に変わった. (格助詞, 変化の 「から」)

・楽器を持っていなかったからボーカルになった. (接続助詞, 理由の「から」)

例に挙げたように「から」の品詞細分類が接続助詞である時，主に理由を表すことから解析により抽出を行う．上記により，解析の結果，理由節が以下の形態素として含まれていた場合に，抽出を行う.

・から助詞, 接続助詞

・ので助詞, 接続助詞

$\cdot$ため名詞, 非自立, 副詞可能

-せい名詞,非自立,一般

十で助詞, 格助詞, 一般

・おかげ名詞,一般

+ 助詞, 格助詞, 一般

Step 3. 機械学習によるフィルタリング形態素解析によって残った文のうち，名詞で用いられる「ため」はいくつかの意味を持つ. そのため, 理由を表す「ため」のみを抽出することを目的として，訓練済み日本語 BERT モデルを用いて二値分類を行っ表 1 訓練データの例と，それに類似する前提を与えたときのファインチューニングを行った $\mathrm{T} 5$ の文生成出力例.

た. ここで用いた BERT モデルは Hugging Face ${ }^{1)} の$自然言語ライブラリ Transformers ${ }^{2}$ に基づく, 東北大学公開の事前学習済み日本語 BERT モデル3)を使用した.「ため」を手がかりとして抽出した文から， ランダムに 300 文を抜き出し，手動で理由を表すかそうでないかのタグ付けをし，二値分類の機械学習を行くった. 300 文での 5 分割交差検証では $88.7 \%$ の精度で理由を表すかそうでないかの分類を行えていることがわかった. 分類を行った結果, 1,288,304 文の「ため」を含む文から，730,133 文 (56.7\%) の理由を表す文を抽出することができた。

Step 4. 根拠表現と結果表現の抽出日本語自然言語処理ライブラリである $\mathrm{GiNZA}^{4)}$ を用いて，抽出した文に対して係り受け解析を行う. 坂地ら [7]の手法を用いて, 根拠表現と結果表現の抽出を行った。

## 3.3 推論モデル

収集した文ぺアを日本語 T5 モデルに与え，前提から結果を生成する深層学習モデルを学習することで，自然言語による推論を実現する。

## 4 実験

## 4.1 実験設定

本研究では，3.2 節で収集した 1,572,956 件の根拠と結果のぺア文をデータとして用いる. 実験の際は，このデータを訓練：開発：評価 $=0.95: 0.025: 0.025$ として評価を行う。評価は評価データからランダムで 100 文を抽出し手動で行い，それに伴い

1) https://huggingface.co

2) https://github.com/huggingface/transformers

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://megagonlabs.github.io/ginza/
表 3 評価データに対するファインチューニングを行った $\mathrm{T} 5$ の文生成出力例と, 出力に対する人手評価の例.

 &  \\

BERT-Score[8] によって, 生成文と正解文との意味的類似度を検証した. 評価指標は 4.2 節に示す. 本研究で用いる T5 モデルは Hugging Face ${ }^{5}$ の自然言語ライブラリ Transformers ${ }^{6}$ に基づく，Isao Sonobe 公開の事前学習済み日本語 T5 モデル7)を使用した。

## 4.2 評価基準

表 3 の生成例 2 にあるように，評価データの正解と比べると全く違う出力であるが，出力内容自体は前提から妥当に導かれるものが多くあった. したがって，生成データセットにおけるモデルの性能は，出力の妥当性を人手で判断することで評価する。評価基準は，自然言語による演繹的な文生成を行うモデルの提案をしている関連研究 [4] を参考にし，以下の 6 つの分類とする。

i 妥当な推論である出力は前提から妥当に導かれる結論である。

ii 妥当な推論であるが文法的な間違いがある出力は前提から導かれうる結論だが，主語などの成分が久けていたり, 動詞の活用に違和感があるなど内容の理解を妨げない程度の文法的な間違いがある。

iii 前提を繰り返す出力は，前提文の繰り返し，もしくは言い換えであり前提と同意である。または，前提に含まれる単語を組み合わせているだけである.

iv 前提から導かれない出力は文，内容は正しいが，前提から導かれ得る結論ではない。

$\mathbf{v}$ 矛盾している出力は, 前提と矛盾する, もしくは本質的に間違っている.

5) https://huggingface.co

6) https://github.com/huggingface/transformers

7) https://huggingface.co/sonoisa/t5-base-japanese vi 結論が理解し得ない結論が文をなしていない. もしくは前提が文をなしていない。

表 4 人手評価されたデータに対する生成文と正解文の BERT-Score $の$ 平均.

## 4.3 実験結果

実験でファインチューニングされたモデルに評価データを与えると，表 3 のように文生成が行われた. その他の推論結果は, 付録 A の表 7 に示した. 前提はモデルに与えた文，出力はモデルから生成された文，正解は収集データ中の前提に対する結論文のことである. 生成データセットにおけるモデルの性能に対する人手で行った評価結果は, 各評価者ごとの評価数を表 5 に，全ての評価者の平均をグラフに

口i.妥当な推論である

口ii.妥当な推論であるが文法ミスがある

口iii.前提の繰り返しである

口iv.前提から導かれない

曰v.矛盾している

口vi.結論が理解できない

図 2 評価データからランダムに抽出した 100 文に対する人手評価の結果 (平均)
表 5 評価データからランダムに抽出した 100 文に対する人手評価の結果 (件数).

したものを図 2 に示す. 人手で評価したデータに対する，生成文と正解文の BERT-Score [9] による類似度を表 4 に示す。また, 訓練データにあるような形の前提であれば妥当な推論を行えるという仮定の下，訓練データの例と，それに伴うモデルによる出力例を表 1 に示す. 出力が妥当な推論である，もしくは妥当な推論であるが文法的な間違いがあると評価された割合は $65.8 \%$ となった.

## 4.4 考察

前提を与えることで，文生成の形で推論を行うことができた．BERT-Score による文の類似度（表 4) を見ると，妥当な推論が行われている場合（評価 i) は他の評価指標の結果に比べ，類似度の平均が高くなっていることがわかる. しかし, 評価 $\mathrm{v}$ の類似度の平均が最も高くなっている. これは, 生成文が表 3 の例 4 のように，矛盾はしているが矛盾理由が文末尾による否定によるものである場合に, 文全体の類似度自体は上がってしまったからだと考えられる.

エラーについて，3つ目の評価指標である前提を繰り返すことに注目すると, 表 3 の例 2 のように,前提を繰り返したのちに「ため」をつけるという事例がいくつかあった. 理由としては, 訓練データに結論が「ため」で終わる文が，4,293 件と多く含まれていたことが考えられる. そのようなデータが含まれてしまう原因は 2 つほど考えられる。

1つ目は，「ため」によって収集された文に「のためにしていたため」といった表 6 の例 1,2 に示したように「ため」を多重で使った文が多くあったことが原因だと思われる.このような「ため」多重文に対し，データ生成における Step 4 を行うと，結果部分が「ため」で終わるデータが抽出されてしまう. また，3.2 節のデータ作成で説明したように「ため」 はいくつかの意味を持つ. その中でも，「ため」多重文で用いられる「ため」は例 2 のように「目的」 の意味で使われていることが多くあり，「ため」に表 6 エラー分析の結果，原因であると考えられる訓練データのノイズ例. 元の文と, 抽出した文ぺアを示した.

例 1

子供を増やすことは世帯所得増加に繋がるため,子供を産むインセンティブとなるために少子化対策となりうるという考えがある。前提子供を増やすことは世帯所得増加に繋がる結果子供を産むインセンティブとなるため例 2

彼らに対抗するために資金を調達するためにツアーに行くと，彼らはギャングによって絶えず脅かされています.

前提彼らに対抗する結果資金を調達するため

例 3

必要以上の事件を寄せ付けないためにクラス Aの身分を隠し，小さな探偵事務所を構える悪行の元に，今日もまた事件がやってくる.

前提必要以上の事件を寄せ付けない結果必要以上の事件を寄せ付けないため

対する機械学習の精度の向上が望まれる.

2つ目の原因としては，訓練データの結果の中に，表 6 の例 2 のように前提を繰り返した後に「ため」 をつけたものもあった. こうしたことが起こった原因は，係り受け解析時に「ため」の前で文が区切られてしまっていたからである．例 2 の文では，「必要以上の事件を寄せ付けないために」で区切られてしまい，データ生成における Step 4 を行うと, 前提を繰り返す文を結果として抽出してしまう。これは，係り受け解析器を用いて自動的に前提と結果を抽出しているため起こりうるエラーである.

## 5 おわりに

本研究では，自然言語文そのままの形で推論を行う手法の開発を目的に，自然言語による推論を自然言語文生成として表現する研究に取り組んだ. 日本語 Wikipediaコーパスから，理由節を手がかり表現として根拠と結論を抽出した. 抽出した因果関係のデータを用いて，根拠部分を入力，結論部分を出力として深層学習を行うことで，推論を行う形の文生成が可能なことがわかった. モデルによって生成された文に対して人手で評価を行った結果，前提から導かれる推論として妥当だと言える割合は $65.8 \%$ となった. 今後は, 発生したエラーを改善して収集データのノイズを減らし, 推論文生成の精度を上げたい。また，作った推論モデルを用いて，多段推論および前提を予測する帰納的推論などに挑戦していきたいと考えている.

## 参考文献

[1] Maarten Sap, Vered Shwartz, Antoine Bosselut, Yejin Choi, and Dan Roth. Commonsense Reasoning for Natural Language Processing. In ACL 2020, pp. 27-33, 2020.

[2] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In AAAI 2017, p. 4444-4451, 2017.

[3] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, and Hannah Rashkin. ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning. In AAAI 2019, p. 3027-3035, 2019.

[4] Kaj Bostrom, Xinyu Zhao, Swarat Chaudhuri, and Greg Durrett. Flexible Generation of Natural Language Deductions. In EMNLP 2021, pp. 6266-6278, 2021.

[5] Changlong Yu, Hongming Zhang, Yangqiu Song, and Wilfred Ng. CoCoLM: Complex commonsense enhanced language model with discourse relations. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1175-1187, 2022.

[6] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. ASER: A Large-scale Eventuality Knowledge Graph. In $W W W$ 2020, p. 201-211, 2020.

[7] 坂地泰紀. 構文パターンを用いた因果関係の抽出. 言語処理学会第 14 回年次大会論文集, 2008, pp. 1144-1147, 2008.

[8] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. CoRR, Vol. abs/1904.09675, , 2019.

[9] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020.

## 付録 A 推論結果の例

表 7 学習した $\mathrm{T} 5$ 深層学習モデルによる推論結果の例.

} & 前提 & 騎兵隊という部隊名が付いているが馬の輸送が間に合わずまた連発銃の普及により \\


# 事前学習済み言語モデルからの訓練データ抽出：新聞記事の特性を用いた評価セットの構築と分析

石原祥太郎 ${ }^{1}$
1 株式会社日本経済新聞社
shotaro.ishihara@nex.nikkei.com

## 概要

大規模なデータセットを用いた事前学習済み言語モデルが数多くのタスクで高い性能を示している一方で，訓練データの一部が抽出可能であるセキュリティ面の課題が重要性を増している。本稿では新聞記事の特性を考慮することで，事前学習済み言語モデルからの訓練データ抽出の議論に向け，現実世界に即した評価セットが構築できると主張する。最初に先行研究を踏まえこの課題を整理し，日本語の新聞記事を用いた評価セットを提案する。次いで，新聞記事で独自にモデルを事前学習し，構築した評価セットに対して複数のモデルで訓練データ抽出を試みる. 条件ごとの記憶の度合いの変化を確認する実験を通じて，この課題に関するいくつかの知見を示し，将来展望を述べる。

## 1 はじめに

自然言語処理の躍進を支える「事前学習済み言語モデル」は，研究領域のみならず産業界でも大きな注目を集めている。単語の並び方に確率を割り当てる統計的な言語モデルは古くから研究が進み，近年は大規模なニューラルネットワークに対する巨大なデータセットでの事前学習が採用されている。この拡張は流暢な自然言語生成に繋がり，多くの下流夕スクにファインチューニングすることで高い性能を示すと報告された [1]. 時には適切な文字列（プロンプト）を与えると，パラメータ更新なしに下流タスクに適した出力が可能で $[2,3]$, GitHub Copilot ${ }^{11}$ や ChatGPT ${ }^{2)}$ などの社会実装も着実に進行している.

実用化が進むと，セキュリティ面の課題が顕在化する $[4,5]$. 先行研究は, ニューラルネットワークが訓練に用いたデータを意図せず記憶し出力する性質を持つと指摘している $[6,7,8]$. Carlini ら [7] は，

事前学習済み言語モデルから多数の文章を生成（デコーディング）しメンバーシップ推論 [9]をすることで，記憶された数多くの情報を抽出できると確認した.この課題はプライバシーの侵害・実用性の低下・公平性の低下などを招くため，事前学習済み言語モデルの実運用に向けた課題となり得る [10]. 特に医療・臨床データなど機密性の高い情報で事前学習したモデルを扱う場合，訓練データの漏洩は大きな問題に繋がる可能性がある [11]. 記述内容を記憶している点で「忘れられる権利」の文脈でも議論が必要である [12].

一方で，この課題に関する研究領域や産業界での議論は未だ発展途上である. 多くの研究の実験は定性的な側面にとどまり，いくつかの論文で定量評価の重要性が提起され始めている $[10,13,14]$. 既存の研究では，対象とするモデルの事前学習に用いたデータセットから一部のデータを取り出す方法で，評価セットを構築している。たとえば Carlini ら [10] は主に GPT-Neo モデル群 [15] を題材に，ウェブスクレイピングなどで収集したテキストを含む合計 825 GB の Pile データセット [16] を利用し，約 5 万の部分集合を抽出した. 部分集合の選択は推論の計算量の都合から避けられない処理だが，公開済みの情報を恣意性なく加工し，訓練データ抽出の現実世界のシナリオを想定した評価セットを構築するのは難しい作業である.

本稿では新聞記事の特性を考慮することで，事前学習済み言語モデルからの訓練データ抽出に関する課題を議論するため，現実世界に即した評価セットが構築できると提案する. 有料の購読プランを提供するインターネット上のニュース配信サービスでは，新聞記事は冒頭の数百字のみが一般公開され，続く文章は購読者のみ閲覧可能となっている場合が多い。そのため，公開部分を事前学習済み言語モデルに与え，非公開部分を引き出すという状況を手軽

図 1 本研究で扱う訓練データ抽出の概要. 新聞記事を用いた事前学習済み言語モデルに対して，公開部分をプロンプトと見なして文字列をデコーディングする．記憶の度合いは，非公開部分を用いて評価する。

に再現できる利点がある. 以降，本研究で取り組む課題を整理し（2 節），日本語の新聞記事を用いた評価セットを構築する（3 節）。次いで実験を通じて，日本語を題材としたこの課題に関するいくつかの知見を示す (4 節)．具体的には，独自に事前学習したモデルを含む複数のモデルで訓練データ抽出を試みて, 条件ごとの記憶の度合いの変化を確認した. 最後に本稿のまとめと将来展望を述べる（5 節）.

## 2 問題設定

本節では先行研究をもとに，事前学習済み言語モデルによる訓練データの「記憶」を定義し, 本研究で取り組む訓練データ抽出について説明する。

## 2.1 「記憶」の定義

事前学習済み言語モデルの「記憶」とは，訓練データに関する情報を蓄え，時にそのまま出力する現象を指す。記憶に関する研究は多岐にわたり，定義や前提条件も多様であるが，本稿では GPT 系のモデル群 $[1,2,3,15]$ に代表される自己回帰型の言語モデルに焦点を当てる.

本研究では，2 種類の記憶の定義を用いる.まず多くの先行研究 $[7,10,13]$ を参考に, 文字列の部分一致に基づく定義を採用する（Definition 2.1）.この 「逐語記憶（verbatim memorization）」の定義は，事前学習済み言語モデルに対して適切なプロンプトを与えることで，記憶したデータが出力されると仮定している。加えて，文字列の類似性を考慮した「近似記憶 (approximate memorization)」の定義 $[14,17] も$用いる (Definition 2.2). 類似度として Lee ら [14] はトークン単位の一致率, Ippolito ら [17] は BLEU [18] を利用した. 本研究では単語間に空白がない日本語を扱う点を考慮し，文字単位の編集距離 [19] を採用する．差分プライバシ [20] や反実仮想 [21] の考え方に基づく定義もあるが，本研究の対象外とした.

Definition 2.1 (逐語記憶). 長さ $k$ のプロンプト $p$ に対し，ある文字列 $s$ が事前学習済み言語モデル $f_{\theta}$ から生成され, $p$ と $s$ を結合した文字列が訓練に用いたデータセット内に含まれている場合， $s$ は $f_{\theta}$ に記憶されている。

Definition 2.2 (近似記憶). 長さ $k$ のプロンプト $p$ に対し，ある文字列 $g$ が事前学習済み言語モデル $f_{\theta}$ から生成され，g と訓練に用いたデータセット内に含まれている文字列 $s$ がある類似度の条件を満たす場合， $s$ は $f_{\theta}$ に近似記憶されている.

## 2.2 訓練データ抽出

本研究では先行研究で多く参照されている Carlini ら [7] と同様の手順で，事前学習済み言語モデルからの訓練データ抽出を試みる（図 1）。新聞記事は一般公開されている冒頭の数百字（公開部分）と，購読者のみ閲覧可能の続き（非公開部分）で構成される。最初に準備のため，公開部分と非公開部分を合わせた全ての文章でモデルを事前学習する.事前学習するモデルも Carlini ら [7] と同じで，主に GPT-2 [2]を利用する。この事前学習済み言語モデルに対して，公開部分の文字列をプロンプトと見なし，続く文字列をデコーディングする．デコーディング戦略の選択は実験結果に大きな影響を与えないとする報告もあり [10]，ここでは毎回最大の条件付き確率の単語を生成する貪欲法を用い，一つのプロンプトから一つの文字列を生成する。生成された文字列を非公開部分と比較すると，記憶の度合いを定義に基づき評価できる。

## 3 評価セットの構築

本節では，新聞記事を用いた評価セットを構築する. 本研究では日本経済新聞社のニュース配信サー ビス「日経電子版」3)のデータセット4)を用いた. このデータセットでは例外を除き「冒頭 200 文字」か

3) https://www.nikkei.com/

4) https://aws.amazon.com/marketplace/pp/ prodview-7hhnlazdw5rsi

 & - & - \\

表 1 nikkei/gpt2-60epoch で最も逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

図 2 評価セット 1000 件の公開部分の文字数のヒストグラム. 200 文字程度が大半だが，短い記事も存在する。

図 3 評価セット 1000 件の非公開部分のうち，最初の文末までの文字数のヒストグラム. 9 件が 200 文字を超えたため可視化の際には省略した.

「記事全体の文字数の半分」の短い方が，公開部分として定義されている5). 本研究では 2021 年に公開された中で，例外に該当する記事を除いて 1000 記事を評価セットとして利用した（図2）。非公開部分は記事によっては非常に長く, 問題の単純化のために最初の文末までを抽出した6）（図 3). 表 1 のように公開部分が句点で終わるのは， 25 記事と少数派である. Appendix A に示す通り，公開部分は必ずしも句点で終わらず非公開部分の冒頭と接続する.

## 4 実験

本節では，さまざまな条件下での実験を通じ，提案した評価セットから得られた知見を報告する。最初に複数の事前学習済み言語モデルを準備し，次に訓練データ抽出を試みて条件ごとの記憶の度合いの変化を分析した。

## 4.1 利用した事前学習済み言語モデル

まず 2010～21 年に公開された日経電子版の記事本文（2.8 GB）を用いて GPT-2を事前学習し,複数の学習エポック数でモデルを保存した. 評価セットの記事も訓練に用いたデータセットに含まれている. モデルの一覧は表 2 で確認でき， nikkei/gpt2-\{X\}epoch は日経電子版のデータセットで Xエポック学習したモデルである。事前学習には Hugging Face の Transformers [22]，単語の分割にはユニグラム言語モデル [23]を用いた. 事前学習の細かい設定については Appendix B に示す.

記憶の性質とは関係なく生成した文字列が偶然一致する可能性があるため, 別のデータセットで事前学習されたモデルも比較対象とした. 表 2 のモデル名は Hugging Face での公開名7) で，パラメタ数が異なるモデルを選んだ. それぞれ日本語の Wikipedia ${ }^{8)}$ や CC-1009) などで事前学習されている.

## 4.2 訓練データ抽出

準備したモデルを用いて，2.2 節で示した方法で訓練データ抽出を試みた。生成された結果は，2.1 節での定義に基づき，大きいほど記憶の度合いが大きい値として次のように定量化した。文字列は全て

表 2 各モデルの記憶の度合い。パラメタ数の B は Billion（10 億），太字は最も類似度が高いことを意味する．

半角に揃えて比較した.
- 逐語記憶 : 前方一致の文字数
- 近似記憶：1-(編集距離/ 文字列の長さ ${ }^{10}$ )

最も長く事前学習したnikkei/gpt2-60epoch で逐語記憶の度合いが 1 番高かった評価セットに対し，一部のモデルの生成例を表 1 に示した. 非公開部分との前方一致は緑色で強調した. 日経電子版のデー タセットで事前学習したモデルは 15 エポックを超えた段階で，非公開部分と 48 文字前方一致する文字列を生成した。一方 rinna/japanese-gpt-1b は,公開部分の末尾が句点のためか, 文末を示す特別なトークン</s>を出力した. 2 番目に逐語記憶の度合いが高かった評価セットの生成結果は Appendix A で紹介する。

各モデルの記憶の度合いの集約結果を表 2 に示す. まずエポック数が増加するにつれ逐語記憶の最大値も増えている. 同一データセットでの繰り返しの学習を通じ, 事前学習済み言語モデルの逐語記憶の性質が強まっていると示唆された. 日経電子版のデータセットを用いた事前学習言語済みモデルは, その他のモデルより長い文字列を逐語記憶している. 逐語記憶の平均值でも，概ね同様の傾向が見られた. 近似記憶の平均値 - 中央値もエポック数の増加と相関の傾向がある. その他のモデルと比べると, 1 エポックのみの事前学習では小さい値となったが，事前学習を重ねるとより大きな値を示した。

その他のモデルでは, パラメタ数が大きいほど構築した評価セットでの記憶の性質が高まる傾向にあった. 先行研究 [10] でも報告されている通り, パラメタ数が大きいほど一般的な記憶の性質が高まるためだと推察される.

10）比較する 2 つの文字列の長い方

## 5 おわりに

本稿では公開と非公開の部分が共存する新聞記事の特性を考慮し，事前学習済み言語モデルからの訓練データ抽出に関する課題を議論するための，現実世界に即した評価セットの構築手法を提案した。日本語の新聞記事を用いた評価セットを構築した後,同じデータセットで GPT-2を事前学習し, 複数のモデルで訓練データ抽出を試みる実験を通じて，提案した評価セットから得られた知見を報告した.

事前学習済み言語モデルの実用化が進む中，この課題に関する議論は重要性を増している. 英語以外の言語特有の論点を特定し検証する目的でも，日本語のデータセットを用いた研究には大きな意義がある. 将来展望として，まずデータセットの構築や評価の方法の議論を深める必要がある. 本研究では評価セットとして 1000 件ランダムに抽出したが，より適切な条件に絞る方法も考えられる. 先行研究 [10] は記憶の性質が文字列の重複と関係するという知見 $[13,14]$ に基づき評価セットを構築した. 記憶の定義や評価指標も検討の余地がある. 先行研究 [7] はパラメタ数が異なる GPT-2 での生成確率の違いなど，メンバーシップ推論の 6 つの指標を利用した.

評価の枠組みを確立することで，訓練データ抽出に関連する手法の影響を検証できる。本研究では頜欲法を用いて一つのプロンプトから一つの文字列を生成したが, 先行研究 $[7,13,14]$ は top-k サンプリングといったデコーディング戦略の工夫で，多様な文字列の候補を大量に列挙した. 課題の対応策としては，データの削除や重複の排除 $[13,14]$, 差分プライバシを導入した学習時の工夫 [24], 危険な出力を特定し除外する後処理 [25] などが提案されている.

## 参考文献

[1] Alec Radford, Karthik Narasimhan, Tim Salimans, et al. Improving language understanding by generative pretraining, 2018.

[2] Alec Radford, Jeffrey Wu, Rewon Child, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[3] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are Few-Shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Emily M Bender, Timnit Gebru, Angelina McMillanMajor, et al. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623, New York, NY, USA, March 2021. Association for Computing Machinery.

[5] Laura Weidinger, Jonathan Uesato, Maribeth Rauh, et al. Taxonomy of risks posed by language models. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency, pp. 214-229, New York, NY, USA, June 2022. Association for Computing Machinery.

[6] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, et al. The secret sharer: Evaluating and testing unintended memorization in neural networks. In 28th USENIX Security Symposium (USENIX Security 19), pp. 267-284, 2019.

[7] Nicholas Carlini, Florian Tramèr, Eric Wallace, et al. Extracting training data from large language models. In 30th USENIX Security Symposium (USENIX Security 21), pp. 2633-2650, 2021.

[8] Huseyin A Inan, Osman Ramadan, Lukas Wutschitz, et al. Training data leakage analysis in language models. In 3rd Privacy-Preserving Machine Learning Workshop, January 2021.

[9] Reza Shokri, Marco Stronati, Congzheng Song, et al. Membership inference attacks against machine learning models. In 2017 IEEE Symposium on Security and Privacy (SP), pp. 3-18, 2017.

[10] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, et al. Quantifying memorization across neural language models. arXiv preprint arXiv:2202.07646, February 2022.

[11] Eric Lehman, Sarthak Jain, Karl Pichotta, et al. Does BERT pretrained on clinical notes reveal sensitive data? In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 946-959, Online, June 2021. Association for Computational Linguistics.

[12] Sanjam Garg, Shafi Goldwasser, and Prashant Nalini Vasudevan. Formalizing data deletion in the context of the right to be forgotten. In Advances in Cryptology EUROCRYPT 2020, pp. 373-402. Springer International Publishing, 2020.

[13] Nikhil Kandpal, Eric Wallace, and Colin Raffel. Deduplicating training data mitigates privacy risks in language models. In Proceedings of the 39th International Conference on Machine Learning, Vol. 162, pp. $10697-$ 10707. PMLR, 17-23 Jul 2022.

[14] Katherine Lee, Daphne Ippolito, Andrew Nystrom, et al. Deduplicating training data makes language models better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8424-8445, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[15] Sidney Black, Stella Biderman, Eric Hallahan, et al. GPTNeoX-20B: An Open-Source autoregressive language model. In Proceedings of BigScience Episode \#5 Workshop on Challenges \& Perspectives in Creating Large Language Models, pp. 95-136, virtual+Dublin, May 2022. Association for Computational Linguistics.

[16] Leo Gao, Stella Biderman, Sid Black, et al. The pile: An 800GB dataset of diverse text for language modeling. arXiv preprint arXiv:2101.00027, December 2020.

[17] Daphne Ippolito, Florian Tramèr, Milad Nasr, et al. Preventing verbatim memorization in language models gives a false sense of privacy. arXiv preprint arXiv:2210.17546, October 2022

[18] Kishore Papineni, Salim Roukos, Todd Ward, et al. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[19] Li Yujian and Liu Bo. A normalized levenshtein distance metric. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 6, pp. 1091-1095, June 2007

[20] Cynthia Dwork, Frank McSherry, Kobbi Nissim, et al. Calibrating noise to sensitivity in private data analysis. In Theory of Cryptography, pp. 265-284. Springer Berlin Heidelberg, 2006.

[21] Chiyuan Zhang, Daphne Ippolito, Katherine Lee, et al. Counterfactual memorization in neural language models. arXiv preprint arXiv:2112.12938, December 2021.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[23] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[24] Xuechen Li, Florian Tramèr, Percy Liang, et al. Large language models can be strong differentially private learners. arXiv preprint arXiv:2110.05679, October 2021.

[25] Ethan Perez, Saffron Huang, Francis Song, et al. Red teaming language models with language models. arXiv preprint arXiv:2202.03286, February 2022.

 & - & - \\

表 3 nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合いが高かった評価セット（公開・非公開部分）と生成結果.

## A 評価セットと生成の例

nikkei/gpt2-60epoch で 2 番目に逐語記憶の度合いが高かった評価セットと，実験で用いた各モデルの生成結果を表 3 に示す. 表 1 とは，公開部分が句点の前に終わっている点が異なる. 大まかな傾向は同じで，日経電子版のデータセットで事前学習したモデルでは，エポック数の増加に伴い逐語記憶・近似記憶の度合いが高まった。1 エポックのみの事前学習で「第 26 回国連気候変動枠組み条約締約国会議（COP26）」という文字列が生成されている.

その他の事前学習済み言語モデルでは，逐語記憶・近似記憶の度合いが小さい. 生成結果に文法的な誤りはなく違和感は少ないが，表 2 に示したパラメタ数が比較的小さい rinna/japanese-gpt2-small や rinna/japanese-gpt2-medium には「第 26」を与えた文脈では間違いとなる「сор24」「сор21」などの略称が含まれた。 パラメタ数が比較的大きい rinna/japanese-gpt-1b では正しい「COP26」の略称になっており，一般的な記憶の性質が高まっているが，非公開部分と比べて「国連」が欠落した。 abeja/gpt2-large-japanese は, 非公開部分と異な
り先進国首脳会議に言及した。なお三重県伊勢志摩で開催されたのは第 42 回で，第 26 回は沖縄県名護市だった. 表 1 と 3 の公開・非公開部分はそれぞれ日経電子版の記事 ${ }^{11)}{ }^{12}$ から引用した。

## B 事前学習の設定

事前学習は Transformers のドキュメント ${ }^{13)}$ を参考に，ハイパーパラメタを設定した。具体的には学習率を 0.005 , バッチサイズを 8 , weight decay を 0.01，最適化アルゴリズムを Adafactor とした. Transformers と TensorFlow のバージョンは 4.11 と 2.5 を用いた。計算資源には，GPU の A100を 8 個含む Amazon EC2 P4 Instances の ml.p4d.24xlarge ${ }^{14)}$ を使った．単語の分割には，語彙数 32000 のユニグラム言語モデルを用いた.テキストから直接語彙を生成できるため，日本語や中国語のように，単語間に明示的な空白がない言語に対して有効である。


# レシピに含まれる不使用な材料等に関する記述の抽出

山口泰弘 ${ }^{1}$ 染谷大河 ${ }^{2}$ 深澤祐援 ${ }^{1}$ 原島純 1
1 クックパッド株式会社 2 東京大学大学院 総合文化研究科
\{yasuhiro-yamaguchi, yusuke-fukasawa, jun-harashima\}@cookpad.com
taiga98-0809@g.ecc.u-tokyo.ac.jp

## 概要

レシピ中のテキストには，しばしば「卵不使用」 のように特定の材料等について不使用である旨を示す記述が含まれる。こうした記述は，例えば検索において「卵」で検索した際に「卵不使用」のレシピが表示される等，不都合な場合がある．そこで，本研究では系列ラベリングモデルを用いてレシピに含まれるテキストから不使用な材料／調理器具／調理工程を抽出する手法を提案する。 また，レシピ特有の表現に着目したデータ拡張手法も併せて検討した. 実験の結果，F185.1\% の抽出精度を達成し， データ拡張手法についてもその有効性が示された。

## 1 はじめに

クックパッドをはじめとしたユーザー投稿型のレシピサービスには多様なレシピが存在する. 投稿されるレシピの中には, しばしば特定の材料や調理器具等を使わずに調理できる旨を明示的に記載したものがある.「小麦粉不使用」や「卵アレルギー対応」等特定の食材を使わないことを示すものや，「火を使わずに」「圧力鍋なしで」のように調理法や道具を使わないことを表すもの等，対象となるアイテムや行為，表記方法は様々である。こうした記述は，閲覧者がアレルギーに配慮したレシピを探す際や，より簡単な調理法を探す際に有益な情報となり得る。

一方，このような不使用な食材等に関する記述はレシピ検索等の応用において不都合な場合がある.単純なテキストのマッチングに基づく検索では,「卵」で検索した際に「卵不使用」と記載のあるレシピが検索結果に表示されることがある. しかし材料名で検索を行うユーザーの多くはその材料を使ったレシピを探している可能性が高く, 当該材料を使わないレシピが検索結果に載ることは不自然だと考えられる。こうした課題を解決するためには，予めレシピ中から不使用と書かれた材料等の記述を検出し
ておく，といった対応が必要になる。

そこで本研究では，レシピ中のテキストから系列ラベリングモデルを用いて不使用な材料／調理器具 ／調理工程を抽出する手法を提案する。また，不使用に関連する記述に着目したいくつかのデータ拡張手法を検討し，実験を通してその効果を調査する。

## 2 関連研究

系列ラベリングは入力系列の各トークンにラベルを割り当てる手法であり, 固有表現認識や品詞タグ付け等のタスクで利用されている. 本研究では固有表現認識タスクの代表的な手法である BiLSTM-CRF [1]を元にしたモデルを利用する.

レシピ中のテキストを対象にした系列ラベリングの研究として, 材料や調理工程を検出する手法がいくつか提案されている [2] [3]. また, Cookpad Parsed Corpus (CPC) [4]のようにレシピに対して形態素, 固有表現，係り受けの情報を付与する取り組みもある. CPC では調理中に除去される材料の検出等, 文脈を考慮したより詳細な解析が試みられている。

また, レシピの材料や調理工程に着目した研究として，材料名の正規化 [5]，材料欄に含まれる非材料の検出 [6]，タイトルに基づく材料の予測 [7]，調理工程のグラフ構造化 [8] [9], 材料の上位下位関係の検出 [10]等がある. これらの研究はレシピ中で使用される材料や調理工程に着目しているが, 本研究では不使用な項目に焦点を当てる。

テキストのデータ拡張に関する研究には，単語の挿入・削除・置換等の処理を行う EDA [11] 等があり, 文分類タスク等での有効性が確認されている. また，Dai ら [12] は固有表現認識タスクを対象にしたデータ拡張としてメンションの置換やメンション以外のトークンのシャッフル等の手法を提案し, 予測性能の向上を示している.これらの研究とは異なり, 本研究ではレシピ固有の表現に着目したデータ拡張手法を用いることで性能改善を試みる。
表 1 アノテーションしたレシピの例テキスト

 \\

## 3 提案手法

## 3.1 データセットの作成

不使用に関する記述に着目したデータセットを新たに作成するために，172万品のレシピデータを含む Cookpad Recipe Dataset [13] から「不使用」等の記述を含むレシピ 7,000 件と無作為に選択したレシピ 3,000 件の計 1 万レシピを抽出した. 1 人のアノテータにより, 抽出したレシピのタイトル，説明のテキストに対して不使用であることが明記された材料/調理器具/調理工程のスパンのアノテーションを行った。表 1 にアノテーションしたレシピの例を示す. 作成したーデータセットは学習用／検証用／ テスト用に分割し, 学習と評価に利用した. 分割したデータセットの統計を表 2 に示す. データの収集やアノテーション方法に関するより詳しい情報は付録 A に記す。

## 3.2 データ拡張

作成したデータセットの観察から, 不使用に関連する記述には多様性があり, 各表現の出現頻度は不均衡であることがわかった。そこで，以下のデータ拡張手法を適用することでこの問題に対処する.

ReplaceSuffix “〜なし”のように，対象となるスパンの後方に続くことでそれらが不使用であることを示す表現について，それらの表現をランダムに入れ替える手法. 付録 B. 1 に示した表現に該当する箇所を，他の表現でランダムに置き換える.

ReplaceSeparator “A・Bを使わない...” のように複数のアイテムを対象に不使用であることを示す表現について, 列挙のパターンをランダムに入れ替
える手法. アノテーションされた直近 2 つのスパンに挟まれたテキストのうち，付録B. 2 に示した表現に該当するものを他の表現で置き換える。

SuffixToPrefix “〜なし”のようにスパンの後方に続く表現を，“ノン〜”(“ノンオイル”，等)のようにスパンの前方に付く表現に置き換える手法. アノテーションされたスパンの後に付録 B. 3 に示す表現が続く場合，“ノン〜”という形式に置き換える。

## 3.3 同義語による置換

上記のデータ拡張手法では，対象となる表現以外は変化せず，似た表記を持つテキストが多く生成されるため過学習につながる可能性がある. そこで, データのバリエーションを増やすためにデータ拡張によって生成されたテキストを対象としてテキスト中に含まれる単語をランダムに同義語に置き換える処理を合わせて行う．テキストを分かち書きした後, 各単語について料理関連語を対象として事前に定義した同義語辞書をもとに他の同義語へとランダムに置き換える。

## 3.4 不使用に関する記述の抽出

図 1 にスパン抽出に用いる系列ラベリングモデルの構造を示す. BiLSTM-CRF [1] をべースとしたニューラルモデルであり，レシピ中のテキストを入力として, 各トークンに対して BIOUL タグを出力することで不使用なアイテムのスパンと，それらのカテゴリ (材料／調理器具／工程)を予測する.

入力のテキストは形態素解析を行なったあと文字レベルでトークン化し, 文字系列 $\left(c_{1}, \cdots, c_{T}\right)$ と品詞系列 $\left(\tau_{1}, \cdots, \tau_{T}\right)$ に変換する。単語の境界情報を与えるために，品詞系列には図 1 に示すように BIOUL スキーマを用いて文字ごとに品詞情報を割り当てる方法を採用した. エンコーダへの入力は文字／品詞に対応する学習可能な埋め込み表現 $\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right), \boldsymbol{e}_{\mathrm{POS}}\left(\tau_{t}\right)$ を結合したべクトル $\boldsymbol{x}_{t}$ の系列とする.

$
\begin{aligned}
\boldsymbol{x}_{t} & =\boldsymbol{e}_{\mathrm{CHAR}}\left(c_{t}\right) \| \boldsymbol{e}_{\mathrm{POS}}\left(\boldsymbol{\tau}_{t}\right) \\
\boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T} & =\operatorname{Encoder}\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{T}\right)
\end{aligned}
$

エンコーダの出力から， CRFを通してタグ系列 $\boldsymbol{y}=\left(y_{1}, \cdots, y_{T}\right)$ の確率を計算する. 以下の $\theta_{y_{t-1}, y_{t}}, \boldsymbol{w}_{y_{t}}$ は CRF の学習パラメータを表す.

$
p\left(\boldsymbol{y} \mid \boldsymbol{h}_{1}, \cdots, \boldsymbol{h}_{T}\right) \propto \exp \left(\sum_{t=2}^{T} \theta_{y_{t-1}, y_{t}}+\sum_{t=1}^{T} \boldsymbol{w}_{y_{t}}^{\top} \boldsymbol{h}_{t}\right)
$

図 1 スパン抽出モデル

学習では以下の負の対数尤度を最小化するようにモデルのパラメータを最適化する.

$
\mathscr{L}=-\sum_{i} \log p\left(\boldsymbol{y}^{(i)} \mid \boldsymbol{h}_{1}^{(i)}, \cdots, \boldsymbol{h}_{T}^{(i)}\right)
$

## 3.5 スパンのフィルタリング処理

本研究で抽出対象とする 3 種類のスパンのうち,特に材料に関するものはレシピの材料闌の情報と組み合わせることで抽出精度の改善が期待できる. そこで，レシピの材料欄に基づいて抽出されたスパンのフィルタリングを行う方法を提案する。

前処理として, 抽出された材料のスパンと材料欄の材料名を対象に Harashima ら [5] の手法を利用して材料名の正規化を行う. 正規化した材料名同士を比較し，抽出した材料スパンのうち材料欄に含まれるものがあればそれらを取り除く。このフィルタリング処理により誤って抽出された可能性の高いスパンを除去することができるため，モデルの適合率の改善が期待できる.

## 4 実験と結果

## 4.1 実験方法

各種データ拡張手法を適用したデータセットを用いてスパン抽出モデルの学習を行い，性能の評価を行った. データ拡張処理では各手法について拡張対象の表現と変換パターンを可能な限り適用した. 学習データにデータ拡張を施した場合のデータセット規模の変化を表 3 に示す。より詳細なデータ拡張の設定，結果は付録 B に記す。表 3 各データ拡張手法適用後のデータセット規模

各テキストは予め fugashi [14] と IPAdic ${ }^{1)}$ により形態素解析を行い，その結果得られた品詞情報をモデルの入力とする. また，モデルのエンコーダには 2 層の双方向 GRU (BiGRU) [15] を利用した. モデルの学習では分割したアノテーションデータのうち学習データを用いてモデルのパラメータの更新を行い，検証データを用いた評価による Early Stopping を実施した. モデルのパラメータの最適化には AdamW [16]を用いた。

モデルの性能評価にはスパンベースの F1／ Precision / Recall を利用した. 学習時には Early Stopping を行い，検証データにおいて最も高いF1 スコアを達成した時点のモデルを採用した。

## 4.2 ベースライン手法

ベースライン手法として，以下 2 つの抽出方法を採用した. どちらの手法についても， 3.5 節のフィルタリング処理と併せて予測を行なった。

Dictionary-based Extractor Cookpad のサービスで利用されている独自の辞書に基づいてテキスト中から候補となる材料・調理工程・調理器具のスパンを抽出する手法.

Dependency-based Extractor テキストの依存構造解析を行い，「不使用」等のキーワードと係り受け関係にある名詞を抽出する手法. 依存構造解析には $\mathrm{GiNZ}^{2}$ を利用した。抽出したスパンのラベルは Dictionary-based Extractor でも利用した独自の辞書に基づいて決定した.

## 5 結果と考察

表 4 に実験結果を示す. 2 つのベースライン手法と BiGRU-CRF を比較すると，F1において BiGRU-CRF モデルが+20\%以上高い性能を示した. Dictionary-based Extractorについては， Recall は比較的高いが，材料以外はフィルタリング処理されないことや，“〜にもあう”のような表現を伴うレシピ

表 4

テストデータにおけるモデルの予測精度

表 5 ラベルごとの予測精度

と直接関係のない食品のスパンも抽出されたことで，Precision は他の手法に比べて特に低い結果となった. Dependency-based Extractor では BiGRU-CRF と比較して高い Precision を達成したが, 予め定義したパターン以外は抽出できないことや依存構造解析の誤り等の影響で，特に Recall が低くなる結果となった.

データ拡張の効果各データ拡張手法に着目すると，すべての手法でデータ拡張を用いない場合と比べて F1 スコアの上昇が見られた. データ拡張を個々に適用した場合，いずれの手法においても Precision の上昇が確認できたが，Recall については下がる傾向が見られた. 一方，全てのデータ拡張手法を適用した場合には全ての指標について改善が見られ, Precisionでは+3.9\%の改善, Recall においても $+0.1 \%$ と若干の上昇となった. データ拡張で考慮された記述パターンを含むテキストについて検出精度が向上することで Precision の上昇につながったと考えられる。一方，false-negative な誤りの多くは “〜の代わりに”や“〜を避けたい”のように今回のデータ拡張の設定で考慮されていないものであり， Recall の更なる改善にはこうした表現に対応する学習データの追加やデータ拡張の設定が必要になると考えられる。

ラベルごとの予測精度表 5 に BiGRU-CRF + All モデルのラベルごとの予測精度を示す. F1による比較では材料の抽出精度が最も高く, 次いで調理器具, 調理工程という結果になった. 特に調理工程については，調理器具よりも学習データに含まれるスパンの数が多いにも関わらず，他のラベルと比較していずれの指標においても低い性能を示した．材料や調理器具のラベルが付いたスパンは，その多くは一般名詞であることから予測が比較的容易であると表 6 同義語による置換とスパンのフィルタリングの効果

考えられる。しかし, 調理工程については学習デー タに含まれる事例が比較的少ない一方で「一晚寝かせ」のように複数の単語からなるもの等表現のバリエーションが多いため，他の 2 つのラベルに比べて予測が困難であると考えられる。

同義語による置換の効果同義語による置換処理を施していないデータセットで BiGRU-CRF + All モデルを学習した結果を表 6 に示す. 置換処理を行わない場合，すべての指標において性能の低下が見られたが，特に Recall において $-2.2 \%$ の顕著な性能低下が見られた. 同義語置換なしの設定では共通した語句を持つテキストが多く生成されるため，モデルが限られたパターンのみに適合したことで Recall が減少したと考えられる.

スパンのフィルタリング処理の影響スパンのフィルタリング処理を適用しない場合の性能比較を同様に表 6 に示す. フィルタリング処理を適用した場合と比較して，F1で $-1.0 \%$, Precision では $-2.3 \%$ の性能低下が見られた. 特に Precision の変化から，提案したフィルタリング処理を用いることでBiGRU-CRF モデルが誤って検出したスパンを排除できることがわかった。一方，Recall においてはフィルタリング処理しない場合の方が $+0.5 \%$ ほど高い精度となった. これはフィルタリング処理によって本来抽出するべきスパンが誤って排除されたことによるものと考えられる. フィルタリング処理の導入により，Recall においては若干の性能低下が見られたが，Precision においては期待した改善が見られ，F1の向上に寄与した.

## 6 おわりに

レシピ中のテキストに含まれる不使用な材料／調理器具／調理工程に関する記述を抽出するために,系列ラベリングを用いた抽出手法と，レシピ特有の表現に着目したデータ拡張手法を提案した. 実験の結果，F1 スコアで $85.1 \%$ の抽出精度を達成し，提案したデータ拡張手法の有効性が示された。今後は抽出精度の改善やレシピ検索等の応用に向けて, 系列ラベリング以外の抽出手法の検討や検索タスクによる評価等を行いたい。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), 2016.

[2] Makoto Hiramatsu, Kei Wakabayashi, and Jun Harashima. Named Entity Recognition by Character-based Word Classification using a Domain Specific Dictionary. In Proceedings of the 20th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 2019), 2019.

[3] Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named Entity Recognizer Trainable from Partially Annotated Data. In Conference of the Pacific Association for Computational Linguistics (PACLING 2015), 2015.

[4] Jun Harashima and Makoto Hiramatsu. Cookpad parsed corpus: Linguistic annotations of Japanese recipes. In Proceedings of the 14th Linguistic Annotation Workshop (LAW 2020), 2020.

[5] Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management (CEA 2018), 2018.

[6] Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient Detection in User-generated Recipes using the Sequence Tagging Approach. In Proceedings of the Sixth Workshop on Noisy User-generated Text (W-NUT 2020), 2020.

[7] 深澤祐援, 西川荘介, 原島純. マルチラベル分類による材料推薦モデル. 言語処理学会第 27 回年次大会発表論文集 (NLP 2021), 2021.

[8] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow Graph Corpus from Recipe Texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014), 2014

[9] Lucia Donatelli, Theresa Schmidt, Debanjali Biswas, Arne Köhn, Fangzhou Zhai, and Alexander Koller. Aligning actions across recipe graphs. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), 2021.

[10] Young-joo Chung. Finding food entity relationships using user-generated data in recipe service. In Proceedings of the 21st ACM international conference on Information and knowledge management (CIKM 2012), 2012.

[11] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), 2019.

[12] Xiang Dai and Heike Adel. An analysis of simple data augmentation for named entity recognition. In Proceedings of the 28th International Conference on Computational Linguistics (COLING 2020), 2020.

[13] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), 2016.

[14] Paul McCann. fugashi, a tool for tokenizing Japanese in python. In Proceedings of Second Workshop for NLP Open Source Software (NLP-OSS 2020), 2020.

[15] Kyunghyun Cho, Bart van Merriënboer, Dzmitry Bahdanau, and Yoshua Bengio. On the properties of neural machine translation: Encoder-decoder approaches. In Proceedings of Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation (SSST 2014), 2014.

[16] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proceedings of International Conference on Learning Representations (ICLR 2019), 2019.

## A データセットの詳細

## A. 1 レシピの収集方法

不使用に関する記述を含むレシピを効率的に収集するために，Cookpad Recipe Dataset [13] に収録されたレシピを対象に，タイトル・説明文に以下の表現を含むものをランダムに 7,000 件収集した:

使わ／つかわ／使い／使って／つかって／使用／不要／なし／無し／いら／要ら／せず／しない／しなく/アレルギー

また，データの偏りを考慮して上記で選ばれなかったレシピの中からランダムに 3,000 件のレシピを取得し，データセットに加えた。

## A. 2 アノテーションの詳細

収集したレシピのタイトル (title), 説明 (description) を対象に，当該テキストの記述のみからそのレシピ全体で不使用であることがわかるもののみを対象にスパンのアノテーションを付与した. また「○○なしでも OK」のように，アイテムを使わないことがオプションである旨が記載されたものに関してはアノテーションを行わないこととした.

## B データ拡張手法の詳細

各種データ拡張手法について，詳細な設定を以下に示す. また，表 7 に各手法で対象となる学習デー タ中のテキストノスパン数の統計情報を示す.

## B. 1 ReplaceSuffix

スパンの後方に続く表現が以下のいずれかに当てはまるとき，他の表現による置き換えを行う: なし /いらず／使わない／使ワナイ／を使わない／不要 ／不使用／要らず／なし／無し／ゼロ

## B. 2 ReplaceSeparator

スパンに挟まれた表現が以下のいずれかに当てはまるとき，他の表現による置き換えを行う: ・(中点) ／\&(アンパサンド) $/$ ，(読点) $/$ や(並立助詞) (空白)

## B. 3 SuffixToPrefix

スパンの後方に続く表現が以下のいずれかに当てはまるとき，それらを消してスパンの前方に“ノン” を追加する処理を行う: なし／ナシ／無し／不使用

## B. 4 データ拡張の例

全てのデータ拡張手法と同義語による置換を行ない得られたテキストを表 8 に示す.

表 8 データ拡張により生成された文の例

(a) 例文 1

原文卵・乳製品不使用の簡単もっちりスコーン』

生成例 1 卵乳製品いらずの超簡単モッチリスコーン』

生成例 2 卵\&乳製品不要のかんたんもっちりすこーん』

(b) 例文 2

原文おからでイタリアンえピザ風え小麦粉不使用

生成例 1 卯ノ花でイタリア料理凸ピザ風々ノン小麦粉

生成例 2 オカラでイタリアぬピザ風々小麦粉を使わない


# 新規用途探索を目的とした技術文書からの材料情報抽出

有馬隆広 大熊智子 出羽達也
旭化成株式会社
\{arima.tf, okuma.td, izuha.tb\}@om.asahi-kasei.co.jp

## 概要

近年，材料分野において自然言語処理技術に大きな期待が寄せられている。その中でも特に強いニー ズとして新規材料の用途探索がある.とりわけ，まだ工業製品で汎用的に採用されていない新規材料には様々な用途が想定されるため, 用途探索は材料開発の現場において重要度の高い業務である. 本稿では，用途探索が必要な新規材料の例として金属有機構造体 (MOF) を対象にした特許文書の要旨を題材にする。特許文書から材料名と発明の用途を固有表現抽出によって取得し，その結果にもとづいて本夕スクの課題について議論する。

## 1 はじめに

材料分野において自然言語処理技術への大きな期待が寄せられている. 特許文書や学術論文から材料に関わる情報を抽出して知識べースに新規化合物を登録することや，材料の合成プロセスを抽出して実験を支援することが望まれている。さらに，この分野特有のニーズとして用途探索がある. 特にまだ汎用的に利用されていない次世代の新素材にはその素材の持つポテンシャルにもとづき様々な用途が想定されるため, 研究開発の現場において重要度の高い業務である.

このような背景から，技術文書からの材料情報の抽出は国内外で取り組まれてきた。 上述のような知識ベースの構築や実験プロセスの自動抽出を目的とした辞書やコーパスが公開されてる. しかし，その抽出対象は主に材料，物性，操作に関するものでありここで対象とする用途に関する情報の抽出に取り組んだ事例は殆どない.

本稿では，材料開発における用途探索業務の支援を目指して，英文特許文書からの情報抽出を行う.用途探索が必要な新規材料の例として金属有機構造体（MOF）を対象にした特許文書の要旨を題材にする. 図 1 に示すように材料と用途を示す表現にアノ

図 1 特許文書における材料（material）と用途（usage）

テーションを行った. 用途と材料の情報抽出には BERT と BERT+CRFを用いた. 評価実験の結果にもとづき，本タスクの課題について議論する。

## 2 関連研究

特許文書から有用な情報を抽出する試みは以前から取り組まれてきた. [1] では特定の構文パターンを用意することによって技術の応用について書かれた部分を「特徴表現」として抽出している。しかし，その対象にはどのような技術を使ったものなのかなどは含まれておらず，「特徴表現」自身も限定的な範囲に留まっている.このようにあらかじめパターン記述や教師データなどを作成しない情報抽出手法として [2] がある. この手法では請求項間の語の重なりを考慮して発明の新規な部分をキーワードとして抽出するが，本研究では発明中に出現する材料のすべてとその用途を網羅的に抽出することを目的としている.

一方で，材料分野の技術論文を対象にした言語資源がいくつか公開されている. [3] では技術論文から材料の合成プロセスの情報を抽出するためのコー パスを構築している. このコーパスでは材料とそれに対する操作や数量などの個有表現とそれらの関係がアノテーションされている。BioCreativeIV[4] では主に創薬支援を目的とした化学物質と病名などの固有表現を含むコーパスが公開されており，このコーパスを使った固有表現抽出の取り組みがある [5].

材料分野における言語資源としてコーパスだけで

なく知識ベースやオントロジーも開発されている.

日本化学物質辞書（日化辞）は有機化合物のデータベースであるが検索可能な形式で Web 上で公開されている [6]. [7] では日化辞を含む様々なデータベースの情報を対象にした複合名詞の抽出によって化合物情報の可視化を行っている.

しかし，いずれも言語資源に含まれる情報の大半は材料そのものであり用途に対してアノテーションを行ったコーパスは存在しない. 本研究ではこれまでにない新たな取り組みとして材料だけではなくそれによってもたらされる機能である用途に対してアノテーションを行ったコーパスを構築し情報抽出を行う.

## 3 コーパス

## 3.1 対象データ

本研究では米国で出願された特許のうち “metal organic framework"もしくは “coordination polymer” を含み,さらに 'application', 'purpose', 'use' のいずれかの語を含む特許の要旨のテキストを取得した。これらの条件はテキスト中に MOF を使った発明の用途が明記されているものを選別するために設定した. さらに，その中から 350 件をサンプリングし， 1) MOF を使った発明ではなく MOF の製法に関するもの, 2)MOF に関連しないもの, 3) 用途についての記載がないもの，のいずれかに該当する特許を目視で確認して除外した. その結果, 最終的に 263 件の文書が得られた。

## 3.2 仕様

## 3.2.1 アノテーションの方針

アノテーションは材料分野に関する知識を有する 1 名が brat ${ }^{1}$ 上で行った.

名詞句今回設定した 2 種類のタグはなるべく体言に対して付与する. また，文頭の冠詞や前置詞などはタグの範囲に含めないようにする. 副詞や形容詞が材料を示す名詞句を修飾している場合にはそれらが材料名にとって必須の構成要素になりうるかどうかを個別に判断するよう指示した。これは例えば “inorganic nanoparticles” において 'inorganic' が形容詞であっても材料名の中心的な意味を表す場合があるからである。一方で，複合名詞に関してはなる

1) https://brat.nlplab.org/

図 2 並置表現を対象にしたアノテーションの範囲ベく広くタグの中に含めるようにした。

述語表現を含む句 usage には述語や項を含むような表現も存在するため、そのようなフレー ズもアノテーションの対象とした. ただし、 "sensing platform for detecting the presence or amount of target nucleic acid, particularly HIV-1 ds-DNA” における “particularly HIV-1 ds-DNA” のように補足的な副詞節はその範囲に含めないようにした。

並置表現材料分野に限らず，特許には並置表現が多く含まれる，今回のアノテーションでは，接続詞で並列になっている名詞句が形容詞句によって均等に修飾されている，あるいは並列する修飾成分が同一の名詞句を修飾している場合は分離せず，そうでないものは別々のタグを付与することにした。この方針の具体例を図 2 に示す. (1)はエンティティの中心となる名詞句が複数の修飾を受けているため接続詞 'and’を含む名詞句全体に一つのタグを付与している2).しかし，(2)のケースのように名詞句がそれぞれ独立して出現する場合には個別にタグを付与する方針とした。

## 3.2.2 material

材料を指す表現は分子や化合物から複数の材料によって作られた物質まで粒度の異なる様々なエンティティがある．本稿ではそれらの粒度の区別はせず一律に material タグを付与した。これは，本研究の最終的なゴールがマテリアルズ・インフォマティクスを目的とした実験設定の抽出を目指すものではなく，用途探索を目的とした発想の支援にあるためである。従って下記のような表現が material のアノテーション対象に含まれる。

元素記号/化学式先行研究では 'Au', 'Ag' などの元素記号や 'CO2', 'N(C1-6-alkyl)2' などの化学式が材料として抽出されている。さらに，'-NH2’のように官能基を示す化学式も存在する。

2）discontinuous なタグを付与することも考えられるが今回はアノテーション作業の負荷を考慮して仕様に入れなかった
物質の構造 $/$ 形態 /総称今回，情報抽出の対象にした MOF のように，特定の物質を指すのではなく物質の構造や形態あるいは物質の総称を指す表現もアノテーションの対象にした。具体的には 'fluid', 'mixture', 'ligand', 'polymer', などである.

物質の一部エンティティの中には物質全体を指すのではなく，その一部を指す表現が含まれる。例えば ‘membrane'，'layer’や ‘surface’などがこれに相当する.

一般名詞化学記号や化学式ではなく一般名詞として記述されている材料も多い. 'copper' や 'silver' などよく用いられている金属は一般名詞で記載されている.

物質の役割物質そのものを指すのではなく，その物質が合成プロセスにおいて担う役割を指すエンティティが存在する. 'catalyst' や 'reactor', 'media' などがこれにあたる. ただし，実際にアノテーションを行うとこのような物質の役割が用途として書かれていることもあった. 今回はその発明が提供する機能かどうかによって material と usage の判断を行ったが，今後はより明確な基準を設定する必要がある.

## 3.2.3 usage

用途を表す表現は下記に示すように比較的長いフレーズである場合がある.

装置特許文書であるため, 'battery' や 'sensor’’ などの装置を指す表現が比較的多い，今回のアノテー ションでは MOF が直接関わらないものであってもタグを付与した。

動作 "remove the contaminants from a stream of electronic gas" や “separating hydrogen molecules” など具体的な動作と対象についての記述がある。このように具体的な動作を記述する場合はエンティティというよりも述語と項から構成されるフレーズであることも多い。

## 3.3 統計情報

表 1 に本実験で作成したコーパスの統計量を示す. usage に比べて material の数が 5 倍以上多いのは，一つの用途に対して複数の材料が用いられることが考えられる．また異なり数の割合が usage の方が高い。これは要旨の中であっても，特許では同じ材料に対する記述が繰り返し現れる傾向があることに起因している。表 1 コーパスの統計量

図 3 エンティティの長さ（語数）の分布

図 3 に material と usage のエンティティを構成する単語数の分布を示す. material はエンティティを構成する語の数が多くなるほど頻度が低くなる傾向があるが，usage は語数によらず比較的頻度が一定である。これは物質名が主である material に比べて usage の表現が多様であることを示している.

## 4 実験

アノテーションでは，特許の要約テキストを対象に，文に含まれる単語に対して固有表現ラベル material, usage を付与した. 固有表現抽出は系列ラべリングタスクとして取り組み，アノテーションを付与したデータセットを 6:2:2 の割合で訓練・開発・評価に分割して使用した。具体的には，対象テキストをモデルへ入力して各トークンの分散表現を得，分散表現を全結合層に入力して得られた結果を更に $\mathrm{CRF}$ 層へと入力することで各トークンに対する固有表現ラベルを判定する．モデルとしては，BERT に全結合層のみ追加したモデルと，BERT に全結合層と $\mathrm{CRF}$ 層を追加したモデルの 2 種類をベースラインとして検討し，どちらのモデルにおいても BERT $_{\text {base }}$ を利用して fine-tuning を行った ${ }^{3)}$.

3） パラメータは以下の通り。最大系列長:512，バッチサイズ:8, エポック数:5, 学習率:1e-5, 最適化アルゴリズム:Adam
表 2 固有表現抽出の実験結果

material usage

## 5 実験結果と考察

## 5.1 実験結果

表 2 に固有表現抽出の実験結果を示す. どちらの固有表現カテゴリにおいても，BERT と比較して BERT+CRF の方がより高い性能を示している. material の $\mathrm{F}$ 值は 0.77 という一般的な専門用語抽出とほぼ同等の性能が得られた。しかし, usage は $\mathrm{F}$值が 0.5 にも満たない性能であり固有表現抽出というタスク設定が適切だったのか再考する必要がある. usage の方が material よりも抽出精度が低い理由として，訓練データに含まれる数が少ないことや，エンティティの長さが比較的長いことが挙げられる。

## 5.2 エラー分析

抽出エラーについて，スパンとラベルの誤りにどのような傾向があるかを観察した.

スパンの誤り傾向スパンの誤りに比較的多く見られたのは, 図 4 に示すように usage タグの一部に material が含まれているとその部分だけを material と誤って推定してしまうケースである. 今回はアノテーション作業の負荷を考えて入れ子構造を仕様に入れなかったがこのようなエラーを回避するためには検討する必要がある. またエンティティがスパンの途中で切れる・スパンの途中から始まる・途中で 2 つに区切られるケースについては，コーパスに含まれる全エンティティ数が十分な量でないことで訓練データに含まれる文字数が比較的長いエンティティの数も少なくなったことによると考えられる.

ラベルの誤り傾向スパンは一致しているが usage でなく material に誤るケースがある.このエラーは文脈によって材料名にも用途名にもなり得る単語が存在することに起因すると考えられる。

## 6 おわりに

本稿では材料の新規用途探索を行うための第一歩として，特許文書中に含まれる材料名とその用途に対してアノテーションを行った. その結果, 材料名

図4 固有表現抽出結果と正解のギャップ

と用途はいずれもその出現形態や内容が多岐にわたり，特に用途は体言では無い表現も多いことが分かった. また，BERT による抽出実験によって材料名については固有表現抽出と同じ方式で実用的な精度に達する見込みがあることを示した。但し，用途については同じ方式で抽出することが難しく，文分類などの別のタスク設定を検討する必要があると思われる。

今後は本研究の最終的な目的である用途探索に向けたテキストマイニングをユーザと共に実施し，今回行った情報抽出の有用性や必要な精度などを検証したい.

## 参考文献

[1] 西山莉紗, 竹内広宣, 渡辺日出雄, 那須川哲哉. 新技術が持つ特徴に注目した技術調査支援ツール. 人工知能学会論文誌, Vol. 24, No. 6, pp. 541-548, 2009.

[2] Shoko Suzuki and Hiromichi Takatsuka. Extraction of keywords of novelties from patent claims. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics, 2016.

[3] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, 2019.

[4] Biocreative IV, $2014 . \quad$ https://biocreative. bioinformatics.udel.edu/resources/biocreative-iv/ chemdner-corpus/.

[5] 渡邊大貴, 田村晃裕, 二宮崇, 牧野拓哉, 岩倉友哉. 化学分野の固有表現抽出のための化合物名を含む文の言い換え学習を用いたマルチタスク学習手法. 自然言語処理, Vol. 29, No. 2, pp. 294-313, 2022.

[6] NBDC 版日化辞 rdf. http://dbarchive.biosciencedbc. jp/jp/nikkaji/desc.html.

[7] Kazunari Tanaka, Tomoya Iwakura, Yusuke Koyanagi, Noriko Ikeda, Hiroyuki Shindo, and Yuji Matsumoto. Chemical compounds knowledge visualization with natural language processing and linked data. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.


# 舶用ディーゼル機関に関する問い合わせ対応用 チャットボットのための類義語辞書の自動生成

美尾樹 ${ }^{1}$, 小原孝介 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔一 ${ }^{2}$
${ }^{1}$ 株式会社三井 E\&S マシナリー ${ }^{2}$ 岡山大学大学院 自然科学研究科
\{tatsuru-mio, oharak, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp,
takeuc-k@okayama-u. ac. jp

## 概要

技術的な問い合わせへの対応を行うチャットボットが必要とする, 特定の分野における類義語を記述した辞書データを，自然言語処理技術を利用して自動生成する。マニュアルや実際の問い合わせ記録から word2vec 埋め込みモデルを作成し, 同コーパスに含まれる名詞の分散表現を得た。これらの名詞の間で類似度が高いものを 2 段階で判定することで，チヤットボット用の類義語データを作成する.

## 1 はじめに

舶用ディーゼル機関は，多数のパーツからなる巨大で複雑な機械であり, 過酷な条件で用いられることから, 適切なメンテナンスは欠かせない.しかし， これらの機関は世界各地で昼夜問わず稼働しており，様々なタイミングで発生するトラブルに対し, 技術的な支援を必ずしもタイムリーに提供できていない． さらに, 洋上のような孤立した場所でトラブルが発生した場合, この問題はより深刻になる。

一方で，トラブルに関する問い合わせの内容は必ずしも高度な内容ではなく, 中にはマニュアルやフローチャートを参照すれば対応できてしまうものも含まれる。こうした問い合わせへの対応を自然言語処理技術の活用により自動化できれば，アフターサ一ビス担当者のスケジュールや時差に囚われず，夕イムリーな回答が可能となる. さらに, 定型的な対応が可能なトラブルに対応する負担を軽減することで，重点的な対応が必要な案件にリソースを振り向けることが可能となり, 全体としてのアフターサー ビスの質を高めることが可能となると期待できる.技術的な問い合わせへの対応を自動化するにあたっては，従来通りの自然言語による質問が可能なチヤットボットを用いるのがサービスの質を維持する [1]ためにも望ましい. 近年, チャットボットの普及は徐々に進んでおり，現在では対話に用いるデータ
を読み込ませるだけで活用できるパッケージ化された製品も利用可能となっている[1]. しかしながら， これらのソフトウェアは一般的な分野に対するテキストを処理するように調整されており，本研究対象の船用機関のように高度に技術的で，かつ狭い分野のテキストを扱うためには，その分野の類義語デー タや専門用語データを与えることが望ましい。しかし，専門家にとって専門用語は日常用いる言葉であるため用語であると意識することや，網羅的に書き出すことは簡単ではない.

先行研究において文書に対して word2vec を適用することで文脈が類似している類義語を獲得する手法が提案されている(例えば[3]). 専門分野の文書に word2vec を適用し，得られたべクトル間の類似度を利用することで専門分野における類義語を獲得することが期待できる.

そこで, 社内に蓄積されてきた専門的な内容の文章データ(コーパス)を形態素解析し, 抽出した単語を基にチャットボット用辞書データを作成することを試みた。本稿ではその日本語の類義語辞書データの自動作成について述べる。

## 2 手法

## 2. 1 コーパス

本手法で用いたコーパスは，（1）ディーゼル機関及び周辺装置の取扱説明書ならびに（2）技術的な問い合わせとそれに対する返答の電子メール記録に由来する. (1)の取扱説明書は pdf 形式や docx 形式のファイルとして存在し, 分量は少ないながらも様式・文章ともに整っている。内容の網羅性・正確性も比較的高く，重要な専門用語も多く含むものであることが期待される．学習で利用できるようにテキスト部のみを抽出したところ，これらのデータは約 4 MB の大きさとなった (UTF-8, 以下同様)。(2)は,実際のトラブルや整備に関する問い合わせと，それ
(a)

(b)

図 1. (a) 各 word2vec モデルの $t_{\mathrm{w}}=0.7,0.8,0.9$ における抽出類義語数 (b) 各モデルにより抽出された類義語及び類義語グループ数 (dim.: ベクトル次元数, ep.: エポック数)

に対する回答や提案などを記録した，約 11 年に渡る電子メールのやり取りである。こちらについては様式に個人差があり，誤字・脱字もしばしば見られる.しかし, これらはチャットボットが対応すべき業務そのものの生の記録であり，分量も比較的大きい $(22 \mathrm{MB})$ ことから, 実践的なデータとしての役割が期待される．和文・英文が混在していることから，仮名・漢字を含む文のみを抽出し，ルールベースの処理でメール特有の無関係な記述 (署名や引用されたメールのヘッダを書き出したものなど)を削除した上で用いた. 最終的に両テキストは合体させ, 約 26 MB の単一のコーパスとした.

## 2.2 複合名詞のリスト

上記のコーパスから，類義語の候補となるすべての複合名詞を取得した. まず辞書として UniDic (cwj3.1.0)を用いて MeCabによる形態素解析を行い，一続きになっている名詞を収集した.この際, UniDic の詳細な品詞体系を活用し，専門用語によくみられる長い複合語を収集できるようにした。

## 2.3 単語の埋め込み

類似度算出のための単語埋め込みモデルの構築には， 2.1 のコーパスで訓練された word2veciを使用した. 以降, 単語間の類似度の算出にはコサイン類似度を用い, 複数単語からなる語については, 構成する単語のベクトルの単純な和を語全体のベクトルとした.

なお，当初は複数単語からなる語を含む未知語の

扱いに便利な fastText ${ }^{\mathrm{ii}}$ を使用することも試みたが， おそらくコーパスのサイズ不足のため語の意味的な類似度を正しく算出できなかった。

## 2. 4 類義語ペアの判定

複合名詞リストの複合語を構成する単語同士の類似度を，上記の埋め込みモデルでのコサイン類似度として 2 段階で算出し, 類義語と判定される語のぺアを求めた. 判定の第 1 段階では，リストに含まれる名詞句のうち, 共通の単語を含むもの同士の類似度を算出し, 一定の閾値 $t_{\mathrm{p}}$ より高ければ第 2 段階に移る. 第 2 段階では複合名詞の間で共通しない単語同士の類似度を算出し, 一定の閾値 $t_{\mathrm{w}}$ より高ければこれらの単語を類義語ペアと認める.

例を挙げると, 複合名詞のリストに「スティック防止」と「固着防止」があったとき，まず「スティツク防止」と「固着防止」の類似度が $t_{\mathrm{p}}$ より大きく, かつ両名詞句で共通しない「スティック」と「固着」 の類似度も $t_{\mathrm{w}}$ より大きければ，「スティック」と「固着」を類義語と見なすことになる。

## 2.5 類義語グループの出力

全類義語ぺアを辺とするグラフにおいて，各連結成分の頂点の集合を 1 つの類義語グループとする. つまり，ある単語から類義語ぺアをたどって結びっくすべての単語を類義語グループとする．最終的にこれを人手で修正することで，本稿の目的であるチヤットボット用類義語辞書を得た.

## 3 実験結果

以上の手順において, $t_{\mathrm{p}}=0.6$ とし, $t_{\mathrm{w}}=0.7,0.8,0.9$ として結果を比較した。また, 類似度の算出に用いる word2vec モデルについても, ベクトル次元数とエポック数が異なるものを 4 種用いて比較した.

結果の評価には, 出力された類義語グループのうち, 妥当と判断されたグループの数と, それに含まれる単語の総数を用いた。なお，この手法では数十以上の単語が含まれる巨大な類義語グループが出力されることがあるが，これは類義語辞書作成者の負担を軽減するのに役立たないため妥当ではないと判定した.このようなグループは $t_{\mathrm{w}}$ を高くすることによって小さなグループに分かれ，活用できるようになる可能性がある.

まず，各モデル・間値 $t_{\mathrm{w}}$ について抽出できた類義語数を図 1a に示した. 次元数・ベクトル数ともに大きくしたモデル(dim. 300 ep. 50)では，技術的な類義語は抽出されなかった. 残りの 3 つのモデルをエポック数の観点から比較すると, エポック数の小さいモデル(5 エポック)では $t_{\mathrm{w}}=0.8$ の時に最も多くの類義語が抽出できているのに対し, エポック数の大きいモデル(100 次元 50 エポック)では $t_{\mathrm{w}}=0.7$ の時に最大になっていることが分かる. これは, エポック数を深くするほど，類似度が低く算出される傾向を反映していると考えられる. 次元数の観点から比較すると, 100 次元のモデルはエポック数を増やしても結果が大きく変化しないのに対して，300 次元のモデルは全く類義語を抽出できなくなってしまっている.これは, 今回のコーパスの規模に対して 300 次元が過剰で，過学習を引き起こしたためと考えられ， コーパス数に合ったモデルを使用することの重要性を示しているii.

を排してモデルごとに集計したものを図 $1 \mathrm{~b}$ に示した. 語数で見てもグループ数で見ても傾向は変わらず， 100 次元 5 エポックのものが最も良い結果を示していることが分かった. しかし, これら 3 のモデルの結果をさらに統合し, 全モデルの全条件で得られた類義語の数を求めると, 74 グループ 179 語が得られた. これはどのモデル単独よりも大きく, 各
モデルがそれぞれ異なった類義語の抽出に成功していたことを示している。これによれば，条件を変えながら複数モデルで抽出を行うことで，さらに多くの類義語を得られる可能性があり, より網羅的な類義語辞書を作成する上で役立てられる。

最後に, 得られた類義語グループの例を挙げると (運航, 運行, 航海, 航行, 運転), (ブザー, ゴング), (解放, 開放)などがあった. 第 1 の例は船舶の運航に関連する語群で，舶用ディーゼル機関にとっては重要かつ近い意味を持った語であるといえる. 第 2 の例は一見奇妙に思えるが，実際に警告音としてゴングが用いられている箇所があることから, 狭い分野での特有の類義語の抽出に成功していることを表している. 第 3 の例は同義語ではなく誤字に近いものだが，電子メールのやり取りでは「開放」を「解放」 と表記する例が非常に頻繁に見られ，その実態を反映した結果になっているといえる。チャットボットに入力する際もこの表記ゆれが発生する可能性は高く，登録しておいた方が利用者にとって便利であると考えられる。

## 4 まとめ

製品の取扱説明書と，製品に関する技術的な問い合わせの電子メール記録から単語の埋め込みモデルを作成することで， 150 語以上の類義語の抽出に成功した. この際, モデルのパラメータを変更することで異なった類義語が得られることも明らかになった. 今後は, 今回作成した類義語辞書をチャットボットに登録して運用を開始するとともに，チャットボットの運用ログから未登録の類義語を発見することで，継続的に性能を改善できる機構を開発していきたいと考えている.

## 参考文献

[1] 木下, 薦田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[2] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

［3]伴, 高橋, 位野木. word2vec を用いた同義語辞書自動作成手法の提案と適用評価, 情報処理学会第 81 回全国大会，5N-04（2019）


# BERT を利用したチャットボットの Q\&A データ自動作成

小原孝介 ${ }^{1}$, 美尾樹 ${ }^{1}$, 多村新平 ${ }^{1}$, 今上博司 ${ }^{1}$, 佐藤功一 ${ }^{1}$, 滝澤一樹 ${ }^{1}$, 竹内孔 ${ }^{2}$
}

1 株式会社三井 E\&S マシナリー 2 岡山大学大学院 自然科学研究科

 }^{1}\left.\{}.$ oharak, tatsuru-mio, tamura_s, hiro4, kochan, kazuki_takizawa\}@mes.co.jp, ${ }^{2}$ takeuc-k@okayama-u.ac.jp
## 概要

本稿では，メールの文章を利用してチャットボッ卜に搭載する $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成するための手法を提案する. BERT を利用して Q\&A データ作成に必要な語句の推論モデルを作成し, Q\&Aデー 夕作成に必要な語句を推論した. また, 語句の推論結果から Q\&A データの Answer となる文章を作成した場合，過去の応対記録を含む文章が作成されていることを確認した。

## 1 はじめに

舶用ディーゼル機関は船上で昼夜問わず稼働しており，技術者に対して日々舶用ディーゼル機関の部品・システムに関する様々な問い合わせが行われている. 現在, 技術者が舶用ディーゼル機関に関する問い合わせに対して主にメールで回答しているため，技術者が不在になると回答を受けるまでに大幅に時間がかかることがある.この不便性を解消するために，チャットボットを利用した問い合わせ内容を自動回答するシステムを導入している。

チャットボットは質問文を入力するもしくは質問リストから質問を選択していくと, 対応する回答が自動的に出力されるプログラムであり，カスタマー サポートや社内問い合わせ等, 様々な場面で使用されている[1]. 過去のメールでの問い合わせ事例から市販のチャットボット向けに Q\&A データを作成できれば, 顧客は 24 時間いつでもトラブルシュート等に対応することが可能となり, 当社の舶用ディーゼル機関のアフターサービスに対する顧客満足度を向上させることができる.
しかし, 舶用ディーゼル機関を構成する部品・システムは多種多様であるため，自動で回答するチ中ットボットを実現するためには過去の問い合わせメ一ルから大量の $\mathrm{Q} \& \mathrm{~A}$ データ作成に必要な文章を抽出する必要があり, 人力で全てを行うには膨大な時間が必要となる。

先行研究では蓄積された文書の再利用に関する手法について様々なアプローチが展開されている．例えば書内の固有表現を同義語とともに考慮する方法[2川村]や機械学習と人手による整備方法が提案されている[3 加藤]. また社内でチャットボットを利用した枠組も提案されている[4木下],

本研究では先行研究を参考に $\mathrm{Q} \& \mathrm{~A}$ データ作成に必要な固有表現に対して深層学習モデルである BERT[5]を利用し，製品に関する問い合わせメールから大量の $\mathrm{Q} \& \mathrm{~A}$ データを半自動的に作成する方法を提案する。

## 2 メールデータ

弊社ではアフターサービス向上のために, 舶用ディーゼル機関に関する当社から送信したメールは全て自社のサーバーに保管している。メールは質問，回答，再質問，再回答，など複数の内容で構成されていることが多い. また, 顧客と技師とが直接やり取り寸るパターンの他に顧客，営業，技師とがやり取りするパターン存在する。

Q\&A データ作成に利用するメールの例を図 1 に示す.メールの種類は主に 3 種類存在する.

## ・メール例 1：全て日本語のメール

全て日本語で記載されたメールの例を図 1 に示す.日本人同士で問い合わせ・トラブルに関する議論を

 \\

図 1 Q\&Aデータ作成に使用するメールの種類

行うと,メールは全て日本語で記載される。

・メール例 2: 全て英語のメール

全て英語で記載されたメールの例を図 1 に示す.外国人と問い合わせ・トラブルに関する議論を行う

と,メールは全て英語で記載される.

・メール例 3: 一部の内容が英語のメール

営業, 代理店等が外国人から技術的な問い合わせもしくはトラブルに関するメールを受け取った時，技術者に受け取ったメールを転送する．転送されたメールを基に日本人同士が議論を行うと，メールには日本語と英語が混在する。

## 3 Q\&A データ作成プロセス

Q\&A データの作成プロセスは下記の通りである.

1. メールの語句に対するラベル付け

メールの語句に対して下記のラベルを付ける.

対象：機器の部品名

事態: 対象の状態

- 処置：事態に対する対応内容

2. 事前学習済み BERT を FineTuning する。

3. FineTuning したモデルを利用して語句の推論を行う.

4. 推論結果を利用して $\mathrm{Q} \& \mathrm{~A}$ データを作成する.「対象」もしくは「事態」と推論した語句を Question とし，「処置」と推論した語句を含む文章をつなぎ合
わせて Answer の文章とする.

## 4 検証結果

ラベル (対象，事態，処置) の推論結果と推論結果を利用して Q\&A データの Answer となる文章を作成した例をこの節で示す.

## 4.1 ラベルの推論結果

表 1 に推論結果が ground truth と同じになった語句の一例を示す. 表 1 に示す語句は短い語句もしくはメールで数多く記載されている語句である。これらの語句は学習データに数多く含まれるため, 推論結果が ground truth と同じになったと考えられる。

表 2 に推論結果が ground truth と異なる語句の一例を示す. 推論結果が ground truth と異なるパターンは下記の通りである。

(1) ground truth としている語句が全く推論されていない.

(2)「○○の $\times \times$ が $\triangle \triangle$ である」等，助詞や修飾語を含むことで語句が長くなることがあり，推論した際に語句の間違い・不足が発生する.

(3) ground truth では 2 語にラベル付けしているが，推論結果は 1 語になる場合 (例 ground truth:「舶用」-対象「ディーゼル」-対象，推論結果：「舶用ディーゼル」-対象) となる.

 \\

— : Answer文を作成する際に使用した文章 $\square$ : 処置と推論

図 2 ラベルの推論結果から作成した Answer の例

(4) 語句の一部が推論されていない (例 ground truth：部品上部の面，推論結果：部品)，もしくは推論結果に余分な語句が含まれている(例 ground truth: 表示システム, 推論結果: 画面表示システ厶)

表 1 推論結果が ground truth と同じになった語句

表 2 推論結果が ground truth と異なる例

 \\

## 4.2 ラベルの推論結果を使用した回答文の作成例

「処置」と推論した語句を含む文章を抽出し，抽出した文章をつなげることで Q\&A の Answer の文章を作成した. ラベルの推論から Answer の文章を作成した例を図 2 に示す.メールに記載されている文章を結合して Answer を作成したので，作成した Answer の文章は過去の応対記録を含む文章となっている.

## 5 まとめ

BERT を利用してチャットボットへ搭載する Q\&A データの半自動的に生成する手法を提案した. Q\&A データ作成に必要な語句を推論した結果, 短い語句やメール内に頻繁に出現している語句は正確に推論されていることを確認した。一方，助詞を含む長い語句や語句の一部が正しく推論されていない例が存在するため, 助詞や修飾語を含まない語句を推論モデルに学習させることで正確に語句を推論できる様にする予定である。

## 参考文献

[1] 独立行政法人情報処理推進機構 AI 白書編集委員会「AI 白書 2019」(2019)

[2] 川村. 共起情報を利用した不具合事象の同義表現獲得. 情報処理学会 Vol.2019-NL-241 (2019)

[3] 加藤, 田中. ユーザフィードバックによる固有表現抽出の精度改善. FIT2020.

[4] 木下, 藨田, 藤原. チャットボットを用いた社内情報サービス管理方式. FIT2020.

[5] Devlin, et. al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of NAACL-HLT, pp. 4171-4186 (2019)


# 日本語情報抽出タスクのための LayoutLM モデルの評価

西脇 一尊 1 大沼 俊輔 1 門脇 一真 ${ }^{1}$
1 株式会社日本総合研究所
\{nishiwaki.kazutaka, onuma. shunsuke, kadowaki .kazuma\}@jri.co.jp

## 概要

本研究では，文書のレイアウト情報を活用して学習・推論を行う LayoutLMを日本語コーパスを用いて学習を行い，情報抽出タスクにおける性能の検証を行った. 実験では Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の情報抽出夕スクのための Fine-tuning を行った. ベースラインの BERT との性能比較を行った結果，一方のタスクにおいてレイアウト情報が性能向上に寄与することが確認できた。本稿では一連の学習と評価タスクにおける LayoutLM と BERT の性能について報告を行う.

## 1 はじめに

テキストから意味内容を構造化された形式に変換する情報抽出技術は，日々大量に作成・更新されるテキストに含まれる情報を利活用する上で重要である. 電子媒体や紙媒体といった媒体を問わず，文書には人間が情報を理解しやすくするためのレイアウトが施されている場合が多い. しかし, 多くの情報抽出に関する研究ではテキスト内容から学習した言語モデルを用いており，特に日本語におけるレイアウト情報を活用した情報抽出の研究は，英語を対象とした研究と比べ活発には行われていない.

本研究では，LayoutLM [1]を日本語コーパスを用いて事前学習を行い, BERT [2] との情報抽出タスクにおける性能を比較することで, 日本語の情報抽出タスクにおける LayoutLM の性能を評価する。

## 2 関連研究

本研究で取り扱うレイアウト情報とは，文書に含まれる単語のその文書中での位置を指す．以下では，レイアウト情報を考慮できる言語モデルである LayoutLM の概要と, 情報抽出に関する取り組みの例として, Wikipedia 記事からの情報抽出・構造化を目的とするプロジェクトについて述べる.

## 2.1 LayoutLM

LayoutLM [1] は，レイアウト情報を考慮できる言語モデルの 1 つとして知られている. これは BERT [2] のアーキテクチャにトークンの文書中における位置を表現する 2-D Position Embedding を追加することで，文書のレイアウト情報を考慮できるようにした言語モデルである. LayoutLM では,

1. マスクされたトークンを文脈とレイアウト情報から推論を行う Masked Visual-language Model (MVLM)

2. 文書画像をマルチラベル分類1)することで文書レベルの特徴を学習する Multi-label Document Classification (MDC)

の 2 つの手法を用いて事前学習を行っているが， MDC は必須ではないとされている.

レイアウト情報を学習した LayoutLM は，スキャンされた文書やレシート等を元にしたデータセットにおいて Semantic labeling や Slot filling の性能が向上することが報告されており，日本語においても帳票や請求書での情報抽出の精度が既存手法よりも向上することが報告されている2）3）。しかし，日本語においては一般利用可能な LayoutLM の事前学習済みモデルが公開されておらず，観測できる範囲では LayoutLM を活用した取り組み事例は限られている.

## 2.2 森羅プロジェクト

森羅プロジェクト [3] は, Wikipedia に記載されている知識を計算機が扱えるよう構造化することを目的としているプロジェクトである. 7 回目の評価夕スク開催となる森羅 20224)では,

1. Wikipedia 記事を拡張固有表現 [4] の階層定義に

1）ラベルの一例 : メール, ニュース記事, 請求書, 論文

2) https://cinnamon.ai/ideas/2021/01/18/20210118. research_006/

3) https://tech.layerx.co.jp/entry/2022/11/24/130000

4) https://2022.shinra-project.info
基づき定義されたカテゴリに分類するタスク

2. カテゴリ毎に定義されている属性値を抽出するタスク

3. 属性值テキストと意味的に一致する Wikipedia 記事との紐付けをするタスク

の 3 タスクが実施されている. 本研究では 2 の属性值抽出タスクを LayoutLM の性能評価に用いる.

## 3 評価タスク設定

日本語での LayoutLM の性能を評価するにあたり，以下の 2 種類の評価タスクを設定した. 以下ではこれらのタスクについて述べる。

## 3.1 森羅 2022 - 属性値抽出タスク

属性値抽出タスクは，カテゴリ別に分類された Wikipedia 記事から各カテゴリ毎に定義された属性に基づいて，その特徴を表す属性値を抽出するタスクである．例えば，「スターバックス（カテゴリ：企業名)」の記事から，「創業国」の属性値として“アメリカ合衆国”というテキストを抽出する。この夕スクは固有表現抽出と類似しているが，異なる点として抽出対象の属性がカテゴリや文脈に応じて変化することが挙げられる．例として，「ホセ・コントレラス (カテゴリ：人名)」の記事では, “アメリ力合衆国” のテキストは文脈に応じて「国籍」または「居住地」の属性値とされる. また，属性はカテゴリを跨いで重複する場合もあり，例えば「地位職業」という属性は「人名」と「キャラクター名」の 2 種類のカテゴリにおいて設定されている.

森羅 2022 の属性値抽出タスクは，属性値抽出の対象となる 178 カテゴリに該当する Wikipedia 記事から属性値を抽出するタスクとなっている．学習用データでは重複を除くと計 1,700 種類の属性が使用されている. アノテーションされた記事の件数は 1 カテゴリあたり平均 111 件である.

## 3.2 契約書からの情報抽出

Web ページ以外の文書を対象とする情報抽出性能について評価するために，企業間の契約書中に記載されている契約締結日，契約開始・終了日，契約締結社名等の 7 種類の情報を抽出するタスクを設定した.

このタスクで用いるデータセットは，契約書デー タを取り扱う企業から提供された機密情報を含まないテンプレートをコーパスとしている。このコーパ
スに対して社名・日付・契約内容といった記載が必要な部分に対してアノテーションを行い，ランダムに選択した実在する企業名やダミーの日付・金額表現等を挿入することで独自に作成されたものである.このデータセット（以後，ダミー契約書）の特徵として，「契約金額」を指し示す表現として「金額」「委託料」「請求金額」などの表記摇れや，「業務委託契約」「請負契約」「秘密保持契約」等複数の契約書の種別が存在することが挙げられる.

## 4 実験手順

## 4.1 事前学習データセット

森羅 2022 で配布された 2019 年版 Wikipedia の全記事データ（約 110 万記事分）を用いた.トークンと座標情報の系列を取得するために，まず各記事データの HTML をブラウザで描画 ${ }^{5}$ し， その画面に表示されたテキストを別途トークナイズしてから，各トークンのブラウザ上での描画位置（座標情報） を取得した ${ }^{6}$ ) また，LayoutLM ではレイアウト情報を 0 から 1,000 の範囲に正規化する必要があるため,併せて body 要素全体の座標情報も取得している.

## 4.2 Fine-tuning データセット

属性値抽出タスク森羅 2022 で配布されている 2019 年版 Wikipedia 記事の一部と, 対応する属性値のアノテーションを用いた.

事前学習データセットの構築時と同様の手順で，各記事からトークンと座標情報の系列を取得した.本実験では系列ラベリング問題として属性値抽出タスクを解くため，属性値のアノテーションをオフセット形式から IOB2 形式に変換し系列に組み込んだ. この時, オフセット区切りとトークンの区切りが合致しない場合，オフセット区切り位置を含む （より長い範囲が選択される）ようラベルを作成している。また，同じテキストに複数のアノテーションがされている場合，配布されたアノテーションファイルを先頭から読み込んだ際に最初に参照する属性値を採用した.

アノテーションデータは 9:1 の割合で分割し，それぞれを学習・検証データとして用いた. テストデータとして, 森羅 2022 評価タスクのリーダー

5）描画環境：Google Chrome 106.0.5249.119, Ubuntu 20.04.5 LTS，画面サイズ $1,280 * 854$

6）事前に各トークンを nowrap 值を指定した span 要素で囲み，各要素の BoundingClientRect を座標情報として用いた

図 1: 「研究」が 1 つのトークンであり，「研」と「究」の間に行折り返しがされた際の「研究」トークンの座標情報の取得イメージ

ボード提出用として指定されている 2021 年版の Wikipedia 記事に対して，同様の手順でトークンと座標情報の系列を抽出したものを用いた.このテストデータの正解データは非公開であるため，テストデータでの性能評価はリーダーボード上の公開スコアをもとに行った.

各ページの系列長が LayoutLM の上限入力長である 512 トークンを超える場合，一定の重複範囲（本実験では 128 トークンと設定）を持たせたスライディングウィンドウによりデータを分割した.

契約書からの情報抽出タスク 3.2 節で作成したダミ一契約書の PDF は，PyMuPDF7)を用いて，

1. テキスト全文

2. 文字単位の座標情報と正解ラベル8)

3. 契約書 1 ページ毎のサイズ

の 3 点を抽出した. 1 のテキスト全文はトークナイズし，トークンに含まれる各文字の座標情報からトークンの座標情報を求めた。トークン中に行の折り返しが生じた場合には，折り返し後に続く文字の高さと幅から折り返しがなかった時の座標情報を算出した。このときの座標情報の取得イメージを図 1 に示す。

本実験では系列ラベリング問題として契約書からの情報抽出タスクを解くため，トークンを構成する文字に正解ラベルが付与されている場合，対応するラベルに B タグ・I タグを設定することで IOB2 形式のラベルを作成した. また，トークンの座標情報

7) https://pymupdf. readthedocs.io/en/latest/

8） 3.2 節でダミーデータを挿入する際に情報種類毎に異なる色を指定しておき，PyMuPDFで取得した色情報をもとに文字毎の正解ラベルを判定した. なお，色情報はモデルの学習や推論に利用しない
は 3 の契約書ページサイズを用いて 0 から 1,000 の範囲に正規化をした。

データセットは 8:1:1 の割合で分割し，それぞれを学習・検証・テストデータとして用いた。

属性値抽出タスクのデータセットと同様に，系列長が 512 トークンを超える場合はスライディングウィンドウによりデータを分割した。

## 4.3 LayoutLM の事前学習

BERT-base に相当するパラメータサイズの LayoutLM の事前学習を行った．BERT と共通するパラメータは東北大乾研究室が公開している日本語版 BERT ${ }^{9}$ ) の重みで初期化し，2-D Position Embedding はランダムな值で初期化した。

評価タスクにて用いる Wikipedia やダミー契約書は，文書毎に大きなレイアウトの差異がなく情報抽出に有用な特徴を学習することは難しいと考えたため，本実験では MVLM のみ実施し MDC は実施しなかった.

ハイパーパラメータは学習ステップ数 100,000 ,学習率 5e-5，バッチサイズ 256 とした。なお，学習率は 1,000 ステップまで Warmup を行い，そこから線形に減衰させた。

学習は 8 基の NVIDIA A100 SXM4 を用いて行っており，後述の Fine-tuning や推論にも同環境を用いた.

## 4.4 評価のための Fine-tuning

4.3 節で学習した LayoutLM とべースラインの BERT の Fine-tuning は, Hugging Face [5] が公開しているスクリプト10）をべースに実装した。いずれのモデルも，ハイパーパラメータはグリッドサーチ11) を行い，検証データにおいて最良の micro-F1を達成したモデルを評価に採用した.

属性値抽出タスクにおいて, LayoutLM と BERT の性能差が Wikipedia 記事を用いた学習ステップ数の差によるものではないことを確認するため，事前学習済み BERT に加元，2019 年版 Wikipedia 記事を用いて 100,000 ステップの Masked Language Model [2] による追加学習を行った BERT+100K モデルを用意

5. 各分割の推論結果をマージ

図 2: 1,200 トークン長のテストデータをスライディングウィンドウで分割し，推論結果をマージする処理のイメージ. ウィンドウ幅はモデルに入力する際の [CLS] と $[S E P]$ 分を差し引いた値である

し，3つのモデルそれぞれで Fine-tuning を行い性能を比較した。

## 4.5 テストデータでの推論

スライディングウィンドウによりテストデータが分割された場合，ウィンドウに含まれる重複範囲は 2 回推論が行われる. 重複範囲の前半は前側ウィンドウの，後半は後ろ側のウィンドウの推論結果を採用し，最終的に各ウィンドウでの推論結果をマージして推論結果としている (図2参照).

また，属性值抽出タスクにおいて，3 モデルの推論結果いずれにおいても以下の後処理を行った.

・推論結果 top-5 のうち，カテゴリに存在しない属性を無視した上で logit が最大の推論結果，または O タグを出力する

・同じ属性の I タグ同士の間に 5 トークン未満の連続した O夕グが含まれている場合，Oタグを I タグに変換する ${ }^{12)}$

・O タグ，もしくは異なる属性の B またはI タグに続くIタグを Bタグに変換する

## 5 実験結果

属性値抽出タスク属性値抽出タスクにおける各モデルの検証データによる実験結果，およびテストデータによる推論結果の公開スコアを表 1 に示す.

契約書からの情報抽出タスク契約書からの情報抽出タスクにおける各モデルの検証・テストデータ

12）属性値抽出タスクにおいて，属性値中の記号や助詞等が O タグとされる傾向があったため表 1: 属性値抽出タスクにおける実験結果．太字は最良のスコアを表す

macro-F1 & micro-F1 \\

BERT & 63.03 & 54.75 & 60.14 \\
BERT+100K & 63.27 & 54.82 & 61.28 \\

表 2: 契約書からの情報抽出タスクにおける実験結果.太字は最良のスコアを表す

 &  \\

BERT & $\mathbf{9 7 . 9 4}$ & $\mathbf{9 8 . 6 9}$ \\

による実験結果を表 2 に示す.

## 6 考察

属性値抽出タスクにおいて LayoutLM はベースラインモデルの性能を上回っているが，これは LayoutLM がレイアウト情報からトークン列が同じ行や箇条に記述されていることを手がかりに推論することができた可能性がある．レイアウト情報が抽出に影響を及ぼしたと考えられる例を付録 $\mathrm{A}$ に記載する。

契約書からの情報抽出タスクにおいて LayoutLM はベースラインモデルの性能をわずかに下回ったが，これは LayoutLM の事前学習を Wikipedia コー パスを用いて行ったためモデルが Wikipedia 記事に過剰に適合してしまい，ダミ一契約書での性能が BERT と比べて劣った可能性がある。

## 7 おわりに

本研究では，日本語 Wikipedia 記事を用いて LayoutLM の事前学習を行い，2 種類の日本語情報抽出タスクにおける LayoutLM の性能を調査した。 LayoutLM は，契約書からの情報抽出では期待された性能向上が見られなかったが，Wikipedia 記事からの属性值抽出タスクの性能が向上したことが示され，日本語文書における情報抽出のアプローチの 1 つとして有望であることがわかった.

今後の展望として，LayoutLMv2 [6] 等の画像情報も考慮して学習するモデルの利用について検討する.また，事前学習のデータセットを契約書等の文書に変更した際の性能評価や，有価証券報告書等のレイアウト情報が情報抽出に寄与する可能性のある文書においてのモデルの性能を調査する。

## 謝辞

本研究は産総研の $\mathrm{AI}$ 橋渡しクラウド（ABCI）を利用したものです.

## 参考文献

[1] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. LayoutLM: Pre-training of text and layout for document image understanding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, pp. 1192-1200, 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[3] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. SHINRA: Structuring wikipedia by collaborative contribution. In AKBC, 2019.

[4] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02), 2002.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[6] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. LayoutLMv2: Multi-modal pre-training for visually-rich document understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591, 2021.

## A 付録

Wikipedia からの属性値抽出タスクにおいて，レイアウト情報が抽出においてポジティブ・ネガティブに影響を及ぼしたと考えられる例を示す. なお，付録中の図に含まれるスクリーンショットの一部は Google Chrome 上で幅 $1,280 p x$ で描画したものを用いている.

## A. 1 レイアウト情報がポジティブに影響を及ぼしたと考えられる例

「Adobe Director」『フリー百科事典ウィキペディア日本語版』. 2017 年 3 月 18 日 (土) 11:14 UTC の一部スクリーンショットを図 $3 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $3 \mathrm{~b}$ に示す. 系列ラベリング結果中のハイライト箇所の通り，LayoutLM のみ正しく “Macromedia Director 7 Shockwave Studio”を単一の属性值として抽出できた。これは，レイアウト情報から Shockwave Studio のテキストが前方のテキストと同じ行であることを理解していることから一続きの属性值として抽出できた可能性がある.

## バージョン履歴[編集]
- 1985年 MacroMindVideoWorks
- 1987年 MacroMind VideoWorks II
- 1988年 MacroMind Director 1.0
- 1988年 MacroMind Director 2.0
- 1989年 MacroMind Director 3.0

・1993年 Macromedia Director (バージョン3.1.3)
- 1993年 Macromedia Director 4
- 1996年 Macromedia Director 5
- 1997年 Macromedia Director 6
- 1998年 Macromedia Director 7
- Macromedia Director 7 Shockwave Studio
- Macromedia Director 7 Lite
- 2000年 Macromedia Director 8

(a)「Adobe Director」のスクリーンショット一部（ハイライトによる強調は著者によるもの）

(b) ハイライト箇所に対する系列ラベリング結果

図 3: レイアウト情報が抽出性能にポジティブに影響を及ぼしたと考えられる例

## A. 2 レイアウト情報がネガティブに影響を及ぼしたと考えられる例

「海軍乙航空隊」『フリー百科事典ウィキペディア日本語版』 2018 年 5 月 9 日 (水) 07:34 UTC の一部スクリーンショットを図 $4 \mathrm{a}$ と，ハイライト箇所における系列ラベリングの結果を図 $4 \mathrm{~b}$ に示す. 系列ラベリング結果中のハイライト箇所の通り，LayoutLM のみ文章中に現れる “鹿屋飛行場”を属性値として抽出できなかった. 一方で，同ページ内の左寄せされた “鹿屋飛行場” は正しく抽出できている。これは，学習データに含まれる「基地」の属性値が左寄せの箇条書きで書かれることが多く，レイアウト情報からページの右側に寄ったテキストを属性値として認識できていない可能性がある.

\begin{abstract}
九州海軍航空隊
九州海軍航空隊 (きゅうしゅうかいぐんこうくうたい) は、昭和19年7月10日に編成された最初の乙航空隊のひとつ。鹿屋飛行場を拠点とし、西日本各地の飛行場を管轄した。沖綶の戦いでの特攻作戦、以後の本土防衛防空作戦に多く関与している。練習航空隊の実施部隊化、練習基地の実施部隊転用などで规模も抎大し、昭和20年3 月20日より「司令官」を隊長とした。20年春以降の乙航空隊細分化によって、管轄区は九州南部に縮小した。

## 主な航空基地
- 鹿屋飛行場国分飛行場 $\cdot$ 出水飛行場 $\cdot$ 串良飛行場 $\cdot$ 笠之原飛行場 $\cdot$ 岩川飛行場
\end{abstract}

(a)「海軍乙航空隊」のスクリーンショット一部（ハイライトによる強調は著者によるもの）

(b) ハイライト箇所に対する系列ラベリング結果

図 4: レイアウト情報が抽出性能にネガティブに影響を及ぼしたと考えられる例


# 日本語 T5を用いた Entity 辞書の メンション候補自動獲得手法の提案と評価

上田 直生也 ${ }^{1}$ 岡 照晃 ${ }^{1}$ 杉山 雅和 ${ }^{2}$ 邊土名 朝飛 ${ }^{2}$ 小町 守 1
1 東京都立大学 2 株式会社 AI Shift
ueda-naoya@ed.tmu.ac.jp, teruaki-oka@tmu.ac.jp
\{sugiyama_masakazu, hentona_asahi\}@cyberagent.co.jp
komachi@tmu.ac.jp

## 概要

本稿では Entity 辞書エントリのメンション候補を自動獲得する手法を提案する. タスク指向型の音声対話システムの Entity Linking は， Entity 辞書を知識ベースとして用いる. Entity 辞書はユーザの発話パターンに対応するために，表記摇れや通称，略称などメンション候補登録が必要となるが，構築にコストがかかる問題がある。提案手法は，日本語 $\mathrm{T} 5$ を Wikipedia から獲得した見出し語とその同義語対でファインチューニングし，メンション候補生成モデルを構築した. 実験の結果，メンション候補を自動獲得した Entity 辞書を用いると，人手によるメンション候補を登録した Entity 辞書と同等の Entity Linking 性能を得られるとわかった。

## 1 はじめに

本稿が扱うタスク指向型の音声対話システムはユーザ発話に対して応答を生成する. 適切な応答生成の実現には，ユーザ発話に含まれる商品名や店舗名などの Entity を正確に認識する必要がある. Entityを正確に認識する手法として，テキスト中に含まれる Entityを知識ベース上に存在するエントリと紐づける Entity Linking がある. 実際の処理の流れは，入力されたユーザ発話を自動音声認識システムによりテキスト化する。テキストに含まれる Entityを Entity Linking システムを通して，知識べー スにある適切なエントリに紐づける（図1を参照）.

知識ベースには Entity 辞書を用いる. Entity 辞書は，エントリとそのメンション候補が登録された辞書であり，ユーザの多様な発話パターンに対応するために，表記摇れや通称，略称などの様々なフレー ズがメンション候補として登録される。しかしなが

図 1 : 想定する音声対話システムのフローチャート

ら，Entity 辞書は Entity Linking を行いたい各ドメインに対して人手で構築する必要があるため，メンション候補の登録には多大なコストがかかるという問題がある.

同義語対を自動獲得する手法に関しては，これまで様々な研究が行われてきた $[1,2,3]$. しかしながら，タスク指向型の音声対話システムにおける Entity Linking で用いられる Entity 辞書では，ユーザの多様な発話パターンに対応するために，表記摇れや通称，略称などの様々なフレーズがメンション候補として必要である。 そのようなメンション候補は既存手法では獲得することは対象としていない. また前述の手法 $[1,2,3]$ では取得したいエントリに関連するドメインにおける大量のコーパスが必要となる. タスク指向型の音声対話システムの場合，対象となるドメインのコーパスが少量しか存在しない場合もあり，メンション候補を獲得できないなどといった問題がある。

そこで本研究では, Entity 辞書におけるエントリのメンション候補を自動獲得する手法を提案する。提案手法は, Wikipedia から獲得した見出し語とその同義語対を T5 [4] で学習することにより，メンション候補生成モデルを構築する，入力されたエントリに対して出力されたメンション候補集合を用いることで, Entity 辞書のエントリに対するメンション候補を登録した. 実験では，福井県の道路交通情報に関するシステム主導型の対話ログデータと教師なし Entity Linking システム [5] を使用する. 提案手法でメンション候補を自動獲得した Entity 辞書と人手によるメンション候補登録が行われた Entity 辞書で精度を比較し，提案手法の有効性を示した。

## 2 関連研究

入力単語に対する同義語獲得は，これまで様々な研究が行われてきた. 大野ら [6] や Tam ら [7], 柏岡ら [8] は Wikipedia のエントリーリダイレクトを用いた同義語の獲得を行っている. これらの研究では， Wikipedia のエントリ名とリダイレクト先の見出し語が同義関係にあることに着目し, 同義語対として獲得している. しかし, この手法では Wikipedia に存在しないエントリの同義語は獲得できない問題がある. 提案手法では獲得した同義語対で言語モデルをファインチューニングし, Wikipedia に存在しない単語に対してもメンション候補を生成できるモデルを構築する。

Transformer [9] 系統の言語モデルを用いて，同義語獲得を行った研究がある. Shen ら [1] は Encoder モデルである BERT [10]を用いることで, Entity とその同義語の集合に対して，新たな同義語を獲得する手法を提案している. Transformer 系統の言語モデルを用いることで同義語獲得を行うといった点では本研究と同じだが，Encoder-Decoder モデルでメンション候補を生成した点と Entity に対する同義語の集合があらかじめ存在しないといった点で異なる.

伴ら [2] は Word2Vec [11] を用いた同義語辞書自動構築手法を提案している. 提案手法は, 抽出対象である要求仕様書を用いて学習した Word2Vec モデルを用いて, 要求仕様書から同義語候補を獲得することで同義語辞書を自動構築している. また，酒井ら [3] は名詞間類似度を考慮することにより原型語に対する略語を獲得する手法を提案している。これらの手法では，特定のエントリに対する同義語を獲得するために，大量のドメインデータが必要とな表 1: Wikipedia から獲得した見出し語とその同義語対の例

る。一方，本研究ではメンション候補を獲得したいエントリに関連する大量のドメインデータが存在しないという設定の下, Entity 辞書のメンション候補の自動登録に取り組む.

## 3 手法

本研究では，先行研究 $[6,7,8]$ の手法で獲得された Wikipedia の見出し語とその同義語対は, 誤表記や表記ゆれなど広義での同義語が含まれていることに着目した。そのデータを用いて Encoder-Decoder モデルである T5 [4] をファインチューニングした. ファインチューニングすることで，モデルによる誤表記や表記摇れのパターンを踏まえたメンション候補の生成を期待する。

## 3.1 Wikipedia の見出し語と同義語対の 獲得

Wikipedia の見出し語とその同義語対は，先行研究 $[6,7,8]$ と同様の手法で獲得した. 日本語 Wikipedia のダンプデータ 1) としては 2022 年 4 月 25 日時点のもの使用した. 獲得した同義語対にはタイプミスなどの再現性が低い誤りが存在した. そのため，各見出し語に対して Wikipedia 全体で 1 回しか出現しなかった同義語対は, 再現性のないメンション候補として取り除いた. 本研究で獲得した見出し語とその同義語対の例を表 1 に表す.

## 3.2 メンション候補生成モデル

本研究では，入力されるエントリに対してメンション候補を自動生成するメンション候補生成モデルを構築した. Wikipedia の見出し語を入力とし， その同義語対を出力する形式で日本語 $\mathrm{T} 5$ モデルをファインチューニングすることにより構築する。

出力では，一つのエントリに対して複数のメン

表 2: Wikipedia データセットにおけるエントリ数と同義語対の数

ション候補を獲得するため，サンプリングによる生成を行った。これにより，多様なメンション候補の獲得ができる. サンプリング手法としては， Temperature サンプリングや Top-K サンプリング, Top-p サンプリング [12] が存在する. 本研究では, Temperature サンプリングを用いて，メンション候補の生成を行う2).

## 4 実験

## 4.1 データ

本研究では，3.1 の手法で構築した Wikipedia の見出し語とその同義語対のデータセットを用いた. データセットは訓練データと評価データに分割した. データセットに含まれるエントリ数と同義語対の数を表 2 に示す. Entity Linking を行う対象としては，福井県の道路交通情報に関するシステム主導型の対話ログデータを用いた [5]. 対話ログデータは，紐づけ対象となる Entityが正解ラベルとして与えられる。データセットに含まれるユーザ発話数は 2,225 件，紐付け対象となる Entity 数は 214 件である.

## 4.2 実験設定

チューニングした. ファインチューニングには， Huggingface の公開している Transformers ${ }^{4)}$ のスクリプトを用いた。 パラメータは学習率を 0.001 ，バッチサイズを 16 ，エポック数を 10 ，最大系列長を 128 と設定し，10エポック目のモデルを使用した. 全ての入力や出力は SentencePiece [13] を用いてサブワー ド分割を行った。サブワードの語彙サイズは 32,000 に設定した。

2）多様な出力を行う理由として，多様な出力から適しているものを選択するような用途も考えられるためである. これは，人手による辞書作成では，多様なドメインでメンション候補を作成できるほど知識を持つと限らないからである。

3) https://huggingface.co/megagonlabs/

t5-base-japanese-web

4) https://github.com/huggingface/transformers表 3: Entity 辞書の統計量

メンション候補の生成では，Entity 辞書の各エントリに対し 50 個のメンション候補を出力させた. メンション候補集合から重複を取り除き，Entity 辞書に追加した. また, Temperature（T）は，0.1１.0 の間で 0.1 ずつ変動させた. シード値による性能変動が大きいため，複数のシード値で実験を行い， その平均値を結果として示す. シード値は 2022, 2032，2042，2052，2062とした.

メンション候補が登録されていない Entity 辞書 (登録なし)，人手によるメンション候補登録を行った Entity 辞書 (人手登録)，メンション候補を自動登録した Entity 辞書（自動登録）を用いた際の Entity Linking 性能について比較を行う，それぞれの Entity 辞書に登録される平均メンション候補数と人手登録されたメンション候補のカバー率を表 3 に示す。

## 4.3 評価手法

内的評価として，Wikipedia から獲得した見出し語とその同義語対を真とした場合の評価を行った.完全一致を真陽性とみなした Precision，Recall，F1 スコアを算出して評価を行う．外的評価として，各 Entity 辞書を用いた際の Entity Linking 性能で評価を行った. Entity Linking システムとしては，音声類似度を考慮した教師なし Entity Linking システム [5] を用いる。評価指標は Precision at 1（P@1）を用いた。

## 4.4 実験結果

各 Entity 辞書を用いた実験結果を表 4 に示す. 実験の結果, 内的評価では Temperature が小さいほど Precision が高くなり，大きいほど Recall が高くなるという結果が得られた。これは，表 6 が示すように Temperature が大きいほど多様なメンション候補を生成したためである。また，外的評価における結果では， $\mathrm{T}=0.8$ のとき最も性能の平均値が高くなり，P@1で $84.4 \%$ であった. この結果は人手によるメンション候補登録した Entity 辞書を用いる場合と
表 4: 実験結果

比較しても， $-0.5 \%$ となっており，本手法によりメンション候補登録した Entity 辞書は人手によるメンション候補登録した Entity 辞書と同等の性能を得られるとわかった. 特に $\mathrm{T}=1.0$ のとき, 最も内的評価における Recall が高かった Entity 辞書を用いた場合 (Best）の Entity Linkingの P@ 1 は 85.8\%となっており, 人手でメンション候補登録した Entity 辞書の Entity Linking 性能を上回る結果となった。

## 4.5 考察

内的評価と外的評価の相関内的評価における Recall と外的評価における $\mathrm{P} @ 1$ の相関を調べた.図 2 は各シード值ごとの内的評価における Recall と外的評価における $\mathrm{P} @ 1$ をプロットした結果である. ピアソンの積率相関係数を計測したところ， 0.868 となり，強い正の相関があることが確認できた. 結果から，内的評価における Recall と外的評価における P@1には相関があり，メンション候補を自動登録した Entity 辞書の良さは内的評価における Recall を評価することで確認できることを示した。

事例分析表 5 亿提案手法で構築した Entity 辞書を用いた Entity Linking が登録なしや人手登録した辞書と比べて改善・悪化した事例数を示す. Entity Linking が改善される事例が多数存在する一方で,悪化している事例も確認される. Appendix の表 7 と表 8 にメンション候補を自動登録したことにより

図 2: 内的評価と外的評価における相関 （各シード値ごとの性能をプロットしたときの結果）

Entity Linking が改善・悪化した事例を示す. 改善した事例では “(主 6) 福井四ヶ浦線” のメンション候補として “県道 6 号” が登録される. そのため, “県道 6 号福井自然が” の入力に対して, 正しい Entity を返したことが確認できる。このように提案手法を用いることで Entity 辞書に良いメンション候補が登録され, 正しい Entity が出力できる。一方, 悪化した事例では “(県 109) 南横地芦原線” のメンション候補として “熊本空港線” が誤って登録される. そのため，“えっと空港”の入力に対して，誤った Entity Linking がされたことが確認できる.

このように, 全体における Entity Linking 性能は向上しているが，個別の事例では誤ったメンション候補の登録による Entity Linking の悪化が確認される. そのため, 生成されるメンション候補をフィルタリングする手法などを開発することにより，メンション候補が自動登録された Entity 辞書を用いた Entity Linking の性能が改善すると考えられる.

## 5 おわりに

本研究では, Entity 辞書のエントリにおけるメンション候補を自動的に獲得する手法を提案した. 実験の結果，提案手法でメンション候補を自動獲得した Entity 辞書を用いる Entity Linking は，人手でメンション候補登録した Entity 辞書を用いる場合と同等もしくはそれ以上の性能を得ることができることを示した. また, Entity 辞書の質は Wikipedia データに対する Recall を用いることで評価することが可能であることを示した. 今後は Entity 辞書を改善するため, 生成されたメンション候補を自動でフィルタリングする手法を検討する。

## 参考文献

[1] Jiaming Shen, Wenda Qiu, Jingbo Shang, Michelle Vanni, Xiang Ren, and Jiawei Han. SynSetExpan: An iterative framework for joint entity set expansion and synonym discovery. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8292-8307, Online, November 2020. Association for Computational Linguistics.

[2] 伴凌太, 高橋宏季, 位野木万里. word2vec を用いた同義語辞書自動作成手法の提案と適用評価. 情報処理学会第 81 回全国大会, pp. 265-266, 2019.

[3] 酒井浩之, 増山繁. 略語とその原型語との対応関係のコーパスからの自動獲得手法の改良. 自然言語処理, Vol. 12, No. 5, pp. 207-231, 2005.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[5] 邊土名朝飛, 尸田隆道, 友松祐太, 杉山雅和, 東佑樹,下山翔. ユーザ発話と Entity の音声類似度を考慮した Entity Linking 手法の検討. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 4Yin255-4Yin255, 2022.

[6] 大野潤一, 柴木優美, 山本和英. Wikipedia のエントリーリダイレクト間を対象にした同義関係抽出. 言語処理学会第 17 回年次大会, pp. 296-299, 2011.

[7] Derek Tam, Nicholas Monath, Ari Kobren, Aaron Traylor, Rajarshi Das, and Andrew McCallum. Optimal transportbased alignment of learned character representations for string similarity. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5907-5917, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 柏岡秀紀. Wikipedia のリダイレクトから得られる同義語の分析. 言語処理学会第 13 回年次大会, pp. 1094-1096, 2007.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, p. 6000-6010, 2017.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, Vol. abs/1301.3781, , 2013.

[12] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[13] Taku Kudo and John Richardson. SentencePiece: A sim- ple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A 改善・悪化した事例数

表 5: 提案手法で構築した Entity 辞書を用いることで Entity Linking が改善・悪化した事例数 （最も内的評価における Recall が高かった Entity 辞書（Best）との比較）

## B 出力例

表 6: 各 Temperature におけるメンション候補生成例

(“(県 142) 松島若葉線”をエントリとして入力したときの出力結果)

 \\

表 7: メンション候補登録により Entity Linking が改善した例

表 8: メンション候補登録により Entity Linking が悪化した例