# 自己認知は LM as KB の信頼性を高めるか

井之上直也 ${ }^{1,2}$ 原口大地 ${ }^{1}$ 田中健史朗 ${ }^{1}$
白井清昭 ${ }^{1}$ Natthawut Kertkeidkachorn ${ }^{1}$
1 北陸先端科学技術大学院大学 2 理化学研究所
\{naoya-i,s2110137,kenshiro.tanaka,kshirai,natt\}@jaist.ac.jp

## 概要

Language Models as Knowledge Bases (LM as KB) は,自然言語形式のプロンプトで知識の問い合わせを柔軟に行える一方で，信頼度の高い問い合わせ方法は未だ確立されていない。本稿では，LM as KBに自己認知機構を取り入れ，予測結果が不確実な場合に問い合わせを分解し，熟考的に検証する新しいアプローチ Back-off LMKB を検討する。評価実験では， GPT-4 及び GPT-3.5 に基づく Back-off LMKB を質問応答データセット StrategyQA [1] 上で検証し, 自己認知機構の有効性，及び今後の課題を示す.

## 1 はじめに

LM as KB とは，自然言語形式で書かれた知識べー スを大規模言語モデル (LLM) に学習させることにより，自然言語形式のプロンプトで知識の問い合わせを柔軟に行うことを目指すパラダイムである [2].

LM as KB における未解決課題の一つは，知識の問い合わせ方法である。一般に，ある知識を表現する自然言語表現は複数考えられるが，LLM の出力は言語表現の微妙な変化に鋭敏であり, 実際に言語表現によって同一の知識に対する問い合わせ結果が一貫しないことが示されている $[3,4]$. 例えば，文献 [4] では, Anne Redpath の死没地を問い合わせる際, プロンプト Anne Redpath's life ended in と Anne Redpath's passed away in とでは，LLM の返す結果がそれぞれ London, Edinburgh と異なることが指摘されており，LM as KB の信頼性を摇るがせている。

本研究では，こうした非一貫性は，予測の不確実性により捉えられるものと仮定し, LM as KB の信頼性を改善する方法を検討する，具体的には，図 1 に示すように，素の LM as KB (図 1, LMKB) の問い合わせ結果の不確実性をチェックする自己認知機構を取り入れる。結果に自信がない場合には，問い合わせを単純な命題に分解して論理的に再検証する

図 1 Back-off LMKB の概要. 知識ベース LMKB から真偽が不確実な場合には解答を使用せず，間接証明生成モデル ProofGen を通して，別の知識を用いた論理的な真偽検証にバックオフする。

(図 1, ProofGen)．本研究の貢献は次の通りである:

$\cdot$問い合わせ結果の不確実性に応じて動的に問い合わせを分解する新たな枠組み Back-off LMKB を提案する（§3）。
- StrategyQA [1] から構築した真偽検証問題 457 問において，GPT-4 及び GPT-3.5 に基づく Back-off LMKB の有効性を定量的に示し（§4.2），エラー 分析により今後の課題を明らかにする（§4.3）.

## 2 関連研究

LLM の生成結果の信頼性推定の研究は近年盛んに行われており $5,6,7,8]$, LLM にとって真偽の分からない知識を問われた場合には，不明と答える技術が成熟しつつあり，本研究ではこれを利用する。

質問応答や事実性判定の分野においては，複雑な質問を単純な質問に分解してから LLM に問い合わせ，その結果を統合することで，解答の精度が向上することが多数報告されている $[9,10,11,12]$. しかしながら，いずれも予測の確実性を考慮した動的な分解は行っていない.
文献 [13] では，画像に対する質問応答 (VQA) において, 確信度に応じて動的に質問を分解することの有効性が確認されている。しかしながら，VQA は大力画像に対する問い合わせ，LM as KB はパラメトリック知識に対する問い合わせであり, 本研究とは実験設定が大きく異なる．また，§3で示すような再帰的な真偽検証は検討されていない。

## 3 提案手法: Back-off LMKB

## 3.1 全体の流れ

自然言語形式の命題 $p$ と知識ベース $K$ が与えられたとき， $p$ の真偽値が分かるならば True, False のいずれか，未知ならば Unknown と答えるモデルを構築する. 形式的には次のような関数 $f$ を設計する.

$
f(p)= \begin{cases}\text { True } & \text { if } K \rightsquigarrow p \\ \text { False } & \text { if } K \rightsquigarrow \neg p \text { または } K \not \leadsto p \\ \text { Unknown } & \text { 上記の両方が不確実 }\end{cases}
$

ここでぃは意味的な含意を表す。

提案手法である Back-off LMKB の概要を図 1，アルゴリズムを Algorithm 1 に示す. 引数について, $p$ は検証対象の命題, $d$ は再帰の上限, $r$ は現在の再帰呼び出しの深さである．以下，解説する。

Step 1: $K$ 上で事前訓練された LLM に基づく知識ベースモデル LMKB を構築し (\$3.2), 命題 $p$ の真偽を検証する (2 行目). ただし，LMKB は命題の真偽に確信が持てない場合に，Unknown を返すことができるとする. ここで True, False が決まる場合，もしくは再帰の上限に達した場合 $(r=d)$ には，真偽値を返して処理を終了する（3 行目）.

Step 2: §1 で述べたように，予測の不確実性は LLM の知識の非一貫性のサインであると考えられる. そこで, 予測が不確実なとき，すなわち LMKB が Unknown を返した場合には，間接証明にバックオフし， $p$ の真偽を論理的に検証する (4行目).

具体的には，まず $p$ と論理的な関係にある命題の集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{n}\right.\}$ を求めるモデル ProofGen を構築する（§3.3). 論理的な関係は命題論理式 $\phi$ で表され，例えば，十分条件の関係であれば， $(\phi, Q)=\left(q_{1} \wedge q_{2} \rightarrow p,\left.\{q_{1}, q_{2}\right.\}\right)$ となる.

次に, $q_{i} \in Q$ の真偽值 $y_{q_{i}}$ を検証し，仮定 $\Psi=$ $\left.\{q_{i} \mid q_{i} \in Q, y_{q_{i}}=\right.$ True $\} \cup\left.\{\neg q_{i} \mid q_{i} \in Q, y_{q_{i}}=\right.$ False $\}$ を構築する.ここで， $\phi, \Psi$ より $p$ または $p$ が帰結できるならば（例えば $y_{q_{1}}=$ True, $y_{q_{2}}=$ True の場

合)，対応する真偽値を返す。例えば，図 1 では， $\phi=q_{1} \wedge q_{2} \rightarrow p$ となるような命題 $q_{1}, q_{2}$ を求め, $q_{1}=$ True, $q_{2}=$ True から $p$ が True であることを帰結している.なお， $q_{i} \in Q$ の真偽検証では， $q_{i}$ を入力として Step 1 から再帰的に処理を行う.

## 3.2 知識ベースモデル: LMKB

命題 $p$ と知識ベース $K$ が与えられたとき, $p$ の真偽値が分かれば True, False のいずれかを，そうでなければ Unknown を返すモデルを構築する。

本研究では，Kはウェブ上に存在するウェブペー ジ集合とし，ウェブコーパスを用いて事前訓練されたLLMをLMKB として用いる. 具体的には， §A. 1 のプロンプトの雛形を用いて言語モデルに $p$ の真偽を問う. 得られた応答の最初のトークンの生成確率分布から True と False の生成確率を取り出した上で正規化し, $p$ の真偽值 $Y$ の確率分布 $\pi(Y)$ とする.

予測の確信度については, LLM の生成確率に基づく確信度と正解率の間に高い相関があることが知られているため [7], $Y$ の正規化エントロピー $\mathrm{NE}(Y)=$ $-\sum_{y \in\{\text { True }, \text { False }\}} \pi(Y=y) \log \pi(Y=y) / \log 2 \in[0,1]$ を計算し， $1-N E(Y)$ を予測の確信度とする. 最終的には，確信度が閾値 $\tau$ 以上ならば真偽値を返す。

$
\begin{aligned}
& \operatorname{LMKB}(p)= \\
& \left.\{\begin{array}{cl}
\underset{y \in\{\text { True,False }\}}{\operatorname{argmax}} \pi(Y=y) & \text { if } 1-\mathrm{NE}(Y) \geq \tau \\
\text { Unknown } & \text { otherwise. }
\end{array}\right.
\end{aligned}
$

## 3.3 間接証明生成モデル: ProofGen

命題 $p$ が与えられたとき, $p$ と論理的な関係 $\phi$ にある命題の集合 $Q=\left.\{q_{1}, q_{2}, \ldots, q_{n}\right.\}$ を求める. $\phi$ に様々なバリエーションを持たせることにより，
表 1 BoolQA の精度. 下段は参考値.

様々な間接証明戦略を用いることができるが，今回は $\phi=q_{1} \wedge q_{2} \rightarrow p$ に固定し, $\phi, q_{1}, q_{2} \vdash p$ より $p$ を True と帰結する戦略のみを採用する. 図 1 における Moon Jae-in was born outside of Khanbaliq の分解はその一例である. その他の戦略は §Bを参照のこと。 $p$ から $Q$ を生成するために，§A. 2 の雛形を用いてプロンプトを作成し，LLM に入力する． $p$ が False である場合には，架空の事実を含む十分条件を生成する必要があるため，プロンプトでは，生成される命題 $q_{1}, q_{2}$ は偽の事実 (false facts) であることを許している. 最後に，LLM の生成結果からパタンマッチにより $q_{1}, q_{2}$ を抽出し, $\operatorname{ProofGen}(p)$ の出力を $(\phi, Q)=\left(q_{1} \wedge q_{2} \rightarrow p,\left.\{q_{1}, q_{2}\right.\}\right)$ とする.

## 4 評価実験

本節では，研究の大前提となる LMKB 単体の性能を確認し，LMKB の予測が不確実な場合の間接証明へのバックオフの効果を検証する.

## 4.1 実験設定

データセット StrategyQA [1] (BigBench 版) ${ }^{1)}$ の Validation Split 457 問を用いる. StrategyQA は，(a)複数の知識を統合して答えるマルチホップ $\mathrm{QA}$ であり，(b) 解答に必要な知識が質問からは分からない質問を集めたデータセットであり，本研究の実験に適していると考えられる．GPT-4 により質問文を肯定形に変換して実験に利用する。

モデル LMKB と ProofGen を実装するための LLM として， GPT-4 (gpt-4-1106-preview)，または GPT-3.5 (gpt-3.5-turbo-1106)を OpenAI API 経由で用いる2). 実験では，以下のモデルの性能を比較する。
- BooIQA: LMKB に真偽値を強制的に出力させる (提案手法 $\tau=0$ と等価).

・BoolQA+Unk: LMKB の検証結果をそのまま使う (提案手法 $d=0$ と等価).
- Back-off LMKB: 提案手法. 再帰の深さの上限 $d=1, d=2$ それぞれを評価する.

図 2 閾値 $\tau$ を変化させた場合の解答率と精度の変化 (上: GPT-4, 下: GPT-3.5).

評価指標それぞれのモデルは「解答しない (Unknown)」という選択肢を取ることができ，解答対象の問題数が異なるため，性能を互いに比較することが難しい。そこで，Selective Classification タスク [15]のもとでモデルを評価する. すなわち，閾值 $\tau$ を変化させ，解答率と精度の変化をプロットする. 本実験では $\tau$ を 0.025 きざみで 0.0-1.0 まで変化させ，解答率 $=\frac{\text { モデルが真偽値を返した問題数 }}{\text { 全問題数度 }}$

同一解答率の上での精度比較が可能になる。

## 4.2 実験結果

BoolQA の精度を表 1, BoolQA+Unk, Back-off LMKB の解答率と精度の関係を図 2 に示す。

## LMKB は十分な精度を持ち，予測の不確実性を推定できるか？ 表 1 より，LMKB は既存研究と 比べても遜色ない精度で真偽検証ができることが確認できた. また，図 2 より，両言語モデルにおいて BoolQA+Unk の解答率と精度の間に負の相関が確認 できた。これは，正規化エントロピーに基づく確信度を用いた LMKB が，予測の不確実性を適切に推定できていることを意味する.
表 2 LMKB が Unknown と答えた事例における，間接証明に基づく真偽検証の精度 (GPT-4). \% True は正解ラべルが True の問題の割合を示す.

## 不確実な予測に対する間接証明へのバックオ フは有効か？図 2 より, 同一の解答率における BoolQA+Unk と提案手法の精度を比べると，GPT-4 ではすべての解答率において，GPT-3.5 では解答率 60\%以上において，提案手法がより高い精度を得ら れた。これより，予測が不確実である場合の間接証明へのバックオフの有効性が確認できた.

さらに，図 2 より， $d=1$ と $d=2$ を比べると， $d=2$ の精度が全体的に高い傾向にあることがわかる.これより，慎重な真偽検証を再帰的に行うことの有効性も確認できた.

図 3 に, BoolQA は False, BoolQA+Unk は Unknown と判断するところを，間接証明へのバックオフにより True と結論を上書きし，正解できた事例を示す.

## 間接証明による真偽判断はどの程度正確か？ GPT-4 の解答率 $95 \%$ 付近の実験結果について，間接証明に基づく真偽判断の性能を評価した. LMKB が Unknown と解答した事例における，間接証明に 基づく真偽判断の精度を表 2 に示す. True を正解と する問題の割合はそれぞれ $62.8 \%, 61.8 \%$ 程度であ り，Unknown を単純に True または False に倒す場合 に比べて，10\%以上高い精度で真偽判断を実現でき ていることになる．以上より，間接証明へのバック オフの効果を改めて確認できた.

## 4.3 間接証明のエラー分析

今後の課題を探るため，表 2 の $(d, \tau)=(2,0.35)$ の結果において，間接証明が真偽判断を誤った事例 20 件を人手により分析した.

予測 $=$ True, 正解 = False: 9 件 6 件/9 件は, ProofGen は期待通りに動作していたが，LMKB の真偽判定誤りに起因するエラーが 3 件，LMKB の真偽判定は正しいが，データセットの質問がそもそも曖昧であり，True も正解といえるケースが 3 件あった. 残りの 3 件 $/ 9$ 件は，ProofGen のエラーにより, 生成された命題の集合が入力命題の十分条件でないという事例であった（図 4).

予測 = Unknown，正解 = True: 11 件 9 件/11 件については，ProofGen にエラーはないが， 5 件/9 件に

図 3 間接証明へのバックオフが有効な例. “T: ... F: ...” は LMKB の予測確率分布，“C:” は確信度，“ $\rightarrow$ ”は最終的な真偽検証結果を示す（式 2 による）。

ついては，LMKB が少なくとも 1 つの命題を False または Unknown と判断したために，十分条件が成立していると判定されずに True と帰結しなかったケースであった (図 5). 残りの 4 件/9 件については, LMKB の真偽判定誤りにより True と帰結されなかったケースであった. 残り 2 件/11 件は，前述同様，生成された命題の集合がそもそも十分条件になっていないものであった.

## 5 おわりに

本稿では，LM as KB の信頼性向上を目指し，予測の不確実性を間接証明によるバックオフで補うアプローチを検討した. $\$ 4.3$ のエラー分析により，大きく二つの課題が見えてきた。

第一に，LMKB の真偽検証の精度，及び予測の不確実性の推定精度の問題である。予測の不確実性の指標を，知識ベースにある命題とそうでない命題を明確に切り分けられる統制された実験条件下で研究していく必要がある.

第二に，間接証明戦略の不十分さである. 現状の提案手法では，与えられた命題に対して一つの特定の形の証明を試みているが，これにより誤った Unknown の予測を生み出してしまった。一つの証明戦略について複数の命題集合を生成する，証明戦略を増やすなどの対策が必要である。また，最適な証明戦略の自動選択や，確実に真偽検証できる方向に探索的に証明を展開するなど，証明探索の研究なども今後の課題となる.

## 謝辞

本研究は JSPS 科研費 $19 K 20332$ の助成を受けたも

のです. 所属研究室の坂井吉弘氏，趙羽風氏には論文に関して有益な助言をいただきました. 両氏に感謝いたします.

## 参考文献

[1] Mor Geva, Daniel Khashabi, Elad Segal, Tushar Khot, Dan Roth, and Jonathan Berant. Did aristotle use a laptop? a question answering benchmark with implicit reasoning strategies. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 346-361, 2021.

[2] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham Neubig. How can we know when language models know? on the calibration of language models for question answering. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 962977,2021 .

[4] Lovisa Hagström, Denitsa Saynova, Tobias Norlund, Moa Johansson, and Richard Johansson. The effect of scaling, retrieval augmentation and form on the factual consistency of language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 5457-5476, Singapore, December 2023. Association for Computational Linguistics.

[5] Jiahui Geng, Fengyu Cai, Yuxia Wang, Heinz Koeppl, Preslav Nakov, and Iryna Gurevych. A survey of language model confidence estimation and calibration, 2023.

[6] Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, and Hannaneh Hajishirzi. When not to trust language models: Investigating effectiveness of parametric and nonparametric memories. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9802-9822, Toronto, Canada, July 2023. Association for Computational Linguistics.

[7] Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, and Christopher Manning. Just ask for calibration: Strategies for eliciting calibrated confidence scores from language models fine-tuned with human feedback. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 5433-5442, Singapore, December 2023. Association for Computational Linguistics.

[8] Potsawee Manakul, Adian Liusie, and Mark Gales. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 90049017, Singapore, December 2023. Association for Computational Linguistics.

[9] Pruthvi Patel, Swaroop Mishra, Mihir Parmar, and Chitta Baral. Is a question decomposition unit all we need? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the
2022 Conference on Empirical Methods in Natural Language Processing, pp. 4553-4569, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[10] Sewon Min, Kalpesh Krishna, Xinxi Lyu, Mike Lewis, Wen-tau Yih, Pang Koh, Mohit Iyyer, Luke Zettlemoyer, and Hannaneh Hajishirzi. FActScore: Fine-grained atomic evaluation of factual precision in long form text generation. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp 12076-12100, Singapore, December 2023. Association for Computational Linguistics.

[11] Tushar Khot, Harsh Trivedi, Matthew Finlayson, Yao Fu, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Decomposed prompting: A modular approach for solving complex tasks. In The Eleventh International Conference on Learning Representations, 2023.

[12] Jiajie Zhang, Shulin Cao, Tingjian Zhang, Xin Lv, Juanzi Li, Lei Hou, Jiaxin Shi, and Qi Tian. Reasoning over hierarchical question decomposition tree for explainable question answering. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 14556-14570, Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Zaid Khan, Vijay Kumar BG, Samuel Schulter, Manmohan Chandraker, and Yun Fu. Exploring question decomposition for zeroshot vqa, 2023

[14] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy MeierHellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways, 2022.

[15] Yonatan Geifman and Ran El-Yaniv. Selective classification for deep neural networks. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

## A LLM に与えるプロンプト

## A. 1 LMKB

For the following question, provide your best guess. Give ONLY the guess. No other words or explanation. $\{p\}$. True or False?

## A. 2 ProofGen

To conclude a statement $X$, what premises are needed? Write two atomic premises $P$ and Q.
- $P$ and $Q$ can be false facts. $P$ and $Q$ should contain all the world knowledge required to prove X. P and Q should be simple sentences consisting of only subject-verb-object.
- Write specific statements. Do not use pronouns. Use specific nouns. Give ONLY answer. No other words or explanations.

For example: P: <Premise 1> Q: <Premise 2> $\mathrm{X}:\{p\}$

## B その他の証明戦略の例
- Modus Tollens: $\phi=\left(p \rightarrow q_{1}\right)$ とし， $\phi, \neg q_{1} \vdash \neg p$ より $p$ を偽と帰結する。
- Disjunctive Syllogism: $\phi=(p \vee \neg p)$ とし, $\phi, \neg p \vdash p$ より $p$ を真と帰結する.

## C 間接証明のエラー

図 4，図 5 に，間接証明のエラーに起因する真偽検証誤りを示す。

図 4 ProofGen のエラーの例（右下）「「UMG の本社にはオーディオ機器がある」「NYSE の closing bell はオー ディオ機器で放送できる」だけでは「UMG の本社には NYSE の closing bell を放送するシステムがある」とは言い切れない.

Michael Bloomberg can fund the debt of Micronesica for a decade.

図 5 LMKB により生成された十分条件は正しいが LMKB が Falseを返したため，証明が失敗し，全体としては Unknownを返した。


# 言語は等しく複雑か？：
多義語埋め込み表現による形式一意味対応の複雑性

中山拓人
慶應義塾大学
tnakayama.a5ling@gmail.com

## 概要

「あらゆる言語は，等しく複雑である」という言語の性質は，言語学において長く信じられてきた。実際に，この性質を支持するような事例が報告されている一方で，反証的な研究結果も同時に挙げられており，現在に至るまで，その真偽については未解決である。本研究は，言語全体の複雑性を決定する主要な要因の 1 つとして, 形式 - 意味の対応関係に注目し, 情報理論に基づく複雑性計測手法の提案,及び多言語間の複雑性比較を行った. 結果として,極端に複雑な対応関係を持つ言語は無いが，他に比べて，より単純な対応関係を持つ言語が存在すること, 及び言語の等複雑性はそれほど強い性質ではない，ということが示唆された.

## 1 はじめに

言語学において，「あらゆる言語は，等しく複雑である」という性質が，広く信じられてきた。一般に言語の等複雑性 (linguistic equi-complexity) と呼ばれるこの性質は， 70 年近く前から示唆されているものである。例えば, Hockett は, “impressionistically it would seem that the total grammatical complexity of any language, counting both morphology and syntax, is about the same as that of any other" $[1$, p.180] と述へている. 実際に，Everett は Pirahã 語について， "[n]o one should draw the conclusion from the paper that the Pirahã language is in any way 'primitives'. It has the most complex verbal morphology I am aware of. And a strikingly complex prosodic system” [2, p. 62] と主張しており，等複雑性を支持する事例を報告している。 この様に，言語間において，個別の側面ごとの複雑性に差異が見られても，全体を均した複雑性には差がないという性質が，暗黙の裡に支持されてきた。 しかし，この性質の真偽については，後述の通り，未解決と言わざるを得ない状況にある。この主たる理由として挙げられるのは，言語全体の複雑性を計測する方法について，統一的な見解が無いことである.

そこで本研究は，言語全体の複雑性を決定する主要な要因の 1 つが，形式 - 意味の対応関係であると仮定し，その尺度を用いた複雑性計測手法の提案，及び多言語間の複雑性比較を実践する．以下では， 2 節で, これまでの複雑性研究の概観と, 意味の側面を考慮した計測をするための，埋め込み表現について概観する. その後，3節で方法論の提案を行い， 4 節で多言語比較の結果と，その考察を示す.

## 2 先行研究

## 2.1 言語の等複雑性

コンピュータ技術の向上により，2000 年代以降から，膨大な計算力を用いた複雑性研究が行われてきたが，現在に至るまでも，言語の等複雑性に対する支持／不支持のいずれの立場も見られる。例えば， Bentz らの研究では，言語全体の複雑性を，様々な側面の情報を格納したべクトルとして表現する手法を用いた [3]．それを用いて，各次元間における相関の有無によって，各側面同士のトレードオフ関係に，ベクトル間の有意差の有無によって，言語全体の複雑性にアプローチした. 結果として，トレードオフ関係にはほとんど有意な相関は見られなかったが，その一方で，言語全体の複雑性については有意な差が見られず，言語の等複雑性を示唆する結果が示されている。また，Shannon の情報理論 [4] 亿基づいて，単語についての uni-gram エントロピーとエントロピーレートを，多言語間で比較した研究もある [5]. 結果として，2つの尺度とも極めて狭い範囲に収まっており，言語の等複雑性が示唆される結果が示されている.
一方で，否定的な立場を示す研究もある。 Koplenig らの研究では，「それ以前の系列が与えられた条件下で，次に出てくる要素の予測しづらさ」 を言語の複雑性と定義し, 情報エントロピーとして算出したその值を，コーパス間で比較した [6]. 結果として，あるコーパスの中でエントロピーが高い ／低い言語は，別のコーパス内でも，同様に高い／低いエントロピーを持つという，言語の等複雑性に対して否定的な示唆がなされている。また，人口の多いコミュニティで使用される言語程, エントロピーが高い，即ち複雑性が高い傾向があることを指摘しており，実際に言語が使用される環境が，言語の複雑性を決める要素の 1 つであることが示唆されている研究もある [7]. この様に，現在に至るまで，言語の等複雑性についての論争は，未解決である.

これまでの複雑性研究は, 形式的側面の分析が主な関心の対象であるが，これは多くの研究で活用されている, Shannon の情報理論 $[4$, p. 1] で明示されている態度である.

Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.

Shannon は，上記の様に言及しており，この態度は現在の研究にも大きく継承されているといえる。しかし，言語の複雑性研究において，意味的側面を考慮に入れるべきであるという手法も，昨今取り上げられている (e.g., [8]). 本研究は, 形式的側面だけでなく, 意味的側面も考慮した上で，言語の等複雑性にアプローチすることを目的とする。

## 2.2 多義性と埋め込み表現

構文文法などで言われている，形式と意味のぺアリングを，言語の基本的な単位という立場に立てば，形式 - 意味の対応関係の複雑性が，言語全体の複雑性を決定する要因の 1 つであると見做せる。 そして，形式 - 意味の対応関係の複雑性のあり方として，「ある形式を見た時に，その形式がどんな意味を表しているか，予測しづらい程，複雑であり，一対一対応に近い程，単純である」という尺度が考えられる。故に，この尺度を計測するためには，ある形式が，いくつの語義と結びついているのかを，自動で推定する手法が必要となる.

これを解決するために，本研究では文脈を考慮した埋め込み表現を用いる。埋め込み表現としてよく知られているのは， word2vec [9] [10] である．しかし， word2vec は文脈を考慮していないため，それから得られる埋め込み表現からは，形式が持つ複数の語義を推定することはできない，各トークンにつき得られた埋め込み表現であれば，それらを利用して語義巣を推定することができるだけでなく，各トー クンがどの語義で使われているかも，得ることができる.

文脈を考慮した埋め込み表現を得られるモデルは，よく知られているものが複数ある. Devlin らが提案した BERT (Bidirectional Encoder Representation from Transformers) [11] は, 双方向の文脈を学習することで，埋め込み表現を得るが，事前学習だけでなく，タスクに合わせた微調整を組み合わせて行うことが，特徴である. Peter らが提案した ELMo (Embeddings from Language Model)[12] は, 双方向 LSTMを用いて，各トークンに対し入力文脈全体を加味した埋め込み表現を算出する点が特徴である.この特徴から，多義語をモデル化することが可能になっている．また ELMo には，多言語用の学習済みモデルが公開されており [13] [14]，本研究ではこれを理由に，以下で取り組む実験では，ELMoを使用した。

## 3 方法論

## 3.1 提案する手法

本研究が提案する手法では，「ある形式から，それが表している意味をどれだけ予測しづらいか」を言語全体の複雑性を決定する主要な要因と仮定し, Shannon の情報理論に基づいて，これを計算する.

手法のアルゴリズムとしては，まずデータとなるテクストを，任意の単位に分割し，それで得られたトークンごとの埋め込み表現を得る。ここで想定される単位とは主に単語であるが，場合によってはより大きな，複数単語の系列や，より小さい n-gram も考えられる。その場合，文脈に相当する単位を事前に設定することが想定される。 次に得られたトークンごとの埋め込み表現を，タイプごとにクラスタリ

ングを行う。ここで得られたクラスター数が，そのタイプの語義の推定数となる. 各クラスターに属するトークン数から出現確率の分布 $p_{k}$ を算出し, それを基に各タイプのエントロピー $H$ を，以下の公式で求める.

$
H=-\sum_{k} p_{k} \log _{2} p_{k}
$

エントロピーに関しては，各タイプのエントロピーの単純な総和では，タイプ数に依存して増加するため，各タイプ自体の出現確率を掛けることで，平均化する. 以下の Algorithm 1 は, 疑似コードによる手順の記述である.

## 3.2 実験

本実験では，単語を対象として，10 言語 (英語，ギリシャ語，スペイン語，中国語，チェコ語，ドイツ語, 日本語, フランス語, ヘブライ語, ロシア語)の比較を行った. 文脈を考慮した埋め込み表現を各単語トークンに対して得るために，学習済みの ELMo モデルを使用した．多言語比較するにあたって，学習済みモデルの ELMoForManyLangs [13][14]を使用した.これは公開されている 44 言語の学習済みモデルであり，以下では 10 言語のモデルを使い，比較した。使用するデータは，コーパスから無作為にダウンロードした各言語 10,000 文を使用した. 各コーパスと抽出したデータの情報を，それぞれ表 1 ，表 2 にまとめた.

表 2 使用データの概要抽出単語数 $(/ 10,000$ 文)

クラスタリング手法としては，BDSCANを使用した. クラスター数を未知の語義数の推定値として利用するため，クラスター数を予め設定する必要が無い手法を用いた。 そうして得られた，クラスター に対するトークンの分布から，エントロピーを算出した.

## 4 結果

算出された各言語についてのエントロピーは，図 1 の通りであった. 全体として，0.5未満の小さな値を示しており，最小値がチェコ語 ( 0.0938 )で，最大值がフランス語 ( $\approx 0.4496$ )であった. ここで計算したエントロピーは，0 に近い程一対一対応に近く, 1 に近い程 1 つの形式が平均して 2 つの語義に対応していることを意味している. その意味では, どの言語も 1 つの形式に対しては， 1 つ以上 2 つ未満の語義のみが結びついており，極端に一対多数の様な，複雑な対応関係を示す言語は見られな

図 1 エントロピー比較

かった.

一方で，チェコ語とロシア語については，全体の中でも特に低い， 0.1 未満の值を示している. このことから，形式と語義の対応関係が，極めて一対一対応に近い言語があることが示唆される. 故に，形式 - 意味の対応関係における言語の複雑性は，極端に高い值を示す言語は無いが，他に比べて，より一対一対応に近い単純な対応関係を持つ言語が存在すること，及び，言語の等複雑性はそれほど強い性質ではない，ということが示唆される。

## 5 結語

本研究は，言語全体の複雑性を決定する主要な要因の 1 つとして, 形式 - 意味の対応関係に注目し,情報理論に基づく複雑性計測手法の提案, 及び多言語間の複雑性比較を行った. 結果として, 形式 - 意味の対応関係における言語の複雑性は，極端に高い値を示す言語は無いが，他に比べて，より一対一対応に近い単純な対応関係を持つ言語が存在すること，及び，言語の等複雑性はそれほど強い性質ではない，ということが示唆された. 今後の課題として, 本研究では, 10 言語のみの分析に留まったため，学習済みモデルが公開されている 44 言語全ての分析が必要である. また, 本研究が対象とした単位は単語であったが，単語以外の単位にも拡張が必要である. これは，単語という単位が明確に定義できない言語 (e.g., 日本語，中国語) においては，意味と結びついている形式系列の単位として，単語が妥当であるか否かは，明確ではないためである. 最後に，意味を離散的にしか扱えていない点が，課題として挙げられる. 本研究では，語義数をクラスター 数によって推定したが，実際には，語義は連続値的な振る舞いをしていると考えられる，今後は，多次元空間に埋め込まれた分散表現を利用し，形式と連続値としての意味との対応関係を対象としていく必要がある。

## 謝辞

本研究は，JST 次世代研究者挑戦的研究プログラ

ム JPMJSP2123 の支援を受けたものです.

## 参考文献

[1] Charles . Hockett. A course in modern linguistics. Macmillan, 1958.

[2] Daniel L. Everett. Cultural constraints on grammar and cognition in piraha . Current Anthropology, Vol. 46, pp. 621-646, 2005.

[3] Christian Bentz, Ximena Gutierrez-Vasques, Olga Sozinova, and Tanja Samardžić. Complexity trade-offs and equi-complexity in natural languages: a meta-analysis. Linguistics Vanguard, Vol. 9, pp. 9-25, 2022.

[4] Claude E. Shannon. A mathematical theory of communication. The Bell System Technical Journal, Vol. 27, pp. 623-656, 1948.

[5] Christian Bentz, Dimitrios Alikaniotis, Michael Cysouw, and Ramon Rerrer i Cancho. The entropy of words - learnability and expressivity across more than 1000 languages. Entropy, Vol. 19, p. 275, 2017.

[6] Alexander Koplenig, Sascha Wolfer, and Peter Meyer. A large quantitative analysis of written language challenges the idea that all languages are equally complex. Scientific Reports, Vol. 13, , 2023.

[7] Alexander Koplenig, Sascha Wolfer1, and Peter Meyer1. Human languages trade off complexity against efficiency. Scientific Reports, in press.

[8] Christian Bentz. Beyond words: Lower and upper bounds on the entropy of subword units in diverse languages. In The 16th International Cognitive Linguistics Conference, Düsseldorf, Germany, 2023.

[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeffery Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, Vol. 26, pp. 3111-3119. Curran Associates, Inc., 2013.

[10] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics.

[12] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. New Orleans, Louisiana, 2012. Association for Computational Linguistics.

[13] Wanxiang Che, Yijia Liu, Yuxuan Wang, Bo Zheng, and Ting Liu. Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 55-64, Brussels, Belgium, 2018. Association for Computational Linguistics.

[14] Murhaf Fare, Andrey Kutuzov, Stephan Oepen, and Erik Velldal. Word vectors, reuse, and replicability: Towards a community repository of large-text resources. In Proceedings of the 21st Nordic Conference on Computational Linguistics, pp. 271276, Gothenburg, Sweden, 2017. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 超伝導材料の転移温度予測における事例間の繋がりを考慮した 知識グラフの有効性の調査

吉野草太 ${ }^{1}$ 旭良司 ${ }^{2}$ 三輪誠 ${ }^{1}$ 佐々木裕 1
1 豊田工業大学 2 名古屋大学
\{sd20109, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp
ryoji.asahi@chem.material .nagoya-u.ac.jp

## 概要

近年，データ駆動で材料開発を行うマテリアルズ・インフォマティクスの発展に伴い，属人的な知見への依存を減らし，より高性能に物性値を予測するための研究が進められている。超伝導材料は高い応用可能性により開発が急がれているが，膨大な探索範囲から目的に見合った転移温度を持つ材料を発見するのは困難である。そのため，組成式や構造情報から転移温度を予測し，材料探索を加速化するアプローチが研究され，その 1 つにデータベースから作成した知識グラフを用いて転移温度予測を行う手法がある。しかし，既存手法の知識グラフは事例間の繋がりを考慮できていない，そこで，本研究では材料が組成式・構造名・論文題名の頂点を介して繋がる知識グラフを用いた転移温度予測モデルを提案する．実験により，SuperCon データセットにおいて既存手法と比較して RMSE が 0.072 減少することが明らかとなった。さらに，材料間の繫がりを考慮した知識グラフの転移温度予測に対する有効性を確認した.

## 1 はじめに

近年，データ駆動で材料開発を行うマテリアルズ・インフォマティクス（Materials Informatics; MI） の発展に伴い，属人的な知見への依存を減らした効率的な材料開発が活発化している. MIによる材料開発のアプローチの 1 つとして，機械学習を用いて材料の物性値を予測する研究がある. 材料の組成式，構造情報などを入力として材料の物性値を予測する手法が提案されており，より高性能に物性値を予測するための研究が進められている $[1,2,3,4,5,6]$.

材料研究において，注目されている材料の一つに超伝導材料がある．超伝導材料はある温度（転移温度）以下で電気抵抗がゼロとなる特性から，工学・医学などの幅広い分野で応用されており，その開発は急務である．超伝導材料の用途やコストは転移温度に依存するため，目的に見合った転移温度を持つ材料の開発が求められているが，膨大な材料組成の探索範囲から所望の超伝導材料を発見するのは困難である。そのため，組成式や構造情報から転移温度を予測し，所望の転移温度を記録した組成式や構造情報をもとに材料を作製するアプローチが研究されており，超伝導材料データベース (SuperCon [7], 3DSC [8], Superconducting Research Database [9] など) を用いた予測モデル $[10,11,12,13]$ が提案されている.

材料が似た組成式を持つ・同じ構造を持つなどの関係があるとき，その材料の転移温度は関連を持つ可能性がある．また，同じ論文で報告されている材料は，何らかの観点で似た性質の材料である可能性がある。このような材料間の繋がりを考慮するための方法の 1 つとして，データを頂点と辺で表現する知識グラフに変換し，グラフニューラルネットワー ク (Graph Neural Network; GNN) で学習する方法が考えられる。材料分野で GNN を利用した手法の 1 つとして, Hatakeyama ら [14] はテーブルデータベースに記録されている材料の各事例を，組成式・構造・文字を頂点で，それぞれの頂点の関係を辺で表現する知識グラフに変換して，GNNを学習することで，材料分野の物性值予測において高い予測性能を示した.しかし，この方法では，事例ごとに知識グラフを作成するため，事例間を繋ぐ辺が無く，材料間の繋がりを考慮できない。さらに，転移温度予測に対して，知識グラフを利用した例はなく，その有効性は未知のままである.

そこで本研究では，超伝導材料の転移温度予測に

おける知識グラフの有効性の調査を目的として，材料の組成式・構造・論文題名からなる知識グラフを入力とした転移温度予測モデルを提案する. 知識グラフにより，組成式・構造・論文において事例間で繋がりを持つ材料が互いに及ぼし合う影響を捉えることができれば，より高性能な予測ができると期待できる. 本研究の貢献は以下の通りである.

・超伝導材料分野における知識グラフを利用した転移温度予測モデルの提案

・データベースの事例間の繋がりによる転移温度予測への有効性の確認

## 2 関連研究

材料の組成式や構造を入力として特定の物性値を予測する物性值予測が広く研究されている. 物性予測は様々な情報を入力として用いる手法 $[2,3]$ と組成式のみを入力に用いる手法 $[1,5,6]$ に大別される. 様々な情報を入力として用いる手法は一般に高性能だが，材料に対する情報量に偏りがあり不均一である。一方, 組成式のみを入力に用いる手法は組成式だけを必要とするため，運用が手軽だが性能は低い。

Wang ら [6] は組成式から注意機構を用いて物性値を予測する CrabNetを提案した. CrabNet は，組成式について元素と比率をそれぞれ符号化した入力を，Transformer [15] のエンコーダ部を参考にしたモデルに与えて物性値を予測する. 組成式の比率の符号化において，比率を線形変換したものと対数変換したものを符号化することで，組成式の比率の違いに敏感な材料，たとえばドーピングの影響を受けやすい材料に対応し, 様々なデータセットで高い予測性能を示している.

Hatakeyama ら [14] はテーブルデータベースを変換した知識グラフに GNNを適用し，物性予測を行う手法を提案した. テーブルデータベースでは，異なるデータベースの統合や実験手順などの記録が難しい，といった問題点が存在する．そのため，テー ブルデータをグラフに変換して 47 種類の物性值を 1 つのモデルで予測し，高い予測性能を実現した. しかし，このグラフデータベースは 1 つの事例を 1 つのグラフに変換して作成されるため，事例間の繋がりが無い．また，超伝導材料分野において，テーブルデータをグラフで表す有効性は明らかになっていない.

## 3 提案手法

超伝導材料を対象に，知識グラフを入力とする転移温度予測モデルを提案する． 3.1 節で超伝導材料データベースからの知識グラフの作成について説明し， 3.2 節で知識グラフを入力とする転移温度予測モデルについて説明する。提案手法の概要を図 1 に示す.

## 3.1 知識グラフの作成

超伝導材料データベースに登録されている全ての事例から知識グラフを作成する. 処理前組成式処理後組成式・構造名・論文題名を知識グラフの頂点とし，処理後組成式が材料の中心的な属性と考え $\tau$, 処理前組成式 - 構造名 - 論文題名から処理後組成式へそれぞれ異なる関係の有向辺を張る.このようなグラフの構造にすることで，複数の処理後組成式が処理前組成式・構造名・論文題名を介して次のように知識グラフ上で繋がることで，学習する際に，共通点を持った処理後組成式の表現同士が影響し合うことを期待する．例えば，処理後組成式の表現の単なる線形結合ではなく, 介す頂点が処理前組成式・構造名・論文題名のどれであるかによってそれぞれ異なる表現が伝わって混ざり合う。

まず，処理前組成式に様々な処理を施したものが処理後組成式であるため, 大体の組成は一致している.この 2 つを辺で繋ぐことで，似た組成の処理後組成式が同じ処理前組成式を介して繋がる。次に，処理後組成式とその構造名を辺で繋ぐことで，同じ構造を持つ処理後組成式が構造名を介して繋がる.最後に，処理後組成式とそれが報告された論文題名を繋ぐことで，同じ論文で報告された処理後組成式が論文題名を介して繫がる. 図 2 に具体的な値を用いた知識グラフの作成手順を示す.

## 3.2 転移温度予測モデル

3.1 節で作成した知識グラフを用いて転移温度予測を行う．知識グラフのそれぞれの頂点の表現を初期化した後，Relational Graph Convolutional Networks (RGCN) [16] と全結合層により転移温度と不確実度を出力し, CrabNet と同様に RobustL1 損失で学習する。

RGCN に入力する知識グラフの頂点である処理前組成式・処理後組成式・構造名・論文題名の表現はそれぞれ異なる方法で初期化する。処理前組成

図 1 提案モデルの全体像

超伝導材料データベース

知識グラフ作成

図 2 知識グラフの具体的な作成手順

式と構造名は一様分布の乱数 $(1,024$ 次元 $)$, 処理後組成式は CrabNet の表現（1,024 次元），論文題名は MatSciBERT [17]（768 次元）により，それぞれ初期化する。ここで用いた CrabNet と MatSciBERT は出力のみ用いているため，提案手法のネットワークには繋がっていない。ここで処理前組成式は，処理後組成式と異なり括弧や未定義元素が使用されており CrabNet では初期化できないため，一様分布の乱数で初期化する。また，CrabNet の表現は組成式の最大元素数を 8 で固定することで $(8,128)$ 次元の行列となっているが，RGCN に入力するため 1,024 次元のベクトルに変形して使用する.

ここでいう CrabNet の表現とは, CrabNet 内の ResidualNetwork の最終層から出力される表現である. CrabNet では ResidualNetwork の後に, $(8,128)$ 次元の表現を $(8,3)$ 次元にする全結合層と， $(8,3)$ 次元を 2 次元 (転移温度，不確実度）にする物性値予測層が存在する。以降では，この全結合層と物性値予測層を合わせて出力層と呼ぶ.

頂点の表現を初期化した知識グラフを RGCN に入力し, 順伝播後の処理後組成式の頂点の表現を出力層に入力し，転移温度を出力する。知識グラフを RGCN に入力する前に，処理前組成式・処理後組成式・構造名・論文題名の頂点の表現をそれぞれ全結合層に入力し，次元を 512 次元に揃える. 頂点の表現の次元を揃えた知識グラフを，頂点の表現の次元を保ちながら，2 層の RGCN に入力する．RGCN から出力された知識グラフのうち, 処理後組成式の頂点の表現のみ使用する. 処理後組成式の頂点の表現は 1,024 次元であるが，CrabNet の出力層に入力するため $(8,128)$ 次元に変形する. 変形後の処理後組成式の頂点の表現を出力層に入力することで転移温度と不確害度が出力される。

このように RGCNを導入することにより，処理後組成式と処理前組成式・構造名・論文題名の辺を区別しつつ，頂点の表現同士を影響させ合うことができる。処理後組成式の頂点の表現のみを全結合層に与える理由は，処理後組成式と転移温度が 1 対 1 に対応しているためである．知識グラフの中に無い処理後組成式に対しては転移温度を予測することができないため，開発データ・テストデータの処理後組成式も含めて知識グラフを作成し，トランスダクティブな学習を行う。

上述した転移温度予測モデルを数式で表す. 作成した知識グラフを $G$ ，次元を揃える前のそれぞれの頂点の表現を $H_{i}, i \in\{$ 処理前組成式，処理後組成式，構造名，論文題名 $\}$ とすると，転移温度予測モデルは次のように転移温度 output と不確実度 $\sigma$ を予測する。

$
\begin{aligned}
& H_{i}^{\prime}=\operatorname{FC}_{i}\left(H_{i}\right) \\
& X=\operatorname{Concat}\left(H_{i}^{\prime}\right) \\
& X^{\prime}=\operatorname{RGCN}(G, X) \\
& X_{\text {処理後組成式 }}=\operatorname{Reshape}\left(X_{\text {処理後組成式 }}\right) \\
& X^{\prime \prime \prime}=\operatorname{FC}\left(X_{\text {処理後組成式 }}\right) \\
& \text { output }, \sigma=\operatorname{CrabNetOutput}\left(X^{\prime \prime \prime}\right)
\end{aligned}
$
表 1 転移温度予測の結果 $[\mathrm{K}]$. 太字は列における最高のスコアを示す

ここで予測された転移温度 outputについて, CrabNet で用いられている以下の RobustL1 関数を用いて転移温度の正解 target と比較することで，損失を計算する。

$
L=\sqrt{2} \exp (\sigma) \mid \text { output }- \text { target } \mid+\sigma
$

## 4 実験と考察

## 4.1 実験設定

超伝導材料データセットとして, MDR SuperCon[7] を用いる。超伝導材料に対応する 33,407 件の事例それぞれについて記録されている 200 種類以上の属性の中から，処理前組成式として name 列，処理後組成式として element 列，構造名として str3 列，転移温度として tc 列，論文題名として title 列，論文出版年として year列を取り出す.この際，処理前組成式・処理後組成式・転移温度・論文出版年に欠損值を含む事例を削除する. それぞれ 1913 年〜2003 年の事例を訓練データ，2004 年〜2013 年の事例を開発データ，2014 年〜2021 年の事例をテストデータとして，おおよそ 7:2:1 の割合で分割した。

データの分割とは別に, SuperConの全事例から知識グラフを構築した (付録 $\mathrm{A})$. 全事例から知識グラフを作成するため，開発データやテストデータの処理前組成式 - 処理後組成式 - 構造名 - 論文題名の頂点の表現も訓練時に参照する. 開発・テスト時において，RGCN までは訓練時と同様に順伝播が行われるが，その後は開発データ・テストデータに含まれる処理後組成式のみを全結合層に入力し, 転移温度を出力する. 本研究で提案するモデルは知識グラフにある処理後組成式の転移温度を予測するため，新たな処理後組成式の追加は想定していない. また，知識グラフの頂点の表現を初期化する際に使う CrabNet は訓練データで事前に学習しておく。

## 4.2 実験結果

SuperCon に記録されている超伝導材料のうち，評価データとテストデータに対して転移温度予測を行った結果を表 1 に示す. SuperCon から構築した知表 2 アブレーションの結果. 太字は列における最高スコアを示す。

識グラフを用いることで，評価データにおいては提案手法が CrabNet の性能を上回る結果となったが， テストデータにおいては CrabNet に比べて MAEが約 0.2 大きく, RMSEが約 0.1 小さい結果となった.

## 4.3 考察

提案手法による性能向上が知識グラフによって事例間の繋がりを考慮したことによるのかを調べるために追加実験を行った結果を表 2 に示す. 具体的には，提案手法から処理前組成式・構造名・論文題名の頂点をそれぞれ除外したアブレーションを行った.すべての場合において提案手法の性能より下回っており，事例間の繋がりの有効性を示唆している. 性能の低下が最も大きいのは構造名を抜いた場合であった.

## 5 おわりに

本研究では，超伝導材料の転移温度予測に対する知識グラフの有効性の確認を目的として, 超伝導材料データベースから作成した知識グラフを入力とする転移温度予測モデルを提案した. SuperConを用いて提案手法の学習・評価を行った結果，転移温度の RMSE が 0.072 減少した. また，提案手法における性能向上は，材料に関する多様な項目を考慮することに依ると確認できた。

今後は，括弧や変数を含む処理前組成式と構造名の適切に初期化する, SuperCon 以外のデータベースを追加するなどの改善を行い，転移温度予測のさらなる精度向上や，学習した頂点の表現の他タスクへの活用を目指す。

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{~K} 11237$ の助成を受けたものです.

## 参考文献

[1] Dipendra Jha, Logan Ward, Arindam Paul, Wei-keng Liao, Alok Choudhary, Chris Wolverton, and Ankit Agrawal. Elemnet: Deep learning the chemistry of materials from only elemental composition. Scientific Reports, Vol. 8, No. 1, p. 17593, Dec 2018.

[2] Kristof T Schütt, Huziel E Sauceda, P-J Kindermans, Alexandre Tkatchenko, and K-R Müller. Schnet-a deep learning architecture for molecules and materials. The Journal of Chemical Physics, Vol. 148, No. 24, 2018.

[3] Tian Xie and Jeffrey C Grossman. Crystal graph convolutional neural networks for an accurate and interpretable prediction of material properties. Physical review letters, Vol. 120, No. 14, p. 145301, 2018.

[4] Dipendra Jha, Logan Ward, Zijiang Yang, Christopher Wolverton, Ian Foster, Wei-keng Liao, Alok Choudhary, and Ankit Agrawal. Irnet: A general purpose deep residual regression framework for materials discovery. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '19, p. 2385-2393, New York, NY, USA, 2019. Association for Computing Machinery.

[5] Rhys EA Goodall and Alpha A Lee. Predicting materials properties without crystal structure: Deep representation learning from stoichiometry. Nature communications, Vol. 11, No. 1, p. 6280, 2020.

[6] Anthony Yu-Tung Wang, Steven K Kauwe, Ryan J Murdock, and Taylor D Sparks. Compositionally restricted attention-based network for materials property predictions. Npj Computational Materials, Vol. 7, No. 1, p. 77, 2021.

[7] National Institute for Materials Science Materials Database Group. Mdr supercon datasheet ver.220808. https://doi .org/10.48505/nims.3837, 12 2022. Accessed: 2023-07-17.

[8] Timo Sommer, Roland Willa, Jörg Schmalian, and Pascal Friederich. 3dsc - a dataset of superconductors including crystal structures. Scientific Data, Vol. 10, No. 1, p. 816, Nov 2023.

[9] Ivan K. Schuller. Discovery of new superconductors. Technical Report AD1103101, University of California San Diego United States, 3 2020. APPROVED FOR PUBLIC RELEASE.

[10] Kam Hamidieh. A data-driven statistical model for predicting the critical temperature of a superconductor. Computational Materials Science, Vol. 154, pp. 346-354, 2018.

[11] Kaname Matsumoto and Tomoya Horide. An acceleration search method of higher tc superconductors by a machine learning algorithm. Applied Physics Express, Vol. 12, No. 7, p. 073003, jun 2019.

[12] Tomohiko Konno, Hodaka Kurokawa, Fuyuki Nabeshima, Yuki Sakishita, Ryo Ogawa, Iwao Hosako, and Atsutaka
Maeda. Deep learning model for finding new superconductors. Phys. Rev. B, Vol. 103, p. 014509, Jan 2021.

[13] Yutaka Sasaki Kento Mitsui and Ryoji Asahi. Automatic knowledge acquisition from superconductivity information in literature. Science and Technology of Advanced Materials: Methods, Vol. 3, No. 1, p. 2206532, 2023.

[14] Kan Hatakeyama-Sato and Kenichi Oyaizu. Integrating multiple materials science projects in a single neural network. Communications Materials, Vol. 1, No. 1, p. 49, Jul 2020.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[16] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal, Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp. 593-607, Cham, 2018. Springer International Publishing.

[17] Tanishq Gupta, Mohd Zaki, N. M. Anoop Krishnan, and Mausam. Matscibert: A materials domain language model for text mining and information extraction. npj Computational Materials, Vol. 8, No. 1, p. 102, May 2022.

図 3 SuperCon 内の転移温度の分布

## A 統計情報

SuperCon に記録されている転移温度のヒストグラムを図 3 に示す. SuperCon から構築した知識グラフについての統計を表 3 と 4 に示す.

表 4 知識グラフの辺の統計

## B 実験環境

実装には，Python 3.10.8を用いた。転移温度予測モデルを実装するために，PyTorch 1.13.1，DGL 1.1.2+cu116, Transformers 4.35.2, CrabNet 2.0.8, scikitlearn 1.3.2を用いた。転移温度予測モデルはハイパーパラメータチューニングを行い，最終的に表 5 に示すハイパーパラメータで学習を行った。転移温度予測モデルの学習に用いた計算機の詳細は表 6 に示す.

表 5 ハイパーパラメータチューニングの結果

$
\text { RGCN 層の次元 } 512
$

バッチサイズ 64

学習率 $4 \mathrm{e}-2$

base $\operatorname{lr}$ (CyclicLR) 3e-3

$\max \operatorname{lr}$ (CyclicLR) 9e-3

ドロップアウト3 $3 \mathrm{e}-2$

表 6 計算機の詳細


# 文書分類のための クラス情報を考慮したトークン分割

平岡 達也 岩倉 友哉
富士通株式会社
\{hiraoka.tatsuya, iwakura.tomoya\}@fujitsu.com

## 概要

本稿では，クラスの情報を有効活用することで文書分類タスクに特化したトークン分割の処理を提案する. ユニグラム言語モデルベースのトークン分割器に，エントロピーに基づく重みを掛け合わせることで，あるクラスに特徴的なトークンを優先的に使用するようなトークン分割を行う. 実験より, 複数の文書分類のデータセットで提案手法による性能の向上が得られることが分かった. また，クラスが未知の場合であっても，疑似的なクラスによって性能の向上が得られる場合があることを報告する.

## 1 はじめに

テキストを単語やサブワードなどに区切るトークン分割の処理は，文書分類などの多くの自然言語処理において前処理として取り扱われる.トークン分割は，学習や推論に用いる入力の単位を決定する重要な前処理であり，適切なトークン分割を用いることで自然言語処理の性能の向上が得られる $[1,2,3]$.適切なトークン分割を行うために，前処理の時点ですでに分かっている後段のタスクの情報を活用できるとよい，例えば，後段のタスクが文書分類である場合，前処理の時点でテキストのドメインや，どのような文書クラスが存在するかが既知であることが多い. 従来のトークン分割の手法は後段のタスクの学習に用いるデータで分割器を作成する $[4,5,6]$ ため，ドメインに関する情報は考慮することができる.しかしながら，文書分類のクラスなどの後段夕スクの学習と推論に用いられる，タスクに固有の情報について考慮することはできない。

本研究では文書分類に焦点を当てて，文書分類のクラスの情報を考慮したトークン分割の新たな手法 （Cakenizer: Class-aware tokenizer）を提案する (表 1). Cakenizer では，文書分類におけるクラスに属するサ表 1 学習時に使用する情報の比較.

} & トークン分割器 & $\checkmark$ & $\checkmark$ \\

ンプルを一連の文書とみなしてエントロピーに基づくスコアを計算し，クラスに特徴的なトークンが優先的に使用されるような分割を行う．実験結果より，日中英の複数の文書分類のデータセットで性能の向上が得られることを報告する。また，クラスの情報が取得できない場合であっても，K-means クラスタリングによる疑似的なクラスを用いることで，提案手法によるクラス情報を考慮した分割を行い，性能の向上が得られることを報告する。

## 2 言語モデルを用いたトークン分割

あるテキスト $S$ について， $|V|$ 個のトークンから構成される語彙 $V$ のもとで作ることができる $S$ のトークン分割の候補 $S^{\prime}$ の集合を $V(S)$ と表す. トー クン分割の処理では，何らかの方法で計算したトー クン分割の確率 $P\left(S^{\prime} \mid S\right)$ が最大となるような分割候補 $\hat{S}^{\prime}$ をビタビアルゴリズム [7] などで求める.

$
\hat{S^{\prime}}=\underset{S^{\prime} \in V(S)}{\operatorname{argmax}} p\left(S^{\prime} \mid S\right) .
$

ユニグラム言語モデルを用いたトークン分割であれば， $p\left(S^{\prime} \mid S\right)$ は以下のように計算する.

$
p\left(S^{\prime} \mid S\right)=\prod_{s \in S^{\prime}} p(s) .
$

ここで $s$ は $S^{\prime}$ を構成する $\left|S^{\prime}\right|$ 個のトークンのひとつであり， $S^{\prime}=\left.\langle s_{1}, \ldots, s_{\left|S^{\prime}\right|}\right.\rangle$ である. ユニグラムの確率 $p(s)$ の推定には，EM アルゴリズムを用いた学習 [8] などを利用する。

図 1 二值分類での $p(s \mid c)$ に対するスコア $e(s)$ の値域.

## 3 クラスを考慮したトークン分割

提案手法では，後段タスクの文書分類で使用するクラス $c \in C$ に関する情報を盛り込んだトークン分割を行う. クラスの情報を考慮したトークン分割を行うために，式(2)におけるトークンの確率 $p(s)$ を以下の $\mu$ による重み付き和 $p^{\prime}(s)$ で置き換える。

$
p^{\prime}(s)=(1-\mu) p(s)+\mu q(s)
$

$q(s)$ は，トークン $s$ の各クラスでの分布に対するエントロピーをもとに計算したスコア $e(s)$ によって重みづけられた $p(s)$ である.

$
\begin{aligned}
q(s) & =\frac{p(s) e(s)+\epsilon}{\sum_{t \in V} p(t) e(t)+\epsilon} \\
e(s) & =1+\sum_{c \in C} p(s \mid c) \log _{|C|} p(s \mid c)
\end{aligned}
$

ここで $\epsilon$ は，トークンの確率が 0 になることを防ぐための微小な值である。また，語彙に含まれるすべてのトークンに対応する $q(s)$ の和は 1 となる. $|C|$ は，文書分類のタスクで使用されるクラスの総数であり, $p(s \mid c)$ はクラス $c$ に分類されるテキストの集合においてトークン $s$ が出現する条件付確率である.なお， $p(s \mid c)=0$ とならないように微小な值を加えたうえで計算を行う。

図 1 に，二値分類において $s$ のクラスごとの分布の割合に対して重み $e(s)$ がとる値域を示した. トー クン $s$ が特定のクラス（例えば正負クラスのどちらか一方）にしか出現しない場合， $e(s) \fallingdotseq 1.0$ であり， $s$ がどのクラスにも等しく出現する場合は $e(s)=0.0$ となる. すなわち $e(s)$ は, 特定のクラスに偏って出現する特徴的なトークンほど重要度を高め, 様々なクラスに出現する普遍的なトークンほど重要度を低くするような重みとして働く。これにより，特定のラベルに特徴的なトークンを優先して使用するようなトークン分割が得られると期待される.

トークンの確率 $p(s)$ を学習済みのユニグラム言語モデルに対して，後から重みの項 $q(s)$ を付け加えることで提案手法は実装できる。また， SentencePiece [5]の Unigram モードのように，各トー クンの確率を推定したり語彙の枝刈りを行うトークン分割器の作成の段階から，重みを用いて学習することもできる. Viterbi-Training [8]を用いたトークンの確率の推定と語彙の枝刈りを行う例を, Algorithm 1 に示した. アルゴリズムにおいて，5-7 行目の重みづけをスキップすれば，従来のユニグラム言語モデルの確率の推定と語彙の枝刈りと同様の処理になる.また, EM-Training [8]では, 8 行目と 9 行目のパラメータの推定に EM アルゴリズムを用いる.

## 4 実験: オリジナルのクラス

提案手法 (Cakenizer) の効果を，日本語・中国語・英語の 3 言語での文書分類のタスクを用いて検証する. 本節では，文書分類のデータセットに設定されている本来のクラスのラベルを用いて，トークン分割器の学習を行う設定について実験する.

## 4.1 設定

## 4.1.1 データセット

日本語の文書分類では，Twitter の感情分類のデー タセット $[9,10]$ を用いた。また, JGLUE [11]より JNLI と JMARC を用いた. 中国語では，Weiboの感情分類のデータセット [12]を用いた。また，EC サイト（JD.com）のレビューデータセット [13] からレート予測とジャンル予測の文書分類タスクを作成
表 2 文書分類のタスクでの実験結果（ $\mathrm{F} 1 \% \pm \mathrm{SD})$ ．太字は Vanilla の値を超える結果.

した [14]. 英語では，Twitter の感情分類データセットを用いた [15].また，ECサイト（Amazon）のレビューデータセット [16] からレート予測とジャンル予測の文書分類タスクを作成した。

## 4.1.2 トークン分割器

実験では，提案手法による重みづけを用いない従来の方法でユニグラム言語モデルの確率の推定と語彙の枝刈りを行う手法（Vanilla）をベースラインとして，ユニグラム言語モデルの確率の推定と語彙の枝刈りの段階から重みを使用する場合（Dynamic） を比較する. さらに，提案手法の単純な適用方法として，Vanillaに対して後処理として式 (3)の重みを付与した手法（PostProc）を比較する.

全ての実験において語彙の規模は $K=16,000$ であり，トークン分割器の作成には各データセットの学習データを $D$ として使用した. Algorithm 1 の 1 行目における語彙の初期化では, 頻度が 4 以下のトークンと長さが 9 以上のトークンは除外した. 語彙の枝刈りイテレーションにおける，ユニグラム言語モデルの確率の推定ループの回数は $M=2$, イテレーションごとの語彙の削減率は $R=0.4$ とした. また，重み付き和の係数は $\mu=0.5$ とした.

## 4.2 文書分類器

トークン分割器の差による影響を観察しやすいように，実験では 1 層の BiLSTM と 3 層の MLPを用いた単純な文書分類器 [17] を用いた. 分類器は 20 エポックの学習を行い, Adam [18] を用いて最適化した. 検証データで性能が最大となったチェックポ

図 $2 \mu$ が性能に与える影響.

イントを採用し，評価データでの $\mathrm{F} 1$ 值を計測した。本実験においては，トークン分割器の作成と文書分類器の学習の双方に確率的な要素が含まれている. そのため, トークン分割器の作成と文書分類器の学習をそれぞれ 3 回ずつ組み合わせて試行し，その平均の $\mathrm{F} 1$ 值を報告する。すなわち，それぞれパラメータをランダムに初期化した 3 つのトークン分割器と，3つの文書分類器の合計 9 つの試行パター ンについて平均を取った。

## 4.3 結果

表 2 にまとめた実験結果より，提案手法は Viterbi/EM-Training の双方の設定において，複数のデータセットでの性能向上に寄与しうることが示唆された. 最終的な平均 $\mathrm{F} 1$ 值は Viterbi-Training の学習時に提案手法を用いる設定が最も高く, Cakenizer は Viterbi-Training と組み合わせて使うこと良いと言える. また，提案手法を後処理として適用する方法も，学習時から組み込む方法と同様に性能向上に寄
表 3 疑似ラベルを用いた実験の結果.太字は表 2 の Vanillaを超える結果.

} & WRIME & 41.97 & 41.65 & 41.42 & 42.13 & 41.49 & 41.67 & 41.13 & 40.76 & 40.34 & 41.38 & 41.10 & 41.02 \\

与することが示唆された. 後処理として提案手法を用いる方法は導入のコストが低いため，多くの場面での活用が期待できる.

図 2 に, Dynamic の設定で式 (3)での重み付き和の係数 $\mu$ を 0.1 から 0.9 の範囲で変化させたときの平均 $\mathrm{F} 1$ 値の推移を示した. 全体的にベースラインである Vanillaを超える值で推移しているが， $\mu$ が大きくなるにつれてわずかに向上幅が下がる傾向がみられる。また，EM-Training に提案手法を組み込んだ場合の方が，異なる $\mu$ に対して安定して性能の向上が得られることが示唆された.

## 5 実験: 疑似ラベル

実践的な自然言語処理では，トークン分割を行う段階で本来の分類ラベルが利用できない場合がある. 本節では，学習データに対して付与した疑似ラベルを用いて提案手法のトークン分割器を作成した場合の効果について検証する。

## 5.1 設定

疑似ラベルを作成するために，K-means クラスタリングを各文書分類のデータセットの学習デー タに適用した.クラスタリングを行う段階ではトークン分割器が使用できないため，テキストの特徴量の作成にはテキストに含まれる文字 N-gram $(N=\{1,2,3,4,5\})$ を用いた. scikit-learn に実装されている K-means クラスタリング [19]を利用し，クラスタの数 $L=5,10,15$ について実験を行った. 疑似ラベルを用いる点を除けば，全ての実験設定は 84
と同じである.

## 5.2 結果

表 3 に実験結果より，提案手法によるトークン分割に疑似ラベルを用いた場合であっても，Vanillaに比べて性能の向上が得られることが分かった. また，設定の組み合わせによっては，疑似ラベルを用いた場合の方がオリジナルのラベルを用いた場合よりも高い性能向上が得られることが分かった. これは, 教師なし学習によって獲得した疑似ラベルは機械学習のモデルにとって扱いやすいドメインの割り振りになっており，このドメインを考慮したトークン分割を行うことで効率的な文書分類の学習ができるためであると考えられる。この結果は, 文書分類タスクにおいて疑似的なラベルを用いて事前学習を行うことで性能向上が得られるという既存研究の報告 [20] にも合致する.

## 6 おわりに

本稿では，文書分類に特化したトークン分割の手法として Cakenizer を提案した. 提案手法はユニグラム言語モデルをべースとし，トークンの確率の推定と語彙の枝刈りの過程で後段の文書分類のラベルを考慮する．実験の結果より，日本語・中国語・英語での文書分類で性能向上に寄与することが示唆された。また，疑似ラベルを用いた設定でも性能の向上が得られることが分かった. 今後は機械翻訳などの文書分類以外のタスクのデータセットに対しても，疑似ラベルを用いた手法の応用を行う。

## 謝辞

本研究は，JST，ACT-X，JPMJAX21AM の支援を受けたものです.

## 穿拉文献

[1] Tatsuya Hiraoka, Hiroyuki Shindo, and Yuji Matsumoto. Stochastic tokenization with a language model for neural text classification. In Proceedings of the 57th Annual Meeting of ACL, pp. 1620-1629, 2019.

[2] Kaj Bostrom and Greg Durrett. Byte pair encoding is suboptimal for language model pretraining. In Findings of ACL: EMNLP 2020, pp. 4617-4624, 2020.

[3] Hoo-Chang Shin, Yang Zhang, Evelina Bakhturina, Raul Puri, Mostofa Patwary, Mohammad Shoeybi, and Raghav Mani. BioMegatron: Larger biomedical domain language model. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on EMNLP, pp. 4700-4706, Online, November 2020. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of ACL (Volume 1: Long Papers), Vol. 1, pp. P1715-1725, 2016.

[5] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[6] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast wordpiece tokenization. In Proceedings of the 2021 Conference on EMNLP, pp. 2089-2103, 2021.

[7] Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, Vol. 13, No. 2, pp. 260-269, 1967.

[8] Sabine Deligne and Frederic Bimbot. Language modeling by variable length sequences: Theoretical formulation and evaluation of multigrams. In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 169-172. IEEE, 1995.

[9] Yu Suzuki. Filtering method for twitter streaming data using human-in-the-loop machine learning. Journal of Information Processing, Vol. 27, pp. 404-410, 2019.

[10] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of NAACL: HLT, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth LREC, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[12] S2ap: A sequential senti-weibo analysis platform. https: //github.com/wansho/senti-weibo.
[13] Yongfeng Zhang, Min Zhang, Yi Zhang, Guokun Lai, Yiqun Liu, Honghui Zhang, and Shaoping Ma. Dailyaware personalized recommendation based on feature-level time series analysis. In Proceedings of the 24th international conference on WWW, pp. 1373-1383, 2015.

[14] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of ACL: ACL-IJCNLP 2021, pp. 244-255, 2021.

[15] Twitter sentiment analysis. https://www.kaggle.com/ c/twitter-sentiment-analysis2.

[16] Ruining He and Julian McAuley. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering. In proceedings of the 25 th international conference on WWW, pp. 507-517, 2016.

[17] Peng Zhou, Zhenyu Qi, Suncong Zheng, Jiaming Xu, Hongyun Bao, and Bo Xu. Text classification improved by integrating bidirectional lstm with two-dimensional max pooling. In Proceedings of COLING 2016, the 26th COLING: Technical Papers, pp. 3485-3495, 2016.

[18] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[19] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikitlearn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.

[20] Eyal Shnarch, Ariel Gera, Alon Halfon, Lena Dankin, Leshem Choshen, Ranit Aharonov, and Noam Slonim. Cluster \& tune: Boost cold start performance in text classification. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7639-7653, 2022.


# Improving Zero-Shot Dependency Parsing by Unsupervised Learning

Jiannan Mao ${ }^{1,2}$ Chenchen Ding $^{2}$ Hour Kaing $^{2}$ Hideki Tanaka $^{2}$
Masao Utiyama $^{2}$ Tadahiro Matsumoto $^{1}$
${ }^{1}$ Gifu University, Gifu, Japan ${ }^{2}$ ASTREC, UCRI, NICT, Japan
\{mao, tad\}@mat.info.gifu-u.ac.jp
\{chenchen.ding, hour_kaing, hideki.tanaka, mutiyama\}@nict.go.jp
}

\begin{abstract}
UDify [1] is a multilingual and multi-task parser finetuned on mBERT. It has demonstrated notable performance, even on few-shot languages. However, its performance saturates early and decreases gradually as training progresses with zero-shot languages. This work focuses on this phenomenon, which has not yet been sufficiently studied. Data augmentation methods based on unsupervised learning on monolingual data were designed to transform a zero-shot case into an artificial few-shot case. Experiments were conducted on the Breton language as a typical case study. For the Breton language, the unlabeled attachment score was significantly improved. The parsing accuracies for other languages were not noticeably affected.
\end{abstract
## 1 Introduction

A dependency parser can be efficiently trained on large treebanks when available [2, 3]. For low-resource languages with limited treebanks, multilingual modeling has emerged as an efficient solution in which cross-lingual information is leveraged to compensate for the lack of data on specific languages. Many research $[4,5]$ have demonstrated that the performance in part-of-speech (POS) or dependency parsing can be improved by pairing languages with similar. This multilingual approach reduces the cost of training multiple models for a language group [6].

UDify [1] is a multi-task self-attention network finetuned on multilingual BERT (mBERT) [7] pre-trained embeddings, capable of producing annotations for any treebank from Universal Dependencies treebanks [8]. UDify exhibits strong and consistent performance across a wide range of languages and tasks such as lemmatization, POS

Figure 1 Change in the UAS of a model during the training process on the Breton test set for both the baselines (Baseline and Self) and the proposed method (Unsup).

tags, and dependency parsing. In addition to UDify, there are several comparable state-of-the-art methods[5, 9]. A problem highlighted by several related studies is the substantial discrepancy in the performance of these methods in zero-shot scenarios, even with identical training strategies, datasets, models, and evaluation methods $[9,10]$.

This work investigates the underlying reason for the phenomenon regarding zero-shot cases by exhaustively examining the epochs during model training. To resolve this problem, a data augmentation strategy is proposed to improve the performance and stability of UDify. Specifically, the original UDify provides an initialization based on unsupervised learning for a zero-shot language; the generated results by unsupervised learning are then incorporated into UDify's training set so that the zero-shot language is converted into an artificial few-shot language.

Experiments on the Breton are taken as a case study. Unsupervised learning-based data augmentation efficiently boosted the unlabeled attachment score (UAS) from $68.4 \%$ to $76.1 \%$. Furthermore, the parsing accuracy for other languages did not decrease, which suggests that the overall robustness of multilingualism processing is still retained.

## 2 Background

## 2.1 UDify

The UDify model jointly predicts lemmas, POS tags, dependency structures, and etc. The pre-trained mBERT model is a self-attention network with 12 encoder layers. It is used in the UDify model for cross-lingual learning without additional tags to distinguish the languages. In addition, a strategy similar to that of ELMo [11] is adopted, where a weighted sum of the outputs of all layers is computed as follows and fed to a task-specific classifier:

$
e_{j}^{t a s k}=\sum_{i} m B E R T_{i j}
$

Here, $e^{\text {task }}$ denotes the contextual output embeddings for tasks such as the dependency parse, $m B E R T_{i j}$ denotes the $m B E R T$ representation for layer $i$ at token position $j$.

In the task involving dependency structures, mBERT's subword tokenization process inputs words into multiple subword units. Despite this, only the embeddings $e_{j}^{t a s k}$ of the first subword unit are used, serving as input to the graph-based bi-affine attention classifier [2]. The resulting outputs are combined using bi-affine attention to produce a probability distribution of the arc-head for each word. Finally, the dependency tree is decoded using the ChuLiu/Edmonds algorithm [12, 13].

## 2.2 Unsupervised Dependency Learning

Adhering to the properties of dependency syntax [14], a general unsupervised algorithm for projective $\mathrm{N}$-gram dependency learning (Unsupervised-Dep) was described in Ding [15]. This method employs a CYK-style chart and dynamic programming to construct the optimal dependency tree, grounded in the non-constituent concepts of completelink and complete-sequence. Due to the significant time complexity associated with $\mathrm{N}$-gram learning, this study concentrates on bi-gram for practical applicability.

When considering the bi-gram, the directionality of a pair of words is set by the dependency relation, with $\left(w_{i} \rightarrow w_{j}\right)$ indicating a rightward relation and $\left(w_{i} \leftarrow w_{j}\right)$ indicating a leftward one. The bi-gram unsupervised learning update probabilities $P\left(w_{i} \rightarrow w_{j}\right)$ and $P\left(w_{i} \leftarrow w_{j}\right)$ are calculated using the Inside-Outside algorithm [16]. Finally, the Viterbi algorithm [17] is employed to determine the optimal tree construction.

## 3 Proposed Method

## 3.1 Motivation

In UDify's training, the dependency structures of zeroshot languages are learned through transfer learning. In contrast to the high-resource and few-shot languages, early saturation in the accuracy of the dependency parsing is exhibited during the learning process of all low-resource languages. The best performance was typically achieved around the 8th training epoch, as shown in Figure 2.

Figure 2 Changes in the UAS of zero-shot languages during the training process.

This phenomenon has been noticed $[5,9,10]$ but not yet systematically investigated to the best of our knowledge. Given that the accuracy of dependency parsing for zeroshot languages tends to decrease as training progresses, the number of epochs becomes a crucial factor in the inconsistency observed in related work.

Considering the observed positive correlation between parsing accuracy and the number of training epochs for high-resource and few-shot languages, it is somewhat unexpected to encounter a substantial discrepancy between the optimal and final testing results for zero-shot tasks. This calls for specialized strategies to bridge this gap. In the following, we introduce a data augmentation technique grounded on Unsupervised-Dep, and aims to reduce the performance gap and thus improve the effectiveness of UDify in dependency parsing for zero-shot languages.

## 3.2 Unsupervised Augmentation

To apply Unsupervised-Dep in data augmentation, it is vital to ensure the generated data aligns with the UD format. Therefore, in addition to dependency arc-heads, other types of data must be created and combined with the results from Unsupervised-Dep. Given its high time complexity of $O\left(n^{3}\right)$, making the common practice in the original
methods, which start training from a random probability, somewhat inefficient. To circumvent this, we decided to leverage the parsing results from UDify to initialize the probabilities. Despite the potential decrease in UDify's accuracy on zero-shot languages during its training, the final results consistently outperform those from other models $[8,3]$, providing a robust foundation for our initialization approach.

We initiate the process with the raw corpus, Data, input into the trained UDify by the original UD treebanks, to generate the dependency arc-heads, represented as $D E P_{a r c}$, and POS, lemmas, etc., denoted as Others. Statistical computations on $D E P_{\text {arc }}$ generate initial probabilities $P\left(w_{i} \rightarrow w_{j}\right)$ and $P\left(w_{i} \leftarrow w_{j}\right)$, serving as input for Unsupervised-Dep alongside Data.

Following several iterations of training through Unsupervised-Dep, the re-estimated $P\left(w_{i} \rightarrow w_{j}\right)^{\prime}$ and $P\left(w_{i} \leftarrow w_{j}\right)^{\prime}$ emerge. They become the parameters for the Viterbi algorithm to determine the optimal dependency arc-head as given by

$
D E P_{a r c}^{\prime}=\operatorname{Viterbi}\left(x, P\left(w_{i} \rightarrow w_{j}\right)^{\prime}, P\left(w_{i} \leftarrow w_{j}\right)^{\prime}\right),
$

where $D E P_{a r c}^{\prime}$ is the tree with the highest probability for a sentence $x$ from Data.

We merged $D E P_{\text {arc }}^{\prime}$ with $O$ ther $s$, ultimately generating artificial data. The artificial data are then combined with the existing UD treebanks for the subsequent training.

## 4 Experiments

## 4.1 Dataset

We selected Breton from OPUS ${ }^{1)}$ as our target zeroshot language for the implementation of UnsupervisedDep. After cleaning the collected data, we obtained $99.5 \mathrm{k}$ sentences, which we refer to as OPUS-br.

From this collection, we first identified a subset of 300 sentences as our test set, referred to as test ${ }_{300}$. To conduct more detailed testing of the sentence structures generated by Unsupervised-Dep, we later expanded this subset by incorporating an additional 200 sentences, resulting in a total of 500 sentences, referred to as test 500 . The division of the collected data in the experiment is summarized in Table 1. The training set is used for obtaining and updating the probabilities. The validation set is applied to validate

Table 1 Division of the OPUS-br into training, validation, and test sets, and the number of words in each set.

the results of Unsupervised-Dep learning. The test set, demonstrates the results of our data augmentation.

To evaluate our proposed method, we used the same version of the UD treebank that UDify uses for our experiments. During training, we concatenated all training sets, mirroring the approach of [18]. We shuffled all sentences before each epoch and fed the mixed batch of sentences into the network, including sentences from any language or treebank, whether they were original UD treebank sentences or those generated through Unsupervised-Dep.

## 4.2 Setup

To minimize the impact of potential experimental environmental variations [19], we follow the parameters and re-implemented the model provided by UDify ${ }^{2}$, which we refer to as the Baseline. To expedite the experiment, we implemented multi-GPU parallel training ${ }^{3)}$ by modifying UDify using Horovod [20].

For our method, we initially computed the parsing results of the training data from OPUS-br using the Baseline. These results served as the initial probabilities for $P\left(w_{i} \rightarrow w_{j}\right)$ and $P\left(w_{i} \leftarrow w_{j}\right)$. These probabilities were continuously re-estimated throughout the unsupervised learning process of training data from OPUS-br. After the 10th training epoch, we employed the re-estimated probabilities to parse the test set from OPUS-br. In multilingual parser experiments, two different subsets of the OPUS-br dataset were employed to refine the dependency arc-heads generated by Unsupervised-Dep, specifically marked as Unsup $_{300}$ and Unsup ${ }_{500}$. Unsup ${ }_{300}$ integrates sentences from the OPUS-br test ${ }_{300}$ into the UDify training set, while Unsup $_{500}$ utilizes sentences from the OPUS-br test $5_{500}$.

Meanwhile, inspired by Rybak [21], we conducted an experiment using a comparative method dubbed Self Sop $_{300}$. In this approach, we used the test ${ }_{300}$, diverging from the

use of Unsupervised-Dep for sentence refinement. The sentences were directly parsed with the Baseline instead. The parsing results were then converted into UD format, merged with the original training set, and used for a new round of UDify model training.

## 4.3 Result and Discussion

A comparison with the experimental results reported in the original UDify study confirms that Baseline was reimplemented successfully, as demonstrated in Table 2. The results in this table not only indicate a significant improvement in UDify's ability to avoid the decrease in dependency arc-head accuracy for the Breton language at the end of the training, regardless of the proposed method that was implemented but also indicate that while self ${ }_{300}$ causes only a minor increase in the UAS score, Unsup ${ }_{300}$ and Unsup ${ }_{500}$, which incorporate data generated from Unsupervised-Dep, significantly augment the accuracy of the dependency archead. Additionally, Figure 1 and Table 2 illustrates that, though different datasets have minimal impact on the peak UAS scores for Breton during training, methods Unsup ${ }_{300}$ and Unsup ${ }_{500}$ notably narrow the gap between the best and last UAS scores, thereby enhancing training stability.

Table 2 UD scores on Breton and other languages obtained by different methods. Rest $(\%)$ refers to the average score of UPOS, UFeats, Lemma, and LAS in the UD scores. The UDify result was reported by Kondratyuk [1].

Considering UDify's role as a multilingual parser, it is necessary to evaluate the impact of the proposed method on other languages. To observe in detail the differences and changes in the UAS between the Baseline and Unsup po0, $^{2}$, we conducted tests across all treebanks and display the results in Figure 3. From the figure, it is evident that while Unsup $_{500}$ has improved the UAS for Breton, it has had virtually no impact on the parsing precision of dependency constructions in other languages.

For a comprehensive comparison, the UD scores of the

Figure 3 Changes in the UAS for the Baseline and Unsup ${ }_{500}$ on all test treebanks. The x-axis sorts the UD treebanks by the ascending improvement of the proposed method over the Baseline.

Breton and other languages have been compiled in Table 2. Given that UDify must balance the loss produced by multiple decoders during training and Rybak's work [21], these variations in evaluation metrics are considered reasonable. Broadly, our data augmentation method has almost no negative impact on other languages and tasks, maintaining their performance levels.

Considering all results, we argue that generating training data for zero-shot languages through the application of the Unsupervised-Dep is both essential and effective in multilingual modeling.

## 5 Conclusion

This study investigated the issue of decreased parsing accuracy exhibited by UDify in zero-shot language scenarios, despite its generally outstanding performance in few-shot language scenarios. To address this problem, we proposed a method that applies an unsupervised algorithm to transition a zero-shot language into a few-shot language context, thereby effectively expanding the dataset and enhancing the model's learning capability.

The efficacy of our approach has been substantiated through our experimental results. By incorporating sentence dependency arc-head structures produced by Unsupervised-Dep into UDify's training data, we achieved a substantial improvement in UDify's performance with zero-shot languages. This improvement was significant even when only a limited number of sentences, such as 300 or 500, were used. Although our constraints did not allow for a definitive demonstration of a positive correlation between the number of sentences generated by UnsupervisedDep incorporated into the training data and the improvement of UDify in zero-shot languages, this correlation remains a possibility.

## References

[1] Dan Kondratyuk and Milan Straka. 75 languages, 1 model: Parsing Universal Dependencies universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2779-2795, Hong Kong, China, November 2019. Association for Computational Linguistics.

[2] Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[3] Peng Qi, Timothy Dozat, Yuhao Zhang, and Christopher D. Manning. Universal Dependency parsing from scratch. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 160-170, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[4] Waleed Ammar, George Mulcaire, Miguel Ballesteros, Chris Dyer, and Noah A. Smith. Many languages, one parser. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 431-444, 2016.

[5] Ahmet Üstün, Arianna Bisazza, Gosse Bouma, and Gertjan van Noord. UDapter: Typology-based language adapters for multilingual dependency parsing and sequence labeling. Computational Linguistics, Vol. 48, No. 3, pp. 555-592, September 2022.

[6] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Daniel Zeman, Jan Hajič, Martin Popel, Martin Potthast, Milan Straka, Filip Ginter, Joakim Nivre, and Slav Petrov. CoNLL 2018 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-21, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Anna Langedijk, Verna Dankers, Phillip Lippe, Sander Bos, Bryan Cardenas Guevara, Helen Yannakoudakis, and Ekaterina Shutova. Meta-learning for fast cross-lingual adaptation in dependency parsing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8503-8520, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Ahmet Üstün, Arianna Bisazza, Gosse Bouma, and Gertjan van Noord. UDapter: Language adaptation for truly Universal Dependency parsing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2302-2315, Online, November 2020. Association for Computational Linguistics.

[11] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[12] Yoeng-Jin Chu. On the shortest arborescence of a directed graph. Scientia Sinica, Vol. 14, pp. 1396-1400, 1965.

[13] Jack Edmonds, et al. Optimum branchings. Journal of Research of the national Bureau of Standards B, Vol. 71, No. 4, pp. 233-240, 1967.

[14] Jane J. Robinson. Dependency structures and transformational rules. Language, Vol. 46, No. 2, pp. 259-285, 1970.

[15] Chenchen Ding and Mikio Yamamoto. An unsupervised parameter estimation algorithm for a generative dependency n-gram language model. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 516-524, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[16] Karim Lari and Steve J Young. The estimation of stochastic context-free grammars using the inside-outside algorithm. Computer speech \& language, Vol. 4, No. 1, pp. 35-56, 1990.

[17] G David Forney. The viterbi algorithm. Proceedings of the IEEE, Vol. 61, No. 3, pp. 268-278, 1973.

[18] Ryan McDonald, Slav Petrov, and Keith Hall. Multi-source transfer of delexicalized dependency parsers. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 62-72, Edinburgh, Scotland, UK., July 2011. Association for Computational Linguistics.

[19] Martin Popel and Ondrej Bojar. Training tips for the transformer model. Prague Bull. Math. Linguistics, Vol. 110, pp. 43-70, 2018.

[20] Alexander Sergeev and Mike Del Balso. Horovod: Fast and easy distributed deep learning in TensorFlow. arXiv preprint arXiv:1802.05799, 2018.

[21] Piotr Rybak and Alina Wróblewska. Semi-supervised neural system for tagging, parsing and lematization. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 45-54, Brussels, Belgium, October 2018. Association for Computational Linguistics.


# 日本語 Universal Dependencies の通時的転移可能性について

尾崎 太亮 ${ }^{1}$ 臼井 久生 ${ }^{1}$ 古宮 嘉那子 ${ }^{1}$ 浅原 正幸 2 小木曽 智信 ${ }^{2}$
1 東京農工大学大学院 生物システム応用科学府
2 国立国語研究所
\{hiroaki-ozaki,h-usui\}@st.go.tuat.ac.jp
kkomiya@go.tuat.ac.jp, \{masayu-a, togiso\}@ninjal.ac.jp

## 概要

日本語の通時的な文法研究のため，近代以前の日本語に対する統語情報の付与を目指し，現代日本語 Universal Dependencies (UD) 解析の zero-shot 転移を検討した. UDで広く研究される言語横断的な解析手段に着目し, 現代日本語 UD で学習した解析器を明治期の文書を対象とした UD コーパスで評価した結果，係り受け関係にある二語の抽出は高い精度を維持していたものの，文法的な観点では述語とその格要素の転移性能が低く, また助動詞を含めた文末表現も適切に解析できないことも明らかになった.

## 1 はじめに

日本語の通時的な文法研究を行う上で，日本語の各時代の文に対する形態論情報や統語情報は研究対象の言語現象を調査するための基礎情報である. しかし, すでに話者の存在しない古典に対して, 特にアノテーターの負担の大きい統語情報の付加は非常に困難であり, 現在入手可能な日本語近代以前の日本語に対する統語情報は限定的である.

一方, Universal Dependencies (UD) などの多言語横断での統一的な統語アノテーションと深層学習を活用したそれらの解析器の進展により, 転移学習による低リソース言語での高い解析精度を実現する手段が確立されてきている [1]. また，UDには現代日本語 [2] の他, 明治期の言文一致運動以前に刊行され，近代文語文で書かれた明六雑誌を対象とした UD Japanese Modern コーパス (以下，明六雑誌)[3] が存在している. これを活用し, 転移学習よって日本語の通時的な文法研究のための統語情報の付与がどの程度行えるのか，を明らかにすることを目的に，現代口語文 UD で学習された解析器の近代文語での zero-shot 転移性能について主に明六雑誌での性能を評価した結果を報告する。

## 2 関連研究

近代日本語に対する UD 解析手法については，安岡 [4] による近代語用の UniDic を活用した形態素情報の付け替えと, 既存の日本語 UD 係り受け解析器の組み合わせによる解析の検討が行われており,この形態素情報の付け替えによって大幅に精度向上が図れるものの, 明六雑誌で直接的に学習した精度には至らないことが報告されている。 また，その解析器は, unidic2ud ${ }^{1}$ として公開されている.

## 3 通時的転移性能の調査指針

通時転移性能を考える上で，精度に影響を与える要因として, 本研究において特に注目している文法の観点に加えて, 語の意味変化や用いられる語の変化, 言語処理・機械学習的な観点の二つが大きく考えられる。これらをなるべく分離して評価できるよう，以下の検討を行った。

埋め込み表現通常, 深層学習による UD 解析は,語と形態素情報の埋め込み表現の双方を用いた解析が一般的であるが，それぞれの表現が達成しうる精度を個別に評価した. 特に語の埋め込み表現においては，現代文で学習された日本語言語モデルに加え $\tau$ ，通時的な語用変化を考慮して近代以前の日本語から現代語への翻訳モデル [5]のものも評価した.

転移元コーパスアノテーション基準の微妙な差異や学習データ量の影響を考慮して, 複数の現代日本語 UDコーパスからの転移性能を評価した。

解析モデル依存文法解析では一般的に，文を形態素解析したのち，形態素間の隣接行列を直接推定するグラフ型の解析器と, 形態素列を先頭から機械学習手段で推定された手続きを施すことで解析木を得る遷移型解析器の二種類が存在する. 本研究では主にグラフ型の解析器を用いたが，一般公開されて

表 1: 各モデルの UAS/LAS 値

いる遷移型の日本語 UD 解析器も比較に用いた.

## 4 実験設定

データセット学習に用いたコーパスは現代日本語 UDである BCCWJ コーパス (以下， BCCWJ) と2) と GSDコーパス (以下, GSD)3) の学習データセットの双方または片方を用いた．検証には，上記コーパスの検証データセットを用いた。評価には，上記コーパスの評価データセットに加えて, 明六雑誌と，unidic2ud のレポジトリに公開されている雪國，舞姫冒頭のUDアノテーションデータ4)を用いた。

評価指標と評価方法係り受け解析のみの評価に着目するため，形態素解析部を統一し，近代文語文については unidic2ud の解析結果 (近代語 UniDic) をそのまま用いた。現代文 (BCCWJ, GSD) に関しては GiNZA の解析結果を用いた。評価指標は，安岡 [4] の結果との比較を考慮して，係り受け関係にある二語の関係ラベル込みの抽出性能指標である Labeled Attachment Score(LAS)を用いた。これに加えて，係り受け関係にある二語の抽出性能を測る Unlabeled Attachment Score(UAS) も比較に用いた。評価スクリプトは CoNLL shared task 2018[6] で用いられた評価スクリプト5)を用いた。ただし，BCCWJ の評価については，上記の評価スクリプトをそのまま適用するとエラーが発生したため，Appendix A に記載した工

2) https://github.com/UniversalDependencies/ UD_Japanese-BCCWJ

3) https://github.com/UniversalDependencies/ UD_Japanese-GSD

4) https://github.com/KoichiYasuoka/UniDic2UD/tree/ master/benchmark

5) https://universaldependencies.org/conll18/ conll18_ud_eval.py夫を施した。

評価対象モデル主な解析器としてグラフ型である DiaParser[7]を用いた。語の埋め込み表現として，東北大学が提供する日本語 $\left.\mathrm{BERT}^{6}\right)$ と Usui らによる近代以前の日本語から現代口語へ翻訳する T5[5] のエンコーダを用い，学習中にこれらの埋め込み表現に対する更新は行わなかった。埋め込み表現として形態素情報を用いる場合は，UD の UPOS タグを埋め込み表現に変換し, 解析器の学習によって表現の更新を行った。その他のハイパーパラメタは付録の表 2 に示す. 比較対象のモデルは以下である.

Tohoku: 東北大学が提供する日本語 BERTを用いた DiaParser モデル.

T5: Usui らによる T5 モデルのエンコーダを用いた DiaParser モデル.

UPOS: 語の埋込表現の代わりに形態素情報の埋め込み表現を用いた DiaParser モデル。

GiNZA： $\mathrm{spaCy}^{7}$ )が提供する遷移型解析を BCCWJ で学習したモデル. 現代文に関しては GiNZA[8] そのものを利用し，近代文語文に関しては unidic2ud を用いて形態素解析を行ったのち係り受け解析を GiNZA で実施した。

## 5 実験結果と考察

表 1 に各コーパスにおけるUAS，LAS の値を示す. GiNZA の括弧で記載した UAS, LAS 値は GiNZA 公式サイトの記載及び安岡 [4] の結果を参照した. ${ }^{8)}$ 太字は，各コーパス・指標における最大値を示

(a) GSD

(b) 明六雑誌

図 1: 係り受け関係にある二語の距離に対する各解析器のエラーレート.

(a) GSD

(b) 明六雑誌

図 2: 関係ラベルに対する各解析器のエラーレート

す. BCCWJ, GSD, 明六雑誌の各コーパスにおいて Tohoku モデルが高い性能を有している。一方，雪國や舞姫においては，T5 モデルが高い性能を有している.しかし，あくまで明六雑誌の範囲では翻訳タスクの事前学習による解析性能の向上があるとは言い難い結果となった. GiNZA の現代文の評価結果が松田の結果 [8] と乘離しているが，§4 で記載した通り評価スクリプトの違いが大きいと考えられる. 以下，§3で述べた三つの観点に即して結果を論ずる.

機械学習的な影響機械学習的な影響としては,主に学習データ量と解析器のモデルの差異が考えられる. 学習データ量の観点では, GSD の学習データが 7050 文であるのに対し，BCCWJ が 40801 文であるので，その学習データ量の差異が性能差に表れて
いると考えられる。また今回，BCCWJ と GSD を合わせた学習データの結果が総じて高い精度を有していたことから, UD 解析器の学習の観点でデータ量増大によって精度向上のわずかながらの余地があると考えられ，またそれによる近代文語文の転移性能の向上も期待できると考えられる.

解析モデルの観点では，DiaParser ベースのモデルが，遷移型の解析器である GiNZA の結果に対して概ね上回っており，その差は特に近代文語文において大きくなっている.このため，遷移型はこのような転移学習に不利である可能性が考えうる．深層学習によるグラフ型解析器は埋め込み表現間の注意機構をより直接的に活用することができ，より安定的に転移が行える可能性がある。

図 1 には係り受け関係にある二語の距離 (何トー クン離れているか) に対するエラーレートを示す.

Tohoku，T5，UPOS の各モデルは BCCWJ と GSD を共に学習データに用いたものを用いた. Tohoku, T5 と比べて遷移型の GiNZA モデルは特に長距離の係り受け関係でのエラーレートが高い。一方，注意機構を直接的に扱うグラフ型では二語の距離が大きな影響を与えるとは考えにくく，実際，距離にさほど依存しないエラーレートとなっている。また， GiNZA の明六雑誌でのエラーレートは，三トークン以上の距離で 5 割を超え，形態素情報のみ (UPOS) の結果よりも高い値となっている.

語用および文法変化の影響表 1 において，現代文である BCCWJ・GSD における UAS・LAS の值を比較すると，語の埋め込み表現を用いた場合，UAS の方が LAS より 1,2 ポイント程度高い値であるの

に対し, 形態素情報のみで学習した UPOS モデルでは 5 ポイント以上の差が発生している. UAS と LAS の値の差は，係り受け関係ラベルを評価に加味するかどうかの違いであるので，係り受け関係そのものではなく，関係ラベルの推定に語レベルの情報を必要としており，その点がこの差を発生させていると考えられる. しかし, 近代文語文 (明六雑誌, 舞姫,雪國) において UAS と LAS の同様の差を鑑みると，語の埋め込み表現と形態素情報のみ場合では特段大きな性能差がなく，係り受け関係ラベルの精度という観点では，形態論情報とさほど相違ない情報しか転移できていないことが考えられる。そこで，係り受け関係ラベルごとのエラーレートを調査した. 図 2 には, 名詞句主語 (nsubj), 名詞修飾語 (nmod), 副詞修飾語 (advmod), 等位接続詞 (cc), 助動詞 (aux),格標識 (case) の関係ラベルについて，GSD と明六雑誌におけるエラーレートを示す。他の関係ラベルについては付録の図 4 に記載した。

名詞句主語 (nsubj) では現代文で二割程度であったエラーレートが近代文語文では六割以上に増大している．その他の格要素に関するエラーレートも高く(図 4 におけるiobj, obl), 述語項構造に関する情報はあまり転移できないことがわかる。これが，上記にある UAS・LAS の値の差の要因となっている.

格標識 (case) に関しては，GSDでは解析モデルにおける差異はほぼなく, 明六雑誌においては形態素情報のみの場合が最も高い値を示した。これは，内容語の直後の助詞はほぼ直前の内容語に係るというルールが近代文語文においても機能していると言える. 一方, 助動詞 (aux), については, 同じく形態素情報のみの場合が最も高い値ではあるものの，その精度は現代文に対して大きく低下している。これは例えば「〜如し」や「〜なり」など現代では使われない助動詞の語用の問題であったり, 文末の言い回しの変化の影響が大きいと考えられる. 図 3 には各モデルの文末表現に対する UD 解析事例を示す. 形態素解析結果について, 名詞を $\mathrm{N}$, 動詞を $\mathrm{V}$, 助動詞を A で表記した. unidic2ud の解析で「ある」が助動詞と誤判定されている。このため, UPOS モデルでは唯一の内容語である「通患」に全て係る解析結果となっている. Tohoku や T5 モデルでは「に」 を格助詞と認識して格標識ラベルを付与している。 T5では「通患たる」と「あらず」を複合語として認識した上で，格助詞「に」の作用で「通患たる」が 「あらず」の斜格要素とみなされている. Tohokuで

(a) 正解

(c) $\mathrm{T} 5$

(b) Tohoku

(d) UPOS図 3: 文末表現に対する UD 解析結果例

は，係り受け関係が交差しており，学習データの文法にも合致していない.

名詞修飾語 (nmod) の GSD における出現頻度は $5.8 \%$ 程度であったものが，明六雑誌では $16.9 \%$ と著しく増加しており (付録図 5 参照), 図 3 にあるような漢語的表現に関する係り受け関係に多用されていると考えられる。このため，このエラーレートも名詞句主語と同様に増加している。

また，副詞修飾語 (advmod) や等位接続詞 (cc) では，語の埋込表現よりも形態素を用いた転移の方が有効であることがわかる. このことから, 現代語と近代文語文では用いられる副詞や接続詞が大きく異なることが示唆される．また，T5 モデルが Tohoku よりもわずかに良好な精度を得ており, 歴史的資料の翻訳による語彙獲得がある程度影響することが示唆される。

## 6 おわりに

本稿では，日本語の通時的な文法研究のため，近代以前の日本語に対する統語情報の付与を目指し,現代日本語 UD 解析の zero-shot 転移を検討した. 現代日本語 UD で学習した解析器を明治期の近代文語文に適用した結果，機械学習的な観点ではグラフ型解析器がより通時的転移に有効であることを示した. 語用・文法的な観点では，述語とその格要素に関する転移性能が低く, 助動詞を含めた文末表現も適切に解析できないことを示した. 今後は, 述語項や文末表現を考慮した精度向上を手段の検討を実施する。 さらに，対象とする時代区分の拡大も検討する。

## 謝辞

本研究は JSPS 科研費 JP22K12145, 18K00634 及び国立国語研究所共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」の助成を受けたものです.

## 参考文献

[1] Dan Kondratyuk and Milan Straka. 75 Languages, 1 Model: Parsing Universal Dependencies Universally. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2779-2795, Hong Kong, China, 2019. Association for Computational Linguistics.

[2] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパス.自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[3] OMURA Mai, TAKAHASHI Yuta, and ASAHARA Masayuki. Universal Dependency for Japanese Modern Languages. In Proceedings of The Japanese Association for Digital Humanities 2017 (JADH2017), 92017.

[4] 安岡孝一. 形態素解析部の付け替えによる近代日本語 (旧字旧仮名) の係り受け解析. Technical Report 3 , 情報処理学会, 82020.

[5] Hisao Usui and Kanako Komiya. Translation from Historical to Contemporary Japanese Using Japanese T5. In Proceedings of the 3rd International Workshop on Natural Language Processing for Digital Humanities, Tokyo, Japan, November 2023. Association for Computational Linguistics.

[6] Daniel Zeman, Jan Hajič, Martin Popel, Martin Potthast, Milan Straka, Filip Ginter, Joakim Nivre, and Slav Petrov. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Daniel Zeman and Jan Hajič, editors, Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-21, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[7] Giuseppe Attardi, Daniele Sartiano, and Maria Simi. Biaffine Dependency and Semantic Graph Parsing for Enhanced Universal Dependencies. In Stephan Oepen, Kenji Sagae, Reut Tsarfaty, Gosse Bouma, Djamé Seddah, and Daniel Zeman, editors, Proceedings of the 17th International Conference on Parsing Technologies and the IWPT 2021 Shared Task on Parsing into Enhanced Universal Dependencies (IWPT 2021), pp. 184-188, Online, August 2021. Association for Computational Linguistics.

[8] 松田宽. GiNZa - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

(a) GSD

Relation Label

(b) 明六雑誌

図 4: 関係ラベルに対する各解析器のエラーレート

Relation Label

図 5: 各関係ラベルに対するコーパス内での出現頻度

## A BCCWJ における GiNZA 評価

GiNZA トークナイズ処理結果と BCCWJ のテストデータセットのトークンとの乘離が大きく，正しく評価が行えなかった．これは，評価スクリプトが文分割精度も評価対象としているため，トークナイズ結果に乘離が大きいと文を同定する処理が正常に行えないことに起因している. そこでまず，トークナイズの解離を解消するため，BCCWJ テストデータではトークンとして含まれてない全角空白を除去して GiNZA で形態素解析を行った. さらに, 各文毎にデータを分割して，それぞれ評価スクリプトを用いて評価を行ったのち，それらを積算することでテストデータセット全体の評価結果を算出した.表 2: DiaParser 学習時のハイパーパラメタ


# Transformer と $\langle$ CLS $\rangle$ ベクトルを用いた Span-based 固有表現抽出手法

宮﨑 太郎 ${ }^{1}$ Simon Clippingdale $^{2}$ 後藤 淳 1
${ }^{1}$ NHK 放送技術研究所 ${ }^{2}$ NHK 財団
\{miyazaki.t-jw, goto.j-fw\}@nhk.or.jp
simon.c-fe@nhk-fdn.or.jp

## 概要

固有表現抽出は自然言語処理の基盤技術のひとつであり，自然言語処理を利用したシステムで広く応用されている．従来では CRF (Conditional Random Field) を用いた系列ラベリングを用いる手法が一般的であったが，近年では複数単語のまとまりを入力して，入力のまとまりが固有表現であるか判定する Span-based手法も用いられる. 本稿では, Span-based 手法による固有表現抽出手法について述べる. 複数単語からのベクトルのまとめ上げに BERT などの事前学習モデルで用いられる特別な Token $\langle\mathrm{CLS}\rangle$ の考え方を用いることで，従来一般的に用いられていた LSTM (Long Short-term Memory) や Max Pooling を上回る性能が得られることを確認した。

## 1 はじめに

固有表現抽出 (Named Entity Recognition: NER) は文章中の人名，地名，組織名などの固有表現を抽出，分類するもので，自然言語処理の基盤技術のひとつである．情報抽出 [1] やセンシティブな情報の匿名化 [2]など，自然言語を扱う様々なシステム内で広く応用されている.

固有表現は日々新しいものが生まれる。それらの新語に対応したNER を実現するには，単語の表層に頼らない分類手法を用いる必要がある. ニューラルネットワークを用いた NER では，単語をべクトル表現した上で，入力の各単語が固有表現またはその一部を構成する単語かどうかを判定する系列ラべリング $[3,4]$ を用いるのが一般的である（図 1-(a)). しかし, 系列ラベリングでは入れ子構造の固有表現に対応することができない，そこで，近年では入れ子構造の固有表現に対応した手法も多く提案されている $[5,6,7]$. 本稿では, 入れ子構造に対応した手

(a) 系列ラベリング

(b) Span-based 手法

図 1 固有表現抽出手法. 系列ラベリングでは単語ごとに固有表現の開始（B-）や途中（I-），最後（L-）や固有表現ではない（O）などのラベルを付与していく． Span-based 手法では，単語のまとまり（Span）を表すべクトルを計算し，Span 全体が固有表現であるかどうか判定する.

法の一つである Span-based 手法を用いた固有表現抽出手法について述べる.

Span-based 手法の概略を図 1-(b) に示す. 判定の対象とする単語列から単一のベクトルを作成し，固有表現であるか，また固有表現である場合はその種類を判定する．判定対象の単語列に含まれる Token 数は可変であることから，この長さが異なるべクトルを単一のベクトルに変換する必要がある. 従来では LSTM (Long Short-term Memory) や Max pooling が用いられることが多い.しかしLSTM は最初や最後に入力される Token のベクトルからの影響を強く受けやすく，また Max pooling では 2 つの共通する単語を多く持つ単語列，例えば「NHK 放送技術研究

図 2 Flat NER と Nested NER. Flat NER では 1 つの単語は 1 つの固有表現にのみ属するが， Nested NER では複数の固有表現に属する場合がある。

所」と「NHK 放送技術研究所の」の間で出力ベクトルが似通ってしまうことが問題となる.

そこで我々は，これらの問題を解決するために， ベクトルのまとめ上げ部分に Transformer を用いた. Transformer は一般的に入力の行列と同じ大きさのべクトルを出力するが，ここに，BERT[8] 等で用いられる $\langle\mathrm{CLS}\rangle$ を用いてまとめ上げる手法を提案する.

## 2 関連研究

NERのタスクは，入れ子構造の固有表現を考慮せずに 1 つの単語は最大で 1 つの固有表現に含まれるとして扱う Flat NER と，入れ子構造を考慮した Nested NER の 2 つに大きく分類できる (図 2). Flat NER は古くから研究されているタスクであり [9],一方の Nested NER は比較的新しく提案されたタスクである [5]. 本稿では Flat NER を扱う.

## Flat NER

Flat NER では，多くの手法は CRF (Conditional Random Field）を用いた系列ラベリングを用いる $[3,4]$. CRF の前段の双方向 LSTM (Long Short-Term Memory) により，前後の文脈を加味した単語べクトルを作成し，それぞれの単語が固有表現またはその一部であるか判定する. Akbik et al. は文字べースの言語モデルを使用し，文字ごとのべクトルを双方向 RNN (Recurrent Neural Network) に入力することで,学習データに多くは出現しない低頻度語の分類精度を向上する手法を提案した [10].

近年では外部文脈を用いた性能向上の手法も多く提案されている. Yamada et al. は対象とする文の前後の文の情報を活用することで性能が向上することを示した [11]. また, Wang et al. は前後の文ではなく，NER の対象とするテキストをクエリとした検索により獲得した外部の文章を，対象とするテキストと合わせてモデルに入力する手法を提案し，有効性を報告した [12].

## Nested NER

Finkel et al. [5] により Nested NER のタスクが提唱されて以来, 多くの手法が提案されている. Lin etal. は，固有表現の特徴的な単語を見つける Anchor と， Anchor を含む固有表現の範囲を決定する Region の 2つのネットワークからなる Anchor-Region Network を提案した [7]. Tan et al. は，固有表現の範囲と固有表現の種類を推定するそれぞれのネットワークを組み合わせて学習する手法を提案した [13]. Wan et al. は， GCN (Graph Convolutional Network)を用い，学習データ中で対象の文と類似した特徴を持つ文の情報を NER 対象対象の文の情報と合わせてネットワー クに入力する手法を提案した [14]. このような系列ラベリングを用いずに固有表現の範囲と種類を推定していく手法は Span-based 手法と呼ばれ，Nested NERの一つの主流となっている.

Span-based ではない Nested NER の手法も提案されている. Ju et al. は系列ラベリングを多段構造にして用いることで，入れ子構造の固有表現を抽出する手法を提案した [6]. Katiyar et al. は単語ごとの固有表現らしさのスコアを用いたハイパーグラフを用いた手法を提案した [15].

## 3 提案手法

本稿では, Span-based の NER 手法を用いる. Spanbased の固有表現抽出手法の一般的な手法について述べた後に，提案する $\langle\mathrm{CLS}\rangle$ ベクトルを用いた提案手法について述べる.

## 3.1 Span-based 固有表現抽出

Span-based の NER 手法では，固有表現の範囲を表す Span と，その固有表現の種類を同時に判定することで固有表現を抽出する．Span 推定と固有表現の種類判定を別のネットワークを用いて行う手法 $[7,13]$ と，入力分から連続する単語のあらゆるパターンを作成してモデルに入力し, 入力 $\operatorname{Span}$ が固有表現であるかの判定と固有表現である場合はその種類の判定を一つのネットワークで行う手法 [14] が提案されているが，本稿では後者を用いる。

Span-based 手法による NER では，まず入力文の各単語を事前学習モデルなどを用いてべクトル化する. 次に，入力文のうちの連続する複数単語からなるSpanを全パターン作成し，そのSpanに含まれる単語のべクトルをまとめて Span 全体を表すべクトルに変換し，そのベクトルを FFNN (Feed-forward
neural network) などに入力し，Span が固有表現であるか，また固有表現である場合にはその種類を判定する. ベクトルのまとめ上げには Max Pooling や LSTM などが用いられることが多い.

## $3.2\langle$ CLS $\rangle$ と Transformer を用いたべクト ルまとめ上げ

提案手法では, Max Pooling やLSTM の代わりに， BERT[8] で用いられる 〈CLS〉と同様の考え方を用いて 1 次元のベクトルに変換する. 提案手法の概要を図 3 に示す. BERT における $\langle$ CLS $\rangle$ は特別な Token で，〈CLS〉に対応する出力べクトルは文全体を分類する際に用いられる. BERT 内の Transformer ネットワークにより $\langle\mathrm{CLS}\rangle$ に続く入力文の全単語のべクトルが考慮された, 文全体を表すべクトルとなる。 この考え方を応用し, 提案手法では事前学習モデルから出力された Token ごとのべクトルのうち, 分類対象のSpan に含まれるものすべてと，〈CLS $\rangle$ をべクトル空間に埋め込んだものを Transformer に入力する. Transformer の入力ベクトルは $v_{\text {in }} \in \mathbb{R}^{(|t|+1) \times s}$ となる.ここで， $|t|$ は分類対象の Span に含まれる単語の Token 数を， $s$ はベクトルの次元数を表す. $v_{\text {in }}$ を Transformer encoder に入力し, その出力から $\langle\mathrm{CLS}\rangle$ に対応するべクトル $v_{\text {span }}$ を取り出し, このベクトルを Span 全体を表すべクトルとして利用する. 学習の過程で, 〈CLS〉を特徴空間に埋め込んだベクトルは, Transformer 内の Multi-head self attention で「固有表現の抽出に役立つべクトル要素」に高い重みが与えられる query となることが期待できる. これにより, Transformer encoder の出力 $v_{\text {span }}$ は Span 内の各 Token を表すべクトルを，固有表現抽出に役立つように重みつき和を要素としたべクトルが出力される.

## 3.3 固有表現の抽出

学習したモデルを用いて固有表現を抽出する方法について述べる. 今回対象としている Flat-NER では，入力の各単語が最大でも 1 つの固有表現にのみ属するものとして扱う。一方で，提案手法では各単語が複数の固有表現に属することが可能となっているため, 出力されたスコアが最大となる固有表現を出力し, Flat-NER の手法として評価を行う.

学習したモデルを用い，入力文から作成した全 Span に対し，固有表現の種類，または固有表現ではない場合のスコアを出力する。「固有表現ではない」 スコアが最大の場合にはこのSpanを棄却し，それ

図 3 提案手法の概要.

表 1 データセットの諸元

以外の場合にはスコアが最大となる固有表現の種類とともにスコアを出力し，これをスコアの降順に並べる. スコアが最大のものから順に，Spanに属する単語に固有表現のラベルを割り当てていく.この際に，既により高いスコアのSpanによりラベル付けされた単語が 1 つでも含まれている場合には，その Span は棄却する. すべての Span について割り当てが完了した時点で，ラベルが付けられていない単語は固有表現ではないとラべルをつけ,これを最終的な固有表現抽出結果として出力する。

## 4 評価実験

## 4.1 使用データ

評価実験には, WNUT-16[16], WNUT-17[17], CoNLL 2003[18] の 3 つのデータセットを用いた. それぞれのデータ量等を表 1 に示す.

CoNLL 2003 はニュース原稿を基にしたデータであるため，未知の固有表現が少ない一方，WNUT-16 と WNUT-17 は SNS のデータであるため未知の固有表現が多い. 特に, WNUT-17 では評価データに出現する固有表現はすべて学習データに出現しない未知のものになるように設計されている.
表 2 実験結果

## 4.2 実験設定

提案手法の実装には PyTorch と Transformers を用い, RAdam[19] によりモデルを学習した. 事前学習モデルとして，XLM-RoBERTa-large[20]を使用した.学習率は事前学習モデル部の追加学習に $1.0 \times 10^{-5}$, それ以外の部分を $2.0 \times 10^{-4}$ とした. 学習時のミニバッチサイズを 50 , 学習エポック数を 50 とし, 開発データの micro-F1 が最大となるモデルを最終的なモデルとして評価に用いた. 学習はそれぞれのモデルについてランダムシードを変えて 3 回行い，その中央値を報告する。

提案手法で用いる Transformer encoder は, ベースライン手法の Max Pooling などと条件を合わせるために 1 層とした. また, FFNN は 3 層とした. FFNN の各層の間では Layer Normalizationと Reluを，また学習時には Dropoutを用いた. Dropout 率は 0.3 とした.

## 4.3 ベースライン手法

ベースライン手法として, ベクトルのまとめ上げ部分に Transformerを用いずに別の手法を用いたものを用意し，性能を比較した。

LSTM 対象単語列の各 Token のベクトルを双方向 LSTM に入力し, すべて入力後の隠れ層のべクトルを FFNN に入力して判定する。このベースライン手法では，LSTMを 1 層とした.

Max pooling 対象単語列の各 Token のベクトルを Max pooling により単一のベクトルに変換し， FFNNに入力して判定する.

Average pooling 対象単語列の各 Token のべクトルを Average pooling により単一のベクトルに変換し，FFNNに入力して判定する。

## 4.4 実験結果

実験結果と，2023 年 12 月時点の SoTA の性能を表 2 に示す. SoTA はすべて異なる論文で報告されたもので，WNUT-16 が Hu et al.[21], WNUT-17 が Wang et al.[12], CoNLL 2003 が Wang et al.[22] により報告さ
れたものである.

提案手法は，WNUT-16 の Max pooling を除くべー スライン手法より高い性能を得られた. WNUT-16 と WNUT-17 では現在の State-of-the-art の手法をも上回る性能となった. これにより，提案手法の有効性を確認することができた.

## 5 考察

提案手法では，Transformer encoderを用いて分類対象となる単語列の全 Token のべクトルをまとめ上げて 1 次元ベクトルに変換した. この計算過程で, Transformer 内部の Multi-head attention により,各 Token のベクトルの重み付け和に似た性質のベクトルが $\langle C L S\rangle$ の出力に足されている. これが単純に入力ベクトルの最大値を取る Max Pooling や平均值を取る Average Pooling よりもより精度良い足し合わせとなり，性能が向上したものと考えられる。また，LSTM などの RNN (Recurrent Neural Network) モデルは，入力を順番に処理していくため，初期の入力の情報が忘却されやすく, 最後の入力に近いものほど出力への影響が大きいことが知られている。提案手法では入力の Span 内での語順を考慮しない代わりに，LSTM のような語順による影響の大きさの違いが生じないことが性能の向上に寄与したものと考えられる。

今回は Max/Average pooling と条件を合わせるために，提案手法や LSTM でも 1 層のネットワークで実験したが，提案手法では Pooling 等と異なり層を増やすことでき，より複雑なタスクなどでも応用がしやすいことも利点の一つでもあると考えられる.

## 6 おわりに

本稿では，Span-based 手法による固有表現抽出手法について述べた. 複数 Token からなる分類対象の単語列のベクトルを, BERT 等で用いられる $\langle C L S\rangle$ と同様の考え方により 1 次元に変換し，その変換したべクトルを用いて固有表現の種類を分類する手法を提案した. 評価実験において，ベースライン手法と比較して良好な性能を得られることを確認した. 特に WNUT-17 データセットにおいては, 現在の State-of-the-art を上回る性能を得ることができた.

今回は Transformer や LSTM について，1 層のモデルを用いた。課題として，特に CoNLL 2003 のようにデータサイズが大きい場合が挙げられ, 今後, 層数の性能への影響を実験により確認していく。

## 参考文献

[1] Aman Kumar and Binil Starly. "fabner" : information extraction from manufacturing process science domain literature using named entity recognition. Journal of Intelligent Manufacturing, Vol. 33, No. 8, pp. 2393-2407, 2022.

[2] Ondřej Sotolář, Jaromír Plhák, and David Šmahel. Towards personal data anonymization for social messaging. In International Conference on Text, Speech, and Dialogue, pp. 281-292. Springer, 2021

[3] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. arXiv preprint arXiv:1508.01991, 2015.

[4] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California, June 2016. Association for Computational Linguistics.

[5] Jenny Rose Finkel and Christopher D. Manning. Nested named entity recognition. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 141-150, Singapore, August 2009. Association for Computational Linguistics.

[6] Meizhi Ju, Makoto Miwa, and Sophia Ananiadou. A neural layered model for nested named entity recognition. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1446-1459, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Hongyu Lin, Yaojie Lu, Xianpei Han, and Le Sun. Sequence-tonuggets: Nested entity mention detection via anchor-region networks. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5182-5192, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Casimir Borkowski and Thomas J. Watson. An experimental system for automatic recognition of personal titles and personal names in newspaper texts. In COLING 1967 Volume 1: Conference Internationale Sur Le Traitement Automatique Des Langues, 1967.

[10] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[11] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. Luke: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, 2020.

[12] Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, and Kewei Tu. Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning. In the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing
(ACL-IJCNLP 2021). Association for Computational Linguistics, August 2021.

[13] Chuanqi Tan, Wei Qiu, Mosha Chen, Rui Wang, and Fei Huang. Boundary enhanced neural span classification for nested named entity recognition. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 9016-9023, 2020.

[14] Juncheng Wan, Dongyu Ru, Weinan Zhang, and Yong Yu. Nested named entity recognition with span-level graphs. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 892-903, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[15] Arzoo Katiyar and Claire Cardie. Nested named entity recognition revisited. In Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 861-871, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Benjamin Strauss, Bethany Toma, Alan Ritter, Marie-Catherine de Marneffe, and Wei Xu. Results of the WNUT16 named entity recognition shared task. In Bo Han, Alan Ritter, Leon Derczynski, Wei Xu, and Tim Baldwin, editors, Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 138144, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[17] Leon Derczynski, Eric Nichols, Marieke van Erp, and Nut Limsopatham. Results of the WNUT2017 shared task on novel and emerging entity recognition. In Proceedings of the 3rd Workshop on Noisy User-generated Text, pp. 140-147, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[18] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142147, 2003.

[19] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Jiawei Han. On the variance of the adaptive learning rate and beyond. In Proceedings of the Eighth International Conference on Learning Representations (ICLR 2020), April 2020.

[20] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. CoRR, Vol. abs/1911.02116, , 2019

[21] Jinpeng Hu, Yaling Shen, Yang Liu, Xiang Wan, and Tsung-Hui Chang. Hero-gang neural model for named entity recognition. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1924-1936, Seattle, United States, July 2022. Association for Computational Linguistics.

[22] Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei Huang, and Kewei Tu. Automated concatenation of embeddings for structured prediction. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2643-2660, Online, August 2021. Association for Computational Linguistics.


# 日本語意味役割タスクにおいて複数 TokenID が与える影響

曽和晃太郎 ${ }^{1}$ 竹内孔一 2
1 岡山大学 2 岡山大学大学院
pty01m90@s.okayama-u.ac.jp, takeuc-k@okayama-u.ac.jp

## 概要

本研究では , Byte-Level BPE アルゴリズムを採用したトークナイザのエンコードによって，1つのトークンから複数のトークン ID が生成される場合に日本語意味役割タスクに与える影響について調査した.觉の結果，二つの日本語意味役割タスク光れぞれにおいて複数のトークン ID を持つデータが各タスクの精度に与える影響を明らかにし，各タスクにおける有効なデータの形を示した .

## 1 はじめに

昨今，ChatGPT の登場を皮切りに，樣々な大規模言語モデル (Large Language Model: LLM) が提供されている.日本語に特化したモデルも多く提供され, 光れに伴い樣々なトークナイザも登場している.しかし，光れらがすべての単語をカバーできているわけではなく，うまくトークナイズ出来ず，不適切なデータを作成してしまうことも少なくない．

## 1.1 Byte-Level BPE

これまでの言語処理タスクで多く使用された言語モデルである東北大学 BERT モデルでは, トー クナイズアルゴリズムに Mecab による形態素解析および, Subword 分割が採用されている [1] . 一方で, CyberAgent から提供されている OpenCALM などの言語モデルでは , トークナイズアルゴリズムに Byte-Level BPE (Byte Pair Encoding) が採用されている. Byte-Level BPE は，Byte 単位で処理を行い，頻度の高いByte 列を語彙として登録する [2] 。

Byte-Level BPE を採用するトークナイザでは未知語などの予期せぬトークンが出現した際には, 1 トークンに含まれる Byte 列から複数のトークン ID に変換してしまうといった現象が発生する。

鯯を華麗に別く（鯯：このしろ）

図 1 未知語を含むテキスト例えば，図 1 のような未知語を含んだテキストをトークナイズするとする

図 2 未知語を含むテキストのトークナイズ結果

この文章を Byte-Level BPE のトークナイザを用いてトークナイズを行うと図 2 のようになり, 1 つのトークンから 3 つのトークン ID が出力される.

## 1.2 意味役割付与 (Semantic Role Labeling: SRL)について

意味役割付与とは,文中の述語を基準として，「いつ」「どこで」「誰が」「何を」などの意味的関係を持つ項を予測し，光れに対応したラベルを付与するタスクである．以下に例を示す．

図 3 「彼は友人を家に招いた」に含まれる意味役割

「彼は友人を家に招いた」という文章が与えられたとき，「招く」という述語を基準として，「彼は」 に動作主を表す $\mathrm{Arg} 0$ というラベルを，招かれた対象の「友人を」に対象を表す Arg1 というラベルを，招いた場所である「家に」に場所を表す ArgM_LOC というラベルを付与する

本研究で使用する意味役割ラベルは Propbank 形式を採用する．

## 1.3 概念フレーム付与について

概念フレーム付与とは, 文中の述語の語義を予測し，光れに対応したFrameIDを付与するというタスクである . 図 3 の例では「招く」という述語の語義として勧誘が正解の語義であり，光れに対応した FrameID=470 が正解のID となる.ここで，「招く」という述語は勧誘の他に，「専門家を外国から自社に招く」という文章に付されている着点への移動 (FrameID=17) や「誤解を招く」という文章に付されている因果 (FrameID=613) などという概念フ

図 $4 \mathrm{CRF}$ を利用した意味役割および概念フレーム付与モデル

レームをもつ．

## 2 実験

## 2.1 データセット

本研究で使用するデータセットに含まれる日本語意味役割ラベルおよび概念フレームは，岡山大学竹内研究室で構築している述語項構造シソーラス [3] を基に作成している. 国立国語研究所によって公開されている日本語コーパスである NPCMJ を，述語項構造シソーラスを用いて人手で分析し，概念フレームと項の意味役割を付したデータセットである NPCMJ-PT[4] を使用する

NPCMJ-PT は , 31 種類の意味役割ラベルと 1009 種類の概念フレームを持つ. 文章数は 33958 件で，述語 1 つに対して 1 データとなっており計 54141 件のデータセットを作成している．また，述語項構造シソーラスでは , 1096 件の FrameID を付与しているが , NPCMJ-PT には光の $92 \%$ \% 1009 件の FrameID が含まれる。

今回の実験では学習データ，開発データ，テストデータを光れ光れ 8:1:1 の割合で使用する。

2.2 意味役割および概念フレーム付与モデル

## 2.2.1 モデルの概観

今回使用するモデルを図 4 に示す.このモデルでは，文章と㐁の文に含まれる述語を入力として， トークン IDを取得，单の後 LLM を通して特徵量
を取り出す. 取り出した特徵量を SRL, FID 光れ光れのデコーダへと渡す. SRL デコーダでは，CRF を用いてラベル列を出力する．FID デコーダでは Softmax 関数を通して 1096 種類の FID から確率の高いID を出力する.

## 2.2.2 使用する大規模言語モデル

本研究では CyberAgent が提供している大規模言語モデルである OpenCALM[5] および CALM2[6] を使用する．OpenCALM はパラメータサイズによって複数モデルが提供されているが, 光の中から OpenCALM-Small ,OpenCALM-Medium ,OpenCALMLarge を使用する .

## 2.3 複数トークンID の取り扱い

1.1 節で示した例のように一つのトークンから複数のトークン ID が出た場合以下の二つの方法でタスクを実行する．

1. 先頭のID を弚のトークンのトークンID として使用する

2. 複数のトークン ID が出るデータは使用せず， すべてのトークンから単一の ID が得られるデータのみ使用する

1 の方法で実験を行う際に使用するデータを Full_HeadID，2 の方法で実験を行う際に使用するデータをOnly_UniIDとする．

今回使用するデータはあらかじめ Unidic を基にトークナイズしたものを使用する.こうすることで , LLM 側の予期しないトークンを相当量確保する
表 1 各モデルとデータによる比較

ことが可能となる.ためしに OpenCALM のトークナイザを用いて全 54141 件のデータをトークナイズすると，複数トークン ID が現れたデータ数は 7716 件となり，Only_UniIDは 46425 件となる．これにより複数トークン ID の与える影響が小さくなると考えられる。

また , 今回使用するモデルとのデータ数の関係を表 2 に示す. OpenCALM はパラメータ数によらずトークナイザは同一のものであるため,単一ID のみで構成されたデータ Only_UniID はすべて 30130 件で統一されている.また，Full_HeadIDに対する割合は 55.7\%である . CALM2 は Only_UniID が 24976 件，Full_HeadID に対する割合は $46.1 \%$ である .

## 3 実験結果

実験結果を表 1 に示す．SRLに関しては，すべてのモデルにおいて単一の ID のみのデータを使用したほうが高いスコアを得られた。一方で，FIDではすべてのモデルにおいて単一の ID のみのデータを使用したほうがスコアが低くなるという結果になった.

この結果より，概念フレーム付与タスクに関しては , 少量のトークン境界が適切なデータを用いた場合よりも，トークン境界が不適切なデータを含んでいたとしても，大量のデータを用いたほうが良い結果が得られることがわかる.一方で , 意味役割付与タスクの場合はデータの量よりもトークン境界が適切なデータを少量でも集めたほうが有効であること表 3 OpenCALM 各モデルにおける Full_HeadID と Only_UniID のスコアの差分

がわかる . この結果は CALM2 の結果から元のデー 夕量と比べて半数以上少ないデータの場合にも同樣のことが言える。

また, OpenCALM ではパラメータ数で各スコアの増減に特徵がみられた．表 3 に各モデルにおいて Only_UniID のスコアから Full_HeadID のスコアを引いた差分を示す.

この結果より，パラメータ数が大きくなるほど， FID のスコアの低下が大きくなり，SRL のスコアの増加量が小さくなっていることが分かる.すなわち, パラメータ数が少ないモデルほど単一トークン ID のデータの恩恵が大きく，パラメータ数が大きいモデルほどデータの量の低下に大きな影響を受けることが分かる。

## 4 まとめ

実験結果から，意味役割付与と概念フレーム付与の二つのタスクではデータに求められる要件が異なることが示された . 意味役割付与タスクでは , 適切なトークン境界を揃えた質的なデータセットが求められる一方で，概念フレーム付与タスクでは量的なデータセットが求められる.すなわち，この二つのタスクを同時に行うマルチタスク学習においては， この質的データセットと量的データセットの両方の要件を満たす必要があると考える。

## 参考文献

[1] 築地俊平, 新納浩幸. Tokenizer の違いによる日本語 BERT モデルの性能評価. 言語処理学会第 27 回年次大会発表論文集, pp. 781-784, 2021.

[2] 井上誠一, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀. 日本語 GPT を用いたトークナイザの影響の調査. 言語処理学会第 28 回年次大会発表論文集, pp. 6-10, 2022.

[3] 岡山大学竹内研究室. 述語項構造シソーラス, 2023. https://pth.cl.cs.okayama-u.ac.jp/.

[4] Koichi Takeuchi, Alastair Butler, Iku Nagasaki, Takuya Okamura, and Prashant Pardeshi. Constructing Web-Accessible Semantic Role Labels and Frames for Japanese as Additions to the NPCMJ Parsed Corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC2020), 2020.

[5] Alex Andonian, Quentin Anthony, Stella Biderman, Sid Black, Preetham Gali, Leo Gao, Eric Hallahan, Josh Levy-Kramer, Connor Leahy, Lucas Nestler, Kip Parker, Michael Pieler, Shivanshu Purohit, Tri Songz, Wang Phil, and Samuel Weinbach. GPTNeoX: Large Scale Autoregressive Language Modeling in PyTorch, 82021.

[6] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.