# トークナイザーの圧縮率を用いた有害コンテンツの判定法

梶浦照乃 $2 *$ 山内璃乃 $1 *$ 小柳響子 1 東出 紗也夏 ${ }^{1}$ 倉光 君郎 ${ }^{1}$

1 日本女子大学理学部 2 日本女子大学大学院理学研究科

\{m1816023kt, m2016087ya\}@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp
## 概要

本研究では，大規模言語モデルの学習に用いられる大規模コーパスの有害コンテンツ除去を目的として，トークナイザーの圧縮率をもとにテキストを有害/無害に判定する方法を提案する。まず，有害コンテンツから有害語彙モデルを構築する。次に，有害語彙モデルを用いてテキストをトークン化し, 圧縮率を算出する。これにより，有害なコンテンツは高い圧縮率を示し，一般的な無害なコンテンツは比較的低い圧縮率を示すため，有害コンテンツの判定に利用できると考える。本論文では，提案手法を用いて大規模なテキストにおける有害コンテンツの判定を評価し，有害コンテンツを実用的な速度で正しく判定できることを確認した.

## 1 はじめに

大規模言語モデル（LLM）の驚異的な性能は，その事前学習に用いられるテキストデータの量 $[1,2]$ と品質 [3] によって決まる。 まず，テキストデータの量を確保するために，Web 上のコンテンツをクローリングしてデータセットとすることが一般的である。このように集められた代表的な日本語デー タセットには, $\mathrm{mC}^{11}$, OSCAR[4], Wikipedia 等があり，多くの LLM の事前学習に活用されている.

残る課題は品質である. 品質は LLM の性能だけでなく，安全性や信頼性にも大きく影響するためである．ところが，Webから収集されたテキストは，品質管理が不十分であるため，差別や暴力を助長したり，読者を不愉快にしたり，不適切な内容や表現が含まれている.このような不適切なコンテンツが多ければ，学習された LLM が有害な出力をもたらすことが知られている [5]. 我々は，LLM の安全性や信頼性に関わるリスクのあるテキストのことを有害コンテンツと呼ぶ.

図 1 提案手法の概要

有害コンテンツへの対応法として，前処理の段階でクリーニングを処理して除去することは有効かつ必須である．しかし，日本語における有害コンテンツの判定法は，十分に確立されているとは言えない.

本研究では，LLM の学習に用いられる大規模コー パスの前処理として日本語テキストの有害度を効率よく判定する新しい手法を提案する。図 1 は我々の提案を概観している。提案では，まず大規模な Web コーパスから有害なコンテンツをサンプリングする。サンプリングした有害コンテンツをトークナイザーを用いて，有害語が多く含まれる Unigram 語彙モデルを作成する。この語彙モデルを有害語彙モデルと呼ぶ。有害語彙モデルを用いたトークナイザー2)を用いると，有害コンテンツはより少ないトークン長に変換されるようになる。つまり，圧縮率（1文字あたりのトークン長）で有害度が近似できる．我々は，この圧縮率から，Webコーパスの有害フィルタリングを行うことを提案する.

## 2 コーパスの前処理

Web コーパスは，前処理してから LLM の学習に利用することが望ましい。コーパスの前処理にはさまざまな種類があるが，有害コンテンツに利用できそうな手法は次のとおりである。

・n-gram を活用した言語識別 $[6,7]$

・繰り返し表現，記号が多すぎる行を削除 [8]

2）有害語彙モデルは https://huggingface.co/Roy029/ ngmodel_distilled_nlp2024にて公開している.
表 1 日本語, 英語, 中国語, 韓国語のいずれかに特化したLLM のトークナイザーを用いて Wikipedia コーパスの圧縮率を言語ごとに算出した結果

 &  &  &  \\

・ブロックリストによるヒューリスティックフィルタ $[9,10]$

・高品質データまたはラベル付きデータを学習させた ML ベースの品質評価手法 $[7,11]$

Webコーパスはテキスト量が膨大であり，処理性能も重要な選択項目になる. その中で，正規表現を用いたブロックリストは，実装しやすく処理速度も許容範囲で，多くの LLM 開発で採用されている. また, HojiChar ${ }^{10)}$ のような実用的なツールも登場している. しかし, 正規表現は有害の部分マッチによってフィルタされることが多い. 例えば，「エロ」 を有害語とすると，イエローも有害語として除去されてしまうなどが一例である. ほかにも，科学・医療・法律にまつわるコンテンツが無害であるにも関わらずフィルタされる傾向にあることが報告されている [12].

## 3 提案手法

我々は，トークナイザーの圧縮率をべースに有害コンテンツを判定する手法を新たに提案する。 まずトークナイザーと語彙モデル原理について概要を述べる。続いて，本論文におけるトークナイザーの圧縮率を定義し，語彙モデルと圧縮率の相関を述べる. 最後に，我々の提案手法のアイデアを述べる.

## 3.1 トークナイザーと語彙モデル

トークナイザーは，与えられたテキストをあらかじめ用意した語彙に基づきトークン単位に分割する．LLM のトークナイザーは，WordPiece のような定義された語彙モデルを利用するタイプと SentencePiece [13] のような学習により語彙モデルを構築するタイプに分けられる. SentencePiece では，与えられたテキストコーパスから Unigram モデルに

10) https://hojichar.github.io/HojiChar/hojichar.html基づいて，頻出度の高い文字列を語彙として定義し，相対的に頻度の低い語は含まれにくいような語彙モデルを構築する。

## 3.2 語彙モデルと圧縮率

語彙モデルを用いたトークナイザーの特徵は，テキストを分割したときの圧縮率に現れる.ここで圧縮率は, コンテンツの文字列長 $L_{o}$ とトークン数 $L_{t}$ の比を 1 から引いた数値である.

$
\text { compression }=1-\frac{L_{t}}{L_{o}}
$

圧縮率の値が大きいほど，より少ないトークン数で表現できることを示す. 負の値になると，トークン化によって元の文字列長よりトークン数が増えたことを示している。また, Byte Fallback 処理が有効な場合，語彙モデルに存在しないトークンは，複数のバイトトークンに分割されて表現されるため， トークン列がさらに長くなる.

我々は，予備調査として，日本語，英語，中国語，韓国語の LLM のトークナイザーを用いて， Wikipedia コーパスに対する言語ごとの圧縮率を調査した. 表 1 はその調査結果である. 英語は, どの LLM でも圧縮率は高くなるが，それ以外は LLM とトークナイザーが対象としている自言語の圧縮率が高くなることが確認された.

## 3.3 有害語彙モデルによる判定法

我々の判定法は，トークナイザーの厓縮率に着目したものである．圧縮率は，語彙モデルに含まれるトークンが多いテキストほど高くなる傾向がある. そのため，有害語を多く含む語彙モデルを作成すれば，有害語が多いテキストは圧縮率が高くなると期待される. 言い換えると，有害語彙モデルによる圧縮率は，有害率と強い相関が期待できる。
有害語彙モデルの利点は，ブロックリストのように有害語をひとつひとつ人手で選んで収集しなくて良い点である．有害なコンテンツをいくつかサンプリングすれば, 有害語の出現頻度から語彙モデルが構築できる．新しい有害語を追加したいときも，有害コンテンツのサンプルを増やすだけで更新することが可能になる.

有害語彙モデルの特徵は, 確率的な弱フィルタになることである. ブロックリストによるフィルタは，ひとつでも有害語が含まれたときフィルタすることができる強フィルタである。一方，有害語彙モデルによる圧縮率は，コンテンツ中に有害語が多く含まれるほど確率的に有害判定されるようになる。一方，有害語が少ない場合は，フィルターし損ねる可能性が高くなる弱フィルタである.

強フィルタと弱フィルタのどちらが良いかは LLM の目的によって議論すべきである. ブロックリストによる強フィルタは，どうしても有害語の誤判定が生じて，ある文字列が含まれたコンテンツが全部欠落するリスクもある．弱フィルタは，一つの語に強く反応することはなく，コンテンツ全体としての言葉使いで有害かどうか判定したいときに有用である.

## 4 実験

本節では，LLM の学習に用いる大規模コーパスの有害コンテンツ除去に提案手法が有効であることを確かめる. 我々は, 有害語彙モデルを構築し, 語彙モデルの有害語の含有率と大規模コーパスに適用して有害圧縮率を確かめた. 実験から，処理時間の高速性とフィルタリング性能を評価した。

## 4.1 有害語彙モデルの作成

我々は, $\mathrm{mC} 4$ 日本語コーパスから HojiChar ${ }^{11)}$ が提供するブロックリストの有害語が含まれるコンテンツを 10 万件抽出した。そして，抽出したコンテンツに対して，SentencePiece トークナイザーの Unigram モデルの語彙サイズを $4 \mathrm{k}, 8 \mathrm{k}, 16 \mathrm{k}, 32 \mathrm{k}$ と変化させて，4つの語彙モデルを作成した.

表 2 は，語彙モデルの語彙に含まれる有害語の含有率を示している. 有害語は, Hojichar ブロックリストによって有害判定された語を数えたものであり，ブロックリスト外の有害語が含まれている可能性も高い，比較のため，有害コンテンツが比較的少

11) https://hojichar.github.io/HojiChar/hojichar.html表 2 有害語彙モデルの語彙の分析

ないと言われる Wikipedia 日本語版から構築した語彙モデルの有害語の含有率を示している．語彙モデルのサイズは，16k 以上ないと，十分に有害語が収集できないことがわかった.

我々は，もう少し含有率の高い語彙モデルを作るため，有害語のカウントを行単位で行い，最低でも 1 行に 5 種類以上の有害語が含まれているテキストのみ再抽出し, そこから有害濃縮語彙モデルも作成してみた。こちらは，より多くの有害語を収集できている。さらに，有害濃縮語彙モデルの語彙を目視で確認すると, HojiChar のブロックリストに含まれないが，明らかに有害と判定すべき語彙が大半であった．かなり有害語に特化した語彙モデルを作成することができた.

以後, 有害濃縮語彙モデル $32 \mathrm{k}$ のトークナイザー を評価に用いる。

## 4.2 有害コンテンツの分布

我々は，有害語彙モデルのトークナイザーによる圧縮率とコンテンツの有害度を分析する。具体的には，圧縮率が高くなれば有害コンテンツであり，圧縮率が低ければ無害であることを確かめる。我々は, $\mathrm{mC} 4$ 日本語, OSCAR23 日本語, Wikipedia 日本語から各 10 万件，ランダムにサンプリングし，それぞれの有害圧縮率を算出した. 表 3 は，要約統計量をまとめたものである。図 2 は，それをヒストグラムに表示したものである.

一般に $\mathrm{mC4} 4$ は，少なくとも日本語に関してはクリーニングされているものの有害コンテンツは多く，Wikipedia は有害コンテンツは少ないと言われ

5) https://huggingface.co/rinna/japanese-gpt-neox-3.6b

6) https://huggingface.co/llm-jp/llm-jp-13b-v1.0

7) https://huggingface.co/tokyotech-llm/ Swallow-70b-instruct-hf

8) https://huggingface.co/meta-llama/Llama-2-7b-hf

9) https://huggingface.co/Qwen/Qwen-7B

10) https://github.com/SKTBrain/KoBERT

11) https://huggingface.co/EleutherAI/polyglot-ko-1.3b

12) https://huggingface.co/megagonlabs/

t5-base-japanese-web

図 $2 \mathrm{mC} 4$ と OSCAR23, Wikipedia の圧縮率分布

表 3 日本語データセットの圧縮率の要約統計量

る。ヒストグラムから確認できる通り，Wikipedia 日本語は圧縮率が低い傾向にあり，圧縮率がデータセットの傾向の分析に使えると言える。また，パー センタイル（下位 $\mathrm{n} \%$ ）から選ぶことで，有害語彙の比較的少ないコンテンツだけフィルタリングすることにも適用できる。

なお，圧縮率の算出にかかる時間は， $\mathrm{mC4}$ 日本語 10 万件に対して 1128 秒 (約 18 分) であった. この速度は，標準的なトークナイザーの処理速度と同等で大規模なテキストをクリーニングする手法として実用的と言える.

## 4.3 ブロックリストとの比較

最後に，代表的なブロックリストベースのフィルターである HojiChar と提案手法を比較する。

評価データセットには，京都大学黒橋研が中心となって LLM 勉強会で作成されたベンチマークデー タセット ja-mC4.valid.labeled.json1 ${ }^{13)}$ (以下, ja-mC4 ベンチマーク)を用いる. ja-mC4 ベンチマークは C4 の日本語部分 500 件に acceptable, harmful または low quality の 3 種類のラベルのアノテーションがついたものである. 500 件のデータは harmful が 22 件，low quality が 245 件, acceptable が 233 件であった. 我々の実験では，acceptable と low quality を無害として 2 値分類で評価する。

表 4 に，HojiChar と有害圧縮率の ja-mC4 ベンチマークでの評価結果を示す.このときの HojiChar のフィルタ設定を付録 A に示す. 評価指標は，正解率，再現率，適合率，F 値とする。

本実験では，有害圧縮率による判定のための閾値を 2 つの方法で決定して適用した．1つ目は，ROC 曲線で左上の隅 $(0,1)$ との距離が最小となる点に設定し，閾值を 0.474 とした。 2 つ目は，ROC 曲線の Youden index[14] が最大となる点に設定し，閾値を 0.565 とした.

HojiChar は強フィルタの性質があり，再現率が 1.0 と有害コンテンツを確実にブロックしている.有害圧縮率ベースの手法は，正解率と適合率， $\mathrm{F}$ 値において上回り，LLM の学習データ中の無害コンテンツを誤判定して削除しすぎることなく判定することができる．さらに，有害語彙モデル $32 \mathrm{k}$ と有害濃縮語彙モデル $32 \mathrm{k}$ を比較して, 有害度の高いテキストをサンプリングして語彙モデルを構築することで判定性能は向上する.

## 5 おわりに

本研究では，LLM の学習に用いられる大規模コー パスの有害コンテンツ除去を目的として，トークナイザーの圧縮率をもとにコンテンツの有害/無害を判定する方法を提案した. 我々は，SentencePiece を用いて，有害コンテンツのサンプリングから有害語が多く含まれる語彙モデルを構築することに成功した.また，有害語彙モデルを用いることで，より多くの有害語が含まれているコンテンツを優先してフィルタリングできることが確かめられた。また，処理速度は，ほとんど追加のオーバヘッドがなく， トークナイザーの処理速度でフィルタリングできることも確かめた.

今後の展望は，実際に有害語彙モデルでフィルターしたコンテンツを使って構築した LLM の性能や安全性を評価してゆきたい。

13) https://github.com/llm-jp/llm-jp-corpus

## 謝辞

本研究は JSPS 科研費 JP23K11374 の助成を受けたものです. 2023 年度国立情報学研究所公募型共同研究「大規模言語モデルの効率良い学習のための訓練データ配信基盤の研究」の一部として実施されたものです.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, T. J. Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeff Wu, and Dario Amodei. Scaling laws for neural language models. ArXiv, Vol. abs/2001.08361, 2020.

[2] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. arXiv preprint arXiv:2203.15556, 2022.

[3] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, et al. Textbooks are all you need. arXiv preprint arXiv:2306.11644, 2023.

[4] Julien Abadji, Pedro Ortiz Suarez, Laurent Romary, and Benoît Sagot. Towards a cleaner document-oriented multilingual crawled corpus. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4344-4355, Marseille, France, June 2022. European Language Resources Association.

[5] Julia Kreutzer, Isaac Caswell, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar Ulzii-Orshikh, Allahsera Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin, Sokhar Samb, Benoît Sagot, Clara Rivera, Annette Rios, Isabel Papadimitriou, Salomey Osei, Pedro Ortiz Suarez, Iroro Orife, Kelechi Ogueji, Andre Niyongabo Rubungo, Toan Q. Nguyen, Mathias Müller, André Müller, Shamsuddeen Hassan Muhammad, Nanda Muhammad, Ayanda Mnyakeni, Jamshidbek Mirzakhalov, Tapiwanashe Matangira, Colin Leong, Nze Lawson, Sneha Kudugunta, Yacine Jernite, Mathias Jenny, Orhan Firat, Bonaventure F. P. Dossou, Sakhile Dlamini, Nisansa de Silva, Sakine Çabuk Ballı, Stella Biderman, Alessia Battisti, Ahmed Baruwa, Ankur Bapna, Pallavi Baljekar, Israel Abebe Azime, Ayodele Awokoya, Duygu Ataman, Orevaoghene Ahia, Oghenefego Ahia, Sweta Agrawal, and Mofetoluwa Adeyemi. Quality at a glance: An audit of web-crawled multilingual datasets. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 50-72, 2022.

[6] Armand Joulin, Edouard Grave, Piotr Bojanowski,
Matthijs Douze, Hérve Jégou, and Tomas Mikolov. Fasttext. zip: Compressing text classification models. arXiv preprint arXiv:1612.03651, 2016.

[7] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France, May 2020. European Language Resources Association.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. Documenting large webtext corpora: A case study on the colossal clean crawled corpus. arXiv preprint arXiv:2104.08758, 2021.

[10] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis \& insights from training gopher. arXiv preprint arXiv:2112.11446, 2021.

[11] 吉川克正牧田光晴中町礼文佐藤京也浅原正幸佐藤敏紀小林滉河. 日本語有害表現スキーマの提案と評価. 言語処理学会第 29 回年次大会 (NLP2023), 2023.

[12] Jesse Dodge, Maarten Sap, Ana Marasović, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. Documenting large webtext corpora: A case study on the colossal clean crawled corpus. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1286-1305, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Eduardo Blanco and Wei Lu, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[14] W. J. Youden. Index for rating diagnostic tests. Cancer, Vol. 3, No. 1, pp. 32-35, 1950

## A 本実験における HojiChar のフィ ルタリング設定

Compose クラスによるテキスト処理フィルタの設定

LLM-jp のフィルタ実装 ${ }^{14)}$ 参考に，正規表現によるパターンマッチングで除去する用語の設定

"脚注", "関連項目", "日本国内の関連項目”, ”出典","出典・脚注,", 参照,,"外部リンク","参考文献”, "その他関連事項”

"Footnotes", "See also",'Further reading",

"Bibliography", "References", "Notes", "Citations", "Sources","External links"

## B 評価対象のコンテンツ長と圧縮率の変化

判定対象のコンテンツ長が有害圧縮率に影響する可能性があるため，圧縮率が安定して算出できる文字数を評価する。

各 3 種類の有害/無害コンテンツを 0 から 300 文字の間で長さを変えて圧縮率の変化を観察した. 有害コンテンツには， $\mathrm{mC4}$ 日本語のうち HojiChar で有害判定されたコンテンツを用いた。無害コンテンツには，青空文庫の小説から 3 作品を使用した. 判定には，有害語彙モデル $32 \mathrm{k}$ を用いる.

14) https://github.com/llm-jp/llm-jp-corpus.git結果を図 3 に示す. 有害・無害に関わらずコンテンツの文字列長が 100 字を超えると, 圧縮率はほぼ横ばいとなる.

図 3 有害・無害なテキストを 0 文字から 300 文字まで変化させた場合の文字列長と圧縮率の関係. 100 文字より長くなると圧縮率はほぼ横ばいになる。


# 「昭和・平成書き言葉コーパス」の語彙統計情報の公開

相田 太一 ${ }^{12}$ 近藤 明日子 ${ }^{3}$ 小木曽 智信 1
1 国立国語研究所 2 東京都立大学 3 東京大学
aida-taichi@ed.tmu.ac.jp akondo@l.u-tokyo.ac.jp togiso@ninjal.ac.jp

## 概要

本研究では、1933 年から 2013 年までの間を 8 年おきにカバーする「昭和・平成書き言葉コーパス」 に関して、 $n$-gram 頻度形式と SVMlight 形式の共起情報を公開した1）。以前公開された統計情報に比べて昭和・平成の時代に限定されているが、今回は雑誌に加えて新たにベストセラー書籍と新聞のレジスター（ドメイン）を追加し、複数の時期だけでなく複数のレジスターを跨いだ分析が可能になった。本稿では、自然言語処理と日本語学の二つの側面において、この統計情報を用いた研究の可能性を示す。

## 1 はじめに

2023 年に「昭和・平成書き言葉コーパス」2)が公開された [1]。このコーパスは、1933 年から 2013 年までの 80 年間を 8 年おきに雑誌・新聞・ベストセラー書籍を収録した通時的なコーパスであり、「日本語歴史コーパス」3)と「現代日本語書き言葉均衡コーパス」[2]などの現代語コーパスの間をつなぐものである。これにより、現代日本語がどのような変化を経て成立してきたのかを計量的に探るための基礎となるデータが整備されたことになる。

自然言語処理の分野では近年、通時的なコーパスを用いた研究が注目を集めている。特に、単語の通時的な意味変化を検出・分析することは、言語学・社会学だけでなく情報検索や大規模言語モデルの効率的な追加訓練に有用 $[3,4]$ であり、盛んに取り組まれている。歴史的な言語変化に関するワークショップである LChange4）も 2023 年で 4 回目を迎え、関心の高まりを見せている。しかし、様々な言語で歴史的な言語変化に関する研究が進められている一方で、日本語では利用可能な大規模コーパスが存在しないため、日本語におけるこの分野の研究は

1) https://github.com/a1da4/shc-data

2) https://clrd.ninjal.ac.jp/shc/

3) https://clrd.ninjal.ac.jp/chj/

4) https://languagechange.org/events/十分な進展を遂げていない。

そこで、本研究では、構築された「昭和・平成書き言葉コーパス」をもとに、研究利用可能なデータを公開する。上記のコーパスは権利上、生のテキストデータを配布できないため、今回は $n$-gram 頻度形式と SVMlight 形式の共起情報を提供する5)。

## 2 関連研究

幅広い年代の文書が含まれる通時的なコーパスは、様々な言語で作成・公開されている。特に Google Books Ngram コーパス [5] はその代表例であり、1800 年代から 2000 年代にかけて英語・フランス語・ドイツ語・イタリア語・スペイン語・中国語・ ヘブライ語・スペイン語の $n$-gram 頻度データを提供している6)。その後、幅広い年代を含むコーパスの

スウェーデン語9)で整備・公開された。これらは近年開催された単語の通時的な意味変化を捉える共有タスク SemEval-2020 Task 1 [9] でも採用されている。

しかし、日本語ではいまだに利用可能である通時的なコーパスが不足している。以前我々が「近現代雑誌通時コーパス」の一部の統計データを公開 [10] したが、作成途中のコーパスを用いていたため、十分とはいえない。さらに、雑誌だけに限られていたため、レジスター間の比較は困難である。

## 3 データの構築

## 3.1 雑誌データ

「昭和・平成書き言葉コーパス」は昭和期から平成期までの書き言葉の通時的な変化を研究することを目的として構築されたコーパスである。この期間

表 1 今回対象とした「昭和・平成書き言葉コーパス」の各時期・各レジスターにおける延べ語数。

表 2 単語の $n$-gram 頻度形式と語彙素 ID の SVMlight 形式で出力した例。

に刊行された雑誌から 8 年おきに各年代を代表する雑誌・ベストセラー書籍・新聞記事を選定し、テキストを収録している。このコーパスは現在、オンライン検索ツール「中納言 ${ }^{10)}$ による検索サービスが提供されており、前後 30 語の範囲で前後文脈が参照可能となっている。

「昭和・平成書き言葉コーパス」に収録されているデータの刊行年と各レジスターにおける述べ語数を表 1 に示す。

## 3.2 データの加工

今回対象にしたコーパスは著作権保護の観点から生データを公開できないため、前回 [10] と同様に、 $n$-gram 頻度と SVMlight ${ }^{11)}$ の 2 つの形式に加工し、元のコーパスを再現できない形で公開する。各形式で加工した例を表 2 に示す。

$n$-gram 頻度 Google Books Ngram と同様の形式であり、各文書における単語および語彙素 ID の $n$-gram とその頻度を出力した。語彙素 ID は、形態素解析用辞書 UniDic $[11,12]$ に収録され、辞書見出

10) https://chunagon.ninjal.ac.jp/

11) https://www.cs.cornell.edu/people/tj/svm_light/
しに相当する「語彙素」ごとに与えられた識別子である。辞書アーカイブ（現代語用 UniDic のフルパッケージ) ${ }^{12)}$ の語彙素一覧（lex.csv）に含まれる語彙素 ID 列に対応付けることで、語彙素（代表表記）はもちろんのこと、語彙素読みや語種、品詞の上位概念を示す類などの情報を取り出すことが可能である。今回も単語/語彙素 ID 1-gram（単語/語彙素 ID の頻度）から 5-gram（連続する 5 つの単語語彙素ID の頻度）まで集計した。

SVMlight ここでは、単語を語彙素 IDに変換し、語彙素 ID 同士の共起情報を SVMlight の形式で出力した。この形式では、対象の語彙素 ID (例：1571） に対して、共起する語彙素 ID（例：0,1,6）とその共起回数（例：13,7,10）が

共起する ID：対象の ID との共起回数

の形式で表現されている（表 2)。SVMlight は全て ID で記述されるため、 $n$-gram 頻度形式と比べると解釈が難しい。しかし、一行について一つの対象 ID に関する共起情報が出力されており、共起回数 1 回以上の共起 ID に関する情報だけが表示されるため、 スパースな情報の表現に優れている。今回は、各時期・各レジスターで頻度が 20 回以上の語彙素 ID で語彙を形成し、前後 4 単語で共起頻度を集計した。

## 3.3 データの公開

公開データは UTF-8 形式のテキストファイルであり、単語 $n$-gram (surface_ngram)、語彙素 ID $n$-gram (lemmaID_ngram)、語彙素 ID SVMlight (lemmaID_svmlight) の3つのフォルダに分け、zip形式で圧縮した。各形式のフォルダには、さらにレジスターごとに雑誌 (magazine)、書籍 (bestseller)、新聞（newspaper）の3つのフォルダに分かれており、刊行年ごとの統計情報が保存されている。

## 4 使用用途

ここでは、今回作成した統計情報から期待される研究の可能性について、自然言語処理と日本語学の二つの側面から言及する。

## 4.1 自然言語処理

今回の統計情報により、通時的なコーパスが揃つている英語やドイツ語、中国語などで盛んに行われていた単語の通時的な意味変化に関する研究を日本語でも行えるようになる。前回公開した統計情

12) https://clrd.ninjal.ac.jp/unidic/back_number.html
表 3 自然言語処理における応用例。対象のデータセットを昭和 (1933-1981) と平成 (1989-2013)に分割し、それぞれの時期で単語分散表現を学習した後、対象単語に対する近傍単語をそれぞれの時期で算出した。

報 [10] と比べて時代の範囲は短くなるが、今回は完成したコーパスから算出した統計情報であり、雑誌だけでなく書籍と新聞が追加されているため、複数の時期・レジスターを横断した研究が可能になる。

例として、単語 5-gram 形式の全てのレジスター を結合し、昭和（1933-1981）と平成（1989-2013）の二つの時期に分けて分析を行う。各時期で単語分散表現を学習した後、同じ単語に関して近傍単語を計算して、時期間で比較した。学習では、次元数を 50、文脈窓幅を前後 4 単語、 5 回以上出現する単語を対象とし、Gensim ${ }^{13}$ のパッケージを使用して単語分散表現 Skip-Gram with Negative Sampling を訓練した ${ }^{14)}$ 。表 3 より、「操作」は平成で「接続」や「遠隔」といった近傍単語が出現しており、技術革新による変化が現れている。また、「通信」は昭和では軍事関係の近傍単語が多かったが、平成では「メディア」や「流通」といった近傍単語が出現しており、一般化した様子を捉えている。さらに、「流出」 は平成で「污染」「除染」といった近傍単語が現れており、2011 年の震災の影響を捉えていることを示す。今回はレジスターを結合して昭和と平成の二つの時期で分析を行ったが、あるレジスターにおける時間変化やレジスター間の違い、複数の時期で分析など、様々な用途での活用が期待できる。

13) https://radimrehurek.com/gensim/models/word2vec. html

14） 今回訓練したモデルは統計情報と合わせてhttps: //github.com/a1da4/shc-data で公開する。昭和・平成の各時期において、全てのレジスターを結合して訓練したモデルだけでなく、各レジスターで訓練したモデルも公開する。
また、この統計情報を用いることで、他言語で効果的だった手法が日本語でも効果的に動作するのか
といった検証が可能になる。SemEval-2020 Task 1 [9] では英語・ラテン語・ドイツ語・スウェーデン語の 4 言語で意味変化検出の性能評価が行われた。そのほかにも、ロシア語 [13] や中国語 [14]でも評価用データの構築が進み、様々な言語での性能評価が可能になった。しかし、日本語では大規模な訓練用の通時的なコーパスが存在しなかったため、日本語における意味変化検出の性能を評価することが困難であった。そこで、凌ら [15] が構築した昭和と平成の時代間で意味変化検出の性能を評価する単語リストと今回作成した統計情報を合わせることで、日本語における性能評価が可能となる。

## 4.2 日本語学

日本語学では、コーパスから作成した単語 $n$-gram を用いて、複合辞やコロケーション表現といった特定の意味・機能を有する単語連続を抽出する研究 $[16,17]$ 、接続詞を抽出し明治 $\cdot$ 大正期の通時的変化を考察する研究 [18]、室町時代の 2 作品間を比較し表現の共通点・差異を考察する研究 [19]等が行われてきた。同様に今回の統計情報を利用することで、

## 昭和・平成期の書き言葉の通時的変化やレジスター 間の差異の計量的研究が可能になる。

例として、雑誌・新聞の語彙素 ID の 4-gram のデータを使用して、4-gram とレジスター・刊行年と
表 4 コレスポンデンス分析第 1 次元スコア。4-gram 列の語彙素 ID は語彙素に置き換えて示す。レジスター・刊行年列は $\mathrm{m}$ が雑誌、 $\mathrm{n}$ が新聞、数字が刊行年を示す。

} & \multirow[b]{2}{*}{ スコア } \\

の対応関係を分析する。数詞・記号類を含む 4-gram は除いたうえで各レジスター・刊行年での頻度上位 5 位までの 4-gram を抽出すると、異なりで計 21 種が得られた。この 4-gram21 種とレジスター・刊行年の組み合わせ 22 種の粗頻度 ${ }^{15)}$ のクロス表を作成し、コレスポンデンス分析を行った。4-gram とレジスター・刊行年それぞれの第 1 次元（寄与率 $60.4 \%$ ） スコアを表 4 に、第 2 次元（寄与率 $17.1 \%$ ）スコアを表 5 に示す。

表 4 のレジスター・刊行年列から、第 1 次元はおおよそ刊行年の新旧の区分を示していると考えられる。昭和初期は文末辞「である」を含む語連続、平成期は文末辞「ます」を含む語連続により特徵づけられることが分かる。一方、表 5 のレジスター・刊行年列から、第 2 次元は雑誌と新聞のレジスター の区分を示していると考えられる。雑誌は「である」「ます」を含む語連続、新聞は「については」「となっている」「としている」といった語連続により特徴づけられることが分かる。加えて、第 1 次元の寄与率は $60.4 \%$ と第 2 次元の $17.1 \%$ と比較して非常表 5 コレスポンデンス分析第 2 次元スコア。4-gram 列の語彙素 ID は語彙素に置き換えて示す。レジスター・刊行年列は $\mathrm{m}$ が雑誌、 $\mathrm{n}$ が新聞、数字が刊行年を示す。

} & \multirow[b]{2}{*}{ スコア } \\

に高く、刊行年は語彙素 ID の 4gram と特に重要な対応関係をもつことが分かる。このように $n$-gram 頻度情報を使用することで、昭和・平成期の日本語の書き言葉における、特定の機能を有する語連続をはじめとする語彙と使用時期・レジスターとの関係性を明らかにすることができる。

## 5 おわりに

本研究では、「昭和・平成書き言葉コーパス」の公開に伴い、コーパスの統計情報を公開した。前回公開した統計情報と比べて昭和・平成の時代に限定されるが、今回は新たにベストセラー書籍と新聞が追加され、複数の時代・レジスター（ドメイン）を跨いだ比較・分析が可能となった。また、本稿では自然言語処理・日本語学の二つの側面からこのデータを用いた研究の可能性を示した。今回発表したデー タを皮切りに、日本語における言語変化の研究が盛んになることを期待している。
15）ただし今回の分析では、各レジスター・刊行年において頻度 5 以上の 4-gramを集計対象とした。

## 謝辞

本研究は、国立国語研究所共同研究プロジェクト 「多様な語彙資源を統合した研究活用基盤の共創」 および「開かれた共同構築環境による通時コーパスの拡張」による成果の一部であり、JSPS 科研費 19H00531 の助成を受けたものです。

## 参考文献

[1] 小木曽智信, 近藤明日子, 高橋雄太, 間淵洋子. 『昭和・平成書き言葉コーパス』の設計・構築・公開. 情報処理学会誌, Vol. 65, No. 2, 印刷中.

[2] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, June 2014.

[3] Andrey Kutuzov, Lilja Øvrelid, Terrence Szymanski, and Erik Velldal. Diachronic word embeddings and semantic shifts: a survey. In Emily M. Bender, Leon Derczynski, and Pierre Isabelle, editors, Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[4] Zhaochen Su, Zecheng Tang, Xinyan Guan, Lijun Wu, Min Zhang, and Juntao Li. Improving temporal generalization of pre-trained language models with lexical semantic change. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 6380-6393, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[5] Jean-Baptiste Michel, Yuan Kui Shen, Aviva Presser Aiden, Adrian Veres, Matthew K. Gray, The Google Books Team, Joseph P. Pickett, Dale Hoiberg, Dan Clancy, Peter Norvig, Jon Orwant, Steven Pinker, Martin A. Nowak, and Erez Lieberman Aiden. Quantitative analysis of culture using millions of digitized books. Science, Vol. 331, No. 6014, pp. 176-182, 2011.

[6] Mark Davies. Expanding horizons in historical linguistics with the 400-million word corpus of historical american english. Corpora, Vol. 7, No. 2, pp. 121-157, 2012.

[7] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 6958-6966, Marseille, France, May 2020. European Language Resources Association.

[8] Barbara McGillivray and Adam Kilgarriff. Tools for histor- ical corpus research, and a corpus of latin. In Paul Bennett, Martin Durrell, Silke Scheible, and Richard J. Whitt, editors, New Methods in Historical Corpus Linguistics, Tubingen, 2013. Narr.

[9] Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky, and Nina Tahmasebi. SemEval-2020 task 1: Unsupervised lexical semantic change detection. In Proceedings of the Fourteenth Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[10] 近藤明日子, 相田太一, 小木曽智信. 単語分散表現の結合学習による単語の意味の通時的変化の分析. 言語処理学会第 28 回年次大会発表論文集, pp. 1695-1698, アクトシティ浜松コングレスセンター (オンライン開催), 2022.

[11] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22, pp. 101-123, 2007.

[12] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を対象とした形態素解析. 自然言語処理, Vol. 20, No. 5, pp. 727-748, 2013.

[13] Andrey Kutuzov and Lidia Pivovarova. Three-part diachronic semantic change dataset for Russian. In LChange, pp. 7-13, Online, August 2021. Association for Computational Linguistics.

[14] Jing Chen, Emmanuele Chersoni, Dominik Schlechtweg, Jelena Prokic, and Chu-Ren Huang. ChiWUG: A graphbased evaluation dataset for Chinese lexical semantic change detection. In Nina Tahmasebi, Syrielle Montariol, Haim Dubossarsky, Andrey Kutuzov, Simon Hengchen, David Alfter, Francesco Periti, and Pierluigi Cassotti, editors, Proceedings of the 4th Workshop on Computational Approaches to Historical Language Change, pp. 93-99, Singapore, December 2023. Association for Computational Linguistics.

[15] 凌志棟, 相田太一, 岡照晃, 小町守. 日本語意味変化検出の評価セットの拡張と検出手法の評価. 言語処理学会第 30 回年次大会発表論文集, 神戸国際会議場, 2024.

[16] 近藤泰弘. BCCWJ 複合辞リストについて. 青山語文, No. 42, pp. 10-15, 2012.

[17] 李在鎬,佐々木馨. 教科書コーパスを利用した難易度別コロケーション辞書の提案. 第 8 回コーパス日本語学ワークショップ予稿集, 2015.

[18] 近藤明日子. 明治・大正期の書き言葉における文体と語彙一順接の接続詞を例に一.コーパスによる日本語史研究近代編, pp. 115-136, 2021.

[19] 渡辺由貴. 短単位 n-gram からみた『虎明本狂言集』 と『天草版平家物語』の表現の特徴. 日本語文法史研究, No. 5, pp. 149-172, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 『日本経済新聞記事オープンコーパス』に対する メタデータと語義情報付与

加藤祥

目白大学

浅原 正幸
国立国語研究所
masayu-a -at- ninjal.ac.jp

## 概要

本研究では『日本経済新聞記事オープンコーパス』に対して、メタデータとして新聞記事分類情報を付与した。さらに語義情報として分類語彙表番号を付与した。本研究で付与した情報は、『現代日本語書き言葉均衡コーパス』に含まれる新聞記事サンプルとの対照が可能である。分類情報の分布から 『日本経済新聞記事オープンコーパス』は「経済」記事に特化していることが確認された。また、各新聞記事の「経済」記事との詳細な記事分類情報の分布や語義情報の分布を比較した。

## 1 はじめに

『日本経済新聞記事オープンコーパス』1) は日本経済新聞の朝夕刊（2013 年 1 2 月） 96 本の記事からなる、営利目的での利用を許可された新聞記事コーパスである。国立国語研究所にて、UniDic 短単位形態論情報・長単位形態論情報 - 文節係り受け・ Universal Dependencies の付加情報を付与した。さらに、自己ペース読文法による文節単位の読み時間や、短単位動詞・長単位自立語・文節単位の印象評定情報も付与されている [1]。

本研究では同コーパスに、メタ情報として新聞記事分類情報と、語義情報として『分類語彙表』[2]基づく分類番号を付与した。本稿では、『現代日本語書き言葉均衡コーパス』(BCCWJ) [3] の新聞記事分類情報 [4] ・語義情報 [5] と対照し、それぞれの分布の異同について確認する。

## 2 メタデータの付与

新聞記事情報として分類情報や記事種別を付与した。これらの新聞記事の分類は、BCCWJ の新聞記事に付与された情報である [4]。まず、記事内容については、紀伊國屋書店『CD-HIASK』の分類を援用した記事情報（大）（小）を付与している。分類情報（大）として、総類・政治・経済・労働・文化・科学・社会・事件・スポーツ・国際・見出しの情報を付与した。さらに分類情報（小）として付録の表 5 に示すラベルを付与した。『日本経済新聞記事オー プンコーパス』と BCCWJ の各社の新聞記事分類情報（大）を表 1 に示す。また、一般記事とそれ以外を区別するために、記事種別 1 (付録表 6)・記事種別 2 (付録表 7) の情報を付与した。

サンプル数は少ないものの、『日本経済新聞記事オープンコーパス』は一般報道記事の分布がほとんどを占めており、案内や読み物記事などがほとんど含まれていない。なお、『日本経済新聞記事オープンコーパス』はランダムサンプリングを行ったが、公開する際に「人名の羅列からなる人事記事」・「死亡記事」は公開対象から外されている。

丸山ほか [6]によれば，BCCWN の PN（出版サブコーパス「新聞」)は、『全国新聞ガイド』(社団法人日本新聞協会発行）の「全国紙」5 紙「ブロック紙」 3 紙および各地の有力な地方紙 8 紙の印刷総文字数の推計を母集団とし、新聞タイトルによる 16 分類 ×発行年（2001 年から 2005 年） 5 分類の 80 層各層に含まれる全ページへランダムに割り振った優先順位の高い順に、指定されたぺージに含まれる文章が抽出されている。サンプルには「全国紙」4 紙（日本経済新聞は含まれない）「ブロック紙」3 紙「地方紙」7 紙が収録されている。BCCWJに含まれる新聞記事サンプルは、各新聞記事における記事分布の実態に近いものと考えられる。表 1 の分布から、『日本経済新聞記事オープンコーパス』の記事分布が経済に特化していることが確認された。

表 2 には「経済」記事の小分類について示す。『日

表 1 記事分類情報（大）に基づく分布（記事数）

表 2 記事分類情報（小）に基づく「経済」記事の分布（記事数）

本経済新聞記事オープンコーパス』は若干「金融」「商業」「鉱工業」などが多く、「農林漁業」「情報通信」が少ないという傾向は見られているが、「経済」記事の具体的な内容については、各新聞記事と『日本経済新聞記事オープンコーパス』において特徴的な差異があるというよりは、サンプルの取得された際の時事的な影響が考えられる。

## 3 語義情報の付与

『日本経済新聞記事オープンコーパス』 96 記事・ 33346 語に対し、『分類語彙表』の分類番号を人手により付与した。比較対象として、『現代日本語書き言葉均衡コーパス』[3] に『分類語彙表』の分類番号を付与した BCCWJ-WLSP の語義分布（類・部門：分類番号の小数点一桁まで）の頻度を示したものを表 3 に示す。語義情報の分布は、BCCWJ の PN と 『日本経済新聞記事オープンコーパス』でほぼ同様といえる。経済記事の割合に差は見られるものの、経済記事であることによる語義の分布に差はない。 そこで、中項目（分類番号の小数点二桁まで）についても確認を行った。表 4 に示す。

まず、1.37（体-活動-経済）に差が大きいのは「経済」分野の記事量により、「経済」分野の記事量との関連により、1.15（体-関係-作用）で 1.1540（上下） が影響しているほか、1.19（体-関係-量）のような数値において差が生じている。同様に、1.24（体-主体-成員）は「社長」「部長」などの役職名、1.25（体主体-公私）は地名、1.26（体-主体-社会）は企業名、 1.27 （体-主体-機関）は「政府」「連合」「組合」などの機関名の差ともなる。なお、「経済」分野に限定して対照しても、. 37 （経済）と. 19 (量) は『日本経済新聞記事オープンコーパス』が BCCWJ の PNを上回り（1.37 では BCCWJ : 3.7\%，日経 : 4.8\%、1.19 では BCCWJ:11.3\%，日経：15.5\%)、経済と数量に関する語義の語彙が多く用いられているといえる。 なお、2.57（用-自然-生命）における差は『日本経
表 3 語義情報の分布 (類・部門: 分類番号の小数点以下一桁まで)

 & (割合) &  & (割合) &  & (割合) \\

済新聞記事オープンコーパス』において「死亡記事」が削除されたことによる影響である。

また、BCCWJ の PNと『日本経済新聞記事オープンコーパス』には、文体的な違いが見られている。語義的な違いではないが、たとえば、文長は大差がない（「。」の割合はBCCWJ3.1\%、日経 3.6\%、以降 BCCWJ と『日本経済新聞記事オープンコーパス』 の経済記事における語彙の出現割合を示す) 印象であるが「、(読点)」は BCCWJ で 4\%であるのに対し、日経は $3 \%$ であり、読点の使用割合の違いが散見される。特に、BCCWJで見られる (1)のような文は、日経では句点で 2 文にされている。

(1) 平たく言えば、少なくとも 10 社か 15 社、市場で喧伝されている問題企業に産業再生委が思い切ったメスを入れ、産業再編の具体像を示す、それによって日本が本格的に変わり始めたというシグナルを市場に与えることが必要だ。(BCCWJ, サンプル ID : PN1b_00004)

2.12 (用-関係-存在)の差では「居る」「有る」「成る」 などの頻度差の影響が見られる。「ている」(「て」 BCCWJ : $1.5 \%$, 日経：1.2\%、「居る」BCCWJ:0.7\%,日経：0.5\%）をはじめ、「となる」(「成る」BCCWJ： $0.6 \%$, 日経：0.4\%）などの現在や未来のアスペクトは日経で使われにくく、「受け取る」「参入した」のような言い切りの文末が多い。同様に、「とされる」 (「れる」BCCWJ:0.4\%, 日経：0.2\%）「という」(「言う」BCCWJ:0.4\%，日経：0.1\%）などの婉曲表現の割合も異なることから、日経サンプルでは BCCWJ に含まれる新聞サンプルよりも断定的な印象が強まると考えられる。関連して、1.20（体-主体-人間）の差は、敬称の「さん」が『日本経済新聞記事オープンコーパス』において用例がなく「氏」に限定され
ていたことによった。語彙的な頻度差として明確に現れるほどではないが、表現の違いから、専門的な印象が生じている可能性がある。

（2）収支見込みも、当初は数年間の赤字が必至とみられていたが、今月三十一日に予定している初年度決算で「経常利益は数億円単位の黒字になる」(山下社長) という。（BCCWJ, サンプル ID： PN1d_00001)

(3) トヨタ自動車が 2 割近い減少を見达む一方で、軽が好調なホンダは 12 年の 74 万 5000 台から「できるだけ伸ばしたい」（岩村哲夫副社長）とした。 （日経，サンプル ID：0201NKM0307）

このほか、記事内容との関係ではなく、表 4 において最も違いが現れるのは 1.10 (体-関係-事柄）と 3.10 (相-関係-真偽）であるが、これらは 1.1010 または 3.1010 (こそあど・他）の「此れ」「其れ」「此の」「其の」「こう」「そう」の差による。日経サンプルでは「それほど」「それだけ」「これまで」「これから」「このほど」などの限定的な表現で用いられる例（例 (4)）がほとんどであり、BCCWJ サンプルに見られる指示詞として機能しているこそあど（例 (5) の出現はまれであった。

（4）これまでは世界販売を伸ばしても単独営業赤字が収益の足を引っ張ってきた。今後は円安を追い風に競争力を高めて韓国・現代自動車などライバル勢に対抗する。(日経，サンプル ID： 0206NKM0075)

（5）経団連は「債権放棄は資本主義のルールをゆがめる。本来、採用すべきでない」との考えだ。これは、債権放棄を受けた企業に経営責任や株主責任を求め、再建計画纪数値基準を設けた中間報告の中核的な考えに反映されている。(BCCWJ，サンプル ID : PN1g_00002)
表 4 語義情報の分布 (類・中項目: 分類番号の小数点以下二析まで)

## 4 おわりに

『日本経済新聞記事オープンコーパス』に付与した新聞記事分類情報（メタデータ）と分類語彙表番号（語義情報）について報告した。

BCCWJ の新聞記事サンプルにおける記事分布や語義分布は新聞一般の実態に近いものと考えられる。本研究の情報付与により、『日本経済新聞記事オープンコーパス』では、記事の種別において一般報道記事以外の割合がきわめて低く、「経済」記事
の割合が半数に及び、記事分布において「経済」分野の専門性の高いことが確認された。しかし、経済記事の内容の内訳（分類情報（小） では大差がなく、語義分布においても新聞一般との違いはほとんどなかった。『日本経済新聞記事オープンコーパス』 は、記事内容の詳細な分布や語義の分布においては、概ね BCCWJ の新聞記事サンプルと同様の傾向があるといえる。但し、語義分布に現れた一部の違いには、文体的な違いが見られ、読み手に専門性を強める印象が生じている可能性が考えられる。

## 謝辞

本研究は国立国語研究所共同研究プロジェクト 「実証的な理論・対照言語学の推進：アノテーションデータを用いた実証的計算心理言語学」、JSPS 科研費 JP18K00634, JP22K18483 の助成を受けた。

## 参考文献

[1] 浅原正幸, 加藤祥, 高松純子. 『日本経済新聞記事オー プンコーパス』に対する言語受容情報付与. 2023 年度日本認知科学会第 40 回大会, 2023.

[2] 国立国語研究所 (編). 分類語彙表増補改訂版. 大日本図書, 2004.

[3] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, pp. 345-371, 2014.

[4] 加藤祥, 浅原正幸. 『現代日本語書き言葉均衡コー パス』新聞サブコーパスの記事情報. 日本語の研究, Vol. 19, No. 2, pp. 206-214, 2023.

[5] 加藤祥, 浅原正幸, 山崎誠. 分類語彙表番号を付与した 『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ. 日本語の研究, Vol. 15, No. 2, pp. 134-141, 2019.

[6] 丸山岳彦, 柏野和佳子, 田中牧郎. 『現代日本語書き言葉均衡コーパス』利用の手引第 1.1 版, 第 3 章サンプリング. 国立国語研究所コーパス開発センター, 2015. https://doi.org/10.15084/00003228.

## A 付録

表 5 新聞記事に付与した記事分類

} & 分類 (小) & & & & & & \\

表 6 記事種別 1 亿基づく記事分布

表 7 記事種別 2 に基づく記事分布


# A Task of Cloze Explanation Generation for ESL Learning

Zizheng Zhang a Masato Mita å
Mamoru Komachi $₫$
- Tokyo Metropolitan University. 6-6 Asahigaoka, Hino, Tokyo 191-0065, Japan
* CyberAgent, Inc. 2-24-12 Shibuya Shibuya-ku, Tokyo 150-6121, Japan
$\checkmark$ Hitotsubashi University. 2-1 Naka, Kunitachi, Tokyo 186-8601, Japan
zhang-zizheng@ed.tmu.ac.jp, mita_masato@cyberagent.co.jp,
mamoru.komachiar.hit-u.ac.jp
}

\begin{abstract}
Addressing the lack of dedicated tasks for generating language learner explanations of cloze questions, this paper introduces a new task focused on cloze explanation generation in language assessment, particularly for English as Second Language (ESL) learners. To support this task, we present a meticulously curated data creation method, which expands expert-designed high-quality cloze questions and explanations. This data aims to assess language proficiency and facilitates language learning by offering informative and accurate explanations.
\end{abstract
## 1 Introduction

Cloze questions [1] are a fundamental component of language assessment (LA). They typically consist of a sentence or a passage with certain words or phrases omitted, and language learners are required to select or fill in the most appropriate word to complete the text. Cloze questions in language educational settings are usually used in language educational settings to evaluate language proficiency in terms of various aspects such as grammatical knowledge [2,3] and reading comprehension skills [4, 5]. They are also widely employed in famous tests for English as a Second Language (ESL) learners, such as the International English Language Testing System (IELTS) and Test of English as a Foreign Language (TOEFL).

Explanations for cloze questions play a crucial role in language learning, particularly in self-study contexts. When learners encounter challenging cloze questions, having access to clear and concise explanations after answering the question can greatly aid their understanding of the correct answers [6]. Explanations provide learners with

## Question:

The Westchester Philharmonic received a national education program three years ago.
(A) awardable
(B) award
(C) misawarded
(D) well-awarded

## Explanation:

The blank needs a word that fits as the object of "received," and it should follow the determiner "a" and the adjective "national." Therefore, we need a singular or mass noun. Option (A) "awardable" and option (D) "well-awarded" are adjectives. Option (B) "award" is a singular noun. Option (C) is a verb in past tense. Therefore, the correct answer is (B) "award."

Table 1: Examples of data for the ClozEx task. A system is expected to receive Question as input and produce Explanation as output. Words in green denote "hint words" that help reason the answer.

insights into the reasoning behind the correct and incorrect choices, helping them identify and rectify their own misconceptions. The provision of high-quality explanations can empower learners, fostering deeper comprehension and long-term knowledge retention.

However, despite its usefulness, there has been almost no work on generating high-quality explanations for given cloze questions. One essential reason is that no dataset for such a task is available. Because of high costs in terms of time and human effort, employing experts to create such a dataset, to provide abundant data, is difficult, although it could guarantee the quality of the dataset. Furthermore, even if a dataset could be constructed, it would be challenging to automatically generate human-like cloze expla-
nation.

To address these challenges, we propose the a natural language generation (NLG) task ClozEx of generating explanations for English cloze questions. Intuitively, a good explanation that helps answer a cloze question should be easy to read and provide sufficient background knowledge. Therefore, fluency and informativeness should be considered in explanation generation. We also provide a method to create expert-quality-assured (question, explanation) pairs automatically, an example of which is shown in Table 1 .

The main contributions of this work are (1) we propose a new task toward generation of fluent and valid English cloze explanation (ClozEx) for ESL learning; (2) we designed a method for creating cloze questions and explanations, which is based on expert-designed data thus the quality is ensured.

## 2 Related Work

The effectiveness of cloze questions in language assessments has spurred research into their automatic generation. Unlike earlier studies using simplistic methods like fixed ratio word deletion and random distractor selection, modern research aims to enhance question validity. For instance, Sakaguchi et al. [7] utilized a corpus of English learner errors to create more challenging distractors, thus improving the assessment of language proficiency. Further studies $[8,9,10,11,12]$ have explored features influencing cloze question validity, including part of speech, $n$-gram frequency, and word sense, leading to more targeted question generation. Despite these advances, the creation of explanatory content alongside questions remains largely unaddressed, an area where this research innovates by focusing on explanation generation.

Nagata [13] introduced the Feedback Comment Generation (FCG) task, which automatically generates feedback for English writing exercises for non-native learners. While FCG aids in grammar learning, it's limited in offering systematic grammar knowledge. It relies on free composition, which doesn't cover all grammar aspects comprehensively. Additionally, FCG mainly explains word appropriateness in sentences, not why some expressions should be avoided. Also, producing high-quality feedback from free compositions is labor-intensive. In contrast, this research's ClozEx task uses a top-down approach to construct cloze questions based on grammar item "patterns." This method enables the automated generation of numerous high-quality explanations.

## 3 ClozEx Task and Data Creation

## 3.1 Task Definition

Methods devised to address the ClozEx task are expected to operate on a cloze question $q$ as input. A cloze question comprises a sentence with a blank, denoted as sent, and a set of options $O P T=\left[o p t_{1}, o p t_{2}, \ldots, o p t_{n}\right]$ (typically, $n$ equals to 4 ). The objective of the methods is to generate an explanation text $\exp$ as output for the given question. The generated explanation should satisfy two criteria: (1) fluency [14], meaning that the explanation should be coherent and easily comprehensible, because an explanation that is difficult to read would not effectively aid language learning; (2) validity [15], indicating that the explanation should provide sufficient information, such as relevant language knowledge, to facilitate answering the question accurately.

## 3.2 Data Preparation

To create high-quality data for cloze questions, employing English education experts for writing explanations is ideal but time-consuming and not scalable. To overcome these limitations, we propose an automated method for generating both questions and explanations.

Experts typically construct cloze questions in a top-down approach, focusing on a specific grammatical item. These items serve as a pattern for a group of questions. Our method, based on this pattern approach, automates the creation of new cloze questions and their explanations by extracting and utilizing patterns from expert-designed materials, ensuring quality retention.

Our data creation process, depicted in Figure 1, starts with extracting patterns from expert-crafted questions and explanations. Using these patterns, we generate new questions and explanations from a public corpus. In the question generation phase, relevant sentences from a news corpus are matched with the identified patterns. Distractors are created based on the targeted language aspect. For generating explanations, we design templates specific to the question type, filled with relevant details from the question and pattern. These explanations are then refined and diversified using Language Models (LLMs) to enhance fluency, with a set limit of 128 words to avoid redundancy.

Initially, our focus is on two common cloze question types in language assessment, particularly in tests like

Figure 1: Pipeline of data creation method. Yellow rectangles symbolize input to the pipeline, whereas blue rectangles represent output. Modules are depicted in orange, and their corresponding intermediate results are highlighted in green .

TOEIC: affix and verb-tense questions. These types were chosen for their significance in language proficiency evaluation. Affix questions challenge ESL learners to discern different parts of speech through prefixes or suffixes, while verb-tense questions require identifying the correct tense in a given sentence.

## 3.3 Pattern Extraction

Affix/tense questions necessitate ESL learners to identify and analyze a specific context referred to as "hint words," which serve to modify or be modified by the word in the blank to answer the question accurately. To capture the patterns inherent in these questions, we focus on the relationship between the hint words and the answer option.

To extract the pattern from each expert-designed question, we begin by inserting the answer option into the sentence, resulting in a completed sentence denoted as sent $^{\text {ans }}$. Next, we extract the hint words from the expertdesigned explanation, and we mark their corresponding positions in sent ${ }^{\text {ans }}$ (see (a) in Figure 2). Subsequently, we employ dependency parsing on sent ans to generate its dependency tree. Given that the hint words and the answer option play crucial roles in the question, we extract a sub-tree from the dependency tree that encompasses all the hint words and the answer node. This sub-tree serves as the pattern for the question and is denoted as pattern (see (b) in Figure 2, the pattern could be summarized as "A noun works as an object that is modified by an article and adjective.”).

After obtaining the pattern for a specific question, we utilize it to generate new questions. We parse all sentences, denoted as $\left[\tilde{\operatorname{en}} t_{1}, \ldots, \tilde{s e n}_{m}\right]$, from publicly available news corpus to acquire their respective parsing trees, denoted as $\left[\right.$ tre $_{1}, \ldots$, tre $\left._{m}\right]$. We use a news corpus because news is
The Westchester Philharmonic received a national award for its education program three years ago.

(a) Example of sent ans ; red word represents the answer option, and green ones denote hint words extracted from expertdesigned explanation.

(b) Partial dependency parsing tree of sent ans in (a). Only nodes of colored words are extracted as pattern ( Pattern in Figure 1).

(c) Partial sent ${ }_{i}$ and its dependency parsing tree. Because tree $_{i}$ consists of pattern (marked in colored text), sent ${ }_{i}$ could be used to generate a question.

## Question:

The family hired a legal__ and had the ramp installed at the front of their home at the Woodlands at Copperstone in Brentwood. $\begin{array}{llll}\text { (A) contractual } & \text { (B) contractor } & \text { (C) contracted } & \text { (D) contractable }\end{array}$ Initial Explanation:

The word in the blank should be the object of "hired".

"a" is the determiner of the blank. "legal" is the the adjective modifier of the blank.

Thus, a Noun, singular or mass is required.

(A) contractual is a Adjective. (B) contractor is a Noun, singular or mass. (C) contracted is a Verb, past tense. (D) contractable is a Adjective

Therefore, the correct answer is (B) contractor.

(d) Example of generated question and corresponding initial explanation ( Initial Explanations in Figure 1).

Figure 2: Examples of process of generating a new question with its explanation.
in formal writing and leads to fewer grammatical errors. If a parsing tree, tre $_{i}$, includes the extracted pattern pattern $_{j}$, we consider the corresponding sentence, sennt ${ }_{i}$, as a suitable candidate for generating a new question that belongs to pattern $_{j}$. It is important to note that our focus lies in capturing the modification relationship between the hint words and the answer option (e.g., dependency relations), and their grammatical classes within the sentence (e.g., POS), rather than the specific words used in the question generation process (see (c) in Figure 2).

To select distractors for the new question, we built candidate dictionaries for affix and verb-tense questions, respectively. Distractor options are selected from the corresponding dictionary. For example, if an affix question has the answer option "contractor", the distractor candidates could be in ["contractual", "contraction", "contracted", "contractable"]. Similarly, distractor options for verb-tense questions are also selected from another pre-defined dictionary.

Finally, we design templates for specific types of questions to present all the necessary information for answering the question, including pattern and options (see (d) in Figure 2). To improve fluency and diversity, we employ LLM to paraphrase the template-based explanation.

## 3.4 Data Analysis

To validate the quality and suitability of our created data for training models in the ClozEx task, we conducted a thorough manual quality assessment. As outlined in Section 3.1, the evaluation focused on two aspects: fluency and validity.

For the fluency assessment, we enlisted the expertise of two native English speakers from the university with which the authors are associated. These experts independently evaluated 100 randomly selected instances from our data using a 5-point Likert scale (1 denotes the worst and 5 denotes the best), solely considering the fluency of the generated explanations and disregarding their validity. To evaluate the validity aspect, we recruited four advanced ESL learners ${ }^{1)}$ from the university with which the authors are associated, because these learners possess a strong understanding of textbook grammar [16]. Similarly, these annotators used a 5-point Likert scale to assess the validity of 100 instances. To ensure the independence between fluency and validity, we selected fluent instances in advance

Table 2: Inter-annotator agreement and manual estimation result. Pear. denotes Pearson's correlation coefficient. Avg., Med., and Var. indicate the average, median, and variance of scores, respectively.

for the validity estimation. The validity assessment aimed to determine whether the explanations provided the necessary information to answer the corresponding question.

To ensure robustness, each instance underwent double annotation for both fluency and validity. We performed the Pearson correlation test to assess the inter-annotator agreement between the different annotators. Result of interannotator agreement and manual estimation are shown in Table 2. The high correlation coefficients indicate a strong agreement among the annotators, underscoring the reliability of our manual estimation. The scores for both fluency and validity exhibited high median values and low variance. These findings confirm the high quality of our data and support its publication as a reliable resource for the Clozex task.

Further, to investigate whether LLMs could provide receivable explanations without any training, we also asked annotators to estimate explanations generated by various LLMs. The result demonstrate that though LLMs are good at generating fluent text, these text generally do not explain cloze questions well. Please refer to Appendix A for details.

## 4 Conclusion

This paper introduced a novel task, ClozEx, aimed at generating fluent and valid explanations for English cloze questions to support ESL learning. We designed a comprehensive data creation method, which aims to expand expert-designed cloze questions and explanations. Generated questions and explanations, which are based on expertdesigned ones, ensure the quality in the cases of LA and ESL learning. Expert evaluations also confirmed the high quality and suitability of our data for the ClozEx task.

1) They hold public English test certificates to indicate they have a CEFR A2 level or higher.

## Acknowledgment

This work was supported by JST, the establishment of university fellowships towards the creation of science technology innovation, Grant Number JPMJFS2139.

## References

[1] Wilson L Taylor. "Cloze procedure": A new tool for measuring readability. Journalism quarterly, Vol. 30, No. 4, pp. 415-433, 1953.

[2] James Rye. Cloze procedure and the teaching of reading. London, 1982.

[3] J Charles Alderson. The cloze procedure and proficiency in English as a foreign language. TESOL quarterly, pp. 219-227, 1979.

[4] Patricia M Raymond. Close procedure in the teaching of reading. TESL Canada journal, pp. 91-97, 1988.

[5] Christine Klein-Braley. C-tests in the context of reduced redundancy testing: An appraisal. Language testing, Vol. 14, No. 1, pp. 47-84, 1997.

[6] Joseph Jay Williams, Tania Lombrozo, and Bob Rehder. Why does explaining help learning? insight from an explanation impairment effect. In Proceedings of the Annual Meeting of the Cognitive Science Society, Vol. 32, 2010.

[7] Keisuke Sakaguchi, Yuki Arase, and Mamoru Komachi. Discriminative approach to fill-in-the-blank quiz generation for language learners. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 238-242, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[8] Takuya Goto, Tomoko Kojiri, Toyohide Watanabe, Tomoharu Iwata, and Takeshi Yamada. Automatic generation system of multiple-choice cloze questions and its evaluation. Knowledge Management \& E-Learning: An International Journal, Vol. 2, No. 3, pp. 210-224, 2010.

[9] Rui Correia, Jorge Baptista, Maxine Eskenazi, and Nuno Mamede. Automatic generation of cloze question stems. In International Conference on Computational Processing of the Portuguese Language, pp. 168-178. Springer, 2012.

[10] Jennifer Hill and Rahul Simha. Automatic generation of context-based fill-in-the-blank exercises using cooccurrence likelihoods and Google n-grams. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 23-30, 2016.

[11] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics, Vol. 8, pp. 423-438, 2020.

[12] Subhadarshi Panda, Frank Palma Gomez, Michael Flor, and Alla Rozovskaya. Automatic generation of distractors for fill-in-the-blank exercises with round-trip neural machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 391-401, Dublin, Ireland, May 2022. Association for
Computational Linguistics.

[13] Ryo Nagata. Toward a task of feedback comment generation for writing learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3206-3215, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Jennifer Cotter. Understanding the relationship between reading fluency and reading comprehension: Fluency strategies as a focus for instruction, 2012.

[15] Charles B. Cross. Explanation and the theory of questions. Erkenntnis (1975-), Vol. 34, No. 2, pp. 237-260, 1991.

[16] Eileen W Glisan and Victor Drescher. Textbook grammar: Does it reflect native speaker speech? The Modern Language Journal, Vol. 77, No. 1, pp. 23-33, 1993

[17] Zhengliang Liu, Xiaowei Yu, Lu Zhang, Zihao Wu, Chao Cao, Haixing Dai, Lin Zhao, Wei Liu, Dinggang Shen, Quanzheng Li, et al. DeID-GPT: Zero-shot medical text de-identification by GPT-4. arXiv preprint arXiv:2303.11032, 2023.

[18] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. LLaMA: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

## A LLMs for Cloze Explanation Generation \\ Given the remarkable performance of LLMs across var- ious tasks without fine-tuning [17], there is a reasonable expectation that they would excel in generating high-quality explanations for cloze questions.

We conducted manual estimation for explanations that generated by various LLMs in a zero-shot scenario, including GPT2-large, GPT2-XL, GPT3.5-turbo ${ }^{2}$, and LLaMa7B [18]. The estimation process followed Section 3.4.

Our experimental (Table 3) findings indicate that no LLM achieved an acceptable validity score in manual evaluation. Upon analyzing the explanations generated by GPT3.5-turbo, we identified two critical shortcomings of LLMs in effectively explaining cloze questions.

Firstly, LLMs exhibit a tendency to generate factual errors, thereby failing to ensure the accuracy of the generated texts. This deficiency is exemplified in GPT3.5-turbo Question 1 Appendix B, where an evident error is observed in the verb tense following the word "did not," a discrepancy that can have detrimental consequences in the context of LA.

Secondly, LLMs have the propensity to produce explanations that lack meaningful and informative content, failing to provide the necessary knowledge required for comprehending the reasons behind the answer options. As illustrated by GPT3.5-turbo Question 2 in Appendix B, such explanations leave ESL learners unaware of why the given answer option is necessary, while also failing to elucidate the distinctions among the options resulting from affixes. Furthermore, these explanations may even present incorrect answers and flawed analyses, further diminishing their utility.

Table 3: Manual estimation result of LLMs. All scores are ranged in $[1,5]$.

## B Examples from GPT3.5-turbo

Question 1: Isn't it just that it didn't to sell the sets it had produced?

(A) manage (B) manages (C) managing (D) managed

2) https://platform.openai.com/docs/models
Explanation 1: The correct answer is (D) managed. The sentence is in the past tense and "did not" is the negative form of the auxiliary verb "did". Therefore, the next verb has to be in the past tense as well. The verb "managed" is the correct form in the past tense, meaning "succeeded in doing something despite difficulties or obstacles". Example: "The company didn't manage to sell all of its products before the end of the year."

Question 2: The innards of the machine were complex but

(A) manageable (B) manageably (C) unmanageably

(D) mismanage

Explanation 2: The correct option is (C) unmanageably. The word "innards" means the internal parts of a machine. The sentence suggests that the parts of the machine were complex and difficult to manage. The word "manageably" (option B) means something that is able to be managed easily which contradicts the sentence. The word "mismanage" (option D) means to handle or operate wrongly or inefficiently, which does not fit in the sentence. Therefore, the correct answer is (C) unmanageably, meaning that the innards of the machine were difficult to manage.


# 訓練可能な k 近傍 Retriever で関係抽出事例を導入した ニューラルプロンプティング

牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd21505, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

近傍法による関係抽出では，関係の事例を推論に利用すると，少ない訓練データでも高い性能で抽出が可能になるという報告がある. LLMによる抽出では，Retrieverによって得た事例を使う方法があるものの，事例の選択が微分できないため, Retriever を end-to-end に訓練できない. そこで本研究では,微分可能な $\mathrm{k}$ 近傍事例のソフトな選択を利用して，事例をソフトプロンプトとして導入するニュー ラルプロンプティングを行うことで，関係抽出で end-to-end に Retriever を訓練できるようにする。標準的なベンチマーク用データセットの TACRED に対する抽出性能は，訓練事例数を $10 \%$ と $5 \%$ とした場合に，F 值でそれぞれ $71.0 \%$ と $70.9 \%$ となり，訓練事例を削減した条件では最先端の性能が得られた。

## 1 はじめに

文章中の用語ペア間の関係性を抽出する関係抽出は，自然言語で記述された情報の構造化において重要な役割を果たしている [1]. 関係抽出器の作成では，人手で作成された教師を利用して深層学習モデルを訓練するのが一般的だが [2]，タグ付けのコストが高いことから，少ない訓練データで高い抽出性能が得られるモデルが求められている。このような中で，近傍法で関係抽出の事例を推論時に利用して関係抽出をする抽出器 [3] は, 関係ラベル同士の関係性をモデル化することで，少ない訓練データで訓練できるようになってきている.

加えて，近年では，それらのモデルのベースに BERT [4] のような事前学習言語モデル (Pretrained Language Model; PLM) の利用が標準的になってきている. 最近では, 事前学習モデルとして大規模言語モデル (Large Language Model; LLM)を利用した研究が注目されている [5]. 特に，指示やデモンスト

図 1 事例を利用した LLM による関係抽出

レーションとなる事例を文脈に与えて少ない事例で訓練を実現する文脈内学習 (In-context learning; ICL) が可能になり，関係抽出に事例を利用する研究が進んでいる [6]. ICL に利用される技術の一つである Retrieval-Augumented Generation (RAG) では，図 1 のように，入力に合わせて事例を選択する Retriever によって得られた事例のテキストをプロンプトに導入することで，ICL で不足する知識や ICL の方向性を調整している [7].

ただ，RAGでは，Retrieverによる事例の選択は微分不可能な操作であるため，事前に Retrieval に合わせて学習することはできても [8], 対象タスクに合わせて end-to-end に Retriever を最適化するのは難しい。これを解決するために，事例からソフトプロンプトを作成するニューラルプロンプティングが提案されたものの [9]，依然として Retriever による事例の選択は微分不可能な操作であるため, end-to-end に訓練できないという問題点がある。

そこで本研究では，関係抽出において，Retriever まで含めて end-to-end に最適化可能にし，関係抽出に特化した事例の選択を可能にすることを目的とす

る. Retrieverを最適化可能にするためには, $\mathrm{k}$ 近傍事例の選択を微分可能な操作にする必要がある。そこで，近傍ニューラルネットワーク [10] に着想を得て，実際にサンプリングせずにソフトに選択することで微分可能にし，その事例をソフトプロンプトとして導入するニューラルプロンプティングをすることで，Retrieverを含めて関係抽出を end-to-end に訓練した時の効果を確認する.

本研究の貢献は以下の点である.

・LLM による関係抽出において， $\mathrm{k}$ 近傍事例の選択をソフトにして微分可能にし，ニューラルプロンプティングに利用する手法を提案し， Retriever まで end-to-end に訓練可能な方法を示した.

・関係抽出の標準的なべンチマーク TACRED で，訓練事例数を $10 \%$ ，5\%に減らす設定において最先端の性能を示した。

## 2 関連研究

深層学習による関係抽出器は，文脈を考慮したモデル [2] や，文章構造のような構造をグラフ構造として利用するモデル [11]など，様々なモデル化がされている. 関係事例を利用するモデルである近傍法による関係抽出 [3] は，他の関係事例との関係性を明確にすることで，事例数が少ない関係ラベルでも高い性能での予測が可能になった。

既存の LLM による関係抽出では，LLMをQA モデルとして利用 [12]したり，関係ラベル名を生成するようにプロンプトを設計 [5] したりと，単純な方法が取られており，抽出性能もLLMを利用しない関係抽出と大きく変わらなかった. BERTのような PLM を利用した関係抽出手法の中では，関係を様々な観点から自然言語に書き下し, 自然言語推論によって含意する関係を見つけることでこの問題を解決した方法 [13] が提案された. このような中で, 出力の形式を自然言語に合わせて言語モデルに適合させるために，文章を関係事例へ要約するタスクとみなして関係抽出を行うモデル SuRE (Summarization as Relation Extraction) [14] が提案された.

## 3 LLM による関係抽出

本節ではLLMによる関係抽出器, および, Retriever を用いたその拡張を定義する，入力の文章を $x$ ，文章中の関係の始点と終点の用語をそれぞれ $h, t$, そ

の間の関係を $r$ とすると，分類モデルによる関係抽出器の予測は $\hat{r}=\operatorname{argmax}_{r} P(r \mid x, h, t)$ となる. 一般的なLLMを利用した関係抽出では，入力の文章をテンプレートに当てはめてテキストプロンプトに変換し，それをLLM に入力して得られるテキストを関係ラベルにマッピングして関係を抽出する。

$
\hat{r}=\operatorname{Map}(\operatorname{LLM}(y \mid \operatorname{Template}(x, h, t))
$

次に，LLM による関係抽出器を, 図 1 のような Retrieverによって獲得した事例を利用する関係抽出に拡張する。 そのために, 式 (3)のように, Retriever によって事例集合や外部知識のデータベース $D$ から事例を選択し, その事例からプロンプト $z$ を作成して LLM の入力に与える.

$
\begin{aligned}
& z=\operatorname{Retriever}(x, h, t, D) \\
& \hat{r}=\operatorname{Map}(\operatorname{LLM}(y \mid z, \operatorname{Template}(x, h, t)))
\end{aligned}
$

Retriever は，データベースから事例を選択する機能と，選択した事例を LLM に入力可能なプロンプトに変換する機能の 2 つの機能から構成される. 既存の RAG[7] の Retriever では，入力とデータベース $D$中の事例を埋め込み, 近傍の事例を選択し，その事例のテキストを直接プロンプトに利用する。ニュー ラルプロンプティング [9] では，文字列一致で事例を選択し，事例をニューラルネットワークで埋め込み，ソフトプロンプトとして利用する。

## 4 提案手法

$\mathrm{k}$ 近傍事例の選択をソフトな操作として微分可能にし，それによって得られた埋め込みをソフトプロンプトとして利用するニューラルプロンプティングによって k 近傍 Retrieverを訓練可能にする.

まず， k 近傍 Retriever を定義する. k 近傍 Retriever では，訓練データの関係事例の集合などのデー

タベース $D$ 中の要素 $d_{i}$ を埋め込みのリスト $E_{i}=\left[e_{i}^{1}, e_{i}^{2}, \ldots e_{i}^{L}\right] \in \mathbb{R}^{L \times D_{\mathrm{emb}}}$ に変換し, 入力の埋め込みと距離が近い事例を選択する。

$
\begin{aligned}
E_{i} & =\operatorname{Embed}\left(d_{i}\right) \\
E_{\text {in }} & =\operatorname{Embed}(x, h, t) \\
s_{i} & =\operatorname{Dist}\left(E_{\text {in }}, E_{i}\right) \\
z & =\operatorname{KNNRetriever}(x, h, t, D)=\left[z_{1}, z_{2}, \ldots, z_{K}\right] \\
& =\|_{k \in \arg \text { top- } k_{i} s_{i}} \operatorname{Template}\left(d_{k}\right)
\end{aligned}
$

通常の $\mathrm{k}$ 近傍 Retriever では，事例の選択部分が微分できず，プロンプトもテンプレートを利用したテキストになっているため, Retrieverの訓練ができない.

そこで， $\mathrm{k}$ 近傍事例の選択を微分可能にし，埋め込み $E$ を利用するソフトプロンプトにすることで， $\mathrm{k}$ 近傍 Retriever 全体を訓練可能な状態にする。 具体的には，既存の微分可能な $\mathrm{k}$ 近傍事例の選択 [10] を参考に，アルゴリズム 1 で得られる $\mathrm{k}$ 近傍事例の埋め込みをプロンプトにして，訓練可能な $\mathrm{k}$ 近傍 Retrieverを害現する。この Retriever では，距離を利用して計算した Softmax の值を重みとして，埋め込みの重み付け和をとることで， $\mathrm{k}$ 近傍事例の埋め込みを仮想的に計算する. これによって，事例の選択が微分可能になり，プロンプトもソフトプロンプトとすることで，Retriever を含めて LLM を end-to-end に訓練できるようになる.

ただ，この微分可能な $\mathrm{k}$ 近傍 Retriever では，D 内の事例全体に対して距離を計算しなければならず，訓練時には計算量が膨大になる。これを訓練時にも行った場合，すべてのデータベース中の事例の埋め込みを計算して，すべての埋め込みに対する更新をしなければならない。そこで，これを解決するために，ランダムに事例の部分集合をサンプリングし， その事例の中で Retriever を適用して訓練をする.

## 5 実験

## 5.1 実験設定

関係抽出の抽出性能の評価をするために，標準的に利用されている TACRED データセット [15]を使用する。評価指標は，それぞれのタスクで一般的に利用されているものとして，関係なしのクラス no_relation を負例として計算した micro 平均 $\mathrm{F}$ 値,適合率 $(\mathrm{P})$, 再現率 $(\mathrm{R})$ の百分率を使用する. それぞれの結果としては，計算コストのため，一度害行し
たときの値を利用する。また，付録 B に示したように，訓練事例を $10 \% ， 5 \% ， 1 \%$ に減らした場合についても評価を行い，訓練事例数に対する性能の変化を確認する。

評価ではベースのモデルに Flan-T5 の large サイズを利用して [16]，関係抽出を要約タスクとして定式化した SuRE [14]をもとに，関係事例をプロンプトに追加する実験をした．提案手法の有効性の確認のため，訓練可能な $\mathrm{k}$ 近傍 Retriever を利用して事例を導入した場合を評価した. Retrieverで利用する表現は，SuREで利用されているテンプレートを当てはめた文章を RoBERTa-base [17] でエンコードし，関係の始点と終点の用語の表現と関係を述べている部分の表現を，トークンの表現を平均して作成した。また，訓練時に Retriever でサンプリングする事例数は 32 として，10 事例をプロンプトに導入する条件で実験した． Retriever の事前の訓練のための Warmup として, 最初の 300 ステップは Retriever のパラメタのみを更新し，その後 Flan-T5 を更新した。 Retrieval に利用するデータベースは訓練データ中の関係事例として，計算機の都合上，5000 件以上訓練事例がある場合には 5000 件をランダムにサンプリングしてデータベース $D$ とした. 詳細なモデルの設定は，付録 A に記述した。

既存の関係抽出の最先端のモデルとして, Pegasuslarge をべースにした SuRE に加えて，構造化のための事前学習モデルである DeepStruct [18], 言語化した関係が入力文章に含まれるかどうかを NLI で解いて関係抽出をする NLI_DeBERTa [13] と比較する.

## 5.2 結果

表 1 に示した結果より，訓練データ数が少ない $10 \%$ と $5 \%$ ときに，既存の訓練事例数を削減した場合の SOTA である SuRE および NLI_DeBERTa と比べ，提案手法が高い性能を示した. ベースとした SuRE と比較すると，訓練事例数を $10 \%$ 以下にした場合に，提案手法によって再現率が向上し， $\mathrm{F}$ 值も向上した。一方で，訓練事例が十分な領域では，抽出性能が低下することが確認できた。このことから，訓練可能な Retriever から得られた事例を利用するのは，限定的だが有効に作用すると確認できた。

## 6 解析

本章では，5 節で行った抽出性能の評価が得られた要因やモデルの挙動を解析するために，アブレー
表 1 関係抽出性能の比較 [\%]

ション研究と，事例数に対する性能変化を確認する. 以降の実験は 5 節で使用したモデルをべースにして，性能の向上が確認できた設定である $5 \%$ のの訓練事例を利用した際に，条件を変化させた場合の性能を確認して解析を行った。

## 6.1 アブレーション研究

提案手法のうち, 性能の向上に寄与した要因を確認するために，事例に関する部分と Retriever モデルを対象としてアブレーション研究をした. 具体的には，ランダムな事例を利用した場合（ランダム), Retrieverを訓練せずに $\mathrm{k}$ 近傍事例を利用した場合（訓練なし），利用する表現を用語ではなく CLSトークンにした場合 (CLS), Retriever の訓練時の Warmup をしない場合（Warmupなし），のそれぞれの設定での性能を比較した。

表 2 に示した通り，すべての場合について $\mathrm{F}$ 値が低下しており，提案手法の各部分が性能向上に寄与していることが確認できた. まず，Retriever の訓練をしない場合や Warmup をしない場合のように， Retriever の訓練能力を弱めると性能が低下することが確認できた。 また，プロンプトに利用する事例をランダムにした場合には，性能が大幅に低下したことから, 距離を用いた近傍事例の選択は重要な役割を果たしていることが確認できた. プロンプトや Retrieverに利用する表現を CLS トークンの表現にした場合では，性能がさらに大幅に低下した. このことから，利用する表現を関係抽出に特化させて設計

図 2 プロンプトに利用する事例数に対する抽出性能の変化

することも重要な要素であることが確認できた.

## 6.2 事例数に対する性能の変化

5.2 節では事例を利用すると再現率及び $\mathrm{F}$ 值が向上したため，その影響を確認するためにプロンプトに利用する事例数を変化させたときの性能変化を確認した. 図 2 に示した結果では，10を境に，事例数を増加した場合も減少させた場合も F 値と再現率が徐々に低下した。一方で，適合率には明確な傾向が確認できなかった. このことから，適切な事例数の選択は再現率に有利に働くことが確認できた.

## 7 おわりに

本研究では，LLMによる関係抽出において，プロンプトに利用する事例を選択する Retriever を訓練可能にするために，微分可能な $\mathrm{k}$ 近傍サンプリングを利用したニューラルプロンプティングを提案した.実験では, 訓練事例数が少ない場合に再現率および $\mathrm{F}$ 值の向上が確認でき，事例の利用を訓練可能にする効果が確認できた．ただ，訓練事例数が多い場合や極端に少ない場合には性能の向上が限定的であったため，今後はその改善が必要である.

## 謝辞

本研究は JSPS 特別研究員奨励費 $22 K J 2983$ の助成を受けたものです。

## 参考文献

[1] Linlin Wang, Zhu Cao, Gerard de Melo, and Zhiyuan Liu. Relation classification via multi-level attention CNNs. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1298-1307, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Zhen Wan, Qianying Liu, Zhuoyuan Mao, Fei Cheng, Sadao Kurohashi, and Jiwei Li. Rescue implicit and long-tail cases: Nearest neighbor relation extraction. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 1731-1738, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Somin Wadhwa, Silvio Amir, and Byron Wallace. Revisiting relation extraction in the era of large language models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15566-15589, Toronto, Canada, July 2023. Association for Computational Linguistics.

[6] Kai Zhang, Bernal Jimenez Gutierrez, and Yu Su. Aligning instruction tasks unlocks large language models as zero-shot relation extractors. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 794-812, Toronto, Canada, July 2023. Association for Computational Linguistics.

[7] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[8] Xinze Li, Zhenghao Liu, Chenyan Xiong, Shi Yu, Yu Gu, Zhiyuan Liu, and Ge Yu. Structure-aware language model pretraining improves dense retrieval on structured data. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 11560-11574, Toronto, Canada, July 2023. Association for Computational Linguistics.

[9] Yijun Tian, Huan Song, Zichen Wang, Haozhu Wang, Ziqing Hu, Fang Wang, Nitesh V. Chawla, and Panpan Xu. Graph neural prompting with large language models, 2023.
[10] Tobias Plötz and Stefan Roth. Neural nearest neighbors networks. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018

[11] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4925-4936, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Supervised relation classification as twoway span-prediction. In 4th Conference on Automated Knowledge Base Construction, 2022.

[13] Oscar Sainz, Oier Lopez de Lacalle, Gorka Labaka, Ander Barrena, and Eneko Agirre. Label verbalization and entailment for effective zero and few-shot relation extraction. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 1199-1212, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Keming Lu, I-Hung Hsu, Wenxuan Zhou, Mingyu Derek Ma, and Muhao Chen. Summarization as indirect supervision for relation extraction. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6575-6594, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[15] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 35-45, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[16] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie Pellat, Kevin Robinson, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei. Scaling instruction-finetuned language models, 2022.

[17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[18] Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, and Dawn Song. DeepStruct: Pretraining of language models for structure prediction. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 803-823, Dublin, Ireland, May 2022. Association for Computational Linguistics.

## A 詳細な実験設定

実験の設定は，基本的に SuRE[14] に準じて行っており，テンプレートは元論文と同様のものを利用した. SuRE の入力用のテンプレートは図 3 の形式で，ここから関係ラベルごとに定義された要約用のテンプレートを予測する。要約用のテンプレートは，例えば，関係ラベル “org: founded_by” に対しては, “\$\{始点の用語 $\}$ was founded by $\$\{$ 終点の用語 \}”というようなテンプレートが SuREで提案されていた. Retrieverの埋め込みに利用した表現は，PLM に対して入力用のテンプレートと要約用のテンプレートを結合して入力し, 図 3 中の下線部の埋め込みと，要約テンプレート部分の埋め込みを利用した. 予測時の要約用のテンプレート部分の埋め込みについては，EOSトークンの表現を利用した。

SuRE による分類時のパラメタである探索ビーム幅は，SuRE と同じ値である 4 とした. Flan-T5 モデルおよび, Retriever部分の RoBERTa モデルは, LoRA を適用して最適化をした．LoRA のパラメタは，両者ともに, $r=32, \alpha=16$, ドロップアウト率を 0.1 とした. モデルの最適化には AdamW を利用して， Flan-T5 は $5 \times 10^{-4}$, それ以外のパラメタは $1 \times 10^{-3}$ の学習率で，バイアス部分と Layer Normalization のパラメタを除く部分に対しては重みを $5 \times 10^{-6}$ として重み減衰を適用した。バッチサイズは 64 とした. 評価に利用するパラメタは, patience を 5 とした Early Stopping によって訓練が完了したときのものを利用した．それぞれの実験では，産総研の AI 橋渡しクラウド (ABCI) の NVIDIA A100 SXM4 を一枚利用した。

## B データセット

訓練事例数が少ない場合についても性能調査を行うために，TACRED データセットを $100 \%$ 利用した場合に加えて，10\%，5\%，1\%に減らした場合についての実験を行った. この時のデータの分割や利用するデータは， [13] の設定に従って決定した. そのときのデータセットの統計量は，表 3 に示した.
The head entity is $\$\{$ 始点の用語 $\}$. The tail entity is $\$\{$ 終点の用語 $\}$. The type of $\$\{$ 始点の用語 $\}$ is $\$\{$ 始点の用語ラベル $\}$. The type of $\$\{$ 終点の用語 $\}$ is $\$\{$ 終点の用語ラベル $\}. \$\{$ 入力文 $\}$.

図 3 SuREの入力テンプレート

表 3 TACRED データセットの統計量


# 他文書の予測を知識グラフに蓄積・利用する 文書単位関係抽出

松原拓磨 辻村有輝 三輪誠 佐々木裕
豊田工業大学
\{sd23439, sd18602, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

従来の文書単位深層関係抽出では，文書を個別に処理しており，他の文書で予測した関係を利用できていない。そこで，本研究では，再学習せずに予測時に他の文書で予測した関係を知識グラフに関連付けることで，低コストに処理単位を超えて情報を共有する文書単位の関係抽出を提案する．実験では生物医学分野の文書単位関係抽出データセットである BioRED データセットにおいて，他の文書で予測した関係による関係予測への影響を確認した。

## 1 はじめに

様々な分野で，新たなエンティティ間の関係を報告する文書は増え続け，人手でのデータベースの整備が追いついていない $[1,2,3]$. そのため，データベースの整備の補助を目的として，文書全体の情報を考慮した文書からの関係の自動抽出が求められており，その高い性能から深層学習を用いた手法が主流となっている。しかし，既存の関係抽出ではコー パスのみを用いており，データベースに登録されているエンティティの性質などの他の豊富な情報を利用できていない。そのために，これらの豊富な情報の有効性を調査することを目的とした関係抽出が研究がされており，対象のエンティティ間を予測する際に，それらの周辺情報を利用できるため，高い性能を達成している $[4,5]$. これらの研究では, 知識グラフにおけるエンティティの周辺情報の有用性が示されている一方で，他の文書に記述された関係情報やエンティティの周辺情報は利用されていない.他の文書に記述された情報は，他の文書を処理した際に抽出されているため，その抽出された情報を利用できれば良いと考えられる。しかし，従来の教師あり関係抽出では文書を個別に処理しているため，処理単位を超えた情報の共有が起こらず，予測時に抽出された情報が利用されることはない.

他の文書の情報を利用する手法としては，複数文書を同時に処理する手法 [6] があるが，大量の計算リソースが必要であり，また，他の文書の情報をデータベースの知識と関連付けることもできない. また，半教師あり学習を用いた手法 $[7,8]$ では，他の文書の情報をモデルが考慮するために再学習が必要である。

そこで，本研究では関係抽出における，知識グラフに関連付けられた他の文書で予測した関係による影響の調査を目的に，再学習のコストなしに，予測時に他の文書で予測した関係を知識グラフに関連付けることで，低コストに処理単位を超えて情報を共有する文書単位の関係抽出を提案する．具体的には，既存のデータベースに登録されている関係情報で表現された知識グラフに，既存の関係抽出モデル [5] を用いて他の文書の予測を追加し，再び対象文書の関係抽出を行う．このとき，他の文書から予測した信頼性の低い情報が知識グラフに追加され，他の文書の予測結果によって動的に変化する知識グラフにモデルの再学習なしに対応できるようにするため，2つの工夫を行う．1つは訓練時に他の文書の予測結果を利用するための工夫である，評価時には対象文書以外の文書の予測結果を知識グラフに追加して利用するが，訓練時にはそのような他の文書の予測結果は存在しない. 訓練時に予測された関係を利用する状況を再現するために，訓練データ内で交差検証を行うことで擬似的な予測データを作成し，利用する。もう 1 つは，知識グラフに追加する信頼性の低い情報に対する工夫である．知識グラフに追加する予測は正しい情報とは限らないため，関係抽出モデルの予測確率を予測の信頼度として, 信頼度の高いものほど知識と同じょうに扱う，具体的にはエッジの重みで信頼度を表現し，エッジの種類は予測した関係ラベルに対応させる。
本研究の貢献は次の通りである.

・予測時に，モデルの再学習なしに，他の文書で予測した関係を知識グラフと関連付けることで，他の文書で予測した関係を処理範囲を超えて低コストで利用できる新しい関係抽出手法を提案

・生物医学分野の文書単位関係抽出データセットである BioRED [9] で，他の文書で予測した関係による関係予測への影響を確認

## 2 関連研究

## 2.1 外部知識を利用した関係抽出

他の文書の情報を利用する関係抽出手法とし $\tau$, 検索拡張生成 (Retrieval Augmented Generation; RAG) [10] を用いる手法があるが，入力として利用できる知識は限定的であり，検索して取得した文書で表現された関係を抽出し，対象の文書の関係抽出に利用するのには計算コストがかかる.

また，大規模言語モデルで生成した回答をメモリ削減のためにトリプル形式でメモリに保存し，次の回答ではそのトリプルを利用する手法 [11] がある. しかし，この手法では予測を保存し，再び利用するだけであり，予測を知識グラフとして扱って推論していない。

## 2.2 近傍知識グラフからの埋め込みを統合利用する関係抽出

著者らは，データベースにおける入力文書に現れるエンティティ近傍の情報を表現した近傍知識グラフと入力文書を統合して利用する関係抽出手法を提案した [5]. 概要を図 1 に示す.

まず，近傍知識グラフについては，データベースに登録されている入力文書に現れる全エンティティの近傍にあるトリプルを抽出する．具体的にはそれぞれのエンティティについて，一定ホップ数以内で繋がるトリプルの集合を抽出する. 次に分類対象となるエンティティペアについて，遠距離教師データの正解ラベルの情報となるペア間のトリプルを削除した上で，近傍知識グラフとし，グラフ畳み込みネットワーク (Graph Convolutional Network; GCN) [12] で埋め込みを行う。このようにすることで，文書に現れる全エンティティに対して，データベース内の周辺情報と関係情報を含む表現を獲得する。

図1近傍知識グラフからの埋め込みを統合利用する関係抽出の概要 [5]

次に，近傍知識グラフについて GCN で埋め込んだエンティティの表現を入力文書に統合して，関係抽出を行う．具体的には，入力テキストにそれぞれのテキスト内のエンティティに対応するノードのべクトル表現をエンティティの位置 ID と一致させながら追加し, 事前学習済みモデル BERT (Bidirectional Encoder Representations from Transformers) [13] に同時に入力する [14]. そして, BERT の出力のエンティティペアの表現を用いて，関係を分類する。学習においては GCN と BERTを同時に学習する。

## 3 提案手法

本研究では関係抽出における，知識グラフに関連付けられた他の文書で予測した関係による影響を調査するために，他の文書で予測した関係を知識グラフに関連付けることで処理単位を超えて情報を共有する関係抽出モデルを提案する．提案手法は 2.2 節の知識グラフを用いた関係抽出手法を拡張した手法となっている.

## 3.1 知識グラフに追加する予測データの 作成

訓練時・評価時において，知識グラフに追加する予測データの作成方法について説明する。概要を図 2 に示す。

図 2 知識グラフに追加する予測データの作成方法

## 3.1.1 訓練

本提案手法では，評価時には他の文書の予測結果を知識グラフに追加して利用するが，訓練時にはそのような他の文書の予測結果は存在しない. 訓練時に他の文書で予測された関係を利用する状況を再現するために，訓練データ内で $\mathrm{N}$ 分割交差検証を行うことで擬似的な予測データを作成し，利用する．具体的には，訓練データを $1: N-1$ に分割し，交差検証内の「予測データ」と「訓練データ」として，既存の関係抽出モデル [5]を「訓練データ」で学習し，「予測データ」に対して関係予測を行う。そして，「予測データ」と「訓練データ」を同様に被らないように分割し，再び「予測データ」に対して関係予測を行う。これを $\mathrm{N}$ 回繰り返し，訓練データ内の全文書に対する予測データを得る。

## 3.1.2 評価

評価時には予測結果を知識グラフに追加する。評価を複数回行い，その都度，信頼度が閾値以上であると予測された関係を知識グラフに追加していく。信頼度は，予測の信頼度がそれまでの予測の信頼度を上回った場合に更新する．知識グラフに追加する回数を $n$ 回とする.

## 3.2 予測データが追加された知識グラフを 用いた関係抽出

概要を図 3 に示す.まず，3.1 節で作成した予測データを既存の知識グラフに追加する。このとき，知識グラフに追加する予測は正しい情報とは限らないため，関係抽出モデルの予測確率を予測の信頼度として，信頼度の高いものほど知識と同じように扱う。具体的にはエッジの重みで信頼度を表現し， エッジの種類は予測した関係ラベルに対応させる。 また，予測確率が間値 $\eta$ 以上の予測を知識グラフに追加する. 次に，対象文書の関係予測ペアに対応す

図 3 予測データが追加された知識グラフを用いた関係抽出

る知識グラフのエッジを削除して，2.2 節と同様に対象文書の関係抽出を行う。

2.2 節で説明した既存研究ではエッジの種類を区別しない GCN を用いていたが，知識グラフに追加する関係タイプを区別するために，本研究では $\mathrm{GCN}$ の代わりにエッジの種類を区別する RGCN [15] の適用も検討した。エッジの種類を無視する GCNを用いずに，エッジの種類を考慮できる RGCNを用いることで，他の文書で予測した関係情報を区別して考慮することができる.こうして，他の文書で予測した関係を知識グラフに関連付けることで処理単位を超えて情報を共有する関係抽出を実現する。

## 4 実験設定

文書単位関係抽出データセットである BioRED [9] を対象に学習・評価を行った．BioRED の設定に従い, 600 件の医学文献のうち, 400 件・ 100 件・ 100 件をそれぞれ訓練データ・開発データ・テストデータとした。評価指標はマイクロ平均 $\mathrm{F}$ 値を用いた。予測する関係の種類は 8 種類，対象エンティティは薬物・疾患・遺伝子・変異体の 4 種類である. BioRED データセットの統計を付録 A の表 3 と 4 に示す.

また，知識グラフのエンティティには CTD (Comparative Toxicogenomics Database) [1] の薬物・疾患・遺伝子を用いた. 近傍知識グラフには，入力文書に出現するエンティティに対応するノードからそれぞれ 2 ホップ先のノードを含んだものを用いた. CTD のデータの統計を付録 A の表 5 に示す. ベー
表 1 ベースラインモデルとの比較. $(\eta=0.80, n=1)$ $\mathrm{F}$ 值には 5 回の評価の平均と標準偏差を示した。

スラインモデルは知識グラフの変化しない既存手法の関係抽出モデル [5] である. 訓練時には 10 分割交差検証 $(N=10)$ により, 知識グラフに追加する予測データを作成した. BERT にはデータセットと近いドメインで事前学習された PubMedBERT [16] を用いた. PubMedBERT の埋め込み次元は 768 次元，テキストの最大長は 512 である. 文献 [9] では関係ぺアごとに BERTへテキストを入力しており，予備実験でも BERT ヘテキストを入力するタイミングを関係ごとではなく, 文書ごとにすることで $\mathrm{F}$ 值は低下することは分かっているが，計算時間短縮のため，文書ごとに BERTへテキストを入力した. 既存研究 [5] で用いた GCN と本提案手法で用いる RGCN 両方での評価を行った. RGCN の関係タイプは（薬物,薬物), (薬物, 疾患), (薬物, 遺伝子), (疾患, 遺伝子)，(遺伝子，遺伝子）の 5 種類である.また，入力と出力のベクトルはともに 768 次元とし, $\mathrm{RGCN}$ は 2 層とした. 実験環境の詳細は付録 C に示す.

## 5 結果と考察

提案手法とベースラインモデルの比較を表 1 に示す. $\eta$ と $n$ のチューニング結果は付録 B に示す. F 值のマイクロ平均での評価において, $\mathrm{GCN} \cdot \mathrm{RGCN}$ ともに+近傍知識グラフと+近傍知識グラフ +提案手法のスコアに差はなく, 提案手法とベースラインの間に抽出性能の差は確認できなかった。 また， GCN より RGCN の方が $\mathrm{F}$ 値が低くなる要因としては, BioRED データセットが十分なサイズではなかったことによる RGCN の過学習が一つの要因として考えられる. そのため, 今後の課題としては大規模なデータセットでの実験を行うことで，原因を究明す角識グラフに追加する回数 $n$ に対する $\mathrm{F}$ 値のマイクロ平均の結果を表 7 に示す. 知識グラフに追加する回数が増えるほど， $\mathrm{F}$ 值が小さくなっている。 これは知識グラフに追加するノイズが増えることにより，間違った推論をするようになったと考えら表 2 提案手法により改善した事例（上）“関係なし””と間違えていたが, “Negative””予測.

提案手法により改悪した事例 (下) “Negative””と予測し,正解していたが，“関係なし””と予測.題目・要旨

THP (薬物) exhibited an antipsychotic-like profile by potentiating haloperidol-induced catalepsy, reducing amphetamine (疾患) -induced hyperactivity and reducing apomorphine-induced..

Findings suggest a potential for $\mathbf{H}(\mathbf{3})$-receptor antagonists (薬物) in improving the refractory cases of schizophrenia (薬物). ...

## れる。

事例数では, 平均で 90.2 件改善し, 105.8 件改悪していた.この結果から, 評価時に他の文書の予測を知識グラフと関連付けることによる予測の変化を確認した. 改善・改悪した事例を表 2 に示す. 改善した事例について, THP (薬物) と amphetamine（疾患）の間の関係を“関係なし””間違えていたが， “Negative"”と予測し，正解するようになった.これは他の文書の予測を知識グラフにエッジとして加えたことにより，他の文書のエンティティの周辺情報を考慮できたからであると考察する．また，改悪した事例について, antagonists (薬物) と schizophrenia （薬物）の間の関係を “Negative”” と予測し，正解していたが，“関係なし””と予測し，間違えるようになった。これは間違った予測が知識グラフに追加された影響であると考察する。

## 6 おわりに

本研究では，関係抽出における知識グラフに関連付けられた他の文書で予測した関係による影響の調査を目的として，他の文書で予測した関係を知識グラフに関連付けることで処理単位を超えて情報を共有する関係抽出モデルを提案した．提案した手法を BioRED データセットで学習・評価を行った結果,抽出性能に大きな差は確認できなかったが，再学習を行わず，評価時に他の文書の予測を知識グラフと関連付けることによる予測の変化を確認した。

他の文書で予測した関係を知識グラフとより関連づけるために，近傍知識グラフの範囲を超えたグラフ内のエンティティ間の関係を予測するリンク予測を行うなど，文献内の情報と知識グラフの情報の連携を深め，他の文書で予測した関係の有効利用を目指す.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers, and Carolyn J Mattingly. Comparative toxicogenomics database (CTD): update 2021. Nucleic acids research, Vol. 49, No. D1, pp. D1138-D1143, 2021.

[2] David S Wishart, Yannick D Feunang, An C Guo, Elvis J Lo, Ana Marcu, Jason R Grant, Tanvir Sajed, Daniel Johnson, Carin Li, Zinat Sayeeda, Nazanin Assempour, Ithayavani Iynkkaran, Yifeng Liu, Adam Maciejewski, Nicola Gale, Alex Wilson, Lucy Chin, Ryan Cummings, Diana Le, Allison Pon, Craig Knox, and Michael Wilson. DrugBank 5.0: a major update to the DrugBank database for 2018. Nucleic Acids Research, Vol. 46, No. D1, pp. D1074-D1082, 112017.

[3] Elisabeth Coudert, Sebastien Gehant, Edouard de Castro, Monica Pozzato, Delphine Baratin, Teresa Neto, Christian J A Sigrist, Nicole Redaschi, Alan Bridge, and The UniProt Consortium. Annotation of biologically relevant ligands in UniProtKB using ChEBI. Bioinformatics, Vol. 39, No. 1, 12 2022. btac793.

[4] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug-drug interaction extraction from the literature. Bioinformatics, Vol. 39, No. 1, 11 2022. btac754.

[5] Takuma Matsubara, Makoto Miwa, and Yutaka Sasaki. Distantly supervised document-level biomedical relation extraction with neighborhood knowledge graphs. In Dina Demner-fushman, Sophia Ananiadou, and Kevin Cohen, editors, The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, pp. 363-368, Toronto, Canada, July 2023. Association for Computational Linguistics.

[6] Yuan Yao, Jiaju Du, Yankai Lin, Peng Li, Zhiyuan Liu, Jie Zhou, and Maosong Sun. CodRED: A cross-document relation extraction dataset for acquiring knowledge in the wild. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4452-4472, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou $\mathrm{Ng}$. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 1672-1681, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Qi Sun, Kun Huang, Xiaocui Yang, Pengfei Hong, Kun Zhang, and Soujanya Poria. Uncertainty guided label denoising for document-level distant relation extraction. In
Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15960-15973, Toronto, Canada, July 2023. Association for Computational Linguistics.

[9] Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi, and Zhiyong Lu. BioRED: a rich biomedical relation extraction dataset. Briefings in Bioinformatics, Vol. 23, No. 5, 07 2022. bbac282.

[10] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[11] Ali Modarressi, Ayyoob Imani, Mohsen Fayyaz, and Hinrich Schütze. Ret-llm: Towards a general read-write memory for large language models, 2023.

[12] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ICLR, 2017.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, 2019.

[14] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[15] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. In The Semantic Web: 15th International Conference, ESWC 2018, Heraklion, Crete, Greece, June 37, 2018, Proceedings 15, pp. 593-607. Springer, 2018.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.

[17] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.

[18] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 8024-8035. Curran Associates, Inc., 2019.

## A データセットの統計

表 3 関係ラベルごとの関係ぺア数の統計

表 4

エンティティペアごとの関係ぺア数の統計

表 5 本実験で使用したデータベース CTD の統計

## B チューニング結果

表 6 予測確率の閾値 $\eta$ に対する

$\mathrm{F}$ 值のマイクロ平均 $(n=1)$

表 7 知識グラフに追加する回数 $n$ に対する

$\mathrm{F}$ 値のマイクロ平均 $(\eta=0.80)$

$n=0$ は知識グラフの変化しないべースラインモデル

## C 実験環境

本実験を行った環境について説明する. Python [17] のバージョン 3.10.6 と深層学習ライブラリである PyTorch [18] のバージョン 2.1.0を用いて実装した。本実験のハイパーパラメータを表 8 に示す.

表 8 本実験におけるハイパーパラメータ


# 生成 AI による化学文書への自動アノテーションとその評価

朱晨成 1 谷口友紀 ${ }^{2}$ 大熊智子 2 嶋田和孝 1
1 九州工業大学大学院 2 旭化成株式会社
zhu.chencheng822@mail.kyutech.jp
\{taniguchi.tcr,okuma.td\}@om.asahi-kasei.co.jp shimada@ai.kyutech.ac.jp

## 概要

材料・化学分野のテキストに対して，固有表現抽出を試みる場合，学習に使えるデータが十分でないことやアノテーションに高度な専門知識が必要であるという問題点がある。近年，隆盛を極めている生成 AI（GPT）を用いて固有表現抽出を試みることも可能だが，一般に，教師あり学習によりモデルをタスクに特化する方が良い精度が得られることが多い.そこで，本研究では GPTを用い，いくつかのプロンプトによる自動アノテーションを導入する。自動アノテーションによって得られた訓練データを基にラベル予測モデルを学習し，人間によるアノテー ションデータとの精度差についても検証する。

## 1 はじめに

自然言語処理技術は材料・化学分野において大きな期待が寄せられている. 特許文書や学術論文から材料に関する情報を抽出することで, 新しい化学物を知識べースに登録することができる。また，材料の合成プロセスを抽出することは開発の円滑化に寄与する [1].

材料に関する情報抽出には様々な課題がある. BERT に代表される事前学習済み言語モデルによって，様々な情報抽出タスクにおいて高い性能が示されている. しかし, 一般に, それらのモデルの学習には大量の高品質な教師データが必要となる. 公開されているコーパスは少なく，データ量の面で問題がある. さらに，化学文書へのアノテーションには専門的な知識が必要であるため, 教師データの作成にコストがかかる．材料に関するコーパスも存在するが，特定のサブドメイン（例：燃料 [2]，電池 [3]） に焦点を当てるものが多い。また，それぞれが異なるガイドラインに基づいてアノテーションを行っていることが多く，機械学習のデータとしての汎用性

## にも問題がある。

近年，生成 $\mathrm{AI}$ 用いた自動アノテーションが注目されており，人手に迫る精度でアノテーションを行えることが報告されている [4]. その代表の 1 つとして, OpenAIが開発した大規模言語モデル GPT がある. GPT は特定のタスクに依存しない汎用的な言語モデルの構築を目的として作られた大規模言語モデル（Large Language Model: LLM）の一つである[5].これまでにもテキスト要約, 常識推論, 感情分析など，様々な自然言語処理タスクで利用されている [6].これらのタスクでは，GPTによる自動アノテーションの有効性が示されている [7]. 一方で，化学文書に対して生成 AIで自動アノテーションした事例はほとんどない。また，化学文書におけるデータ拡張による性能効果がの検証が行われていない.このような背景から，本研究では GPT を用いて化学文書に対して固有表現抽出 (Named Entity Recognition: NER）のための自動アノテーションを行い，その性能を調査する。また，自動アノテー ションによるデータを使ったラベル予測モデルも構築し，その性能を検証する。

## 2 関連研究

材料・化学分野における情報抽出近年，材料・化学分野における情報抽出に関する研究では，テキストの特徴に焦点が当てられている. 化学文書の特徵の 1 つとして，化合物の表記ゆれの問題だがある. 化合物の部分構造や化合物特有の表記ゆれをそのまま扱うのは難しい.この問題に対処するため, Watanabe ら [8] は NER モデルと言い換えモデルによるマルチタスク学習を提案した. MatBERT [9] や MatSciBERT[10] のような材料科学に特化された言語モデルもある.これらのモデルは材料分野のタスクにおいて高い性能を示したが，専門性が高いデー タセットを用いてファインチューニング行う必要

がある. Song ら [11] は, low-resource setting においてこれらのモデルの性能が劇的に下がることを示した.

GPT を用いた情報抽出近年，代表的な LLM である GPT は様々な自然言語処理タスクにおいて高い性能を示している. しかし，NER タスクに利用する研究は少なく, そのほとんどが一般ドメイン (地名, 人名, 組織名など）で試みられている [6], [12].専門分野において，生物医学分野に焦点を当てている研究がある [13], [14]. また，我々の知る限りでは，材料分野における GPT の情報抽出能力を検証した研究は 2 件しかない. Polak ら [15] は, 一連の質問によるプロンプトを設計し, 化学文書から材料, 数値, 単位を抽出した. 実験では $90 \%$ 以上の精度を得られたが，プロンプトのトークン長は長く，抽出されたエンティティは比較的に容易であった. Bölücü ら [16] は GPT-3.5を用いて，より複雑な材料関連のエンティティを抽出し, few-shot 事例を選び出す適切な方法が回答の精度を向上させることを示した.

## GPT を用いた自動アノテーションによるデータ拡

張これまでの研究において，GPTを情報抽出タスクに組み込んだ際，その性能は事前学習済み言語モデルより遥かに劣ることがわかっている. そこで，一部の研究では GPTをアノテーターとして導入している. GPTによってアノテーションされたデータは拡張データとして教師ありのモデルの学習に利用し，予測を行う. Wang ら [17] はラベルなしデータに GPT-3を利用してアノテーションする方法について調査を行った. その結果, GPT-3を用いた場合,人手アノテーションより $50 \%$ から $96 \%$ のコスト削減が可能であることが示された. しかし, 彼らは生成タスクと感情分類タスクに焦点を当てており, 本研究で対象とする NER のようなトークンレベルの夕スクにおいての実験が行われていない. Ding ら [18] は GPTを用いた 3 つのアノテーションアプローチを設計し，AI ドメインにおける NER タスクでテストした. 本研究では, より専門性が高い化学文書を対象とし，評価を行う。

## 3 対象データ

本研究では, 手法の有効性評価に Materials Science Procedural Text Corpus (MSPT) [19] を用いる. MSPT は，230 個の材料の合成プロセスに関する英語の学術論文を含むデータセットであり, 材料分野に

図 1 提案手法の概略.

関する知識を持つ専門家 3 名で人手アノテーションを行っている. 材料, 測定単位など 21 種のエンティティにラベルに付与されている. 本実験では材料（MAT），操作 (OPE), 物性 (PRO) の 3 つのエンティティを対象とする。

## 4 提案手法

GPTを用いたアノテーションによるデータ拡張の性能を検証するため, 本研究では 2 段階アプローチを提案する。図 1 に提案手法の概要を示す. 緑色の部分が第 1 段階「GPT による自動アノテーション」 であり，オレンジ色の部分が第 2 段階「BERT によるラベル予測」である.

## 4.1 GPTによる自動アノテーション

GPT に関する多くの研究が適切なプロンプトを設計することの重要性を示している. そこで，第 1 段階ではプロンプトの内容について検討する。本論文では，（1）ロールの指定，（2）One-shot 正解例の有無について導入する。

（1）ロールの指定：Peng ら [20] は GPT にシステムロールを指定することで，特定タスクにおける性能が向上することを示した．本論文では， いくつかのパターンを検証し，「Material expert (材料分野の専門家)」と採用した.

（2） One-shot 正解例: 正解例の導入には出力形式の維持や，直接的な参照を提供することで予測精度を向上させる効果がある．実験の際には，訓練データからランダムに 1 文を正解例として選択する。本論文では， $a$ ) one-shot 有， b) one-shot 無の 2 つのケースを比較する.

上記以外にもプロンプトにはタスクの説明や対象となるエンティティの説明，出力形式などについても記述する.プロンプトの全体像は Appendix A に示す.

また，GPTによるアノテーション方法について

も検討する. 今回対象としたエンティティタイプ （MAT，OPE，PRO）はそれぞれに一定の関係性がある.したがって，あるエンティティタイプを推定する際に，別のエンティティタイプの情報も考慮する方が GPT は推定をしやすいかもしれない。つまり， 3つのエンティティタイプを同時にアノテーションすることがよい影響を与える可能性がある. これを 「同時アノテーション」と呼ぶ. 一方で，3つの要素を同時に推定するよりは，各エンティティタイプを単独で二値分類するほうが問題設定としてはシンプルであり, 精度が向上する可能性がある（たとえば，MATかそうでないか)。これを「単体アノテー ション」と呼ぶ. 前述のプロンプトとアノテーション方法を組み合わせ，その有効性を検証する。

## 4.2 BERT によるラベル予測

前節で自動アノテーションされたデータを踏まえ，事前学習モデル BERTをファインチューニングし，3つのエンティティタイプについて固有表現抽出を行う。その際，3つの適用方法が考えられる. 1 つめは，BERT が学習に利用するデータはすべて前節での自動アノテーション結果とする場合である. これを All GPT と呼ぶ. 2 つめは, GPT が自動アノテーションした結果と人手によるアノテーションのデータを適当な比率で混ぜ合わせて学習する場合である.これを Mix と呼ぶ． 3 つめは，すべてが人手によるアノテーションデータを用いる場合である. これを Human と呼ぶ.

Human に関しては，すべてのデータを学習に利

る BERT モデルは，本論文での上限値にあたる。 Human $_{\text {Low }}$ は訓練データが少量しかない場合を想

Mix との比較により, GPTによる自動アノテーションによるデータ拡張の有効性を検証する。

## 5 実験

## 5.1 GPT による自動アノテーションの 精度

プロンプトでの各エンティティの対応例および one-shot 正解例は, MSPT の 1 文書から選ぶ. その 1 文書を除いて，MSPT から 15 文書を選びテストセットとする. 評価指標として各エンティティには Precision, Recall とF1 スコアを使用する.アノ
テーション方法はすべてのエンティティを同時アノテーションする場合，ミクロ平均を全体の評価指標 (Overall）とする1). GPT の実装について，モデルは gpt-3.5-turbo-06132)，Temperature は 0 に設定する.

実験結果を表 1 に示す. なお，実際にはこれ以外のプロンプトについても検証している。詳細は Appendix B を参照のこと. 太字は各エンティティでの各評価指標の最高値を意味する. 表より, one-shot の導入により精度の向上が見られた. 特に各エンティティの Precision が上がった. アノテーション方法については，MATにおいては単体アノテーションが良い結果を得た. OPEと PRO については逆に同時アノテーションが効果的であった. これより， エンティティタイプごとに最適なアノテーション方法があることがわかる.

## 5.2 BERT によるラベル予測の精度

実験では MSPT のデータ分割方針に則り，訓練データには 200 文書，検証データには 15 文書，テストデータには 15 文書を用いる. 5.1 節の結果を受け，それぞれで最適な手法 (MAT：単体, OPE と PRO：同時・One-shot 有）を用い，訓練データに自動アノテーションを行ったものを 4.2 節の All GPT やMixとして扱う. 検証データについては，人手によるデータをそのまま使う場合を $\mathrm{H}$ とし，自動アノテーションした結果を利用する場合を Gとする.評価指標として各エンティティには F1 スコアを使用し, 全体にはミクロ平均 F1 スコアを使用する。 BERTは, BERT ${ }_{B A S E}$ (bert-base-uncased) ${ }^{3}$ を用いる. BERT のファインチューニングについて, 最適化アルゴリズムに AdamW, 学習率は 2e-5 とし, 損失関数には CrossEntropy を用いる. Epoch 数は 20, 過学習抑制のために EarlyStopping を用いる。

Human $_{\text {Low }}$ では, 人手データが $r=5 \%, 10 \%, 20 \%$ の 3 パターンを試す4). また，Mixにおいても，同様に $5 \%, 10 \%, 20 \%$ の 3 パターンを試す. Human で $5 \%$ とは，訓練データの $5 \%$ みを使ってファインチューニングすることを意味し，Mixでの $5 \%$ とは，

り自動アノテーションされたもの用いることを意味

表 1 異なるプロンプトにおけるアノテーションの精度. 括弧内はテストデータでの事例数.

表 23 つのアノテーションアプローチにおける BERT $_{B A S E}$ の予測精度.

ぶかでランダム性があるため，評価の際は 3 回実験を行い，その平均を取る。

表 2 に 4.2 節で説明した BERT モデルの予測精

と All GPT の差は小さい (0.79 vs. 0.72).さらに， Human $_{\text {Low }}$ における $r=5 \%$ と Mix における $r=5 \%$ （つまり 95\%を GPTで補う）を比較すると，その差は歴然である（Overall で 0.30 vs. 0.58）。また，テストデータが異なるため単純に比較はできないが， Mix で $(r=10 \%, \mathrm{H})$ の場合の Overall の值は，表 1 の同時・One-shot 有の場合と比較しても高く（0.60 vs. 0.57)，自動アノテーションよるデータ拡張とそれを用いたモデルの学習の有効性を示している。一方で，人手による訓練データが $20 \%$ 程度ある場合は，Mix は Human ${ }_{\text {Low }}$ に勝てず，訓練データの拡張という点での GPTによる自動アノテーションの限界も垣間見えた.これは, 対象が材料・化学系分野であるという問題の難しさが原因であると考えられる.また，GPTは汎用言語モデルであり，材料・化学分野という特殊なテキストとの特性の違いも影響してるだろう. 自動アノテーションの結果がノイズとなり，モデルの予測性能に悪い影響を及ぼしたと考えられる。興味深い点としては，検証データの種類による精度差が挙げられる. All GPT では検証データに正解データである $\mathrm{H}$ より誤りも含む自動アノテーションの結果である Gを用いる方がすべてのエンティティで精度が高い．Mixにおいては検証データが G であるかHであるかで大きな差は生じていない．機械学習を用いてモデルを作成する場合，訓練データ以外にもパラメータをチューニングする検証データが不可欠である．実験結果から，正確さが求められる訓練データには GPT による自動アノテーションにはまだ多くの問題があるが，パラメータチューニングに利用する検証データとしては有効に機能することが示されており，自動アノテーションによるデータ拡張はコスト面では有意義であるといえる。

## 6 まとめ

本論文では材料・化学分野におけるテキストデー タからの情報抽出のために，生成 AI（GPT）を用いた自動アノテーションによるデータの自動拡張を試みた. プロンプトとアノテーション方法について検討し, GPT による自動アノテーションの精度を比較した. 実験結果から，対象とするエンティティタイプによって適切なプロンプトを設計する必要があることがわかった. 次に，この自動アノテーションデータを利用した予測モデルの構築を行った. Human $_{\text {Low }}$ と Mix の比較により，極めて訓練データが少ない場合には自動アノテーションが有効であることが実験結果から示された．また，訓練データではなく，機械学習の検証データとして自動アノテー ションが人手アノテーションと同等に機能することも分かった.

今後について，現在の自動アノテーションでは One-Shot を用いたが，より高い精度を実現するために few-shot の導入と, few-shot での適切な事例の選び方について考察する必要がある.

## 参考文献

[1] 有馬隆広, 大熊智子, 出羽達也. 新規用途探索を目的とした技術文書からの材料情報抽出. 言語処理学会第 29 回年次大会発表論文集, pp. 512-515, 2023.

[2] Annemarie Friedrich, Heike Adel, Federico Tomazic, Johannes Hingerl, Renou Benteau, Anika Marusczyk, and Lukas Lange. The SOFC-exp corpus and neural approaches to information extraction in the materials science domain. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1255-1268. ACL, 2020.

[3] Shu Huang and Jacqueline M. Cole. A database of battery materials auto-generated using chemdataextractor. Scientific Data, Vol. 7, No. 1, pp. 2052-4463, 2020.

[4] Fabrizio Gilardi, Meysam Alizadeh, and Ma ë 1 Kubli. Chatgpt outperforms crowd workers for text-annotation tasks. Proceedings of the National Academy of Sciences, Vol. 120, No. 30, p. e2305016120, 2023.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskevser, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[6] Md Tahmid Rahman Laskar, M Saiful Bari, Mizanur Rahman, Md Amran Hossen Bhuiyan, Shafiq Joty, and Jimmy Huang. A systematic study and comprehensive evaluation of ChatGPT on benchmark datasets. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 431-469. ACL, July 2023.

[7] Bart lomiej Koptyra, Anh Ngo, Lukasz Radliński, and Jan Kocoń. Clarin-emo: Training emotion recognition models using human annotation and chatgpt. In International Conference on Computational Science, pp. 365-379. Springer, 2023.

[8] Taiki Watanabe, Akihiro Tamura, Takashi Ninomiya, Takuya Makino, and Tomoya Iwakura. Multi-task learning for chemical named entity recognition with chemical compound paraphrasing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6244-6249. ACL, 2019.

[9] Amalie Trewartha, Nicholas Walker, Haoyan Huo, Sanghoon Lee, Kevin Cruse, John Dagdelen, Alexander Dunn, Kristin A. Persson, Gerbrand Ceder, and Anubhav Jain. Quantifying the advantage of domain-specific pretraining on named entity recognition tasks in materials science. Patterns, Vol. 3, No. 4, p. 100488, 2022.

[10] Gupta Tanishq, Zaki Mohd, and N. M. Krishnan. Matscibert: A materials domain language model for text mining and information extraction. Npj Computational Materials, Vol. 8, No. 1, pp. 1-11, 2022.

[11] Yu Song, Santiago Miret, and Bang Liu. MatSci-NLP: Evaluating scientific language models on materials science language tasks using text-to-schema modeling. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3621-3639. ACL, July 2023.

[12] Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei Zhang, Jiwei Li, and Guoyin Wang. Gptner: Named entity recognition via large language models, 2023.

[13] Israt Jahan, Md Tahmid Rahman Laskar, Chun Peng, and Jimmy Huang. Evaluation of ChatGPT on biomedical tasks: A zero-shot comparison with fine-tuned generative transformers. In The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks, pp. 326-336. ACL, July 2023.

[14] Bernal Jimenez Gutierrez, Nikolas McNeal, Clayton Washington, You Chen, Lang Li, Huan Sun, and Yu Su. Thinking about GPT-3 in-context learning for biomedical IE? think again. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 44974512. ACL, December 2022.

[15] Maciej P. Polak and Dane Morgan. Extracting accurate materials data from research papers with conversational language models and prompt engineering, 2023.

[16] Necva Bölücü, Maciej Rybinski, and Stephen Wan. Impact of sample selection on in-context learning for entity extraction from scientific writing. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 5090-5107. ACL, December 2023.

[17] Shuohang Wang, Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. Want to reduce labeling cost? GPT-3 can help. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4195-4205. ACL, November 2021.

[18] Bosheng Ding, Chengwei Qin, Linlin Liu, Yew Ken Chia, Shafiq Joty, Boyang Li, and Lidong Bing. Is GPT-3 a good data annotator? In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11173-11195. ACL, July 2023.

[19] Sheshera Mysore, Zachary Jensen, Edward Kim, Kevin Huang, Haw-Shiuan Chang, Emma Strubell, Jeffrey Flanigan, Andrew McCallum, and Elsa Olivetti. The materials science procedural text corpus: Annotating materials synthesis procedures with shallow semantic structures. In Proceedings of the 13th Linguistic Annotation Workshop, pp. 56-64. ACL, August 2019.

[20] Keqin Peng, Liang Ding, Qihuang Zhong, Li Shen, Xuebo Liu, Min Zhang, Yuanxin Ouyang, and Dacheng Tao. Towards making the most of ChatGPT for machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 5622-5633. ACL, December 2023

## A プロンプトの全体像

図 2 プロンプトの全体像.

・タスクの説明. 実験では，タスクを ”Please extract the [Entity type] from the target sentence.” と記述する. [Entity type] は抽出したいエンティティの種類を指す.すべてのターゲットエンティティを同時アノテーションする場合， [Entity type] には全てのターゲットエンティティを含む。

・各ターゲットエンティティへの説明とその対応例. エンティティの定義の曖昧さを解消し， GPT により正確な解答を得るために，各エンティティについて詳細な説明を提供する。また，訓練データから各エンティティに対応する例を選択し，説明に加える。
- 出力形式の指定. 出力形式を指定するためのプロンプトを設計する．設計意図として，出力形式の維持や出力のラベルへの変換の容易さを確保すること，GPT が生成しやすい形にすることが挙げられる.今回は json 形式を基本となる出力形式にする.これらの基準に基づき，2つの出力形式を検討する．a) トークンとラベルのペアで出力， b) json 形式での出力.

・アノテーションを行う文. 最後に処理の対象となる文を入力する。

One-shot 正解例については 4.1 節に記載している。 ロールについては，本手法で採用した「Material expert (材料分野の専門家)」以外にも，「Annotation machine（アノテーションをする機械）」の場合も検証している．またロールを指定しない「なし」についても比較している.

## B プロンプトの組合せ及び比較

本文に明記できなかったプロンプトの組合せを説明する. 精度比較のため 5.1 節で説明した「同時・One-shot 有」を基盤とする（表中「ベース」）.「AM」と「なし」は，それぞれロールを「Annotation machine」と「なし」とした場合である（ベースは 「Material expert」).ここまでの出力形式はアペンディクス Aに示すように，json 形式であった。一方で，本タスクは固有表現抽出であり，このタスクでよく使われる各トークンとラベルのペアを $\mathrm{BIO} 2$ タグ形式で出すという方法もある. この出力方法による差を見るために，これを「ペア」とした.

表 3 異なるプロンプトにおけるアノテーション精度 (F1 值).

表 3 に各プロンプトにおけるアノテーションの F1 値を示す.まず，ロールの影響について，実験で利用した「Material expert」が最も良い精度であった (表中のベース)，ロールについては「なし」が全体的に最も低い值となった. 次に, 出力形式の影響を比較する。エンティティの中で一番影響を受けているのは OPE（0.70 vs 0.77）だが，全体的な影響は小さい. ただし，トークン長の面では json 形式の方が短くなる傾向があるため，コストの面で大きなメリットがある.