# 固有名詞置換による共参照解析データセットの拡張

富村勇貴 1 上垣外 英剛 ${ }^{1}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学大学
\{tomimura.yuki.tw1, kamigaito.h, taro\}@is.naist.jp

## 概要

共参照解析は共参照情報のアノテーションが高コストであるため、深層学習の際に利用できるデータセットが限られているという問題がある. そこで本研究では，共参照解析において学習データ内の共参照クラスターに含まれる固有名詞を別の固有名詞に置換することでデータセットを拡張し，拡張データで学習した共参照解析モデルの性能を向上させることを目的とする．実験の結果，人物名の固有名詞を性別と特殊な例を考慮してランダムに置換する方式で拡張したデータセットで学習したモデルがベースラインモデルの性能を僅かに上回り，訓練データにおいて未知の固有名詞に対しての予測精度が向上していることがわかった.

## 1 はじめに

共参照解析とは，自然言語処理におけるタスクの一つである．文書内のある単語列同士が現実において同じ実体（エンティティ）を指している場合，それらの単語列は共参照関係であるとされ, 共参照解析は文書内の共参照関係を全て検出することを目的とする. 共参照解析モデルの学習に用いられるデータセットは多くの場合手動で共参照チェーン情報をアノテーションされた大規模コーパスである CoNLL-2012[1]が用いられている. しかし，この手動アノテーションは非常に高コストであり, 共参照解析モデルの学習に利用できるデータセットが限られているという問題がある。 そのため, 現行の共参照解析モデル $[2,3,4]$ は CoNLL-2012 の特性により様々なバイアスがかかっていると考えられる. 頑健なモデルを構築するためには，そういったバイアスの影響を小さくする必要がある．そこで，データ拡張によりこのバイアスの影響を小さくする方法を提案する。

関連研究では CoNLL-2012 には出現する男性代名詞が全体の $80 \%$ 以上を占めていることからジェン
ダーによるバイアスが生じていると考えられ，人物名を E1，E2 といった匿名記号に変え，代名詞の性別を反転した補助データセットを作成することでジェンダーバイアスの影響を小さくするといったもの [5] がある. しかし，この方法で拡張したデータセットを用いて学習したモデルの全体の予測性能は低下している。その理由の一つには，人物名を記号化することで扱う文書の内容が不自然になるというノイズの要素が考えられる.

そこで，本研究ではデータ拡張手法の一つである Type Swaps[6] を基に，CoNLL-2012に含まれている固有名詞に付与されているエンティティタイプを利用して，固有名詞を別の固有名詞に置換することで匿名化をせずにデータセットの拡張を行う手法を提案する. エンティティタイプ毎に無秩序に置換を行ったデータットで学習した場合，モデルの精度は大きく低下するという結果となった. その理由は置換の際に，共参照解析は先行詞と照応詞との意味的な乘離が発生する場合，共参照関係を検知することが困難になってしまうためであると考えられる。そこで，固有名詞をより細分化したエンティティタイプに分類し，同タイプの名詞の中で置換を行うことでこの問題を解決した。実験の結果，人名を性別毎に分類し，God やアメリカ大統領といった文書において特別な意味を持つ単語は置換しないという工夫を行った置換データセットで拡張したデータセットで学習を行ったモデルの精度はベースラインモデルの性能を約 0.7 ポイント上回った.

## 2 CoNLL-2012

CoNLL-2012[1] は放送会話, ニュース，雑誌記事, ニュースワイヤー，聖書，電話会話，ウェブテキストなどの様々なドメインの文書で構成された大規模多言語コーパスである. 本研究では，英語テキストデータセットのみ対象に扱う。

CoNLL-2012には固有名詞に対して PERSON（人名)，NORP（国籍，または宗教的・政治的団体）な

どのエンティティタイプの情報がアノテーションされている.これらのエンティティタイプ毎に，各固有名詞が訓練データ内の全共参照クラスターに含まれている時の回数の内上位 4 位までを表にしたものが表 1 である. 置換の回数は同じ文書内で同じ名詞を置換する場合は 1 回とカウントしている.

表 1 CoNLL-2012 訓練データ内の共参照クラスターに含まれる固有名詞のエンティティタイプ別出現回数（上位 4 位まで）

表 1 から分かるように，最も多く共参照クラスター 内に出現する固有名詞は PERSON（人名）であり，次点で ORG（企業，機関など），GPR（国，都市，州など）と続く．そこで，出現回数の多いほど置換した際の影響力が大きいと考えられるため，今回の実験ではこれらの内上位 3 位までの PERSON，ORG， GPE に対して置換を行うことにした。また，固有名詞の有無に関わらず，訓練データセット全体に含まれる共参照クラスターの数は 35,143 個なので，全 PERSON に対して置換を行った場合，全共参照クラスターの内，約 $17 \%$ 置換することになる。

## 3 提案手法

本研究ではデータ拡張手法の一つである Type Swaps[6] を用いる. Type Swaps は抽出的質問応答データセットにおいて，回答となる Mentionを human, country といったタイプ毎に分類し，各 Mention を同タイプの異なる Mention に置換することでデータ拡張を行うといった手法である. 本研究では共参照解析を扱うため，ある固有名詞が共参照クラスターに含まれている場合に，アノテーションされたエンティティタイプによって Type Swaps を行う。また，実験初期に共参照解析における置換に対する問題点があることが発覚したため，それぞれのタイプに応じて工夫を加えた置換を行う．

PERSON に対する置換のエ夫 PERSON（人名） タイプを持つ固有名詞に対する置換は性別に関する問題と，特別な人物名詞に関する問題がある.

まず，性別に対する問題は，先行詞である固有名詞（John, Cathy など）に対して，照応詞は he や she などの性別に応じた代名詞であることがほ
とんどであるため， she で照応される先行詞が一般に男性として認知される名前に置換されてしまう場合，それらが共参照関係であると検知されづらくなるといった問題が発生する。 そこで，与えられた名前に基づいて、その名前が最も一般的に使用されている性別を統計的に予測するオンラインサービス Genderize.io（https://genderize.io/）を用いて, PERSONタイプの固有名詞を Male, Female, Family Name or Unidentifiable の 3 タイプに細分化し, Male と Female についてそれぞれ置換を行う.この工夫により置換回数は 6068 回から 4163 回になった.

もう一つの問題点は，CoNLL-2012 がニュースや聖書によって構成されているため，God，Jesus やアメリカ大統領の名前が，非常に多くの回数訓練データセットに登場するということである。（God は 2594 回，Jesus は 1755 回，president は 3057 回） これらの名詞は照応詞が God, president でほぼ固定化されているため，他の名詞に置換すると共参照関係と検知され辛くなるなど，名詞自体が持つ意味が文書において特別であることが置換の弊害となる。 そこで，これらの特別な名詞は置換しないといった工夫を行った。この工夫により置換回数は 4163 回から 3145 回になった。

GPE に対する置換の工夫 GPE（国，都市，州など）タイプを持つ固有名詞に対する置換における問題点は国，都市，州といった異なる文脈，照応詞で扱われる固有名詞が全て GPE タイプで縡められていることである。そのため，China（国） $\rightarrow$ Kansas （アメリカの都市）といった置換が行われてしまい，文脈に沿わず，照応詞との整合性も取れない置換になることが多い，そこで，GPE タイプを国毎の都市名に分け，同じ国内の都市名，州名を置換するとようにするといった工夫を行った。この工夫により置換回数は 4414 回から 2537 回になった.

ORG に対する置換のエ夫 ORG（企業，機関など）に対しても同様の問題点があり，企業，機関の種類が様々であるために，PERSON や GPE と同様に照応詞との整合性が取れないといった問題がある.しかし，ORGにおいてはその分類が PERSON や GPE と比較してあまりに複雑である（国際組織，株式会社，ニュース，委員会，銀行，病院など多岐に渡る）ために，同様にサブクラスに分けるといった手法を取ることが難しく，残念ながら今回の実験では ORG に対して特に工夫は行わなかった.
表 2 各置換データセットと拡張データセットによって学習したモデルの性能評価

## 4 実験

各エンティティタイプについて提案手法により置換を行ったデータセット単体と，置換したデータセットを元のデータセットを組み合わせた拡張デー タセットとを用いて深層学習を行い，学習したモデルを比較する。

データセット学習には CoNLL-2012 の訓練用データ (2769 文書)，検証用データ (342 文書)，評価にはテスト用データ（347 文書）を用いる.

事前学習済みモデル事前学習済みモデルには SpanBERT-large [7] を使用する. SpanBERT はテキストのスパンをより良く表現し予測するために設計された事前学習方法であり，共参照解析のようなスパン選択タスクに適している。

学習に使用したモデル学習に使用したモデルは Coarse-to-fine Inference モデル [4] で，このモデルは Text-to-Text 形式に変換するといった，データセットに特別な操作を加えずに扱える共参照解析モデルにおいて最先端の性能を持つことが知られている。

## 4.1 実験設定

実験設定の詳細は付録 A にて記載する。

## 4.2 評価指標

共参照解析モデルの評価に使われる一般的な指標は主に $B^{3}, M U C, C E A F$ があり [8], これらの指標により共参照解析における精度（precision 値） と再現率 (recall 値) とそれらの調和平均（F1 値）,加えて Mention（言及）を検出できているかを測る Mention recall 值をこれらの指標の平均値を用いて評価する。

## 4.3 実験結果

実験の結果を表 2 に記す. 表 2 によると，基本データセットを工夫無しにエンティティタイプ別にランダムに置換して作成したデータセットで学習したモデルはいずれも精度が大幅に低下している．特に再現率において精度が下がっている理由は，おそらく工夫無しの置換データセットは 3 節で述べた問題点により，先行詞と照応詞の実体に大きな乘離があるために，先行詞と照応詞のペアワイズスコアに関する学習に支障をきたしているためであると考えられる。この結果に対して, PERSON タイプの置換では，エンティティタイプをより細分化した性別を考慮した置換データセットと，さらに God やアメリカ大統領といった文書において特別な意味を持つ固有名詞に対しては置換しないという工夫を加えた置換データセットでは，どちらも精度が基本デー タセットとほぼ同じになるほど改善している. GPE に対する置換も同様に，国別の都市毎に置換したデータセットでは精度が改善している。 そのため, データ拡張のために安易に別の固有名詞に置換を行うことは逆効果であり，よりエンティティタイプを
細分化するなどの工夫により, 先行詞と照応詞の埋め込みべクトルがより近いものになるように置換することが重要であると考えられる。

また，置換データセットと元のデータセットを合わせて学習を行った場合，置換データセットのみの場合と比較して全体の傾向としては精度が向上している.しかし, 工夫無しの置換データセットを用いている場合は元のデータセットのみの場合よりも精度が落ちているため, やはり先行詞と照応詞の共参照関係が崩れているデータセットを作成することはモデルの精度に悪影響であることが分かる. しかし, 工夫ありの拡張データセットはいずれも精度がベースラインモデルを僅かに上回っており，エンティティタイプ毎の固有名詞置換によるデータ拡張が共参照解析において有効である可能性を示している. 最も結果が良かったのは, PERSONタイプの固有名詞を性別のサブタイプに細分化し, 特殊な名詞は置換しないという工夫を加えた拡張データセットであり, ベースラインモデルと比較して +0.7 ポイントの精度向上が見られた。

## 4.4 拡張データセットによる未知のエン ティティに対する頑健性

表 2 から，精度が向上した拡張データセットは共通して Mention Recall 值に向上が見られることから， データ拡張によりモデルの頑健性が向上していると期待される.

未知のエンティティに対する実験テストデー タの共参照クラスターに含まれるエンティティ （PERSON，GPE）が、訓練データに含まれないものがあるという条件で、テストデータを絞り込むと PERSON タイプの場合 347 文書 $\rightarrow 167$ 文書に, GPE タイプの場合 347 文書 $\rightarrow 87$ 文書に絞り込まれた. これらの絞り込んだテストデータの文書は, 訓練データに含まれない未知のエンティティを持つ共参照クラスターを含んでいるため，これらの文書に対して性能を評価することで，モデルの頑健性が向上しているかを確かめることとする. 実験の結果を表 3 に櫭めた. 表 3 によると, まず未知のエンティ

表 3 訓練データにおいて未知のエンティティを含むテストデータに対するモデルの性能評価

ティを含むテストデータに対しては全体的に精度が低下するという傾向が見られる。また，性別 + God などの名詞は無置換の工夫を加えた拡張データセッ卜は精度が大きく向上しているものの，期待に反して他二つの $\mathrm{F}$ 值は変わらないか，下がっている。そのため，今回の実験でデータ拡張を行うことで特に未知のエンティティに対する共参照解析の精度が向上するという明確な結論を支持するには不十分である。ただし，拡張データセットはいずれの場合も Mention Recall 值が向上しているため，データ拡張によって，より Mention を検出するようにモデルが学習するようになるという知見が得られた。

## 5 おわりに

本研究では，アノテーションが高コストである共参照解析の代表的なデータセットである CoNLL-2012を，固有名詞を同エンティティタイプの名詞に置換することで拡張することを行った. その結果, 先行詞と照応詞との意味的な距離が乘離しないようにエンティティをより細分化されたサブタイプに分類するか，置換に制限を掛けること (3 節) で拡張したデータセットで学習したモデルは精度が僅かに向上した. また，今回の研究では CoNLL-2012 から置換候補の固有名詞を抽出しているため，データセット内の語彙は拡張されていない.しかし, 訓練データにおいて未知のエンティティを含むテストデータに対しては全体的に精度が落ちることが実験で判明したため，外部のデータベースなどを用いて置換先の単語の語彙の拡張を行うことの有効性の検証を次の課題とする。

## 参考文献

[1] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Olga Uryupina, and Yuchen Zhang. CoNLL-2012 shared task: Modeling multilingual unrestricted coreference in OntoNotes. In Sameer Pradhan, Alessandro Moschitti, and Nianwen Xue, editors, Joint Conference on EMNLP and CoNLL - Shared Task, pp. 1-40, Jeju Island, Korea, July 2012. Association for Computational Linguistics.

[2] Vladimir Dobrovolskii. Word-level coreference resolution. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7670-7675, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[3] Bernd Bohnet, Chris Alberti, and Michael Collins. Coreference resolution through a seq2seq transition-based system. Transactions of the Association for Computational Linguistics, Vol. 11, pp. 212-226, 2023.

[4] Luke Zettlemoyer Kenton Lee, Luheng He. Higher-order coreference resolution with coarse-to-fine inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), p. 687-692, New Orleans, Louisiana, 2018. Association for Computational Linguistics

[5] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Jonathan Raiman and John Miller. Globally normalized reader. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1059-1069, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7] Yinhan Liu Daniel S. Weld Luke Zettlemoyer Omer Levy Mandar Joshi, Danqi Chen. Spanbert: Improving pretraining by representing and predicting spans. July 2019.

[8] Nafise Sadat Moosavi and Michael Strube. Which coreference evaluation metric do you trust? a proposal for a link-based entity aware metric. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 632-642, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 付録 (Appendix)

4 節での実験設定をここに記す。
- Transformer Model: SpanBert-large-cased[7]
- Model Architecture: Course-to-Inference[4]
- Max Length: 512
- Feature Size: 20
- Max Span Width: 30
- Transformer Dimension: 1024
- Batch Size: 1
- Number of Epochs: 40
- Patience: 10
- Learning Rate for Transformer Layer: $1 \times 10^{-5}$
- Initial Learning Rate: $3 \times 10^{-4}$
- Maximum Number of Antecedents: 50
- Spans per Word: 0.4
- Coarse to Fine: True
- Inference Order: 2


# 固有表現抽出における 大規模言語モデルを用いた自動アノテーション

楢木悠士* * 1 山木良輔 $\
# 2,6$ 池田愛和 ${ }^{3,6}$ 堀江孝文 ${ }^{2}$ 長沼大樹 $4,5,6$ \\ ${ }^{1}$ LegalOn Technologies 2 立命館大学 3 大阪大学 \\ ${ }^{4}$ Université de Montréal ${ }^{5}$ Mila ${ }^{6}$ ProPlace Inc.
}

yuji.naraki@legalontech.jp \{yamaki.ryosuke, horie.takafumi\}@em.ci.ritsumei.ac.jp \{yoshikazu.ikeda, hiroki.naganuma\}@proplace.jp

## 概要

固有表現抽出（NER）は自然言語処理の重要な夕スクであり，幅広く応用されている。しかし，人手によるアノテーションは，コストの高さ・倫理的問題・品質の一貫性・機密情報保護等の問題が喫緊の課題である. 本研究では，大規模言語モデル （LLMs）から生成したアノテーションを人手によるものと統合することで，この課題に取り組む。また, LLMsによるアノテーションではクラス分布の不均衡が引き起こるという副次的な問題を特定し,対処策として Label Mixing を提案する. 提案手法により NER タスクの性能を強化するだけでなく，コストの大幅な効率化を図る. 複数のデータセットで比較した結果，提案手法は，同一のアノテーションコスト下で，人手のアノテーションに比べ高い性能を示しただけでなく，学習データセットの品質が低い場合に顕著な性能の安定性向上に寄与した.

## 1 はじめに

自然言語処理の分野において，固有表現抽出 （Named Entity Recognition; NER）は文章中の固有表現を特定し，“person”，“organization”, “location”などのカテゴリに分類する重要なタスクである [1]. NER は基本的な情報検索やコンテンツの分類から，質問応答などのより複雑なタスクまで，幅広い応用へ必要不可欠の技術である [2,3]. NER の重要性は，これらの応用に留まらず，テキストデータに対する我々の理解と関わりを強化する役割にまで及ぶ $[4,5]$.

このような有用性が存在する一方で，NER システムは，利用するデータセットのアノテーションの質

\# Equal contribution

図 1 LLMによるアノテーションと Label Mixing.

に大きく依存する [6]. 現在，人手によるアノテー ションが標準的であるが，それにかかる人・時間・金銭的コストや倫理的な問題の面で課題が存在している [7]. また，人手のアノテーションは質や一貫性の担保が困難であり、NER モデルの信頼性を損ねる可能性がある [8]. さらに, ドメイン固有の分野においてはアノテーションを施したデータセットが存在していないため, 教師データの確保が課題として存在する.[9]

上述の問題に取り組むために，我々は NER タスクの質・精度・コスト・倫理的問題などの側面において強化する新たなアプローチを提案する。図 1 に示されるように，我々の手法は，質や一貫性に問題のある人手のアノテーションを大規模言語モデル （LLMs）を活用し，その品質を改善する.このハイブリッドなアノテーション手法は，主にデータセット内のノイズを減少させること目的としている. さらに，我々の提案手法はクラス不均衡の改善にも
寄与する.このクラス不均衡は特に “Miscellaneous” カテゴリにおいて顕著である．本稿における実験では CoNLL03[10], WikiGold[11] データセットを用い，NER モデルには BERT[12]を用いた. 実験結果から予算の制約がある場合においても我々のアプローチが顕著な改善を示している。

本研究では LLMs を用いた NER タスクへの以下の3つの項目を実証する。

・データセットにノイズが存在する場合でも， LLMs を活用することで NER タスクの性能を向上させられる (図 2).
- 予算を固定した実験において，人手と LLMs によるアノテーションのアプローチがどちらか一方のみを用いた際のアプローチを上回る (表 1).

・LLMs を用いたアノテーションの際に，特に悪化する “Miscelaneous” カテゴリのクラス不均衡問題のための解決策として，Label Mixing を提案 (図 4).

## 2 関連研究

NER タスクで使用されるデータセットの信頼性は精査の対象である. Han ら [13] の研究では, CoNLL03[10] などのデータセットに固有の誤りが存在することを強調している. これらの不正確さは, エンティティへの誤ったラベル付けだけでなく，一貫性のない分類など，NER システムの全体的な性能と信頼性に影響を与える $[14,6]$.

人手によるアノテーションにおける限界への潜在的な解決策として, 自動アノテーションが注目を集めている. Wang ら [15] は, GPT-3.5 [16]のような大規模言語モデルをアノテーションタスクに使用し,正確で信頼性の高いアノテーションを生成することの有効性を探求している.

本研究は，自動アノテーションを活用するだけでなく, NER データセットの複雑な課題に対処するための人手と LLM によるアノテーションの両方を統合する混合アプローチを提案する. この点で, 本研究は Wang ら [15] とは異なる. また，実用的な設定として，少数の人手のアノテーションが存在する設定での実験を行なっている。

## 3 手法

LLM によるアノテーション: LLM を用いた言語デー タのアノテーション自動化において, Wang ら [15]
が示した GPT-NER の手法は，LLMを用いて自動的にアノテーションを行った. LLM がテキスト内の特定のエンティティを識別し，これらのセグメントを特定の文字列（“@@”と“\#\#') で囲む能力を活用することが GPT-NER 戦略の中心的な要素である.具体的には， 入力として “I live in Tokyo” が与えられた場合，目的は LOC（location）エンティティを特定することである.このとき，LLM の出力は “I live in @ @Tokyo\#\#”となる.

さらに，本手法は，各エンティティに固有の特性とそれらの間の相互作用を few-shot の入出力例によって LLM に理解させることができる. 上記の内容を踏まえ，以下のプロンプトを構築した。

大規模言語モデルへ入力するプロンプト

You are an excellent linguist. Identify [target entity type] entities in given text. If the text contains no [target entity type] entities, replicate the input text without any changes. Strictly adhere to the definition provided below.

Definition of [target entity type]:

[definition target entity type]

[Example 1 Input]

[Example 1 Output]

$\cdots$

[Example K Input]

[Example K Output]

このプロンプト設計では, [target entity type] スロットには，PER，ORG，LOC，MISC などの様々なエンティティタイプが含まれる。同時に, [definition target entity type] スロットは, エンティティタイプの定義が割り当てられる。 さらに, [Example K Input] と [Example K Output $]$ スロットは，それぞれ入力文とそれに対応する出力例が割り当てられ, few-shot 例として機能する.

このプロンプトにより，アノテーション対象のテキスト内の各対象エンティティタイプに対して，固有表現抽出が行われる. この戦略では, 各入力文に対して複数回の推論を必要とするため，1 つの単語に複数の異なるエンティティタイプが割り当てられる可能性がある. 我々は, 最も単純な方法として, エンティティの重複が起きた場合に複数の候補から 1 つのエンティティをランダムに選択する方法を採用する.

few-shot の入出力例を選択する基準は, GPT-NER の手法に触発されたものであり，入力テキストに存在するトークンの埋め込み表現のコサイン類似度に基づいて，検証データから例を選択する。

図 2 ノイズを含むデータセットと Hybrid アノテーションを用いた場合のモデルの性能の比較.

Hybrid: LLM ベースと人手のアノテーション: デ ー タセットの品質を向上させるために，LLM によるアノテーションと人手のアノテーションをマー ジして Hybrid アノテーションを作成した. マージされたデータは，人手によるすべてのエンティティラベルと，それに重ならない LLM によるエンティティラベルを組み合わせたものである．人手によるエンティティラベルの方が LLM によるものよりも高品質であることが期待されるため，人手によるものを優先してマージする。 これにより各ソースに存在しうるバイアスやエラーを軽減し，より堅牢で多様なアノテーションを提供する.

LLM ベースのアノテーションにおける Label Mixing:前述した 1 つのトークンに複数のラベルが割り当てられてしまう問題に対処するために，画像処理で伝統的に使用されている Mixup [17] をNER タスクに拡張した. 我々のアプローチは，1つのトークンに対して 2 つ異なるエンティティラベルを混合して新しいアノテーションを作成することである. この方法は以下のように形式的に表現される.

$
y_{\text {mix }}=\lambda \times y_{i}+(1-\lambda) \times y_{j}
$

ここで， $y_{i}$ と $y_{j}$ は 2 つラベルが付けられた NER タグであり， $\lambda \in[0,1]$ は混合比を決定するパラメータである. Mixup [17] に従い，入はべータ分布（ $\alpha=\beta=0.2 ）$ から引き出される. 直感的には，複数のエンティティタイプに属する可能性のあるトークンに対し，不確実性を持った推定に貢献することが期待される。表 1 固定の予算の下で，手動とLLM ゙ースのデータの異なるデータ数のバランスと性能の比較.

## 4 実験

## 4.1 実験設定

我々の研究では，2つの異なるデータセットを用いて実験を行った．まず，NER の分野で標準的なベンチマークとして認識されている CoNLL03 データセット [10]を用いた。また，CoNLL03 デー タセットにおける性能を考慮し，より難易度の高い WikiGold データセット [11]についても実験を行った. WikiGold データセットは，CoNLL03 と比べると，アノテーションの品質やデータ数が少ないなどの要因から高い性能を達成することが難しい. WikiGold データセットは，実験のために 7:1:2 の比率で訓練，検証，テストセットに分割した.

自動アノテーションでは, LLM として ChatGPT (gpt-3.5-turbo-0613) API ${ }^{1)}$ を利用し，プロンプトに含める few-shot の例の数を 32 とした.

最後に，我々の提案するアノテーション手法の有効性を検証するために，提案手法によってアノテー ションされたデータセットを用いて，事前学習済み BERT [12] に基づく分類モデルをファインチューニングした. NER タスクの評価は Sang らの研究 [10] に準拠し，本論文では重み付き平均 F1 スコアを示す. ハードウェアおよびソフトウェアの構成については A. 1 で詳細に説明する.

## 4.2 実験結果

LLM によるアノテーションによるノイズ回復: まず初めに我々は，LLMのアノテーションによるノイズ回復能力を評価した. Han ら [18] は，CoNLL03 [10] において，アノテーションの欠落やラベルの入れ替えなどのエラーを指摘した. 我々は，一部のアノ

1) https://chat.openai.com

図 3 人手，ノイズ付き，LLMベースのデータセットの各エンティティタイプのアノテーション数.

テーションをランダムに削除することで，ノイズ付きデータを用意した. 前述の方法で LLMによるアノテーションを組み合わせることで，これを改善できることを示す. $20 \% ， 40 \% ， 60 \% ， 80 \%$ エンティティのアノテーションを削除したデータについて実験を行った. ノイズ付きデータと比較すると，提案の組み合わせ手法によって改善されたデータセットでは，性能の改善が確認された。 図 2 は，これらのデータセットの比較分析からノイズ低減の効果を示している. 特に，ノイズが深刻な場合でも，LLMによるアノテーションを組み合わせることで，大幅に改善できると示された.

同じ予算の下での比較: Ding ら [19] の研究と同じように，同一の予算制約の下で我々の手法を評価した. 我々の実験は，3つの異なる予算（\$38, \$152, \$608）で行った. 人手とLLMによるアノテーションから異なるデータ数を含む複合データセットを作成した. 中間予算（\$152）は，CoNLL03 のすべての訓練データの LLM でアノテーションしたときのコストであり，小規模（\$38）と大規模（\$608）の予算については，それぞれその 4 分の 1 と 4 倍のコストを想定した。各予算のデータ数のバランスと性能の関係を表 1 に示す.

予算が小さい場合，データ量が少なくなるため，人手のデータだけでは学習ができない. 表 1 から， LLM によるアノテーションを用いて学習データを増やすことで，性能が向上したと考えられる。中間予算（\$152）では，人手のデータだけを用いた場合，モデルの性能が低下した．LLM によるアノテーションを 2,808 個だけ用いた場合，有意な改善が見られた. また, Hybrid アノテーションの性能

図 4 Label Mixing による最も性能の低いエンティティタイプ（MISC）の改善.

は，LLMによるのみの性能よりも高く，両方のアノテーションを用いることが性能に貢献することを示唆している．大規模予算（\$608）では，人手のデータを 1,404 個用いるだけで十分な性能が得られるが，人手のデータを減らし，LLMによるアノテー ションも用いることで，わずかな性能向上が確認された.これらの結果から，複合データセットは，低コストでデータ数を増やし，すべての予算下で下流タスクの性能を向上させることが確認できた.

クラスの不均衡問題の解決法: 図 3 は, 各エンティティタイプの数に差があることを示している。また，LLMによるアノテーションで学習したモデルのエンティティタイプごとの性能の差は，人手のアノテーションよりも大きい. クラスの不均衡問題に対処するために，Label Mixing の使用を提案した. 図 4 にLLM によるアノテーションと Label Mixing の比較を示す. Label Mixing により，タイプ間の性能差が減少した. したがって, one-hot のハードラベルではなく，複数のエンティティの可能性を考慮した LLM によるアノテーションのソフトラベルにより， モデルの学習がバイアスを持って行われることを防ぐことができると考えられる.

## 5 結論

本研究では，人手と LLMによるアノテーションを組み合わせることでノイズを含むデータや少量データに対して，NER タスクの性能を改善させることができると示した．LLM の性能は今後も向上していく[20,21] と考えられ，現状の LLM で機能していることから，LLMによる自動アノテーションは今後も有望だと考えられる。

## 謝辞

本研究は， GCP Startups Booster Program 及び Microsoft for Startups の助成を受けたものである.

## 参考文献

[1] Behrang Mohit. Named entity recognition. In Natural language processing of semitic languages, pp. 221245. Springer, 2014.

[2] Jiafeng Guo, Gu Xu, Xueqi Cheng, and Hang Li. Named entity recognition in query. In Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '09, p. 267-274, New York, NY, USA, 2009. Association for Computing Machinery.

[3] Diego Mollá Aliod, Menno van Zaanen, and Daniel Smith. Named entity recognition for question answering. In Australasian Language Technology Association Workshop, 2006.

[4] Pengxiang Cheng and Katrin Erk. Attending to entities for better text understanding. ArXiv, Vol. abs/1911.04361, 2019.

[5] Oren Etzioni, Michael J. Cafarella, Doug Downey, AnaMaria Popescu, Tal Shaked, Stephen Soderland, Daniel S. Weld, and Alexander Yates. Unsupervised named-entity extraction from the web: An experimental study. Artif. Intell., Vol. 165, pp. 91-134, 2005.

[6] Ruslan Mitkov, Constantin Orasan, and Richard J. Evans. The importance of annotated corpora for nlp: the cases of anaphora resolution and clause splitting. 2000.

[7] Karën Fort, Gilles Adda, and Kevin Bretonnel Cohen. Amazon mechanical turk: Gold mine or coal mine? Computational Linguistics, pp. 413-420, 2011.

[8] Arzoo Katiyar and Claire Cardie. Nested named entity recognition revisited. In North American Chapter of the Association for Computational Linguistics, 2018.

[9] Siliang Tang, Ning Zhang, Jinjiang Zhang, Fei Wu, and Yueting Zhuang. NITE: A neural inductive teaching framework for domain specific NER. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2652-2657, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[11] Dominic Balasuriya, Nicky Ringland, Joel Nothman, Tara Murphy, and James R. Curran. Named entity recognition in Wikipedia. In Iryna Gurevych and Torsten Zesch, editors, Proceedings of the $\mathbf{2 0 0 9}$ Workshop on The People's Web Meets NLP: Collaboratively Constructed Semantic Resources (People's Web), pp. 10-18, Suntec, Singapore, August 2009. Association for Computational Linguistics.
[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Ridong Han, Tao Peng, Chaohao Yang, Benyou Wang, Lu Liu, and Xiang Wan. Is information extraction solved by chatgpt? an analysis of performance, evaluation criteria, robustness and errors. ArXiv, Vol. abs/2305.14450, , 2023.

[14] Shubhanshu Mishra, Sijun He, and Luca Belli. Assessing demographic bias in named entity recognition. arXiv preprint arXiv:2008.03415, 2020.

[15] Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei Zhang, Jiwei Li, and Guoyin Wang. Gptner: Named entity recognition via large language models. ArXiv, Vol. abs/2304.10428, , 2023.

[16] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744, 2022.

[17] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In International Conference on Learning Representations, 2018.

[18] Ridong Han, Tao Peng, Chaohao Yang, Benyou Wang, Lu Liu, and Xiang Wan. Is information extraction solved by chatgpt? an analysis of performance, evaluation criteria, robustness and errors, 2023.

[19] Bosheng Ding, Chengwei Qin, Linlin Liu, Yew Ken Chia, Boyang Li, Shafiq Joty, and Lidong Bing. Is GPT-3 a good data annotator? In Anna Rogers, Jordan BoydGraber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11173-11195, Toronto, Canada, July 2023. Association for Computational Linguistics.

[20] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, et al. A survey of large language models. arXiv preprint arXiv:2303.18223, 2023.

[21] Bonan Min, Hayley Ross, Elior Sulem, Amir Pouran Ben Veyseh, Thien Huu Nguyen, Oscar Sainz, Eneko Agirre, Ilana Heintz, and Dan Roth. Recent advances in natural language processing via large pre-trained language models: A survey. ACM Computing Surveys, Vol. 56, No. 2, pp. $1-40,2023$.

## A Appendix

## A. 1 実験設定の詳細

ハードウェアの設定:実験では, Google Cloud 上の仮想マシンを用いた. マシンの詳細は以下の通りである.

・マシンタイプ: $n 1$ standard 4

・メモリ: $15 \mathrm{~GB}$
- 仮想 CPU: Intel Broadwell x 4
- GPU: NVIDIA T4 x 1

BERT の設定:NER タスクの性能評価に用いた BERT の設定は以下の通りである.

・事前学習済みモデル: bert-model-unbased ${ }^{2)}$
- 学習率: $1 e-05$

・勾配ノルムの上限值: 10

・バッチサイズ: 学習時は 64 , 推論時は 32
- 最大トークン長: 128

学習は, 3 エポック続けて Accuracy が変化しなくなったところで終了することとした.

NER では各単語単位にラベルを割り振る必要があるが，BERT のトークナイザーでは一つの単語を複数の単語に分割する場合がある. そこで本研究では，単語が複数のトークンに分割された場合，先頭のトークンに対するラベルを単語全体のトークンとして最小している.

2) https://huggingface.co/bert-base-uncased

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 森羅プロジェクト

関根 聡 ${ }^{1}$ 宇佐美 佑 $^{2}$ 門脇 一真 ${ }^{3}$ 三浦 明波 ${ }^{4}$ 中山 功太 $^{1}$ 安藤 まや 5
${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ Usami LLC ${ }^{3}$ 株式会社日本総合研究所
${ }^{4}$ 株式会社アティード 5 フリー
\{satoshi.sekine,kouta.nakayama\}@riken.jp

## 概要

Wikipedia に書かれている世界知識を計算機が扱えるような形に変換することを目的として, 2017 年より Wikipedia を構造化する「森羅」プロジェクトを推進してきた。本プロジェクトは「協働による知識構築（Resource by Collaborative Contribution）」のスキームに基づき,評価型ワークショップを開催し,参加したシステムの結果を統合してより良い知識にまとめ上げ，それを公開していくことを目指した。本稿では 2017 年から行ってきた森羅プロジェクトを総括し, プロジェクト終了時に残寸成果を整理して報告する。

## 1. 背景

自然言語理解の実現に重要となる言語的及び意味的な知識は，その構築に膨大なコストがかかり，メンテナンスが難しい，計算機の利用を念頭においた知識ベースである $\mathrm{CYC}[1]$ はその構築手法からカバレッジが十分ではなかった。一方, これまでに Wikipedia をべースに構築されてきた DBpedia[2], YAGO[3], Freebase[4], Wikidata[5]などの知識ベースは, 首尾一貫した知識体系に基づいておらず，その活用が容易ではないという問題があった。

このような課題を解決するため, 私たちが 2017 年から行ってきた森羅プロジェクトでは, 名前のオントロジーである「拡張固有表現」（ENE）[6][7][8]を用いている.この拡張固有表現に基づいて大規模な知識を含む Wikipedia 記事を分類し，属性情報を抽出し, Wikipedia のエンティティーにリンクすることで，計算機に利用可能とするような構造化を進めてきた[9][10][11][12][13][14][15].

また森羅プロジェクトでは, 日々更新される Wikipedia を対象にこのような構造化を継続できるよう, 半自動化の仕組みの構築も目指してきた。 Resource by Collaborative Contribution (RbCC:協働に
よる知識構築）と名付けたこのスキームでは，「評価型ワークショップ」を開催し多くの機械学習システムを募ることで，より精度の高い構造化知識の構築モデルの開発を行ってきた.

本稿ではこれまでの森羅プロジェクトを総括し， プロジェクトの成果を報告する.

## 2. 成果物

森羅プロジェクトの主な成果物は以下のとおりであり，これらは森羅プロジェクトホームページ[9]にて公開する。

森羅データ（4 章）これまで構築してきた Wikipedia 構造化データである。これには日本語 Wikipedia の全項目を対象にしたカテゴリー分類デ一タ，全カテゴリーのサンプルを対象にした属性値抽出データ，エンティティーリンキングデータ，および 30 言語のカテゴリー分類タスクのデータが含まれる。詳細は 4 章で述べる.

森羅ベースラインシステム（5 章） 3 章で説明するカテゴリー分類, 属性値抽出, エンティティー リンキングの各タスクを半自動的に実施するシステムである.これまでに開催した評価型ワークショップにおいて参加者から提出された精度の高いシステムの実装を参考にしたものである．詳細は 5 章で述べる.

森羅データアクセス API（6 章）森羅データを利用するアプリケーションから，上記の森羅データへアクセスするための API である。ただし，属性値とエンティティーリンキングについては，森羅ベー スラインシステムの出力を用いているため，API の返す値の一部には誤りも含まれる。詳細は 6 章で述べる.

その他アノテーションマニュアル，アノテーシヨンツールについてもプロジェクトの中で構築した. アノテーションマニュアルのうち重要な部分は, 拡張固有表現ホームページ[6]において公開する.

## 3. 森羅タスク

## 3.1 Wikipedia 構造化のプロセス

森羅プロジェクトでは, 以下の 3 プロセスを順に行うことで, 固有表現に関する定義である「拡張固有表現」[6][7][8] に基づいた Wikipedia の構造化を行った.

カテゴリー分類拡張固有表現では, 固有表現のカテゴリーとして「人名」，「地名」，「イベント名」といった上位カテゴリーと, 例えば「地名」における「河川名」「湖沼名」等の下位カテゴリーが定義される. Wikipedia 構造化の最初のプロセスでは, Wikipedia の各ページを最下位のカテゴリー（246 カテゴリーのいずれか）に分類した。例えば「島崎藤村」は「名前>人名」, 彼の作品の「嵐」は「名前> プロダクト名>出版物名>書物名」に分類された.

属性値抽出分類されたページから拡張固有表現定義でカテゴリーごとに規定された属性（計 1,712 種類）の値を抽出した。例えば拡張固有表現の「人名」カテゴリーでは異表記, 本名, 別名・旧称, 国籍などの 21 属性が定義されるため, 「島崎藤村」の 「本名」として「島崎春樹」が，また「作品」として「嵐」などが抽出された。

エンティティーリンキング（リンク） 抽出された属性値に対して，その値を表す Wikipedia のペー ジをリンクした. 例えば, 上記の「島崎藤村」の「作品」として抽出された「嵐」という文字列は, Wikipedia の「嵐 (小説)」のページにリンクされた.

## 3.2 評価型ワークショップの実施

森羅の評価型ワークショップは 2018 年に始まり， 2023 年までに表 1 に示す 12 タスクを実施した。

## 4. 森羅データ

森羅プロジェクトではこれまで日本語を対象にカテゴリー分類, 属性值抽出, エンティティーリンキングの 3 タスクを, また日本語以外の 30 言語を対象にカテゴリー分類タスクを実施してきた. 表 2 に含まれる言語・タスクが同一のタスクは, データセットの追加や修正を行ったものであり, Wikipedia の表 1.6 年間に行なった全 12 タスク

 &  & 日本語 &  \\

構造化を目的とする場合には，それぞれ最新のデー タセットを用いれば十分である。すなわち日本語の 3 タスクにおいては森羅 2022/2023 のデータが，また 30 言語のカテゴリー分類タスクにおいては SHINRA 2021-ML のデータがそれぞれ森羅プロジェクトの成果となる.

各タスクのために森羅プロジェクトが構築したデ一タセットとしては, 教師データ，開発データ，テストデータ等があるが，各タスクを実装する上ではこの他に拡張固有表現の定義書や Wikipedia のダンプデータ等も必要となる. Wikipedia のデータは日々更新されているため, 森羅プロジェクトでは，デー タを構築した時点でのダンプデータを XML 形式

(WikiDump)および JSON 形式 (CirrusSearchDump) で再配布するとともに, 各ページを HTML 形式やプレーンテキスト形式に変換したものも配布している.

また, 森羅プロジェクトでは $\mathrm{RbCC}$ の考え方に基づいたアンサンブルの手法も提案した[16]. RbCC やアンサンブル手法の研究・評価のために, SHINRA 2020-MLのタスク参加者より提出された各システムの出力も森羅プロジェクトの成果として公開している.

公開データの一覧については, 付録 A. 1 に示す.

## 4.1 カテゴリー分類タスク（日本語）

日本語のカテゴリー分類タスクでは, 20190120 版の Wikipedia 全ページ $(920,444$ ページ) に拡張固有表現 9.0 のカテゴリー番号を付与し, 教師データとして配布した。この分類は，まず 20151123 版の Wikipedia の 22,667 件を対象に人手で実施して予測

モデルを構築し，そのモデルの出力全件を人手でチエックしたものである[11]. 開発・テストデータには, 20210820 版の Wikipedia ダンプデータを使用し, それぞれ 1,216 件，2,389 件が含まれる. 開発データは全件ラベル付きで公開している. テストデータの正解ラベルは非公開としているが, 後続の属性值抽出タスクのみに取り組む参加者のために， ベースラインシステム (Micro-F1: 92.6849) の出力を公開している.

## 4.2 属性值抽出タスク

属性值抽出タスクでは, 20171103 版および 20190120 版の Wikipedia のうち計 19,717 ページから, 拡張固有表現 9.0 で定義された属性の値を人手で抽出し, 教師データとして配布した (ここには延べ 910,567 件の属性の值が含まれる）. 教師データの各ページには，正解となる拡張固有表現のカテゴリー番号も付与されている. テストデータには， 20210820 版の Wikipedia ダンプデータのうち 2,389 ページを使用したが，リーダーボードではこのうちの 469 ページで評価したスコアを表示した. テストデータの正解ラベルは非公開としているが，後続のエンティティーリンキングタスクのみに取り組む参加者のために, ベースラインシステム (Macro-F1: 44.9441, Micro-F1:51.5130) の出力を公開している.

## 4.3 エンティティーリンキングタスク

エンティティーリンキングタスクでは, 20171103 版および 20190120 版の Wikipedia のうち計 1,397 ペ一ジに含まれる各属性（延べ 59,715 属性）の値について, リンク先のページ ID ならびにリンク種別を人手で付与し, 教師データとして配布した. 教師デ一夕に含まれるぺージはすべて属性值抽出の教師デ一夕にも含まれ, 正解となる拡張固有表現のカテゴリーならびに各属性の值も付与されている. テストデータには, 20210820 版の Wikipedia ダンプデータを使用し, 属性值抽出タスクで用いた 1,994 ページが含まれている. リーダーボードではこのうちの 126 ページで評価したスコアを表示した. テストデ一タの正解ラベルは非公開としている.

## 4.4 カテゴリー分類タスク（30 言語）

30 言語のカテゴリー分類タスクでは, 20190120 版の日本語 Wikipedia 全ページを拡張固有表現 8.0 のカテゴリーに分類した結果と, Wikipedia に含まれる言語間リンクの情報を用いた。 日本語からリンクのあるぺージ数は 30 言語の合計で 5,029,617 (らち最多の英語は 439,352）であり，これが各言語における教師データとなる. Wikipedia ダンプ全体に含まれる記事数は 30 言語の合計で $32,555,929$ (うち最多の英語は $5,793,197$ ) であり,このうち教師データに含まれない全ぺージを予測対象とする。予測対象のうち 6,298 ページは開発データとして正解ラベルを公開している.またリーダーボードでは予測対象の一部で評価したスコアを表示したが，その正解ラベルについては非公開としている.

また, 本タスクにおいては SHINRA 2020-ML で提出された一部のシステムの出力も公開している. 対象は 7 チームによる 12 システムであるが，システムによっては 30 言語すべてではなく, 一部の言語の予測結果のみを提出している場合がある.

## 5. 森羅ベースラインシステム

Wikipedia の構造化のための 3 つのサブタスクについて, これまでの評価型ワークショップで高い精度が得られたシステムを用いて, 森羅ベース LINE システムを構築し公開した. そして, 最新版である森羅 2023 の訓練用ラベル付きデータを元に, 前段タスクでの正解ラベルが与えられた条件での個別夕スク評価と, 正解ラベルが全て不明な条件での Endto-End タスク評価を実施した. 表 2 に各タスクにおけるベースラインシステムをカテゴリ横断の MicroF1 スコアとして評価した結果を掲載する。また，以降の小節において，各ベースラインシステムに関する採用手法の基本的な説明と公開情報について記載する.

ベースラインシステムの実装は全てオープンソー スソフトウェアとして公開しており, 森羅プロジェクトのホームページ[9]にリンクをまとめてある.

表 2. 各タスクにおけるベースライン評価

## 5.1 カテゴリー分類システム

本システムではまず，Word2Vec における単語分
散表現を, Wikipedia のページ名に拡張させた Wiki Entity Vectors [11]によって Wikipedia 日本語全記事データを用いた教師なし学習を行うことで, ページ名の分散表現を獲得し, エンティティベクトルとする. このベクトルを主要な素性とし, 各記事に付与されたメタ情報も離散値的素性に変換し, 結合して多層パーセプトロンで学習・推論を行う.

本手法における評価データにおける精度は MicroF1 スコアにおいて 95.93 ポイントとなった.

## 5.2 属性値抽出システム

本手法は事前学習済みモデルとして日本語データで学習された BERT [17][18]によって, ページのトー クナイズ済み HTML データを入力して得られる各トークンに対する文脈情報付き分散表現を取得し，追加の線形変換層で BIO タグ[19]への分類の学習と推論を行う。ただし属性值抽出の場合, 固有表現抽出とは異なり同一出現箇所の文字列に対して複数の異なる種類（属性名）の属性が抽出対象となりうる性質があるため, BIO タグの 3 候補に対する分類ではなく, 全属性名候補に対して BIO タグの分類確率が得られるよう線形層の次元数を追加している.これによって単一モデルの一度のフィードフォワード計算により, 全属性名侯補の一括抽出が可能である.本手法における評価データにおける精度は MicroF1 スコアにおいて個別タスク設定で 71.26 ポイント， End-to-End 設定で 68.30 ポイントとなった.

## 5.3 エンティティーリンキングシステム

本システムは現実的な実行速度を考慮して，ヒュ ーリスティックに基づく幾つかのルールによって属性値に対するリンクの有無とリンクページ推定を行う。採用しているルールの例を以下に示す.
- 属性値に対して異なる記事への URL がある場合，そのページをリンクページとする
- 属性値文字列とタイトルが完全一致するぺ ージが存在する場合, そのページをリンクペ ージとする
- 全記事に対してリンク文字列とリンク先のペアを取得して集計し, 属性值文字列に完全一致するリンク文字列が存在する場合, 最も件数の多いリンク先をリンクページとする
- ラベル付きデータに基づき, カテゴリー名と属性名のペアに対する正解リンク先が自己リンクである割合が一定値以上である場合，自己リンクをページリンクとする

本手法における評価データにおける精度は MicroF1 スコアにおいて個別タスク設定で 76.81 ポイント， End-to-End 設定で 49.44 ポイントとなった.

## 6. 森羅 API

本プロジェクトにおいて作成した Wikipedia 構造化データを広く利用可能とすることは，自然言語処理の研究及び自然言語処理技術を用いた広範な技術開発を後押しし, 本プロジェクトの目指す高度な言語理解システムの普及を促すことに繋がると考えている. そこで，プロジェクトで作成した構造化デー 夕を任意に取得可能な API サーバを実装し，公開することとした. 現在, 作成した API サーバは森羅パブリック API として公開されており, 2025 年 3 月まで公開を継続する見込みである。森羅パブリック API で取得可能なデータとしては, 2023 年の森羅夕スク実施にあたり開発したべースモデル (5 章)を，日本語の Wikipediaを対象としてカテゴリー分類,属性值抽出，エンティティーリンキングを行い作成した構造化データを用いている.

API の利用のためには森羅パブリック API 公開ペ ージ[20]においてアカウントの作成が必要となる.

アカウントを作成後，ログインをすることでAPIを利用するためのアクセストークンが発行される. 森羅パブリック API はアクセストークンを用いて, シエルやプログラムからアクセスすることができるようになっている. 利用例を付録 A. 2 に示す.

森羅パブリック API の利用方法や API の詳細については，森羅パブリック API のドキュメント[20]を参照されたい。

## 7. まとめ

世界知識の構造化を目指し、Wikipedia の構造化デ一タ作成を行う「森羅」プロジェクトを推進してきた. 森羅データ, 構造化のためのツール, 森羅デー タアクセス APIなどを構築し, 公開した。これまでの森羅のタスクにご協力いただいた，また評価タスクにご参加いただいた全ての団体, 個人の皆様に心から感謝を申上げたい，今後は，より深い自然言語処理および知識処理を実現するために，本プロジエクトの成果を活用し, この分野の研究がより深化していくことを切に望んでいる.

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです.

## 参考文献

1. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

2. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Large-scale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167-195

3. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015).

4. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

5. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 78-85

6. 拡張固有表現ホームページ: Extended Named Entity - Fine-grained Named Entity Ontology. http://ene-project.info.

7. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

8. Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

9. 森羅プロジェクトホームページ: 森羅 SHINRA - Wikipedia 構造化プロジェクト http://shinra-project.info.

10. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃，乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて. 言語処理学会第 24 回年次大会(2018)
11. Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoki Okazaki, and Kentaro Inui. A joint neural model for fine-grained named entity classification of Wikipedia articles. IEICE Transactions on Information and Systems, E101.D(1):73-81. (2018)

12. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化プロジェクト「森羅 2018」．言語処理学会第 25 回年次大会 (2019)

13. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1st conference on the Automatic Knowledge Base Construction AKBC-2019.

14. 小林暁雄，中山功太，安藤まや，関根聡.

Wikipedia 構造化プロジェクト「森羅 2019」.言語処理学会第 26 回年次大会. (2020)

15. 関根聡, 中山功太, 隅田飛鳥, 渋木英潔, 門脇一真，三浦明波，宇佐美佑，安藤まや. 森羅タスクと森羅公開データ. 言語処理学会第 29 回年次大会. (2023)

16. 中山功太, 栗田修平, 馬場雪乃, 関根聡. 能動的サンプリングを用いたリソース構築共有タスクにおける予測対象データ削減. 言語処理学会第 27回年次大会発表論文集, pp.1187-1192. (2021)

17. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

18. 東北大学自然言語処理研究グループ, Pretrained Japanese BERT models, https://github.com/cltohoku/bert-japanese. (参照 2024-01-09)

19. Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition (CoNLL '03)

20. 森羅パブリック API

https://api.shinra-project.info.

## A 付録

## A. 1 森羅プロジェクトで公開するデータの一覧

本プロジェクトで構築・改変したデータ
- 拡張固有表現 ver9.0 定義書（JSON 形式）

・ 森羅 2023 分類タスク教師データ, 開発データ, テストデータ
- 森羅 2023 属性值抽出タスク教師データ, テストデータ（分類タスクベースラインシステムの出力）

・森羅 2023 リンキングタスク教師データ, テストデータ（属性值抽出タスクベースラインシステムの出力）

・ SHINRA 2021-ML 教師データ, 開発データ
- SHINRA 2020-ML Wikipedia 言語間リンク情報
- SHINRA 2020-ML 各システムの出力

本プロジェクトで再配布する Wikipedia データ
- 20190120 版日本語・30 言語 Wikipedia ダンプデータ（XML 形式: WikiDump, HTML 形式, プレー ンテキスト形式)
- 20190121 版日本語・30 言語 Wikipedia ダンプデータ (JSON 形式 : CirrusSearchDump)
- 20190120 版日本語 Wikipeida（HTML 形式，プレーンテキスト形式）
- 20210820 版日本語・ 30 言語 Wikipedia ダンプデータ (XML 形式: WikiDump, HTML 形式, プレー ンテキスト形式)

・ 20210823 版日本語・30 言語 Wikipedia ダンプデータ (JSON 形式 : CirrusSearchDump)

## A. 2 森羅パブリック API の利用例

図 1.森羅パブリック API の利用例


# 文書分類のための要約に基づくデータ拡張

王 悦綸

東京大学大学院 情報理工学系研究科

etsurin@tkl.iis.u-tokyo.ac.jp

吉永 直樹
東京大学 生産技術研究所
ynaga@iis.u-tokyo.ac.jp

## 概要

文書などの長文を対象とした自然言語理解タスクは，事前学習済みモデルを用いたとしてもデータの過疎性の問題から解くことが依然難しい。そこで，本稿では人間が文書読解能力を身につける過程に着想を得て，文書分類のための要約に基づくデータ拡張手法 SUMMaug ${ }^{1}$ を提案する。提案手法では，元の学習データの入力を要約し, 必要に応じ要約された入力に合わせるように元のラベルを縮退することで，学習容易な事例を生成し，中間学習に用いる。 2 つの文書分類データセットでの実験結果により，提案手法が分類精度及び学習の安定性の観点で既存手法より優れていることを確認した。

## 1 はじめに

事前学習済みモデル $[1,2,3]$ の導入により, さまざまな自然言語理解タスクの精度が改善したものの，文書のような長いテキストを入力したり [4] や粒度の細かい出力ラベル [5] を扱う複雑なタスクでは，その効果は限定的である．例えば，文書分類のようなタスクでは，多様な入力と出力の間の関係を捉えることが必要であり，データの過疎性の問題が深刻となる。

データの過疎性の問題に対処するには，データ拡張が有効であり, 文書分類タスクにも過去に適用されている. これらは基本的に，入力に摂動を加えることで，元の学習事例から擬似学習事例を生成するものである. 具体的な摄動としては, 逆翻訳 [6] に加えて，テキスト $[7,8]$ および埋め込み空間 $[9,10,11]$ 内での編集などが試みられている.これらの摄動で生成された擬似学習事例は, 元の学習事例と本質的に同じ意味的内容しか含んでおらず， モデルが長い入力テキストを理解する能力を学習するのに役立つとは言い難い.

図 1 提案手法 SUMMaugを用いた学習の流れ.

本研究では，文書分類タスクを対象として，長い入力テキストを理解する能力をモデルが獲得し易くするため, 単純で効果的な自動要約に基づく学習データ拡張手法 SUMMaug を提案する。提案手法では，まず，元の学習事例の入力を自動要約で要約する.このとき，必要に応じてラベルを縮退し，要約された入力に適合するようにする。このようにして得られた疑似訓練事例を用いて，人間が短いテキストから徐々に文書の読解能力を身につけることを考慮して，カリキュラム学習 [12]（微調整）を行う。

実験では，ラベル粒度の異なる 2 つの文書分類データセット $[13,14]$ において, ベースラインのデータ拡張手法 [8] と提案手法 SUMMaug を比較した.その結果，SUMMaug に基づくカリキュラム微調整により，精度と頑健性の両方でベースライン手法を上回るモデルが得られることを確認した。

## 2 関連研究

本節では，まず文書分類のための既存の深層学習モデルを説明し，次にテキスト分類のための既存のデータ拡張手法を紹介する．その後，テキスト分類で自動要約を活用した研究について触れる.

文書分類文書分類において、複数の文から構成される長いテキストの内容を理解するために，より優れたモデル構造を探求する試みが広く行われて
表 1 IMDbデータセットにおける元のテキストと生成された要約の例である. 1 行目は元のテキストで，2行目は生成された要約である. 赤のテキストは元のテキストにおける要約の対応部分である.

I am Anthony Park, Glenn Park is my father. First off I want to say that the story behind this movie and the creation of the Amber Alert system is a good one. However the movie itself was poorly made and the acting was terrible. The major problem I had with the movie involved the second half with Nichole Timmons and father Glenn Park. The events surrounding that part of the story were not entirely correct. My father was suffering from psychological disorders at the time and picked up Nichole without any intent to harm her at all. He loved her like a daughter and was under the mindset that he was rescuing her from some sort of harm or neglect that he likely believed was coming from her mother who paid little attention to her over the 3 plus years that my father took care of her and summarily raised her so her mother could frolic about. The movie depicted my father in a manner that he was going to harm her in some way shape or form. The funny thing is that Nichole had spent many nights sometimes consecutively at my fathers place while Sharon would be working or doing whatever she was doing. The reason that my father was originally thought to be violent was because he had items that could be conceived to be weapons on his truck. My father was a landscaper. The items they deemed to be weapons were landscaping tools that he kept in his truck all the time for work. My recommendation is take this movie with a grain of salt, it is a good story and based on true events however the details of the movie (at least the Nichole Timmons - Glenn Park portion) are largely inaccurate and depict the failure of the director to discover the truth in telling the story. The funny thing is, that if the director would have interviewed any of Sharon's friends who knew the situation they would have stated exactly what I have posted here.

The movie itself was poorly made and the acting was terrible. The events surrounding that part of the story were not entirely correct. My recommendation is take this movie with a grain of salt, it is a good story and based on true events.

いる。具体的には，グラフニューラルネットワー

ク $[15,16]$ や畳み込みアテンションネットワーク [5] などがある。しかしながら，近年，Transformer [17] ベースのモデルの有効性が再検証され [18], これらの文書分類に特化したモデル構造を上回る性能が報告されている. 本研究で提案するデータ拡張は,特定のモデル構造に依存しないが，この現状を踏まえて，Transformerに基づく事前学習済みモデル RoBERTa [2] を使用する.

テキスト分類のためのデータ拡張テキスト分類タスクにおいて，データの過疎性の問題に対処するため，元の学習事例から擬似学習事例を生成するデータ拡張が広く試みられている. Shleifer [6] は,機械翻訳を用いて学習事例を別の言語に翻訳し，その出力を逆翻訳して元の言語に戻すことで，入力と同じ意味で表現が異なる学習事例を生成している. Wei ら [7] は，単語を削除，挿入，または同義語で置き換えることによって入力に摂動を加えている. Karimi ら [8] は，ランダムに句読点を挿入するという，より単純ながら効果的な摂動を提案している. これら以外にも，学習事例のテキストに直接摂動を加える代わりに，その埋め込み空間にノイズを加えることで擬似学習事例を生成する研究 $[9,10,11]$ もある。しかしながら，これらの手法で得られる擬似学習事例は元の学習事例の言い換えに過ぎず，長いテキストの理解に直接役立つとは言い難い.

テキスト分類における自動要約の活用 Li ら [19] と Hartl ら [20] は，フェイクニュース検出のため,要約を介して対象記事から事実を抽出している. これらの手法が推論時に要約を行うのに対し，提案手法はモデルの学習のために要約を用いる.

## 3 提案手法

文書分類では，数十以上の文が含まれる長いテキストを理解する必要がある，人間は，成長するにつれ，長いテキストでも正しく理解できるようになるが，そのような読解能力をどのように身につけたのだろうか. 学校での学習を振り返ると, 短くて簡潔なテキストから読み始めて，徐々に長いテキストを読むことで読解能力を磨いたことに気づくだろう。

本研究では，この点に着想を得て，文書分類のための要約に基づくデータ拡張手法 SUMMaug を提案する。提案手法では，自動要約で抽象的な訓練例を生成し, 拡張データ, 元のデータの順でカリキュラ么学習（微調整）を行う。

## 3.1 要約に基づくデータ拡張

SUMMaug ではまず，後述する要約モデル $M$ を用いて，文書分類のための擬似学習事例を生成する。具体的に, 各学習事例 $\{x, y\}$ の入力 $x$ に要約モデル $M$ を適用し， $x$ の要約 $\hat{x}=M(x)$ を得る.

ここで問題となるのは, 生成された簡潔な要約 $\hat{x}$ に対するラベルの与え方である. 要約は本質的な情報しか保持しないため，ラベルが細かいと，元のラベル $y$ は不適切となる可能性がある。そこで，ラベルを粗いカテゴリに縮退する関数 $f$ を定義し，擬似学習事例 $\{\hat{x}, f(y)\}$ を得る（図 1).

表 1 は IMDb データセットに含まれる事例と後述の要約モデルによる要約である. 元の入力は中立で少しネガティブの傾向があるレビューであるが，要
約ではこの傾向が強まっている.この例からも，擬似学習事例のラベルをより粗い粒度に縮退する必要性が示唆される。

要約モデル $M$ について手法の適用範囲を広げるためには, 要約モデル $M$ は多様なドメインの文書を要約できることが望ましい。そこで本稿では, CNN-Dailymail データセット [21] で微調整した BART [22] を要約モデル $M$ として用いた. CNN-Dailymail はニュース記事に関する要約デー タセットであり2)，広範なトピックを含むため幅広いドメインの文書に適応可能である.また, CNN-Dailymail に含まれる要約の多くは抽出型要約であり，XSum [23] など抽象型要約データセットから学習したモデルで深刻な幻覚 [24] が生じる可能性も低いと期待できる。

## 3.2 分類器のカリキュラム微調整

データ拡張に関する既存研究では，擬似学習デー タと生成元の学習データのラベル集合は同一であり, 混合して区別せず学習に用いている. しかしながら，提案手法で生成する擬似学習データ，すなわち，抎張データでは，要約に適合するようラベルを縮退する場合がある. そこで，学習戦略として以下の 2 つを考える。

混合微調整元の学習データと疑似学習データを混合し，事前学習済みモデルを微調整する。この戦略では，ラベルを潰さず， $f(y)=y$ とする.

カリキュラム微調整まず，擬似学習データで事前学習済みモデルを微調整し, 得られたモデルを，元の学習データで微調整する.この提案手法はカリキュラム学習 [25] に着想を得たものである.この戦略では, 必要に応じてラベルを縮退するが，その場合は，元の学習データで微調整する前に，出力層のパラメタを破棄する.

以下の実験では，ラベルの粒度が異なる文書分類データセットに対して提案手法を適用し，2つの戦略を比較する。

## 4 実験

提案手法をラベル粒度の異なる 2 つの文書分類データセット $[13,14]$ に適用し, i) 提案手法が, ベー スライン手法と比べて分類精度と学習の安定性の観点で優れていること，また ii) ラべル縮退を伴うカ

2) https://huggingface.co/facebook/bart-large-cnn表 $2 \mathrm{IMDb}$ データセット． $C, L, L_{M}$ はそれぞれ，ラべ几数，入力の平均長，要約の平均長である.

リキュラム微調整が提案手法の有効性を発揮する上で重要な役割を果たすことを確認する。

## 4.1 データセット

提案手法の評価には，大規模映画レビューデー タセット IMDb-2[13] とIMDb-10を用いた. IMDb-2 には肯定・否定の 2 值ラベルが付与されており， IMDb-10には 1 から 10 までの 10 種の極性ラベルが付与されている. IMDb-2データセットには開発データが含まれないため, 学習データをランダムに 9:1 に分割し, 学習データと検証データとした. IMDb-10データセットについては, Adhikari ら [14] の実験と同じ分割を用いた. 2 つのデータセットの詳細を，表 2 に示す.

## 4.2 実験設定

評価には以下の 3 つのモデルを用いた. 全てのモデルは, ベースラインの RoBERTa [2]を微調整したものである.

RoBERTa 事前学習済み RoBERTa ${ }^{3}$ )を元の学習データで微調整したベースライン.

RoBERTa + AEDA 元の学習事例の入力に既存のデータ拡張手法 $\mathrm{AEDA}^{4)}$ を適用し，得られた擬似学習データと元の学習データを混合して前述の RoBERTaを微調整したべースライン.

RoBERTa + SUMMaug CNN-Dailymail で微調整した BARTを要約モデルに用いた提案手法. 得られた擬似学習データと元の学習データを用いて前述の RoBERTaを微調整する.

学習データが少ない設定下での有効性を評価するために，学習データからそれぞれ 200 および 1500 事例をランダムに選択し, これらの部分データセッ卜を用いた学習も行った. ただし，IMDb-10データセットでは, 学習データが 200 事例の場合は, 全てのモデルの学習が発散したため, 評価しなかった.

カリキュラム微調整の効果を明らかにするために, SUMMaug の擬似学習データだけでなくAEDA の擬似学習データを用いた学習でもカリキュラム微

3) https://huggingface.co/roberta-large

4) https://github.com/akkarimi/aeda_nlp
表 3 IMDb-2での平均精度と標準偏差. 混合とカリキュラムはそれぞれ混合微調整とカリキュラム微調整を指す。

表 4 IMDb-10での平均精度と標準偏差. 表記は表 3 に従う.

調整を試した。なお，IMDb-10データセットでは， § 3.1 で述べたように，拡張データのラベルを縮退した. 具体的には，0-4 のラベルを 0 （否定的）に，5-9 のラベルを 1（肯定的）に写像し，2 值分類問題とした．異なるラベル縮退を行なった場合の結果についても，本実験の結果の後で報告する。

## 4.3 学習の詳細

学習のハイパーパラメタは以下のように設定した.IMDb-2 での実験では，バッチサイズを 64，学習率を 1e-5 とした. IMDb-10データセットでの実験では，Adhikari ら [14]に従い，バッチサイズを 16,学習率を 2e-5 にした. 学習エポック数は付録を参照されたい。学習は NVIDIA Quadro P6000 GPU 4 枚を用いて行った。

評価用のモデルは，開発データでの分類精度に基づき選択した. 5 回の試行での平均値を報告する.

## 5 実験結果

表 3 と表 4 に，ベースラインと我々の提案手法の結果を示す. 提案手法は，全ての実験設定においてベースラインを上回った. さらに，低資源設定でも，提案手法が有効であることを確認した。

## SUMMaug に基づくデータ拡張による学習安定性 SUMMaug は，データセット全体で高い精度を達成 するだけでなく, 結果の分散の小さい安定した学習に寄与している。一方で，既存手法である AEDA （混合）では，IMDb-2 で学習データが 200 件の場合表 5 SUMMaug（カリキュラム）手法で異なるラベル縮退関数を用いた場合の平均精度と標準偏差の変化． $N$ は 縮退後のラベル数, $f(x)$ は 0-9 のラベルに対する具体的 な縮退関数である。

精度が下がり，IMDb-10 では不安定な結果をもたらしてしまう。

カリキュラム微調整の効果 SUMMaug で得られた擬似学習データを用いてカリキュラム微調整の代わりに混合微調整を行った場合，提案手法による改善幅は小さくなり，IMDb-10ではベースラインも下回る結果となった. このことから，SUMMaug で得られた擬似学習データを用いる場合はカリキュラム微調整を行うことが必須であることが分かる.

ラベルの縮退関数の影響表 5 は、異なるラベル縮退関数 $f$ の下での SUMMaug（カリキュラム）の結果を示している. $N \leq 4$ の場合，精度は同等であるが， $N=5,10$ では恐らくではラべルの縮退が不十分なため、精度と学習の安定性に低下が見られる。 しかしながら，ラベルの縮退を行わない場合でも，元の学習データでの微調整に伴い拡張データに含まれるノイズの影響が弱まり，表 4 で報告した混合微調整の結果よりは精度・学習安定性ともに良い結果となっている.

## 6 おわりに

本研究では，文書分類のための単純で効果的な要約に基づくデータ拡張手法 SUMMaug を提案した.提案手法では，人間が文書読解能力を習得する過程を踏まえ，短いテキストの分類問題から長いテキストの分類問題の順で学習する． 2 つの文書分類デー タセットでの実験結果により，SUMMaug がベースラインのデータ拡張手法と比較して, 精度と学習の安定性の観点で性能を向上させることを確認した。 また，低資源設定でも提案手法が効果的であることも確認した。

今後の課題としては, ラベル縮退関数 $f$ を自動で最適化する手法の検討や，異なる要約モデルを用いた場合の効果を検証することが挙げられる。

## 謝辞

本研究は東京大学生産技術研究所特別研究経費および JSPS 科研費 JP21H03494 の助成を受けています。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced BERT with disentangled attention. 2020.

[4] Yu-Chen Lin, Si-An Chen, Jie-Jyun Liu, and Chih-Jen Lin. Linear classifier: An often-forgotten baseline for text classification. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 1876-1888, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] Yang Liu, Hua Cheng, Russell Klopfer, Matthew R. Gormley, and Thomas Schaaf. Effective convolutional attention network for multi-label clinical document classification. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5941-5953, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Sam Shleifer. Low resource text classification with ULMFit and backtranslation. arXiv preprint arXiv:1903.09244, 2019.

[7] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 6382-6388, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Akbar Karimi, Leonardo Rossi, and Andrea Prati. AEDA: An easier data augmentation technique for text classification. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2748-2754, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[9] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguisticallyinformed interpolation of hidden space for semi-supervised text classification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 21472157, Online, July 2020. Association for Computational Linguistics.

[10] Hui Chen, Wei Han, Diyi Yang, and Soujanya Poria. DoubleMix: Simple interpolation-based data augmentation for text classification. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 4622-4632, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[11] Xing Wu, Chaochen Gao, Meng Lin, Liangjun Zang, and Songlin Hu. Text smoothing: Enhance various data augmentation methods on text classification tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 871-875, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[12] Petru Soviany, Radu Tudor Ionescu, Paolo Rota, and Nicu Sebe.
Curriculum learning: A survey. International Journal of Computer Vision, Vol. 130, No. 6, pp. 1526-1565, 2022.

[13] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning word vectors for sentiment analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[14] Ashutosh Adhikari, Achyudh Ram, Raphael Tang, and Jimmy Lin. DocBERT: BERT for document classification. arXiv preprint arXiv:1904.08398, 2019

[15] Haopeng Zhang and Jiawei Zhang. Text graph transformer for document classification. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8322-8327, Online, November 2020. Association for Computational Linguistics.

[16] Chong Zhang, He Zhu, Xingyu Peng, Junran Wu, and Ke Xu. Hierarchical information matters: Text classification via tree based graph neural network. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 950959, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Xiang Dai, Ilias Chalkidis, Sune Darkner, and Desmond Elliott. Revisiting transformer-based models for long document classification. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 7212-7230, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[19] Qifei Li and Wangchunshu Zhou. Connecting the dots between fact verification and fake news detection. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1820-1825, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[20] Philipp Hartl and Udo Kruschwitz. Applying automatic text summarization for fake news detection. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, $\mathrm{pp}$. 2702-2713, Marseille, France, June 2022. European Language Resources Association

[21] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. Advances in neural information processing systems, Vol. 28, , 2015.

[22] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[23] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, OctoberNovember 2018. Association for Computational Linguistics.

[24] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919, Online, July 2020. Association for Computational Linguistics.

[25] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML '09, p. 41-48, New York, NY, USA, 2009. Association for Computing Machinery.

## A 付録

## A. 1 学習エポック数

表 6 実験で学習エポック数の詳細. カリキュラムファインチューニングの手法では、 $x / y$ は「拡張データで $x$ エポック学習し, 元の学習データで $y$ エポック学習する」と意味する.

表 6 では、実験での学習エポック数をまとめた. エポック数は検証データでの精度により設定したものである.


# 文書のチャンクに基づく知識グラフを活用した RAG

江上周作 ${ }^{1}$ 福田賢一郎 ${ }^{1}$
1 国立研究開発法人産業技術総合研究所人工知能研究センター
\{s-egami, ken. fukuda\}@aist.go.jp

## 概要

大規模言語モデルで外部知識を活用する上で Retrieval-Augmented Generation (RAG) が注目を集めており，RAGの各モジュールごとに拡張手法が開発されている。検索モジュールでは埋め込みべクトルに基づく類似度検索手法の開発が主流となっているが，ユーザの質問に答える上で必要な情報は必ずしも質問に類似しない. 本研究では, 外部文書のチャンクのメタデータやチャンク間の意味的関係を抽出することで知識グラフを構築し, ベクトル類似度検索と組み合わせたハイブリッドな RAG 手法を提案する. 実験の結果, ベースラインと比較して回答の忠実性とコンテキストの関連性の向上を確認した。

## 1 はじめに

大規模言語モデル (Large Language Model: LLM) を活用したシステムは質問応答を始め様々なタスクにおいて最先端の性能を凌駕し, その汎用性の高さや開発基盤の普及も相まって，LLMを活用したサー ビスの社会実装が急速に進んでいる. しかしながら, LLM の学習データに存在しない知識に関する質問応答ではハルシネーションの課題があり, その解決策として外部知識の活用の研究が進んでいる. 中でも, Retrieval-Augmented Generation (RAG) [1,2] は導入コスト，知識の更新，情報源の提示などの面で優れており注目を集めている. RAG の定義は技術の進展とともに拡大しているが，ここでは Gao ら [2] の定義を参照し, 質問応答やテキスト生成の際にまず膨大な文書コーパスから関連する情報を検索し，その後取得した情報を利用して回答やテキストを生成し，それにより LLM の予測の質を高める手法とする.

図 1 に一般的な RAG 手法の全体図を示す.これにより LLM に最終的に入力されるプロンプトに追加される文脈情報は質問に類似する文章となる。しかしながら，質問に応答する上で必要な知識は，必

図 1 一般的な RAG 手法の全体図

ずしも質問に類似するチャンクに含まれるとは限らない. ユーザの要求の種類は単に主語や目的語を問う質問だけでなく，原因や結果を問う質問も想定され，これらの質問に回答する上で必要なチャンクは，質問の類似度の高いチャンクは分割されている可能性がある。

本研究では，文書のチャンクを構造化することにより，LLM の予測精度向上に寄与する文脈情報を取得できるという仮説を立て，チャンク間の意味的関係に基づいて知識グラフを構築する。この知識グラフを用いた検索と埋め込みべクトルの類似度検索を組み合わたハイブリッド検索の RAG 手法を提案する. 知識グラフは各チャンクの $5 \mathrm{~W} 1 \mathrm{H}$ 情報とチャンク間の談話関係 (Discourse Relation) を含む。 質問文の埋め込みべクトルを用いた類似度検索により取得したチャンクから，知識グラフ検索で談話関係を辿ることで関連するチャンクを取得する。また，質問文から抽出した $5 \mathrm{~W} 1 \mathrm{H}$ 情報をもとにグラフ検索によりチャンクを取得する. 取得したすべてのチャンクをリランクしてプロンプトを作成し，LLMへ入力することで文脈に沿った回答を得る. 実験の結果, ベースラインと比較して回答の忠実性とコンテキストの関連性の向上を確認した. 本稿では現時点での限界と今後の展開について述べる.

## 2 関連研究

RAG における文書の検索前，埋め込み時，検索後の各プロセスごとに様々な手法が提案されている [2]. 検索前の処理としてテキストから不必要な情報の除去，メタデータの導入，仮説質問の導入，キーワード検索やセマンティック検索との組

図 2 提案手法の全体図

み合わせなどの手法が存在する [2]. RAGにおける質問応答，会話，ツール検索などの多様なタスクに統一的に対応可能な埋め込みモデルとして， LLM-Embedder [3] が提案されている. 検索後の処理では，コンテキストの最初か最後に関連情報が出現すると性能が高くなることが明らかになっており [4], オープンソースライブラリの HeyStack 等でリランクのモジュールとして実装されている [5]. その他, 各プロセスで様々な手法が提案されているが，いずれもユーザの質問に答える上で必要な情報は質問に類似するという前提であり，これに対して本研究ではチャンク間の意味的関係や構造情報を加味した検索を導入する。

## 3 提案手法

本研究の提案手法の全体図を図 2 に示す. 橙色で着色した箇所は図 1 から新たに追加された機能である. 提案手法による RAG の拡張は主に次の 3 点であり，本章で説明する。

1. 文書のチャンクに基づく知識グラフの構築

2. ベクトル DB とグラフ DB のハイブリッド検索

3. 検索結果のリランク

## 3.1 文書のチャンクに基づく知識グラフの 構築

RAG では外部文書をデータベースに取り込む際，一定のトークン長からなるテキストの塊（チャンク）に分割し，チャンクごとに埋め込みべクトルを生成する. 本研究では，このチャンクのテキストから知識グラフを構築する。

## 3.1.1 知識グラフのスキーマ

文から主語，述語，目的語の三つ組み（トリプル）を抽出して知識グラフを構築すると，二項関係

図 3 知識グラフのスキーマの一部

以上の意味を含む文の場合に，時間や場所などの重要な情報が欠落する. 本研究ではナレッジグラフ推論チャレンジ1) $[6,7,8]$ で提供されている知識グラフのスキーマを参考にし，チャンクごとに“Who 誰が”, "Why(いつ)", “Where(どこで)”, “What(何を), “Why(なぜ)”，"How(どのように)” の 5W1H 情報と， “Predicate(述語)”を記述する。

また，チャンク間の意味的な関係を記述するために Discourse Relation (談話関係) を使用する。談話関係の語彙体系として OLiA Annotation Model for PTDB relations (以降 PDTB オントロジー) [9] を使用する. これは，談話関係のアノテーションデータセット Penn Discourse Treebank [10] で使用されている談話関係語彙のオントロジーであり，談話関係クラスの階層関係や引数構造が定義されている.

図 3 に構築する知識グラフのスキーマの一部を示す. 知識グラフは Resource Description Framework (RDF) 形式のデータとして構築する. 角丸矩形はクラス，矩形はリテラルを意味する。矢印はプロパティ，白三角矢印は上位クラスを意味する。

## 3.1.25W1H 情報の抽出

$5 \mathrm{~W} 1 \mathrm{H}$ 情報の抽出はイベント抽出の研究としてニュース記事，ウェブページ，物語などを対象に様々な手法が提案されている $[11,12,13]$. しかし, 普遍的に利用可能な実装が公開されていない問題があり，オープンソースの $5 \mathrm{~W} 1 \mathrm{H}$ 抽出器の Giveme5W1H [14] が開発された. 本研究ではまず Giveme5W1H を適用して5W1H 情報の抽出を施行したが，抽出される単語と文節の精度や語彙統制に大きな課題があることが判明した。これは，入力されるチャンクが必ずしも一文の体裁を成していないことが原因の一つである.

そこで，本研究では LLMを用いて Zero-shot Learning で $5 \mathrm{~W} 1 \mathrm{H}$ 情報を抽出した。付録 A の Listing 3 に $5 \mathrm{~W} 1 \mathrm{H}$ を抽出するためのプロンプトを示す. $5 \mathrm{~W} 1 \mathrm{H}$ の内，該当する情報がない場合は答えないように指示し，また，語彙の統制のために可能な限り短い単語を使用するよう指示する。

## 3.1.3 談話関係認識

暗黙的な談話関係認識の包括的な調査 [15] によると，事前学習済みの言語モデルに基づく手法が最先端である事がわかる。しかし，これらの公開済みの実装は，入手に契約を要するデータセットでの学習が必要であり，再利用の障壁が高い．そこで，3.1.2 節と同様に LLM を用いて Zero-shot Learning で談話関係を認識する. 付録 A の Listing 4 に談話関係を認識するためのプロンプトを示す. プロンプトには PDTB オントロジーから抽出した談話関係クラスの内，サブクラスを持たない最下層のクラス名をリストとして組み込む. このリストの中から談話関係を選択することを指示し，可能な限りの語彙統制を図る.

## 3.2 ベクトル DB とグラフ DB のハイブ リッド検索

## 3.2.1埋め込みベクトルの類似度検索

チャンクの埋め込みベクトルの生成に LLMEmbedder [3] を使用する. 質問文についても同様に LLM-Embedder を使用して埋め込みべクトルを生成する。質問文の埋め込みべクトルとべクトル DB に格納されたチャンクの埋め込みべクトルの cosine 類似度を計算し，上位 $k$ 個のチャンクを質問応答に必要なコンテキストとして取得する。提案手法では $k=1$ とする.

## 3.2.2 知識グラフを用いた談話関係の検索

質問文を対象とした談話関係認識とは異なり，質問の意図や背景の推定に近いタスクである。そこで，LLMを用いた Zero-shot Chain-of-Thought プロンプティング [16]により，グラフ検索クエリに使用する談話関係を推定する。 付録 A の Listing 5 にプロンプトのテンプレートを示す. プロンプトには PDTB オントロジーから抽出した談話関係名のリストが組み込まれる。

次に，3.2.1 節で取得したチャンクの ID と推定した談話関係を使用して，知識グラフの検索クエリを作成する. 知識グラフは RDF 形式であるため, 付録 A の Listing 1 に示す SPARQL クエリテンプレー トを使用する。このクエリは，「特定のチャンクとの関係があり，その関係の意味が特定の談話関係クラス，またはその全ての子孫クラス」に該当するチャンクを取得するものである.

## 3.2.3 $5 \mathrm{~W 1 \mathrm{H}$ 情報を用いた知識グラフ検索}

この検索では，些末な情報を捨象してチャンクを表現する $5 \mathrm{~W} 1 \mathrm{H}$ のみを利用することで，類似度検索では取得できない可能性のあるチャンクを補完的に取得する。まず，質問文から抽出した $5 \mathrm{~W} 1 \mathrm{H}$ 情報を部分的に持つチャンクリソースを，一致するトリプル数の降順で取得する. 質問文からの $5 \mathrm{~W} 1 \mathrm{H}$ の抽出方法は 3.1.2 節と同様である. 抽出結果に応じて付録 A の Listing 2 の SPARQL クエリテンプレートを埋める.

## 3.3 検索結果のリランク

このモジュールでは，各検索モジュールで取得したチャンクについて，コンテキストとしてプロンプトに組み込む際の順序を決定する。本研究では, べクトル類似度検索で取得したチャンクと談話関係のあるチャンクを連続して配置する。したがって， べクトル類似度検索 (3.2.1 節) により取得したチャンクのリスト $L_{v}$, 談話関係のグラフ検索 (3.2.2 節) により取得したチャンクのリスト $L_{d}, 5 \mathrm{~W} 1 \mathrm{H}$ のグラフ検索 (3.2.3 節) により取得したチャンクのリスト $L_{w}$ の順序は $L_{v}<L_{d}<L_{w}$ とする.

## 4 実験

ベースライン手法として図 1 の一般的な RAG を使用し，提案手法と性能を比較する。

## 4.1 実験設定

本実験では RAG のパイプラインを end-to-end で評価する ragas $^{2}$ [17] を使用して, 回答の正確性と忠実性，コンテキストの関連性を評価する。ragas は人手で作成されたプロンプトに基づく自動評価フレー ムワークであり，人間による評価の代替として高性能な LLMを使用する. ragas は特に忠実性の評価において高性能であり，人間の予測と密接に一致することが示されている. 本実験では ragas の LLM として GPT-4を使用する.

データセットに Financial Opinion Mining and Question Answering (fiqa) dataset [18] を元に作成された 30 個の質問，Ground truth (GT)，文書のセット ${ }^{3}$ を使用する.

文書のチャンクの最大トークン数は 50 ，オーバー ラップは 0 とする. チャンク及び質問文の埋め込みモデルは LLM-Embedderを使用する. $5 \mathrm{~W} 1 \mathrm{H}$ の抽出に使用する LLM は GPT-3.5 Turbo, 談話関係認識および質問の回答に必要な談話関係の推定には GPT-4 $\mathrm{Turbo}^{4}$ を使用する. 最終的なプロンプトの入力先となる LLM は GTP-4 Turbo を使用する.

## 4.2 実験結果

実験結果を表 1 に示す. 結果として，ベースラインと比較して提案手法では回答の忠実性とコンテキストの関連性が向上することが確認できた. 回答が忠実であるということは，LLM で生成された回答の主張がコンテキストから推測できることを意味する.コンテキストの関連性は，取得したコンテキストのうち, 質問に答える上で関連するコンテキストの割合を意味する。つまり，提案手法は回答に必要な情報をより無駄なく取得し, その結果に忠実に回答する手法と言える。したがって，回答のみでなくその根拠となる情報源を同時に提示する場合に有用であると考えられる。

一方で，回答の正確性はわずかに低下することがわかった. 回答の正確性は, LLM の回答と GT との類似度と, 回答と GT との F1-score の荷重平均を計算している. 提案手法では, 質問時に推定した談話関係を使用して知識グラフ検索を行う際，該当する関係が存在せずチャンクを取得できないケースが

2) https://github.com/explodinggradients/ragas

3) https://huggingface.co/datasets/explodinggradients/ fiqa/viewer/ragas_eval

4) https://openai.com/blog/new-models-and-developer-products-announced-at-devday表 1 実験結果

 \\

提案手法 & 0.445 & 0.389 & 0.486 \\

発生した.これにより, 最終的なコンテキストの量が減少し，正確性の低下に影響する結果になったと考察する. 各モジュールのアブレーションスタディや，言語モデルやリランク手法の違いによる詳細な分析については今後の課題とする.

## 4.3 課題

知識グラフの構築において， $5 \mathrm{~W} 1 \mathrm{H}$ 情報の抽出時にエンティティの統合に課題がある. 本研究では,抽出結果の小文字化やレンマ化など, 最低限の語彙の統制は行ったが，抽出結果は複数トークンからなるサブチャンクであることが多い. したがって， KG のエンティティの統一化が困難なケースが多く発生した.これにより, 質問文から抽出した $5 \mathrm{~W} 1 \mathrm{H}$情報を利用したグラフ検索で十分に効力を発揮できていない.

また，LLMを使用した談話関係認識では結果に偏りがあることを観測した。全談話関係 3372 件のうち，1976 件は juxtaposition であり，一方で hypothesical のように 1 件も存在しない関係がある. データセットとして使用した fiqa は数百から数千文字の比較的短い文書であり, 談話関係が十分に含まれていないことや，チャンク間に談話関係が無いことを正しく認識できていないことが原因として考えられる。これにより，質問から回答する上で必要な知識との談話関係を推定するプロセスにおける結果との整合性が取れず，グラフ検索で取得できるチャンク数が減少している.

## 5 おわりに

本研究では，チャンクから抽出した $5 \mathrm{~W} 1 \mathrm{H}$ 情報やチャンク間の談話関係を元に知識グラフを構築し，埋め込みベクトル類似度検索とグラフ検索を組み合わせたRAG 手法を提案した. これにより，回答の忠実性とコンテキストの関連性が向上することを確認した. 今後, より詳細な実験を追加するとともに，明らかになった課題を解決する。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{H} 04168,22 \mathrm{~K} 18008$, $23 \mathrm{H} 03688$ の助成を受けたものです.成果の一部は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 JPNP20006 の結果得られたものです.

## 参考文献

[1] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc., 2020.

[2] Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, and Haofen Wang. Retrieval-Augmented Generation for Large Language Models: A Survey, December 2023. arXiv:2312.10997 [cs].

[3] Peitian Zhang, Shitao Xiao, Zheng Liu, Zhicheng Dou, and Jian-Yun Nie. Retrieve Anything To Augment Large Language Models, October 2023.

[4] Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, and Percy Liang. Lost in the Middle: How Language Models Use Long Contexts, November 2023. arXiv:2307.03172 [cs].

[5] Vladimir Blagojevic. Enhancing RAG Pipelines in Haystack: Introducing DiversityRanker and LostInTheMiddleRanker, August 2023.

[6] Takahiro Kawamura, Shusaku Egami, Koutarou Tamura, Yasunori Hokazono, Takanori Ugai, Yusuke Koyanagi, Fumihito Nishino, Seiji Okajima, Katsuhiko Murakami, Kunihiko Takamatsu, Aoi Sugiura, Shun Shiramatsu, Xiangyu Zhang, and Kouji Kozaki. Report on the First Knowledge Graph Reasoning Challenge 2018. In Xin Wang, Francesca Alessandra Lisi, Guohui Xiao, and Elena Botoeva, editors, Semantic Technology, Lecture Notes in Computer Science, pp. 18-34, Cham, 2020. Springer International Publishing.

[7] Takahiro Kawamura, Shusaku Egami, Kyoumoto Matsushita, Takanori Ugai, Ken Fukuda, and Kouji Kozaki. Contextualized Scene Knowledge Graphs for XAI Benchmarking. In Proceedings of the 11th International Joint Conference on Knowledge Graphs, IJCKG '22, pp. 64-72, New York, NY, USA, February 2023. Association for Computing Machinery.

[8] Kouji Kozaki, Shusaku Egami, Kyoumoto Matsushita, Takanori Ugai, Takahiro Kawamura, and Ken Fukuda. Datasets of mystery stories for knowledge graph reasoning challenge. In Proc. Joint Workshops Tutorials 20th Eur. Semantic Web Conf.(ESWC), Vol. 3443, pp. 1-15, 2023.

[9] Christian Chiarcos. Towards interoperable discourse annotation. Discourse features in the Ontologies of Linguis- tic Annotation. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 4569-4577, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[10] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Nicoletta Calzolari, Khalid Choukri, Bente Maegaard, Joseph Mariani, Jan Odijk, Stelios Piperidis, and Daniel Tapias, editors, Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[11] Rasha Ali and Ban Sharief Mustafa. A Survey on Event Extraction from Webpage. In 2022 8th International Conference on Contemporary Information Technology and Mathematics (ICCITM), pp. 159-164, August 2022.

[12] Wei Xiang and Bang Wang. A survey of event extraction from text. IEEE Access, Vol. 7, pp. 173111-173137, 2019.

[13] Brenda Santana, Ricardo Campos, Evelin Amorim, Alípio Jorge, Purificação Silvano, and Sérgio Nunes. A survey on narrative extraction from textual data. Artificial Intelligence Review, Vol. 56, No. 8, pp. 8393-8435, August 2023.

[14] Felix Hamborg, Corinna Breitinger, and Bela Gipp. Giveme5w1h: A universal system for extracting main events from news articles. In 7th International Workshop on News Recommendation and Analytics, pp. 35-43, 2019.

[15] Wei Xiang and Bang Wang. A Survey of Implicit Discourse Relation Recognition. ACM Computing Surveys, Vol. 55, No. 12, pp. 258:1-258:34, March 2023.

[16] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. Advances in neural information processing systems, Vol. 35, pp. 22199-22213, 2022.

[17] Shahul Es, Jithin James, Luis Espinosa-Anke, and Steven Schockaert. Ragas: Automated evaluation of retrieval augmented generation, 2023.

[18] Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk, and Alexandra Balahur. Www'18 open challenge: Financial opinion mining and question answering. In Companion Proceedings of the The Web Conference 2018, WWW '18, p. 1941-1942, Republic and Canton of Geneva, CHE, 2018. International World Wide Web Conferences Steering Committee.

## A 付録

Listing 1 特定のチャンクと特定の談話関係にあるチャンクを取得する SPARQL クエリのテンプレート

PREFIX rdf: <http://www.w3.org/1999/02/22-rdfsyntax-ns\#>

PREFIX ex: <http://example.org/>

PREFIX pdtb: <http://purl.org/olia/discourse/ discourse.PDTB.owl\#>

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema \#>

SELECT DISTINCT ?chunk ?text WHERE \{

\{

?relation pdtb:hasArg1 ex:\{chunk_id\} .

?relation pdtb:hasArg2 ?chunk.

?chunk rdfs:label ?text .

?relation pdtb:hasSense ?sense.

?sense rdfs: subClassoft ?sense 2 .

?sense2 rdfs:label "\{discourse_relation \}".

\}) UNION \{

?relation pdtb:hasArg2 ex:\{chunk_id\}.

?relation pdtb:hasArg1 ?chunk .

?chunk rdfs:label ?text .

?relation pdtb:hasSense ?sense.

?sense rdfs: subClass0f* ?sense 2 .

\}

?sense2 rdfs:label "\{discourse_relation\}" .

\}

Listing $25 \mathrm{~W} 1 \mathrm{H}$ をとにチャンクを取得する SPARQL クエリのテンプレート

PREFIX rdf: <http://www.w3.org/1999/02/22-rdfsyntax-ns\#>

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema \#>

PREFIX ex: <http://example.org/>

SELECT ?chunk ?text WHERE \{

?chunk rdf:type ex:Chunk .

?chunk rdfs: label ?text .

\# (start) Adding based on extraction results

optional \{ ?chunk ex:\{who||when||where||what|| why||how||predicat \} \{variable\}.

filter $(\{$ variable $\}=$ ex:\{whol|when||where||what ||why||how||predicat \})

\# (end) Adding based on extraction results

\} ORDER BY DESC(?who) DESC(?predicate) DESC(?what) DESC(?when) DESC(?where) DESC(?why) DESC(?how )

Listing 3 テキストから $5 \mathrm{~W} 1 \mathrm{H}$ 情報を抽出するプロンプトのテンプレート

Extract the information "who, „when, „where, „why, how, „what,_and_predicate" from the following text.
* Please answer with the minimum number of words required.
* If the appropriate word is not in the provided text, answer "none".
* The output must be JSON format.

Text

\{\}

Answer:

Listing 4 チャンク間の談話関係を認識するプロンプトのテンプレート

Select the discourse relationship between the following two texts from the list.

Output only the words in the list and no other description of any kind.

Text 1: \{\}

Text 2: \{\}

List of discourse relations: \{\}

Answer:

Listing 5 質問の応答に必要な談話関係を推定するプロンプトのテンプレート

What discourse relations are included in the appropriate knowledge to answer the question, "\{question\}"

Select a discourse relationship from the list below.

The list of discourse relations: \{vocabularies\}

Answer:' Lets think step by step.</s>

\author{
年)
}


# 大規模言語モデルによる cross-lingual transfer の性能評価

田代雄介 ${ }^{1}$ 山口流星 ${ }^{1}$ 鈴木彰人 ${ }^{1}$ 辻晶弘 ${ }^{1}$
1 株式会社 三菱 UFJトラスト投資工学研究所
\{tashiro,yamaguchi, suzuki, tsuji\}@mtec-institute.co.jp

## 概要

近年、大規模言語モデルの発展が著しく、自然言語生成の様々な研究が進展している。一方、識別夕スクなどの自然言語理解への大規模言語モデルの応用はあまり研究が活発ではない。本研究では、言語識別タスクの中でもモデルの多言語性能が重要である cross-lingual transferについて、サイズや学習データが異なる複数のモデル・設定を用いて、大規模言語モデルの性能を評価する。実験の結果、ター ゲット言語のデータがない zero-shot 設定でもモデルの大規模化により転移される知識が増加すること、 F1-score の上昇には大規模言語モデルでも few-shot による少量のターゲット言語を必要とすることなどが分かった。

## 1 はじめに

近年、ChatGPT やLlama2[1]をはじめとする大規模言語モデル (LLM) が急速に発展している。それにともない、自然言語生成 (NLG) の様々なタスクにおいて大規模言語モデルの実用可能性が高まり、活発に研究が行われている。

一方で、大規模言語モデルの自然言語理解 (NLI) タスクに対する応用は、従来の比較的小規模なモデルでも実行可能だったこともあり、自然言語生成夕スクに比べて注目度が低い。だが、自然言語理解夕スクにおいても、モデルや学習データセットの大規模化の恩恵はあると思われる。特に、近年の大規模言語モデルは多言語化が進んでおり、多言語性能が必要なタスクにおいて、従来のモデルを上回る性能を発揮することが期待される。

そこで本研究では、言語識別タスクにおける cross-lingual transfer について、大規模言語モデルの性能を検証する。cross-lingual transfer とは、ある夕スクにおいてターゲット言語の学習データが少ないとき、リソースが豊富なソース言語の学習データを用いてモデルを学習し、そのモデルをターゲット言語に適用する手法である。本研究では、日英ニュー ス記事のタグ付け問題を対象として、ターゲット言語を日本語、ソース言語を英語とした実験を行い、大規模言語モデルを含む複数モデルの識別性能を比較評価する。

## 2 関連研究

## 2.1 大規模言語モデル

モデル構造や学習手法の発展にともない、パラメータ数が数十億以上の大規模言語モデルが近年活発に研究・公開されている。それらの多くは英語の単言語モデルだが、LLaMA2[1]をはじめとした多言語の大規模言語モデルも登場している。LLaMA2 は約 2 兆トークンの英語中心の多言語テキストを用いて事前学習されたモデルであり、その性能の高さから後発のモデルにおける継続学習にも利用されている。例えば Elyza[2] は、約 200 億トークンの日本語テキストを用いて LLaMA2 の継続学習を行い、日本語タスクにおいて他の大規模言語モデルを上回る性能のモデルの構築を実現している。

## 2.2 大規模言語モデルの自然言語理解タス クへの応用

大規模言語モデルを識別などの自然言語理解タスクに用いるには、大きく 2 つ方法が挙げられる。 1 つは生成モデルとして利用する方法である。例えば識別タスクを解く場合、「以下の文章が ESG に関連する場合は 1 , そうでなければ 0 と答えよ」という入力を与えることで、識別結果が出力として得られる。

もう1つは、大規模言語モデルに出力層を追加して識別モデルとし、教師あり学習で自然言語理解夕スクを解く方法である。自然言語理解タスクの教師あり学習では、こちらの方がモデルの性能をより引き出せるといわれている。例えば Li et al.[3] は、 LLaMA2 を識別モデルとして用いて識別タスクの教師あり学習を行い、大規模言語モデルを生成モデル

として用いる場合や、BERT などの比較的小規模なモデルを用いた教師あり学習と比べて、高い識別精度が得られることを報告している。

## 2.3 Cross-lingual transfer

cross-lingual transfer は、豊富なソース言語の情報を用いてモデルを学習し、ターゲット言語においてそのモデルを利用する手法である。ターゲット言語の学習データが全くない場合を zero-shot cross-lingual transfer、少量ある場合を few-shot cross-lingual transfer と呼ぶ。多言語の言語モデルは cross-lingual transfer において有効であることが、多くの研究で報告されている。例えば Wu and Mark[4] は、様々なタスクでの multilingual BERT の有効性を示している。

本研究に近い先行研究として、Ye et al.[5] が挙げられる。Ye et al. では学習データが異なる複数の大規模言語モデルについて、含意分析や $\mathrm{QA}$ タスクでの転移性能の比較を行っている。だが彼らは、大規模言語モデルを生成モデルとして利用する形でタスクを解いており、なおかつ他の識別モデルとの比較も行っていないため、モデルの性能を十分に引き出せていない可能性がある。対して、本研究では大規模モデルを識別モデルとして利用し、いくつかのモデルで比較を行う。さらに、zero-shot や few-shot など複数パターンでの比較を行う。

## 3 実験設定

## 3.1 目的

本研究では、表 1 に示す 5 つのベースモデルを用いて、2つの Research Question(RQ)を検証する1)。

RQ1: 多言語モデルにおける事前学習テキスト量やモデルサイズは、cross-lingual transfer での転移性能にどのような影響を与えるか

多言語モデルが大規模になり、また事前学習におけるテキスト量も増えると、転移性能が向上することが期待される。そこで、大規模言語モデル ELYZA と小規模な mBERT の転移性能を比較することで、 モデルサイズの影響を確認する。また、事前学習に大量の日本語データを用いている ELYZA と、相対的に日本語データが少ない Llama2 を比較することで、ターゲット言語の事前学習テキスト量が転移性能に与える影響を確認する。

RQ2: few-shot cross-lingual transfer の有効性は、大規模言語モデルとそれ以外で異なるかどうかターゲット言語のデータ量が少量のとき、多言語モデルでの few-shot cross-lingual transfer が単言語モデルの学習に比べて有効であることは、小規模な言語モデルでは示されている。一方で、その有効性が大規模言語モデルにおいてどうなるのかは明らかではない。そこで、多言語大規模モデルである ELYZA の few-shot transfer と単言語大規模モデルである OpenCALM での学習の比較を行い、さらに小規模モデルである mBERT の few-shot transfer と BERT の比較も行うことで、大規模モデルでの few-shot transfer の有効性を確認する。

表 1 ベースモデル一覧。「token 数」の列は学習データにおける日本語 token 数を表す。

## 3.2 タスク設定

多言語の自然言語理解タスクとして、本研究では日英ニュースのタグ付けを考える。タグ付けは、与えられたニュース文章が指定したカテゴリに属するかどうかを判別してタグを付与する二値分類タスクである。本研究では、金融ニュースベンダー である LSEG 社が提供しているロイター・ニュー ス・アーカイブ (Machine Readable News) における Headline（見出し）データをニュースデータとして用い、金融領域で注目度が高い ESGトピックの夕グ付与を対象とした分析を行う。タグの正解データは、提供データにあらかじめ付与されているタグをベースとして人手で補正したものを用いる。

本研究では zero-shot transfer, few-shot transfer 両方の検証のために、表 2 に示す複数のデータパターンを用いる。zero-shot cross-lingual transferには日本語データが 0 件の「ja0」、few-shot cross-lingual transfer には日本語データが 16 件の「ja16」、104 件の「ja104」 がそれぞれ対応しており、各べースモデルについてデータパターンに応じた 3 種類のモデルを学習することで、zero-shot と few-shot 両方での評価を行う。 なお、データ作成においては、学習データは 2021 年 4 月〜2022 年 4 月、テストデータは 2022 年 8 月〜

2022 年 10 月のニュースから、ラベルの正負が 1:1 の均衡データになるようそれぞれサンプリングした。

表 2 実験データの件数パターン。なお、単言語モデルを学習する際は英語データを用いず日本語データのみで行う。

## 3.3 学習方法

各言語モデルの fine-tuning では、モデルの出力部分に 2 值分類を行う head-layer を付与し、クロスエントロピー損失最小化による学習を行う。表 1 に示すモデルのうち、大規模言語モデルの fine-tuning には、効率的なパラメータ学習手法の一種である LoRA[11] を用いる。一方、表 1 でのサイズが小のモデルについては全パラメータの学習を行う。エポック数は 10 と設定し、学習率は大規模言語モデル $5 \times 10^{-4}$ 、それ以外のモデル $5 \times 10^{-5}$ を初期值として線形に減衰させた $\left.{ }^{2}\right)$ 。また、実験は乱数を変えてそれぞれ 3 回行い、平均値での評価を行った。

## 4 実験結果

表 3 各モデルの F1-score (括弧内は標準偏差)

## 4.1 RQ1: 多言語モデルにおける事前学習 テキスト量やモデルサイズの影響

本節では多言語モデルである ELYZA, Llama2, mBERT について、分類精度の評価を行う。評価指標としては、各モデルの絶対的な分類精度を表す

2）ただし学習率 $5 \times 10^{-4}$ だと学習が進まなかった OpenCalm+ja16 の組み合わせのみ、学習率は $7 \times 10^{-3}$ と設定した。表 4 各モデルの AUROC (括弧内は標準偏差)

$
\text { データパターン }
$

F1-score、各モデルのサンプル間の相対的な分類精度を表す AUROC の 2つを用いる。F1-score での評価結果が表 3、AUROC での評価結果が表 4 である。

まず zero-shot の「ja0」での F1-score を比較すると、ELYZA と mBERT での値はほぼ同等であり、 Llama2 は両モデルをやや下回っている。一方で、 AUROC の比較では、ELYZA, Llama2 の值が mBERT を大きく上回っていることが見てとれる。このことから、大規模言語モデルでの zero-shot transfer により得られたモデルは、絶対的な分類精度は高くないものの、テストサンプル間の相対評価の性能が優れているといえる。相対評価の性能が優れているということは、モデルが ESG 関連の日本語とそうでない日本語を区別できていることを意味しており、英語データのみを用いた学習でも日本語の意味を捉えたモデルが得られていると考えられる。他方、絶対的な分類精度が低いということは、入力が ESG 関連かどうかの識別境界を適切に決められていない。言い換えると、zero-shot では知識自体の転移はできても識別境界の転移が難しいことを示唆している。

続いて few-shotである「ja16」「ja104」での結果を確認すると、ELYZA, Llama2 の F1-score が mBERT を上回っており、絶対的な分類精度での転移性能が向上している。このことは、少量の日本語データが識別境界を決めるための助けとなったことを意味している。一方で AUROC に注目すると、どのモデルでも「ja16」「ja104」での結果は「ja0」での結果と大差なかった。つまり、日本語データの少量追加は相対評価の性能の向上には繋がらず、zero-shot からの知識自体の上積みはほぼなかったと考えられる。 なお、大規模言語モデルである ELYZA と Llama2

の間にはスコアの差がほぼなく、事前学習における日本語データ量の転移性能への影響は確認できなかった。今回の ESG 識別タスクは難易度が高くないため、Llama2 の事前学習に用いられた日本語デー タでも十分だったのであろう。

## 4.2 RQ2: few-shot cross-lingual transfer における多言語モデルの優位性

本節では多言語モデルである ELYZA, mBERT の few-shot tranfer での性能と、単言語モデルである OpenCALM, BERT の少量日本語データで学習したときの性能を比較する。表 3 の「ja16」「ja104」 のデータパターンでの結果を見ると、ELYZA が OpenCALMを 0.103,0.076だけそれぞれ上回っている。また mBERT が BERT を $0.080,0.061$ それぞれ上回っている。つまり、多言語モデルでの few-shot transfer の優位性は、モデルが大規模かどうかを問わずにはっきりと見てとれる。単言語モデル同士の比較では OpenCALM の精度が BERT を上回っており、大規模化の効果を受けているが、同時に ELYZA の転移性能も大規模化により mBERT 対比で向上したため、few-shot transfer の優位性はあまり変わらなかったのだといえる。なお、表 4 の AUROC での比較結果も同様であり、few-shot での優位性は評価基準を問わないことが見てとれる。

## 4.3 解釈性

前節の評価で、zero-shot での学習でも大規模言語モデルは日本語知識を学習できていそうなこと、 few-shot での追加日本語データは知識に寄与をあまりもたらしていないことが示唆された。本節ではこのことの定性的な裏付けのために、解釈性ツールの一種である LIT[12]を用いて LIME[13] による寄与度評価を行い、モデルがどのような根拠で識別を行っていたかを調査する。LIME は個々の予測結果に関する局所的な解釈を与える手法であり、各テストデータの識別における各 token の寄与度を出力する。この寄与度を全テストデータについて計算した後に、 token 毎の寄与度平均を算出する。この寄与度平均が高いほど、識別に影響している token であることを意味する。cross-lingual transfer の性能が良いモデルは、ほとんど英語のみの学習データを用いていても、ESGに関連する日本語 token の寄与が高いことが期待される。

分析対象のモデルとしては ELYZAを利用し、表 2 の各データパターンについて平均寄与度上位の token を比較する。比較結果を示したのが表 5 である。まず英語データのみを用いた「ja0」の列を見ると、エネルギー、環境、炭といった ESG 関連と思われる日本語 token が寄与度上位にきている。このことから、zero-shot でもモデルが日本語の ESGに関する知識を学習できているという前節での主張が、定性的にも裏付けられる。また、 3 つのデータパター ンを比較すると、寄与度上位の token にほぼ差が見受けられない。このことは、日本語データの少量追加による識別性能への影響が小さいことを意味しており、やはり前節での結果と整合的である。

一方で、「ja104」の 8 10 位には「削」「油」「債」 といった他 2 つのモデルでは上位に出てこなかった token が並んでおり、日本語データを加えた学習により、モデルが捉える語句が一部変化している。このことから、若干ではあるが、英語データからは捉えられない知識を日本語データが有していた可能性が示唆される。

表 5 学習データパターン別の平均寄与度上位 token 比較

## 5 おわりに

本研究では、ニュースタグ付けタスクにおける cross-lingual transfer について大規模言語モデルの性能評価を行った。実験の結果、モデルの大規模化により zero-shot で転移される知識が増加することが確認された。一方で、絶対的な識別精度の上昇のためには大規模言語モデルにおいても少量のターゲット言語を必要とするという結果も得られ、大規模言語モデルが常に転移性能を向上させるわけではないことも分かった。今後の課題としては、別の様々な夕スクについて同様の結果が得られるかの検証が挙げられる。

## 免責事項

本稿の見解は著者個人のものであり，筆頭著者の所属する組織の公式見解を示すものではない。

## 参考文献

[1] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[2] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-llama-2-7b, 2023.

[3] Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, Jing Li, Fu-lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised llama finetuning. arXiv preprint arXiv:2310.01208, 2023.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of bert. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, 2019.

[5] Jiacheng Ye, Xijia Tao, and Lingpeng Kong. Language versatilists vs. specialists: An empirical revisiting on multilingual transfer ability. arXiv preprint arXiv:2306.06688, 2023.

[6] ELYZA-japanese-Llama-2-7b-fast-instruct. https://huggingface.co/elyza/

ELYZA-japanese-Llama-2-7b-fast-instruct.

[7] Llama-2-7b. https://huggingface.co/meta-llama/ Llama-2-7b.

[8] mBERT (bert-base-multilingual-cased). https:// huggingface.co/bert-base-multilingual-cased.

[9] OpenCALM-7B. https://huggingface.co/ cyberagent/open-calm-7b.

[10] BERT (bert-base-japanese-v2). https://huggingface . co/cl-tohoku/bert-base-japanese-v2.

[11] Edward J Hu, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, et al. Lora: Lowrank adaptation of large language models. In International Conference on Learning Representations, 2021.

[12] Ian Tenney, James Wexler, Jasmijn Bastings, Tolga Bolukbasi, Andy Coenen, Sebastian Gehrmann, Ellen Jiang, Mahima Pushkarna, Carey Radebaugh, Emily Reif, and Ann Yuan. The language interpretability tool: Extensible, interactive visualizations and analysis for NLP models, 2020.

[13] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "why should I trust you?": Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016, pp. 1135-1144, 2016.


# 様々な災害ドメインのクロノロジーに対する優先度推定

孝壽真治 1 竹内孔一 ${ }^{2}$
渡邊暁洋 ${ }^{3}$ 平山隆浩 4 中尾博之 ${ }^{5}$
1 岡山大学大学院環境生命自然科学研究科 2 岡山大学学術研究院環境生命自然科学学域
3 兵庫医科大学危機管理医学講座 4 岡山大学学術研究院医歯薬学域
5 大阪行岡医療大学医療学部理学療法学科
s-kouju@s.okayama-u.ac.jp takeuc-k@okayama-u.ac.jp
ph-akihiro@s.okayama-u.ac.jp ce-hirayama@okayama-u.ac.jp
nakaonakaokobe@yahoo.co.jp

## 概要

災害対策本部では連携機関からの報告や要請をもとに，その優先度に応じて医療リソースの分配を決定している. これらの要請などは時系列形式の文書としてまとめたクロノロジーと呼ばれる形式で記録される. 本研究では，クロノロジーの優先度を推定する機械学習モデルを構築し，学習データとは異なる災害で作成されたクロノロジーにおける優先度の推定精度を検証する。実験の結果，GPTNeoX-3.6b を利用したモデルが，学習データとは異なる災害のクロノロジーの優先度推定において，特に有効であることが明らかとなった。

## 1 はじめに

災害が発生すると，災害対策本部には連携する病院や診療所と様々な情報のやり取りを行う。これらの情報には，各施設の被災状況などの報告と，災害対策本部に対する物資や保険医療に関する支援の要請が含まれる。一方で，災害対策本部が提供できるスタッフや物資には限界があるため，これらのリソースを適切に配分する必要がある。 そのため, 災害対策本部に届く大量の情報を整理して混乱を防ぎ，連携機関への指示やリソースの分配を適切に行うために，クロノロジーと呼ばれる経時活動記録を作成している.

クロノロジーには災害対策本部と連携機関との間のやり取りを時系列順に全て記録する。そのため， クロノロジーの中には人命に関わるような対応の優先度が高いものと，単なる報告のように災害対策本部が対応する必要性が薄く優先度が低いものが混在している。そのため，災害対策本部の職員はこれら
のクロノロジーの優先順位を判断して災害対応を行っている.

そこで，クロノロジーの優先度を高・中・低の 3 段階で定義し, その優先度を機械学習モデルで推定することで，災害対策本部職員を補助し，負担を軽減して災害対策に専念できるように研究を行う．本研究では特に，特定の災害のクロノロジーで学習したモデルが，他の災害のクロノロジーに対してどの程度優先度を推定できるかを検証する．実験の結果，GPTNeoX-3.6bを利用したモデルが，学習デー タとは異なる災害のクロノロジーの優先度推定において，特に有効であることが明らかとなった。

## 2 関連研究

災害時における文書処理に関連した研究では実システムと結びつけた研究が展開されている. クロノロジーのように時系列で記録する方法をべースに災害情報を共有するシステム「災害ネット」[1]，災害時における Twitter などを含む SNS の情報を活用するシステム「DISAANA」[2] ${ }^{1)}$ ，「高度自然言語処理プラットフォーム」[3] が提案されている。一方で,後者の 2 件は SNS の文書を利用しており，クロノロジーではない．また，前者の研究はクロノロジーを利用しているが，その優先度は推定していないため本研究とは異なる.

さらに，文書の分類の際には文書をべクトル化してニューラルネットワークを用いて識別する手法が近年は一般的となっている．文書のべクトル化手法としては，文書を語彙空間でベクトル化する BoW や，Transformer[4] の Encoder 部分をべースにする BERT[5]，Decoder 部分をべースにする GPT-3[6] や，

1）現在 DISAANA は 2023 年 12 月 28 日に終了した.

オープンソースモデルの GPT-NeoX-20B[7] がある.

クロノロジーの優先度を上記のような文書分類の手法を用いて推定する研究 $[8,9]$ がある. これらの研究では，GPT-NeoX を用いたモデルが優先度の推定において高い性能を示している。また，2 番目の性能を示すモデルが優先度高では BoW，優先度中では BERT と逆転するという特徴が見られることが示されている。一方で，これらの研究では西日本豪雨に対するクロノロジーデータのみを使用しており，学習データとは異なる災害で作成されたクロノロジーに対するモデルの有用性や，豪雨災害以外の災害ドメインにおける有効性については研究がなされていない.

そこで本研究では，先行研究 [9] で提案したモデルを基にして，西日本豪雨のクロノロジーを用いて学習を行い，モデルを構築する. そして，豪雨災害ドメインで学習したモデルが異なる災害ドメインにおいても有効であることを明らかにする。

## 3 データ

本研究で使用するクロノロジーとその優先度，構築したデータセットについて説明する.

## 3.1 クロノロジー

本研究では，実際の災害において作成されたクロノロジーを使用する．クロノロジーは，災害発生時に災害対策本部でやり取りされる情報に対して，日時・発信者・受信者・報告内容などの項目をホワイトボードに記録したものであり，これは表４のような形式で電子化されている.

## 3.2 優先度

先行研究 $[8,9]$ と同様に災害医療のトリアージの考え方を参考に重要度と緊急度の 2 つの観点から優先度を分類している. 重要度は生命の危機に関することであれば高いとし，緊急度は時間的猶予が無い場合に高いとする。 そして優先度は，重要かつ緊急度が高いクロノロジーを優先度を高とし, どちらか一方でも高いものを中，どちらも低いものを低として分類する. この基準をもとに， 2 人のアノテー ターが同じクロノロジーに対して優先度を付与し, 2 人の判定の平均をそのクロノロジーの優先度としている.

## 3.3 データセット

先行研究 [9] では西日本豪雨 (2018 年) におけるクロノロジーを用いて実験を行った。本研究では，新たに熊本豪雨 (2020 年)，熊本地震 (2016 年)，北海道胆振東部地震 (2018 年) の 3 つのクロノロジー データを用いてデータセットを構築する．各クロノロジーにおける優先度の内訳とデータの件数は表 1 である.

表 1 実験に使用するデータの優先度の内訳

 & 熊本豪雨 & 熊本地震 &  \\

* データの件数 (割合) の形式で記載する

なお，実験ではクロノロジーの内容の項目部分のみを使用するため，実験用のクロノロジーデータセットはクロノロジーの内容のテキストとアノテー タが付与した優先度ラベルの組である.

## 4 検証モデル

本研究では, 先行研究 [9] の提案モデルを基にした以下の 4 つのモデルを構築する.

## 4.1BoW を利用したモデル

先行研究 [9] と同様に 3 層ニューラルネットワー クを用いる。中間層のユニット数を入力層に近い方から順に，300，100 とし，出力層のユニット数は 3 とする. 入力層のユニット数は BoW の語彙数と同じだが，本研究では先行研究と比較して語彙数が増加している。これは，先行研究では西日本豪雨のみのデータを扱っていたのに対して，本研究では複数の災害ドメインのデータを扱うためである。このモデルは実験結果の表では BoW と表記する。

## 4.2 BERT を利用したモデル

本研究では, 東北大学が作成した事前学習済み BERT $^{2}$ )を利用したモデルを 2 種類構築する. 1 つ目は，先行研究 [9] と同様に [CLS] トークンに対応する埋め込みを BERT の最終層から 4 層使用するモデルである. このモデルではクラス分類用の層と BERT の最終 4 層のパラメータのみを更新して学習

2) https://huggingface.co/cl-tohoku/bert-base-japanese-wholeword-masking 2024/1/5 アクセス

を行う．このモデルは実験結果の表では BERT-last4 と表記する。

2 つ目は，BERT の全ての"query", "key", "value" の全結合層に対してランク8 の LoRA[10] モジュー ルを導入し，LoRAチューニングを行うモデルである. クラス分類には最終層の [CLS]トークンに対応する埋め込みを用いる. このモデルは実験結果の表では BERT-LoRA と表記する.

## 4.3GPTNeoX-3.6b を利用したモデル

先行研究 [9] と同様に, rinna 株式会社が作成した事前学習済み GPTNeoX-3.6b ${ }^{3}$ を利用したモデルを構築する. GPTNeoX-3.6b の全ての”"query_key_value" の全結合層に対してランク 8 の LoRA モジュールを導入し，LoRAチューニングを行うモデルである. クラス分類には最終層の [EOS] トークンに対応する埋め込みを用いる.このモデルは実験結果の表では GPTNeoX-3.6b と表記する.

## 5 実験

本実験では，西日本豪雨のデータを用いて学習を行い，西日本豪雨以外の豪雨災害や異なる災害ドメインである地震のデータにおけるモデルの有効性について検証する。

## 5.1 実験設定

本実験では，4章の 4 つのモデルに対して，西日本豪雨を学習に用いてモデルを構築し, その他のデー タセットに対する優先度の推定精度を検証する。

学習に用いた西日本豪雨のデータセットのうち,全体の $\frac{1}{6}$ を開発データとして利用する. 残りのデータを学習データとテストデータに用いて 5-Fold Cross Validation を行う。また，学習に使用していない熊本豪雨, 熊本地震, 北海道胆振東部地震のデー タセットについては，全てのデータをテストデータとして使用する。

## 5.2 学習設定

クロノロジーの優先度ラベルは，高・中・低の 3 段階のクラスなので，順序回帰の手法を用いて学習する. 順序回帰にはいくつかの手法が存在するが [11], 本研究では損失関数の目標出力にソフトラベルを与える手法 [12]を用いた. よって，学習時の損

失関数の目標出力には, 正解クラス $\bar{k}$ とるクラス $k(k=1,2, \ldots, K)$ との距離を $|\bar{k}-k|$ として, 式 (1)で求められる表 2 のようなソフトラベルを与える.

$
d_{k}=\frac{\exp (-|\bar{k}-k|)}{\sum_{i=1}^{K} \exp (-|\bar{k}-i|)}
$

表 2 各優先度における目標出力

全てのモデルにおいて，学習時の損失関数には高・中・低それぞれに対して $4 ・ 2 ・ 1$ の重みを与えて学習した。

また，学習では以下の停止条件で EarlyStopping を適用する。

・開発データの優先度高・中の $\mathrm{F}$ 值の平均が 10 回更新されなかった場合に停止

-開発データに対する優先度高・中の $\mathrm{F}$ 值の平均が最良の epoch の学習結果を利用する

なお，学習はミニバッチサイズ 16 で実施し，全ての実験において EarlyStopping により学習が停止した.

## 5.3 実験結果

本実験の評価指標には $\mathrm{F}$ 値を用い，実験結果として 5-Fold の各 F 値を平均して百分率表記にした値を表 3 に示す.

表 3 実験 1 : 豪雨ドメインの結果

 & 熊本豪雨 & 熊本地震 &  \\

表 3 の実験結果では, 西日本豪雨データセットの優先度高は BERT-LoRA の F 値が最も高く,北海道胆振東部地震データセットの優先度低は BERT-last4 の F 值が最も高い. それ以外の全ての結果は GPTNeoX-3.6b の F 值が最も高い.

## 6 考察

西日本豪雨は学習に用いたデータのため, そのテストデータに対する推定精度は，全てのモデルにおいて他の災害のデータと比べて顕著に高くなっている.しかし, 今回の実験では西日本豪雨の優先度高の推定結果において, GPTNeoX-3.6b よりも BERTLoRA の方が高く, BoW についで GPTNeoX-3.6b は 3 番目となっている. 先行研究 [9] とは異なり, 優先度高における BoW の性能が GPTNeoX-3.6b よりも僅かに高いが，これは学習データ，開発データ， テストデータの割合を変更したことに加えて，他の災害のデータを扱うために BoW の語彙を拡張したことが影響していると考えられる。また，優先度高において, BERT-last4 の推定精度が低い点は先行研究の結果と同様である.

一方で着目すべき点は，BERT-LoRA の結果が西日本豪雨の優先度高において, BERT-last4 と比べて顕著に向上している点である. LoRA の適用によってさらに学習パラメータ数を抑えつつ, 最終 4 層のみを学習させた際よりも結果が向上している．このことから，BERT はクロノロジーの優先度高の推定において BoW や GPTNeoX-3.6b と同等以上の能力を有しているが，ファインチューニングの手法によっては, BERT-last4 のようにその性能を十分に発揮できない場合があると考えられる。

さらに，本実験において学習に使用したクロノロジーは西日本豪雨のものである. そのため, 同じ豪雨災害である熊本豪雨の方が地震のデータに比べて推定精度高くなると予測が立つが，実際には優先度の高と中の結果ではほぼ全てのモデルにおいて熊本地震の推定精度が高い. 例外として, 北海道胆振東部地震の優先度中の BoW の結果だけは熊本地震よりも高いが，熊本豪雨よりも北海道胆振東部地震の結果が高いため, 豪雨ドメインとは異なる地震ドメインの方が推定精度が高いと言える. また, 西日本豪雨以外のクロノロジーの優先度高と中においては，GPTNeoX-3.6bが常に高い精度となっており，他のモデルと比較して特に汎化性能が高いことがわかる. 一方で, BoW の優先度高は, 学習を行った西日本豪雨では高い精度であるのに反して，その他のデータにおいては非常に低くなっており, 汎化性能に乏しいことが分かる。

これらの点から，災害の種類の違いは推定精度にあまり影響を及ぼさない可能性が示唆されているが，これについては更なる検証が必要である。なぜなら，GPTNeoX-3.6b が西日本豪雨以外のデータで高い性能を示しており, クロノロジーの優先度に関する一般的な知識を獲得できていると考えられるものの，西日本豪雨の優先度高では BERT-LoRA や BoW に劣っている. この原因として, BERT-LoRA や BoW が学習データに対して過学習を起こしている可能性と, 西日本豪雨のクロノロジーが他災害のクロノロジーと比べて特殊な事例が含まれる可能性が考えられる。そのため，西日本豪雨のクロノロジーに特殊な事例が含まれる場合は，災害の種類の違いによる推定精度への影響の評価には更なる検証が必要だといえる.

以上のことから，データセットごとのクロノロジーの特性については，更なる検証が必要であるものの, GPTNeoX-3.6b の汎化性能は他モデルと比較して高いと言える。また，BERTの全層にLORAを適用して学習することで, BERT の最終 4 層のみを学習させる先行研究の BERT モデルのから, 性能の向上が見られた.

## 7 おわりに

本研究では，西日本豪雨災害のクロノロジーデー タを用いてモデルを構築し, 西日本豪雨とは別の豪雨災害や，豪雨災害とはドメインの異なる地震のクロノロジーデータに対するモデルの有効性について検証を行った. 実験の結果, GPTNeoX-3.6bを利用したモデルが，学習データとは異なる災害のクロノロジーの優先度推定において, 特に有効であることが明らかとなった. 一方で，各災害におけるデータセットごとのクロノロジーの特性については更なる検証が必要であり，今後の課題である.

## 謝辞

本研究の一部は厚生労働科学研究費補助金 (21IA2401)(数理最適化モデルによる小学校グリッドに基づく他組織連携システム (MACS) の解析)(略称 A-MACS) に基づいて実施された。

## 参考文献

[1] UNISYS. クロノロジー型危機管理情報共有システム災害ネット, 2022. .

[2] NICT. 対災害 SNS 情報分析システム (DISAANA), 2020. .

[3] NEC. Twitter 上の災害に関する情報をリアルタイムで解析・可視化する「高度自然言語処理プラットフォーム」,2020. .

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. arXiv preprint arXiv:1706.03762, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2018.

[6] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[7] Sidney Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, Usvsn Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, and Samuel Weinbach. GPT-NeoX-20B: An open-source autoregressive language model. In Proceedings of BigScience Episode \#5 - Workshop on Challenges \& Perspectives in Creating Large Language Models, pp. 95-136, virtual+Dublin, May 2022. Association for Computational Linguistics.

[8] 孝壽真治, 竹内孔一, 渡邊暁洋, 平山隆浩, 中尾博之. 災害医療におけるクロノロジーの優先度識別.研究報告情報基礎とアクセス技術（IFAT）, Vol. 2023-IFAT-149 (3), pp. 1-5, 2023.

[9] Shinji Koju, Koichi Takeuchi, Akihiro Watanabe, Takahiro Hirayama, and Hiroyuki Nakao. Estimating task priority in japanese disaster chronology logs. In Proceedings of the 2023 7th International Conference on Natural Language Processing and Information Retrieval, 2023. (In press).
[10] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. CoRR, Vol. abs/2106.09685, , 2021.

[11] 岡谷貴之. 深層学習改訂第 2 版. 講談社, 2015.

[12] Raul Diaz and Amit Marathe. Soft Labels for Ordinal Regression. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

## A 参考情報

表 4 電子化されたクロノロジーの例

*文章の一部を記号に置き換えている


# Ada or Bert：検索における文埋め込み計算手法の比較研究

馬 春鵬松田 寛
株式会社リクルート Megagon Labs, Tokyo, Japan
\{ma.chunpeng, hiroshi_matsuda\}@megagon.ai

## 概要

自然言語処理技術が使われている様々なサービスに、検索が中心的役割を果たしているものが多いが、近年の大規模言語モデルは検索に与えた影響が不明だ。本調査報告書は宿検索に対する文埋め込み計算手法を比較した。文の埋め込みの計算において、従来の BERT モデルと OpenAI 社の新しいモデルのそれぞれの強みと弱みを分析した。

## 1 はじめに

自然言語処理技術の進歩によって、実世界の様々なサービスが自然言語処理を導入しているが、その中でも文埋め込みを用いた意味的な類似性に基づいた検索は重要な役割を担うようになった。また、近年では大規模言語モデルの進歩が注目されている。特に、2022 年 11 月、ChatGPT ${ }^{1)}$ という大規模言語モデルに基づいたチャットボットが公開され、生成 AI のブームが到来した。検索において、この生成 AI ブームの影響はまだ様々な疑問が残されている。例えば、ChatGPT に基づくモデルは検索結果を改善できるか? 従来の手法は今の時代にまだ必要なのか? 実際の応用に焦点を絞ると何が言えるか? 等がある。

本報告書は検索における文埋め込み計算手法を調查する。具体的に、宿検索を題材として、従来手法 （J-BERT と S-BERT、2.1 節を参照）と OpenAI 社の新たな手法（ada-002、2.1 節を参照）を比較し、それぞれの強みと弱みについて分析する。我々の観察から、以下のことがわかった。

・ada-002 は視点の広さと知識量の多さにおいて劣っている。

・ada-002 は逸脱表現に対する受容性において優れている。

これらの観察は宿検索のような特定なタスクにおい
て OpenAI 社の新しいモデルだけでは不十分で、従来の手法はまだ必要であることを示唆している。

## 2 文埋め込みと検索

## 2.1 文埋め込みの計算手法

本研究は宿検索を題材として、以下の三つの計算手法を対象とする。

## 2.1.1 旅行領域に特化した BERT

BERT [1] は近年の人工知能分野に大きい影響力を持っている基盤モデルの一つである。文をモデルに入力すると、モデルの各々の隠れ層はベクトルを出力する。これらのべクトルは文の埋め込みとし、検索を含む様々なタスクに役に立つ。

我々は旅行領域に特化した BERT を作った。具体的には、 4.1 節に記した大量の宿の口コミデータを用いて SentencePiece の vocab 構築と事前学習を行った。さらに、宿の評価文の含意関係に関するタスクでモデルの微調整を行った。このように構築したモデルは宿検索に役に立つ知識を持つと想定する。

以下、このモデルを「J-BERT」と呼ぶ。

## 2.1.2 旅行領域に特化した SentenceBERT

SentenceBERT [2] は文の埋め込み計算のために BERTを改良したものである。簡単に言うと、BERT で二つの文の埋め込みを別々に計算した後、二つの埋め込みを用いて、BERT のパラメーターを微調整する。こうやって学習されたモデルは文の埋め込みの計算に特化され、より良質な埋め込みを計算することが期待できる。前と同様に、我々もこのモデルを旅行領域に特化した。

以下、このモデルを「S-BERT」と呼ぶ。

1) https://chat.openai.com/

## 2.1.3 text-embedding-ada-002

OpenAI 社が提供する文埋め込み計算モデル2)。技術詳細は不明だが、検索を含む様々なタスクにおいて良い性能を示している。ただし、このモデルは （本稿執筆時点では）微調整を行なうことはできないため、汎用的検索タスクではないドメイン特化検索タスクでどの程度の性能を示すかは評価する必要がある。

以下、このモデルを「ada-002」と呼ぶ。

## 2.2 文埋め込みに基づいた検索

検索は文埋め込みに基づいて行う。検索は以下のように定義する。

定義 1 (検索). 入力 $Q$ に対して、文書集合 $\mathscr{D}=$ $\left.\{d_{1}, d_{2}, \cdots, d_{m}\right.\}$ から $Q$ に類似度が高い部分集合 $\mathscr{D}^{\prime}(Q) \subseteq \mathscr{D}$ を作る過程は検索と呼ばれる。ただし、 $d_{i}(1 \leq i \leq m)$ と $Q$ は自然言語の文であり、 $\left|\mathscr{D}^{\prime}(Q)\right|<<m$ である。

本研究にコサイン類似度を採用した。文書 $d$ とクエリ $Q$ のそれぞれの埋め込みを $\mathrm{emb}(d)$ と $\mathrm{emb}(Q)$ とし、コサイン類似度は以下の式で計算する。

$
\operatorname{sim}(d, Q)=\frac{\operatorname{emb}(d) \cdot \operatorname{emb}(Q)}{\|\operatorname{emb}(d)\|\|\operatorname{emb}(Q)\|}
$

## 3 クエリの分類体系

検索結果の質は顧客の入力（即ち、クエリ）に大いに依存しているので、検索におけてモデルの性能を比較するために、様々な尺度によってモデルを評価する必要がある。本節はクエリの分類体系を作り、実際に使われたクエリの一覧は表 2 を参照。

## 3.1 尺度 1：視点の広さ

一番重要な尺度は「視点の広さ」である。直感的に、もしモデルがクエリを全て読み込んで、クエリ全体の意味を解釈した上で検索すると、良い検索結果が期待できる。逆に、もしモデルがクエリの一部しか解釈しないと、検索結果の質はあまり期待できない。このように、クエリから読み取るべき顧客の意図を検索結果にどのくらい反映できているかを表すのは「視点の広さ」という概念である。

定義 2 (視点). クエリに対するモデルの視点とは、 モデルが検索を行う際、実際に使った単語の数である。クエリ $Q=\left(w_{1}, w_{2}, \cdots, w_{n}\right)$ に対して、モデル

$M$ が $W \subseteq Q$ を使って検索を行った場合、クエリ $Q$ に対するモデル $M$ の視点は $|W|$ である。

モデルの視点の広さを評価するために、長いクエリが理想的である。なぜなら、クエリが長くなると、より多くのトピックを適切に捉えること、トピックの組み合わせから適切なランキングを行うことが求められるからである。視点の狭いモデルは、 ごく少数の単語の表層的な類似性を重視する傾向があり、クエリの全体的な意味が無視されて、検索結果の適合性が低下する。長いクエリの作成は次のような観点で行った。

・長い修飾をつけること

・理由をつけること

・明示的否定を加えること

・婉曲な打ち消し表現を加えること

・無意味な単語を入れること

## 3.2 尺度 2：知識量の多さ

J-BERT の事前学習では大量の旅行ドメインのテキストを用いており、旅行ドメインに関する知識が埋め込みとして学習されていることが期待できる。 モデルの知識量を評価するため、常識的知識のみならず、特定分野（特に検索タスク）の知識量の多さが知りたい。そのため、クエリに特定分野の知識に関する質問を加えると、もしモデルがその知識を知らない場合、検索結果が間違ってしまう。

我々は日本にある宿の検索タスクに注目するため、以下の三つの知識に対してモデルの知識量を評価する。
- 宿関連の知識
- 地理・文化の知識

-日本独自の知識

## 3.3 尺度 3：逸脱表現に対する受容性

顧客の意図を汲んだ検索結果を得るためには、単なる文字列ベースの検索では不十分であり、クエリの意味を解釈することが必要不可欠である。そのためには、日本語の様々な文章表現（特にレアケー ス）に対する受容性・頑健性が求められている。大規模言語モデルは事前学習時に大量の日本語テキストから、基本的な語彙や表現の解釈は可能になっている。難しいのはインフォーマルな表現を受け入れるかどうかである。それを評価するために、逸脱表現をクエリに入れる必要がある。具体的に、三つの
逸脱表現が用いられている。

・イレギュラーな日本語表現

・顔文字と絵文字

・英単語や横文字が散らばっている表現

## 4 実験

## 4.1 実験設定

宿検索用データ検索対象はじゃらん 3 に掲載されている日本全国の宿である。それぞれの宿に対して、検索する際に使われたデータはロコミのみである。宿の口コミは文単位に分割され、それぞれの文を検索対象とする。このデータは J-BERT と S-BERT の学習時にも使われた。

比較用クエリ第 3 節にクエリの分類体系を説明した。その分類体系のぞれぞれのカテゴリに、クエリを2つずつ作成した。使われたクエリの一覧は表 2 にある。

効率的検索用ツール検索する際、埋め込みの類似度を効率的に計算するために、vecscan ${ }^{4}$ が使われている。

## 4.2 実験結果

クエリの分類体系にあるそれぞれの尺度に対し、代表的なクエリを一つずつ選び、上位 3 個の口コミ検索結果を表 1 に記載する。5)

## 4.2.1 視点の広さに関する評価

視点の広さを評価するために使われたクエリの例は「寝る前に美しい夜景を楽しめる高層階に部屋をアップグレードできるホテル」である。このクエリの核心的要望は「高層階」であり、それ以外の「夜景」や「アップグレード」などは修飾用単語であるため、検索結果に「高層階」があることが望ましい。 J-BERT と S-BERT の検索結果にある全てのホテルのロコミに、「高層階」や「最上階」といった表現があり、良い結果と言える。一方、ada-002 の検索結果に、例えば、 1 番目と 2 番目の口コミは共に「高層階」とは関係なく、修飾用の「夜景」や「アップグレード」だけがある。よって、このクエリに対して、ada-002 の検索結果は他の二つのモデルに劣っ

3) https://www.jalan.net

4) https://github.com/megagonlabs/vecscan

5）実際に検索結果は宿のリストとなる。宿のスコアには該当するロコミ文の上位 3 件のスコアの重み付き平均を使用している。
ていることが分かった。

## 4.2.2 知識の多さに関する評価

視点の広さを評価するために使われたクエリの例は「延泊料金が安い宿」である。「延泊」は旅行領域の専門用語だが、特に「宿泊代」との違いについて区別されることが重要である。

検索結果が良好だったのは S-BERT である。 S-BERT の 1 番目は「延泊」という表現が含まれ、2 番目にも「延泊」とそれに近い「連泊」といった表現が含まれ、良い結果である。J-BERT の検索結果は少々劣っているが、1番目のロコミにも「延泊」 という単語があり、クエリの要望に満たす。一方、 ada-002 の検索結果にある三軒の宿の口コミは全部「延泊」に無関係であり、宿泊料金は安いが、延泊料金が安いかどうかは結局不明である。

## 4.2.3逸脱表現に対する受容性に関する評価

逸脱表現に対する受容性を評価するために使われたクエリの例は「拙者、潔き室と夜の静寂、また、舌鼓を打つ食事を願う。」である。「拙者」や「潔き」 のような表現は現代日本語に（特に旅行領域のデー タに）滅多に見ないため、モデルがこのような表現を解釈できない恐れがある。

J-BERT も S-BERT もクエリと無関係な検索結果を出した。全てのロコミはクエリのどの部分に対応するかは判別が難しく、クエリはモデルによってうまく解釈されていないことが推測できる。一方、 ada-002 の検索結果の方が遥かに優れている。「潔き室」は「清潔感」という意味で、「舌鼓を打つ」は 「美味しい」という意味であることが知られているようで、ロコミは全てクエリに一致している。

## 4.3 まとめ

本研究の実験結果をまとめる。

・視点の広さにおいて、ada-002 が劣っている。 クエリの核心的要望や打ち消し表現を無視し、修飾・理由・無意味な単語にミスリードされる傾向がある。

・知識量の多さにおいて、ada-002 が劣っている。特定分野の知識が備えていないため、クエリにある特定分野の専門用語を正確に解釈できないことがある。

・逸脱表現に対する受容性において、ada-002が優れている。古文・外国語・絵文字といった一
表 1 検索結果の比較。ロコミだけが記されている。角括弧にある数字は口コミスコアである。

 &  &  &  \\

般的ではない表現を正確に解釈できている。 となった。 ada-002 の強みは逸脱表現に対する受容性だが、宿検索タスクにおいて、古文や絵文字など一般的ではない表現は稀にしか見えないため、その強みを発揮する場があまりない。一方、宿検索タスクにおいては、長いクエリや旅行領域の専門用語が含まれたクエリは非常に重要であるが、このようなクエリに対する ada-002による文埋め込みの性能は相対的に低かった。

## 5 おわりに

本研究は宿検索を題材として、三つの文埋め込み計算手法を比較した。宿検索タスクで重要な「視点の広さ」や「知識の多さ」については J-BERT および S-BERT の文埋め込みが ada-002 のものより優れていた。他方、「逸脱表現に対する受容性」については ada-002 の方が優れていた。総じて、宿検索タスクにおいては従来型の BERT をべースとした文埋め込み手法は ada-002 より実用性に勝ると考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A クエリー覧

表 2 には、モデルを評価するために使われたクエリの一覧が記されている。

表 2 モデルを評価するために使われたクエリの一覧。

 \\