# 引用文脈の類似度に基づく局所的引用論文推薦の改良

田中陸斗 ${ }^{1}$ 杉山弘晃 ${ }^{2}$ 平博順 ${ }^{3}$ 葉原龍生 ${ }^{3}$ 堂坂浩二 ${ }^{1}$
1 秋田県立大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 3 大阪工業大学
\{m24p010, dohsaka\}@akita-pu.ac.jp h.sugi@ieee.org
hirotoshi.taira@oit.ac.jp m1m23a10@st.oit.ac.jp

## 概要

科学技術論文の数が急増する現代において，関連論文の効率的な推薦が重要になっている. 本研究では，科学技術論文の関連研究の章を執筆する際，引用すべき個所が明示された場合，その周囲の文に基づいて適切な引用論文を推薦する局所的引用論文推薦タスクに焦点を当てる．我々は，これまで，対象論文の引用文脈と既存論文の引用文脈の類似度を活用して引用論文を推薦するという引用文脈参照法を提案してきた。この方法には，未引用の論文に対応できないという問題が存在する。本論文では, この問題に対処するために，引用文脈参照法と従来のタイトル・要旨参照の新たな組み合わせ方を提案する．大規模なデータセットを使った評価実験の結果，2つの手法の新たな組み合わせ方により論文推薦の性能が向上することが示された。

## 1 はじめに

科学技術論文執筆においては，適切な引用を行うことが重要だが，論文出版数の急増により関連研究をすべて把握することが難しくなっており，論文執筆支援の必要性が高まっている.

Narimatsu ら [1] は，研究者の論文執筆における関連研究の引用および生成に関わる統合的な執筆支援を目的として，関連研究に関わる様々な既存のタスクを統合した新たなデータセット構築方法および 5 つのタスクを定義した. 本研究では，この中の引用論文推薦タスクに焦点を当てる.このタスクは，与えられたテキストに基づいて適切な引用論文を推薦するもので，大域的引用論文推薦と局所的引用論文推薦に分類される $[2,3]$. 本研究では, 関連研究の章において，引用を付与すべき個所（引用マーカー） が与えられたときに，引用マーカーの周囲の引用文脈に基づいて，引用すべき論文を推薦する局所的引用論文推薦を扱う.また，用語の定義として，引用
マーカーを含む文と前後の文の 3 文を引用文脈，引用を付与したい引用文脈をもつ論文を対象論文と呼ぶ.

局所的引用論文推薦タスクにおいて，推薦候補となる既存論文のタイトル・要旨を集めたものを論文プールと呼ぶ。２節で説明するように，従来研究では，対象論文の引用文脈と論文プール内の既存論文のタイトル・要旨の間の類似度を計算し，対象論文の引用文脈と類似したタイトル・要旨をもつ論文を推薦するという手法が提案されてきた。この手法をタイトル・要旨参照法と呼ぶ. この手法には論文のタイトル・要旨は容易に収集できるという利点があるが，引用文脈とタイトル・要旨は別の意図で書かれた文章であるため，適切な引用論文を検索できない場合がありえる。

そこで，我々は，ある特定の論文の引用文脈同士は似通っていることが多いことを仮定し，対象論文の引用文脈と既存論文が引用された際の引用文脈の類似度を活用して推薦を行う引用文脈参照法を提案してきた [4]. この手法では，既存論文の引用文脈を引用文脈プールとして収集し，現在着目している対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プールから探して推薦する. 局所的引用論文推薦の従来研究では，タイトル・要旨を使った手法は提案されてきているが，知る限りにおいて，既存論文の引用文脈を収集し，それを活用することに着目した研究はない. ただし, 引用文脈参照法には，過去に一度も引用されたことがない論文は推薦できないというコールドスタート問題が存在する. そこで，以前のアプローチ [4] では，一度も引用されたことがない論文でも推薦候補とするために，夕イトル・要旨法と引用文脈参照を組み合わせた手法を提案した。本論文では，引用文脈参照法とタイトル・要旨参照法を組み合わせる従来の手法をさらに発展させた. 具体的には，タイトル・要旨参照法で推薦論文候補を絞り込んだうえで，その候補に対し

従来手法 [4]

図 1 提案手法

て，タイトル・要旨参照法と引用文脈参照法を組み合わせて推薦論文を選ぶ. また，規模の異なる 2 種類のデータセットによる評価を行い，提案手法の有効性について考察した.

以下において，2 節で関連研究を述べ，3 節で提案手法を示す. 4 節で，データセット並びに評価方法を説明し，評価結果について考察する。

## 2 関連研究

局所的引用論文推薦の従来研究には, 引用文脈と論文間の関係に焦点を当てる研究が多くあり, Sugimoto ら [5] は, 対象論文の引用文脈と推薦する候補の論文のタイトル・要旨の双方を独立に SciBERT[6] で埋め込み，候補の論文をコサイン類似度でランク付けするモデルを提案している。また， Zoran ら [7] は, 論文のタイトルと要旨の他に, 著者や引用数などの情報を組み込むことにより, 引用推薦の性能が向上することを示した. Gu ら [8] は，階層型注意ネットワークを使用したテキスト埋め込みと SciBERT に基づく再ランキングを組み合わせた引用推薦システムを提案した. 論文のタイトル・要旨以外に着目する研究として, Jeong ら [9] は, 引用文脈の埋め込み表現を BERT[10] と GCN[11]を用いて取得し，引用論文推薦に取り入れている.

しかし, 従来研究には著者が引用したい被引用論文が，他の既存論文ではどのような引用文脈で引用されているかに着目した研究は知る限りでは存在しない. 我々の以前の研究 [4] では，対象論文の引用文脈と被引用論文の既存論文における引用文脈の比較を行うことが引用論文推薦に有効であることを示した. 本研究では, 以前の研究を改良した手法を提案する.

## 3 提案手法

本論文では，与えられた引用文脈に対して，類似したタイトル・要旨をもつ論文を取得する手法をタイトル・要旨参照法と呼ぶ. また，我々が新たに提案してきた，対象論文の引用文脈と既存論文が引用された際の引用文脈の類似度を使って引用論文を推薦する手法を引用文脈参照法と呼ぶ [4]. さらに,引用文脈参照法に存在する， 1 度も引用されていない論文は推薦対象にならないというコールドスター 卜問題に対処するため, タイトル・要旨参照法と引用文脈参照法を組み合わせた手法を提案する。

タイトル・要旨参照法この手法は，対象論文の引用文脈と論文のタイトル及び要旨間の類似度を計算し，対象論文の引用文脈と類似したタイトル・要旨をもつ論文を推薦することを目的とする. 本研究では，従来手法である Sugimoto ら [5] の手法を使用する.この手法では，対象論文の引用文脈の埋め込
表 1 データセットの詳細

みべクトルと，正解となる論文のタイトル・要旨の埋め込みべクトルの距離が近くなるようにそれぞれ SciBERTをファインチューニングしている. 推薦時には，対象論文の引用文脈のベクトルと，各論文のベクトル間のコサイン類似度を計算し，高い順に推薦する。

引用文脈参照法この手法は，対象論文の引用文脈と類似した引用文脈をもつ論文を引用文脈プールから探して推薦することを目的とする．引用文脈同士の類似度を比較するために, Sentence-BERT[12](以下 SBERT) を用いてモデルを作成する. 対象論文の引用文脈で引用されている論文と同じ論文を引用している引用文脈を正例とし，引用文脈プール内からランダムに選んだ引用文脈を負例として，以下の式で表される損失関数で埋め込み表現を学習する。

$
\text { Loss }=\max \left.\{\left(\left.\|C-C^{+}\right.\|-\left.\|C-C^{-}\right.\|+\epsilon\right), 0\right.\}
$

ここで， $C$ はアンカーである引用文脈の埋め込み， $C^{+}$は正例の埋め込みべクトル,$C^{-}$は負例の埋め込みべクトルを示す. 距離にはユークリッド距離を使用し，マージン $\epsilon$ は 1 とした.

推薦時は，対象論文の引用文脈と，引用文脈プー ル内の論文の引用文脈をモデルに入力し，得られたベクトル間のコサイン類似度を計算する。その際,引用文脈プール内で複数の引用文脈を所持している論文は，最も大きい類似度をその論文のスコアとする. 最後に，スコアが高い順に論文を取得する。

組み合わせた手法引用文脈参照法において，1 度も引用されていない論文が推薦対象にならないという問題に対処するため，2つの手法を組み合わせる. 図 1 に提案手法を示す. 従来の方法 [4] では,論文プール内のすべての論文にタイトル・要旨参照法，引用文脈参照法でスコアを付けた。このとき， 1 度以上引用されている論文，つまり引用文脈を所持している論文には引用文脈参照法を使用し, 対象論文の引用文脈と引用文脈プール内の論文の引用文脈とのコサイン類似度を計算する (図では論文 1 と論文 3).未引用の論文 (図では論文 2) では，論文プール内の論文との類似度をタイトル・要旨参照法を使用しコサイン類似度を計算する。その後，得られたコサイン類似度をソートし，高い順に論文を取得していた。本提案では，すべての論文を対象としていた以前の方法と異なり，まず，タイトル・要旨参照法で候補となる論文 (候補論文) の絞り込みを行った.今回，絞り込む論文数は 100 件とした. その後の処理は以前の研究と同様に，絞り込んだ候補論文のうち，1 度以上引用されている論文には引用文脈参照法を使用し，未引用の論文には，候補論文との類似度をタイトル・要旨参照法を使用しコサイン類似度を計算し，高い順に論文を取得する。

## 4 実験

## 4.1 データセット

研究者の科学技術論文の執筆支援を目的として， Narimatsu ら [1] によって作成されたデータセット (以下 $a r X i v)$ と, 科学技術論文の大規模コーパスである S2ORC[13]を使用する．前者は， $\operatorname{arXiv}$ から取得した論文の関連研究の章が約 30,000 件と，関連研究の章で引用されている論文のタイトル, 要旨が含まれている. すべての関連研究の章のうち，引用論文数が 1 件以上である約 13,000 件を使用する.後者は，コンピュータサイエンスの分野である約 214,000 件の関連研究の章を抽出し使用する. 関連研究の章は訓練データ・検証データ・テストデータにそれぞれ 8:1:1 に分割する。データセットの詳細を表 1 に示す.

本研究では，論文のタイトル・要旨が得られた論文集合を論文プールと定義する。関連研究の章をもつ論文と，その章で引用されている論文が論文プー ルに含まれている. 総数は arXiv では約 38,000 件， S2ORC では約 920,000 件である.

訓練データ内の関連研究の章で使われた引用文脈を集めたものを引用文脈プールと定義する. arXiv の引用文脈プール内の論文は約 10,000 件存在し，最大引用回数は 830 回，平均引用回数は 7.8 回である. また，S2ORC では，引用文脈プール内の論文は約 700,000 件存在し，最大引用回数は 1254 回，平均引用回数は 3.0 回である.

## 4.2 評価手法

本研究では，提案した論文推薦システムの性能を上位 5 件と上位 10 件の候補に対する Recall と MRR で評価する. Recall は以下の式で表される.

$
\text { Recall@k }=\frac{\left|\alpha \cap p_{k}\right|}{|\alpha|}
$

ここで， $\mathrm{k}$ は推薦する論文数， $\alpha$ は正解の被引用論文集合， $p_{k}$ は上位 $\mathrm{k}$ 件の推薦リストである. また， MRR は以下の計算で表される。

$
M R R @ k=\frac{1}{|\alpha|} \sum_{u \in \alpha} \frac{1}{\operatorname{rank}_{u}}
$

ここで， $u$ は正解論文の 1 つ, $\operatorname{rank}_{u}$ が最初に正解論文が出現する順位を示している。

## 4.3 結果と考察

評価結果を表 2 に示す. arXiv での結果を見ると，引用文脈参照法は従来のタイトル・要旨参照法よりも性能が良いことから，対象論文と既存論文の引用文脈同士の類似性を活用することの有効性が示された。一方，S2ORCでは，引用文脈参照法の性能がタイトル・要旨参照法よりも劣っている。この原因としては，引用文脈プールに対象論文と似ているが誤った文脈が多く存在するためで，例えば異なる分野の論文でも似た背景を持つ文脈が存在する可能性が考えられる。

さらに，両データセットにおいて，本提案の組み合わせた手法では，他の手法よりも性能が向上することが確認できる. タイトル・要旨参照法を使った絞り込みにより，より関連性の高い論文の引用文脈に焦点を当てることができ，正確な推薦結果を得やすくなったと考えられる。

また，S2ORC では，arXiv データセットと比較してコールドスタート問題の発生割合が約 3 倍にもな
ることが明らかになった。そのため，今後の研究では arXiv と同様の条件でデータを処理するか，あるいは別のデータセットを使用し，コールドスタート問題の発生率との関連性をさらに詳細に分析することが必要であると考える.

## 5 おわりに

本研究では，引用マーカーが与えられたときに，引用マーカー周囲の引用文脈に基づいて，適切な論文を推薦する局所的引用論文推薦のタスクに取り組んだ．特定の論文が引用されるときの引用文脈同士は似ているという仮定のもと，SBERT を使用して引用文脈間の類似度を計算し，適切な論文を推薦する引用文脈参照法を提案した. しかし，この手法には，過去に引用されたことがない論文を推薦することができないというコールドスタート問題がある. これを解決するために，広く用いられるタイトル・要旨参照法と引用文脈参照を組み合わせる必要があるが，本論文では、まずタイトル・要旨参照法を使って推薦候補論文を絞り込んだうえで，次にタイトル・要旨参照法と引用文脈参照法を組み合わせて引用論文を推薦するという方法を提案した。この新たな組み合わせる方法により, 以前の研究と比較して推薦性能が向上することが確認され，この方法の有効性を確認した。

将来的な展望としては，著者情報やキーワードなど他の要素を利用することや，引用のされ方に焦点を当てることが考えられる．同じ論文を引用する際でも，データセットの説明や研究背景の提示など,引用の意図は多様である．この引用の意図を分析することは，論文推薦の性能を高める可能性があると考えられる。

## 謝辞

本研究の遂行にあたり，ご助言・ご協力をいただきました，NTTコミュニケーション科学基礎研究所成松宏美主任研究員, 電気通信大学情報理工学研究科小山康平氏, 電気通信大学南泰浩教授, 工学院大学大和淳司教授, 国立研究開発法人科学技術振興機構菊井玄一郎氏に感謝いたします。また，日頃より丁寧にご指導してくださる秋田県立大学石井雅樹教授，伊東嗣功助教に感謝いたします。

## 参考文献

[1] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[2] Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, pp. 375-405, 2020.

[3] Chaker Jebari, Enrique Herrera-Viedma, and Manuel Jesus Cobo. Context-aware citation recommendation of scientific papers: Comparative study, gaps and trends. Scientometrics, Vol. 128, No. 8, p. 4243-4268, jun 2023.

[4] 田中陸斗, 杉山弘晃, 平博順, 有田朗人, 堂坂浩二. 引用文脈の類似度に基づく局所的引用論文推薦. 言語処理学会第 29 回年次大会, 2023.

[5] Kaito Sugimoto and Akiko Aizawa. Context-aware Citation Recommendation Based on BERT-based Bi-Ranker. In 2nd Workshop on Natural Language Processing for Scientific Text at AKBC 2021, 2021.

[6] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019

[7] Zoran Medić and Jan Snajder. Improved local citation recommendation based on context enhanced with global information. In Muthu Kumar Chandrasekaran, Anita de Waard, Guy Feigenblat, Dayne Freitag, Tirthankar Ghosal, Eduard Hovy, Petr Knoth, David Konopnicki, Philipp Mayr, Robert M. Patton, and Michal ShmueliScheuer, editors, Proceedings of the First Workshop on Scholarly Document Processing, pp. 97-103, Online, November 2020. Association for Computational Linguistics.

[8] Nianlong Gu, Yingqiang Gao, and Richard H. R. Hahnloser. Local citation recommendation with hierarchicalattention text encoder and scibert-based reranking. In Matthias Hagen, Suzan Verberne, Craig Macdonald, Christin Seifert, Krisztian Balog, Kjetil Nørvåg, and Vinay Setty, editors, Advances in Information Retrieval, pp. 274-288, Cham, 2022. Springer International Publishing.
[9] Chanwoo Jeong, Sion Jang, Eunjeong Park, and Sungchul Choi. A context-aware citation recommendation model with bert and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[11] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[12] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084, 2019.

[13] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.


# 論文の文献リストにおける研究データ引用の検出

生駒流季 1 松原茂樹 1,2
1 名古屋大学 大学院情報学研究科 2 名古屋大学情報基盤センター
ikoma. tomoki.d0@s. mail.nagoya-u.ac.jp

## 概要

オープンサイエンスの機運の高まりとともに，研究データに関する情報を集約した研究データリポジトリの構築が進められている. しかし，その構築には多大な時間と労力を要する。本論文では, 研究データリポジトリの自動構築に向けて, 学術論文の参考文献リストから，研究データとして引用されている文献を検出する手法を提案する．引用されている文献の内容に言及する文字列を特定し，その周辺のテキストも用いて，研究データを検出するモデルを学習する．実験により，本手法の有効性を確認した.

## 1 はじめに

オープンサイエンスの機運の高まりとともに，研究において作成されたデータやツールなど，研究データの共有や再利用への需要が高まっている. 自然言語処理の分野では, LDC[1], CLARIN[2], ISLRN[3, 4] など複数の機関が研究データの情報を収集し, 研究データリポジトリを整備している。しかし，リポジトリの多くは人手で構築されており，多大な時間と労力を要するという問題がある.

研究データリポジトリの構築を自動化するために，学術論文からその研究において用いられた研究データの情報を取得し活用することが一つの方法である. 論文の文献リストには通常の文献だけでなく，研究データを参照する文献が含まれることがあり，その情報を利用できる可能性がある。

本論文では，学術論文の参考文献リストから，研究データとして引用されている文献を検出する手法を提案する (図 1). 研究データの引用を検出するには, 各文献が引用されている箇所の周辺テキストである引用文脈の情報が利用できる. 引用文脈には，引用された文献の内容を表す記述と, 引用した論文との関係を表す記述が含まれる. 両者はそれぞれ異なる観点を示すため，研究データ引用の検出に，そ

図 1 研究データ引用の検出（言語資源に関する国際会議 LREC では，研究データと通常の文献への引用が分別して文献リストに記載される）

れらを区別して利用することが重要となる.

本手法では，引用されている文献の内容に言及する本文上のテキストを特定し，その周辺のテキストも用いて，研究データを検出するモデルを学習する. 自然言語処理分野の国際会議の発表論文を使用した実験により，本手法の有効性を確認した。また，本手法を広範な分野の論文に適用し，様々な分野の研究データ引用の検出可能性を確認した。

## 2 関連研究

学術論文から利用された研究データの情報を取得して集約する研究として，Tohyama ら [5] は，既存の複数のリポジトリからメタデータを自動収集し，多様な研究データの情報を検索できる環境を構築した.また，Kozawa ら [6] は，研究データの名称を含む文を学術論文から抽出し, その研究データの利用目的に関する記述を抜き出し，リポジトリの構築に利用している. Ikoma ら [7] は，人手で設計した複数の素性項目に基づき, 引用されている文献を研究

入力: 単語系列

図 2 引用タグ範囲の抽出におけるモデルの入出力

データと通常の文献に分類する手法を提案した.

なお，同様の目的の異なるアプローチとしては， Tsunokake ら [8] の研究が挙げられる. Tsunokake らは, 論文中の URL に着目し, URL 参照の対象を研究データとその他に分類する手法を提案している.本研究とは対象とする引用の種類が異なる.

## 3 研究データの引用の検出

本手法では，学術論文における参考文献リストに記載されている各文献を，研究データと通常の文献に分類する.

研究で利用された研究データは，その研究データの作成について記述された文献を引用することで示されることがある. その場合，通常の文献と同様に参考文献リストに記載される。そのため，論文の文献リストには研究データを示すものと，その他の通常の文献を示すものが混在する。一方，先進的な取り組みとして，言語資源に関する国際会議 LREC では 2016 年より, 研究データと通常の文献への引用を分別して記載することを著者に対し求めている $^{1)}$. 本論文では，このような研究データと通常の文献への引用の分別を自動化する手法を提案する.

## 4 引用文脈の利用

引用されている文献が研究データであるか否かの判別には，その文献が引用されている箇所のテキス卜である引用文脈が利用できる。本論文において，引用文脈はその文献への引用を含む文（引用文）と定義する. 引用文脈には, 引用されている文献がどのようなものであるかを表す記述と, 引用した論文とその文献がどのように関係するかを表す記述が含まれる。例えば，以下に示す引用文

入力: 単語系列

図 3 引用対象の分類におけるモデルの入出力

1. Each construct was operationalized using at least two items for measurement and analysed using confirmatory factor analysis ${ }^{(1)}$.

では，文中の太字部が前者に，斜体部が後者に相当する. それぞれの情報は，引用対象が研究データであるか否かを判別するのに利用できる.

引用文中において，引用された文献の内容について記述された文字列を引用タグ範囲と呼ぶ。.上述の引用文 1 では，太字部が文献 (1) の引用タグ範囲に相当する. 引用タグ範囲とその他の部分の分かれ方は引用文によって異なり，上述の例では引用タグの直前の名詞句が該当するが，以下に示す引用文

2. For example, previous studies have found that cross institutional collaboration supports the diffusion of innovations and new ideas within a field ${ }^{(2)}$.

では，太字で示した節が該当する．また，以下に示す引用文

## 3. The NACP was formally recognized by the United States in 2002 under the mantle of the nation's overall climate change management strategy ${ }^{(3)}$.

のように，引用文の全体が該当することもある.

引用されている文献が研究データであるか否かを判別するには，各引用文のうち引用タグ範囲に該当する範囲を特定するとともに，引用タグ範囲の内外を区別して利用することが重要である.

## 5 提案手法

本手法では，SciBERT[9]をベースとしたモデルに引用文脈，引用した論文のタイトル，引用された論文のタイトルを入力して, 引用対象を研究データと通常の文献に分類する。

モデルは 2 段階で学習する. 第 1 段階では，引用
文脈から引用タグ範囲を抽出するタスクでモデルを学習する. 第 2 段階では, 引用対象を研究データと通常の文献に分類するタスクでモデルを学習する。

## 5.1 引用タグ範囲の抽出

引用文脈，引用した論文のタイトル，引用された論文のタイトルを SciBERT に入力し, 以下の手順で引用文脈中の各単語が引用タグ範囲に含まれるか否かを予測する（図 2).

1. 引用文脈中において，対象の文献に対応する引用タグを [REFTAG] と置換する。

2. 引用文脈，引用した論文のタイトル，引用された論文のタイトルを [SEP] で連接し，単語列に変換して入力系列を生成する.

3. 入力系列を Encoder に入力し, 引用文脈中の各単語のベクトル表現を生成する。

4. 生成したベクトルを Token classifier に入力し,引用文脈中の各単語が引用タグ範囲の手前 $(\mathrm{F})$,内部 (S)，後続部 (B) のいずれに該当するかを示すラベル列を生成する。

## 5.2 研究データの引用の検出

引用文脈，引用した論文のタイトル，引用された論文のタイトルを入力し, 以下の手順で引用対象を研究データと通常の文献に分類する（図 3）.

1. 引用文脈中において，対象の文献に対応する引用タグを $[$ REFTAG] と置換する。

2. 引用文脈，引用した論文のタイトル，引用された論文のタイトルを $[\mathrm{SEP}]$ で連接し，単語列に変換して入力系列を生成する.

3. 入力系列を Encoder に入力し，入力した引用文脈やタイトル情報の特徴を表すべクトルを生成する. Encoder は，入力系列の全体の特徴量を [CLS] に対するべクトルとして出力する.

4. 生成された [CLS] に対応するベクトルを Classifier に入力し, 引用対象が研究データか否かを表すラベルを出力する.

## 6 実験

## 6.1 データセット

実験データとして，LREC 2016, 2018, 2020, 2022 の予稿集2)を用いて構築したデータセットを使用し

2) https://aclanthology.org/venues/lrec/表 1 作成したデータセットのサイズ

た. 2016 年以降の LREC の論文では，研究データ引用が Language Resource References (LRR) として，通常の文献引用 $(\mathrm{BR})$ とは区別して記載されている. はじめに, 2016 年以降の LREC 予稿集から, 研究データ引用を 1 件以上含む論文 635 本の PDFを収集した. 次に，論文解析ツール $\left.\operatorname{PDFNLT}^{3}\right)[10,11]$ を用いて，各論文の PDFから文献リストと，引用を含む文を引用文脈として抽出した. 引用タグに含まれている発行年と筆頭著者名をもとに，抽出した引用文脈と参考文献リストのエントリを対応付けた。

2016，2018，2020 年の論文を学習データとし， 2022 年の論文を開発データとテストデータに等分した（表1). 文献リストのうち，LRRへの記載を正例，BRへの記載を負例とした。

引用タグ範囲抽出の学習には Ikoma ら [12] が作成したデータを使用した. このデータは $3 \mathrm{C}$ Shared Task[13,14] のデータをもとに作成されており，3,000 件の引用文に対して，引用タグ範囲に該当する部分が人手でアノテートされている。本論文では，そのうち 2,100 件の引用文を使用してモデルを学習した.

## 6.2 実験設定

研究データ引用を検出するモデルを，PyTorch[15] および HuggingFace Transformers[16] を利用して実装した.まず，Ikoma ら [12] が作成したデータを用いて, 引用タグ範囲抽出のタスクで SciBERTを学習した. 次に，学習データを用いて，引用された文献を研究データと通常の文献に分類するタスクでモデルを 10 エポック学習した． $\mathrm{F}$ 值の算出に用いる適合率及び再現率は, 以下の通りとした。

適合率モデルが LRR として分類した文献のうち，正しいものの割合.

再現率データセット中で LRR として引用されている文献のうち，正しく分類されたものの割合.

## 6.3 引用タグ範囲抽出のエポック数の設定

開発データにおける研究データ引用の検出性能に基づき，引用タグ範囲抽出のエポック数を設定し

表 2 引用タグ範囲抽出のエポック数の設定

表 3 性能評価の結果

た. 引用タグ範囲抽出のタスクで SciBERT を最大 5 エポック学習し, 各エポック末のモデルの状態をチェックポイントとして保存した. 各チェックポイントを起点として, 引用されている文献を研究データと通常の文献に分類するモデルを学習し, 開発データにおける $\mathrm{F}$ 值が 10 エポック以内で最良となった時点でのモデルを保存して性能を比較した。

表 2 に結果を示す. 最良の性能は，エポック数を 2 としたときに記録された。

## 6.4 実験結果

6.3 節の結果に基づき，引用タグ範囲抽出を 2 エポック学習した状態の SciBERT を起点として, 引用されている文献を研究データと通常の文献に分類するモデルを学習した. 引用タグ範囲抽出の学習をせずに学習したモデルをベースラインとして, 分類の性能を比較した。

結果を表 3 に示す. 提案手法のモデルはベースラインより F 値で約 3.5 ポイントの性能上昇を示し,本手法の有効性が示された.

## 6.5 検出例

ベースラインでは, 引用された文献が研究データであることを表す語句が引用文脈中に含まれている場合でも, その文献が研究データとして検出されないことが散見された。例えば，以下に示す引用文脈

4. The How2Sign Dataset ${ }^{(4)}$ contains 83 hours of instructional videos from How2 19 trans-lated from English into American SL (ASL).

において，(4) として引用されている文献は，ベースラインでは研究データとして検出されなかった. 対して提案手法では, 引用対象について記述された部分を特定することで，当該の文献を研究データとして検出することができた. 引用タグ範囲を抽出するタスクによる学習には，引用対象について記述された範囲と、その周辺の記載事項に基づいたうえで研究データ引用を検出できるようにする効果があると考えられる。

## 7 多分野の論文コーパスへの応用

本手法を多分野の論文コーパスに適用し，様々な分野の研究データの情報の取得を試みた.

広範な分野の論文を収蔵した論文コーパス $\mathrm{S} 2 \mathrm{ORC}[17]$ から 10,000 本の論文を無作為に選出し,各論文のテキストからのべ 394,956 件の引用を抽出した. 引用文脈，引用した論文のタイトル，引用された文献のタイトルを本手法のモデルに入力し, 研究データ引用を検出した。

抽出した引用のうち，研究データとして検出された事例は 1,866 件あった. 例えば，以下の引用文脈

5. Speech files for the evaluation are taken from the TIMIT corpus ${ }^{(5)}$ where 20 files are chosen randomly. からは，(5)として引用されている文献 “TIMIT acoustic-phonetic continuous speech corpus” が，研究データとして検出された. 以下の引用文脈

6. The experimental data set (Australian Credit Approval Data Set) was taken from the UCI repository(6), which has 690 samples, each with 8 symbolic features and 6 numerical features.

からは，(6)として引用されている文献“UCI repository of machine learning databases" が検出された. このように，本手法を用いることで，様々な分野の研究データを検出することができた.

## 8 まとめ

本論文では，論文の文献リストから，研究データとして引用されている文献を検出する手法を提案した. 本手法では，引用されている文献の内容に言及する本文上のテキストを特定し，その周辺のテキストも用いて，研究データを検出するモデルを学習する。自然言語処理分野の国際会議の発表論文を使用した実験により，本手法の有効性を確認した。また，本手法を広範な分野の論文に適用し，様々な分野の研究データ引用の検出可能性を確認した.

## 謝辞

本研究は JSPS 科研費 JP21H03773 および JST 次世

代研究者挑戦的研究プログラム JPMJSP2125 の支援を受けて行われた。また，本研究における実験は名古屋大学のスーパーコンピュータ「不老」を使用して実施した。

## 参考文献

[1] Eleftheria Ahtaridis, Christopher Cieri, and Denise DiPersio. LDC language resource database: Building a bibliographic database. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 1723-1728, 2012.

[2] Claus Zinn. Squib: The language resource switchboard. Computational Linguistics, Vol. 44, No. 4, pp. 631-639, 2018.

[3] Khalid Choukri, Victoria Arranz, Olivier Hamon, and Jungyeul Park. Using the international standard language resource number: Practical and technical aspects. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 50-54, 2012.

[4] Valérie Mapelli, Vladimir Popescu, Lin Liu, and Khalid Choukri. Language resource citation: the ISLRN dissemination and further developments. In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 1610-1613, 2016.

[5] Hitomi Tohyama, Shunsuke Kozawa, Kiyotaka Uchimoto, Shigeki Matsubara, and Hitoshi Isahara. Construction of an infrastructure for providing users with suitable language resources. In Proceedings of the 22nd International Conference on Computational Linguistics 2008: Companion volume: Posters, pp. 119-122, 2008.

[6] Shunsuke Kozawa, Hitomi Tohyama, Kiyotaka Uchimoto, and Shigeki Matsubara. Collection of usage information for language resources from academic articles. In Proceedings of the 7th International Conference on Language Resources and Evaluation, pp. 1227-1232, 2010.

[7] Tomoki Ikoma and Shigeki Matsubara. Identification of research data references based on citation contexts. In Proceedings of the 22nd International Conference on Asia-Pacific Digital Libraries: Digital Libraries at Times of Massive Societal Transition, pp. 149-156, 2020.

[8] Masaya Tsunokake and Shigeki Matsubara. Classification of URLs citing research artifacts in scholarly documents based on distributed representations. In Proceedings of the 2nd Workshop on Extraction and Evaluation of Knowledge Entities from Scientific Documents collocated with ACM/IEEE Joint Conference on Digital Libraries, pp. 20-25, 2021.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Nat- ural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[10] Takeshi Abekawa and Akiko Aizawa. SideNoter: Scholarly paper browsing system based on PDF restructuring and text annotation. In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 136-140, 2016.

[11] Kenichi Iwatsuki, Takeshi Sagara, Tadayoshi Hara, and Akiko Aizawa. Detecting in-line mathematical expressions in scientific documents. In Proceedings of the 2017 ACM Symposium on Document Engineering, p. 141-144, 2017.

[12] Tomoki Ikoma and Shigeki Matsubara. Identifying influential references in scholarly papers using citation contexts. In Proceedings of the 25th International Conference on Asia-Pacific Digital Libraries: Leveraging Generative Intelligence in Digital Libraries: Towards Human-Machine Collaboration, pp. 152-161, 2023.

[13] Suchetha Nambanoor Kunnath, David Pride, Bikash Gyawali, and Petr Knoth. Overview of the 2020 WOSP $3 \mathrm{C}$ citation context classification task. In Proceedings of the 8th International Workshop on Mining Scientific Publications, pp. 75-83, 2020.

[14] Suchetha Nambanoor Kunnath, David Pride, Drahomira Herrmannova, and Petr Knoth. Overview of the 2021 SDP $3 \mathrm{C}$ citation context classification shared task. In Proceedings of the 2nd Workshop on Scholarly Document Processing, pp. 150-158, 2021.

[15] Adam Paszke et al. PyTorch: An imperative style, highperformance deep learning library. In Advances in Neural Information Processing Systems 32, pp. 80248035, 2019.

[16] Wolf Thomas et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 38-45, 2020.

[17] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 推薦理由提示のための アブストラクトの観点に基づく学術論文推薦

小林恵大 ${ }^{1}$ Qi Yang ${ }^{1}$ 成松宏美 ${ }^{2}$ 南泰浩 ${ }^{1}$
1 電気通信大学 ${ }^{2}$ NTTコミュニケーション科学基礎研究所
\{k2231042,s2331068\}@edu.cc.uec.ac.jp hiromi.narimatsu.eg@hco.ntt.co.jp
minami.yasuhiro@is.uec.ac.jp

## 概要

学術論文数の急増によって研究者の論文調査の負担が増大し，論文推薦システムの重要性が高まっている。本稿では，類似する論文リストだけでなく，要旨の観点に着目した推薦理由も提示する推薦手法を提案する。従来手法は，クエリの論文と推薦候補論文群との類似性を文章全体の内容で判断しており，どの点で類似するかを説明することは困難であった. 本稿では，要旨中の各文を背景，手法，結果の観点に分類し，Transformer Encoder を用いて観点の埋め込み表現を生成し，観点ごとに類似度を算出することで観点の類似性を根拠として論文推薦を行う．観点に基づく論文推薦タスクのベンチマークデータ CSFCube を用いて提案手法を評価した結果，従来手法を超える精度を示した。

## 1 はじめに

学術論文の出版数は急速に増加している [1]. この情報源の増加は研究の深化を促進し，新たな発見の可能性を広げる一方で，論文を調査，理解するために必要な時間と労力も増加している。このような背景から，研究者の論文調査や執筆を支援する論文推薦システムに関する様々な研究が行われている $[2,3,4]$. 論文推薦は，研究の初期段階での論文調査や試行錯誤の段階での新しいアイデアの発見を支援するものであり，研究者の負担を大幅に軽減したり，見落としていた論文を発見したりする効果が期待されている [5].

論文推薦では，論文のタイトルやアブストラクト （以下「要旨」とする）を入力として，類似性の高い論文を提示することが求められる．例えば，研究背景や手法，得られた知見や評価方法などが類似する論文を提示する。しかし，これらの要素が部分的に類似する論文の場合，ユーザはタイトルを見ただけではその類似性を判断できない。したがって，論文推薦システムには，単に類似論文のリストを提示するだけでなく，背景やアプローチが類似するといった具体的な観点に基づく推薦理由を提示することが期待される。

従来の論文推薦研究は，類似論文や引用論文のリストを推薦することに主眼が置かれており，推薦理由を提示することを目的としていないものが多い [2]. 推薦理由の提示につながる観点ごとの類似に着目した研究では，「背景」「手法」「結果」のいずれかの観点を条件として類似する論文を推薦するタスクを提案し，その評価のために観点に沿った類似度がアノテーションされたベンチマークデータ CSFCube が提案されている [6].

本研究では，論文推薦において，論文間の観点の類似性を根拠として論文を推薦するモデルを構築し，評価する．具体的には要旨分類モデル [7] を用いて論文の要旨を「背景」「手法」「結果」に分類し， Transformer Encoder [8] を用いて各観点の埋め込み表現を生成する.この埋め込み表現に基づき Triplet Loss [9] を用いた距離学習によってモデルを学習し，観点に基づく論文推薦タスクのベンチマークデータである CSFCube [6] を用いて評価する.

## 2 関連研究

論文推薦に関する研究は主に 2 点のアプローチに分けられる. 1 点目はユーザの過去の論文閲覧履歴や執筆した論文，共著者，引用などの情報を利用する手法である．ユーザの閲覧履歴を利用した協調フィルタリング手法や，引用ネットワークを分析し著者や論文の類似性を特定するグラフベースの手法が提案されている [2]. これらの手法は，既に広く引用・閲覧されている論文を効果的に推薦できる

が，被引用数が少ない論文や新しく発表された論文を見逃す可能性がある.

2 点目は論文のタイトルや要旨などのテキストの類似度に基づくものである. このアプローチでは，論文のタイトルや要旨を Doc2Vec [10] や BERT [11] を用いて埋め込み表現に変換し，論文間の類似性を判定する $[12,13]$. Cohan らは引用関係を元にして正例負例をサンプリングし, 距離学習を行ったモデル SPECTER を提案している [14]. また, SPECTER を改良し，引用グラフの埋め込みを利用した最近傍サンプリングに基づいて論文の類似性を学習したモデル SciNCL も提案されている [15]. これらの手法は論文間の全体的な類似性に基づく推薦タスクでは高い精度を達成している. しかし，推薦の理由を具体的に示すことは困難である。

一方，特定の観点に沿った論文を推薦する手法やベンチマークデータも提案されている. Takahashi らは，ユーザの検索クエリに着目し，「研究背景や目的が類似しているが，手法が異なる」論文を推薦する手法を提案している [16]. この手法では, BERT [11] ゙ースの要旨分類モデル [7]を用いて, 要旨中の「背景」「目的」「手法」の観点に対応する文を抽出し，SciBERT [17] を用いてそれらの観点の埋め込み表現を生成し，コサイン類似度で推薦論文を決定する．Mysore らは，指定された「背景」「手法」「結果」のいずれかの観点を条件として類似する論文を推薦するタスクに着目し，専門家によってアノテーションされたベンチマークデータ CSFCube [6] を提案している。

本研究では，推薦理由の提示を可能にする各観点の類似度に着目し，要旨分類モデル [7] と， SPECTER [14] や SciNCL [15] と同様の論文間の類似性を反映した埋め込みの学習手法を組み合わせて, 観点ごとの距離学習が可能なモデルを構築し, CSFCube データセット [6] で評価する.

## 3 提案手法

論文間で「タイトル」「背景」「手法」「結果」の各観点の類似度を算出するために，観点の埋め込み生成に特化したモデルを構築する．以下では，モデルの構造と学習方法について述べる。

## 3.1 モデル構造

提案モデルは，論文のタイトルと要旨を入力すると，「タイトル」「背景」「手法」「結果」の４つの

図 1 提案モデルの全体像. ここで，「TE」は各入力トー クンに対応する埋め込み（Transformer Encoder の最終隠れ層の出力）を表す. タイトルと要旨を入力として，各観点の内容を判別し，観点の埋め込み表現を生成する.

観点の埋め込み表現（以下「観点埋め込み」とする）を出力する（図 1）。このモデルは，(1) 論文要旨の各文を観点に分類する要旨分類モデル（以下 $\lceil\mathrm{SSC}\lrcorner^{1)}$ とする)，(2) 論文のタイトルと要旨を入力として，入力の各トークンに対応するべクトルを出力する Transformer Encoder，(3) 観点埋め込みを生成する Pooling Layer，の 3 点から構成される.

(1) SSC. Cohan らの学習済みモデル [7] を追加学習することなくそのまま利用し，入力要旨の各文がどの観点に属するかを判定する。このモデルは要旨を入力すると，各文に「背景」「目的」「手法」「結果」「その他」のいずれかのラベルを付与するものであり，各文に上記観点のアノテーションが付与された 2,189 件のコンピュータサイエンス分野の英語論文要旨で SciBERT [17] が学習されている. ただし，「その他」は観点が曖昧であるため本研究では使用しない。また，「目的」と「背景」は同じ 1 文に記述されることが多く，自動認識で「背景」に分類され「目的」の観点が要旨に含まれなかったり，「目的」そのものが「背景」と類似する内容が記述されることが多い。そのため本研究では「目的」の観点は「背景」の観点と同じものと考える.

(2) Transformer Encoder. 論文のタイトルと要旨を入力し，トークナイズされた各トークンに対応

1) Sequential Sentence Classification (https://github.com/ allenai/sequential_sentence_classification）の略である.

する埋め込みを生成する。モデルの初期値には，学術論文のコーパスで事前学習されたモデルである SciBERT ${ }^{2)}$ [17]を用いる。具体的には，タイトルと要旨を [SEP] トークンで連結したものを入力し, 入力トークンに対応する最終隠れ層の出力 （last_hidden_state）を出力する. 例えば，入力トークン数が 100 だった場合, 隠れ層の次元数を $d_{\text {model }}$ として,$\left(100 \times d_{\text {model }}\right)$ のサイズのテンソルを出力する.

(3) Pooling Layer. Transformer Encoder からの出力を集約し，各観点の文脈を反映した観点埋め込みを生成する. 具体的には，SSC の判定結果を元に Transformer Encoder の出力の各トークン埋め込みを観点ごとにスタックし，各観点について (観点のトークン数 $\times d_{\text {model }}$ ) のサイズのテンソルを得る. それらを Attention モデルに入力し，(観点数 $\times$ $d_{\text {model }}$ ) のサイズのテンソルを観点の埋め込みとして生成する. Attention モデルは以下の式で表される.

$\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q\left(W_{K} K\right)^{T}}{\sqrt{d_{\text {model }}}}\right)\{V+P E(V)\}$

ここで，Q（Query）は学習可能なパラメータ，K (Key) ・V（Value）はスタックされた各観点のトークンの埋め込み, $W_{K}$ は Key に適用される線形変換の学習可能なパラメータ，PE は Positional Encoding を表す.この式では, Query と線形変換された Keyの類似度スコアを計算し，そのスコアに基づいて，PE を加えた Valueの重み付け和を取ることで，トークンの埋め込みを集約し, 観点埋め込みを生成する。

## 3.2 学習

論文の類似性を反映した埋め込みを学習するため, SPECTER [14] や SciNCL [15] のような論文埋め込みモデルと同様に Triplet Loss [9] を用いた距離学習を行う。

Triplet Loss を用いた損失は次の式で表される.

$
L=\max \{0, m+d(q, p)-d(q, n)\}
$

ここで， $q$ はクエリ論文の埋め込み， $p$ は正例（類似する論文）の埋め込み， $n$ は負例（類似しない論文）の埋め込み， $d(\cdot, \cdot)$ はユークリッド距離， $m$ は

2) https://huggingface.co/allenai/scibert_scivocab_ cased調整可能なマージンを表す. ただし $, q, p, n$ は, それらを一般に $x$ として，次の式で表されるように観点の埋め込みを平均化したものである.

$
x=\frac{1}{\mid \text { Labels } \mid} \sum_{l \in \text { Labels }} x_{l}
$

ここで，Labels は観点， $x_{l}$ は観点 $l$ の埋め込みを表す.

ただし，上記では学習データは SPECTER や SciNCL と同様に，論文全体の類似性に基づいて作成されたデータを用いる。これは，このデータセッ卜規模の各観点の類似性を反映したデータセットが現状は存在せず，データセットを作成するにも観点のラベルをつけるコストが膨大であるためである. このデータを用いた学習では，どの観点が類似するかしないかという教師信号は与えられないため，実際に類似しない観点があった場合でも，全ての観点について埋め込みが互いに近くなるように学習される。

## 4 観点に基づく論文推薦評価

## 4.1 評価設定

評価データ。評価には CSFCube [6] を用いる。 CSFCube は，特定の観点を条件とした論文推薦を評価するためのデータセットである。例えば，クエリと類似する手法を持つ論文を探すようなケースが想定される。このデータセットは，50 件のクエリ論文と各クエリ論文に対する 100～250 件の候補論文に指定の観点に沿った類似度が 4 段階でアノテーションされている。含まれる論文は全てコンピュータサイエンス分野の英語論文である。なお，このデータセットにおける観点は本研究の同様の要旨分類モデル [7] を用いて決定されており，観点の定義は本研究と一致する。

学習設定. 提案モデルは, S2ORC データセット [18] から構築された約 68 万トリプルの SciNCL 学習データ [15] を用いて学習される. 学習設定は, epoch 数を 2, 学習率を 2e-6, Triplet Loss の margin を 1 とし, バッチサイズは学習に使用した GPU （GTX 1080Ti，11GB）に収まる値で 2 に設定した. Optimizer は Adam [19]を用いた。

ベースライン. 比較対象として, 論文推薦における最先端の手法である SPECTER [14], SciNCL [15] を用いる。また, OpenAIの Embedding Model の textembedding-ada-002 [20] も比較対象とする.このモ
表 1 CSFCube による評価結果（全観点を総合した結果）

デルは OpenAI の API を介して埋め込みを生成することができ，情報検索（IR）タスクによる評価で最先端に近い性能を示したことが報告されている [20,21]. これらの手法では，指定された観点に属する文章を大力とし, その出力（[CLS]トークンの出力もしくは API の返り値）を観点埋め込みとする。

評価方法. クエリ論文と候補論文集合の間で指定の観点の類似度を計算し，その類似度に従って候補論文をランク付けをする．その結果から，類似度が高い論文が上位にどの程度位置しているかを評価する．類似度の計算は，各手法を用いてクエリ論文と候補論文集合の観点埋め込みを生成し，埋め込み間のユークリッド距離を計算することによって行う. 評価指標には，推薦タスクで一般的な指標である MRR，MAP，Recall，NDGC を使用する ${ }^{3}$. この評価プロセスは Mysore らによって公開されているプログラムを用いて実施した4）。

## 4.2 評価結果

初めに，全ての観点の評価を総合した結果，すなわち観点によらず評価スコアを算出した結果を表 1 に示す. この結果では，全ての指標で提案手法がベースラインを上回った. これにより，提案手法のタイトルと要旨全体を入力として, Attention 機構で周辺文脈を反映した観点埋め込みを生成する手法が有効に働いたと考えられる。また，ベースラインの中では, OpenAI Emb [20] が最も高い性能を示した. このモデルは学術論文を扱うタスクに特化している訳ではなく，他の IR タスクでも高い性能を発揮していることから，分野を問わない高い汎用性を持つと考えられる. 論文埋め込みに特化した既存手法では，論文間の離散的な引用関係から類似性を学習した SPECTER [14] よりも，引用グラフ埋め込みによる連続的な引用関係から学習した SciNCL [15] が高い性能を示した.

続いて，表 2 に示す各観点の評価では，「背景」表 2 CSFCube による評価結果（観点ごとの結果）

「結果」において提案手法がほとんどの指標でベー スラインを上回った.「手法」では全ての手法が他の観点より大きくスコアを落としている。これは Mysore ら [6] が指摘するように，「手法」が直接的に類似するのではなく，構造的に類似するようなケー スでモデルが判断を誤りやすいことが原因として考えられる。その中でも OpenAI Emb が「手法」において最も高いスコアを示している. OpenAI Emb が多くの IR タスクへの汎化性能を示していることもあり，構造的な類似性がある状況下での難しい類似性を捉える能力が高い可能性がある。

## 5 おわりに

本稿では，論文推薦において，研究者の論文リストと共に推薦理由も提示することを目的として，要旨の観点に着目し，観点の埋め込み表現を生成することに特化した論文推薦モデルを提案した. 提案手法を観点に基づく論文推薦タスクのベンチマークデータである CSFCube を用いて評価し，従来手法を超える精度を示した．今後の展望としては，提案手法の学習において類似しない観点の埋め込みも近づける学習手法を改善し，より良い埋め込みを生成するモデルを構築することがあげられる. また，提案手法を組み込んだ論文推薦システムを実装し， ユーザによる実環境での評価も行いたい。

4) https://github.com/iesl/CSFCube

## 謝辞

研究の遂行にあたり，ご助言をいただきました，秋田県立大学堂坂浩二教授, NTTコミュニケーション科学基礎研究所杉山弘晃氏，東中竜一郎氏，大阪工業大学平博順教授, 工学院大学大和淳司教授,国立研究開発法人科学技術振興機構菊井玄一郎氏に感謝いたします。

## 参考文献

[1] Science and Technology Observatory (OST). Dynamics of scientific production in the world, in Europe and in France. 2019.

[2] Xiaomei Bai, Mengyang Wang, Ivan Lee, Zhuo Yang, Xiangjie Kong, and Feng Xia. Scientific paper recommendation: A survey. IEEE Access, Vol. 7, pp. 9324-9339, 2019.

[3] Christin Katharina Kreutz and Ralf Schenkel. Scientific paper recommendation systems: A literature review of recent publications. Vol. 23, No. 4, 2022.

[4] Hiromi Narimatsu, Kohei Koyama, Kohji Dohsaka, Ryuichiro Higashinaka, Yasuhiro Minami, and Hirotoshi Taira. Task definition and integration for scientificdocument writing support. In Proceedings of the Second Workshop on Scholarly Document Processing, pp. 18-26, 2021.

[5] 成松宏美, 小山康平, 堂坂浩二, 田盛大悟, 東中竜一郎, 南泰浩, 平博順. 学術論文における関連研究の執筆支援のためのタスク設計およびデータ構築. 言語処理学会第 27 回年次大会, 2021.

[6] Sheshera Mysore, Tim O’Gorman, Andrew McCallum, and Hamed Zamani. CSFCube - a test collection of computer science research articles for faceted query by example. arXiv preprint arXiv:2103.12906, 2021.

[7] Arman Cohan, Iz Beltagy, Daniel King, Bhavana Dalvi, and Dan Weld. Pretrained language models for sequential sentence classification. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3693-3699, November 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[9] Elad Hoffer and Nir Ailon. Deep metric learning using triplet network. In International Workshop on Similarity-Based Pattern Recognition, 2014.

[10] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, pp. 11881196, 2014.
[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, June 2019.

[12] Zafar Ali, Guilin Qi, Khan Muhammad, Bahadar Ali, and Waheed Ahmed Abro. Paper recommendation based on heterogeneous network embedding. Knowledge-Based Systems, Vol. 210, p. 106438, 2020.

[13] Andrew Collins and Joeran Beel. Document embeddings vs. keyphrases vs. terms for recommender systems: A large-scale online evaluation. In 2019 ACM/IEEE Joint Conference on Digital Libraries, pp. 130-133, 2019.

[14] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270-2282, July 2020 .

[15] Malte Ostendorff, Nils Rethmeier, Isabelle Augenstein, Bela Gipp, and Georg Rehm. Neighborhood contrastive learning for scientific document representations with citation embeddings. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, December 2022.

[16] Tetsuya Takahashi and Marie Katsurai. Solutiontailor: Scientific paper recommendation based on fine-grained abstract analysis. In Matthias Hagen, Suzan Verberne, Craig Macdonald, Christin Seifert, Krisztian Balog, Kjetil Nørvåg, and Vinay Setty, editors, Advances in Information Retrieval, pp. 316-320, 2022.

[17] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, November 2019.

[18] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, July 2020.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations Vol. 5, 2015.

[20] Ryan Greene, Ted Sanders, Lilian Weng, and Arvind Neelakantan. New and improved embedding model, 2022. https://openai.com/blog/new-and-improvedembedding-model, Accessed: 15 December, 2023.

[21] Jimmy Lin, Ronak Pradeep, Tommaso Teofili, and Jasper Xian. Vector search with openai embeddings: Lucene is all you need. arXiv preprint arXiv:2308.14963, 2023.

## A 評価指標

ここでは，4章で使用した，論文推薦タスクの評価指標を説明する。

Mean Reciprocal Rank (MRR): MRR は，類似する各論文が最初に現れるランクの逆数の平均を計算する.つまり，類似する各論文について，その論文がランク付けされた位置の逆数を計算し, それらの平均を取る。

Mean Average Precision (MAP): MAP は，ランク付けされた各論文における平均精度の平均値を示す。各論文での平均精度を計算し, それらの平均をとることで MAPが求められる.

Recall@20: Recall@20は，類似するすべての論文の中で，上位 20 件にランクされたものの割合を計測する。これは，検索結果の上位 20 件が全体の類似論文をどれだけ網羅しているかを示す指標である.

Normalized Discounted Cumulative Gain (NDCG): NDCG の計算は，まず各ランクにおける Discounted Cumulative Gain（DCG）を計算することから始まる. DCG は次のように定義される：

$
\mathrm{DCG}_{p}=\sum_{i=1}^{p} \frac{2^{r e l_{i}}-1}{\log _{2}(i+1)}
$

ここで，pは考慮されるランキングのポジション数， rel $_{i}$ は位置 $i$ における論文の類似度を示す。

次に，理想的なランキングにおける DCG，すなわち Ideal DCG（IDCG）を計算する。これは，類似度が最高から最低までの順序で論文をランク付けした場合の DCGである. NDCG は，得られたDCGを IDCG で正規化することによって計算される：

$
\mathrm{NDCG}_{p}=\frac{\mathrm{DCG}_{p}}{\mathrm{IDCG}_{p}}
$

NDCG は 0 から 1 の間の値をとり，1 亿近いほどランキングの品質が高いことを示す.


# 数式識別子の文書内曖昧性の解消

朝倉卓人
東京大学
takuto@is.s.u-tokyo.ac.jp

## 概要

数式識別子の文書内曖昧性解消は、自然言語中の数式理解を実現する上で重要である。文書をまたいだ数式識別子の曖昧性解消については一定の進展が得られてきたが、文書内曖昧性は十分に研究されないまま残されてきた。本研究では、どのような情報が文書内曖昧性解消に必要であるのかを明らかにする。我々は文書内の位置データと数式識別子周辺の数式内ローカル構造が特に有効であると結論付けた。構築した多層パーセプトロンモデルは、人間アノテータに近い精度 (一致率 $85 \%$ 、カッパ値 0.73) で文書内曖昧性解消を実現する。また、重要な情報種は対象文書の科学分野に依存しないことを確認した。

## 1 はじめに

科学技術文書の自動理解を達成する上で、数式の解析は避けて通れない。数式の性質は自然言語の性質とは大きく異なる。これらの重要な違いの 1 つは、単語の性質と数式識別子の性質の違いである。数式識別子には、多くの分野で慣習的に単一のアルファベットや記号、あるいは数文字程度の文字列が用いられ、説明的ではない。また数式識別子は、しばしば単一の文書内でも複数の意味で用いられるため、正しい数式理解には数式識別子の文書内曖昧性の解消が必須である。こうした問題は Presentation-to-Computable (P2C) 変換や数式情報抽出 (MathIR) などの応用タスクにおいて重大な問題として認識されてきた $[11,16,20]$ 。しかし、数式識別子の文書内曖昧性の分析に役立つデー夕資源が不足していたため、これまでこの暧昧性について深くは知られてこなかった。そのため、どのような情報があればこうした文書内曖昧性の解消を行うことができるのかも不明であった。本研究では、独自に構築したデータセットを用いることで数式識別子の文書内暧昧性の自動解消に取り組み、どのような情報があ

\author{
宮尾祐介 \\ 東京大学
}

yusuke@is.s.u-tokyo.ac.jp

ればこの曖昧性解消を実現できるのかを明らかにする。

図 1 に文書内曖昧性の具体例を示す（図中の例文は PRML [6] から)。この例では、太字の $\mathbf{y}$ は機械学習アルゴリズムの挙動に対応する関数（概念 1）とその出力ベクトル（概念 2）の2つの意味で用いられている。我々の目的は、この例における第 1、第 3 の出現に概念 1 を、第 2 の出現に概念 2 を割り当てることである。同じ概念が割り当てられた出現同士は共参照関係にあるとみなせることから、この夕スクは数式識別子に対する共参照解析とも言える。

図 1 数式識別子の文書内曖昧性の例

## 2 関連研究

数式識別子などの数式内の小構造に対する解析夕スクは、数学言語処理の中でも抽出タスクとして整理される。これらのタスクにはいくつかのバリエー ションがあるが、説明アライメントと呼ばれるタスクが中心的である。このタスクは数式内の文字や記号（数式トークン）に対して、文書内外から対応する説明を見つけ出して付与するもので、Gaussian heuristic ranking [12] や $K$-means クラスタリングと SVM [14, 15]、Odin 文法に基づくルールベース手法 [2] を用いた自動化手法が提案されている。説明アライメント以外の抽出タスクとしては、Variable Typing [18] や Part-of-Math (POM) 夕グ付け [20] が提案されている。これらの多くのタスクと手法は、数式トークンの意味が単一の文書内において複数ある場合を考慮していない。

限定的な設定で数式トークンの文書内曖昧性を
考慮した研究は少数ある。Shan ら [16] は上付き添字、プライムなど数種類の数式構造について、それらの意味的な役割の分類を行う手法を提案した。 Symlink [9] は複数のサブタスクから成る shared task で、このうち関係抽出タスクには単一段落内にある数式トークン間の共参照関係の特定が含まれる。 この関係抽出タスクの SOTA 手法 [10] は $F_{1}$ スコア 37.19 と相対的に低く、大きな改善余地がある。

## 3 データセット

本研究では、我々が以前提案した数式グラウンディングデータセット ${ }^{11}$ [5] を量的に拡張したものを利用した（表 1)。この拡張データセットでは、対象の arXiv 論文の中に現れるすべての数式識別子出現（計 27,657）に対して、対応する数学概念が手作業によりラベル付けされている。データセットに含まれる 40 本の論文のうち、半数の 20 本が NLP 分野の論文である。残りは 8 本が天文学、 5 本が NLP 以外の情報科学、 3 本が経済学、 2 本が数学のものと、物理学と生物学のものが各 1 本ずつである。我々は NLP 分野の論文を MLP モデルの学習と評価の両方に利用し、それ以外の分野の論文は評価のみに利用した。また、NLP 論文のうち 4 本を最初に評価用データとして予約し、残り 16 本のデータを用いてモデル開発と訓練を行った。限られたデータを有効利用するため、モデルの開発時には原則として一つ抜き交差検証を利用した。

## 4 タスク

数式識別子の文書内曖昧性解消を具体的な機械学習タスクとして定式化する。このタスクの目的は、各数式識別子出現に対して対応する数学概念を割り当てることである。タスクの入出力を次に示す。

入力：・構造化文書デー夕 (XHTML)
- 概念情報（各概念の紐付く初出位置）

出力 : 各出現に割り当てる概念

割り当て候補となる数学概念の情報は、各概念に紐付く最初の数式識別子出現の位置 (初出位置) 情報として与えられる。こうした初出位置では、しば

しばその概念が定義されていることは注目に値する。初出位置情報はこのタスクにおける正解ラベルの一部に相当するが、数式識別子の出現数は数学概念の数よりも圧倒的に多い（表 1 参照）ため、与えられる正解ラベルは全体の 10\%程度である。

## 5 多層パーセプトロンモデル

本研究では、多層パーセプトロン (MLP) モデルを用いて上記タスクを解決する。このタスクは、ラベルセット（数式識別子に割り当てる数学概念）が一定ではなく文書ごとに異なることから単純な多クラス分類問題とみなすことはできず、MLPの使用には工夫が必要となる。具体的には「割り当てを行いたい識別子出現の特徴」と「割り当て候補となる数学概念の特徴」のぺアのベクトルを作成し、これを MLP の入力とする（図 2)。その上で、MLP はそのペアが正解である尤もらしさを出力するように訓練する。最終的に、出現・候補ぺアのうち最も確率が高いものを選択することで、概念の割当を行う。

図 2 MLPアーキテクチャ

モデル性能の評価は著者らがデータセット構築時のアノテータ間一致率の算出に用いたのと同じ方法を用いる [5]。すなわち人間アノテータによって与えられた概念との完全一致率および Cohen のカッパ値 [8] を算出する。

モデルの学習にあたっては、平均二乗誤差を loss 関数として用いる。各種のハイパーパラメータは Optuna [1] を用いて探索した。探索の結果、オプティマイザには SGD、活性化関数には ReLU を採用した。隠れ層のサイズ、学習率、バッチサイズなどの重要度は相対的に低いが、いずれもモデルごとに機械的な探索により値を決定した（付録 A)。

## 6 特徵量エンジニアリング

MLPへの入力を作成するにあたって、3 種類の情報を入力から抽出した（表 2)。第一の特徵は識別子出現周辺のテキスト文脈である。文脈を MLP に入力可能なベクトル表現に変換するにあたっては Sentence Transformer [13] を利用した。事前学習モデ
表 2 数式識別子出現から抽出された 3 種類の特徴

ルとしては MiniLM [19]、MPNet [17]、SciBERT [7] を比較し、本タスクにおいて最もよい性能を発揮した MiniLM をモデルの評価実験に利用した。文脈を特徴として利用する場合、本タスクは Semantic Textual Similarity (STS) タスクに類似するが、STS 用に fine-tuning されたモデルを用いても性能の向上は認められない。また文脈の window size や文脈内に現れる数式のエンコード方法（IATEX または特殊夕グ）は性能にほとんど影響を及ぼさない。

第二の特徴は接辞タイプと呼ばれる識別子周辺のローカルな数式構造である。例えば、ある出現が上付き添字やプライムなどの修飾子を持つかどうかといった情報が該当する。我々のデータセットには 26 種類の接辞タイプが人手でアノテーションされている。これらの情報は我々が作成したルールベー スの検出器により、開発デー夕において精度 $90.56 \%$ で判別することが可能である。表 3 にこの検出器がカバーする2)すべての接辞タイプの検出精度を示す。この検出器のエラーの多くは以下のいずれかに分類される。

・パターンでは区別不能：例えば、上付き添字がベき乗の演算子かインデックスかはパターンのみでは見分けられない。

・アノテーションのエラー : カンマなどの一部の接辞タイプは見落とされやすい。

ただし接辞タイプ検出器の性能が数\%程度向上しても、最終的なタスク性能にはごくわずかな影響しか与えない。そのため、検出器のルールを極端に複雑にしてまで精度向上を求める必要はない。

第三の特徴は位置データで、これには 2 種類の情報が含まれる。1つは出現とぺアになっている概念が最も直近で初登場したものかどうかを表す真偽値である。2つめは出現の位置とぺアの概念の初出位置の相対距離を $[-1,1]$ にスケールした値である。 データセットの分析結果から、数式識別子のスコー プは Cascade 効果の影響を強く受けることが知られ

表 3 接辞タイプの検出精度

ている [5]。すなわちある数式識別子出現の意味は、同じ識別子タイプの直近出現の意味と同一である可能性が最も高い。したがって、各概念の初出位置以外では一切スコープの切替が起こらないと仮定する単純なルールベース手法 (Cascade ベースライン) は、機械学習モデルを使わなくてもそれなりによい精度となる (次節の図 3 を参照)。位置データの 1 つめの真偽値は、この Cascade ベースラインの出力そのものである。

## 7 実験I：モデル比較

本タスクの解決に重要な情報種を特定するため、先の 3 種類の特徴をさまざまな組み合わせで MLP モデルの入力とし、それらの性能を比較した。モデルは NLP 論文 16 本から成る開発データで訓練し、残り 4 本の NLP 論文を用いて評価した。20 個の異なるランダムシードで実験を行い、その平均を以ってモデルの評価とした。

比較のため、 3 種類のベースラインを用意した。 Random ベースラインはすべての割当をランダムに行う。Mode ベースラインは最初に登場した数学概
念をすべての出現に割り当てる。もう 1 つはすでに説明した Cascade ベースラインである。また、同じ評価データについて 2 名の人間アノテータが独立に作業した場合のアノテー夕間一致率も算出した。

図 3 にモデル評価の結果を示す。まず今回比較を行った 3 つの特徴は、いずれも本タスクの解決に有効である。それぞれを単独で利用したモデルは、いずれも Random/Mode ベースラインの性能を上回る。今回の評価データには文書内曖昧性が一切ない識別子タイプも含まれるため、Random/Mode ベースラインであっても一致率はある程度の値になるが、カッパ値は 0 となることに留意されたい。

3 つの特徵の中では位置データが最も効果的であった。位置データ単独のモデルは Cascade ベースラインの性能とほぼ一致する。一方、残る 2 つ特徵は単独で使用した場合には Cascade ベースラインの性能を下回る。

続いて 2 つの特徴を組み合わせたモデルの評価に着目すると、位置データに接辞タイプを組み合わせたモデルは Cascade ベースラインの性能を上回り、今回の実験の中で最も精度が高い。一方、位置デー 夕に文脈を加えてもほとんど性能の向上は認められない。このことは文脈から得られる情報のほとんどが位置データに包含されることを示唆している。前節で述べたように、文脈中の数式表現を $\mathrm{LT}_{\mathrm{E}} \mathrm{X}$ 数式から特殊タグに置き換えても性能の劣化が見られないことから、文脈べクトルには数式内部の情報がほとんど含まれていないこともうかがえる。一方、接辞タイプは数式内部の構造に関する情報をもつので、位置データがカバーしない情報を提供する。

図 3 モデルの評価結果。モデルの名称は使用した特徴を示す。c は文脈、a は接辞タイプ、p は位置データで、使用の場合は +、不使用の場合は - が付される。例えば、 $\mathrm{c}+/ \mathrm{a}+\mathrm{p}$-は文脈と接辞タイプを利用するモデル。各点に付されたエラーバーは標準偏差。次の図も同じ。
3 つの特徴すべてを利用するモデルの性能は位置データと接辞タイプの組み合わせモデルとほとんど変わらない。

## 8 実験 II：分野依存性

前節の実験結果の分野依存性を確認するため、 NLP 分野の論文で学習した MLP モデルを、非 NLP 分野の論文で評価した。 3 節で述べたように、NLP 以外の各分野の論文本数にはばらつきがあるが、ここでは特定の分野の影響が大きくならないよう各分野の論文数が最大 3 となるように制限した。

結果を図 4 に示す。この図が示すモデル性能の傾向は、前節で述べたモデル性能の傾向と一致する3)。 すなわち 3 種の特徴の中では位置データが最も有効である。位置データと接辞タイプの組み合わせが最高性能となる。位置デー夕に文脈を加えても性能の向上は認められない。

図4 非 NLP デー夕による評価結果

## 9 結論

本研究では、ルールベース手法により抽出したさまざまな特徵量を利用して MLP モデルを訓練することで、どのような情報種が数学概念の割当タスクに有効かを特定した。具体的には、 3 種類の特徵量を対象に比較実験を行い、その中で文書内の位置データが最も有効であることが明らかになった。次に有効な情報は接辞タイプと呼ばれる数式内のロー カル構造である。数式前後の自然言語の文脈は 3 種類の特徴量の中では最も効果が限定的であった。これらの傾向は、対象論文の分野に依存しない。

3）単純一致率は識別子タイプごとの割当難易度の差（候補概念が 2 つしかない場合もあれば、 10 以上の場合もある）を考慮しないので、比較にはカッパ値を用いるのが妥当である。

## 謝辞

本研究は JST ACT-X (JPMJAX2002) の支援を受けて実施しました。

## 参考文献

[1] Takuya Akiba, et al. "Optuna: A next-generation hyperparameter optimization framework." In Proceedings of the 25th ACM SIGKDD international conference. 2019.

[2] Maria Alexeeva, et al. "MathAlign: Linking Formula Identifiers to their Contextual Natural Language Descriptions." In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020).

[3] Takuto Asakura, André Greiner-Petter, Akiko Aizawa, Yusuke Miyao. "Towards Grounding of Formulae." In Proceedings of First Workshop on Scholarly Document Processing (SDP 2020).

[4] Takuto Asakura, Yusuke Miyao, Akiko Aizawa, Michael Kohlhase. "MioGatto: A Math Identifieroriented Grounding Annotation Tool." In 13th MathUI Workshop at 14th Conference on Intelligent Computer Mathematics (MathUI 2021).

[5] Takuto Asakura, Yusuke Miyao, Akiko Aizawa. "Building Dataset for Grounding of Formulae Annotating Coreference Relations Among Math Identifiers." In Proceedings of 13th Conference on Language Resources and Evaluation (LREC2022).

[6] Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.

[7] Iz Beltagy, Kyle Lo, Arman Cohan, "SciBERT: A pretrained language model for scientific text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP2019).

[8] Jacob Cohen. "A coefficient of agreement for nominal scales." Educational and Psychological Measurement. 1960

[9] Viet Lai, et al. "SemEval 2022 Task 12: Symlink — Linking Mathematical Symbols to their Descriptions." In Proceedings of Proceedings of the 16th International Workshop on Semantic Evaluation.

[10] Sung-Min Lee, Seung-Hoon Na, "JBNU-CCLab at
SemEval-2022 Task 12: Machine Reading Comprehension and Span Pair Classification for Linking Mathematical Symbols to Their Descriptions." In Proceedings of Proceedings of the 16th International Workshop on Semantic Evaluation.

[11] Jordan Meadows, André Freitas. "Introduction to Mathematical Language Processing: Informal Proofs, Word Problems, and Supporting Tasks." Transactions of the Association for Computational Linguistics (2023).

[12] Robert Pagel and Moritz Schubotz. "Mathematical Language Processing Project." In Joint Proceedings of the MathUI, OpenMath and ThEdu Workshops and Work in Progress track at CICM (2014).

[13] Nils Reimers and Iryna Gurevych. "SentenceBERT: Sentence embeddings using siamese bertnetworks." arXiv:1908.10084 (2019).

[14] Moritz Schubotz, et al. "Semantification of Identifiers in Mathematics for Better Math Information Retrieval." In Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR2016).

[15] Moritz Schubotz, et al. "Evaluating and Improving the Extraction of Mathematical Identifier Definitions." In Experimental IR Meets Multilinguality, Multimodality, and Interaction (CLEF2017).

[16] Ruocheng Shan, Abdou Youssef. "Towards Math Terms Disambiguation Using Machine Learning." In Intelligent Computer Mathematics (CICM2021).

[17] Kaitao Song, et al. "MPNet: Masked and permuted pre-training for language understanding." $A d$ vances in Neural Information Processing Systems 33 (2020).

[18] Yiannos Stathopoulos, et al. "Variable typing: Assigning meaning to variables in mathematical text." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL2018).

[19] Wenhui Wang, et al. "MiniLM: Deep self-attention distillation for task-agnostic compression of pretrained transformers." Advances in Neural Information Processing Systems 33 (2020).

[20] Abdou Youssef. "Part-of-Math Tagging and Applications." In Intelligent Computer Mathematics (CICM2017).

## A ハイパーパラメータ

モデルにより入力の次元数が異なることから、それぞれに Optuna [1]により最適化を行った。最終的に採用した値を次に示す。

表 4 各モデルのハイパーパラメータ


# ClipQA: 言語特徵埋め込み空間における 3D 画像質問応答

東慶多 ${ }^{1}$ Edison Marrese-Taylor ${ }^{1,2}$ 宮尾祐介 ${ }^{1}$
1 東京大学 2 産業技術総合研究所
\{keitaiazuma33, yusuke\}@is.s.u-tokyo.ac.jp emarrese@weblab.t.u-tokyo.ac.jp

## 概要

近年, 自然言語処理とコンピュータビジョンの融合分野では, 3 次元質問応答（3D-VQA）などの空間理解に関する研究が関心を集めている. 本研究では既存の 3D-VQA モデル ScanQA [1] に対し, Contrastive Language-Image Pretraining (CLIP) 特徴量を活用した 2 つの改善手法一 1 . 質問埋め込み及び物体特徴量に CLIP 特徴量を付加する手法, 2. 質問応答に用いるマルチモーダルモデル（Transformer）の注意機構に CLIP 特徴量から計算したバイアスを加える手法一を提案し，その効果を検証する. 実験の結果, 提案手法 1., 2. ともに質問応答の精度改善に有効であり, 両手法を用いることで質問応答の精度がベースモデルと比べて 5～10\% 向上することを示した.

## 1 背景

2015 年以降, 画像質問応答（VQA）[2] は自然言語処理とコンピュータビジョンの融合として盛んに研究されてきた.ここ数年では関心が 2 次元から 3 次元へと移りつつあり [1, 3, 4], RGB-D スキャンなどの $3 \mathrm{D}$ データ（点群）を対象とする 3 次元質問応答 （3D-VQA）が注目を集めている [1, 5].

3D-VQA では, 空間中の物体の特性や位置関係について質問応答を行い, そのモデルの多くは主に言語エンコーダ, 空間エンコーダ, マルチモーダルモデルの 3 要素から構成される $[1,5]$. 言語エンコー ダは質問文の埋め込みを計算し, 空間エンコーダは点群データから物体の位置情報と特徴量を抽出する.これらの物体の特徴量と質問文の埋め込みを Transformer などのマルチモーダルモデルで相互参照することにより質問応答を実現する。本研究では，既存の 3D-VQA モデル ScanQA [1] において、言語埋め込み, 及び物体特徵量に Contrastive Language-Image Pretraining(CLIP) を活用することで質問応答の精度がどのように変化するかを検証する。

## 2 関連研究

本論文では既存の 3D-VQA 手法：ScanQA [1] と,点群に CLIP 特徵量を埋め込む手法: OpenScene [3] とを掛け合わせ, ScanQA の精度を改善する新たな 3D-VQA 手法を提案する. 本節では, ScanQA と OpenScene について, モデルの詳細を解説する。

## 2.1 ScanQA

ScanQA [1] は点群データ $p \in \mathscr{P}$ と質問 $q \in \mathbb{Q}$ を力として受け取り,データセットに含まれる全回答集合の中から最適と考えられる回答 $a \in \mathscr{A}$ を出力する 3D-VQA モデルであり,i) 言語エンコーダ,ii) 空間エンコーダ（物体検出モデル）, iii) マルチモーダルモデルの大きく 3 部分から構成される.

i) 言語エンコーダ言語エンコーダでは, 質問単語列 $\left.\{w_{i}\right.\}_{1}^{n_{\mathrm{q}}}$ の GloVe 埋め込み $Q \in \mathbb{R}^{n_{\mathrm{q}} \times 300}$ を計算しこれをLSTM に入力することで文脈に応じた単語埋め込み $Q^{\prime} \in \mathbb{R}^{n_{q} \times d}$ を計算する.これを非線形層に通すことで最終的な質問文の埋め込み表現 $Q_{\mathrm{emb}} \in \mathbb{R}^{n_{\mathrm{q}} \times d}$ を得る.（ $n_{\mathrm{q}}$ : 質問文に含まれる最大単語数, $\mathrm{d}$ : 単語埋め込みの次元. また, 点群/物体の特徵量も同じ次元で表現する.(デフォルトでは 256))

$
Q_{\mathrm{emb}}=M L P_{\mathrm{Q}}\left(Q^{\prime}\right)
$

ii) 空間エンコーダ空間エンコーダでは PointNet++ [6] をバックボーンとする VoteNet [7]を用いて物体検出を行う. まず PointNet++を用いてダウンサンプリングされた点群データ $p_{\mathrm{ds}} \in \mathbb{R}^{n_{\mathrm{ds}} \times d}$ を得る. その後 VoteNetを適用することで物体の位置情報 $V_{\mathrm{box}} \in \mathbb{R}^{n_{v} \times 8}$ 及び物体特徵量 $V \in \mathbb{R}^{n_{v} \times d}$ を得る.更に, 物体特徵量 $V$ を非線形層に通すことで最終的な物体特徵量 $V_{\mathrm{emb}} \in \mathbb{R}^{n_{\mathrm{v}} \times d}$ を得る。（ $d_{\mathrm{p}}$ : 各頂点の特徴量の次元, $n_{\mathrm{ds}}$ : ダウンサンプル後の頂点数（デフォルトでは 1024）, $n_{\mathrm{v}}$ : 検出する物体の上限（デフォルトでは256))

$
V_{\mathrm{emb}}=M L P_{\mathrm{V}}(V)
$
iii) マルチモーダルモデルマルチモーダルモデルでは, Transformer のエンコーダ・デコーダを用いて, 質問文の埋め込み表現 $Q_{\mathrm{emb}}$ 及び物体特徴量 $V_{\mathrm{emb}}$ の関連性を計算する. エンコーダでは, $Q_{\mathrm{emb}}$ を $\mathrm{L}(=2)$ 層のエンコーダ層に通し, 質問文のエンコー ド結果 $Q^{\mathrm{enc}} \in \mathbb{R}^{n_{\mathrm{q}} \times d}$ を得る. デコーダでは $\mathrm{L}$ 層のデコーダ層に query として物体特徴量 $V_{e m b}$ を, key 及び value として言語のエンコード結果 $Q^{\text {enc } を与え ， ~}$物体特徵量のデコード結果 $V^{\mathrm{dec}} \in \mathbb{R}^{n_{\mathrm{v}} \times d}$ を得る. ま

空間情報の統合表現 $f \in \mathbb{R}^{d}$ を得る.

質問応答 ScanQA では, 点群と質問の入力に対して, 回答集合から回答を選び, 回答が参照する物体の位置とクラスを併せて出力する. 具体的には, 物体特徴量 $V^{\operatorname{dec}}$ 及び統合表現 $f$ を複数の MLP に入力し softmax を計算することで, 回答の確率分布 $p_{\text {ans }}$, 回答が参照する物体の確率分布 $p_{\mathrm{obj}}$, 回答のクラスの確率分布 $p_{\mathrm{cls}}$ を出力する. 学習時は, これらの出力に対する交差エントロピー損失, 及び VoteNet の物体検出に対する損失の和: $L=L_{\mathrm{ans}}+L_{\mathrm{obj}}+L_{\mathrm{cls}}+L_{\mathrm{det}}$ をモデル全体の損失として学習する。

## 2.2 OpenScene

CLIP [8] は画像-テキストペア $(I, T)$ の対照学習により,テキストと画像を同一の特徴空間に射影するよう事前学習された画像と言語のマルチモーダルモデルである. CLIPによる埋め込みは, 関連度の高いテキスト-画像ペアのコサイン類似度が高くなるよう学習されており様々な下流タスクの zero-shot 性能を高めることができる $[4,9]$.

OpenScene [3] は, 画像のピクセル毎の CLIP 特徴量を計算するモデル：OpenSeg [10]を用いて CLIP 特徴量を点群に射影することで, 点群に CLIP 特徴量を埋め込むことを可能にした. 実際に, 図 1 では質問の対象である「冷蔵庫」を正しく特定できており，点群に CLIP 特徴量を埋め込むことで, 空間中の質問文との関連性が高い領域を限定できることが視覚的に確認できる。

図1 点群データ (左), OpenScene により計算された CLIP 特徴量を可視化したもの（中）, 質問文:"What is placed next to the fridge?”に対するヒートマップ（右）

## 3 提案手法

ScanQA [1] では, 言語の埋め込みと点群に与えられる特徵量には関連性がなく, 言語エンコーダと空間エンコーダの精度が質問応答の精度に直結する。一方で, OpenScene [3] に示されたように, 初めから点群に CLIP 特徴量を埋め込むことができれば, 質問文との関連性がより明確になり, 質問応答の精度が改善するものと考えられる。

そこで本研究では, ScanQA モデルに OpenScene から計算された点群の CLIP 特徴量を入力として与えることで, 質問応答の精度がどう変化するかについて検証する (ベースモデル). 更に, 精度改善の為の工夫として 1）物体の特徴量, 及び単語埋め込みに CLIP 特徵量を付加する手法, 2) マルチモーダルモデルの注意機構に CLIP 特徵量から計算したバイアスを与える手法, の 2 点で ScanQA を改良したモデル ClipQAを提案し，その結果について議論する。

図 2 ClipQA モデル概要: ベースモデルでは ScanQA の入力を OpenScene から得られる点群データ $p \in \mathbb{R}^{n_{p} \times 778}$ に差し替える. 提案手法 1 では非線形層の直前で言語/物体特徴量に CLIP 特徴量を付加する. 提案手法 2 ではデコー ダの self-attention 層の注意機構にバイアスを加算する.

## 3.1 ベースモデル

ScanQA では, 位置 $x \in \mathbb{R}^{n_{\mathrm{p}} \times 3}$, 色 $c \in \mathbb{R}^{n_{\mathrm{p}} \times 3}$, 各点での法線ベクトル $n \in \mathbb{R}^{n_{\mathrm{p}} \times 3}$, 高さ $h \in \mathbb{R}^{n_{\mathrm{p}} \times 1}$, 及び ENet [11] から得られる特徵量 $f_{\text {multiview }} \in \mathbb{R}^{n_{\mathrm{p}} \times 128}$ を連結し得られる点群データ $p \in \mathbb{R}^{n_{\mathrm{p}} \times 138}$ をモデルの入力として与えている. ベースモデルでは, $f_{\text {multiview }}$ の代わりに, OpenScene [3] から得られる頂点ごとの CLIP 特徵量 $f_{\text {openscene }} \in \mathbb{R}^{n_{\mathrm{p}} \times 768}$ を用い, 点群 $p \in \mathbb{R}^{n_{\mathrm{p}} \times 778}$ をモデルの入力として与えるものとする. $\left(n_{\mathrm{p}}\right.$ : 点群の頂点数)

## 3.2 提案手法 1 : CLIP 特徵量の付加

ベースモデルでは, VoteNetによる物体検出の過程で CLIP 特徴量が変換されるため, 物体特徴量 $V_{\mathrm{emb}}$ が元々与えられていた CLIP 特徴量から乘離してしまうほか, 言語エンコーダ側で CLIP を用いていない為, 画像-言語間の類似度を表現する CLIP の効果を得られていない. そこで, ベースモデルの精度を改善する工夫として, 物体特徴量 $V_{\mathrm{emb}}$ 及び言語埋め込み $Q_{\mathrm{emb}}$ に物体と質問の CLIP 特徴量を連結して与える手法を提案する. 具体的には, (1), (4) 式にある $2 \supset$ の MLP が物体/質問それぞれの CLIP 特徴量を受け取るよう次のように拡張する。

$
\begin{aligned}
Q_{\mathrm{emb}} & =M L P_{\mathrm{Q}}^{\prime}\left(Q^{\prime}, Q_{\text {clip }}\right) \\
V_{\text {emb }} & =M L P_{\mathrm{V}}^{\prime}\left(V, V_{\text {clip }}\right)
\end{aligned}
$

ここで, $Q_{\text {clip }} \in \mathbb{R}^{768}$ は質問文の CLIP 特徴量, $V_{\text {clip }} \in$ $\mathbb{R}^{n_{\mathrm{v}} \times 768}$ は検出された物体 bounding box $\left(=V_{\mathrm{box}}\right)$ 内の CLIP 特徴量の平均である.このように言語/物体の両方に CLIP 特徴量を付加することで, 後続のマルチモーダルモデルにおいても CLIP 特徴量が表現する質問-物体間の関係が有効活用され, 質問応答の精度が改善するものと期待される.

## 3.3 提案手法 2:マルチモーダルモデル (デコーダ) へのバイアス付加

ベースモデルでは, マルチモーダルモデルのデコーダ部分において, 注意機構における attention は学習中に End-to-End で学習される. 一方で, 物体及び質問の CLIP 特徴量が既知である場合, そのコサイン類似度を計算することで質問と各物体の関連度が分かると考えられる.ここでは, 質問応答においてi)物理的に近接した物体同士は同時に参照されやすいこと, ii) 質問と関連度の高い物体により注目すべきであること,の 2 つ観点に基づいて, 次のような注意行列 $M_{\text {Bias_Attn }}$ を考える。

$
\begin{aligned}
M_{\text {dist }} & =\operatorname{softmax}\left(-\operatorname{dist}\left(V_{\text {box }}\right)\right) \\
M_{\text {relativity }} & =\operatorname{softmax}\left(Q_{\text {clip }} \cdot V_{\text {clip }}\right) \\
M_{\text {Bias_Attn }} & =\operatorname{softmax}\left(M_{\text {dist }} * M_{\text {relativity }}\right)
\end{aligned}
$

図 3 距離及び CLIP 関連度を用いた注意行列計算例

ここで dist 関数は検出された物体の中心間のユー クリッド距離を計算する関数, $M_{\text {Bias_Atn }} \in \mathbb{R}^{n_{\mathrm{v}} \times n_{\mathrm{v}}}$ は $M_{\text {dist }} \in \mathbb{R}^{n_{\mathrm{v}} \times n_{\mathrm{v}}}$ と $M_{\text {relativity }} \in \mathbb{R}^{n_{\mathrm{v}} \times n_{\mathrm{v}}}$ の要素ごとの積により計算するものとする. 直感的には $M_{\text {dist }}$ は物理的に近い物体はより相互に注目されるべきことを表し, $M_{\text {relativity }}$ は質問と高い関連度を持つ物体に，より注目すべきことを表している.

学習時は, $M_{\text {Bias_Attn }}$ とデコーダが計算したアテンションを $0 \sim 1$ の割合で内分して用いるものとし, 内分の割合はへッド毎に変えられるよう学習可能なパラメータを設定した.

Final_Attn $=$ inter $p\left(\right.$ Decoder_Attn, $\left.M_{\text {Bias_Attn }}\right)$

これにより質問応答の際にモデルが注目すべき物体が明確化され, 精度が改善するものと期待される.

## 4 データセット

本研究では, ScanNet [12] が公開する屋内スキャンデータセット及び,これに対する質問応答のデータセットである ScanQA（データセット1））[1]を用いる.また, 点群に与える CLIP 特徵量は ScanNet に含まれる RGB-D データに OpenScene ${ }^{2)}$ を適用し, 事前計算したものを用いた.

## 5 実験

ここでは ScanQA データセットを用いて, ScanQA と ClipQA（ベースモデル）, 及びベースモデルに上記変更を施した ClipQA(提案手法 1 のみ), ClipQA (提案手法 2 のみ)，ClipQA(提案手法)をそれぞれ 20 epoch ずつ学習させ, 提案手法の有効性を検証する. 学習時の最適化アルゴリズムには Adam を適用し, パラメータは次のように設定した。学習率: $\operatorname{lr}=0.0005,\left(\beta_{1}, \beta_{2}\right)=(0.9,0.999), \epsilon=1.0 \times 10^{-5}$.

1）ScanQA（モデル）を提案した Azuma ら [1] がモデルと同時に公開した 3D-VQA 用のデータセット.なお, 本研究では test_w/o_objects 以外のデータを用いて実験を行った.

2） CLIP モデルには OpenSeg（ViT-L/14@336px）を用いた。
表 1 テストデータセットでの実験結果

## 5.1 実験結果

ClipQA(提案手法) と既存モデル ScanQA ${ }^{3}$ ののテストデータでの評価結果を表 1 , 開発データでの学習結果を表 2 に示す. 各表において, 全体を通した最高精度を太字で, 表 2 においては提案手法のみで比較した場合の最高精度に下線を引いて記載した。

## 5.2 ScanQA との比較

テストデータによる評価からは, ClipQA では回答の完全一致を示す EM スコアは ScanQA に僅かに劣るものの, その他の評価指標においては ClipQA が ScanQA の精度を平均 1.75 ポイント上回った. また, 開発データによる結果においても, BLEU 4 を除くすべての指標で ClipQA が ScanQA の精度を上回っている. 特に, テストデータでの BLEU1, BLEU 4, CIDEr, 及び開発データでの CIDEr では ClipQA が ScanQA の精度を 3 ポイント近く上回っており,これは提案手法が ScanQA に対して優位であることを示していると考えられる。

## 5.3 提案手法同士の比較

開発データによる評価では, ベースモデルでは全ての指標で ScanQAを下回ったが, 両者ではモデルが同一である為,これは CLIP と ENet の特徵量の埋め込み空間の質の違いによるものと考えられる。

一方で, 提案手法同士の性能をベースモデルを基準として見た場合には,片方の手法のみを用いた場合の BLEU4 を除くすべての指標で精度が向上して

おり,これは提案した 2 手法がいずれも質問応答に有効であることを示していると考えられる. 特に, 提案手法 1 は単体でも一部の評価指標で最高精度を達成しているほか, 提案手法 2 のみを用いたモデルよりも,両提案手法を用いたモデルの方が全評価指標において精度が改善していることから, 2 つの提案手法の中では提案手法 1 がより精度改善に貢献していると考えられる。

また, 提案手法 1,2 の一方のみでは BLEU 4 においてベースモデルよりも精度が悪化する一方で, 2 つの手法を組み合わせたモデルはベースモデルと比較して, 全評価指標を通して精度が $3.8 \sim 15.0 \%$ 向上しており, 提案手法 1,2 を同時に用いることの有効性を示唆していると考えられる。

## 6 結論

本論文では 3D-VQA モデルへの入力として点群に CLIP 特徵量を与えることにより, 質問応答の精度がどのように変化するかを検証した. その結果, CLIP 特徴量をモデルに単純に入力するだけでは既存手法: ScanQA の精度を下回ったが, i) 質問/物体特徵量に CLIP 特徴量を付加する, ii) マルチモーダルモデルの注意機構にバイアスを付加をするよう改善した提案手法では ScanQA よりも高い精度を達成することが示された.これは CLIP 特徴量が質問応答に有用な情報を含むことを示唆しており, 今後 3D-VQA 以外の VL タスクへの CLIP の応用が期待される.

今後の展望としては, 本研究で手動で設計した注意機構のバイアスの改良, またはデコーダの attention とバイアスの差分に対して罰則値を設けるなどの別手法について検討したい.

## 参考文献

[1] Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, and Motoaki Kawanabe. Scanqa: 3d question answering for spatial scene understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[2] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. Vqa: Visual question answering. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 2425-2433, 2015.

[3] Songyou Peng, Kyle Genova, Chiyu "Max" Jiang, Andrea Tagliasacchi, Marc Pollefeys, and Thomas Funkhouser. Openscene: $3 \mathrm{~d}$ scene understanding with open vocabularies. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[4] Justin Kerr, Chung Min Kim, Ken Goldberg, Angjoo Kanazawa, and Matthew Tancik. Lerf: Language embedded radiance fields. In International Conference on Computer Vision (ICCV), 2023.

[5] Shuquan Ye, Dongdong Chen, Songfang Han, and Jing Liao. 3d question answering. IEEE Transactions on Visualization and Computer Graphics, pp. 1-16, 2022.

[6] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017.

[7] Charles R Qi, Or Litany, Kaiming He, and Leonidas J Guibas. Deep hough voting for 3d object detection in point clouds. In Proceedings of the IEEE International Conference on Computer Vision, 2019.

[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[9] Nur Muhammad (Mahi) Shafiullah, Chris Paxton, Lerrel Pinto, Soumith Chintala, and Arthur Szlam. Clip-fields: Weakly supervised semantic fields for robotic memory. ArXiv, Vol. abs/2210.05663, , 2022.

[10] Golnaz Ghiasi, Xiuye Gu, Yin Cui, and Tsung-Yi Lin. Scaling open-vocabulary image segmentation with imagelevel labels. In ECCV, 2022.

[11] Adam Paszke, Abhishek Chaurasia, Sangpil Kim, and Eugenio Culurciello. Enet: A deep neural network architecture for real-time semantic segmentation, 2016.

[12] Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.


# 長文生成の多面的評価:人手評価と自動評価の向上を目指して

鴨田豪 1 浅井明里 ${ }^{2}$ Ana Brassard ${ }^{3,1}$ 坂口慶祐 ${ }^{1,3}$
1 東北大学 2 ワシントン大学 3 理化学研究所
go.kamoda@dc.tohoku.ac.jp akari@cs.washington.edu
ana.brassard@riken.jp keisuke.sakaguchi@tohoku.ac.jp

## 概要

大規模言語モデル (LLM) は幅広いタスク目覚ましい成長を遂げているが，情報検索クエリに対する長文応答の評価は依然として困難である. 本研究ではそのような長文生成に対して網羅的な評価基準を定め，人手評価と自動評価の質を高める．評価には 4 つの軸を設け，それぞれに対し絶対評価を行う。 この枠組みに従い，人間の回答と LLM が生成した回答に対して総計 3,600 件の人手評価を収集し, 総合評価に最も影響を与える重要な評価軸を明らかにする. 更に，従来の手法を人手評価との相関で凌駕する，LLMを利用した自動評価手法を確立する。

O github.com/gokamoda/LFQA-MultiAspectEval

## 1 はじめに

質問応答タスクは大きく Factoid 型と Non-Factoid 型に分けられる。「日本の首都は？」のような回答が名詞 1 単語など一言で回答できるようなタスクを Factoid 型とよび，「なぜ空は青い？」のような複数文での説明を要するようなタスクを Non-Factoid 型と呼ぶ．Factoid 型の質問応答タスクは特に Mask 言語モデルで研究の対象とされてきた $[1,2,3]$. 一方で，大規模言語モデル (LLM) は様々なタスクで著しい成長を遂げており [4], 情報検索クエリに対して流暢でもっともらしい長文回答が生成できる様になった [5]. これより, Non-Factoid 型質問応答タスクへの注目が集まるようになった $[6,7]$. 現在の言語モデルは高品質な回答を出力できるとされるが，それらの評価は依然として課題の一つである [8]. 広く使われている自動評価指標である ROUGE は [9] 模範解答との使用語彙の一致度を利用するが，簡単にだしぬけてしまう [10]. 信頼できる評価を行うために，昨今では 2 つの回答の候補を見せて全体

図1 LFQA タスクではこれまで一対比較型の評価が行われてきた. 本研究では多面的な絶対評価手法を行う.

的な良さを比較する一対比較型の人手評価が行われてきた [11,12,13,14,8,15]. しかしこの手法では相対的評価にしかならず，また評価対象がどの点で優れているか (劣っているか) は明らかにならない.

本研究では網羅的な評価基準を新たに定め，人手評価と自動評価のそれぞれに対してその妥当性を示す。まず，これまで行われてきた一対比較型の相対評価に替わり，LFQA タスクに特化した 4 つの評価軸 (Formality, FactUality, Amount Info, ACCEPTABILITY) を設け，事前に定義された評価尺度にしたがって絶対的評価を行う (図 1).

新たな評価基準に従い，LFQA タスクで広く使われている ELI5 データセットの一部と ChatGPT を用いて生成した回答の総計 1,200 の回答に対して人手評価を行う．結果，相対評価では $83 \%$ のケースで ChatGPT の回答が好まれたが，これらの回答が絶対評価において満点をとっている割合は半数にとどまった。また，ChatGPTの回答でも知識の正しさの面で改善の余地があることが明らかになり，多面的絶対評価を行うことの妥当性が示された.

自動評価では LLM を使用した LLM-MATE (MultiAspecT Evaluation)を提案する. LLM-MATE では評価軸ごとの評価を LLM で予測し，その重み付き和

Question: Why do we hate our own voice when we hear it recorded?

図 2 評価軸と尺度を左に示す. 右に評価を行う質問・回答と，それに対する評価の例を示す。青いセルは理想スコアを示し，赤いセルは悪いスコアを示す。 $\mathrm{HT}$, : $\mathrm{HR}$, 自 MF, and 离 MC はそれぞれ Human Top, Human Random, Model Formal, Model Casual を指す。一つの回答に対して 3 件の評価データを収集する。

で最終評価を決定する。重みは人手評価結果をもとに計算され，GPT-4 と追加学習させた Llama2-7B を使用した結果，人手評価との相関は 0.7 を超え，従来の評価指標を凌駕した。

## 2 LFQA タスクの評価

多面的絶対評価従来の一対比較型の評価に代わり，多面的かつ絶対的な評価を行う.

多面的人手評価は説明生成タスク [16] や文書要約タスク [17] で採用されている.これらを参考に，LFQA タスク特化の多面的評価軸を決定する. 本研究では Formality, Factuality, Amount Info, Acceptability の 4 軸を用意する (図 2 左). FORMALITY は回答の表層に着目し, 使用語彙や文構造，綴の正しさ等の適切度合いを測る. 回答の内容を評価する軸としては FACTUALITY と AMOUNT INFO を用意し，それぞれ回答に含まれる知識や事実の正しさと量を測る. 最後に回答の総合的な評価を ACCEPTABILITY で評価する.ここで総合的な高評価を得る回答は最低限，「自己完結的であり，かつ専門外の読み手にも伝わらなければならない」とした. これらの評価軸は. それぞれの回答がどの面で優れているか (伸びしろがあるか) の分析を可能にする。

絶対的評価では，複数の回答を比較した相対評価ではなく, 評価尺度に応じた絶対値での評価を行う. FACTUALITY と ACCEPTABILITY では 0 から 3 の整数値を取る尺度を採用する。一方 AMOUNT INFO と FORMALITY ではそのバランスが重要なため -1 から 1
の整数値を取る尺度を採用する。

評価対象広く使われている LFQA データセットである ELI5 から 300 の質問を使用する。それぞれの質問に対して 4 つ, 計 1,200 件の回答を評価対象とする. 4 つの回答のうち 2 つは ELI5 に収録されている，回答最もスコアの高い回答 (HT; Human-Top) と，それ以外の回答をランダムに選択したもの (HR; Human-Random) を使用する. 残り 2 つは ChatGPT による回答で，一つは簡単なプロンプトで生成させ (MF; Model-Formal)，もう一つはより砕けた表現をするように生成させる (MC; Model-Casual).

## 3 人手評価

2節に従い, Amazon Mechanical Turk 上で人手評価を行った. 1,200 の回答について各 3 件，合計 3,600 件の評価データを収集した．アノテータには多面的絶対評価の他に，既存研究が行ってきた相対的評価と合わせて，「評価の根拠」の記述を依頼した。依頼時には, 特に FACTUALITY の正確性向上のために Google Seach API ${ }^{1}$ で収集した参考文献 10 件を見せた. アノテータ一致度の $\kappa$ は 0.74 で，計 $\$ 5,064$ 支払った. 収集した評価データは公開する。このデー タは 283 件の評価対象に対して 1 件ずつ評価した Krishna ら [10] や，260 件に対して 1-2 件ずつ評価した Xu ら [8] らのデータよりも大規模であり，参考文献を事前に与えた上で Nakano ら [15] のように外部ツールの利用を制限しなかった点で優れている.

1) https://serpapi.com/

図 3 相対評価の結果. ChatGPT の回答が好まれるケースが $83 \%$ だった.

図 4 評価軸ごとの評価分布. 理想のスコアは左図で 3 ,右図で 0 である.

## 3.1 結果

まず，既存研究に倣って相対評価の結果を見る.図 3 に示すように，83\%のケースで ChatGPT の回答が好まれた. この結果は Xu らの結果 [8] と概ね一致する．次に多面的絶対評価の結果を見る．図 4 に多面的評価の分布を示す. ACCEPTABILITY に着目すると, HT, HR 回答の平均は $1.38,1.15$ であったのに対し，MF，MC 回答は 2.46，2.36だった. 相対評価では全体の $83 \%$ で ChatGPT の回答が好まれたが，これらの回答が絶対評価において最高評価を受ける割

対尺度で評価を行うことの重要性が示唆される. 更に他の評価軸に着目すると, 人間が作成した回答は情報量が少なく, 砕けた文体で書かれる傾向があることがわかる。一方 ChatGPT の回答は，適度な情報量と文体で書かれることがわかる。また, ChatGPT の回答について, FACTUALITY では他の評価軸に比べて評価の標準偏差が大きく，0.75となった.

次に，総合的評価軸である ACCEPTABILITy に，他の軸が与えている影響を測るため，線形回帰モデルを学習する. まず減点方式に変換するために入力を標準化する (式 1,2 ). 次に回帰モデルの重み $\mathbf{w}$ を学習させる (式 3 ).

$
f\left(\left[\begin{array}{c}
\text { Formality } \\
\text { AMount Info } \\
\text { Factuality }
\end{array}\right]\right)\left[\begin{array}{c}
(\text { Formality }-3) / 3 \\
-\mid \text { Amount InFo } \mid \\
-\mid \text { FactUALity } \mid
\end{array}\right]
$

$
y_{\text {ACCE }}=\text { ACCEPTABILITY }-3
$

$
y_{\mathrm{ACCE}}=\mathbf{w} \cdot f(\mathbf{x})
$

結果, $w_{\text {FoRM }}, w_{\text {INFO }}$, and $w_{\text {FACT }}$ はそれぞれ $0.335,0.739$, 2.048 となり, FACTUALITY が最も重要であり, FORMALITY の軸で測った文体の影響は小さいことがわかる. モデルは全体の $80 \%$ のデータで学習され, 残りの $20 \%$ では Pearson 相関係数が 0.853 となり，手法の妥当性が示された.

その他，収集した「評価の根拠」を分析すると，評価に使用した 3 軸の他に「完全さ」「わかりやすさ」「具体性」などの言葉が多く使用されていた.

## 4 自動評価

## 4.1 LLM-MATE

ELI5 データセットの評価指標としては，模範解答との類似度を計算する ROUGE が採用されているが [9], 人手評価との相関が低いことが知られている [10]. 更に，模範解答の質に関しても問題視されている [15]. そこで，本論文では模範解答を必要としない新しい評価指標 LLM-MATE(Multi-AspecT Evaluation) を提案する.

LLM-MATE は昨今飛躍的発展を遂げている LLM を利用した多面的評価指標である．LLMを評価に使用する研究は行われているが，一対比較型の手法を採用している $[8,12,13,14]$. 本論文で提案する LLM-MATE では 2 節で紹介した多面的絶対評価の枠組みを使用し，LFQAタスクに最適化した指標である。LLM-MATE ではまず LLM に FACTUALITY, Amount Info, Formality の 3 評価軸で独立に評価を出力させる. 入力 Prompt は, 各評価軸と尺度の説明 $i$, LFQA タスクの質問 $q$ とその回答 $r$ で構成する. それらを式3で学習した重みを使って ACCEPTABILITY に変換することで総合評価を算出する ${ }^{2}$ :

$
\text { MATE_score }=\mathbf{w} \cdot f(\mathbf{L L M}(i, q, r))+3
$

評価 LLM としては, One-shot 形式で入力を与える GPT-4[18] と今回収集した人手評価データで追加学習した Llama2-7B[19]を使用する. Llama2-7B は, GPT-4 が決定的でないため用意した.

## 4.2 実験

LLM-MATE と他の既存評価指標とを今回収集した人手評価データとの Pearson 相関係数 $\rho$ で比較する.

既存評価指標前述の通り，ROUGE が広く使われている。模範解答としては HT 回答を使用

2）関数 $f$ は式 1 で定義されており, 定数項 $(+3)$ が式 2 の逆関数に対応する。
表 1 上段:@ MF (Model-generated Formal), MC (Model-generated Casual), 娄 HT (Human-written Top-rated) と $:$ HR (Human-written Random-sampled) の回答の平均スコア. 下段: 人手評価データの AcCePtABILITy との Pearson 相関係数. “Human Acce.” 列は，人手 AcCEPTABILITy スコアの平均を示す. ROUGE 指標では，模範解答として HT 回答を使用する.

する。その他の模範解答を使用する指標として， BERT-Score (BS) も報告する。また，文章の流暢さを測る GPT2-PPL も計測する. GPT2-PPLでは A 設定，QA 設定と RQA 設定を用意する．A 設定では，評価対象のある質問に対する回答のみを入力としてPPLを測る.QA 設定では回答の前にそれに対する質問を結合したものを，RQA 設定では回答の前にランダムな質問を結合したものを入力とする. 更に，最も簡単なべースラインとして Lenを用意し，比較対象とする。

LLM-MATE GPT-4を使用した LLM-MATE では，出力形式を定めるために One-shot 形式でプロンプ卜を作成する. Llama2 を使用した設定では， 3 節で収集した人手評価データで追加学習を行う. 具体的には， 192 (/300) の質問に対応する評価データを学習データとして使用する。多面的評価を行う LLM-MATE の有用性を示すために，直接総合評価 (ACCEPTABILIty) を出力させる $\mathbf{O A}$ 設定も用意し, その結果を報告する。

## 4.3 結果

既存評価指標これまで使用されてきた模範解答との一致度を示す ROUGE や BERT-Score では，人手評価データとの相関が 0.2 以下と低く, 最も簡単な Lenよりも相関がないことが示された. この結果は Krishna ら [10] の報告に合致する。また，GPT2-PPL は ROUGE 等よりも高い相関を示しているが，QA 設定と RQA 設定の差が小さい. RQA 設定では入力する質問と回答に脈略がないことからこの指標に対する疑念を抱かせる。

LLM-MATE GPT-4, Llama2 で人手評価との相関係数がそれぞれ $0.72,0.74$ となり最も強い相関を示している.この結果は, LLM で直接総合評価を出力する設定での結果である $\mathrm{OA}$ 設定での相関係数，0.70，
0.72 よりも高くなった. また，GPT-4 が決定的でないことを踏まえて，全体の $20 \%$ のデータについて評価を合計 3 回行い，その平均評価値を採用する方式を採った場合，OA 設定，MATE 設定での相関係数はそれぞれ $0.74,0.78$ となった. これらの結果は総じて自動評価であっても多面的評価を適応することの有用性を示している.

一方で，課題も残る．GPT-4 による軸ごとの評価の平均値は人手評価と比較して, FACTUALITY, Amount Info, Formality でそれぞれ $+0.24,+0.04$, +0.05 の乘離がある. Llama2 では $+0.43,-0.02,-0.02$ の乘離があり，どちらも FACTUALITY が過大評価になりやすいことがわかる．また，Llama2 を使用した LLM-MATE では, MF と MC 回答に対してほとんどの場合で満点を出力しており，過大評価になっていることがわかる.

## 5 終わりに

本研究では，LFQA タスクの多面的絶対評価の枠組みを作成した。それに従い，ELI5 データセットと ChatGPT で生成した回答に対して大規模な評価を行った．多くの場合，ChatGPTの回答が人間の回答よりも高品質であることが示された一方で，改善の余地は大きいことが明らかになった. 我々が作成した多面的絶対評価枝組みは，人手評価で重要視される評価軸を明らかにし， FACTUALITY が LFQA タスクにおいて特に需要であることがわかった。また， LLM を利用した新たな評価指標 LLM-MATE を提案し，人手評価データとの高い相関を示した.

今回作成した枠組みと LLM-MATE は, LFQA に限らずあらゆるタスクに適応可能である。また，作成した大規模な人手評価データは後続研究に大いに貢献すると考える. 本枠組みと合わせて自動評価指標 LLM-MATE も幅広く利用されることを期待する.

## 謝辞

本研究は JSPS 科研費 JP21K21343，JP22H00524， the IBM Fellowship の助成を受けたものです。また， Stability AI より提供された計算資源をモデルの学習に使用しました。

## 参考文献

[1] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[2] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics, 2020.

[3] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2021.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. In Advances in Neural Information Processing systems, 2020.

[5] Nelson F Liu, Tianyi Zhang, and Percy Liang. Evaluating verifiability in generative search engines. arXiv preprint arXiv:2304.09848, 2023.

[6] Valeriia Bolotova, Vladislav Blinov, Falk Scholer, W. Bruce Croft, and Mark Sanderson. A non-factoid question-answering taxonomy. In Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2022 .

[7] Ivan Stelmakh, Yi Luan, Bhuwan Dhingra, and MingWei Chang. ASQA: Factoid questions meet long-form answers. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2022.

[8] Fangyuan Xu, Yixiao Song, Mohit Iyyer, and Eunsol Choi. A critical evaluation of evaluations for long-form question answering. arXiv preprint arXiv:2305.18201, 2023.

[9] Angela Fan, Yacine Jernite, Ethan Perez, David Grangier, Jason Weston, and Michael Auli. ELI5: Long form question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2019.

[10] Kalpesh Krishna, Aurko Roy, and Mohit Iyyer. Hurdles to progress in long-form question answering. In Proceed- ings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021.

[11] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[12] Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili $\mathrm{Yu}$, et al. Lima: Less is more for alignment. arXiv preprint arXiv:2305.11206, 2023.

[13] Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, and Dawn Song. The false promise of imitating proprietary $11 \mathrm{~ms}$. arXiv preprint arXiv:2305.15717, 2023.

[14] Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, and Jianfeng Gao. Instruction tuning with gpt-4. arXiv preprint arXiv:2304.03277, 2023.

[15] Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. Webgpt: Browser-assisted question-answering with human feedback. arXiv preprint arXiv:2112.09332, 2021.

[16] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics, 2022.

[17] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen $\mathrm{Xu}$, and Chenguang Zhu. G-eval: Nlg evaluation using gpt-4 with better human alignment. arXiv preprint arXiv:2303.16634, 2023

[18] R OpenAI. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

[19] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

## A ELI5 のサンプリング

ELI5 から 300 の質問とそれに対応する回答を抽出する過程を説明する．まず，テストセットの最初の 800 件から，URL などの外部参照がなされている回答を破棄する．次に残った回答が 2 件未満であるものを破棄する。残った質問に対して ChatGPT に回答を生成させる. ChatGPT の生成回答が “As an AI”などで始まる回答を，質問への回答を拒否したとみなし，元の質問を破棄する．残ったデータから，300 件の質問をランダムに選択する.

## B ChatGPT のプロンプト

MF，MC 回答の収集には以下を使用する.

表 2 MF 回答に使用したプロンプト

system You are a helpful assistant who answers questions on a forum.

user Answer the following question in 75-100 words: \{question\}

表 $3 \mathrm{MC}$ 回答に使用したプロンプト

system You are a helpful assistant who answers questions on a forum.

user Instruction:

Answer the following question in $75-100$ words.

Requirements:

The answer should not use difficult vocabularies.

The answer should be understandable to people outside the field.

The answer should be a little bit casual.

Question: \{question\}

## C アノテーション

## C. 1 インターフェース

Amazon Mechanical Turk で使用した評価インター フェースの一部を図 5 に示す.

## C. 2 アノテーター致度

図 6 は相対評価の一致度を示す. 300 件中の 69 件では， 3 人全員の相対評価 (4つの回答のうちどれが一番良いか) が一致した. 190 件では 2 人の評価が一致し， 41 件では全員の票が割れた。
Candidate 3

## Answer

When you hear your voice normally, you hear a sound transmitted through $t$ your jaw and skull. Since bone transits sound very differently to air, the way

When your voice is recoded and played back, you hear the sound as everyc

I doubt that "everyone ${ }^{\star \star \star}$ hates" their voice when it's recorded, but they cer because it sounds different to the way you normally hear your voice.

## Evaluation

## Preference

Please select the candidate you prefer.

$\square$ No candidates are appropriate, but if I have to choose one ...

Candidate 0

Candidate 1

Candidate 2

Candidate 3

## About your preference

Please let us know why you chose the candidate you did, particularly if you place

図 5 Amazon Mechanical Turk で使用した評価インター フェースの一部を示す. この他に，指示，Candidate0-2，参考文献，コメントがあるが紙面の都合で割愛する。

図 6 相対評価の一致度. “Total Agreement”は, 3 人のアノテータが同じものを選んだことを意味し，“Disagreement” は 3 人が全員異なる回答を選択したことを意味する。内側の円グラフは，どの回答が過半数のアノテータによって選択されたかを示している。


# 日本語 Natural Questions と BoolQ の構築

植松拓也 ${ }^{1}$ 王昊 1 河原大輔 1 柴田知秀 2
1 早稲田大学 ${ }^{2}$ LINE ヤフー株式会社
}

\{takuya1009@akane., conan1024hao@akane.,dkw@\}waseda.jp tomshiba@lycorp.co.jp
## 概要

頑健な質問応答 $(\mathrm{QA})$ モデルの訓練、評価を行うためには、様々な QA データセットを用意する必要がある。しかし、多様な QA データセットが存在する言語は英語だけであり、日本語においては少数の基本的な QA データセットしか存在しない。本研究では、人間の情報欲求から自然発生する質問からなる Natural Questions (NQ) と BoolQ の日本語版 (JNQ, JBoolQ) を構築する。構築は、検索エンジンのクエリログから日本語の自然な質問文を収集し、クラウドソーシングを利用したアノテーションによって行う。また、JNQ から 2 つのタスク、JBoolQから 1 つのタスクを定義し、QA モデルを評価する。

## 1 はじめに

高性能かつ頑健な自然言語処理 (NLP) モデルを構築するためには、様々な質問応答（QA）データセットを用意し、訓練、評価、分析をすることが重要である。QA データセットには抽出型、生成型、多肢選択式など様々な種類があり、それらを解くためには Multi-hop 推論 [1] や実世界知識 [2] など多くの技術・知識が必要となる。Unified QA [3] や FLAN [4] のように様々な $\mathrm{QA}$ タスクを統合的に解く研究もあるが、このような統合的な解析が可能なのは英語だけであり、他言語では多様な $\mathrm{QA}$ データセットが存在しないため不可能である。日本語には、 JSQuAD [5] や JaQuAD [6]、JAQKET [7] などの基本的な $\mathrm{QA}$ データセットしか存在しない。

日本語に存在しない重要な $\mathrm{QA}$ データセットとして、人間の情報欲求から自然に発生する質問からなる Natural Questions (NQ) [8] がある。例えば SQuAD [9] では、質問をアノテータに作成してもらうため自然な質問ではなく、annotation artifacts [10] が存在するという問題がある。これに対して、NQ では、検索エンジンにユーザが大力したクエリが用いられており、自然な質問と考えられる。本研究では、翻訳を使用せず、検索エンジンの日本語クエリログを利用して、日本語 Natural Questions (JNQ) を構築する。クエリログからデータセットを構築するために、NQでは訓練されたアノテータが雇用されていたが、JNQではコストを低減するためにクラウドソーシングで行う。

JNQ に加えて、NQ から派生した yes/no 質問からなる BoolQ データセット [11] の日本語版である JBoolQ も構築する。JNQ と JBoolQ の例を図 1 に示す。また、JNQ から Long Answer 抽出タスク、Short Answer タスク、JBoolQ から Yes/No Answer 識別タスクを定義し、ベースラインとなるモデルの評価を行った。

## 2 日本語 Natural Questions

NQ [8] は、文書を読んで自然な質問に答える能力に焦点を当てたデータセットで、質問文、文書、long answer、short answer から構成される。質問文は、検索エンジンのクエリログから収集されている。文書は、Wikipedia の記事を採用し、1つの質問文に対し 1 つの文書が与えられる。long answer は、答えを推測するのに十分な情報を含んでいる文書中の段落や表などである。short answerは、質問文に対するできるだけ短い答えであり、文書中のスパンである。

日本語 Natural Questions (JNQ) も、NQ と同様に、質問文、文書、long answer、short answer から構成する。質問文は検索エンジンのクエリログから抽出し、文書は日本語 Wikipedia の記事である。long answer、short answer はクラウドソーシング1)を利用して取得する。クラウドソーシングを利用することにより、専門家のアノテータを必要とせずに低コスト、かつ、一定の質を担保したデータセットを構築することができる。long answer は、クラウドソーシングで扱うためにタスクを簡単化し、段落のみを対象とする。NQ では文書中に long answer は一つであるという強い制約があるが、実際は文書中に答えを

1）Yahoo!クラウドソーシングを用いた。

JNQ

$\mathrm{Q}:$ 長岡市がある都道府県はどこでしょう?

文書のタイトル : 長岡市

JBoolQ

$\mathrm{Q}:$ 宝くじの当選金に税金はかかる？

文書のタイトル : 宝くじ

宝くじ(たからくじ)は、日本において当せん金付証票法に基づき発行される富くじである。

Long Answer: 当せん金付証票法第 13 条の規定により、宝くじの当せん金については非課税と規定されている。したがって所得税は課されず、確定申告も不要。

Short Answer:いいえ

図 $1 \mathrm{JNQ}$ と JBoolQ の例

含む段落が複数存在するので、JNQ では 1 つの質問文に対する long answer が複数ある、もしくは 1 つも無い場合を許容する。

図 2 に構築の流れを示す。以下では JNQ 構築の各段階について説明する。クラウドソーシングでは、良質なデータセットを構築するため、1つの質問に対して 10 人のクラウドワーカーに回答してもらう。

## 2.1 質問文と文書の収集

JNQ の質問文候補は、Yahoo! 検索2) に入力された検索クエリログから抽出する。人々は検索をする際、文で検索せずに単語を並べて検索する場合がある。このようなクエリは検索エンジンに特化しており、質問文ではないものも含まれているため、スペースを含むクエリは質問文候補から除く。また、短いクエリは、質問形式になっていないことが多いため、 8 単語以上で構成されるクエリのみを抽出する3)。その後、以下のいずれかの質問パターンにマッチしたクエリを抽出する。

1.「は十疑問詞」を含む

2. 最後の文字が「?」

3.「方法」、「理由」などの特定の単語を含む

得られた質問文候補で Google 検索を行い、上位 5 件以内に日本語 Wikipedia の記事がある場合、最も上位の記事を文書として採用する4)。

## 2.2 良い質問文の識別

質問文候補の中には、質問ではない文や不適切な質問文が存在するため、クラウドソーシングを用いて良い質問文を得る。良い質問文は、事実、方法、原因・理由について尋ねる質問と定義し、悪い質問

2) https://search.yahoo.co.jp/

3）単語分割は形態素解析システム Juman++で行う。

4）検索結果の上位 5 件以内に Wikipedia の記事がない質問文候補は除去する。表 $1 \mathrm{JNQ}$ の質問文のタイプ分類

文は、曖昧、前提が誤っている、意見を求める、作品のタイトル、答えるタイミングによって答えが変化する質問と定義する。10人のクラウドワーカー に質問文候補を与え、良い質問文かどうかを判断してもらう。6 人以上が良いと判断した質問文候補を質問文として採用する。良い質問文と判断された例を付録 A に示す5)。JNQ から 100 件の質問文を抽出し、英語に翻訳したときにどの wh-word で始まるかに応じて分類した結果を表 1 に示す。

## 2.3 Long Answer 抽出

クラウドソーシングを利用して、答えを導くために十分な情報を含む段落である long answer を得る。 アノテーションコストを下げるため、クラウドワー カーには最大で 5 段落を与える。この 5 段落は、文書の最初の段落と、2.1 節で行った Google 検索によって得られるスニペットとの関連度が高い上位 4 段落（最初の段落以外）から構成する。これは、概要が述べられることの多い最初の段落と、スニペッ卜との関連度 6 ) が高い段落には、答えが含まれる可能性が高いと考えられるからである。この 5 段落に含まれない段落は、long answer ではない段落と判断し、NONE ラベルを付与する（図 2 の点線矢印）。

5）悪いと判断された質問文には、「今日はどこに行こうかな?」、「amazon 支払い方法が承認されません」などがある。

6）関連度は、スニペットと段落をそれぞれ bag of words で表現し、それらの $\cos$ 類似度で計算する。

図 2 日本語 Natural Questions の構築フロー

10 人のクラウドワーカーに質問文と各段落を与え、段落が質問の答えを推論するのに十分な情報を含むかどうかを尋ねる。10 人中の票数によって、段落を次の 3 つに分類する。 7 人以上が「含む」と回答した場合、その段落を long answer とし、EXIST ラベルを付与する。 4 人から 6 人の場合、long answer かどうか曖昧な段落とし、AMBIGUOUS ラベルを付与する。この段落は、学習時に除去することで、， イズを減らすことができると考えられる。3人以下の場合は、long answer ではない段落とし、NONE ラベルを付与する。段落ごとに判定するため、1つの質問に対して複数の long answer が存在する、もしくは、long answer が 1 も存在しない可能性がある。

## 2.4 Yes/No 質問識別

次のステップ (2.5 節)では、long answer と判断された段落から short answerを得る。short answer の抽出方法は、質問文が yes/no 質問かどうかで異なるため、質問文が yes/no 質問かどうかをクラウドソーシングで識別する。10 人のうち 7 人以上が yes/no 質問と判断した質問文を yes/no 質問とする。4 人から 6 人が yes/no 質問と判断した場合は、yes/no 質問かどうか曖昧なためデータセットから除去する。

## 2.5 Short Answer 識別 ・抽出

質問文が yes/no 質問かどうかによって場合分けし、long answer と判断された段落から short answer を得る。yes/no 質問であれば yes/no answer、yes/no 質問でなければ span answerを得る。
Yes/No Answer 識別 yes/no 質問の場合、答えが 「yes」か「no」かを判断してもらう。10人のクラウドワーカーのうち、8 人以上が「yes」もしくは「no」 と判断した場合、その回答を short answer とする。7 人以下の段落は、「yes」か「no」かが曖昧な質問と判断し、short answer には NONE ラベルを付与する。 つまり、この段落は long answer のみと判断される。

Span Answer 抽出 yes/no 質問ではない場合、段落から span answer をクラウドワーカーに抜き出してもらう。10人の回答を集計し、多数決で判定する。ただし、 1 票しか獲得していない回答は信頼性が低いとみなし、採用しない。もし、段落内に span answer がない場合、その段落を NONE とする。

## 3 日本語 BoolQ

BoolQ [11] は、自然な yes/no 質問に焦点を当てた QA データセットである。non-factoid な質問文が多く含まれており、解くために多様な推論能力が必要とされる。各事例は質問文、段落 (NQにおける long answer に相当)、答え (yes/no) で構成される。BoolQ は NQ より仕様を簡単化しており、yes/noのどちらかの答えをもつ質問文のみを採用し、文書全体ではなく1つの段落を質問文とぺアにしている。

日本語 BoolQ (JBoolQ) は、JNQ における yes/no 質問と同じく、質問文、文書、long answer、yes/no answer で構成する。BoolQ とは異なり、各質問は複数の long answerをもつ可能性があり、答えは yes/no 以外に「答えられない」(NONE)を含む。そのため、 BoolQ よりも難易度が高く、この問題を解くためには、文書に関するより深い理解が求められる。
表 23 つのタスクの統計: Long answer 抽出においては問題数、その他のタスクにおいてはインスタンス数である。

表 3 Long answer 抽出の精度

JBoolQ は基本的には JNQ と同じ手続きで構築する。JNQ に含まれる yes/no 質問は約 $1 \%$ と少ないことを鑑み、JNQよりも多くのクエリログから収集する。各ステップの詳細は 2 節を参照されたい。

## 4 実験

実験設定 JNQから 2つ、JBoolQから 1つのタスクを定義する (各タスクの統計を表 2 に示す)。

$\cdot$Long answer 抽出: 文書中から long answer を持つすべての段落を選択する。
- Short answer 抽出: 段落内から short answer を抽出する7)。

・Yes/No answer 識別: 段落を読み、質問に対する答えを「yes」、「no」、NNONE」のいずれかに分類する。

各タスクで、ベースラインとなるモデルを構築し評価する。Long answer 抽出タスクは、各段落が long answer かどうかの 2 值分類として解く。この時、クラウドワーカーに与えた 5 段落以外の段落を long answerではない段落として学習する。評価尺度は $\mathrm{P}$, R, F1を用いる。Short answer 抽出タスクは、SQuAD 2.0 [12] に従って解く。評価尺度は EM (Exact Match) と文字単位の F1を用いる。Yes/No answer 識別タスクでは、各段落が「yes」、「no」、「NONE」のいずれかである 3 値分類として解く。評価尺度は「yes」 と「 no」についての $\mathrm{P}, \mathrm{R}, \mathrm{F} 1$ のマイクロ平均を用いる。ベースモデルとして、日本語 BERT [13] と RoBERTa [14] を用いる8)。

結果各タスクの評価結果を表 3、4、5 に示す。

7） long answer が存在するとラベル付けされた質問と段落のペアのみを対象とし、yes/no 質問は NQ に従い除去する。

8) Hugging Face 社 $の$ Transformers を用いた。表 4 Short answer 抽出の精度

表 5 Yes/No answer 識別の精度

人間のスコアは、クラウドソーシングを利用して算出した。ただし、Long answer 抽出タスクの場合のみ、テストセットから 100 問を抽出した。

Long answer 抽出タスクにおいては、WasedaRoBERTa-base の性能が最も良い。将来的には、本研究で扱った 5 段落以外において、モデルが long answer と判定した段落をクラウドワーカーに提示し、long answer かどうかを判断してもらうということで、データセットの質が上がると考えられる。

Short answer 抽出タスクにおいては、WasedaRoBERTa-base と Waseda-RoBERTa-large の性能が良く、スコアは人間と近い。

Yes/No answer 識別タスクでは、precision と比較すると recall が低い值を示しており、「yes」か「no」が答えの質問を「NONE」と予測しているケースがあることがわかる。「NONE」ラベルを追加したことで BoolQ よりも難易度が高いと考えられる。

## 5 おわりに

本研究では、日本語 Natural Questions (JNQ) と日本語 BoolQ (JBoolQ) の 2 つの QA データセットを構築した。質問文は、検索エンジンのクエリログから収集しており、人間の情報欲求に由来する自然なものである。アノテーションは、コストを低減するためにクラウドソーシングで行った。JNQ から Long answer 抽出、Short answer 抽出、JBoolQ から Yes/No answer 識別の合計 3 タスクを定義し、ベースラインモデルの性能を評価した。

構築したデータセットは QA モデルや NLP モデルの訓練、評価、分析に活用でき、日本語においてこれらの研究が促進されることが期待される。

## 謝辞

本研究は LINE ヤフー株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2368-2378, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Daniel Khashabi, Sewon Min, Tushar Khot, Ashish Sabharwal, Oyvind Tafjord, Peter Clark, and Hannaneh Hajishirzi. UNIFIEDQA: Crossing format boundaries with a single QA system. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 18961907, Online, November 2020. Association for Computational Linguistics.

[4] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[5] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[6] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension, 2022.

[7] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会 (NLP2020)発表論文集, pp. 237-240, Online, March 2020. 言語処理学会.

[8] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, MingWei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp.
452-466, 2019.

[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[11] Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, and Kristina Toutanova. BoolQ: Exploring the surprising difficulty of natural yes/no questions. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2924-2936, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 784-789, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[15] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[16] Xilun Chen, Kushal Lakhotia, Barlas Oguz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 250-262, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

## A 良い質問文の例

2.2 節で得られた良い質問文の例を表 6 に示す。

 \\

## B 各データセットの質問文と段落 の数と長さ

JNQ と JBoolQ における質問文と段落数に関する統計情報をそれぞれ表 $7 、 8$ に示す。

表 $7 \mathrm{JNQ}$ における質問文と段落、span answer の数と長さ。この表の段落は、ラベル付けをしていない段落（つまり long answerではないと判断される）を含むすべての段落を指す。

表 8

## C 質問タイプ

JBoolQ において 100 件の質問文を抽出し、タイプ別に分類した。その結果を表 9 に示す。

## D Open-Domain タスク

JNQ から Open-Domain タスクを定義し、ベースラインモデルを評価した。Open-Domain タスクは、 EfficientQA ${ }^{9)}$ に従い、文書を参照せずに short answer を答えるタスクである。モデルは TF-IDF(retriever) と DPR reader の組み合わせと、DPR [15]を用いる。統計情報については表 10 に示す。

結果を表 11 に示す。Open-Domain NQ タスクでは、テストにおいて、TF-IDF + DPR reader が DPR よりもわずかに良い結果を示した。質問文の平均長が比較的短く、質問文中の salient なフレーズや希少なエンティティが DPR の正確な検索を難しくしていると推測される [16]。また、「男の子の髪の毛の切り方」のように標準的な答えがなく、open-domain

9) https://efficientqa.github.io/表 $9 \mathrm{JBoolQ}$ の質問文のタイプ分類

表 10 Open-Domain タスクの統計（インスタンス数）

$\mathrm{QA}$ に適さない質問文が含まれており、このような質問文は今後除去していく予定である。

表 11 Open-domain タスクの精度

 \\