# 複数文書の読解を要する質問の自動生成と 質問応答システムへの応用

小林俊介 河原大輔
早稲田大学理工学術院
\{carlike787@toki., dkw@\}waseda.jp

## 概要

オープンドメイン質問応答タスクは質問に対する文書の検索と読解で構成され、そのデータセットには、複数の文書を読解しなければ解答できない質問が多く存在する。本研究では、テキスト生成モデルをべースとした質問応答モデルである Fusion-in-Decoder [1] を用いて、複数文書の読解を要する質問を自動生成する。生成された質問を、オー プンドメイン質問応答システムに応用した結果、正答率が約 $2 \%$ 向上し、質問生成の有効性が示された。

## 1 はじめに

自然言語処理における機械学習の利用においては、学習データの量が重要であり、多量かつ高品質なデータセットの取得が課題の 1 つになっている。 データセットを作成する手法としてアノテーションが使われる。しかし、アノテーションを人手で行うとコストが高くなってしまうため、データ作成・拡張を自動で行う手法が用いられることもある。

本研究ではデータ拡張をオープンドメイン質問応答タスクに応用する。オープンドメイン質問応答タスクは質問に対する文書の検索と読解で構成され、 そのデータセットには、複数の文書を読解しなければ解答できない質問が多く存在する。本研究では、 テキスト生成モデルをべースとした質問応答モデルである Fusion-in-Decoder [1] ${ }^{1}$ (FiD) を用いて質問を自動生成する手法を提案する。提案手法の FiD は解答と複数の文書を入力とし、与えられた解答に対応する質問を生成する。FiD は元来、複数の文書を考慮した出力の生成が可能であり、生成される質問は複数の文書を参照しなければ解答できないものになることが期待される。

一方で、生成された質問は矛盾や不自然な表現を

1) https://github.com/facebookresearch/FiD含む場合や、異なる解答を持つ場合があり、そのまま追加データとするには不適切な場合がある。このため、元の質問と表現が異なり、かつ解答が同一である質問を選別するため、生成された質問と元の質問との類似度を用いたフィルタリングを行う。

選別された質問をデータセットに追加して質問応答システムの学習を行った結果、データ拡張を行わずに学習を行った場合と比べて、正答率が最大で 2\%改善し、自動生成された質問が学習に貢献することが示された。また、1つの文書のみで生成した質問を加えた場合、複数文書で生成した質問で学習した場合よりも正答率が悪化し、複数文書で生成を行う提案手法が有効であることが示された。また、 フィルタリングを行うと、正答率が最大で $0.6 \%$ 向上し、フィルタリングも効果があることが示された。

## 2 関連研究

英語における質問応答タスク用のデータセットでは、関連文書を与えて質問に答える形式のものが多く、SQuAD [2]、TriviaQA [3]、Natural Questions [4] などがある。日本語における質問応答タスク用のデータセットには、SQuAD の形式を踏襲した運転ドメイン QA データセット [5] や、JGLUE [6] に含まれているJSQuAD、クイズ形式の質問文で、日本語 Wikipediaを関連文書とする JAQKET [7] などがある。SQuAD と TriviaQA では訓練用の質問が 100,000 件前後、Natural Questions では 300,000 件以上用意されている。一方で運転ドメイン $\mathrm{QA}$ データセットは 34,000 件強、JSQuAD は訓練用データで 64,000 件弱、JAQKET では評価用を合わせても 24,000 件前後と、英語データセットに対して一桁少ない。

自然言語処理の各タスクで大きな精度向上を達成したモデルが、Transformer に基づく汎用言語モデルである。その中でもテキストを生成できるモデルとして T5 [8] がある。

図 $1 \quad N=3$ における質問生成の流れ

Izacard ら [1] は T5をべースとした質問応答のモデルとして、複数の文書を入力に用いることができる FiDを提案した。このモデルでは入力される文書ごとに、質問文と結合してエンコードが行われ、得られた埋め込みべクトルは一括してデコーダに入力される。これにより、解答生成の際に複数の文書から情報を得られるという特徴があり、より精度の高い解答を生成できる。

質問の生成については、Du ら [9] が DNNによる質問生成を行い、精度を改善させたことから、特にテキスト生成が可能な言語モデルによる質問生成が行われてきた。Murakhovs'ka ら [10] は、1つの比較的長い文書を入力とし、異なる解答を持つ複数の質問を生成できる MixQG を提案している。既存モデルから $10 \%$ 以上の精度向上を達成しているが、入力が 1 文書であり、複数の文書を参照した質問にはなっていない。日本語においても、折原ら [11]により、日本語 $\mathrm{T} 5$ モデルを用いて、ニュース記事からクイズを生成する試みが行われた。既存のクイズサービスに掲載されている質問を例に、生成されたクイズが単に正答を問うだけではなく、面白みのあるクイズになっているかについて考察している。しかし、ここでも入力する記事は 1 つだけであり、また使用された訓練データ数も 220 件と少ない。

## 3 複数文書による質問生成

## 3.1 質問の生成とフィルタリング

本研究の目標は、複数の文書を読解しないと解答することができない質問の生成である。この要素を満たす FiDを本研究での質問生成で用いるモデルとする。提案するモデルは FiD と同一の構造であり、入出力の形式が異なるのみである。通常、FiD の入力は、質問文と、読解すべき文書のタイトルおよび内容を大力するが、本研究では、質問文の代わりに解答と、解答を含む関連文書 $N$ 個を入力する。 $N=3$ の場合の質問生成の流れを図 1 に示す。

ただし生成された質問は、そのままでは矛盾や不自然な表現を含む場合や、異なる解答を持つ場合があり、そのまま追加データとするには不適切な場合がある。そこで、元の質問と表現が異なり、かつ解答が同一である質問を選別するために、フィルタリングを行う。フィルタリングは元の質問と生成された質問の類似性を測定することで実現し、その指標として BERTScore [12] と BLEU [13] を用いる。 いずれも 2 つの文の類似度を測定する指標であるが、BLEU が N-gram 単位の表層的な類似度を測定するのに対し、BERTScore は BERT の出力する埋め込みべクトルに基づく意味的な類似度を測定する。 よって、同じ解答で異なる表現の質問を得るには、 BERTScore が高く、かつ BLEU のスコアが低い質問が適している。加えて、元の質問は事実に基づいたことが書かれているため、生成される質問に矛盾等が生じていれば、BERTScore の值は低くなると考えられる。以下の例 (1) はそのような質問のペアである。解答は「夜明け前」であり、元の質問 $\mathrm{a}$ のように書き出しは「木曽路はすべて山の中である」であるが、生成された質問 b は異なる書き出しになっており、矛盾が生じている。

(1) a.「木曽路はすべて山の中である」という一文で始まる、島崎藤村の小説は何でしょう？ b.「だから、私はその家を飛び出した」という書き出しで始まる、島崎藤村の小説は何でしょう?

## 3.2 実験

## 3.2.1 実験設定

2020 年から質問応答タスクのコンペティション 「AI王」のデータセットとして JAQKET データセットが利用されている。本研究では、同コンペティションの第 2 回大会 ${ }^{2}$ で提供されている、JAQKET をべースとしたクイズ形式のデータセット、および

2) https://sites.google.com/view/project-aio/ competition2

日本語 Wikipedia 記事の文書集合3）を用いた実験を行う。各質問には前処理として、Elasticsearch ${ }^{4}$ を用いた、各質問の解答を含む関連文書5)の抽出が行われている。このデータをもとに、FiD の学習で必要とされる質問、解答、関連文書の組を抽出した。

FiD で用いる日本語 T5 モデルは、Hugging Face Transformers ライブラリに存在するものを用いた6)。学習で設定したハイパーパラメータを付録 A に示す。質問生成で使用する文書数は、関連文書のうち 3 つ、および、1つのみとする 2 パターンとした。生成においては各入力に対し、beam searchにより生起確率の高い出力 7 つを取得した。

モデルの評価では、評価用データセットを用いて、各入力に対して質問の生成を行い、人手による評価を行った。自動生成そのものの結果を評価するため、フィルタリング前に無作為に抽出した 50 問を評価対象とし、評価の観点は矛盾や文法ミスがないなど、質問に自然さがあるかどうかと、複数文書の読解を要するか否かの 2 つとした。

## 3.2 .2 実験結果と議論

質問の生成以上の設定の下で、質問生成に対応した FiDのファインチューニングを行った。評価結果を表 1 に示す。以下に、 3 つの関連文書を用いて生成された質問の例を示す。

(2) 1971 年に独立するまでは「東パキスタン」と呼ばれていた、首都をダッカに置く国はどこでしょう?

（3）『斜陽』『人間失格』『堕落論』などの作品を残した、昭和を代表する作家は誰でしょう？

(4) 花見大根、桜島大根といえばどんな野菜の品種でしょう?

例 (2) は、質問文に矛盾や文法的誤りがなく、適切な生成が行われた例である。一方、例 (3) は「太宰

3) https://github.com/cl-tohoku/AI02_DPR_baseline/blob/ master/scripts/download_data.shに記載のスクリプトでダウンロードできる。

4) https://www.elastic.co/jp/

5）関連文書は日本語 Wikipedia 記事をパッセージの集合に分割したものである。

6) https://huggingface.co/megagonlabs/ t5-base-japanese-web治」を解答とする質問であるが、「郢落論」は坂口安吾の作品であり、事実に矛盾する例となっている。 また、例 (4) は矛盾こそないものの、質問文中で解答の「大根」に言及してしまっているため、質問として全く意味を成していない。FiD がベースとする T5 の出力生成では、出力文全体の意味を考慮したデコードが難しいため、このような不適切な質問が生成されると考えられる。

次に、複数文書の読解を要する質問について、3 つの関連文書を用いて生成した例を (5) に示す。(6) は参照の必要がある文書の抜粋である。

（5）「眠り猫」の銅像が有名な、徳川家康を祀った神社は何でしょう?

（6） a. 眠り猫 (ねむりねこ) は、栃木県日光市の日光東照宮の回廊にある建築装飾彫刻作品。

b. 日光東照宮 (にっこうとうしょうぐう) は、日本の関東地方北部、栃木県日光市に所在する神社。江戸幕府初代将軍・徳川家康を神格化した東照大権現 (とうしょうだいごんげん)を主祭神として祀る。

複数の文書の読解を要する質問は多く生成できなかったが、この原因として、訓練で利用した質問の多くが単一の文書の読解のみで解答できてしまうことが考えられる。オリジナルの質問を 50 問サンプリングして検証した結果、22 問が単一文書の読解で解答可能であり、これらのデータによる学習が複数の文書を参照することを妨げていると推測される。

また、関連文書 1 つのみを用いて生成した質問には、複数文書を読解しないと解答できない質問は存在しなかった。

質問のフィルタリング次に、フィルタリングの効果を検証するため、BERTScore と BLEU ${ }^{7)}$ を計算し、3 文書で生成された自然な質問の割合がどのように変化するか調査した。その結果を表 2 に示す。 なお、1 行目にはフィルタリングがない場合の結果を示す。表 2 から、自然な質問を多く残せていることが分かる。ただ、不自然な質問も多く残り、全体に占める自然な質問の割合は $40 \%$ 程度にとどまった。フィルタリングによる質問除去は一定の効果があるものの、改善の余地も十分にあるといえる。

表 2 フィルタリング前後の質問の内訳と、自然な質問の割合 (BS は BERTScoreを表す)

## 4 質問応答システムへの応用

## 4.1 質問応答システムの学習

生成された質問を、質問応答システムの学習に応用する。まず、訓練用データセットの質問および、 その各質問から生成された質問に対し、質問応答システム用の訓練データの選抜を行った。具体的には、AI 王で提供されている DPR [14] のベースライン8)を用いて、日本語 Wikipedia の記事から文書 100 個を抽出し、その中に解答が含まれないデータは訓練データから外した。

また、生成された質問と、生成元の質問を用いて、BERTScore と BLEUによる類似度計算9)を行った。 3 節に従い、BERTScore を用いる選別では、一定のしきい値以上の質問を、BLEUを用いる選別では、一定のしきい值以下の質問を採用した。そして、元の訓練用データセットに、これらのしきい值双方を満たすよように選別された生成質問群を追加した。この際、追加する質問は生起確率の高い質問 3つまでに制限した上で追加を行い、システムの学習を行った。また、予備実験において、無制限に質問を追加しても精度の向上が見られなかったため、追加するデータ量は各実験設定で 6,000 問とした。

評価においては、評価用データセットで DPRによる関連文書 100 件の抽出を行い、解答が存在する文書を抽出できた質問を入力し、解答を生成した。 そのうえで、データに存在する想定解答と、生成された解答が完全一致しているかを基準とする Exact Match (EM) による評価を行った。この実験を各しきい値の組み合わせごとに、異なるシード値を用いて 5 回実施し、EMによる正答率の平均を算出した。

8) https://github.com/cl-tohoku/AI02_DPR_baseline

9） BERTScore は 0 から 1 まで、BLEUは 0 から 100 までの値をとる。いずれも類似度が高いときに大きい値になるが、全く関連のない文同士では BERTScore は 0.6 程度になる。表 3 各実験設定の詳細と評価データセットでの EM 正答率。文書数は生成時に用いた文書数を示す。

## 4.2 結果

表 3 に、元のデータを使用した場合と、生成されたデータを様々なしきい値によって選別した際の、 EM 正答率を示す 10 )。

生成された質問をシステムの学習に用いたことで、精度は最大で約 $2 \%$ 向上し、提案手法によって生成された質問が学習に貢献していることが確認された。生成時の文書数が 1 つだけの質問を追加した場合と比較すると、同じしきい值で 3 文書を使用したケースが最大 $1.7 \%$ 前後正答率で上回った。この結果から、複数の文書の読解を要する質問を生成することの有効性が確認できた。3つの文書を用いて生成した質問を利用した実験において、類似度による選別を行わない場合と行う場合を比較すると、選別を行った場合は $0.3 \%$ から $0.6 \%$ の正答率向上が確認でき、フィルタリングに一定の効果があることが示された。

## 5 おわりに

本研究では、FiDを用いて、複数文書の読解を要する質問データの生成を試みた。質問生成の結果、同じ解答を違う表現を用いて導くような質問が生成できた。また、質問応答タスクのデータとして追加した結果、正答率が最大 $2 \%$ 向上した。加えて単一文書だけの読解で解答できる質問は、精度の改善幅が小さく、生成データの有用性が確認できた。今後の研究では、BERTScore や BLEU のフィルタリングで対応しきれない、意味は全く違うが求められる解答が同じ質問を自動で生成する方法を追求したい。

## 謝辞

本研究はキオクシア株式会社の委託研究において実施した。

## 参考文献

[1] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1601-1611, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, MingWei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, March 2019.

[5] Norio Takahashi, Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. Machine comprehension improves domain-specific Japanese predicate-argument structure analysis. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 98-104, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[7] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会 (NLP2020)発表論文集, pp. 237-240, Online, March 2020. 言語処理学会.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Ma- chine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[9] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Lidiya Murakhovs'ka, Chien-Sheng Wu, Philippe Laban, Tong Niu, Wenhao Liu, and Caiming Xiong. MixQG: Neural question generation with mixed answer types. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1486-1497, Seattle, United States, July 2022. Association for Computational Linguistics.

[11] 折原良平, 鶴崎修功, 森岡靖太, 島田克行, 狭間智恵,市川尚志. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会 (NLP2022) 発表論文集, pp. 1401-1405, Online, March 2022. 言語処理学会.

[12] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

## A 学習時のハイパーパラメータ

表 4 に、FiD の学習で用いたハイパーパラメータを示す。


# T5を用いた日本語の複雑な質問文に対する質問分解

小原 涼馬 ${ }^{1}$ 秋元 康佑 ${ }^{2}$
1 北海道大学 ${ }^{2} \mathrm{NEC}$ データサイエンス研究所
obara.ryoma.s1@elms.hokudai.ac.jp kosuke_a@nec.com

## 概要

質問応答システムで多段階の推論や数値演算などが必要な複雑な質問文を扱う1つの方法として、質問文を簡単な質問に分解する方法がある。本研究では深層学習による大規模言語モデルである T5を用いて異なる設定で英語の訓練データを用いて日本語の質問分解を行う実験を行う。その結果多言語 T5 を用いるより、機械翻訳を組み合わせ単言語で学習を行う方がより適切な分解が行われることを確認した。

## 1 はじめに

質問応答 (QA) は自然言語処理の重要なタスクの 1 つである $[1]$ 。質問応答で一般的な問題設定である機械読解タスクのデータセットの 1 つに SQuAD[2] がある。しかし、SQuAD はモデルが与えられた文章を参照することで答えが得られる単純なファクトイド質問が多い。そのような単純な問題設定をより発展させた複雑な質問のデータセットとして HotpotQA[3] や DROP[4] などがある。HotpotQA は多段階の推論を必要とするマルチホップ質問 (multi-hop question) により構成されており、DROP は数値演算などを含む複雑な質問により構成されている。複雑な推論を必要とする質問を解くために、従来のエンドツーエンドの手法に加え、複雑な質問を複数の簡単な質問に分解するアプローチが提案されている $[5]$ 。エンドツーエンドの手法は内部がブラックボックスであり、解釈可能性が低いことや、質問分解によるアプローチは分解後の単純な質問（単なる計算や比較を含む）を処理するために既存の質問応答モデルやルールベー スのシステムを利用できる利点がある。これらを踏まえ、本研究では質問分解によるアプローチに注目する。

BREAK[6] では複雑な質問を読解するために質問分解のための意味表現として QDMR(Question Decomposition Meaning Representation) が提案された。BREAK では QDMR を用いることで複雑な質問に対する質問応答の精度が向上することが示された。また、Guo ら [7] は BREAK のデータセットに対して T5[8]を用いて学習することで質問文から分解質問を出力することが可能であることを示した。また、モデルが出力した分解質問を用いて質問応答器を学習することで質問応答の精度が向上することを示した。

日本語での質問応答システムは研究されているが、日本語での質問分解のためのデータセットは存在していない。そこで、英語データセットである BREAKを用いて日本語での質問分解を行うことが考えられる。その時、多言語で学習する方法や機械翻訳を用いる方法で英語データと同じように質問分解ができるかまだ明らかでない。

そこで DeepL*1による翻訳を用いて単言語で T5 を学習する手法を 2 手法と多言語 $T 5$ を用いる手法を実施し、その性能を評価した。人手評価の結果、単言語の学習の手法で 60 パーセントの精度で一定の基準以上の分解ができることを示した。
^{* 1}$ https://www.deepl.com
}

## 2 関連研究

## 2.1 BREAK データセット

BREAK[6] は複雑な問題に対してその分解を与えるデータセットである。BREAK では複雑な問題の読解のために QDMR(Question Decomposition Meaning Representation)を提案している。 QDMR は質問に答えるために必要な分解のリストを構成する。例えば表 1 のような分解が与えられる。

BREAK の問題は HotpotQA や DROP を含む 10 個の QA データセットから構成されている。 QDMR を得るためにクラウドソーシングを用いてアノテーションを行った。

 \\

## 2.2 T5

T5 (Text-To-Text Transfer Transformer) [9] は、 Google が 2020 年にリリースした大規模な自然言語生成モデルである。T5 は Transformer のアーキテクチャを使用した text-to-text モデルであり、文書要約や翻訳、質問応答、テキスト分類など、様々なタスクで高い精度を発揮することで知られている。 また、Google Researchによる mT5(multilingualT5)[8] は 101 の言語に対応し、その 101 言語で事前学習されたモデルも公開されている。

## 2.3 T5 による質問分解

Guo ら [7] は BREAK データセットに対して T5 を用いて学習することで質問分解が可能であるこ
とを示した。教師データの入力として質問文、出力として" $<$ subQ $>Q_{1}<$ subQ $>Q_{2}<$ subQ $>\ldots Q_{s} "$ を与える。ただし $Q_{1}, Q_{2} \ldots Q_{s}$ は分解後の質問であり、 $<$ subQ >は特殊トークンである。評価として内省的評価と外省的評価を行っている。内省的評価では、BLEU[10] や ROUGE[11] を用いている。外省的評価では分解した質問を用いて質問応答パイプラインを構築し、その性能を評価している。結果としてべースラインを $\mathrm{F} 1$ 值で 7.2 上回ることを示した。一方で質問分解の構造を考慮した評価は行われていない。

## 3 手法

## 3.1 問題設定

本研究は日本語質問文を入力として、その分解質問を日本語で出力することを目的とする。

## 3.2 提案手法

本研究では以下の 3 つの手法を提案する。
- 手法 1: 日本語 $\mathrm{T} 5$ を用いる。翻訳による日本語データを用いて学習を行う。
- 手法 2: 多言語 T5を用いる。英語データを用いて学習を行う。*2
- 手法 $3: \mathrm{T} 5$ を用いる。学習は英語データを用いて学習を行う。推論時は日本語の入力質問を英語に翻訳して入力を行い、出力された結果を日本語に翻訳する。*3

モデルに対する入力は質問文、出力は分解質問をセミコロンで連結した文字列 " $Q_{1} ; Q_{2} ; \ldots ; Q_{s}$ " である。*4推論時はモデルの出力をセミコロンで分割したものを分解質問とする。
$ のような多言語モデルに対して英語データのみで下流タスクの学習を行うことで、教師データの無い他言語に転移させることが可能であることが示されている。[8]

*3 オリジナルの英語データが学習ができることや、将来的より大規模で高性能なモデルが利用できる可能性がある利点がある。

 }^{* 4}$ 分解質問の区切りは他の記号を利用することも考えられるが、本研究では BREAK のデータと同じセミコロンを用いる。

## 4 実験

## 4.1 実験設定

本実験では、データセットとして Hugging Face*5 で提供されている BREAK データセット*6のうち、"QDMR-high-level"のサブセットのデータを用いた。また、そのうち"Reading Comprehension" のタスクである"CWQ", "DROP", "HOTPOT" の 3 種類のデータセットに由来するデータを用いた。BREAK が提供するテストデータは正解が与えられていないため、本実験では訓練データより 3,097 件をテストデータとして利用する。よって訓練データ 14,406 件、開発データ 3,130 件、テストデータ 3,097 件を用いて実験を行う。

日本語での質問分解を行うために BREAK デー タセットを DeepL を用いて翻訳した。またこの時、翻訳の精度を上げるため、翻訳前のデータに対して文頭の" return"を全て"please answer"に、"\#<数字>"を”XXX <数字>”に置き換えてから翻訳を行なった。

$\mathrm{T} 5$ のモデルは手法 1 では t5-base-japanese-web*7、手法 2 では mt5-base*8、手法 3 では t5-base*9を使用した。学習時のパラメータは学習率 0.0001 、バッチサイズ 16、エポック数 20 として開発データで最も性能の高いモデルを選択した。最も性能の高いモデルを選択する際は、metric として BERTScore[12]*10 を用いた。

## 4.2 評価指標

予測結果の評価は文の類似度による評価と、分解質問の構造による評価を行なった。文の類似度による評価は BLEU[10]、ROUGE[11]、METEOR[13]、
^{* 7}$ https://huggingface.co/megagonlabs/t5-basejapanese-web

*8 https://huggingface.co/google/mt5-base

${ }^{* 9}$ https://huggingface.co/t5-base

*10 モデルは英語学習時は roberta-large 日本語学習時は bert-base-multilingual-cased を用いた。
}

BERTScore[12] を用いた。 さらに本研究では分解質問 $Q_{1}, \ldots, Q_{n}$ 中の参照構造を、各ノード $i$ が分解質問 $Q_{i}$ に対応し、 $Q_{i}$ 中に別の分解質問 $Q_{j}$ に対する解答への参照が存在する場合に $i \rightarrow j$ のエッジを持つような有向グラフで表現する。そして生成された分解質問の有向グラフが正解のものと同型かどうかを二值で判定する評価指標を提案し、これを以後 isomorphic と呼ぶ。

## 4.3 実験結果

実験結果を表 3 に示す。ただしベースライン (baseline) は質問文をそのまま出力する手法である。多くの指標について、手法 1 が最も良い性能を示し、手法 3 も同等の性能を示した。一方で手法 2 は性能が大きく劣っていた。

表 2 質問分解の実験結果。太字は各行で最もスコアの高いものを示す。

## 4.4 分析

4.3 節で示したように手法 2 の性能は他の手法と比べて大きく劣っていた。そこで手法 2 の出力を人手で確認したところ、出力中に英語と日本語が混在していたり、"return ..."などの英語データのフォー マットがそのまま出力されているなど、言語間の汎化が十分に起こっていないことがわかった。*11

## 5 人手評価

## 5.1 評価方法

4.2 の評価指標では、各分解質問文の妥当性や分解の構造が適切かの評価ができない。また、正解

データは翻訳データであるため、正解データが必ず適切であるとは限らない。そこで以下の基準に基づいて人手評価を行なった。

項目 1: 問題文で何を聞いているかわかるか

0: 何を聞いているかわかる

1: 少し不自然だが、何を聞いているかわかる

2: 質問文をなしていない・意味不明

項目 2: 分解により正しい答えが得られるか

0 : 得られる

1: 分解質問は何を聞いているがわかるが、解釈次第で最終的な答えが得られる (解釈次第では得られないこともある)

2: 分解質問は何を聞いているかわかるが、最終的な答えを得るためには違うものを聞いている

3: 分解質問が何を聞いているかわからないため答えが得られない

項目 $3:$ 項目 2 の理由

項目 2 で $1,2,3$ と判断したとき、どの分解質問がその根拠になったか

手法 2 は英語と日本語が混在した出力であり評価が難しいため、手法 1 、手法 3 について評価を行なった。それぞれ 100 個の例 (ただし、"CWQ", "DROP", "HOTPOT"の問題から均等にサンプリングした) に対して著者ではない複数人の日本語母語話者（大学生、大学院生）による評価（各問題 1 名で評価）を行なった。

## 5.2 評価結果

評価結果を表 3 に示す。評価結果より、手法 $1 、 3$ どちらもある程度分解ができている (項目 2 が 0 か 1) ものが 60 個を超えているため、 60 パーセントの精度である程度の分解ができていることがわかる。 またこれらの分解に成功しているデータには複数の推論パターンが含まれていることも確認できた。*12 実際の分解例は付録に示す。

表 3 人手評価の結果。各要素は個数を表す

## 5.3 エラー事例分析

項目 2 で 3 と判断されている場合にどのような工ラーが起こっているのかを調べた。その結果、「<名詞>についてお答えください。」のように分解質問が何を答えればいいか明確でないような事例が多く現れていた。前述した分解質問は原文の英語では'return <名詞>'であり、BREAK ではその名詞のリストを返すことを想定している。このように BREAK では分解質問の意図（質問の種類）が必ずしも分解質問文に反映されておらず、本研究の単純な翻訳手順では本来の意図通りの日本語質問に翻訳されない課題がある。前述したエラーはこうしたデータセットの翻訳の課題が原因であると考えられる。

## 6 まとめ

本研究では、質問応答システムで日本語の複雑な質問文を扱うために、日本語の質問文をより簡単な質問に分解するモデルを学習できるかどうか試みた。その結果機械翻訳したデータセットを用いて日本語 T5を学習する手法により、人手評価で $60 \%$ の分解精度を達成できることを示した。一方で翻訳に依らない言語間転移についての課題や、データセットが想定している質問の意図を考慮せずに翻訳することの問題点などが示された。今後は分解した質問を QA システムに入力することを考慮し、それに応じてどのような分解が適切であるのかの研究を行いたい。

## 謝辞

本研究は日本電気株式会社研究インターンシップで行ったものである。

## 参考文献

[1] Robert F. Simmons. Answering english questions by computer: a survey. Commun. ACM, 8:53-70, 1965.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Squad: 100,000+ questions for machine comprehension of text. In Conference on Empirical Methods in Natural Language Processing, 2016.

[3] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William W. Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In Conference on Empirical Methods in Natural Language Processing, 2018.

[4] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. Drop: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In North American Chapter of the Association for Computational Linguistics, 2019.

[5] Ruiliu Fu, Han Wang, Xuejun Zhang, Jun Zhou, and Yonghong Yan. Decomposing complex questions makes multi-hop qa easier and more interpretable. In Conference on Empirical Methods in Natural Language Processing, 2021.

[6] Tomer Wolfson, Mor Geva, Ankit Gupta, Matt Gardner, Yoav Goldberg, Daniel Deutch, and Jonathan Berant. Break it down: A question understanding benchmark. Transactions of the Association for Computational Linguistics, 8:183-198, 2020.

[7] Xiao-Yu Guo, Yuan-Fang Li, and Gholam- reza Haffari. Complex reading comprehension through question decomposition. ArXiv, abs/2211.03277, 2022.

[8] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mt5: A massively multilingual pre-trained text-to-text transformer. In North American Chapter of the Association for Computational Linguistics, 2020.

[9] Colin Raffel, Noam M. Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. ArXiv, abs/1910.10683, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Annual Meeting of the Association for Computational Linguistics, 2002.

[11] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In $A n$ nual Meeting of the Association for Computational Linguistics, 2004.

[12] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. ArXiv, abs/1904.09675, 2019.

[13] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In IEEvaluation@ACL, 2005.

## 付録

## 出力と人手評価の例

出力例を以下に示す。また、それに対する人手評価の結果を表 4 に示す。

## 出力例 1

## 質問文

台北を有する国では、どのような言語が話されているのでしょうか。

## 正解

，台北がある国をお答えください。', 'XXX1 で使われている言語をお答えください。'

## 手法 1

'台北がある国をお答えください。', 'XXX1 において使用されている言語をお答えください。

## 手法 2

'return 言語が話されている台北を有する国， 'return languages 話されている台北を有する国', 'return languages in both \#1 and \#2'

## 手法 3

'台北がある国をお答えください。', 'XXX1 において使用されている言語をお答えください。'

出力例 2

## 質問文

44 ヤードのゴールと比較して、26 ヤードの

ゴールは何本少なかったのでしょうか？

## 正解

'26 ヤードゴールのヤード数をお答えください。', '44 ヤードのゴールについてお答えください。', 'XXX1 と XXX2 の違いについて教えてください。'

## 手法 1

'26 ヤードだったゴールをお答えください。， '44 ヤードだったゴールをお答えください。', 'XXX1 の番号をお答えください。 ', 'XXX2
の番号をお答えください。 , , 'XXX3 と XXX4 の違いについてお答えください。'

## 手法 3

, 得点となった 26 ヤードのゴールをお答えください。', '決められた 44 ヤードのゴールをお答えください', 'XXX1 の番号をお答えください。', 'XXX2 の番号をお答えください。', 'XXX3 とXXX4 の違いを教えてください。'

出力例 3

## 質問文

2012 年 2 月 16 日から 10 月 28 日まで 27 回の公式マネーゴルフトーナメントも主催したオハイオ州コロンバスに本社を置く会社の従業員数は?

## 正解

，コロンバス (オハイオ州)に拠点を置く企業をお答えください。', '2012 年 2 月 16 日から 10 月 28 日まで 27 回の公式マネーゴルフトーナメントを主催した XXX1 についてお答えください。', 'XXX2 社の社員についてお答えください。', 'XXX3 の番号をお答えください。'

## 手法 1

'2012 年 2 月 16 日から 10 月 28 日まで 27 回のオフィシャルマネーゴルフトーナメントを開催したオハイオ州コロンバスに本社を置く会社をお答えください。 ', 'XXX1 社の従業員についてお答えください。 ', 'XXX2 の番号をお答えください。'

表 4 出力例の評価

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 専門性の高いオープンブック質疑応答システムの構築と 専門家添削による誤答抑制

後藤成晶 ${ }^{1}$ 上山道明 ${ }^{1}$ 須藤栄一 ${ }^{1}$ 清水司 ${ }^{1}$ 木村英彦 ${ }^{1}$
${ }^{1}$ 株式会社豊田中央研究所
\{sg-goto, kamiyama, eiichi-s, shimizu, hdkimura\}@mosk. tytlabs. co. jp

## 概要

専門家の知識の一部は、報告書などのテキストデ一夕として所属組織内に蓄積される。材料分析ドメインを対象に、テキストを参照して専門性の高い質問に自動回答するシステムを、オープンブック質疑応答を応用して構築した。専門性の高い質疑応答は回答抽出の難度が高いため、誤答の多発が懸念される。そこで、回答の正誤検証器を備えるシステムを構築し、その訓練手順を提案した。提案の訓練手順は、質疑応答ログを専門家が正誤添削するだけで良く、一般的なデータセット作成よりも作業負荷が少ない。実験から、訓練によって誤答の提示頻度が $50 \%$ 以上抑制されたことを確認した。

## 1 はじめに

産業分野などにおけるドメイン専門家の知識の一部は、報告書などのテキストデータとして所属組織内に蓄積される。その専門知識を再利用できるよう、膨大なテキストデータから情報抽出できる仕組みが求められる。その手段として、テキストデータを参照する質疑応答システムの研究が進められている。 なお、そのようなシステムは、教科書を開きながら試験問題に答える「持ち込み試験」に例えてオープンブック質疑応答システムと呼ばれる。

本検討では、オープンブック質疑応答を「材料分析」ドメインに応用し、図 1 に示すようなシステムを構築している。ユーザが質問を入力すると、バックエンドでオープンブック質疑応答アルゴリズムがテキストデータを参照し、回答を抽出し提示する。 また、参照したテキストのリストを参考文献として提示する。

材料分析のような専門性の高い分野への質疑応答システムの応用は、主に次の 2 つの難しさがある。

教師データの作成コストが高い専門性の高い教師データ作成作業は、作業者に専門知識が必要で、 クラウドソーシングを活用しにくい。そのためデー タ作成コストが高くなる。

誤答の発生頻度が高い非専門的な質問の例として「或る人物の出生地」を問う場合、出生地は 1 つしかないため誤答が起きにくい。一方で「材料の分析方法」を問う場合、分析方法は 1 つではなく、目的や条件によって適切な分析方法が異なるため、誤答が発生しやすい。

以上を踏まえ、本報告の内容は以下の通りである。
- オープンブック質疑応答を専門性の高い材料分析ドメインへ応用した。

-一般的な教師データ作成より負荷の少ない 「添削」による訓練手順を提案した。

・訓練により誤答を抑制可能なことを実験から確認した。

図 1 構築した材料分析の質疑応答システム

## 2 質疑応答システムの構成

本検討で構築した質疑応答システムの構成を図 2 に示す。文章検索(Retriever) と回答生成(Reader)を組み合わせる方式で、さらに正誤検証(Verifier)を設け

ることで誤答抑制を図る。以下に各要素の実装詳細を述べる。

文章検索(Retriever) ベクトル近傍探索で実装した。文章のベクトル化には BERT[1]を用いた。訓練データとして質疑応答データセットを QNLI (Question Natural Language Inference)形式に変換したものを利用した。訓練コードとして Sentence Transformers ライブラリ[2]を利用した。

回答生成(Reader) 複数文章を一括入力して処理できる Fusion-in-decoder [3]のアルゴリズムを採用し、実装コードは内製した。モデルアーキテクチャは BART (Bidirectional Auto-Regressive Transformers) [4]を採用した。推論時にはジェネレータの生成数を 10 などに設定することで、複数回答を出力させた。

根拠検証(Verifier) 正答/誤答の 2 クラス分類モデルとして BERTを用いた。「質問、回答、コンテキスト文章」を入力し、「正答/誤答」のラベルを推論する。誤答を除外したものが最終的な回答セットとしてユーザに表示される。

図 2 質疑応答システムの構成概要

## 3 訓練手順

## 3. 1 全体の手順

本検討では、図 3 に示す手順で訓練を実施した。各作業の概要を以下に述べる。

事前学習 BERT および BART の事前学習を実施する作業である。なお本検討では「材料分析に関す
る質疑応答チャット」という目的に合致するよう、産業技術文章とソーシャルネットワーキングサービス文章を合計 $30 \mathrm{~GB}$ 収集して利用した。

ファインチューニング-1 一般公開されている大量な質疑応答データセットによるファインチューニング作業である。なお本検討では SQuAD [5]および Natural Questions [6]を機械翻訳することで約十万件の日本語質疑応答データセットを作成して利用した。

ファインチューニング-2 対象ドメインの専門家が作成した質疑応答データセットによるファインチューニング作業である。

専門家添削ファインチューニング 2 で訓練された質疑応答システムによる質疑応答ログを、専門家が添削する作業である。

ファインチューニング-3 専門家が作成した質疑応答データと、専門家添削結果とを組み合わせたものを教師データに、ファインチューニングを実施する作業である。

図 3 質疑応答システムの訓練手順

## 3.2 専門家による質疑応答データの作成

データ形式は SQuAD と同様で、「質問」「回答」
「コンテキスト」からなる。材料分析に関する社内報告書から抜粋した文章をコンテキストに利用し、 そのコンテキストから回答可能な質問およびその回答を材料分析専門家が作成した。

質疑応答データセットの作成にあたり、データセットの偏りが無いよう注意した。例えば自由フォー マットの議事録をコンテキスト文章に利用することで、言い回しの偏りを予防した。また、材料分析ドメインを複数の小分野に分割し、それぞれの小分野に担当専門家を設定することで、分野の偏りも予防した。

## 3. 3 専門家添削

質疑応答システムの回答ログを専門家が確認し、正答または誤答のラベルを付与する作業である。デ一夕形式として、「正誤ラベル」「質問ログ」「回答ログ」に加えて「Reader が参照していたコンテキスト」も用いることで、質疑応答データセットと同様に扱えるようにした。

図 4 に、質疑応答データ作成と添削の作業フロー を比較して示す。質疑応答データを作成するためには、1000 文字程度のコンテキスト文章を読解したうえで、そのコンテキストに沿った質問を作文し、回答フレーズを抜き出す作業が必要である。一方で添削作業は、コンテキスト読解作業が無く、さらに質問の「作文」作業が「読む」作業に負荷軽減されているため、より少ない負荷で作業可能である。

図 4 質疑忘答データ作成と添削の作業比較

この添削作業は、実際の運用時には、専門家がログを確認して手動で実施することを想定している。 ただし今回の実験では、簡易的に効果検証するため
に、質問文章とその正答リストからなる添削用質疑応答データを予め約 200 件作成し、それを用いて自動添削を行った。具体的には、そのデータセットの質問文章をモデル B に入力し、提示された回答それぞれに対して、正答リストに含まれている場合は正答、そうでない場合は誤答であると、自動的にラベルを付与した。1 質問あたり約 3 フレーズの回答を生成させ自動添削をかけることで、約 600 件の添削データセットを準備した。

## 3.4 Verifier の訓練方法

Verifierの訓練データ概要を図 5 に示す。2クラス分類器である Verifier の訓練には正答(Positive)および誤答(Negative)のラベルが付与された両方のデー タが必要であるが、SQuAD 等の質疑応答データセットはすべてが Positive データである。そのためファインチューニング-2では、質疑応答データセットのうち、コンテキストをランダム(ただし回答フレーズが文中に出現するものに限定)に置き換えることで、 Negative データを自動生成した。ファインチューニング-3では、添削により Negative データが利用可能になっているため、自動生成された Negative データと添削された Negative データの両方を利用した。

図 5 ファインチューニング-2および3における Verifier 訓練データ
自動生成された Negative データは識別が容易で、 Verifierの訓練効率が悪い。一方で添削データは、もともとモデル B が正答と誤認するほど識別困難な例 (Hard Negative)であるため、Verifier の訓練効率が高い。よって添削による訓練は、作成工数が少ないにも関わらず、より高精度な Verifier を訓練できると期待される。

## 4 実験

材料分析に関する 50 件の質疑応答テストデータを作成し、図 3 におけるモデル $\mathrm{A} \sim \mathrm{C}$ の性能を評価した。参照する文章データベースには材料分析に関する報告書を約７000パラグラフ利用した。なおテストデータは文章データベースの内容を知らされていない専門家が作文したため、回答不可能な質問も多く含まれる。

モデル A C のテスト結果として、50 件のテストを合計した正答と誤答の総数を図 6 に示す。システムの提示する回答フレーズが、正答リストに登録されているフレーズのどれかと完全一致する場合は Exact Match すなわち正答、そうでなければ Not Exact Match すなわち誤答とする。なお、システムは 1 つの質問に複数の回答を提示するため、正答と誤答の合計数は、テストデータ件数より多い。左上にプロットされるほど優れていることを意味する。

図 6 テストデータ全体を通した正答と誤答の表示総数

まず一般データセットだけで訓練したモデル A では、誤答数が 150 を超えた。次に、材料分析の質疑応答データセットで訓練したモデル B では、正答の増加と、誤答の減少が同時に見られた。最後に、添削データを加えて訓練したモデル C では、モデル B より更に誤答を $50 \%$ 以上削減できている。以上の事から、添削を取り入れた訓練手順により、誤答
を抑制できることを確認した。

なお、以下の理由から、図 6 の結果はモデル A C を相対評価するための参考値であり、システム性能の絶対值を評価するものではないことを補足する。

・ テストデータは、文章データベースの内容に依存せずに作成されたため、解答不可能な例も多く含まれる。文章データベースを充足することで、正答の増加が見込まれる。
- 事前に列挙していた正答セットに抜け漏れがある。そのため本来は正答であっても見過ごされ誤答に割り振られた回答もある。

## 5 関連研究

Shao ら[7]は、Verifier を持つオープンブック質疑応答システムを提案し、複数回答ベンチマークタスクにおいて State-Of-The-Art の性能を確認している。本検討のシステム構成と本質的に同じである。本検討は、添削から学習することによる誤答抑制効果を検証することが目的であり、Shao らのシステムでも本検討で検証した手順を適用できると考えられる。

鈴木ら[8]は、コンテキストを読解したうえで手動作成した Negative 訓練データが、質疑応答システムの性能を向上可能なことを実験から示している。一方で本検討は、コンテキストを読解せず簡易的に作成した添削データであっても、誤答抑制のための訓練データに有用なことを確認するものである。

Campos ら[9]は、質疑応答ログに正誤ラベルが付与された添削データを教師データに用いる事で、 Wikipedia 等が由来の非専門的ドメインの質疑応答タスクにおいて、抽出型 Reader をファインチューニング可能なことを確認している。一方で本検討は、 より難度の高い専門的ドメインにおいて、Verifier を含めた構成を添削データから訓練することで、誤答抑制に寄与できることを確認するものである。

## 6 おわりに

専門性の高い質疑応答システムの構築を行った。回答の正誤検証を行う Verifier を設け、専門家添削を取り入れた訓練手順を提案した。また実験から、数百件の添削データで訓練することにより、誤答の提示頻度を $50 \%$ 以上抑制できることを確認した。今後は、構築したシステムを用いた質疑応答サービスの試行運用を行い、より多様な質疑応答ログを添削することで、回答品質をさらに向上可能か検証する予定である。

## 謝辞

本検討を進めるにあたり質疑応答サービスのアプリケーション作成に貢献頂いた株式会社豊田中央研究所の藤井亮暢氏、後藤邦博氏、奥村文洋氏、丹羽貴寛氏、加藤光樹氏に感謝申し上げる。

## 参考文献

1. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

2. Nils Reimers and Iryna Gurevych. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982-3992, Hong Kong, China. Association for Computational Linguistics.

3. Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. 2020. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 7871-7880, Online. Association for Computational Linguistics.

4. Gautier Izacard and Edouard Grave. 2021. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 874-880, Online. Association for Computational Linguistics.

5. Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 2016. SQuAD: 100,000+ Questions for Machine Comprehension of Text. In Proceedings of the 2016 Conference on Empirical Methods in Natural
Language Processing, pages 2383-2392, Austin, Texas. Association for Computational Linguistics.

6. Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. 2019. Natural Questions: A Benchmark for Question Answering Research. Transactions of the Association for Computational Linguistics, 7:452-466.

7. Zhihong Shao and Minlie Huang. 2022. Answering Open-Domain Multi-Answer Questions via a Recall-then-Verify Framework. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1825-1838, Dublin, Ireland. Association for Computational Linguistics.

8. 鈴木正敏，松田耕史，大内啓樹，鈴木潤，乾健太郎. 2021. オープンドメイン質問応答における解答可能性判別の役割. 言語処理学会第 27 回年次大会 (NLP 2021)

9. Jon Ander Campos, Kyunghyun Cho, Arantxa Otegi, Aitor Soroa, Eneko Agirre, and Gorka Azkune. 2020. Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning. In Proceedings of the 28th International Conference on Computational Linguistics, pages 2561-2571, Barcelona, Spain (Online). International Committee on Computational Linguistics.


# SlideVQA: 複数の文書画像に対する質問応答

田中涼太西田京介西田光甫 長谷川拓 斉藤いつみ 齋藤邦子

日本電信電話株式会社 NTT 人間情報研究所

\{ryouta.tanaka.rg, kyosuke.nishida.rx, kosuke.nishida.ap, taku.hasegawa.ps

itsumi.saito.df, kuniko.saito.ku\}@hco.ntt.co.jp

図 1 SlideVQA の例. 複数のスライド画像（スライドデッキ）を同時に理解し，質問に対して回答および根拠を出力する.
## 概要

スライドデッキに対する文書画像質問応答タスク SlideVQA を提案する。本タスクは複数の文書画像の関係性理解や数值推論などの複雑な推論能力を必要とする. さらに，回答根拠選択と質問応答を系列変換の枠組みで統一的に扱う新たな文書画像質問応答モデルを提案する. SlideVQAを用いた実験において，我々のモデルは既存の最先端モデルよりも優れた性能を示したが，依然として人間の性能に大きく劣っていることを確認した. 本研究は, 実世界に多数存在する視覚表現された文書を知識源として質問応答を行う人工知能の発展に貢献できる.

## 1 はじめに

文書を知識源とし質問に対して人間の様に回答を行う技術の実現は, AI 分野における重要課題の一つである. テキストのみで記述された文書に関する質問応答 $[1,2]$ では, 実サービスで扱われる文書が持つテキスト情報しか扱えないことから，文書を画像として扱い質問応答を行う文書画像質問応答 （DocumentVQA）[3, 4, 5, 6] が近年注目を集めてい
る.ここで，従来のデータセットは一枚の文書画像を対象としているため, 複数枚の文書内容を参照し理解するモデルは未だ実現されていない. さらに，従来モデルは視覚要素（図表など）を含む文書理解や算術演算の能力が低いことが指摘されている [5].本研究では，複数の文書画像で構成されるスライドデッキを読み解き，質問に対して回答および回答根拠を出力する新たなタスクおよびデータセット

SlideVQA $^{1)}$ を提案する。図 1 に示す様に，SlideVQA はマルチホップ推論, 数值推論などの複雑な推論能力を必要とする. そして, 視覚要素理解や算術演算の能力強化に向けた意味領域および算術式のアノテーションを提供する.

さらに本研究では，テキスト・レイアウト・視覚要素を考慮し, 複数の文書画像の内容を同時理解可能な新たなモデル Multi-Modal Multi-image Document VQA model (M3D) を提案する. SlideVQAを用いた実験において，M3D は既存の最先端モデルよりも優れた性能を示したが，依然として人間の性能に大きく劣っており，SlideVQAが新たな未解決課題であることを確認した。

1）データセットやさらなる詳細情報はhttps://github.com/ nttmdlab-nlp/SlideVQA および [7] で公開している.

## 2 SlideVQA

## 2.1 タスク定義

SlideVQA タスクを以下の通りに定義する。

End-to-End SlideVQA 質問 $q$ とスライドデッキ (画像集合) $\mathbf{I}=\left.\{I_{1}, \ldots, I_{K}\right.\}(K=20)$ が与えられ，モデルは回答 $y$ と関連するスライド $\hat{\mathbf{I}}=\left.\{\hat{I}_{1}, \ldots, \hat{I}_{K^{\prime}}\right.\}$ を出力する.

更に，以下の二つのサブタスクに分解できる.

回答根拠選択質問 $q$ とスライドデッキIが与えられ，モデルは回答 $y$ を出力するために必要な画像集合 ̂̀を選択する。

質問応答質問 $q$ とスライドデッキ $(\mathbf{I}$ 又は $\hat{\mathbf{I}})$ が与えられ，モデルは回答 $y$ を出力する.

図 1 に示す様に，回答は画像中のテキストから一つのスパン (Single-Span)，複数のスパンから抜き出す回答（Multi-Span），数値推論や見た目を問う回答（Non-Span）の3つのタイプに大別できる。また，数値推論を必要とする回答は $\{+,-, /, *\}$ を用いた算術演算，カウント，比較の何れかを用いる.

## 2.2 データ収集

スライドデッキ収集 20 ページ以上で構成されており，図表を含むスライドデッキ（英語）を対象に，SlideShare [8] から 2,619 件収集した. 更に，収集したデッキの 21 ページ以降を切り捨てた.

意味領域アノテーション SPaSe [9] が定義する9 つの意味ラベル (例: Title, Table) を用いて全画像に意味領域の特定および意味ラベルの付与を行った.

シングルホップ QA 作成スライドデッキの中から一枚のスライドを選択し，選択したスライドに関する QA ペアを 12,466 件作成した（例: 図 1 中央). この選択スライドは回答根拠として使用される.

マルチホップ QA 作成シングルホップ $\mathrm{QA}$ を編集し，マルチホップ QAを2,018 件作成した.まず， シングルホップ質問から最大 2 件の固有表現を抽出する. 次に，抽出した固有表現について説明している別のページを回答根拠として選択し，固有表現を別の表現に置換する. 図 1 左では, “North”が“the region with $70 \%$ of journals”に置換されている.編集によって作成される質問の中には，非流暢な質問も含まれる。しかし，本作成手法はマルチホップ推論の保証およびデータサイズの拡張性の面で利表 1 データセットの比較. MI は複数文書入力, MR はマルチホップ推論，NR は数値推論，I は画像，SR は意味領域，AEは算術式を表す。

図 2 左: 推論タイプの分布. 右: 回答タイプの分布.

点がある．類似手法として Wikipedia におけるマルチホップ推論を必要とする MultimodalQA [10] では,編集による QA 作成の有効性が確認されている.

算術式アノテーション算術演算が必要な回答に対して，算術式 (例: “30-28”) を付与した.

## 2.3 統計情報および従来研究との比較

SlideVQA は 2,619 件のスライドデッキ $(52,480$ 画像，890,945 件の意味領域) に関する 14,484 件の QA ペアを含む．また，各デッキが同一の分割のみに存在するように，訓練/開発/テストデータを 10,617/1,652/2,215 質問に分割した.

画像表 1 で示す様に, SlideVQA は最も多くの文書画像を含むデータセットである。また， VisualMRC [4] と比べて, SlideVQA は意味領域数が 14.7 倍であり，最多である．SlideVQA タスクにおけるモデルが考慮すべき OCR 単語平均数は 1488.88 単語であり, 従来研究で最も OCR 単語数の多い InfographicVQA [5] の 217.89 単語を大きく上回る.

QA 表 1 で示す様に，SlideVQA はマルチホップ推論と数值推論を必要とし，算術式付与を行った初めての研究である. また, SlideVQA は複数文書画像を入力とし，学習に資するデータ量を含む点でも初めての研究である（DocCVQA [6] は QA 数が 20 件に限られる). 図 2 左で示す様に，49.3\%の質問がマルチホップ推論または数値推論を必要とする. 図 2 右で示す様に，Multi-Span と Non-Span の回答が $32.4 \%$ を占めており, 回答の生成・抽出能力を必要とする。

図 3 左: 提案モデル M3D のアーキテクチャ. 右: 入力埋め込み系列.

## 3 提案モデル

提案モデル M3Dを図 3 に示す. M3D は T5 [11] からなる Transformer Encoder-Decoder モデル FiD [12] をベースとする．M3D の貢献は，1) マルチモーダル情報を考慮して複数の文書画像を同時に理解できる点，2) 算術演算の能力強化を目的とした算術式の生成を行う点，3) 回答根拠選択と質問応答を系列変換の枠組みでマルチタスク学習を行う点である。

## 3.1 マルチモーダル入力埋め込み層

## 入カトークン系列 ページ $k$ における入力トーク ン系列 $x_{k}$ を, 質問 $q$, Task Prefix $t$, ページ番号 $e_{k}$, コンテキストトークン $c_{k}$ を用いて定義する.

$
x_{k}=\left(\text { task: } t \text { question: } q \text { page: } e_{k} \text { context: } c_{k}\right)
$

Task Prefix $t \in$ EEvidence Selection, Question Answering\} であり，回答根拠選択と質問応答の同時学習を可能とする. コンテキストトークン $c_{k}$ はページ $k$ 中の意味領域毎の OCR トークン系列 $\mathbf{W}_{k}^{r_{i}}$ および意味ラベル $\left[\mathrm{R}_{k}^{r_{i}}\right]$ から定義される.

$
c_{k}=\left(\left[\mathrm{R}_{k}^{r_{1}}\right], \mathbf{W}_{k}^{r_{1}},\left[\mathrm{R}_{k}^{r_{2}}\right], \mathbf{W}_{k}^{r_{2}}, \ldots,\left[\mathrm{R}_{k}^{r_{N}}\right], \mathbf{W}_{k}^{r_{N}}\right),
$

意味領域 (例: Title) は，画像 $I_{k}$ から Faster-RCNN [13] を用いて $N$ 個抽出する。

入力埋め込み系列入力埋め込み系列 $\mathbf{z}$ をトーク

埋め込み系列 $\mathbf{z}^{\mathrm{vis}}$ を用いて以下の通りに定義する。

$
\mathbf{z}=\mathrm{LN}\left(\mathbf{z}^{\text {token }}+\mathbf{z}^{\text {seg }}+\mathbf{z}^{\text {lay }}+\mathbf{z}^{\text {vis }}\right) \in \mathbb{R}^{L \times d}
$

LN は Layer Normalization [14]，L は入力長を表す. $\mathbf{z}^{\text {token }}$ は入力トークン系列 $x_{k}$ を $d$ 次元に埋め込む. また， $\mathbf{z}^{\mathrm{seg}}$ は各トークンが属する意味ラベルを表す.意味領域と OCR 領域に対して，1 層の FFN に入力

性化関数と 1 層の FFN に渡した結果を $\mathbf{z}^{\mathrm{vis}}$ と表す。

## 3.2 マルチモーダル Endoder-Decoder

マルチモーダル Encoder FiD [12] と同様に，K 個の画像に対応する入力トークン系列 $x_{k}$ を独立にエンコード後，エンコード結果 $\mathbf{x}_{k} \in \mathbb{R}^{L \times d}$ を結合し， $\mathbf{X} \in \mathbb{R}^{K L \times d}$ を得る。

回答/算術式 Decoder Decoder は通常回答（例: “Steve Jobs”) または算術式 (例: “30-28”) を出力する. 算術演算の必要性はモデルが判断する. 出力が算術式の場合は出力系列の先頭に “Expression:”,通常の回答の場合は“Answer:”を予測する.

回答根拠選択器 Decoder と同じ構造を持ちパラメータを共有する。 $\hat{e}$ を回答根拠のページ番号とした時，出力形式を $\hat{\mathbf{I}}_{\text {pages }}=$ (Evidence pages: $\hat{e}_{1}, \ldots$, $\left.\hat{e}_{K^{\prime}}\right)$ として，系列生成により回答根拠を選択する.

学習と推論選択器と Decoder に関する負の対数尤度損失の和を最小化する．推論時には，出力系列の先頭トークンを削除し，最終出力とする。また， “Expression:” が出力された場合，後処理として演算を実施した（例: “30 - 28”から回答“2”を算出）.

## 4 評価実験

ベースライン End-to-End/質問応答タスクにおける比較手法として，根拠選択モデルと質問応答モデルで構成されるパイプラインを用いる。根拠選択モデルとして HLayoutLMv2 を新たに導入した。 HLayoutLMv2 は各画像を LayoutLMv2 [15] に渡して得られた表現を Transformer [19]によりエンコードし，上位 3 件の根拠を出力する．他に，各モーダル情報を利用した LayoutLM [18] を含む 7 つのモデルを用いた（表 2 参照）。質問応答モデルには，回答生成を行う T5 と LayoutT5 [4], 回答スパン抽出を行う LayoutLMv2，M3D のベースとなる FiDを用いた.

評価指標 HotpotQA [20] に倣い，質問応答と根拠選択の各サブタスクで Exaxt-Match (EM) と F1 を用
表 2 SlideVQA タスクにおける評価結果。(b)，(c) は SlideVQA のサブタスクである。T (テキスト)，L (レイアウト)，V (画像特徴)を表す。 $\mathrm{M}^{2} \mathrm{D}_{\mathrm{GT}}$ は正解根拠のみをモデルに入力した． $\mathbf{z}^{\text {lay }}$ は入力埋め込みに対するレイアウト埋め込みを表す.

(a) End-to-End タスクの結果.

(b) サブタスク: 回答根拠選択の結果.

(c) サブタスク: 質問応答の結果.

表 3 開発データにおける M3D の ablation 評価.

い，Joint-EM/F1（JEM/JF1）を用いて End-to-End タスクにおける回答と回答根拠の一貫性を評価する.

## 4.1 評価結果と分析

## 提案モデルはベースラインの性能を上回るか？

表 2a に示す様に，M3D は全てのベースラインの性能を上回った。回答根拠選択タスクでは，表 $2 b$ に示す様に，HLayoutLMv2 と M3D がその他のベースラインよりも高い性能である。これは全ての根拠候補を同時参照するモデル化が性能向上において重要であることを示唆する. 質問応答タスクでは，表 2c に示す様に，M3Dがベースラインの性能を上回った. これは M3D がパイプラインよりも質問に関連しない画像を排除し, 回答生成できることを示唆す

能向上が確認できることから，根拠選択の性能改善の余地があることを示唆する。

提案モデルは人間の性能を上回るか？ 表 2，図 4 に示す様に，全てのタスクとカテゴリにおいて人間が大きく提案モデルの性能を上回っている. 特に，視覚理解を伴う 1）マルチホップ推論，2）算術演算における性能向上は今後の課題である.

データセットの特徵は？表 2 に示す様に，モー ダル情報の増加に伴い性能向上が全てのタスクにおいて確認できることから，SlideVQA は文書のテ

図 4 カテゴリごとの $\mathrm{QA}$ 性能比較.

キスト・レイアウト・視覚情報を全て考慮する必要がある. 表 $2 \mathrm{a} \cdot 2 \mathrm{c}$ に示す様に，回答生成を行う LayoutT5 が回答スパン抽出を行う LayoutLMv2 の性能を大きく上回った.これは，Non-Span 回答を含むデータセット [21]で同様に確認される現象である.

性能向上に寄与する要素は何か？ 表 3 に示す様に，各要素を取り除くことで性能低下が確認できる. 特に，根拠選択を各画像の先頭トークンに対応するエンコード表現に対して 2 層の MLPを用いた識別モデル BinaryClass に変更することで，大きな性能低下が確認できる。これは, Decoder と選択器とのパラメータ共有および系列生成としてのマルチタスク学習が性能向上に寄与していると考える。また，図 4 に示す様に，数値回答の代わりに算術式を生成すること（AE generation）により，算術演算に関する F1において 10.4\%の向上が確認できる.

## 5 おわりに

新たな文書画像質問応答タスク SlideVQAを提起し, データセットおよびモデルの構築を行った. SlideVQA は最高性能のモデルにおいても人間の性能に及ばない難関なタスクである．本データセットにより，実世界に多数存在する視覚表現された文書を基に QA を行う技術や，Web 検索や対話システムなど産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 2383-2392, 2016.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In ACL, pp. 784-789, 2018.

[3] Minesh Mathew, Dimosthenis Karatzas, and C. V. Jawahar. Docvqa: A dataset for vqa on document images. In WACV, pp. 2200-2209, 2021.

[4] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[5] Minesh Mathew, Viraj Bagal, Rubèn Tito, Dimosthenis Karatzas, Ernest Valveny, and C.V. Jawahar. Infographicvqa. In WACV, pp. 1697-1706, 2022.

[6] Rubèn Tito, Dimosthenis Karatzas, and Ernest Valveny. Document collection visual question answering. In ICADR, pp. 778-792, 2021.

[7] Ryota Tanaka, Kyosuke Nishida, Kosuke Nishida, Taku Hasegawa, Itsumi Saito, and Kuniko Saito. A dataset for document visual question answering on multiple images. In AAAI, 2023.

[8] Slideshare. https://www.slideshare.net/.

[9] Ziad Al-Halah Monica Haurilet and Rainer Stiefelhagen. SPaSe - Multi-Label Page Segmentation for Presentation Slides. In WACV, pp. 726-734, 2019.

[10] Alon Talmor, Ori Yoran, Amnon Catav, Dan Lahav, Yizhong Wang, Akari Asai, Gabriel Ilharco, Hannaneh Hajishirzi, and Jonathan Berant. Multimodalqa: complex question answering over text, tables and images. In ICLR, 2021.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[12] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In EACL, pp. 874-880, 2021.

[13] Ren, Shaoqing, He, Kaiming, Girshicka, Ross, Sun, and Jian. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, pp. 91-99, 2015.

[14] Lei Jimmy Ba, Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv:1607.06450, 2016.

[15] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021 .

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[18] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In KDD, pp. 1192-1200, 2020

[19] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[20] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William W. Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In EMNLP, pp. 2369-2380, 2018.

[21] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In ACL, pp. 2368-2378, 2019.

[22] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv:1711.05101, 2017.

[23] Google clould vision api. https://cloud.google.com/ vision.

[24] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pp. 770-778, 2016.

[25] Sebastian Ruder. An overview of gradient descent optimization algorithms. arXiv:1609.04747, 2016.

図 5 収集したスライドデッキのカテゴリ。

図 6 左: 意味領域の分布. 右: 数値推論タイプの分布.

## A 付録

スライドデッキのカテゴリ図 5 に示す様に，収集したデッキは 39 個の SlideShare のカテゴリを網羅する.

意味領域アノテーション図 7 に, 意味領域アノテーション例を示す. 下記にクラウドワーカーの指示に用いた意味ラベルの定義を示す.
- Title: presentation title, slide title
- Page-text: text in slide, bullet-point text list, text list
- Obj-text: text in a figure, image, diagram or table
- Caption: description of figure, image, diagram, or table
- Other-text: footnote, date, affiliation, code, URL
- Diagram: a graphical representation of data, a process
- Table: data arranged in rows and columns
- Image: drawing, logo, map, screenshot, realistic image
- Figure: graph with data points and coordinates

データ分析図 6 左で示す様に, SlideVQA は 9 つの意味領域を広くカバーしている。一方で，DocVQA [3] や DocCVQA [6] は Visual (Image と Figure)を含む文書を対象としていない. 図 2 右で示す様に，25.5\%が算術を必要とする質問である。

実装 Pytorch を用いて実装し，8 台の Tesla V100 で実験した. CLIP のモデルサイズは Large 用い，その他のモデルは Base を用いた. AdamW [22]を用いて最適化し学習率は 5e-5 とした. バッチサイズは 32 とした. 開発データで最も損失の小さいモデルを最終評価に用いた.入力トークン系列の最大長を 200 , 出力系列の最大長を 50 とした. OCR には Google Could Vision API [23] を用いた. Faster-RCNN のバックボーンは ResNet-101 [24]を使用した。また，SGD [25]を用いて最適化に用い，バッチサ

図 7 意味領域のアノテーション例.

Q: What is the combined percentage of Album Sales \% and Song Sales \% for the genre with a 9\% Share of Total Activity?

図 8 出力例. ($\cdot$) は生成された算術式を表す.

イズを 1 ，学習率 1e-3 とし， 5 epoch 学習を行った. アンカーボックスのスケールを $[8,16,32]$ ，アスペクト比を $[0.5,1.0,2.0]$ とした.

出力例出力例を図 8 に示す. 本例では，マルチホップ推論と算術操作を伴う回答生成が必要な例である。 FiD は文書レイアウトを理解できておらず，誤った回答をしている. LayoutT5 は算術の過程を正しく理解できずに誤った回答を出力しているのに対して，提案モデル M3D は正しく情報（“11\%”と“12\%”）を抽出し，ground-truth と同じ回答を生成することができている.

URL一覧図 $1 \cdot 7 \cdot 8$ の画像ソースを以下に示す.

図1 https://www.slideshare.net/mslgroup/ mediainsights-evolving-sources-of-news-for-media

図 7 https://www.slideshare.net/andrybrewok/ big-data-analytics-a-social-network-approach

図 8 https://www.slideshare.net/musicbizassoc/ nielsen-2015-music-biz-presentation-final


# 対話型質問応答における質問書き換えのためのターン強調

小堀智祥 小林哲則 林良彦
早稲田大学理工学術院
kobori@pcl.cs.waseda.jp

## 概要

質問応答を含む対話システムでは，対話内容に沿った質問の解釈が重要である. 先行研究では, すべての対話履歴と質問を一つの繋がった文章として入力し, 対話履歴に依存しない質問へ書き換えることが行われているが，書き換えに関係のあるターンを考慮することが難しい，本研究では，対話中の質問応答における各ターンの重要度を推定し，その重要度に応じて強調した表現を用いて質問書き換えを行う TurnRewrite モデルを提案する. 質問書き換えの上で重要なターンヘルールによるラベル付けを行ない，各ターンの重要度を推定するターン強調モデルを学習する. CANARD データセットを用いた実験結果により，TurnRewrite モデルの有効性を確認した.

## 1 はじめに

質問応答モデルの精度が向上し，与えられた文書に関する単一の質問に答えるタスクは人間の性能を超えるものも出てきている [1]. 近年，より現実に即したタスクとして，対話型質問応答 (Conversational Question Answering: CQA) タスクと呼ばれる会話の中で現れる質問に対する回答を生成するタスクが提案されている.このタスクは質問内容の解釈が対話履歴に依存するという点で，単一の質問に答えるタスクと比較して難しい [2]. このタスクのサブタスクとして，対話履歴に依存して解釈の決まる質問を対話履歴に依存しない質問 (以降，書き換えられた質問) に書き換える質問書き換え (Question Rewriting) タスクが提案され，CANARD と呼ばれるデータセットが構築されている [3].

CANARD におけるデータの例を図 1 に示す.この例において $Q_{i}, A_{i}$ はそれぞれ質問と回答のターンを表す. $Q_{1}$ は与えられた文書に対する最初の質問であり， $Q_{2}$ 以降はそれ以前の対話に依存した質問になっている. CANARDデータセットでは書き換

図 1 書き換えデータセットの例 [3]

えるべき質問 $Q_{i}$ と，それに先行するすべての対話履歴 $\left.\{Q_{j}, A_{j}\right.\}_{j<i}$ が与えられ, クラウドワーカーによって対話履歴に依存しない形式に書き換えられた質問（図 1右）が正解として付与されている.

このタスクに取り組んだ先行研究では, 事前学習済み言語モデル (Pretrained Language Model: PLM) に対話履歴と質問を 1 つの繋がった単語系列として入力しているため，対話履歴に含まれるターンがそれぞれ別の内容を持つ文章として区別する表現力が低いことが考えられる. その結果, ターン単位のトピック遷移をうまく学習することができず，複雑な履歴参照が必要な質問の書き換えにおいて誤ったエンティティの参照などが発生していると考えられる。

そこで本研究では, 対話履歴に含まれるそれぞれのターンの重要度を推定し，この重要度を用いて質問書き換えを行うことを提案する。既存の CANARD データセットには，対話履歴のターン毎に質問書き換え上の重要度が付与されていないため, 本研究ではルールによりターンへの重要度のラベル付けを行い，ターンの重要度を推定するターン推定モデルを学習した.

## 2 関連研究

CQA タスクの代表的なデータセットとして，物語についての質問応答系列を収集した CoQA デー

タセット [4] や Wikipedia の記事について収集した $\mathrm{QuAC}$ データセット [5] が存在する。これらの CQA データセットの各データは，a.) 答えを探す根拠になる文書, b.) 対話履歴, c.) 質問という 3 つの構成要素から成る. 対話履歴を考慮する場合，その解釈が必要となる (History Modeling [2]) 。 また，質問応答システムへの入力文長の制限が問題となる [6]. これらの課題は, BERTやT5 といった近年の事前学習済み言語モデル (PLM) においても問題となる.

対話履歴の扱いに関する先行研究として，初期には RNN やAttention 機構を用いたモデルが提案されており $[4,7]$, またより対話履歴を重視したモデルとしては，対話履歴内の前の質問に答えた際のモデル内部の潜在表現を次の質問に渡すモデル $[8,9,10]$ が提案されてきた. また別のアプローチとして, 対話履歴とそれに依存している質問から, 対話履歴に依存しない質問を生成することで CQA タスクを一問一答形式の質問応答タスクに帰着させる研究がある [3]. これらはモデルが解釈したユーザの質問意図をユーザにフィードバックでき，誤りをユーザが認識しやすいという点と，単一の質問に答える精度の高い質問応答システムやデータセットを利用できる点で他のアプローチよりも優位である。

対話履歴に依存しない質問を生成するタスクを質問書き換え (Question Rewriting: QR) タスクといい,本研究ではこのタスクに取り組む。このタスクを代表するデータセットに CANARD データセット [3] がある.このデータセットを扱った先行研究では， RNN ベースのモデル $[3,11]$ や PLM を利用したモデル [12], 共参照解消に着目したモデル [13], CQA と $\mathrm{QR}$ タスクを同時に学習させるモデル [14] などが提案されている. 先行研究が対話履歴と質問を単語系列として処理するのに対し, 本研究では対話履歴に含まれるそれぞれのターン間の関係性を学習するためのアーキテクチャを導入する，すなわち，ターン単位で履歴を扱う点がこれらの先行研究と異なる。

## 3 提案手法: TurnRewrite モデル

本研究が提案する TurnRewrite モデルの構成図を図 2 に示す. 本モデルは, 複雑な履歴参照が必要な質問の書き換えに対して，対話履歴に含まれるター ンごとの潜在表現を利用してターン単位の重要度を考慮することで書き換え精度向上を図る. 具体的には, 単語単位による処理に加え履歴ターン単位で対話履歴の重要度を評価し，その結果を書き換え質問生成に利用する。

図 2 TurnRewrite モデル構成図

## 3.1 人工的なデータセットの構築

TurnRewrite モデルでは，書き換えられた質問を生成するために必要なターンをすべてのターンから選択し強調することが必要であるが, 既存のデータセットではターン毎に質問を書き換える上での重要度でのラベル付けが行われていない。そこで本研究では，事前に CANARD データセットに含まれる対話履歴と書き換え前後の質問を用いるルールベースにより，対話履歴の各ターンに対してそのターンが書き換え質問の生成において必要か不要かのラベル付け (必要:1, 不要:0)を行った.

手順としては，まず，CQAデータセットに含まれる書き換え前と書き換えた質問を比較し，書き換えに使われた単語の集合を求め，事前に決められたストップワードを取り除くことで対話履歴から導入された単語を求めた. 次に, これらの単語が対話履歴のどのターンから取り出されたものなのかを割り当てる. 対話履歴を最も質問に近いターンを調べ，上記の手段により求めた単語が 1 つでもそのターンに含まれていれば，ターンと単語を関連付けてター ンに必要とラベル付けした. 続くターンを調べる際は，それまで調べたターンと関連付けられた単語を除く，書き換えで導入された単語がターンに含まれるかを調べた。この手順を具体例で示したものを付録 $\mathrm{A}$ に示す.

## 3.2 ターン強調モデル

ターン強調モデルの構成を図 3 に示す. ターン強調モデルは対話履歴と書き換え前の質問を入力として対話ターンごとに書き換える上での重要度を出力する．まず，対話履歴のそれぞれのターンの

図 3 ターン強調モデル構成図

文 $h_{1}, \ldots, h_{k}$ と，書き換え前の質問 $Q_{\text {raw }}$ について，文エンコーダを利用して文表現を取得する．各対話ターンの表現を $h^{\prime}{ }_{i}$ と表す.このべクトル表現に，履歴を扱う上で重要と考えられるターンの番号を表す学習可能ベクトルを連結し, 履歴ターンのベクトルを生成する．続いて，対話履歴の前後に質問を付け足した $\left[Q^{\prime}{ }_{\text {raw }}, h^{\prime}{ }_{1}, \ldots, h^{\prime}{ }_{k}, Q^{\prime}{ }_{\text {raw }}\right]$ を bi-GRU を経由させることでターン間の関係性を取り込んだ内部表現を作る. 最後にその表現を多層パーセプトロンに入力することで，それぞれの履歴ターンに対して $[0,1]$ 範囲の重要度の予測を出力する.

## 3.3 質問書き換えモデル

質問書き換えモデルの構成を図 4 に示す. 本モデルは，書き換え前の質問，対話履歴，履歴ターン毎の必要度ラベルを入力として，対話履歴の文脈なしに質問意図が理解できる質問を出力する.

図 4 質問書き換えモデル構成図

本モデルは，書き換え前の質問と対話履歴を並べて 1 つの文章として PLM に入力してファインチューニングするが，モデルの入力となる単語べクトルに対話履歴の重要度に応じたべクトルを加算している点が通常の PLMを利用するモデルとは異な
る.この手法は，入力のうち重要な部分にマーカー を引く様子をモデル化した [15] の手法を参照している. 加算するべクトル turn_importance_emb はター ン強調モデルが単語の属するターンに対して出力する重要度である importance $\left(h_{i}\right)$ と学習可能べクトル $I, U$ を用いて式 1 で計算される. すなわち，同じターンに属する単語のべクトルそれぞれに対して常に一定のベクトルを足し合わせている。なお，I と $U$ はそれぞれ最も重要・非重要なターンであるを示す学習可能なべクトルである.

turn_importance_emb $\left(h_{i}\right)$

$=$ importance $\left(h_{i}\right) \times I+\left(1-\right.$ importance $\left.\left(h_{i}\right)\right) \times U$

## 3.4 学習過程

TurnRewrite モデルの学習は 2 ステップで行った.まず 3.1 節で作成したデータセットを利用してターン強調モデルがルールで割り当てられたラベルを出力するように Binary Cross Entropy ロスで学習させた. この際，ラベルに不均衡があったため，バッチ内のラベルの出現回数の逆数の重みをロスに掛け正規化した。続いて，ターン強調モデルと質問書き換えモデルを接続し，質問書き換えモデルを teacher forcing しながら次トークンを予測させる Cross Entropy ロスを最小化することで提案の TurnRewrite モデル全体を学習させた.

## 4 実験

## 4.1 実験設定

CANARD データセット [3] (統計情報を付録 B に示す)を用いて質問書き換えの評価実験を行った。対話トピック，書き換えるべき質問，先行する対話履歴を大力とし，対話履歴を見ないで解釈が定まる質問を出力することがタスクとなる。実験においては文エンコーダとして SimCSE [16]を用いた。また質問書き換えモデルとして関連研究 [12] で最も良い精度を達成した PLM である T5 (T5-base) を用いた。 SimCSE および T5 は Hugging Face Transformers ライブラリによる実装を利用し，bi-GRU や実験環境は Pytorch を用いて実装した。学習時の学習率，ター ン強調モデルにおける層の深さや幅はグリッドサー チでパラメタチューニングを行い，オプティマイザは AdamWを利用した。

## 4.2 実験結果

BLEU スコアによる各モデルの書き換え精度の評価結果を表 1 に示す.ここで，Human は [3] にて報告されたクラウドワーカーが書き換えを行った際の BLEU スコアである. upperbound は, ターン強調モデルの gold データを利用した場合を示す.すなわち, ターン強調モデルが正解するという設定であり, TurnRewrite モデルの書き換え精度の上限を与える.なお，Human 以外のそれぞれのスコアは seed を変えて 3 回平均を取っている。

表 1 の $5^{1}{ }^{1}$ と TurnRewrite モデルの BLEU 値の比較からターン強調の効果が確認できる. TurnRewrite モデルと upperbound の比較からは, 性能向上の余地があることが示唆される. 基本的にはターン強調モデルの改善により性能向上が可能であるが，ターンの必要性に関するラベルの品質も問題となる. すなわち今回利用したデータセットである CANARD では，書き換えられた質問として正解が 1 例しか与えられておらず，クラウドワーカーによる誤りや解釈の違いが存在すると考えられる。例えば，[3]によると $10 \%$ の書き換え質問は履歴参照が残っている.

## 4.3 質問形式ごとの効果

CANARDデータセットにおける質問を大きく「列挙型」と「置換型」に分類し ${ }^{2)}$ ，それぞれの質問種別のデータをもとにモデルを個別に学習させ，複雑な履歴参照が必要な列挙型質問の書き換えにおけるターン強調モデルの有効性について評価した.

それぞれの質問形式の例を表 2 に示す. 列挙型は，質問書き換えにおいて対話履歴におけるエンティティの列挙が必要な質問群である. 本研究では，"any other"などの特定の語句を含むものを列挙型として扱った. また，列挙型意外の質問を置換型に分類した. これらの質問の多くは代名詞の参照解

1）[12] の報告では BLEU が 58.1 と報告されているが，実験設定が明記されておらず再現することができなかった.

2) Train/Dev/Test のデータ数はデータ数が最も小さい列挙型に揃えた。結果，Train, Dev, Test はそれぞれ 5595, 631, 1060 質問からなるデータセットになった.表 2 列挙型，置換型質問の例

質問形式元質問 $\rightarrow$ 書き換え質問

列挙型 Any others?

$\rightarrow$ Any other \{songs were featured on films besides "Dear Lover", "Walking After You" for the ...\}

置換型 Who did they play in the super bowl? $\rightarrow$ Who did $\{$ the Colts $\}$ play in the super bowl?

表 3 質問種別ごとのモデル性能 (BLEU スコア)

決を必要とする. 4.2 節と同じモデルで学習させた結果を表 3 に示す. 結果から，より履歴参照が必要である列挙型ではべースラインである T5を利用した場合に比べてターン強調モデルを利用した場合の方が性能が向上することがわかった。これは複雑な参照を含むデータについては履歴ターンの強調が有効であることを示唆している。一方，置換型の T5 と upperbound を比較すると，置換型の質問種別に対しては T5 のみで高い精度を出しており，ターン強調モデルによる履歴ターンの強調があまり効果を持たないことが示された.これは置換型は列挙型に比べ 1 ターンに含まれる人名などを参照することで質問を書き換えることができ，対話履歴に含まれるターンの関係性を考慮したターン強調を行う有効性が低いためであると考えられる。また履歴強調モデルを学習させた TurnRewrite と弱教師データセットを利用した upperbound を比較すると，ターンの誤選択による性能劣化が存在することがわかった. これは，履歴ターンの強調よりもターンの誤選択による性能劣化が大きいことを示唆している.

## 5 まとめ

本研究では $\mathrm{CQA}$ タスクのサブタスクである $\mathrm{QR}$ タスクに対してターン単位で履歴から重要なターンを強調することによる書き換え精度向上を目指した. ターン強調モデルの学習を行うため, 履歴のそれぞれに対して重要であるか否かのラベル付けをルールで行ったデータセットを作成した. 評価実験の結果から，ターン強調をする機構がないモデルに比較して書き換え精度の向上が見られたことから， ターン強調の有効性が確認できた。

## 参考文献

[1] Hariom A. Pandya and Brijesh S. Bhatt. Question answering survey: Directions, challenges, datasets, evaluation matrices. CoRR, Vol. abs/2112.03572, , 2021.

[2] Gupta Somil, Rawat Bhanu Pratap Singh, and Yu Hong. Conversational machine comprehension: a literature review. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2739-2753, 2020.

[3] Ahmed Elgohary, Denis Peskov, and Jordan Boyd-Graber. Can you unpack that? learning to rewrite questions-incontext. In Empirical Methods in Natural Language Processing, 2019.

[4] Siva Reddy, Danqi Chen, and Christopher Manning. Coqa: A conversational question answering challenge. Transactions of the Association for Computational Linguistics, Vol. 7, No. 0, pp. 249-266, 2019.

[5] Choi Eunsol, He He, Iyyer Mohit, Yatskar Mark, Yih Wen-tau, Choi Yejin, Liang Percy, and Zettlemoyer Luke. QuAC: Question answering in context. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2174-2184, 2018.

[6] Zhao Jing, Bao Junwei, Wang Yifan, Zhou Yongwei, Wu Youzheng, He Xiaodong, and Zhou Bowen. RoR: Read-over-read for long document machine reading comprehension. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1862-1872, 2021.

[7] Chenguang Zhu, Michael Zeng, and Xuedong Huang. Sdnet: Contextualized attention-based deep network for conversational question answering. ArXiv, Vol. abs/1812.03593, , 2018.

[8] Hsin-Yuan Huang, Eunsol Choi, and Wen tau Yih. Flowqa: Grasping flow in history for conversational machine comprehension. ArXiv, Vol. abs/1810.06683, , 2018.

[9] Yeh Yi-Ting and Chen Yun-Nung. FlowDelta: Modeling flow information gain in reasoning for conversational machine comprehension. In Proceedings of the 2nd Workshop on Machine Reading for Question Answering, pp. 86-90 url =, 2019.

[10] Yu Chen, Lingfei Wu, and Mohammed J. Zaki. Graphflow: Exploiting conversation flow with graph neural networks for conversational machine comprehension. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 12301236, 2020.

[11] Vakulenko Svitlana, Longpre Shayne, Tu Zhucheng, and Anantha Raviteja. Question rewriting for conversational question answering. p. 355-363. Association for Computing Machinery, 2021.

[12] Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng Tsai, Chuan-Ju Wang, and Jimmy Lin. Conversational question reformulation via sequence-to-sequence architectures and pretrained language models. CoRR, Vol. abs/2004.01909, , 2020.

[13] Tseng Bo-Hsiang, Bhargava Shruti, Lu Jiarui, Moniz Joel Ruben Antony, Piraviperumal Dhivya, Li Lin, and
Yu Hong. CREAD: Combined resolution of ellipses and anaphora in dialogues. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3390-3406. Association for Computational Linguistics, 2021.

[14] Kim Gangwoo, Kim Hyunjae, Park Jungsoo, and Kang Jaewoo. Learn to resolve conversational dependency: A consistency training framework for conversational question answering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6130-6141, 2021.

[15] Qu Chen, Yang Liu, Qiu Minghui, Croft W. Bruce, Zhang Yongfeng, and Iyyer Mohit. Bert with history answer embedding for conversational question answering. p. 1133-1136, 2019.

[16] Gao Tianyu, Yao Xingcheng, and Chen Danqi. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910. Association for Computational Linguistics, 2021.

## A 対話履歴のラベル付けルール

対話履歴のラベル付けの手法を図 5 を用いて説明する。

図 5 ラベル付けの手法

この例では, 図上部に示すようにターン 1 からターン 3 までの 3 ターンが会話履歴として与えられ，図下部に示すようにターン4の質問を書き換える場面を想定している．まず，ラベル付けのためにデータセットから4ターン目を人手で書き換えられた質問を用意する (図黄色背景). 次に，4ターン目の書き換え前後の単語を比べ，書き換えられた質問に増えた単語を求める (図の例では”daffy”など，中央青枠に示した). ここで, "at" や"the" といった単語も増えているが，これらはストップワードのため除外されている，続いて，これらの単語を含む対話履歴を「書き換えに必要」とラベル付けしていくが，このとき最も新しいターン（例では 3 ターン目の"first appeared ..."）から調べる. 例では最も新しいターン 3 をまず調べ，\{”Porky", "Duck", "Hunt”\}が含まれるため，必要とラベルされる．続いて 2 ター ン目も同様に調べるが，この際には 3 ターン目に含まれていた\{"Porky", "Duck", "Hunt”\}以外の単語とマッチングを行う．ここでも\{”Daffy”\}が含まれるため必要とラベルされる. 1 ターン目も同様に調べると，確かに”Daffy"や”Duck"が含まれるが，これらはターン 2, 3 でマッチングされているため，ここではマッチングが起こらず，ターン 1 は不要とラベルされる。

## B CANARD データの統計

CANARD データセットは QuAC データセットの Dev セットと一部の Train セットを利用して作成されている. CANARDデータセットの各種統計を表 4 に示す.

表 4 CANARDデータセットの統計

特に，書き換えられた質問の単語数と書き換え前の質問の単語数の比率を図 6 に示す.

図 6 CANARD Train データセットにおける書き換え前後の単語数の比率

図 6 より，多くの書き換えた質問の単語長は書き換え前の単語長の 2 倍を下回るが，それ以上になる質問書き換えも一定数存在することが確認できる.


# 人間らしい予測処理機構を取り入れた質問応答モデルの提案 :早押しクイズのパラレル問題を題材として

山下陽一郎 ${ }^{1}$ 原田宥都 ${ }^{2}$ 大関洋平 ${ }^{2}$
${ }^{1}$ 東京大学教養学部 ${ }^{2}$ 東京大学大学院総合文化研究科
\{yamashita-yoichiro416, harada-yuto, oseki\}@g. ecc. u-tokyo. ac. jp

## 概要

本研究では、早押しクイズの問題を題材として、不完全な質問文から解答を生成する質問応答モデルを提案する。提案モデルは、不完全な質問文に対して、その続きを予測して質問文の後半部を補完する前段と、そうして得られた質問文に対して解答を出力する後段からなる。このモデルの前段にはファインチューニングした GPT-2 を用い、後段には Dense Passage Retriever による質問応答モデルを用いる。結果として、質問文の前半部のみから解答を出力したモデルに比べて、予測機構を組み込んだモデルの方が高い精度の解答を出力できることがわかった。

## 1 はじめに

自然言語で表現された質問に対して適切な解答を与える技術は、質問応答と呼ばれている。特に、分野や領域が限定されていない質問応答はオープンドメイン質問応答と呼ばれる。その中でも単純な事実や出来事を問う質問はファクトイド型質問と呼ばれ、 この技術は検索サービスなど身近な場面にも応用されている $[1]$ 。オープンドメイン質問応答のうちファクトイド型質問の研究では、クイズの問題が題材として扱われることが多く、SQuAD[2]や TriviaQA[3] といった英語のデータセットが存在する。 2011 年には米国のクイズ番組 Jeopardy!において、IBM の開発した Watson というシステムが活躍した[4-5]。日本でもクイズの問題のデータセットである JAQKET が公開されている[6]。

さらに、クイズを題材とした質問応答研究においては、質問文の途中までを入力して解答を生成する、「早押しクイズ」モデルの開発も行われている [7-8]。 これらの「早押しクイズ」モデルでは、主に不完全な質問文から「直接」解答となる単語を生成する手法が採用されているが、人間が早押しクイズを解く際は、まず、不完全な質問文からその続きを先読みし、その後に解答を導き出す。そのため、既存モデルのアプローチは「人間らしさ」の観点から妥当ではない、という可能性が残されている。よって本研究では、「問題文の先読み」に焦点を当て、「問題文の先読み十解答の出力」という構造を持つモデルを提案する。人間のクイズプレイヤーと同様に、問題文の前半部からその後半部を予測し、完全な問題文を推測した上で正解を導き出すことを目指す。

## 2 関連研究

## 2.1 クイズを題材とした質問応答研究

「AI 王〜クイズ $\mathrm{AI}$ 日本一決定戦〜」（以下、「AI 王」）という日本語のクイズを題材とした質問応答コンペティションでは、22,000 問以上のクイズの問題が解答とともに公開されており、9 割を超える正解率を誇るシステムが開発されている。このコンペテイションは、問題文全文から解答を導くという形式で、ベースラインモデルも併せて公開されている[9]。

## 2.2 早押しクイズの質問応答研究

Neural Information Processing Systems においては、 Human-Computer QA という早押しクイズ形式の問題を題材としたコンペティションが開催された[7]。 この大会は、逐語的に与えられる問題文に対し、モデルと人間のクイズプレイヤーが早押しクイズを競うというものであった。人間のプレイヤーを破り優勝したモデルは、与えられた問題文から正解となる単語の侯補を列挙する Quiz Solver と、答えの型式を予測する Type Predictor によって構成されている [8]。このように、英語の問題文では、答えとなる単語が person, organization, product などのいずれの夕イプに一致するかが早い段階で明示されるため、これを解答を導く際の手がかりとして利用できる。一
方で、日本語のクイズでは、このような答えの型が文末まで明示されない以上、クイズプレイヤーにとっては予測処理が重要だと考えられる。

## 3 提案モデルの構造

図 1 本研究の提案するモデル

本モデルは図 1 に示すように「問題文の先読み十解答の出力」の 2 つの機構を組み合わせた構造である。モデルの前段では問題文の前半部の入力に対し、後半部を予測して出力する。モデルの後段では、問題文の前半部と前段が出力した後半部を合わせて完成した文を入力し、その問題の解答を出力する。

## 3.1 問題文の先読み: 本モデルの前段

前段では、問題文の前半部を入力として与え、その続きとなる後半部を補って出力させることで予測処理を実装する。実装には、Huggingface[10]上で rinna 社の公開している[11]'GPT-2[12]をファインチューニングして用いる。

## 3.1.1 パラレル問題

早押しクイズの問題文には多様なタイプの問題が存在するが、本研究ではその中でも特に「パラレル」 という形式の問題を扱う。パラレルの問題文は「ですが問題」とも呼ばれ、例えば

おおいぬ座のアルファ星はシリウスですが、こいぬ座のアルファ星は何？（答. プロキオン） のように、「AはXですが、A'は何？」という構造を持つ。パラレルの問題文では、本題は問題文の後半部に置かれるが、場合によっては問題文の前半のみを聞けば、その後半部を予測して解答できる。また、機械的な処理の観点からも、パラレルの問題文は、「ですが、」という特徴的な語によって問題文が明示的に前後半に分割できるため、前半部から後半部を予測するという目的に適っており、扱いやすいデータと言える。本研究では、問題文の先読みに

焦点を当てるため、パラレルの問題文に絞って扱う。

## 3.1.2 パラレル問題の分類

本研究では、「ですが、」までを読んだ時に問題文の後半部が予測しやすいかどうかという観点から以下の 2 つのカテゴリに分類して分析する。 ${ }^{i i}$

- カテゴリ 1 : 後半部を予測しやすい問題このカテゴリには、問題文の前後半で明らかな対比があり、後続する後半部が明らかなもの(1)、 3 つの要素を対比させているもの(2)が含まれる。

(1) 手の爪に施す化粧はマニキュアですが、足の爪に施す化粧は何？

（2）中国の三国時代において、魏の首都は洛陽、呉の首都は建業ですが、蜀の首都はどこ？

- カテゴリ 2 : 後半部を予測しにくい問題このカテゴリには、問題文の前後半の対比が明らかではなく、後続する後半部が一つに絞りきれないような問題が含まれる $(3,4)$ 。

(3) 日本の都道府県で、宮城県の県庁所在地は仙台市ですが、茨城県の県庁所在地は何市?

(4) 砂糖やミルクを入れない紅茶をストレートティーといいますが、砂糖やミルクを入れないコーヒーを一般に何という？

## 3.1.3 データセット

データセットとして、以下の資料からパラレルの問題と解答を収集した。

- $\mathrm{AI}$ 王データセット[6]

全 22335 問のうち、「ですが、はすが、」を含むパラレルの問題 2167 問を抽出した。

- Quiz Worksii

全 18477 問の各問題にタグが付されており、その中で「パラレル」のタグが付されているものを 850 問抽出した。

・クイズの杜 ${ }^{\mathrm{iv}}$

二次利用がフリーになっている問題セットのみを使用し、その中から「ですが、はすが、」 を含むパラレルの問題 959 問を抽出した。

以上の資料からこのようにして得られた問題のうち、「ですが、はすが、」を文字列として含むがパ

ラレルの構造を持たない問題vを除外した結果、最終的に 3765 問のパラレルの問題とそれに対応する解答を得た。GPT-2 のファインチューニングに際しては、「ですが、/ますが、」の直後に区切り記号[SEP] を挿入して学習することで、与えた問題文の前半部に対して自然な問題文の後半部を出力できるようにファインチューニングした。

## 3.2 解答の出カ: 本モデルの後段

後段では、前段で後半部を予測して補った問題文を入力として与え、その問題に対する適切な解答を出力する。実装には第 2 回 AI 王で公開されたべー スラインモデル[7]を用いる。このモデルは、現在の質問応答の主流の技術の Dual Passage Retriever (以下、DPR)[14]を日本語の質問応答のために実装している。AI 王の評価用のデータセットを用いた正解率は 0.5865 である。

## 4 実験と考察

## 4.1 実験

rinna/japanese-gpt2-medium のモデルを、epoch 数を 10 としてファインチューニングを施した。パラレルの問題文を用い、以下の 4 条件で実験を行った。

a. 問題文全体をDPRに入力して解答を得る。

b. 問題文の前半部のみを DPR に入力して解答を得る。

c. 問題文の前半部をファインチューニングしたGPT-2 に入力し、問題文の後半部を予測させた上で、前半部と結合させて DPR に入力して解答を得る。

d. GPT-2をファインチューニングする際に、問題文の前半部で対比されている語を鉤括弧で括って学習した上で $\mathrm{c}$ 条件と同様に解答を得る。実際の早押しクイズでは、対比される語が強調されて読まれることが多いという慣例[13]に準えたものである。

a 条件は DPR の解答生成の精度をそのまま測るべ一スラインである。今回の実験の各条件での正解率は以下のようになると予測される。 $a$ 条件 $>c$ 条件 $=d$ 条件 $>b$ 条件

また、 $\mathrm{c}$ 条件と $\mathrm{d}$ 条件の予測の精度を、「妥当な予測の割合」により評価する。「妥当な予測の割合」 とは、GPT-2 が元の問題と同じ意味の後半部を正しく予測できたものに加え、問題文の前後半で対比構造を持ち、想定される解答が現実世界に存在するような問題文の予測を合わせた割合である。(5)のように、GPT-2 の予測が元の問題文とは異なるものの、入力された前半部と自然な対比構造を保っている場合は「妥当な予測」をしていると判定し、そうでない場合は予測は妥当でないと判定する。

(5)日本の初代内閣総理大臣は伊藤博文ですが、元の問題文: アメリカの初代大統領は誰?

妥当な予測の例: 二代目の内閣総理大臣は誰?妥当でない予測の例: 日本の初代大統領は誰？

## 4.2 結果

第 2 回 AI 王のデータセットで開発用として公開されている問題のうち、パラレルの問題 113 問を用いて実験を行った。各条件での正解率と「妥当な予測の割合」は表 1 の通りであった。

## 表 1 各条件でのモデルの正解率

正解率は元の問題文に対する正解率。 $\mathrm{c}, \mathrm{d}$ 条件の妥当な予測の割合の括弧内の値は、左から順にカテゴリ 1,2 の問題についての妥当な予測の割合。

 &  \\

b. 問題文前半部のみ & 0.159 & -- \\
c. 後半部を予測生成 & 0.186 & 0.443 \\
d. 後半部を予測生成 & & $(0.62 / 0.36)$ \\
 & 0.230 & 0.549 \\

a 条件を見ると、DPRのパラレル問題の正解率が 0.354 と、開発データ全体の問題に対する正解率である、0.5865を大きく下回っている。パラレルの問題は解きにくいタイプの問題だとわかる。

$\mathrm{b}$ 条件と $\mathrm{c}$ 条件を見ると、 $\mathrm{b}$ 条件での正解率に比べて c 条件での正解率の方が高い。予測処理機構であるファインチューニングした GPT-2 が、正解率の向上に寄与しているとわかる。 $\mathrm{d}$ 条件の結果から、対比語を明示させた上で学習

図 2 妥当な予測をした例の Self-Attention

させると、正解率・妥当な予測の割合のどちらもが向上することが確かめられた。

また、d 条件における妥当な予測の割合は全体の 0.549 であった。問題のカテゴリに応じた妥当な予測の割合は、カテゴリ 1 (予測しやすい対比) では 0.70 , カテゴリ 2 (予測しにくい対比) では 0.46 となり、 クイズプレイヤーはカテゴリ 1 の問題を予測しやすいとする伊沢[13]の分類と整合する結果となった。

## 4.3 分析：Attention 重みの可視化

ファインチューニングした GPT-2によるパラレルの問題文の予測で、モデルが実際に予測できた例とできなかった例のそれぞれについて、モデル内部の Self-Attention を可視化して分析を行った。

Attention 重みの可視化には BertViz[15] $]^{\mathrm{vi}}$ 用いた。 BertViz は、GPT-2 が文をエンコードする際の自己注意(Self-Attention)を可視化できる。

モデルが妥当な予測をしたいくつかの例について、特定の Attention-Head viiに注目した際の Self-Attention を可視化した結果が図 2 である。「長い」「共和党」 という後半部の対比語をエンコードする際に、それぞれの前半部の対比語である「短い」「民主党」へ強くAttention を当てて対比関係を処理しているような Attention-Head が存在することがわかる。

一方で、図 2 と同じ Attention-Head に注目して、妥当でない予測を生成した例の Attention 重みを可

図 3 妥当でない予測をした例の Self-Attention 視化した結果が図 3 である。予測した後半部の最初の語、すなわち「ですが、」の直後の語の Attention は、前半部の対比されている語に強く当たっていない。また、本来のパラレルの問題文を入力した際の Self-Attention についても、後半部の対比語である 「亀」の Attention は、前半部の対比語である「鶴」 に強く当てられていない。このように、問題文の前後半の対比が捉えられていないことがわかる。

## 5 おわりに

本研究では、クイズのパラレルの問題を題材として、予測処理機構を組み込んだ質問応答モデルを用いて実験を行った。結果として、質問文の前半部のみから解答を生成する際、予測処理機構は正解率の向上に寄与することが示された。さらに、問題文に特化した手がかりを明示的に示した上でモデルを学習することでも正解率が向上した。問題文の先読みという予測処理に限ると、5 割以上の問題で妥当な予測を行えることが確かめられた。また、モデルが予測しやすい問題の傾向は、クイズプレイヤーによる経験的な問題の分類と合致する結果となった。

モデルの予測の成否とモデルの Self-Attention に注目すると、問題文中の対比関係を反映しているような特定の Attention-Head の存在が明らかになった。 モデルが妥当な予測をした例では後半部で対比されている語の Self-Attention が、それと対応する前半部で対比されている語に強く当たっているのに対し、妥当な予測をできなかった例ではその語に強い Attention が当たる傾向が見られないというように、当該の Attention-Head の振る舞いが異なることも確かめられた。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] 奥村学, 磯崎秀樹, 東中竜一郎, 永田昌明, 加藤恒昭. 質問応答システム. コロナ社, 2009.

[2] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for squad, 2018. https://arxiv.org/abs/1806.03822

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, , and LukeZettlemoye. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 2017.

[4] Ferrucci, D., Brown, E., Chu-Carroll, J., Fan, J., Gondek, D., Kalyanpur, A. A., \& Welty, C. Building Watson: An overview of the DeepQA project. AI magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[5] 金山博, 武田浩一. Watson: クイズ番組に挑戦する質問応答システム. 情報処理, Vol. 52, No. 7, pp. 840-849, 2011 .

[6] 鈴木正敏，鈴木潤，松田耕史，西田京介，井之上直也. JAQKET：クイズを題材にした日本語 QA データセットの構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.

[7] AI 王コンペティション実行委員. AI 王公式べ ースラインシステム, 2019 https://sites.google.com/view/project-aio/baselines

[8] Escalera, S., and Weimer, M. The NIPS'17 Competition: Building Intelligent Systems. Springer International Publishing, 2018.

[9] Yamada, I., Tamaki, R., Shindo, H., and Takefuji, Y. Studio Ousia's quiz bowl question answering system. The NIPS'17 Competition: Building Intelligent Systems, pp. 181-194, Springer International Publishing, 2018.

[10] Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., and Rush, A. M.

Transformers: State-of-the-art natural language processing. Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

[11] 趙天雨，沢田慶．日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 169-170, 2021.

[12] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. Language models are unsupervised multitask learners. OpenAI blog, Vol. 1, No. 8, 2019

[13] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[14] Karpukhin, V., Oğuz, B., Min, S., Lewis, P., Wu, L., Edunov, S., and Yih, W. T. Dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2004.04906, 2020.

[15] Vig, J. A multiscale visualization of attention in the transformer model. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2019.

## A 付録

## A. 1 GPT-2 が予測した問題文の例

ファインチューニングした GPT-2 に、パラレルの問題文の前半部を与えた際の出力の例を表 2 に示す。

## 表 2 GPT-2 の予測した問題文

「ですが、/ますが、」までを入力として与えた際のGPT-2 の出力の例。妥当な予測な例と妥当でない予測の例をそれぞれ示す。出力に際しては、ビーム幅を 5 としてビームサーチを行った。

 & O \\

## A. 2 可視化した Attention 重み

図 4 Attention 重みの可視化の例

モデルが問題文の妥当な予測をした例について、 Attention 重みを可視化した結果を左に示す。本文セクション 4.3 の分析と同じAttention-head に注目している。本文中の例と同様に、aa 問題文後半部で対比されている語「参議院議員」「複数の」の Self-Attention が、それぞれと対応する前半部の対比語「参議院議員」「一つ、単」に強く当たっていることが見て取れる。


# 早押しクイズ解答システムの構築と各時点における正答率推定

杉浦 尚弥 1 山田康輔 2 笹野遼平 2 武田 浩一 2
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{sugiura.naoya.e7, yamada.kosuke.v1\}@s.mail.nagoya-u.ac.jp
}

\{sasano, takedasu\}@i.nagoya-u.ac.jp
## 概要

本研究では、不完全な質問の入力に対して適切な解答を出力する早押しクイズ解答システムの構築に取り組む。具体的には、GPTによって質問文の後に直接解答を生成するシステムと、GPTにより質問文補完を行った後に、DPRを用いた Retriever-Reader アプローチによって解答を生成するシステムを構築し評価を行う。さらに、システムの解答出力確率や関連文書を選択するスコアに基づき、質問文の各時点における正答率を推定する手法を提案する。

## 1 はじめに

早押しクイズとは、競技クイズのジャンルの 1 つであり、問題が読まれている途中に解答を行うことができるもので、解答する速度が重要となる性質上、不完全な文に対しての解答をすることが多いという特徵を持つ。競技クイズは対象とする知識の範囲を限定しないため、オープンドメイン質問応答タスクとして広く研究が行われているが、その主要なデータセットである Natural Questions [1] や、 TriviaQA [2] は入力となる問題文が完全なものであり、これらを使用して構築されたシステム $[3,4,5]$ は不完全な質問に対して解答を行うことは想定されていない。

また、早押しクイズにおいては、解答を行うだけではなく、現時点で与えられた問題文に対して予測された解答の正答らしさを考慮し、実際に解答するかどうかを判定することが重要となる。たとえば、表 1 に示す問題において「古代エジプトでは」まで読まれた場合を考えると、実際の解答である「シリウス」以外にも古代エジプトに存在した物は数多く存在することから、その時点で予測された解答は誤答である可能性が高い。一方、後半まで読まれた場合は解答はほぼ一意に定まる。このため、質問文の各時点における解答候補が実際に正解である確信度表 1 早押しクイズ解答システムの出力例完全な質問文: 古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度: 1.000 解答: シリウス正解 75\%の質問文: 古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度: 1.000 解答: シリウス正解 50\%の質問文: 古代エジプトでは「ナイルの星」と呼ばれ確信度: 0.771 解答: シリウス正解 25\%の質問文: 古代エジプトでは「ナイルの星」と確信度: 0.125 解答: パピルス不正解

を算出することによって、より性能の高い早押しクイズ解答システムが構築できると考えられる。

そこで本研究では、まず、不完全な質問の入力に対して適切な解答を出力する早押しクイズ解答システムを構築し、続いて、各モデルにおいて確信度の算出を行い、確信度と正答率の関係性について調査する。具体的には、GPT [6] によって質問文の後に直接解答を生成するシステムと、GPT による質問文補完を行った後、Dense Passage Retrieval (DPR) [3] を用いた Retriever-Reader アプローチによって解答を生成するシステムを構築する。また、前者のシステムでは解答生成時におけるトークン出力確率を用い、後者のシステムではモデルの出力に用いられるスコアを用いることで、確信度を算出する。表 1 に記載した確信度は、前者のスコアであるが、確信度が低い場合は不正解、確信度が高い場合は正解となる解答を出力しており、確信度が早押しクイズシステムにおいて適切に機能していることが確認できる。

## 2 競技クイズに対する解答システム

本節では、まず、競技クイズに対する先行研究の紹介し、その後不完全な質問文に対応する早押しクイズ解答システム、およびモデル出力に基づく確信度の算出法を提案する。

## 2.1 オープンドメイン質問応答モデル

競技クイズはオープンドメイン質問応答タスクとして扱われており、単一モデルで直接解答を生成するモデルと、関連文書の検索と解答箇所の抽出の 2 つの複合タスクとして解答する Retriever-Reader アプローチによる解答モデルの 2 つが主流である。

単一モデルでの解答としては GPT が代表例である。GPT とは、Transformer [7] の Decoderをべースとし、大規模なテキストコーパスを用いて、ある単語列に後続する単語を予測する学習を行った事前学習済み言語モデルである。GPT はこの性質から入力したテキストに続くテキストを生成するような言語生成関連タスクで利用でき、質問応答の場合、質問に対して解答だけを推論するような入力形式にすることで、解答を生成することができる。また、GPT では後続タスクのデータを利用したファインチュー ニングを行うことで、より高い性能が見込まれるため、質問応答モデル構築においてもファインチュー ニングすることが多い。

複合タスクでの解答としては、Retrieverとして DPR を用いた Retriever-Reader に基づくモデルがその代表例である。DPRは、問題文と各文書に対し異なる BERT [8] を用いる Dual-encoder 構造を持ち、 BERTへの入力の際、文書の先頭に挿入する特殊トークン [CLS]を用いて問題文、各文書の埋め込み表現を獲得する。その後それらの内積により計算された意味的な類似度を基に文書選択を行う手法である [3]。Readerでは、BERTによる正解を含む関連文書予測と文書内の解答箇所の抽出予測を行う。関連文書予測では、[CLS]トークンの位置で答えを含みそうな文書を予測する。ここで選ばれた文書に対して、解答箇所抽出予測を行い、文書中から解答となるトークン列の始点と終点を決定し出力する。

## 2.2 早押しクイズの解答システム

前節のシステムは完全文において有効であることは確認されているが、不完全な文の入力に対し解答することが求められる早押しクイズにおける有効性は不明である。一般的に、問題の一部のみが与えられた場合、正解となりうる解答の候補は複数存在する上、解答を行うために必要な情報が与えられていない可能性があるなど、完全文が与えられた場合と問題の性質が大きく異なる。よって早押しクイズタスクに特化した手法が必要になると考えられる。
そこで本研究では、大規模言語モデルである GPT による推論にのみに基づいて解答するシステム GPT (推論)と、GPTによる問題文補完を行い、DPRを用いた Retriever-Reader アプローチに基づくシステム GPT+DPR の 2 つのシステムを構築する。GPT (推論) では、入力形式を『問題文+“答えは「”』とすることで、括弧の先の部分を推論させ、括弧の中身を解答として出力する形式を取った。問題文と『答えは「』の間に「/を挟むことによって、問題文の区切りを認識させ、誤って文章の補完が行われないようにした。GPT+DPRでは、不完全文を GPT に入力して問題文を補完し、完全な文章を出力として得てから、それを入力として DPRを用いた Retriever-Reader に基づくモデルに解答させる形式を取った。

## 2.3 各モデルの確信度

本研究では、各モデルの解答に対して、各モデルが出力を生成する際に使われている内部スコアを利用して確信度を計算する。確信度はモデルの解答が正答であるかどうかの判断を行うための指標として用いる値であり、確信度が大きいほど、正答率が高くなるような性質を持つ必要がある。

GPT (推論) では、モデルが出力した解答の先頭トークンの生成確率 (以下、生成スコア) を確信度として利用する。GPT は文生成において、文末の $n$ 番目までのトークンが与えられた状態で、語彙の中から最も生成スコアの高いものを $n+1$ 番目のトークンとして出力する。答えが少数のトークンで構成されることが多いクイズにおいては、先頭トークンが解答の方針のほとんどを決めることから、先頭トー クンの生成スコアのみを確信度として採用した。

一方、GPT+DPR の確信度として利用可能な内部スコアとして、Reader で計算された関連文書スコア、抽出スコア、およびそれらの相加平均である平均スコアの 3 つを考える。Reader では各文書の [CLS]トークンを学習した線形層を用いてスコア化し、最も高いスコアの文書を選択するが、関連文書スコアはこのスコアである。さらに、文書選択後、選ばれた文書をトークンごとに埋め込み表現にし、別途学習した線形層を用いて始点スコアと終点スコアを計算したのち、最も始点スコアが高かったトー クンから最も終点スコアが高かったトークンまでのトークン列を解答として出力するが、抽出スコアとはこの時の始点スコアと終点スコアの和である。
表 2 本研究で使用したデータセットの概要

## 3 実験

提案した早押しクイズ解答システムの正答率の検証、および、各モデルの確信度の有効性の調査を行った。なお、文字べースで問題文を先頭 $x \%$ で切ったものを、質問文完全度 $x \%$ と表記する。正答率検証実験では、2.2 節で説明した GPT (推論) モデル、GPT+DPR モデルを、質問文完全度 $25 \%, 50 \%$, $75 \%, 100 \%$ の問題に適用し、その正答率を検証した。確信度の有効性調査実験では、各質問文完全度において、 2.3 節で説明した各モデルの確信度と正解率の関係を調査することで確信度の評価を行った。

## 3.1 実験設定

データセット本稿では、第 2 回 AI 王公式配布データセット (以下、AI 王) ${ }^{1)}$ 、および、クイズアプリ「みんなで早押しクイズ」で出題された問題をクローリングしたデータを用いた (以下、「みんはや」 $)^{2)}$ 。各データ数と平均文字数を表 2 に記載する。なお、DPR の学習は問題文と答えの他に正例文書、負例文書が必要であるため、DPR の学習は AI 王データのみを用いて行い、追加した「みんはや」 データは GPT の学習にのみ使用した。

学習設定 GPT (推論)と GPT+DPR の 2 つのモデルを用いて比較を行った。GPTは rinna社が Hugging Face [9] 上で公開しているモデル3)を使用した。DPR は第 2 回 AI 王で公開されたベースラインモデル4) を使用した。GPT (推論) は学習データを『問題文+“尖答えは「○○」”』の形にフォーマットしてファインチューニングを行った。GPT+DPR においては、 GPT は学習データの問題文だけを使用しファインチューニングした。いずれの場合もエポック数は 5 で学習を行った。DPR は、Retriver と Readerにおいて事前学習済み $\mathrm{BERT}^{5}$ )をべースとし、Retriever は

表 3 正答率検証実験の結果

バッチサイズ 128、学習率 $1 \mathrm{e}-5$ 、エポック数 5 で、 Reader はバッチサイズ 8、学習率 2e-5、エポック数 3 でそれぞれ学習した。

比較手法正答率検証実験では、GPT (推論) と GPT+DPR の 2 つのモデルを比較した。確信度の有効性調査実験では、GPT (推論) については生成スコアを、GPT+DPR については関連文書スコア、抽出スコア、平均スコアの 3つを用いて実験を行った。

評価指標正答率評価において、モデル出力の正誤は文字列の完全一致で評価した。ただし、表記摇れにより不正解となることを防ぐため、モデル出力と答えから『()[ ]・=』の 6 種類の記号を機械的に取り除いた後に文字列の比較を行った。

確信度の有効性調査実験では、正解率-解答率曲線を作成し、その曲線の下の面積 (AUC) により、確信度の有効性を調査した。ここで、解答率とはシステムが実際に解答を出力する割合である。確信度が閾値 $\alpha$ を超えるものだけを解答するものとすると、 この閾値 $\alpha$ を変化させることで解答率を制御可能である。一方、正解率とは、システムが解答を出力したもののうち、正解だったものの割合である。 $\alpha$ を 0 未満にした場合，これはシステム全体の正答率と一致し、 $\alpha$ を大きくするにつれ、確信度が高いものだけが評価の対象となるので、正解率は高くなることが期待される。

## 3.2 実験結果: 正答率検証

GPT (推論) と GPT+DPR の質問文完全度ごと正答率を表 3 に示す。質問文完全度が下がるにつれ正答率が下がっていく結果となったが、その下がり方は質問文完全度に比例せず、100\%～75\%にかけては比較的緩やかな落ち込みであった。これは、クイズの問題文の前半から中間にかけては答えを決定付ける重要な単語が多く出現するのに対し、後半に情報量の多い単語が出現するケースは少ないためだと考えられる。2つのモデルのスコアを比較すると、質問文完全度が $100 \%$ の場合は GPT+DPR の方が高い性能となった一方で、問題文が不完全であった場合は両モデルの性能に差は確認できなかった。
表 4 確信度の有効性調査実験の結果

図 1 確信度の有効性調査における正解率-解答率曲線

## 3.3 実験結果: 確信度の有効性調査

表 4 に確信度の有効性調査実験の結果を示す。 GPT+DPR に対する 3 つの確信度の中では、関連文書スコアを用いた場合が、最も高い AUC となった。 また、全ての結果の中で GPT (推論) の生成スコアが最も高い AUC となった。

次に、GPT+DPR において最も AUC が高かった関連文書スコアを用いて、GPT (推論) モデルと GPT+DPR モデルの PR 曲線の比較を行った。図 1 に結果を示す。いずれの設定においても、高い確信度のもののみに解答する問題を絞り込むことで正解率は上昇することが確認でき、確信度の有効性が確認できる。GPT (推論) と GPT+DPR を比較すると、表 3 に示したとおり解答率 1.0 における正解率である正答率は、質問文完全度 $100 \%$ の場合は GPT+DPR の方が高く、それ以外の場合も同等であるが、解答率 0.8 未満の領域ではいずれも GPT (推論)の方が高い正解率となった。この差は、質問文完全度が小さい場合、解答率が小さい場合に顕著であり、たとえば質問文完全度 $25 \%$ 、解答率 0.1 の設定においては、GPT+DPR の正解率は 0.5 程度であるのに対し、 GPT (推論) の正解率は 0.8 程度と大きな差があることが確認できる。このことから、早押しクイズにおいては GPT (推論) の方が適していると言える。表 5 GPT (推論) の質問文完全度 $25 \%$ における出力例

表 5 に、質問文完全度 $25 \%$ の問題に対し、GPT (推論) を適用した場合の出力例を示す。質問 1 、質問 2 に対しては、先頭 $25 \%$ の質問文しか与えられていないにも関わらず、確信度スコアは 0.9 を超えており、実際に正しい解答が出力されている。一方、質問 3 に対しては、確信度スコアは高いものの、実際には誤った解答が出力されている。これは、いわゆる 「ですが問題」であることを考慮に入れず予測した結果、誤った解答にも関わらず高い確信度スコアが出力されたものと考えられる。質問 4 においては、先頭 $25 \%$ では解答候補が 1 つに絞り込めなかったため確信度スコアは低くなったと考えられ、実際、「アホウドリ」という正しい答えは出力できず、「ナマケモノ」という誤った解答が出力されている。

## 4 おわりに

本研究では、既存研究では想定されていなかった早押しクイズに解答するシステムを GPT (推論)、 GPT+DPR の 2 種類構築した上で、各質問文完全度に対して正答率を検証した。また、確信度と正答率の関係性の調査、および、確信度としてモデルの内部スコアを用いる妥当性の検証を行った。実験の結果、正答率検証では、完全文において DPR が最も高いスコアを見せたものの、不完全文に対しては両モデルのスコアに差は見られなかった。確信度の有効性調査では、GPT (推論) モデルに基づく確信度スコアが低い質問文完全度においても高い有効性を示すことが確認された。今後は、本研究で対象とした確信度を用いることで、確信度の閾値を定めて解答のタイミングを決定するようなシステムや、リアルタイムな早押しクイズ解答モデルの構築を行いたい。

## 参考文献

[1] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, , 2019.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In ACL, 2017.

[3] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769-6781, 2020.

[4] Ikuya Yamada, Akari Asai, and Hannaneh Hajishirzi. Efficient passage retrieval with hashing for open-domain question answering. In ACL-IJCNLP, pp. 979-986, 2021.

[5] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In EACL, pp. 874-880, 2021.

[6] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. Open AI Technical Report, 2018.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 59986008, 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[9] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In EMNLP, pp. 38-45, 2020.


# 利用規約における QA データセットの作成及び検証

高野海里 1 プタシンスキ・ミハウ ${ }^{1}$ 栘井文人 1
1 北見工業大学テキスト情報処理研究室
f1912290090@std.kitami-it.ac.jp \{michal, f-masui\}@mail.kitami-it.ac.jp

## 概要

本研究では利用規約が読まれていないことで起こるユーザと企業の双方の問題やトラブルを指摘し， その問題を軽減するため，兄長な利用規約をわかりやすく自動要約する方法が有効であると考えられる.しかし，自動要約の評価には，人間評価者の応用が必要となり, 近年公開されている数多くの言語モデルの内，どのモデルが最適しているかの評価が困難となっている．そこで，自動要約の評価を効率化させるために，文書を要約する前にその文書を理解しなければならないという考えのもと，質問応答のタスクを用いて最適な言語モデルを選抜する。その中で，3つの質問応答データセットを用いて単言語・多言語両方種類の複数の言語モデルを微調整を行うことで，日本語の質問応答タスクのおいて優れた言語モデルと, 優れたパラメーター（学習率等） について検証し, その結果について報告する。

## 1 はじめに

インターネットの普及に伴いさまざまなサービスが配信されており，それらの多くは利用開始時に利用規約に同意することが求められている. サービスの内容や社会的役割の増大に併せて文章量が増加・複雑化しているためか，利用規約を読まないユーザは多くいることが報告されている [1]. 例として Twitter の利用規約 ${ }^{1)}$ は 11,432 文字, Linkedin の利用規約 ${ }^{2}$ は 13,233 文字, Facebook の利用規約 3 ) は 15,852 文字と原稿用紙にして 30 枚以上もの文量である.これらの穴長な利用規約はサービスを利用するユーザだけでなく，サービスを提供する企業にとっても問題を生む可能性がある. ユーザにとっては利用規約を読まないことで詐欺などの危険や不利益を被る可能性があり, 企業側にとっては禁止事項

1) https://twitter.com/ja/tos

2) https://jp.linkedin.com/legal/user-agreement

3) https://ja-jp.facebook.com/legal/terms
の伝達漏れ等によるトラブルを誘発する可能性がある.

このような問題を軽減する手法の一つとして， ユーザにとって読みやすくするために， 冗長な利用規約をわかりやすく要約し，ユーザによる読解率を上げることである．しかし，企業の作業員が行う人手のみによる利用規約を要約する作業は，時間及び人件費がかかり，さらに利用規約の内容が法律に合わせて定期的に更新しなければならないことからすると，人手にて行うことは極めて非効率的である. その課題を解決するためには，文章の自動要約の技術を使うという方法が挙げられる．要約とは元の意味が変わらないように文章を短くすることであり，正確な要約を行うためにはその文章の意味や内容を正しく理解する必要がある.

そこで，我々はこのような要約時における入念な理解の重要性に着目し, 言語モデルにあらかじめ要約対象文を理解4)させることで自動要約の精度を向上できると考えた. そこで本研究では, 要約対象文を理解した状態を「要約対象文に関する質問に正しく答えられる状態」と見なし，質問応答のタスクで学習させた言語モデルがどの程度の精度で自動要約を行えるかを調査する。本論文では具体的に質問応答の部分に焦点を当て，最も高い精度を出せる事前学習済み言語モデルを調査した結果を報告する。

## 2 関連研究

ユーザが利用規約を読まないことにより生じるリスクを低減するために，利用規約の読解を促進させる研究は過去にも行われてきた。例えば，竹ノ内ら [2] は，利用規約の表示方法に工夫を加えたが，ユー ザの理解度に大きな改善が得られなかったことを報告している。 さらに，抽出型要約の観点からは，野村ら [3] は，個人の属性に左右される重要文と一般に共通する重要文を利用規約から抽出している。ま

4）ここの “理解”とは人間と同じ意味の言語理解のことではなく言語モデルにおいて文書を正確に処理を行うこと指す。

た，Doc2vec や SentenceBERTを用いて文章をべクトル化し, 既知の利用規約との類似度が低い未知条項を抜き出すことで不利益をもたらしうる文章を抽出する研究も行われている $[4,5]$. これらに対して我々のアプローチは言語モデルを用いた抽象型要約を視野に入れているため，より理解しやすい要約文の生成が期待できる.

## 3 基本的な概念の説明

本研究では Question Answering（質問応答，略： QA) と Automatic Summarization (自動要約, 略：AS) の技術を組み合わせることで利用規約の文章量を減少させ，ユーザに読解を促進させることを最終目標とする。そこで具体的には，質問応答の技術を最適なモデルの選抜に用い，自動要約の技術における人手による評価を効率化させる.

質問応答とは，ある文章を入力に，その文章に関する質問への回答を出力するタスクである．タスクの応用例として，顧客から寄せられた質問に対する企業の回答の自動化 [6] や対災害システム [7] などが挙げられる．自動要約とは，ある文章において段落の意味を失わない程度に短くするタスクである。自動要約の応用例として, 研究論文の要約による論文選択時間の短縮 [8] などが挙げられる.

そこで本研究は, 図 1 に示したフローチャートのように以下 5 段階で研究を進行する.

1. 利用規約の文章に対して，要約対象文である 「コンテキスト」「質問」「回答」からなる質問応答データセットを作成する.

2. 作成したデータセットを用いて複数の言語モデルを学習させ， QA タスクで評価し比較する。

3. 評価値が低い場合，データセットの調節（デー タの追加, 質問再作成など）後 2 . に戻ってプロセスを繰り返す。

4. 評価値の高い言語モデルを用いて, 別に用意した利用規約の文章を要約させ，さらにSA タスクに応用し評価する。

5. 評価値が低い場合は, 改めてデータセットの調節後 2 . に戻ってプロセスを繰り返す。

## 4 実験

本実験では，8つの言語モデルを 3 種類のデータセットで学習後, 評価実験を行うことで，日本語の質問応答のタスクにおいて優れたモデルを調査す

図 1 研究進行のフローチャート

る. また学習率を 2e-5 と 1e-4 に変化させ学習を行うことで，日本語の質問応答タスクにおいてどちらの学習率が優れているか調査する。また本実験で使用した実行環境は OS: Ubuntu 20.04.03 LTS，CPU: Intel Xeon E5-2687W v2 @ 3.40GHz，メモリ: 188GB, GPU: GeForce RTX 3060 である.

## 4.1 言語モデル

本実験ではデータを Tokenize（トークン化）する際に，文中における文字の位置と範囲を示している return_offsets_mapping を使用でき, HuggingFace ${ }^{5)}$ にて公開されていて日本語に対応している 8 つの言語モデルを用いて質問応答タスクの学習を行っ

5) https://huggingface.co

た. 使用した言語モデルの種類は BERT，DeBERTa， RoBERTa，DistilBERT の 4 つであり，多言語で事前学習された言語モデルを 4 つ, 日本語のみで事前学習された言語モデルを 4 つ使用した.

## 4.2 データセット

JaQuAD JaQuAD (Japanese Question Answering Dataset)[9] は日本語機械読解のために作成された質問応答データセットであり, 日本語 Wikipedia の記事から収集されたコンテキストに対し 39,696 の質問と答えで構成されている.コンテキストは哲学，歴史をはじめとした，さまざまなドメインにおける質の高い記事6)7)から取集されている。

JSQuAD JSQuAD は JGLUE (Japanese General Language Understanding Evaluation)[10] に構築されている質問応答データセットである. 2021 年 11 月 1 日時点の日本語版 Wikipedia の記事から収集されたコンテキストに対し 72,721 の質問と答えでSQuAD 形式で構成されているまた本実験では SQuAD 形式から DatasetDict 型への変換を行うことで，他のデータセットと限りなく近い条件で使用している.

QADfT QADfT (Question Answering Dataset for Terms of Use $)^{8}$ は JaQuADを参考に, 筆者自ら作成した利用規約特化の factoid 型質問応答データセットである. Twitter(147 個，参照日:2022/7/13)，Face$\operatorname{book}$ (69 個, 参照日:2022/8/2), ニコニコ (61 個, 参照日:2022/8/12 ${ }^{9)}$ ， $\operatorname{LINE}\left(100\right.$ 個，参照日:2022/8/12) ${ }^{10)}$, Nintendo Switch(54 個，参照日:2022/8/12) ${ }^{11)}$ ，Nintendo WiiU(89 個，参照日:2022/8/16) ${ }^{12)}$ ，Nintendo 3DS(288 個, 参照日:2022/8/31) 13 ), Nintendo ネットワーク (192 個，参照日:2022/8/25 $)^{14)}$ ，の利用規約から収集したコンテキストに対し, 合計 1,000 の質問と答えで構成されている. 作成したデータセットの一例を 1 に示す.

6）https://ja.wikipedia.org/wiki/wikipedia:良質な記事

7) https://ja.wikipedia.org/wiki/Wikipedia:秀逸な記事

8) https://huggingface.co/datasets/umisato/QADfT

9) https://account.nicovideo.jp/rules/account

10) https://terms.line.me/line_terms?lang=ja

11) https://www.nintendo.co.jp/support/switch/eula/ usage_policy.html

12) https://www.nintendo.co.jp/support/wiiu/pdf/ wiiu_eula.pdf

13) https://www.nintendo.co.jp/support/information/ 2022/pdf/Nintendo3DS_EULA_20220830.pdf

14) https://www.nintendo.co.jp/support/nintendo_ network/eula/index.html表 1 作成したデータセットの一例

## 4.3 評価指標:SQuAD

SQuAD は質問応答における評価指標の一つである. 評価に $\mathrm{EM}$ と $\mathrm{F} 1$ の二つのパラメータを用いる. EM は Exact Match の略で，言語モデルによって生成された答えと正解が完全一致しているかを示すものである. F1 は言語モデルによって生成された答えと正解がどれたけ近似しているかを示すものである. 本指標における EM のスコア範囲は 0-100であり, F1 のスコア範囲は 0-1 である.

## 4.4 結果と考察

各データセットを用いた評価実験の結果を表 2～ 5 に示す. また, 表の可読性向上のためスコアの右隣の丸括弧はスコアが高い順に $1,2,3 \ldots$ としており，上位 4 つのスコアを太字で示している. 加えて，付録 A にて可読性向上のため表 2 5を棒グラフで表したものを図 2〜5に示す.

双方の学習率，各データセットでスコアの比較をすると，KoichiYasuoka/bert-base-japanesewikipedia-ud-head, bert-base-multilingual-cased, bert-base-multilingual-uncased $の 3$ つ言語モデルは常に上位 4 つのスコアに含まれることから，これらの言語モデルは日本語の質問応答タスクにおいて優れたモデルであるといえる．加えて，これら 3 つの言語モデルの特徴として, モデルの種類が BERT であることから，BERT モデルは他モデルより日本語の質問応答タスクにおいて優れていると考察できる。また，軽微な差はあれど全体的にスコアが高いことから，学習率は 1e-4 の方が優れているといえる. ただし，例外としてxIm-roberta-baseを QADfT

で学習させた場合のみ, 学習率が 2e-5 でのスコアが大幅に高くなった. これに関して詳しい原因は不明であるが，他のデータセットと比べて QADfT のデータ数が 1000 件と少なく，結果においてはっきりとしたパターンが現れにくかったことが考えられる.

さらに，単言語のモデルの中，青空文庫で事前学習したモデルは全て結果が低く, Wikipediaを元に事前学習したモデルは, Wikipedia の QA データセッ卜で比較的に高い結果となっていることから，事前学習言語モデルにおけるドメイン依存性のことを示していると考えられ，従来研究でも指摘されている現象である [11][12][13].

そして，単言語のモデルと比べて，多言語のモデルの方が大幅結果が高く, 事前学習言語モデルでは言語間の知識共有のことを示しており，従来研究で指摘されていることが再確認されている [12][13].

総合的に判断した結果, 研究の次段階では利用規約の自動要約に用いるモデルを選抜した. そこで，まず，総合的に結果が高かった bert-basemultilingual-cased を用いることにした. 同じモデルの「-uncased」バージョンも結果が高かったが，モデルの種類が似ているため，最高結果のもののみを用いることにした. さらに，複数の種類のモデルの性能を比較するため, xlm-roberta-base も用いることにした. そして, 前者の 2 モデルが多言語のモデルのため, 単言語のモデルの性能も比較するためには KoichiYasuoka/bert-base-japanese-wikipediaud-head も用いることにした.

## 5 おわりに

本研究では利用規約が読まれていない社会背景に対して，質問応答と自動要約を合わせて用いることで自動要約の精度を上げつつ，ユーザに利用規約の読解を促せるかを考えた. その初期段階として， 3 つの質問応答データセットを用いて，8 種類の言語モデルの微調整を行うことで, 日本語の質問応答タスクのおいて優れた言語モデルと, 優れた学習率を選抜することができた. 具体的な評価実験の結果として 8 つの言語モデルから日本語の質問応答夕スクにおいて優れたものを得ることができ，ほとんどの言語モデルの学習率は 1e-4 の方が優れていることが分かった. しかし一部の言語モデルとデータセットの組み合わせでは, 学習率が 2e-5 の方が優れていた. 結果から BERT モデルは他モデルに比べ日表 2 評価実験の結果 (EM, learning late=2e-5)

表 3 評価実験の結果 (EM, learning late=1e-4)

表 4 評価実験の結果 (F1, learning late=2e-5)

表 5 評価実験の結果 ( $\mathrm{F} 1$, learning late=1e-4)

本語の質問応答タスクにおいて優れていると考察できる. また，一部の言語モデルに関しては，組み合わせたデータセットのデータ数が 1000 件と少なかったがため, 学習率が 2e-5 の方が優れた結果になったのではないかと考察できる. 今後の課題として，学習率が 2e-5 の方が適していた言語モデルに組み合わせたデータセットのデータ数を増やした後,変化が見られるかを再度検証する. また, 4.4 で述べた 3 つの言語モデルを用いて自動要約を行う.

## 参考文献

[1] 公正取引委員会. デジタル広告の取引実態に関する中間報告書. Technical report, 公正取引委員会, 42020.

[2] 竹ノ内朝陽, 矢谷浩司. サービス利用規約の読解促進を目指した表示手法の比較検討. FIT, Vol. 3, pp. 57-64, 2020.

[3] 佳太野村, 司前川, 晃三水谷, 正之荒井. 利用規約等における重要文の抽出手法の検討. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 575-576, 032016.

[4] 竹ノ内朝陽, 矢谷浩司. 利用規約中の特異な文章を強調するインタフェース. 電子情報通信学会全国大会. The Institute of Electronics, Information and Communication Engineers, 3 月 2021.

[5] 大茂森口, 健二中村. 機械学習を用いた利用規約からの未知条項の抽出に関する研究. 日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集, Vol. 34, No. 0, pp. 861-862, 2018.

[6] 佐藤理, 太田竜男, 佐藤雪乃, 松本桂子, 田澤和彦. 事例データベースを利用した質問応答システムの構築. 全国大会講演論文集,第 49 回,ソフトウェア, pp. 175-176, 091994.

[7] 後藤淳, 大竹清敬, 橋本力, 川田拓也, 鳥澤健太郎. 質問応答に基づく対災害情報分析システム. 自然言語処理, Vol. 20, No. 3, pp. 367-404, 2013.

[8] Jinghong LI. 観点を反映した深層学習および強化学習による学術論文の自動要約生成. 2021.

[9] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. Jaquad: Japanese question answering dataset for machine reading comprehension. arXiv preprint arXiv:2202.01764, 2022.

[10] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 自然言語処理, Vol. 29, No. 2, pp. 711-717, 2022.

[11] 柴田祥伍, プタシンスキミハウ, エロネンユーソ,ノヴァコフスキカロル, 栘井文人. 日本語大規模ブログコーパス yacis に基づいた electra 事前学習済み言語モデルの作成及び性能評価. 言語処理学会第 28 回年次大会 (NLP2022), pp. 285-289, 2022.

[12] Juuso Eronen, Michal Ptaszynski, Fumito Masui, Masaki Arata, Gniewosz Leliwa, and Michal Wroczynski. Transfer language selection for zero-shot cross-lingual abusive language detection. Information Processing \& Management, Vol. 59, No. 4, p. 102981, 2022.

[13] Juuso Eronen, Michal Ptaszynski, and Fumito Masui. Zero-shot cross-lingual transfer language selection using linguistic similarity. Information Processing \& Management, Vol. 60, No. 3, p. 103250, 2023.

## A 付録

図 $2 \mathrm{EM}$ (learning late=2e-5)

図 3 EM (learning late $=1 \mathrm{e}-4$ )

図 4 F1 (learning late $=2 e-5$ )

図 5 F1 (learning late=1e-4)


# JCommonsenseQA 2.0: 計算機と人の協働による 常識推論データセットの改良

栗原健太郎 1 河原大輔 1 柴田知秀 2
1 早稲田大学理工学術院 2 ヤフー株式会社
\{kkurihara@akane., dkw@\}waseda.jp tomshiba@yahoo-corp.jp

## 概要

計算機モデルの言語理解能力のさらなる向上に向けて、ベンチマークを改良し、より高度な言語理解能力を測ることができるようにする必要がある。本研究では多肢選択式の常識推論データセット JCommonsenseQA [1] に焦点をあて、計算機と人の協働によってデータセットを改良する。このデータセットの計算機による精度はすでに $90 \%$ を越えており難易度が低いため、常識推論能力を測るには適切ではない。難易度が低い要因の一つとして、誤り選択肢群の中に正解とあまり関連がない選択肢が含まれていることが挙げられる。この問題に対処するため、まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し、次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り選択肢を選択することによって、難易度の高いデー タセットを構築する。実験の結果、構築したデータセットは元のデータセットよりも難易度が高くなっていることを確認した。

## 1 はじめに

高性能な言語理解モデルを開発するためには、言語理解の能力を様々な観点から評価し分析するためのベンチマーク (データセット群) が必要である。英語においては、GLUE (General Language Understanding Evaluation) [2] が構築、公開されている。GLUE である程度の高スコアを達成できる言語理解モデルが開発されると、より難易度の高いベンチマークとして SuperGLUE [3] などが構築され、ベンチマーク構築と言語理解モデル開発の好循環が生まれている。

このような英語における言語理解研究活性化の潮流に乗じて、世界中の各言語におけるベンチマーク構築が進んでいる。日本語については、言語理解べンチマーク JGLUE [1] を我々が構築した。それに伴

図 1 JCommonsenseQA の改良フロー

い、多くの計算機モデルが JGLUE 上で評価されている。英語の GLUE と同様に、多くのタスクで計算機モデルが人間を越える、もしくは、人間に近い精度を達成している。

日本語においても、計算機モデルの言語理解能力のさらなる向上に向けて、ベンチマークを改良し、 より高度な言語理解能力を測ることができるようにする必要がある。本研究では、言語理解に直接的な関係があると考えられる質問応答 $(\mathrm{QA})$ データセットである JCommonsenseQA (JGLUE に含まれているデータセットのうちの一つ) にフォーカスし、より難易度が高いデータセットに改良する。

JCommonsenseQA は、CommonsenseQA [4] の日本語版データセットであり、常識推論能力を評価するための 5 択の QA で構成されている。人間の精度は 98.6\%であるが、汎用言語モデル RoBERTa [5] (large) は $90.7 \%$ の精度であり、すでに十分に高い精度を達成している。モデルにとって解きやすくなっている要因の一つとして、誤り選択肢群に正解とほとんど関連がないものが存在することが挙げられる。図 1

の上の例では、正解選択肢の「万年筆」と「屋外」 や「ムーン」はほとんど関連がない。このような問題はモデルによって正解が簡単に弁別できてしまうため、常識推論能力を測るには適切ではないと考えられる。

本論文では、計算機と人の協働によって JCommonsenseQA を改良する手法を提案する。具体的には、まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し、次に自動生成された誤り選択肢候補の中からクラウドソーシングで適切な選択肢を選択する。実験の結果、構築したデータセットは以前構築したデータセットよりも難易度が高くなっていることを確認した。

## 2 関連研究

英語における SQuAD [6] や CommonsenseQA などの $\mathrm{QA}$ データセットにおいて、高性能な言語理解モデルの開発とともに、より難易度の高いデータセットを構築する流れが生まれている。

SQuAD は段落、質問、答えの 3 つ組から成る QA データセットで、答えとなるスパンを段落から抽出するタスクである。SQuAD 1.1 においては段落内に答えが必ず存在するという仕様であった。後に構築された SQuAD 2.0 [7] では、段落内に答えが必ずしも存在しないという仕様に変更されたことで、 SQuAD 1.1 より難易度の高いデータセットとなっている。また、異なるタイプの難易度の高い QA デー タセットとして、マルチホップ推論の能力を測る HotpotQA [8] や、算術演算の能力を測る DROP [9] などが提案されている。

敵対的なデータセットの構築による難易度向上の流れも存在する。Jia ら [10] は SQuADについて、質問の答えにはなっていないものの関連している文を段落の最後に追加することで、敵対的な SQuADを構築している。多肢選択式 $\mathrm{QA}$ の CommonsenseQA についても、ゲーミフィケー ションを用いた model-in-the-loop を実施することによって敵対的でより難易度の高い CommonsenseQA 2.0 [11] が構築されている。しかし、選択肢は yes / no の 2 択形式に簡略化されている。

T5 [12] や GPT-2,3 [13,14] などのテキスト生成モデルはデータセット構築にも利用されている。Liu ら [15] は、自然言語推論データセット MultiNLI [16] を基に敵対的データを獲得し、GPT-3を用いてデー タ拡張することによって WANLIを構築している。

質問: 電車に人が乗り降りする場所を何という？選択肢: 駅鉄道会社線路空港港

誤り選択肢追加

図 2 JCommonsenseQA v1 の構築フロー

## 3 JCommonsenseQA の構築方法と 問題点

提案手法の説明をする前に、本節では、以前提案した JCommonsenseQA の構築方法とその問題点について説明する。以降、以前提案したバージョンを v1、本論文で提案するバージョンを $\mathrm{v} 2$ と呼ぶ。

JCommonsenseQA は CommonsenseQA の日本語版データセットであり、常識推論能力を評価するための 5 択の QA で構成されている。JCommonsenseQA は、知識ベース ConceptNet [17]をシードとし、クラウドソーシングを用いて構築している。ConceptNet は、2つの概念 (concept) と、その間の関係 (relation) を表す 3 つ組からなる多言語知識ベースである。 3 つ組は方向性を持ち、例えば新幹線が駅に存在するという関係は (新幹線, AtLocation, 駅) のように (source concept, relation, target concept)として表される。逆方向の関係性を持つ知識は (source concept, relation $^{-1}$, target concept)と表す1)。

構築方法 JCommonsenseQA v1 の構築フローを図 2 に示す。まず、source concept とそれに対して同じ関係を持つ 3 つの target concept $の$ 集合 (以下 Question Set, $\mathrm{QS}$ と呼ぶ) を収集する。次に各 $\mathrm{QS}$ 内の 3 つの target concept について、それぞれの target concept $の$ みが正解となる質問の作文タスクをクラウドソーシングを用いて実施する。最後にそれぞれの質問に対して、誤り選択肢を 2 つ追加するタスクをクラウドソーシングを用いて実施する。

問題点 JCommonsenseQA v1 には、誤り選択肢に正解とほとんど関連がないものが含まれているという問題がある。この問題が生じる原因として、

1）例えば、駅に新幹線が存在するという関係は(駅, AtLocation ${ }^{-1}$, 新幹線) と表す。

ConceptNet を用いた選択肢の自動獲得が挙げられる。 5 つの選択肢のうち 3 つは、ConceptNet から収集した QS 内の 3 つの target concept に由来しているが、これらの target concept 間に関連性がほとんどない場合がある。例えば、「綺麗」と “HasProperty-1" の関係を持つ target concept として「万年筆」「屋外」「ムーン」の3つが抽出される²)が、これらはほとんど関連していない。

## 4 JCommonsenseQA の改良

JCommonsenseQA v1 の問題に対処するため、テキスト生成モデルとクラウドソーシングによるフィルタリングを用いて、正解と類似した誤り選択肢を新たに導入する。提案手法は、図 1 に示すとおり、4 つのステップからなる。なお、各ステップにおいて事例がフィルタリングされることで最終的に獲得できる事例数が少なくなってしまうことから、v1 と同じ構築手法を用いて事前に $\mathrm{v} 1$ の拡張を行う。各ステップの詳細を以下に示す。

ステップ 1 テキスト生成モデル $\mathrm{T} 5$ を用いて、正解と類似した誤り選択肢候補を生成する。 5 は質問を入力し、正解を出力するようにファインチュー ニングする。この際、 2 種類のテキスト生成モデルを用いる3)ことによって、多様な誤り選択肢候補を生成する。なお、正解により類似した誤り選択肢候補を得るため、v1 の全件を用いてクローズドな訓練を行う。

2 つのモデルそれぞれから 20 件の生成結果を得る。この生成結果には長い語句や不自然なものが含まれている。これらに対処するため、ConceptNet にエントリが存在しない生成結果を除去する。また、生成結果に正解自体が含まれていれば除去する。この結果、各モデルから 5 件の誤り選択肢候補が得られた事例を次のステップに渡す。例えば図 1 の例では、1つのモデルから得られた誤り選択肢候補は 「ペンシル」「ノート」「鉛筆」「手提げ袋」「消しゴム」である。

ステップ 2 生成された誤り選択肢候補には、正解の同義語などの別解が含まれる可能性が高い。それらを除去するため、クラウドソーシング4)を用い

2）この source concept と関係からは、「虹「夕焼け」「夜空」 のような良い 3 つ組も抽出される。

3） Hugging Face Hub にある "google/mt5-large" と "sonoisa/t5base-japanese" の 2 つの事前学習モデルを用いる。

4) Yahoo!クラウドソーシングを用いた。
てフィルタリングを行う。クラウドワーカに、質問と、生成した誤り選択肢候補 5 件に正解を加えた 6 つの選択肢を提示し、正解となりうるものを全て選んでもらう。5人のクラウドワーカから回答を収集し、1 人も正解として選択しなかった選択肢のうち、生成結果における確率がもっとも高いものを誤り選択肢として採用する。上記の処理を 2 つのモデルの誤り選択肢候補それぞれで実行し、2つの誤り選択肢を得る。いずれかのモデルの誤り選択肢候補において、 5 件中の全ての候補が正解とみなされた場合、 その事例は除去し、次のステップに渡さない。

ステップ 35 択問題を作成するために、2つの新しい誤り選択肢以外に誤り選択肢が 2 つ必要である。v1の誤り選択肢において、正解とほとんど関連のない誤り選択肢が存在する一方で、多くの場合、正解と関連している誤り選択肢も存在している。そのため、v1 の誤り選択肢から正解に類似したものを 2 つ選択する。これには事前学習モデル BERT [18] ${ }^{5}$ に基づく類似度を用いる。まず、正解を含む 5 つの選択肢のそれぞれを BERT の Embedding 層に入力し、 5 つのべクトルを取得する6)。次に、正解とのコサイン類似度が高い誤り選択肢を 2 つ選択する。

ステップ 2 と 3 によって得られた 4 つの誤り選択肢と正解を用いて選択肢を再構成する。得られた選択肢と v1 の質問をぺアにし、人間にとって解答可能かどうかをクラウドソーシングで検証する。10 人のクラウドワーカに回答してもらい、7 人以上が正解した事例のみを採用する。この結果得られるデータセットを v2-誤り選択肢生成データセットと呼ぶ。

ステップ 4 選択肢間の類似性が上がったことにより、正解と誤り選択肢間の弁別性が低下する恐れがある。例えば図 1 の例では、「ペンシル」は正解の「万年筆」に近く、人間・計算機の双方が誤答する可能性がある。弁別性を上げるために、新しい選択肢を基に質問の再作成をクラウドソーシングで行う。正解の選択肢のみが正解になるようにクラウドワーカに質問を作成してもらう。作成された質問は、v1と同様の方法でフィルタリングを行う7)。

v2-誤り選択肢生成データセットと同様に、人間にとって解答可能かどうかをクラウドソーシングで

表 1 各種モデルの評価結果

検証する。解答不可能なものを除去した結果得られるデータセットを $\mathbf{2}$-質問リライトデータセットと呼ぶ。

以上の手順により、拡張 v1 の 27,400 件から 13,117 件からなる $\mathrm{v} 2$-誤り選択肢生成データセットと、 10,524 件からなる v2-質問リライトデータセットを構築した。2つのデータセットに共通の事例を抽出し、 8,899 件からなる 2 種類の実験用データセットを構築した。これは次節の比較実験で使用する。

## 5 事前学習モデルによる評価

本研究で構築した $\mathrm{v} 2$ データセットが以前構築したv1よりも難易度が上がっているかを事前学習モデルを用いて評価した。また、v2-誤り選択肢生成データセットと $\mathrm{v} 2$-質問リライトデータセットの比較も行った。

## 5.1 実験設定

広く用いられている事前学習モデルをファインチューニングし、精度を算出した。実験に用いた事前学習モデルの詳細を付録 B に示す。モデルのファインチューニングでは、 $\mathrm{v} 1$ と同様に、質問と選択肢を連結した多肢選択式問題を解く8)。実験に用いたハイパーパラメータを付録 Cに示す。また、v1 構築時と同様に、クラウドソーシングを用いて人間による精度を算出し、人間のスコアとモデルのスコアも比較する。

## 5.2 実験結果・考察

結果を表 1 に示す。まず、v2 の難易度が v1 よりも高くなっていることがわかる。また、質問リライトデータセットの難易度は誤り選択肢生成データセットよりも下がっている。これは、正解と誤り選択肢間の弁別性が上がり、計算機にとっては解き

質問: つゆにつけてズルズルと音を立てて食べる頳類は？選択肢: コシヒカリご飯担々缅そばラーメン

質問: 修学旅行でもよく行く赤い色の電波塔は?選択肢: 東京タワー浅草寺お台場東京ドームスカイツリー

図 3 早稲田大 RoBERTaLARGE $の$ 誤り例 (太字が正解、下線が不正解の出力）

やすい問題となっていることがわかる。例えば図 1 で、誤り選択肢生成データセットでは、システムの出力は「ペンシル」となり誤っているが、質問リライトデータセットではシステムの出力は「万年筆」 となって正解できている。また、人間のスコアは全てのデータセットにおいてほぼ同じ高いスコアであることから、v2が v1 に比べて問題の質が低下しているわけではないことがわかる。

v1 と v2 の精度を比べると多くのモデルでかなり精度が低下しているが、最も精度の高かった早稲田

しか精度が低下していないことがわかる。その強力なモデルでの誤り例を図 3 に示す。このような問題に正解するにはどのようにして常識的な知識を獲得すればよいのか、今後の事前学習モデルの改良を考える上での手がかりとなればよいと考えている。

## 6 おわりに

本論文では、計算機と人の協働によって常識推論データセット JCommonsenseQA を改良する手法を提案した。実験の結果、v2 はv1よりも難易度の高いデータセットであることを確認できた。本データセットの構築によって、日本語において初めてベンチマーク構築と言語理解モデルの改良のサイクルを一周回せたと考えている。v2 は今後、v1 と同じサイトで公開する予定である。

今後、さらに難易度の高いデータセットの検討を進めるとともに、別の種類の質問応答データセットの構築にも取り組む予定である。

## 謝辞

本研究はヤフー株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the 13th LREC, pp. 29572966, Marseille, France, June 2022.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. SuperGLUE: A stickier benchmark for general-purpose language understanding systems. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in NeurIIPS, Vol. 32, 2019.

[4] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 4149-4158, Minneapolis, Minnesota, June 2019.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv, 2019. abs/1907.11692.

[6] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on EMNLP, pp. 2383-2392, Austin, Texas, November 2016.

[7] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th ACL, pp. 784-789, Melbourne, Australia, July 2018.

[8] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on EMNLP, pp. 2369-2380, Brussels, Belgium, October-November 2018.

[9] Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh, and Matt Gardner. DROP: A reading comprehension benchmark requiring discrete reasoning over paragraphs. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 2368-2378, Minneapolis, Minnesota, June 2019.

[10] Robin Jia and Percy Liang. Adversarial examples for evaluating reading comprehension systems. In Proceedings of the 2017 Conference on EMNLP, pp. 2021-2031, Copenhagen, Denmark, September 2017.

[11] Alon Talmor, Ori Yoran, Ronan Le Bras, Chandra Bhagavatula, Yoav Goldberg, Yejin Choi, and Jonathan Berant. CommonsenseQA 2.0: Exposing the limits of AI through gamification. In Thirty-fifth Conference on NeurIIPS Datasets and Benchmarks Track (Round 1), 2021.

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in NeurlIPS, Vol. 33, pp. 1877-1901, 2020.

[15] Alisa Liu, Swabha Swayamdipta, Noah A. Smith, and Yejin Choi. Wanli: Worker and ai collaboration for natural language inference dataset creation. arXiv. abs/2201.05955.

[16] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the NAACL-HLT, pp. 1112-1122, New Orleans, Louisiana, June 2018.

[17] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI'17, p. 4444-4451, 2017.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the NAACL-HLT, pp. 41714186, Minneapolis, Minnesota, June 2019.

## A JCommonsenseQA 構築における 質問のフィルタリング方法

クラウドソーシングによる質問の作成後、正解の文字数やキーワードの指定などでヒントを与えられた難易度の低い質問、及び不適切な形式の質問を除去するために、以下のいずれかに該当する質問を持つ問題を除去している。

・質問に選択肢の言葉が含まれる

・例えば「海の対義語を漢字 1 文字で？」など、質問に「○文字」という文字列が含まれる $(\bigcirc$ は数字)

・質問の文末が「?」ではない

## B事前学習モデルの詳細

実験に用いた事前学習モデルの詳細を表 2 に示す。

 \\

表 2 実験に用いた事前学習モデルの詳細。モデル名の丸括弧内は Hugging Face Hub での名称を示す。どちらのモデルも LARGE サイズも使用する。事前学習テキストの CC は Common Crawl を表す。

## C ハイパーパラメータ

実験に用いたハイパーパラメータを表 3 に示す。