# ChatGPT による日本語常識道徳データセットの拡張

大橋 巧 ${ }^{1}$ 中川翼 ${ }^{2}$ 彌冨 仁 ${ }^{1,2}$
1 法政大学理工学部応用情報工学科 2 法政大学理工学研究科応用情報工学専攻
\{takumi.ohashi.4g, tsubasa.nakagawa.5p\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

近年の人工知能の発展や社会への参入により，人工知能に人間の一般的な道徳観を持たせることが望まれるが，現在公開されている学習させるための日本語常識道徳データセットではカバーしている事例が少ない. 本研究では ChatGPT による事例のバリエーションを補うデータ拡張手法を提案する. 既存の日本語常識道徳データセットを拡張したデータセットでモデルを学習・評価することで提案手法による性能の向上を確認するとともに，GPT-4 Turbo による推定結果と比較することで，拡張データセットで学習したモデルは日本特有の文化や道徳に対する理解が求められる事例に対して，より効果的な推定が可能であることが示唆された。

## 1 はじめに

近年の人工知能の発展や社会への参入に伴い，人工知能の倫理を巡る議論は活発化している. 人工知能をよりよく活用するためには，人間に近い価値観を持つことが必要であり，どのようにして人工知能に倫理を教えるか議論が行われている $[1,2]$. その中で現在, 人工知能に一般的な道徳観を学習させるためのデータセットが構築されている $[3,4,5]$.

竹下ら [5] は日本語では唯一の常識道徳データセット JCommonsenseMorality（JCM）を構築し，公開した. 道徳的判断に関するデータセットはいくつか存在するがそのほとんどは英語圏のデータセットであり，文化差や言語の違いを考えれば日本語の常識道徳データセットは希少である．彼らはこのデー タセットを用いて評価実験を行い, Hendrycs ら [3] が構築した英語の常識道徳データセットを用いた実験結果と比較した上で，日本語における道徳的判断には日本特有の文化や慣習も考慮した，より複雑な道徳理解が求められることを示唆した. だが，現状のデータセットでは事例のバリエーションが少ないため，学習データの事例を増やし語彙を補うことが望まれる。

データのバリエーションを補うデータ拡張（Data Augmentation）は学習データの量や質に性能が依存する機械学習分野において効果的であり，自然言語処理 (Natural Language Processing; NLP) の分野でも行われている [6,7]. 例えば, Easy Data Augmentation （EDA）は同義語を置換したり，単語を交換，挿入，削除したりなどの単純な操作を行い，効果を示している [7]. また, OpenAI が 2022 年 11 月に公開した対話型の大規模言語モデル（Large Language Models; LLM）である ChatGPTを用いた手法も行われている [8, 9, 10]. Dai ら [10] は Few-shot のテキスト分類タスクのためのデータ拡張手法として, ChatGPT によるデータ拡張を提案し, Amazonレビューの分類や医学領域の NLP タスクといった複数のタスクで既存のデータ拡張手法より高い効果を示した. 既存のデータ拡張手法は生成されるデータの精度や多様性に限界があったが，ChatGPT は豊富な知識を持っているかつ，学習時に人間のフィードバックによる強化学習 (Reinforcement Learning from Human Feedback; RLHF） [11]を行っていることから，より有益で多様なデータを生成することができる.

本研究では ChatGPT を用いて日本語の常識道徳データセット JCM の拡張を行い，事例のバリエー ションを補う手法を提案し，拡張したデータセットで BERT [12] や RoBERTa [13] といった事前学習モデルをファインチューニングして道徳理解に関する性能を評価した。また，JCM を拡張したデータセットを用いて学習した最良のモデルと，主に英語のデータを多く学習している現時点で最先端の LLM である GPT-4 Turbo による道徳的判断の推定結果と比較し，日本特有の文化や慣習を含む，より複雑な道徳理解が求められる事例に対する推定能について検証した。

## 2 提案方法

## 2.1 データセット

本研究では, 日本語では現時点で唯一の常識道徳データセット JCommonsenseMorality $(\mathrm{JCM})^{1)}[5] を$用いた. データセットに含まれている文章とラベルの例を表 1 に示す. 文章は文章の一部，つまり状況や行為が変わることにより道徳的評価が変化する 2 文 1 組で構成されており，道徳的に許容できる（1） か否（0）かの 2 種類のラベルが付与されている. データ数は学習データが 13,975 文, 検証用データが 1,996 文，テスト用データが 3,992 文の計 19,963 文である.

このデータセットは量が限られ，一部の単語が変化した 2 文 1 組の構成であるので，目的を実現する学習用データとして不足している。例えば，表 1 の文章の一部を変化させた，「赤ちゃんにコーヒーを飲ませる」や「赤ちゃんにガムを飲ませる」のような場合は適切に分類できるかは不明である. 我々が身に着けているような知識や経験を反映するような事例を網羅することは難しいが，それぞれのペアに対応したパターン増やすことで，以前より幅広い内容を含むデータセットの構築が期待できる.

## 2.2 拡張手法

本研究では JCM に対して，ChatGPTを用いたデー タセットの拡張方法を提案する。拡張に用いる ChatGPT のモデルは, GPT-3.5 Turbo 2)（2023 年 11 月 6 日時点のモデル) である. 拡張方法のフレームワークを図 1 に示す。

まず，データセットから文章の一部が変わることにより道徳的評価が変化するぺアを取り出す。このペアの事例のバリエーションを増やすため， ペアの一致している部分を抽出する。 それぞれの文章に対して，日本語 NLP ライブラリである GiNZA[14] で単語分割して前方から一致する部分と後方から一致

図 1 拡張手法のフレームワーク

する部分を抽出し，その間にくを挿入した文を作成した. 以下この文を一致抽出文と呼ぶ. ただし，一致抽出文がく>を含めて 6 文字以下の場合，適切に検出できていない可能性が高いため，そのぺアでは一致抽出文を生成しない。

次に ChatGPT にこの一致抽出文に類似した文章で道徳的に許容できる文章，道徳的に許容できない文章が含まれる 6 文を生成させた。ここで生成された 6つの文章に対して ChatGPT にこの文章が道徳的に「許容できる」「許容できない」，または「判別できない」か判定を行わせ，その結果をもとにアノテーションを行った.このとき，「判別できない」 というラベルを加えたのは，文脈がおかしい文章や道徳的判断しにくい文章を除外するためである.

「判別できない」というラベルが付けられた文章や元データと重複する文章，生成した文章同士で重複した文章を除外し，必要のないデータを取り除いた. 最後に偏りが発生しないように，1つの組から生成された文章の中で道徳的に許容できる，できない文章それぞれ 3 つを上限に拡張データセットに採用した.

この手順に従い，各組で文章の生成とアノテー
表 2 拡張前と拡張後のデータ数

ションを行い，データセットを拡張した．拡張後のデータ数は表 2 に示すように，拡張前の約 2.2 倍となった.

## 3 実験

## 3.1 データ拡張の評価

我々は，拡張前と拡張後のデータセットでそれぞれ事前学習モデルの BERT[12] と RoBERTa[13] をファインチューニングし，JCM のテストデータに対して道徳的に許容できるか否かの評価を行い，拡張の効果を確認した。

事前学習モデルには, 日本語版 Wikipedia で事前学習した $\mathrm{BERT}^{3}$ ) と日本語版 Wikipedia, 日本語版 CC-100 で事前学習した RoBERTa ${ }^{4}$ を用いた. 損失関数に交差エントロピー誤差, 最適化手法に AdamW[15] を使用し, エポック数は 20 エポックの early-stopping を適用した. 学習率は BERT $\left.\{1 \times 10^{-5}\right.$ , $\left.2 \times 10^{-5}, 3 \times 10^{-5}, 4 \times 10^{-5}, 5 \times 10^{-5}\right.\}$, RoBERTa $\left.\{1 \times 10^{-6}, 2 \times 10^{-6}, 3 \times 10^{-6}, 4 \times 10^{-6}, 5 \times 10^{-6}\right.\}$, バッチサイズはどちらのモデルも $\{8,16,24,32\}$ を使用した。検証用データでパラメーターチューニングを行い，F1 スコアで最も高い精度を示した八イパーパラメータでテスト用データを評価した。このときシード值を変えて 5 回ずつ行い，それぞれのスコアの平均を求めた。また，比較のため ChatGPT (GPT-3.5 Turbo）と GPT-4 Turbo5）（どちらも2023 年 11 月 6 日時点のモデル）で同様に推定を 1 回ずつ行い，評価した。

## 3.2 日本特有の文化を含む文章に対する 評価

本実験で用いる JCM には日本語特有の表現や日本独自の文化を含む文章がいくつか見られるため，提案手法で JCM を拡張したデータセットを学

表 3 各モデルの分類性能

習したモデルと主に英語のデータを多く学習している GPT-4 Turbo では推定結果に違いが出ると考えられる。そこで我々は，道徳ラベルの推定結果からそれぞれのモデルが日本特有の文化や慣習を含む文章に対して正しく推定できているのか分析した. 拡張データセットでファインチューニングした RoBERTa と GPT-4 Turbo による推定結果から, 片方が誤りもう一方が正解する文章をそれぞれ抽出した. RoBERTa は実験で得たシード値を変えた 5 回の結果を用いた. 抽出した文章に対して，以下の $2 \supset$ の手法で日本特有の文章が含まれている割合をそれぞれ求めた.

日本文化いろは事典による手法日本文化に関するキーワードを取り上げ，基本事項を紹介している日本文化いろは事典6) にある 253 個のキーワードのいずれかが含まれている文章の割合を求めた。

人手評価による手法 10 名の日本人を対象に道徳判別の推定結果を伏せた形で日本特有の単語や言い回しが含まれているか判断をするブラインドテストを行い，その割合を求めた. テストに用いるデータは，RoBERTa と GPT-4 Turbo の片方が誤り，もう一方が正解する文章に対して 50 文ずつランダムサンプリングを行い, RoBERTa の 1 回の結果ごとに 2 セットずつ, 合計 10 セット作成し, 1 名あたり 1 セット評価をした。

## 4 結果と考察

## 4.1 データ拡張の評価結果

道徳的に許容できるか否かを推定する各モデルの性能を表 3 に示す. BERT，RoBERTaのどちらでも拡張データセットでファインチューニングした方が，元データセットでファインチューニングした場合より高い道徳判別能を示した. また，拡張データセットでファインチューニングした RoBERTa では，

表 4 『GPT-4 Turbo が推定を誤り, RoBERTa が正解した文章』の例文

ChatGPT による推定結果よりスコアが上回った.

ChatGPT で類似文章を複数生成したことで元デー タセットより事例のバリエーションが広がり，拡張したラベルを学習することで ChatGPT が持つ知識範囲をカバーすることができたため，性能向上に繋がったと考えられる. しかし， GPT-4 Turbo による推定結果を上回ることはできなかった.

## 4.2 日本特有の文化を含む文章に対する 評価結果

『GPT-4 Turbo が推定を誤り，RoBERTa が正解した文章』の中で日本特有の文化を含むと判断した例文と対応する正解ラベル（道徳的に許容できる：0，許容できない：1）を表 4 に示す. 上 2 文は日本文化いろは事典による手法で判断した例文であり，事典に登録されている「七五三」,「正月」という単語がそれぞれ含まれている。下 2 文は人手評価による手法で判断した例文であり，日本文化いろは事典に登録されている単語は含まれていないが，評価を行った全員が日本特有の文化を含んでいると評価した.「野球の試合に負けたので、砂を持ち帰る」という例文では日本特有の高校野球の文化を示しており， この文章を正しく判別するには日本特有の文化や道徳に対する理解が必要であると言える.

RoBERTa と GPT-4 Turbo の片方が誤り，もう一方が正解する文章に対する日本特有の表現の割合についての評価を図 2 に示す.『GPT-4 Turbo が推定を誤り，RoBERTa が正解した文章』の方が日本文化いろは事典を用いた手法では $2.4 \%$ ，人手評価による手法

の割合が高いことが確認できた. GPT-4 Turbo が推定を誤る文章に日本特有の文化や慣習を含む割合が高い理由として, GPT-4 Turbo の持つバイアスが関係していると考えられる. GPT-4 Turbo は学習時にインターネットからの膨大な量のデータで学習をするとともに RLHF を行っている [11]. この学習デー タの偏りや人間のアノテーターの価値観や社会文化に影響されることにより, 特定の文化や社会, 言語

(a) 日本文化いろは事典による手法

(b) 人手評価による手法

図 2 日本特有の表現が含まれる文章の割合の比較

に偏っている可能性がある $[16,17]$. 一方で，提案手法で拡張したデータセットでファインチューニングしたモデルは，JCM に含まれている日本語特有の表現や日本独自の文化も学習データに含まれているため, GPT-4 Turbo でも推定が難しい日本特有のより複雑な道徳理解が求められる事例に対して, 日本特有の文化や道徳を考慮した推定が可能になっていると考えられる。

## 5 おわりに

我々が提案した拡張手法により, 既存の常識道徳データセットを ChatGPT で事例のバリエーションを補ったデータセットに拡張することができた.拡張データを用いてファインチューニングした BERT や RoBERTa は, 拡張前のデータを用いるより高い性能であることを確認したとともに，RoBERTa はChatGPT を超える性能を達成した。また，この RoBERTa と GPT-4 Turbo による推定結果の違いを分析すると, 拡張データセットで学習したモデルは日本特有の文化や道徳に対する理解が求められる事例に対して，より効果的な推定が可能であることが示唆された。

今後は日本語以外の他の言語や文化圏の道徳に関するデータセットに対して，同様に ChatGPT を用いる拡張を行い効果を確かめるとともに，GPT-4 Turbo による推定結果との違いにどのような傾向が見られるか調査を行う。

## 参考文献

[1] Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon, and Iyad Rahwan. The Moral Machine Experiment. Nature, Vol. 563, No. 7729, pp. 59-64, 2018.

[2] Liwei Jiang, Chandra Bhagavatula, Jenny T Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Regina A. Rini, and Yejin Choi. Can Machines Learn Morality? The Delphi Experiment. arXiv preprint arXiv:2110.07574, 2021.

[3] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with Shared Human Values. Proceedings of the International Conference on Learning Representations (ICLR), 2021.

[4] Nicholas Lourie, Ronan Le Bras, and Yejin Choi. Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-life Anecdotes. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 1347013479, 2021

[5] 竹下昌志, ジェプカラファウ, 荒木健治. JCommonsenseMorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-362, 2023. in Japanese.

[6] Steven Y. Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard H. Hovy. A Survey of Data Augmentation Approaches for NLP. In Findings, 2021

[7] Jason Wei and Kai Zou. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks. In Conference on Empirical Methods in Natural Language Processing, 2019.

[8] Chenxi Whitehouse, Monojit Choudhury, and Alham Fikri Aji. LLM-powered Data Augmentation for Enhanced Crosslingual Performance. arXiv preprint arXiv:2305.14288, 2023 .

[9] Solomon Ubani, Suleyman Olcay Polat, and Rodney Nielsen. ZeroShotDataAug: Generating and Augmenting Training Data with ChatGPT. arXiv preprint arXiv:2304.14334, 2023.

[10] Haixing Dai, Zhengliang Liu, Wenxiong Liao, Xiaoke Huang, Zihao Wu, Lin Zhao, Wei Liu, Ninghao Liu, Sheng Li, Dajiang Zhu, et al. ChatAug: Leveraging ChatGPT for Text Data Augmentation. arXiv preprint arXiv:2302.13007, 2023 .

[11] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke E. Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Francis Christiano, Jan Leike, and Ryan J. Lowe. Training Language Models to Follow Instructions with Human Feedback. arXiv preprint arXiv:2203.02155, 2022.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In North American Chapter of the Association for Computa- tional Linguistics, 2019.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[14] 松田宽. GiNZA-Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[15] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. arXiv preprint arXiv:1711.05101, 2017.

[16] Han Rao. Ethical and Legal Considerations behind the Prevalence of ChatGPT: Risks and Regulations. Frontiers in Computing and Intelligent Systems, Vol. 4, No. 1, pp. 23-29, 2023.

[17] Partha Pratim Ray. ChatGPT: A Comprehensive Review on Background, Applications, Key Challenges, Bias, Ethics, Limitations and Future Scope. Internet of Things and Cyber-Physical Systems, 2023.


# 大規模言語モデル開発における 日本語 Web 文書のフィルタリング手法の検証

榎本倫太郎 ${ }^{1}$ Tolmachev Arseny ${ }^{2}$ 新妻巧朗 3 栗田修平 4 河原大輔 1
${ }^{1}$ 早稲田大学理工学術院 ${ }^{2}$ Works Applications ${ }^{3}$ 朝日新聞社 4 理化学研究所
re9484@akane.waseda.jp arseny@kotonoha.ws niitsuma-t@asahi.com
shuhei.kurita@riken.jp dkw@waseda.jp

## 概要

日本語に強い大規模言語モデルの開発が活発化しており、その事前学習のために日本語の良質な大規模コーパスが求められている。しかし、大規模コー パスの中で大きな割合を占めるにもかかわらず、日本語 Webコーパスのフィルタリング手法は確立されていない。本研究では、日本語の Webコーパスに対して適切な自動品質フィルタリング手法を検証する。検証手法は、大規模言語モデルのコーパス構築で用いることを想定し、大量なデータでも比較的高速に処理できる小規模な分類器や言語モデルを選択する。Webコーパス品質評価ベンチマークをもとにこれらフィルタリング手法を評価した結果、最も精度が良い手法は N-gram 言語モデルであったが、強いフィルタリングが必ずしも下流タスクの性能向上につながるとは限らなかった。また、フィルタリングの過程で特定のトピックの割合が大きく減少した。

## 1 はじめに

大規模言語モデル (LLM) の性能において、学習コーパスの品質が大きく影響する $[1,2]$ 。学習コー パスの中で Web 文書の割合が大きく、その中に含まれる低品質な文書または段落を効率的に除去することが重要である。

LLM の日本語における性能向上を図るため、大規模な日本語 Web コーパスを用いた学習による LLM 開発が進んでいるが、それらのコーパスの品質フィルタリング手法は確立されていない。ルールに基づくフィルタリング手法は、不要なアルファベットや記号、特定の繰り返し文などは削除できるが、削除項目の網羅性に欠け、文書の種類によっては適切ではない可能性がある。一方で自動フィルタリング手法はルールでは除去できない低品質な文書を取り除くことができる可能性があるが、どの手法がよいのか、また、どのような文書が削除されるのかについて検証されていない。

本研究では日本語 Webコーパス中の低品質な文書を学習によって除去する自動フィルタリング手法を検証する。検証には、大規模なコーパスを処理することを考慮し、比較的高速な分類器や言語モデルの Perplexityを用いる。Webコーパス品質評価ベンチマークを用いた実験の結果、 $\mathrm{N}$-gram 言語モデルの Perplexity によるフィルタリング手法が最も優れていることが分かった。

また、N-gram 言語モデルでフィルタリングを行った日本語 Webコーパスで BERT [3] の事前学習を行い、日本語言語理解ベンチマーク JGLUE [4] で評価した。その結果、強すぎるフィルタリングは性能悪化をもたらすことが分かった。さらに、学習に用いた Webコーパスにおいてトピック分析を行ったところ、フィルタリング過程で特定のトピックの割合が減少することが分かった。

## 2 関連研究

## 2.1 英語の LLM と学習コーパス

テキストの品質分類手法には主にルールに基づく手法と機械学習に基づく手法の 2 種類がある。ルー ルに基づく手法を用いて作成された英語コーパスには The Pile [5] や RefinedWeb [6] がある。機械学習に基づく手法は LLaMA [7] モデルの学習コーパスの構築に用いられている。

The Pile は、Webコーパスや論文、書籍、コードなど 22 種類の高品質なサブセットからなる総量 $825 \mathrm{GiB}$ のクロスドメインコーパスである。The Pile 中の Web コーパスは Web アーカイブである

Common Crawl (CC) ${ }^{1}$ から抽出されており、HTML ページから定型文を削除する jusText ${ }^{2}$ を用いてクリーニングされている。

RefinedWebでは、フィルタリングによってバイアスがかかることを避けるために、言語識別以外のフィルタリング処理において機械学習に基づく手法を用いていない。代わりに、Web 文書の URL をもとに有害文書を、またルールにより定型文や特殊文字の連続を削除している。

LLaMA で使用された学習コーパスのうち $67 \%$ が $\mathrm{CC}$ 由来である。 $\mathrm{CC}$ に対して言語識別、重複削除の上、線形分類器や N-gram 言語モデルの Perplexity によって低品質文書を削除している。しかし、 LLaMA の学習コーパスは公開されていない。そこで、LLaMA の学習コーパス構築手法にしたがって構築された完全にオープンな 1.21T トークンの RedPajama ${ }^{3)}$ データセットが公開されている。また、 RedPajama から特定の記号や短い文書を削除し、 さらに重複削除を行った 627B トークンからなる SlimPajama [8] データセットが公開されている。

## 2.2 日本語 LLM

日本語 LLM では、CyberAgent の calm2-7b4) モデルや rinna $の$ japanese-gpt-neox-3.6b ${ }^{5}$ などが公開されているが、その学習コーパスの具体的なフィルタリング手法は不明である。また、LINE は独自のテキストフィルタリングライブラリ HojiCharr) でフィルタリング処理した学習コーパスから構築した LLM である japanese-large- $\mathrm{Im}^{7)}$ 公開している。しかし、 HojiChar はルールに基づくフィルタリング手法であり、機械学習に基づく手法は用いていない。

## 3 検証手法

本研究では、フィルタリングの過程でデータセットにバイアスがかかることを無視し、テキストの品質のみに着目する。さらに、ルールベースの手法だけでは除去できない文書に対処できることを期待し、我々の検証では機械学習に基づく手法を用い

る。また、大規模コーパスを処理する必要があるので、高速な品質分類手法を用いる。そこで、分類器と言語モデルを用いた学習に基づく手法を検証する。

## 3.1 分類器による分類

分類器では対象の Web 文書が高品質か低品質かの二値分類を行う。分類器として単層/多層パーセプトロンと $\mathrm{fastText}^{8}$ )を用いる。単層パーセプトロンと一層の隠れ層を持つ多層パーセプトロンは、分かち書きしたテキストから tf-idf の値をもとにしたべクトルを文書の特徴量として学習する。fastText では単語の one-hot 表現からニューラルモデルで分散表現を得て教師あり学習する。分類器の学習データセットとして、高品質な文書は現代日本語書き言葉均衡コーパス BCCWJ [9]、低品質な文書は CC から収集した日本語の Webコーパスとする。この Web コーパスは言語識別以外のフィルタリング処理をしていない。

## 3.2 言語モデルの Perplexity による分類

高速な言語モデルによる分類のために、小規模なニューラル言語モデル (Transformer) と N-gram 言語モデルを用いる。これらの言語モデルで Web 文書の Perplexity を計算し、その Perplexity の分布から閾値を決定し分類を行う。学習データセットとして BCCWJ を用いる。

## 4 検証実験

## 4.1 実験設定

フィルタリング性能の評価には、LLM 勉強会 (LLM-jp) が作成した Webコーパス品質評価ベンチマーク9)を用いる。これは日本語 $\mathrm{mC4}$ [10] の文書 500 件に人手で “accepted", "harmful”, "low quality" のラベルが付与されたデータセットである。このデータセットのラベル割合を表 1 に示す。本研究では “accepted”を高品質文書、“harmful” と “low quality”を低品質文書とする。

評価指標は、ベンチマークのテキストが高品質 (正例) か低品質 (負例) かの二値分類において、精度 (Accuracy)、適合率 (Precision)、再現率 (Recall)、検知力 (Detection-power)、F 值、ROC-AUC を用いる。検

8) https://fasttext.cc/

9) https://github.com/llm-jp/llm-jp-corpus/tree/main/ benchmark
表 1: 品質評価ベンチマークのラベル分布

知力は、負例である低品質文書を低品質であると分類できた割合である。ROC-AUC は、予測確率が得られる分類器においてのみ計算する。各手法の比較には主に再現率と検知力を用いる。再現率と検知力が両方とも高い手法が、高品質文書を取りこぼさず、多くの低品質文書を除去できるといえる。

単層/多層パーセプトロンは Python ライブラリ scikit-learn ${ }^{10)}$ を使用する。単層/多層パーセプトロンと fastText の学習には、BCCWJ (高品質文書) と日本語 Web コーパス (低品質文書) のうちそれぞれ 5,000 文書、計 10,000 文書を用い、ベンチマークの事例の推論結果を評価する。なお、単層パーセプトロンは出力結果が確率として得られないので、scikit-learn で確率較正する。

言語モデルは BCCWJ 全量のうち句点で終わる文のみを学習に用いる。推論時の Perplexity 分布から閾値を設定し、閾値前後でベンチマークの事例を分類、評価する。Transformer ベースの言語モデルは GPT-NeoX [11] で学習し、パラメータ数は 19M である。N-gram 言語モデルは KenLM [12]を用いて学習する。MeCab ${ }^{11)}$ で分かち書きした単位を 1-gram とし、2 から 5-gram の言語モデルを比較する。なお、予備実験として文字べースでも検証を行ったが、精度がより良かった分かち書き単位を採用する。

## 4.2 実験結果

品質評価ベンチマークでの評価結果を表 3 に示す。ただし、分類器は間値 (予測確率、probability) 以上の文書を、言語モデルは閾値 (Perplexity) 以下の文書を高品質とする。

分類器を用いた手法では ROC-AUC が 0.7 を超えるのは fastText と多層パーセプトロンである。特に、再現率 (Recall) と検知力 (Detection) では fastText の方が多層パーセプトロンよりもスコアが高く、フィルタリング能力が高い。さらに、3-gram 以上の言語モデルの性能は、fastText と比べて再現率が 3 ポイントしか変わらないにも関わらず、検知力が 17.6 ポイント高く、より多くの低品質の文書を除去できる。一方で、Transformer ベースの言語モデルは検知力が

10) https://scikit-learn.org/stable/

11) https://taku910.github.io/mecab/
0.165 と低く、低品質文書の 2 割も除去できない。 これは他のすべての手法より分類性能が低い。以上より、N-gram 言語モデルの Perplexityを用いた手法が最も良く、3-gramでも高い分類能力がある。Web 文書例と 3-gram 言語モデルによる Perplexity に関して定性評価した結果を付録 A に示す。

## 5 追加実験

追加実験として、フィルタリング後の Webコーパスによる BERT の事前学習および、日本語言語理解ベンチマーク JGLUE によるファインチューニングを行い、詳細な性能評価を行う。また、フィルタリング強度に応じて Web コーパスのトピックがどのような影響を受けるかを分析する。

## 5.1 JGLUE での下流タスク評価

ベンチマークでの検証結果より、3-gram 言語モデルの Perplexity に基づく分類手法がもっとも性能が高いため、これで学習コーパスを作成する。日本語 $\mathrm{mC4}$ データセットのサブセット約 850 万文書の Perplexity 分布を分析し、Perplexity 下位 $[25,50,75$, 100]\%のうちランダムに選ばれた文書から計 4 つのデータセットを作成する。データセットのサイズはそれぞれ BertJapaneseTokenizer ${ }^{12)}$ によるトークン分割で $2 \mathrm{~B}$ トークンである。4つのデータセットでパラメータ数 110M の BERT モデルを事前学習し、 JGLUE の各タスクで 3 回ずつファインチューニングし、スコアの平均を算出する。

実験結果評価結果を表 3 に示す。JGLUE のすべてのスコアにおいて一貫して優れたモデルはみられないが、最も強いフィルタリングである Perplexity 下位 $25 \%$ の平均スコアが低いため、下流タスクにおいてはフィルタリングが強すぎても性能向上につながらないことが分かる。また、フィルタリングなしの下位 $100 \%$ よりフィルタリングありの方がスコアが高いタスクがある。

## 5.2 Web コーパスのトピック分析

日本語 $\mathrm{mC} 4$ データセット中の 10 万文書に対して、Perplexity 下位 $[100,75,50,25] \%$ を基準にフィルタリングを強めていく過程で、文書のトピック割合変化を調べる。フィルタリング無しの 10 万文書を学習データとし、LDA [13] でトピックモデルを作

12) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking
表 2: Webコーパス品質評価ベンチマークにおける各フィルタリング手法の評価結果

表 3: フィルタリング強度が異なる BERT モデルの JGLUE 評価結果

成、Perplexity の閾値以下ごとの文書のトピック割合を算出する。トピックモデルの作成にあたり、デー タセットのテキストを形態素解析し、名詞のみを抜き出す。ここから数字や記号、アルファベット、日本語ストップワード13)を除去、さらに 3 割以上の文書に出現する高頻出単語を削除し、トピックモデルの学習に用いる。

実験結果 17 個のトピックが得られ、各トピックにおける頻出上位 30 語をもとに GPT-3.5 ${ }^{14}$ でトピック名をつけた。10万文書のトピック割合と N-gram 言語モデルの Perplexity によるフィルタリング強度の関係を図 1 に示す。「ファッションアイテムとショッピング」の文書割合がフィルタリング過程で 15.6\%から 1.3\%まで減少している。このトピックは “rakuten.co.jp” などの通販サイトの文書が多く含まれている。また、「ファッションアイテムとショッピング」の文書割合が減少する代わりに、「国際問題と経済活動」や「恋愛と人間関係」が 7 ポイント以上増加している。これらには主にニュース記事やブログ記事が含まれている。N-gram 言語モデルによって除去対象となる Web 文書のトピックには偏りがあることが分かる。さらなる分析として、 $\mathrm{N}$-gram 言語モデルの Perplexity によるフィルタリングと URL ドメインに基づくフィルタリングの関連

図 1: フィルタリング強度によるトピック割合性を付録 B に示す。

## 6 おわりに

本研究は、日本語 Webコーパスを機械学習に基づく手法で品質フィルタリングし、品質評価ベンチマークで性能比較を行った。結果として、N-gram 言語モデルの Perplexity を用いた分類手法が最も高精度であったが、フィルタリングが強すぎると下流タスクの性能低下につながることが分かった。今後はより大きなモデルでの下流タスク評価や、段落などの細かい単位でのフィルタリングを検討したい。

## 謝辞

Web コーパス品質評価ベンチマークを作成、公開した京都大学の清丸寛一氏および LLM-jp に感謝する。本研究の一部は JSPS 科研費 JP21H04901 の助成を受けて実施した。

## 参考文献

[1] Shayne Longpre, Gregory Yauney, Emily Reif, Katherine Lee, Adam Roberts, Barret Zoph, Denny Zhou, Jason Wei, Kevin Robinson, David Mimno, and Daphne Ippolito. A pretrainer's guide to training data: Measuring the effects of data age, domain coverage, quality, \& toxicity. 2023. abs/2305.13169.

[2] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Harkirat Singh Behl, Xin Wang, Sébastien Bubeck, Ronen Eldan, Adam Tauman Kalai, Yin Tat Lee, and Yuanzhi Li. Textbooks are all you need. 2023. abs/2306.11644.

[3] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacL-HLT, Vol. 1, p. 2, 2019.

[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[5] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An $800 \mathrm{gb}$ dataset of diverse text for language modeling. 2020. abs/2101.00027.

[6] Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, and Julien Launay. The refinedweb dataset for falcon $11 \mathrm{~m}$ : Outperforming curated corpora with web data, and web data only. 2023. abs/2306.01116.

[7] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. 2023. abs/2302.13971.

[8] Zhiqiang Shen, Tianhua Tao, Liqun Ma, Willie Neiswanger, Zhengzhong Liu, Hongyi Wang, Bowen Tan, Joel Hestness, Natalia Vassilieva, Daria Soboleva, and Eric Xing. Slimpajama-dc: Understanding data combinations for $11 \mathrm{~m}$ training, 2023. abs/2309.10818.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary writ- ten japanese. Language Resources and Evaluation, Vol. 48, No. 2, p. 345-371, December 2013.

[10] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-totext transformer. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[11] Alex Andonian, Quentin Anthony, Stella Biderman, Sid Black, Preetham Gali, Leo Gao, Eric Hallahan, Josh LevyKramer, Connor Leahy, Lucas Nestler, Kip Parker, Michael Pieler, Shivanshu Purohit, Tri Songz, Wang Phil, and Samuel Weinbach. GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch, 82021.

[12] Kenneth Heafield. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197, Edinburgh, Scotland, July 2011. Association for Computational Linguistics.

[13] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

図 2: ベンチマーク文書の Perplexity の例 (どちらも低品質文書、Perplexity の少数点以下は省略)

## A N-gram 言語モデルの定性評価

本実験のベンチマーク評価において、最も性能の良かった N-gram (3-gram) 言語モデルの Perplexity とその文書の例を図 2 に示す。図 2 上部の文書は、アルファベットや日付、記号などが多く含まれており、Perplexity が 253919 と高い。一方、下部の文書は、文脈は首尾一貫していないが、Perplexity は 377 と低く、一見日本語に見える文書は文脈が正しくなくとも高品質文書と判断される。これは他の分類例でも確認される。 $\mathrm{N}$-gram 言語モデルでは文脈レべルの品質評価を行うことは難しいことが分かる。

## B Web 文書の Perplexity と URL ド メインの関係

ルールに基づくフィルタリング手法には、特定の URL ドメイン以外の Web 文書を除去対象とする URL ドメインフィルタがある。LLM-jp の有効な URL(トップレベル) ドメインリスト ${ }^{15)}$ には ["biz", "cc", "com", "info", "jp", "me", "net", "org", "site", "tokyo", "tv", "work", "xyz"] があり、これら以外のドメインを持つ Web 文書は除去対象となる。日本語 $\mathrm{mC4}$ において、有効な URL または無効な

15) https://github.com/llm-jp/llm-jp-corpus/blob/main/ scripts/dict/ja_valid_domains.txt

図 3: URLドメインフィルタと Perplexity 分布

URL を持つそれぞれ 5 万文書の Perplexity 分布を図 3 に示す。

図 3 より、有効な URL の Perplexity 分布は 0 から 100,000 の間に集中している。一方で、無効な URL の Perplexity 分布は 0 から 100,000 だけでなく、 500,000 から 700,000 の Perplexity にも集中している。従って、有効な URL の Web 文書に比べ、無効なものは Perplexity が大きい傾向にあり、N-gram 言語モデルに基づくフィルタリングと、URL ドメインに基づくフィルタリングの除去対象には関連性があることが分かる。しかし、URL ドメインに基づくフィルタリングでは無効な URL として Perplexity の小さな高品質文書も同時に除去してしまう可能性がある。 この点において N-gram 言語モデルによるフィルタリングは優位である。ただし、日本語 $\mathrm{mC4}$ コーパスのサブセット 100 万文書のうち無効な URL の文書は約 7.7\%であり、コーパス全体に対して URL に基づくフィルタリングをかけるならば、高品質文書まで落としてしまう影響は小さい。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 新聞記事を対象とした Sentence BERT を用いた経済政策不確実性の 分類

桑名祥平 佐々木稔
茨城大学 理工学研究科 情報工学専攻
23nm717n@vc.ibaraki.ac.jp minoru.sasaki.01@vc.baraki.ac.jp

## 概要

本稿では, Sentence BERT のファインチューニングを用いて，経済政策不確実性に言及のある新聞記事を分類する手法の考案を行った．BERT や RoBERTa のファインチューニングを用いた従来手法のモデルと，本稿のモデルを $\mathrm{F}$ 値で比較することにより，提案手法の有効性を検証する.また，経済政策不確実性の有無に関するラベル付けを行う際,従来の単語マッチングによるラベル付けを行ったデ一タセットと，人手でラベル付けを行ったデータセットの両方を使用し, モデルへの影響度の検証を同時に行う。

## 1 はじめに

近年，新聞記事や SNS などのテキストデータを経済分野に応用寸る研究が行われている。本論文では, 2016 年に発表された経済指標の経済政策不確実性指数 [1] に着目する。経済政策不確実性 （EPU）とは, 特定の国や地域において, 将来の経済政策に関する不確実な事象や事例のことであり,これらの不確害性に言及した新聞記事から算出されるのが経済政策不確実性指数である。しかしながら，指標の算出で用いられる新聞記事の収集は人手で行われており，効率的な収集方法が求められる。 そこで本稿では, EPU に言及のある新聞記事を, 機械学習を用いて自動で分類する手法を提案する。

## 2 関連研究 - 関連手法

機械学習手法を用いて, 経済に関するテキストを分類する研究は多く行われてきた。関ら[2]は, 景気ウオッチャー調査 ${ }^{1}$ の五段階評価と回答理由の文

章を訓練データとして, 経済に関する文章を, BERT を用いて五段階に分類し，その数值を基に新たな経済指標を構築している. Godbole ら[3]は, 新聞記事に対して, 単語マッチングによる EPU のラベル付けを行ったデータセットを訓練データとして, BERT や RoBERTa, DistilBERT などの複数のモデルでファインチューニングを行うことで, 新聞記事の分類を行っている. Chen ら[4]は,EPU のラベル付けを行う際の単語マッチングによる指数への影響を考慮し,ニユーラルネットワークによるノイズ除去を行っている. Godbole らの結果を応用して, 新聞記事を類似度別に分割して作成したデータセットを用いた場合のモデルへの影響を調査した研究も過去に行った. 結果としては, ラベル間の類似度が高い場合は分類がうまくできず, 反対に類似度が低い場合は正しく分類できるということが分かった.しかしながら,デー タセットを作成する段階では, 経済政策不確実性に関する単語のキーワードマッチングによるラベル付けを行っていた。これは, 従来行われてきた手法であり，定量的なラベル付けであるものの，信憑性に欠けるという難点がある. 本稿では, 実際に新聞記事に目を通し，ラベル付けを行うことによるモデルの精度への影響を調査すると同時に, Sentence BERT を用いた分類手法を評価する。

## 3 提案手法

## 3.1 概要

本稿で提案する分類手法の概略図を図 1 に示す.

図 1 : 提案手法の概略図

具体的な処理の流れは, Sentence BERT をファインチューニングした後, Sentence BERT の出力層に分類する層を追加することにより, 入力された文新聞記事に対して経済政策不確実性に関する二值分類を行う.

## 3.2 データセット

本実験で使用した新聞記事は，マイクロソフトが提供している, 過去のマイクロソフトニュースのデ ータセットと, ロイター通信の新聞記事の二つを使用する.いずれも英字の新聞記事で, あらかじめ経済カテゴリの新聞記事のみを抽出している.ファインチューニングにおいて, 損失に Triplet Loss を用いるため, データセットでは, Anchor, Positive,

Negative からなる Triplet データを用意する必要がある. 正負合わせて 100 件を人手でラベル付けを行い，組み合わせを変えた Triplet データ約 5000 件をファインチューニング用に使用する.

## 3. 3 ラベル付け

ファインチューニングを行う際には, 教師ありデ ータが必要であるため, 新聞記事にラベル付けをする必要がある. Godbole ら[3]は, 経済に関する単語,政策に関する単語, 不確実性に関する単語それぞれ最低一単語が文章に含まれていた場合に, 不確実性ありの”1”，無い場合には”0"のラベルを振っている。 これらの単語が含まれていない場合でも, 経済政策不確実性に関係する新聞は多くあり, 単語のマッチ
ングでは抽出することができない. そこで, 人手でラベル付けを行うことにより，これらの可能性を排除している. 単語のマッチングによるラベル付けを行ったデータセットがどの程度正確なのかを調査するため, 人手でラベルを振りなおした時の件数を，以下の表 1 に示す.

表 1 : ラベルの件数

ラベルを振りなおした結果, 変更があったのは 100 件中 21 件であった. 単語のマッチングによるラベル付けは, 約 $80 \%$ の精度でラベル付けができているということが分かった.

## 3. 4 Sentence BERT

Sentence BERT[5](図 2)は, 2 つの文の埋め込み表現が同時に学習され,これによって文の意味的な関連性がより正確に捉えることができる.これにより,テキストの対比や意味の推論などのタスクで優れた性能を発揮することができ, 広く利用されている. 処理内容はシンプルで, ある文章と類似する文章を組として学習し, 似ている文章同士のべクトルは似たベクトルになるよう BERTをファインチューニングするものである. 前述のように, 本実験では, 損失に Triplet Loss を使用するものとする. Triplet Loss では, ある基準となる文章 Aを一つ選び, それに類似する文章 $\mathrm{P}$ と, そうでない文章 $\mathrm{N}$ 二つを組として，特徴量間の距離から損失を計算して学習する. 具体的には,アンカーとなる $\mathrm{P}$ の文章ベクトルは, $\mathrm{P}$ のベクトルに近づけ $\mathrm{N}$ のベクトルとは遠ざけるような処理が行われる.

図 2: Sentence BERT ${ }^{2}$

## 3.5 分類層

分類器では, ニューラルネットワークの機械学習モデルを使用する. SentenceBERTへの入力は新聞記事のテキストとなり, 出力はベクトルとなる. この出力をニューラルネットワークの分類器に接続し, 分類したいクラス分の次元を持つベクトル出力することにより, 分類を行う. 今回の場合は二値分類であるから, 入力層は 768 次元, 出力層は 2 次元となる. SentenceBERT から出力されるべクトルは, 各トークンのベクトルの平均値である MEAN, 各トークンのベクトルの最大値である MAX, 系列の最初にあたる[CLS]の三種類存在するが, 本実験では[CLS]を分類器への入力としている. 分類器の構成は, 合計入力層, 中間層(100 次元), 出力層の 3 層であり, 損失関数はクロスエントロピー損失を用いている. また, 中間層の活性化関数には Relu 関数, 出力層ではシグモイド関数を用いている.

## 4 実験

## 4. 1 実験設定

本実験で調查したいことは以下の二点である.

1. 従来の BERT や RoBERTa のファインチューニングしたモデルと, 本実験で使用する Sentence BERT のモデルのどちらが有効かを検証すること

2. 単語マッチングによるラベル付けを行ったデ一タセットと, 人手でラベル付けしたデータセットの両方を使用することで,有効なラベル付けの手法を模索すること

項目 2 を調査するにあたり,ファインチューニングに用いるデータセットを二種類用意する.一つは，従来の単語マッチングによるラベル付けを行ったデ一タセットであり, もう一つは今回新しく作成した人手でラベル付けを行ったデータセットである. Sentence BERT のファインチューニングのバッチサイズを 8 , エポック数を 5 としている. 分類層のニュ一ラルネットワークでは, エポック数は 50 , 学習率は 0.1 としている.

## 4. 2 評価方法

本実験では，実験結果を比較する指標として， テストデータの分類結果の正解率 (Accuracy),適合率(Precision), 再現率 (Recall), F 值を用いる.

## 5 実験結果

Sentence BERT のファイチューニングにおいて，人手でラベル付けしたデータセットを用いた場合と，従来の単語マッチングによるラベル付けをしたデー タセットを用いた場合の実駼結果を以下の表 1 に示す.また, 過去に行った BERTや RoBERTaなどのモデルを使用した場合の結果を比較として示す (F 値のみ).
^{2}$ https://arxiv.org/abs/1908.10084 より引用
}
表 1 : 実験結果

 &  & 適合率 & F 值 \\

実験結果から, 人手でラベル付けを行ったデータセットと, 単語のマッチングによるラベル付けを行ったデータセットでは, モデルの分類精度に大きな影響を与えることはないことが分かった. F 值にあまり差異は見られないものの, 正解率や再現率, 適合率で微妙な差がみられた.また, 今回の実験では,新たに SentenceBERT のファインチューニングを用いたモデルを使用したが，これまでのモデルと比較すると精度の良いモデルとは言えない結果となった。

## 5.1 考察

正しくラベルを振りなおしたデータセットを用いた場合と, 従来の単語マッチングによる $80 \%$ の精度でラベル付けを行ったデータセットでは，見かけ上，分類精度に大きな差は見られない。つまり， これまで誤ってラベル付けされていたデータで,正しく分類されていたと思われていたものが正しくラベル付けされたことで，これまで誤って分類されていた件数が減っていると考えることもできる. しかし，ラベル付けを行う時間とモデルの性能を考慮すると, 自動かつ定量的なラベル付けの単語マッチングの手法の精度も低いというわけではないことがわかる. 今回新たに，Sentence BERT のファインチューニングを用いたが，他のモデルの分類精度よりも低い結果となった。考えられる理由として，ファインチューニングに用いたデータセットの件数が少なく, 100 件の記事の組み合わせを変えただけであるため，似たような損失計算が行われてしまったものと思われる.

## 6 おわりに

本稿では, Sentence BERT のファインチューニングを用いて，経済政策不確実性に言及のある新聞記事を分類する手法の考案と, ラベル付けの手法
の違いによるモデルの精度への影響を調査した。 Sentence BERT のファインチューニングの有効性を示すような結果を得ることはできなかった。一方で，人手でラベル付けを行ったデータセットを用いることで，一定の有効性を示すことができた。今後の方針としては，ハイパーパラメータのチュ一ニングや，充実したデータセットの構築，損失関数の見直しなどによるモデルの改良に加えて，抽出した経済政策不確実性に関する新聞記事を使用し，経済指標を構築することをゴールに進めていく予定である.

## 参考文献

[1] Baker, S.R., Nicholas, B., Steven, J., \& Davis. (2016). Measuring economic policy uncertainty. Quarterly Journal of Economics, 131(4), 15931636.

[2] Seki, K., Ikuta, Y., \& Matsubayashi, Y. (2021). News-based Business Sentiment and its Properties as an Economic Index

[3] Godbole, S., Grubinska, K., \& Kelnreiter, O. (2020). Economic Uncertainty Identification Using Transformers - Improving Current Methods., Seminar Information System | WiSe 19/20.

[4] Chen, C, C., Huang, Y, L., \& Yang, F. (2023). Semantics matter: An empirical study on economic policy uncertainty index. In IREF.

[5] N. Reimers, I. Gurevych, "Sentence-BERT: Sentence Embeddings using Siamese BERT - Networks “, Proc. EMNLP 2019, pp. 3982-3992, 2019.


# 日本語タスクにおける LLM を用いた疑似学習データ生成の検討

藤井 巧朗 $^{1}$ 勝又 智 ${ }^{2}$
1 横浜国立大学大学院理工学府 2 株式会社レトリバ
tkr.fujii.ynu@gmail.com satoru.katsumata@retrieva.jp

## 概要

大規模言語モデル (LLM)を用いることで，学習データが少量の状況においても高い性能が期待できることが報告されている。しかし, LLMはパラメー 夕数が多いため, 推論コストが大きいという課題が存在する。そこで，本研究では 6 個の下流タスクにおいて，LLMから疑似学習データを生成し，そのデータで小規模モデルを学習する JapaGen が LLM にどの程度迫れるかを検証した. その結果，フォー マルなテキストを入力とする分類タスクで有効であることを明らかにした。

## 1 はじめに

近年，大規模言語モデル (Large Language Model; LLM) に関する研究が盛んに行われている. Brown ら [1] は GPT-3を開発し，LLMにタスクの説明文と数件の教師データを入力することで，LLM のパラメータ更新を行うことなく高い精度を達成した. 日本語においても, 同様に高い性能を達成できる場合もあることが報告されている1).

このようにLLM は従来の機械学習モデルと比べて優れた特徴を持つ一方で，パラメータ数が多く，推論時には GPU リソースの制約などの運用コストが高い. この課題に対する研究として, LLMに疑似学習データを生成させ，そのデータを用いて小規模モデルを学習させるもの (広義の知識蒸留と呼称) が存在する．Yeら [2] は英語の様々なタスクに対し $\tau$, GPT-2 XL [3] を利用した Nucleus sampling [4] による多様な疑似データを作成した. その疑似データで DistilBERT [5]を訓練することで， GPT-2 XL より優れた性能となることを報告した. その後, より精巧な疑似データを生成するための研究 $[6,7,8,9]$ や,生成した疑似データによる小規模モデルの学習が有効なタスクを分析した研究 [10] などが存在するが，

日本語での検証は我々の知る限り存在しない.本研究では日本語の複数のタスクについて, GPT-3.5を利用した疑似データ生成による広義の知識蒸留 (JapaGen と呼称) を検証した. 具体的には, JGLUE 中の分類タスクとJSTS，ニューストピック分類，SNS テキスト分類について検証を実施した.検証として, Ye ら [2]のような Decoding 戦略による多様な疑似データ生成を試みたが，多様な疑似デー タの生成は困難であることがわかった.

そこで，本研究ではタスク知識を利用した疑似データ生成手法 Knowledge-Assisted Data Generation (KADG)を提案する.この手法は Ye ら [2]のように Decoding 戦略に依存せず，LLMへの入力にタスク知識を導入することで多様なテキストを生成する。

貢献. 本研究では，(1) 日本語タスクにおいて， LLM を用いた疑似データ生成による広義の知識蒸留 JapaGenを検証した。(2) さらに，多様な疑似デー タ生成を行うためにタスク知識を Prompt に含めるKADGを提案した。(3) 実験の結果，JapaGen はフォーマルなテキストを入力とするタスクにおいて Zero-Shot Prompting や Few-Shot $の$ 性能を上回った. (4) KADG によって疑似データの多様性が向上し, 教師データ (Gold) の分布に近づいたが，必ずしも下流タスク性能が向上するとは限らないことが分かった.

## 2 LLM を用いた従来の推論

LLM は従来の機械学習モデルと比べて, 少量の学習データでも高い性能を発揮することが知られている. Brown ら [1] は大量のテキストデータで学習された LLM (GPT-3) を作成し，このモデルにタスクの説明文と数件の教師データのみを入力することで,高い性能を達成した。この入力というのは，LLM のパラメータ更新は行わず，LLMがテキストを生成する際の条件部として入力すること (Prompting) を指しており，この入力に対する出力テキスト Predict

の確率分布は下記のように表現できる.

$
\text { Predict } \sim \operatorname{Prob}_{\text {LLM }}(\cdot \mid \text { Prompt })
$

Prompt が LLM に入力するテキストである.また，彼らは Prompt に入力する教師データの件数をもとに，数件であれば Few-Shot，一件も含まず，タスクの説明文のみを入力する際は Zero-Shot と呼称した.本研究でも同様に使用する教師データの件数をもとに Zero/Few-Shot の区別を行う．Zero/Few-Shot の利点は，学習データの効率化に加え，学習データの収集コストを下げることにも繋がる。一方で，LLM はパラメータ数が多いため, 推論時の運用コストが大きくなる. 本研究では Zero-Shot と同様の教師データ件数を利用しつつ，推論コストを下げるために，LLM から疑似データを生成し，そのデータを用いて小規模モデルを学習することを検討する。

## 3 疑似データを用いた推論

$\mathrm{Ye}$ ら [2] は簡潔なタスクとラベルの説明文を LLM に入力することで，Zero-Shot 設定での疑似データ生成を実施した. 本研究でも，同様の入力を日本語夕スクに向けて作成し，疑似データ生成を行った.

## 3.1 Zero-Shot 疑似データ生成

本研究では，単一テキスト分類タスクまたは 2 文間の関係性推定タスクについて LLM を用いた疑似データ生成 JapaGenを行った。

単一テキスト分類タスク. あるクラス $y_{c} \in$ $Y ;|Y|=C$ に対応する疑似データ $\tilde{D}_{y_{c}}=\left.\{\left(\tilde{x}_{c, j}, y_{c}\right)\right.\}_{j=1}^{M}$ をLLMを用いて作成する。ただし， $M$ はラベルあたりの疑似データ数を指す.この疑似データテキスト $\tilde{x}_{c, j}$ は次式 (2)により生成する。

$
\tilde{x}_{c, j} \sim \operatorname{Prob}_{\mathrm{LLM}}\left(\cdot \mid \mathrm{T}\left(\text { task, } y_{c}\right)\right)
$

ただし, $\mathrm{T}\left(\right.$ task, $y_{c}$ ) はタスク task とクラス $y_{c}$ に関して説明を行う Prompt を作成する関数である。他のクラスも同様に疑似データを作成し，疑似データセット $\tilde{D}=\left[\tilde{D}_{y_{1}}, \tilde{D}_{y_{2}}, \ldots, \tilde{D}_{y_{C}}\right]$ を作成する.

2 文間の関係推定タスク. 最初に, 1 文目 $\tilde{x}_{c, j}^{1}$ を前述した 1 文入力と同様に生成する.

$
\tilde{x}_{c, j}^{1} \sim \operatorname{Prob}_{\mathrm{LLM}}(\cdot \mid \mathrm{T}(\text { task }))
$

ただし， $\mathrm{T}($ task) ではクラスは使用せず，タスク task のみから Prompt を作成している. 2 文目 $\tilde{x}_{c, j}^{2}$ は，先ほどの入出力 $\mathrm{T}(\mathrm{task})$ および $\tilde{x}_{c, j}^{1}$ を LLM に入力して作成する.

$
\tilde{x}_{c, j}^{2} \sim \operatorname{Prob}_{\mathrm{LLM}}\left(\cdot \mid \mathrm{T}(\operatorname{task}), \mathrm{T}\left(\operatorname{task}, \tilde{x}_{c, j}^{1}, y_{c}\right)\right)
$

ただし, $\mathrm{T}\left(\mathrm{task}, \tilde{x}_{c, j}^{1}, y_{c}\right)$ は 1 回目で生成されたテキストとクラスの説明文に基づいて Prompt を作成する. このように，クラス $y_{c}$ に関する $M$ 個のデータ $\tilde{D}_{y_{c}}=\left.\{\left(\tilde{x}_{c, j}^{1}, \tilde{x}_{c, j}^{2}, y_{c}\right)\right.\}_{j=1}^{M}$ を作成する. これを全クラスに実施し，疑似データセット $\tilde{D}$ を作成する。

## 3.2 多様な疑似データ生成

前述の疑似データ生成手法は式 (1) に基づいて， Top-p などの生成パラメータによって調整した分布から生成している．我々の事前実験では，Ye ら [2] と同様の方法で多様な日本語テキストの生成を試みたが，いくつかのタスクで類似したテキストが多く生成された (\$4.2). そこで，本研究ではタスクの知識を Prompt に含めることによって多様なテキストの生成を試みる。

タスクごとにそのタスクに関する内容語集合 $E_{\text {task }}$ を人手で作成し，その中から内容語 $d \in E_{\text {task }}$ をランダムに選択して Promptを作成する。

$
\begin{aligned}
& d \sim E_{\text {task }} \\
& \tilde{x}_{c, j} \sim \operatorname{Prob} \\
& \text { LLM }\left(\cdot \mid \mathrm{T}\left(\text { task, } y_{c}, d\right)\right)
\end{aligned}
$

$\mathrm{T}\left(\right.$ task $\left., y_{c}, d\right)$ はタスク task の説明文と，クラス $y_{c}$ の説明文，内容語 $d$ に関連する Prompt を生成している.この処理を $\$ 3.1$ と同様に全てのクラスに対して実施し，疑似データセット $\tilde{D}$ を作成する。内容語を考慮した疑似データ生成方法を Knowledge-Assisted Data Generation (KADG) と呼ぶ. KADG は教師デー タを使用しないという点では Zero-Shot と見なすこともできるが，タスク知識を利用しているため，これまでの Zero-Shot と同一と述べるのは適当ではないと考える. そこで本研究では Zero-Shot に対して KADG を適応した場合の問題設定をZero-Shot* と呼称し，Zero-Shot と区別する。

## 4 実験

本研究では様々な日本語タスクで，広義の知識蒸留が LLM の Zero-Shot Prompting や Few-Shot 手法にどの程度迫るか検証する。

比較手法. LLM を用いた疑似データ生成手法として，§3で述べた Zero-Shot および Zero-Shot*の 2 手法を比較する．また，§2で述べた Zero-Shot および Few-Shot での Prompting 及び，Few-Shot データのみで学習したモデルの結果を比較する。限値とし
表 16 個の日本語タスクにおける各手法の性能比較. 各値は 5 シード値の平均 (標準偏差)を表す.

 &  &  &  &  &  & Avg. \\

て各データセット内の Gold データをそのまま利用した場合 (Fully Supervised) との比較も行う.

実験データ．JGLUE[11]のうちMARC-ja, JSTS, JNLIおよびJCoLAの４タスクを用いた。また，多様なドメインで評価を行うため，トピック分類タスク (News) および SNS における事実性分類 (COVID-19) を用いた22). JGLUE は test セットが公開されていないため, train セットを 8:2 に分割して学習し, dev セットを test セットとして評価を行った。

実装. LLM は gpt-3.5-turbo-0613を使用し， Fine-Tuning 時は，モデルに日本語 BERTを用いた.疑似データ生成におけるパラメータおよび各タスクにおける学習パラメータは付録 $\S$ A. 3 に示す. また, Fine-Tuning に関しては 5 回シード値を変えて実施しており，実験結果はその平均を報告している。

## 4.1 広義の知識蒸留に関する結果

各手法における下流タスク性能を表 1 亿示す.

Zero-Shot での比較. JapaGen は Prompting の性能を JSTS，JNLI および Newsの 3 タスクで上回り， MARC-ja，JCoLA および COVID-19の3 タスクで下回った. 前者 3 タスクのテキストはフォーマルである一方，後者 3 タスクのうち MARC-ja と COVID-19 はインフォーマルであるという特徴がある3).また，JCoLA はタスクの性質上，文法的に誤ったテキストを生成する必要があるが，そのような Prompt 設計は困難であった. 以上より, Zero-Shot 設定において JapaGen はフォーマルなテキストを入力とするタスクで有効であることが示唆される.

JapaGen で用いた BERT モデルは約 110M であるにもかかわらず4)，全タスク平均において，JapaGen

2） タスクの詳細は付録 $\S$ A. 1 に，各タスクの評価指標は $\S A .2$ に記載。また，KADG に関しては MARC-ja，JSTS および JNLIに対して実施した.

3）テキストスタイルにおいてフォーマルかどうかを表す。

4） gpt-3.5-turboのパラメータ数は公開されていないが，公開されている LLM は数数百 B のモデルサイズである.
は Prompting と比較してわずか 3.43 しか下回らない.したがって，モデルサイズと性能のトレードオフを考慮すると，JapaGen は効果的であると言える。

Few-Shot との比較. JapaGen は Few-Shot FineTuning と比較して，全タスク平均で 24.37 ポイントも上回り，各タスクでは COVID-19 以外の 5 タスクで上回った。これは，同じモデルサイズである場合，JapaGen (Zero-Shot) は Few-Shot の性能を大きく上回ることを意味する. Few-Shot Prompting との比較では，JapaGen は JNLI および News の 2 タスクで性能を上回る。この 2 タスクは Zero-Shot Prompting での結果と一致する. JSTS で性能が下回ったのは,類似度のみから疑似データを生成するのは困難であるためだと考えられる。具体的には，疑似データ生成時に付与するクラスは $\{0 ., 1 ., 2 ., 3.4 ., 5$.$\} の 5$ 個としたが，実際には 2 文の類似度は $0 . \sim 5$. の実数値であり，小数点以下の類似性を正確に表現できない。以上から, Zero-Shot JapaGen はフォーマルなテキストの分類タスクにおいて効果的である。これらのタスクでは，モデルサイズが大きく， Gold データ数も多い Few-Shot Prompting をも上回った.

Fully Supervised との比較. JapaGen で生成した疑似データは Gold データと同程度かそれ以上のデータサイズなのにもかかわらず，JapaGen は全 6 タスクで Fullly Supervised の性能を大きく下回った.これは LLMにより生成した疑似データの分布は Gold の分布と大きく異なることを示唆する．次節で Gold と疑似データの分布について分析する.

KADG における性能. KADG は MARC-jaのみ JapaGen の性能を上回った. 次節でこの分析を行う.

## 4.2 分析

出現トークン数分布. Gold および疑似テキストの出現トークンとその出現数のヒストグラム分布を図 1 に示す。また，両ヒストグラムの重複度を表

図 1 Gold と疑似データにおける出現トークンと出現数の分布. Jaccard 係数はヒストグラムの一致度を示し，値が高いほど一致することを示す. ヒストグラムには 500 回以上出現するトークンを表示した。*は KADGを表す.

表 2 各種データの多様性. 値は小さい方が多様である. MAR. は MARC-ja，COV. は COVID-19を指す.

す重み付き Jaccard 係数 [12] も算出した.

全タスクに共通して疑似データにのみ出現するトークンが多く存在することが分かる. News は他タスクと比較して Jaccard 係数が小さいのにもかかわらず JapaGen が Few-Shot の性能を上回ることから, Gold と疑似データの分布の一致は下流タスク性能の十分条件にすぎないと言える。また，KADG によって Jaccard 係数は増加したことから，KADG は疑似データを Gold 分布に近づけるのに有効である.

多様性分析. Gold と疑似データの多様性を分析する。多様性の測定には Self-BLEU (cf. §A.5) [13] を用いた. Self-BLEU は值が小さいほど多様であることを示す指標である．結果を表 2 に示す。

表 2 より, MARC-ja と COVID-19 の 2 タスクで, JapaGen の多様性は約 $1 / 2$ も低い. 一方, JSTS, JNLI, JCoLA および News では，疑似データは Gold デー 夕に近い多様性を保持している. 次に, JapaGen と KADG の比較を行う. MARC-ja のみ KADG の多様性が JapaGen を上回る. 表 1 の結果と合わせると， KADG による多様化が MARC-ja の精度向上に寄与していると考えられる. Ye ら [2] は多様性を上げるとラベル正確性が低下し，下流タスク性能を悪化させてしまうと報告しているが，KADG で作成した疑似データのラベル正確性を確認したところ，この正

図 2 データ数に対する下流タスク性能の推移.

確性を低下させることなく多様性を向上させていることがわかった (§A.6). 以上から，KADGによって多様性を増加する場合と多様性を制限してしまう場合があるが，ラベル正確性は維持できるため， KADG はその前者の場合に有効であると言える。

データ数のスケーリング. 疑似データ数による下流タスク性能の推移を図 2 に示す. データ数は $\{100,500,1000,5000\}$ である. データ数に対して多くの下流タスク性能は増加傾向にある。

## 5 おわりに

本研究では，LLMによって生成した疑似データで学習した小規模モデルが 6 個の日本語タスクにおいて LLM にどれだけ迫るかを検証した。その結果， フォーマルなテキストを入力とする分類タスクにおいて，Zero-Shot および Few-Shot Prompting を上回った. また，タスク知識を Prompt に導入する KADG を提案し，疑似データが Gold データの分布に近づき，MARC-ja で多様性と性能が向上した.

限界. 本研究では簡潔な Prompt を用いたが, Prompt 設計により精度向上が期待される。また，疑似データ生成に gpt-3.5-turbo より高性能な LLM を使用することも精度向上に繋がると考えられる。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[2] Jiacheng Ye, Jiahui Gao, Qintong Li, Hang Xu, Jiangtao Feng, Zhiyong Wu, Tao Yu, and Lingpeng Kong. ZeroGen: Efficient zero-shot learning via dataset generation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

[3] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[4] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.

[5] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[6] Jiacheng Ye, Jiahui Gao, Zhiyong Wu, Jiangtao Feng, Tao Yu, and Lingpeng Kong. ProGen: Progressive zeroshot dataset generation via in-context feedback. In Findings of the Association for Computational Linguistics: EMNLP 2022, 2022.

[7] Himanshu Gupta, Kevin Scaria, Ujjwala Anantheswaran, Shreyas Verma, Mihir Parmar, Saurabh Arjun Sawant, Swaroop Mishra, and Chitta Baral. TarGEN: Targeted data generation with large language models. arXiv preprint arXiv:2310.17876, 2023

[8] Yue Yu, Yuchen Zhuang, Jieyu Zhang, Yu Meng, Alexander Ratner, Ranjay Krishna, Jiaming Shen, and Chao Zhang. Large language model as attributed training data generator: A tale of diversity and bias. In Thirty-Seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2023.

[9] John Chung, Ece Kamar, and Saleema Amershi. Increasing diversity while maintaining accuracy: Text data generation with large language models and human interventions. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2023.

[10] Zhuoyan Li, Hangxiao Zhu, Zhuoran Lu, and Ming Yin. Synthetic data generation with large language models for text classification: Potential and limitations. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023.

[11] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2022.

[12] Yue Yu, Yuchen Zhuang, Rongzhi Zhang, Yu Meng, Jiaming Shen, and Chao Zhang. ReGen: Zero-shot text classification via training data generation with progressive dense retrieval. In Findings of the Association for Computational Linguistics: ACL 2023, 2023.

[13] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st international ACM SIGIR conference on research \& development in information retrieval, 2018.

[14] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002.

## A 付録

## A. 1 データセット・タスク

MARC-ja. 商品レビューに対してポジティブかネガティブかを分類.

JNLI / JSTS. JNLI は 2 文の含意関係 (含意/矛盾 / 中立) を, JSTS は 2 文の類似度を 0. 5. で推定.

JCoLA. 文が統語的に正しいかを判定.

COVID-19.COVID-19 に関するツイートの事実性 (一般事実 / 個人事実 / 意見 / 感想) を推定 ${ }^{5}$.

News. Livedoor News のニュース記事を 9 個のカテゴリ (トピック / Sports Watch / IT ライフハック / 家電チャンネル / MOVIE ENTER / 独女通信 / エスマックス / livedoor HOMME / Peachy) に分類6).

## A. 2 評価指標

Accuracy. 全推論結果のうち正解した割合.

Pearson. 予測値と正解の線形相関係数.

Spearman. 予測値と正解の順位情報のみに基づく相関係数.

Matthews Correlation Coefficient. クラス不均衡を考慮した分類性能の指標.

## A. 3 実装

Pytorch ${ }^{7)}$ および transformers ${ }^{8}$ を用いて実装した. Few-Shot 設定において，Prompting では各クラス 1 件ずつ, Fine-Tuning では各クラス 5 件ずつランダムにサンプリングして用いた。

疑似データ生成のパラメータ. 生成パラメー 夕は，max_tokensを 500，top-pを 1.0，temperature を 1.2, frequency penaltyを 0.02 として, 一度に 5 件のデータを生成した. また，疑似データ生成数 $M$ は各クラス 25,000 件行った. ただし，実数値を推定する JSTS は $\{0 ., 1 ., 2 ., 3 ., 4 ., 5$.$\} の 6$ 個をクラスとして疑似データ生成を行った。

下流タスクの学習パラメータ. 実験は NVIDIA TITAN RTX GPU (24GB) 上で行った. Fine-Tuning 時の日本語 BERT モデルとして cl-tohoku/bert-base-japanese-v3を用いた. 下流タスクにおける学習パラメータを表 3 に示す. ただ

し，各値は [11]を参考にした。また，各タスクにおける最大入力トークン長を表 4 亿示す.

表 3 学習パラメータ. opt. は最適化手法, $b s$ はバッチサイズ, $l r$ は学習率, $e p$ は学習エポック数, warmup は warmup ratio，smooth は label smooth の温度を指す.

表 4 各タスクにおける最大入力トークン長.

## A. 4 Prompt

各タスクに用いた Prompt は https://github.com/ retrieva/JapaGen を参照.

## A. 5 Self-BLEU

§4.2 の多様性分析で用いた Self-BLEU の算出方法について説明する．まず，データセット内の 1 つのテキストについて，それ以外のテキストをリファレンスとした BLEU スコア [14]を算出する。 そして， データセット内の全テキストに対して BLEU スコアを算出し，その平均がデータセットの Self-BLEU である. Self-BLEU は表層的な一致度合いを計測する指標であり，低いほど多様性が高いことを表す.

## A. 6 ラベル正確性に関する分析

生成した疑似データにおけるラベルの正確性を分析する. 正確性の測定は, [2] に基づいて実施し, Goldを学習データ，Gold，JapaGen および KADG のデータを評価データとした場合の性能を正確性とする．各タスクにおけるラベル正確性の結果を表 5 に示す. 表 2 と合わせて, KADG は JapaGen と同程度かそれ以上のラベル正確性を維持したまま，疑似データの多様性を向上させることができる.

表 5 各種データの正確性. JSTS を除き, 值が高い方が正確である。JSTS のみ，教師ラベルとの平均二乗誤差を記載.


# ニュースソースの違いによるフェイクニュース検出と問題点

岸祐輝 1 中川翼 2 彌冨仁 ${ }^{1,2}$
1 法政大学理工学部応用情報工学科 2 法政大学理工学研究科応用情報工学科専攻
\{yuki.kishi.4z, tsubasa.nakagawa.5p\}@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

フェイクニュースを見破るのは難しい問題であり，機械学習技術を用いた検出が試みられている。 しかし学習モデルが未来のニュースに対して適応できず適切な検出ができない点が懸念される. 本研究では，機械学習モデルが学習した記事に対し，解析対象とするニュースの配信時期の違いや，ニュー スソースが既知であるか否かの違い, タイトルや本文などの解析対象が検出精度にどの程度の影響があるかの検証を 100 万以上を収録する大規模な NELA-GT データセットを用いて解析した. 未知のニュースソースに対する検出精度が著しく低下すること，データセットに由来する制限はあるが，著者と本文を組み合わせるのが特に有効だと分かった。

## 1 はじめに

インターネットやSNS の普及した現代において，誤った情報や誤解を招くフェイクニュースは重要な問題の 1 つであるが，一見して見破るのは難しい.最近では COVID-19 の流行により嘘やデマが大量に発信されてしまい，虚偽の情報を否定するために国によって対応せざるを得なくなった [1]. ニュースが信頼に足りうるか判断するには，様々な情報を入手して多角的に判断する必要があるが，各情報源を精查するには時間がかかるため，自動でフェイクニュースを検知する仕組みが求められている。

フェイクニュースによる混乱を防ぐことを目的とした機械学習技術を用いたフェイクニュース検出の研究が行われている $[2,3]$. 一般的に, モデルには記事本文やタイトル等ニュース記事に関する情報が入力され，それが本物か偽物かを分類するタスクとして定義される. 様々なデータセットが公開され，例えば，主に政治や社会に関する主張や発言を収集したデータセットである LIAR [4] や，2016 年の米国選挙に近い9月の平日 7 日間に Facebook より投稿されたニュース記事とそれに対するコメン
トや反応を収集した BuzzFace [5]，複数のニュースソース（会社などの組織名）から 1 年間かけて収集した NELA-GT [6, 7] データセット等は，この分野の研究で利用されている.

しかし，機械学習を用いたフェイクニュースの自動検出には, 未来の出来事に対して検出能が低下する問題が指摘されている $[8,9]$. これは時間の経過によるニューストピックや語彙の変化に起因しており, 対応が難しい課題となっている. そのため, 本質的に頑健なフェイクニュース検出モデルを構築するためには，多岐にわたる記事とそれに対するラべル情報を元に，適切な解析が必要になる. LIAR や BuzzFace 等のデータセットは，記事データ量の少なさ，特定トピックへの限定，収集期間の短さなどが課題である.

本研究では，既知のニュースで学習したモデルが未来のニュースに対して一般化しない可能性について, 収集時期の異なる 100 万件を超える大規模なフェイクニュースデータセット NELA-GT-2019 [6] と NELA-GT-2020 [7] を用いて, ニュースの配信時期による影響を検証した。また，ニュースソースが既知であるか否かの違い，タイトルや本文のような要素ごとの違いがどのような影響を与えているかについても検証した.

## 2 方法

NELA-GT-2019を既知のニュース，NELA-GT-2020 を未来のニュースとしてニュースの真偽の 2 值分類の分類能の評価を行った. 比較実験には，ニュースの配信時期の違い，ニュースソースの違いによって 4 パターンのテストデータを用意し, 各パターンに対して記事データの要素を用いた 7 つの組み合わせで検証した。

## 2.1 データセット

NELA-GT-2019 は 2019 年に 261 のニュースソースから収集された約 118 万件，NELA-GT-2020 は 2020
表 1 記事データの要素

表 2 記事データの例

年に 519 のニュースソースから収集された約 178 万件の記事データでそれぞれ構成されている。ニュー スソースには，0-Reliable，1-Mixed, 2-Unreliable の 3 種類のいずれかのラベルが付与され，ラベルが付けられていないソースも存在している．各ソースには複数の記事データが含まれており，各記事デー タは表 1 に示す 10 種類の要素で構成されている. NELA-GT データセットは，記事そのものにはラベルが付いていないため，実験にはこのデータセットを用いた他の先行研究 $[2,9]$ と同様，記事が属しているソースのラベルを使用した. よって，同じソー スに属している記事はすべて同じラベルを持つことになる.

これらのデータの内，ラベルが Mixed であるものとラベルが付いていないもの，記事の content が保持されていないものを本研究の解析対象から除外した. これらの条件に沿って選定したデータの内， NELA-GT につけられているラベルが本来ソースレベルであることから，NELA-GT-2019 のデータセッ

表 4 評価に用いるデータの数

トをソースを基に $8: 2$ に分割し，8 割を学習データ， 2 割をテストデータとした. この 8 割の学習データを今後行う 4 つの実験パターンに共通して使用する. NELA-GT-2020 は学習で使用せず，全てテストデータとして利用した. 学習に用いるデータの数を表 3 に，評価に用いるデータの数を表 4 に示す.

## 2.2 学習と評価のパターン

フェイクニュースの検出には BERT [10] を用いた. 損失関数には交差エントロピー誤差，最適化手法には Adam [11] を使用し，学習率は $1.0 \times 10^{-5}$, バッチサイズは 16 , エポック数は 5 に設定した. フェイクニュースの検出能の比較において，以下 4 つのパターンのテストデータに対して評価を行った.

A) NELA-GT-2019の学習に用いていないデータ (現在の未知のソース)

B) NELA-GT-2020 のデータ全て（未来の記事）

C) NELA-GT-2020のうち，学習データに含まれていたニュースソースを除外したデータ（未来の未知のソース)

D) NELA-GT-2020のうち，学習データに含まれていたニュースソースのデータ (未来の既知のソース)

ここで，記事データのうちフェイクニュースの検出に効果的な要素を議論するため，それぞれの条件において，モデルが用いる情報として以下の 7 種の条件 ( $「$ content $\lrcorner$, 「 title $\lrcorner$, 「 title + content $\lrcorner$, $\lceil$ author + content $\lrcorner, \quad$ published_utc + content $\lrcorner,\lceil\mathrm{TAP}+$ content $\lrcorner, 「 F U L L 」$ ) で評価を行った. TAP は title, author，published_utcを1つの文として連結したものであり, FULL は title, author, published_utc, content を 1 つの文として連結したものである. 各モデルのフェイクニュース検出能は, accuracy, precision,
表 5 A パターン：NELA-GT-2019 の学習に用いていないデータ（現在の未知のソース）で評価した結果

表 6 B パターン：NELA-GT-2020 のデータ全て（未来の記事) で評価した結果

recall，F1 スコアで評価した.

## 3 結果と考察

## 3.1 時期とソースの違いによるスコア差

実験結果を表 5 から表 8 に示す. A パターン（現在, 未知ソース) と B パターン（未来，全ソース） を比較すると未来の記事である B パターンのスコアが 20-30 ポイントほど大きく低下した. 1 年違いのニュース記事でも未来のニュースを予測するのは困難になる結果が得られた. C パターン（未来，未知ソース）は 2 值分類であるのにほとんどの組み合わせで $F 1=0.5$ を切っていることから，学習モデルは未来の未知ソースより配信されたニュースの真偽を判別できていない。一方で，D パターン（未来，既知ソース）は他のパターンを比べて時期によるスコアの減少は少ない.このことから， B パターンや $\mathrm{C}$ パターンでスコアが減少する主な原因はニュースソースの違いによるものであり, 現状のモデルでは未来の未知のソースに関しては対応できないと言える.ただしデータセットが記事に対してではなくニュースソースに対してラベル情報が付与されている制約も大きいと考えられる。表 7 C パターン：NELA-GT-2020 のうち，学習データに含まれていたニュースソースを除外したデータ（未来の未知のソース) で評価した結果

表 8 D パターン：NELA-GT-2020 のうち, 学習データに含まれていたニュースソースのデータ（未来の既知のソース) で評価した結果

## 3.2 利用する情報による予測能

先述の通り，現状のモデルでは未来の未知ソースには対応できず，性能を大きく落としてしまうため, 未来の未知ソースが含まれている B パターンと $\mathrm{C}$ パターンでは，どの要素がフェイクニュースの検出に有効か比較することはできない，そこで，未来の未知ソースが含まれていない D パターン（未来，既知ソース）の各要素で学習したモデルの結果を比較することで，どの要素がフェイクニュースの検出に有効か検証する.

図 1 に D パターンの各組み合わせの ROC 曲線と AUC を示す. 表 8 では content のスコアとあまり変わりのない title + content や published_utc + content $も$ AUC のスコアでは上回っていることから，ニュースのタイトルや出版日はフェイクニュースを検出する上で有効な情報であると言える．特に，すべての情報を組み合わせている TAP + content と FULL と共に, author + content が近い AUC のスコアになっていることから，ニュースの著者情報は最も有力であると言える。著者と記事本文を組み合わせるとモデル性能が向上するのは，信頼できるニュースを配信し続ける著者は基本的に同じ人物であること，信頼で

図 $1 \mathrm{D}$ パターン（未来の既知ソース）の各組み合わせの ROC 曲線と AUC

きない著者はデマや嘘を配信し続けたり，ニュースの配信が初めてで信頼できるか判別しづらいといった特徴を見分けられていることが理由として考えられる。

## 4 おわりに

ニュースソースにラベルが付与されている NELA-GT データセットを用いた検証により，既知のニュースソースに対してはフェイクニュースに対して一定の検出能を実現したが，未知のソースに対しては検出ができなかった. また，ニュース本文単体で推定するより他の情報を組み合わせることでフェイクニュースの検出能が増加し, 特に著者に関する情報が有効であった.

今回使用した NELA-GT はニュース記事に対してラベルが付けられておらず，ニュース記事の属するソースのラベルで代用して学習を行った. しかし， これはニュース記事そのものの信頼性を保証するものではないため，ニュース記事レベルで信頼性の高いデータを扱えることが望ましい. 今後の展望として，ニュース記事レベルの信頼性を補強する手法を探すと同時に，今回の title や content といったニュー スを構成する要素とは別に，コメントや賛成票といったニュースに対する人々の反応や評価といった情報であるソーシャルコンテキストを用いて，未来のニュースに対して効果の高い手法を模索する.

## 参考文献

[1] Usha M. Rodrigues and Jian Xu. Regulation of COVID-19 Fake News Infodemic in China And India. Media International Australia, Vol. 177, pp. 125 - 131, 2020.

[2] Özlem Özgöbek, Benjamin Kille, Anja Rosvold From, and Ingvild Unander Netland. Fake News Detection by Weakly Supervised Learning Based on Content Features. In Evi Zouganeli, Anis Yazidi, Gustavo Mello, and Pedro Lind, editors, Nordic Artificial Intelligence Research and Development, pp. 52-64, Cham, 2022. Springer International Publishing.

[3] Rohit Kumar Kaliyar, Anurag Goswami, and Pratik Narang. FakeBERT: Fake News Detection in Social Media with A BERT-based Deep Learning Approach. Multimedia tools and applications, Vol. 80, No. 8, pp. 1176511788, 2021.

[4] William Yang Wang. "Liar, Liar Pants on Fir": A New Benchmark Dataset for Fake News Detection. In Annual Meeting of the Association for Computational Linguistics, 2017.

[5] Giovanni Santia and Jake Williams. Buzzface: A News Veracity Dataset with Facebook User Commentary And Egos. In Proceedings of the international AAAI conference on web and social media, Vol. 12, pp. 531-540, 2018.

[6] Maurício Gruppi, Benjamin D. Horne, and Sibel Adali. NELA-GT-2019: A Large Multi-labelled News Dataset for The Study of Misinformation in News Articles. CoRR, Vol. abs/2003.08444, , 2020.

[7] Maurício Gruppi, Benjamin D. Horne, and Sibel Adali. NELA-GT-2020: A Large Multi-labelled News Dataset for The Study of Misinformation in News Articles. CoRR, Vol. abs/2102.04567, , 2021.

[8] Sonia Castelo, Thais Almeida, Anas Elghafari, Aécio Santos, Kien Pham, Eduardo Nakamura, and Juliana Freire. A Topic-agnostic Approach for Identifying Fake News Pages. In Companion proceedings of the 2019 World Wide Web conference, pp. 975-980, 2019.

[9] Shaina Raza and Chen Ding. Fake News Detection Based on News Content And Social Contexts: A Transformerbased Approach. International Journal of Data Science and Analytics, Vol. 13, No. 4, pp. 335-362, 2022.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In North American Chapter of the Association for Computational Linguistics, 2019.

[11] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. CoRR, Vol. abs/1412.6980, , 2014.


# Chain-of-Thought 過程の誘導による LLM の性能改善と 推論過程および性能の説明性向上

藤田 真伎 ${ }^{1}$ 狩野 芳伸 1
1 静岡大学
\{mfujita,kano\}@kanolab.net

## 概要

近年，大規模言語モデルの性能上は著しいものがあるが，その大規模さゆえにモデル構造や推論過程がブラックボックス化している問題がある.そこで，Chain-of-Thought の過程を誘導するフォーマッ卜を提案し，推論過程のどの部分が特に推論結果に影響を与えているかを特定できるようにした。また, Fine Tuning により任意のモデルで同様のフォー マットでの出力ができること，この手法を用いることで複数モデル間で推論能力の差がある部分を明確にできることも示した．司法試験の民法分野の含意関係推論タスクを題材として，大規模言語モデルを用いたタスク性能の向上を達成した.

## 1 はじめに

近年，大量の学習データやパラメータで訓練された大規模言語モデル (Large Language Model，以下 LLM)を用いることでさまざまなタスクの性能向上が示されている。一方で，LLM にはそのパラメータ数の多さゆえに推論過程がブラックボックス化しているという問題があり，機械学習モデルの予測根拠を説明する XAI(eXplainable AI)[1] や説明可能性 [2] について研究されている. また, Chain-of-Thought[3](以下 CoT) などの手法を用いることで段階的な推論が可能になり，性能向上が報告されている. 一方で, どの部分の推論が解答の助けになっているかは明らかでなく, また LLM の出力には幻覚 [4] が発生する場合もあり，段階的な推論を含めた出力の方法には改善の余地がある。

LLM の中でも Open AI 社の提供する GPT-4 はその性能が高い.しかし, GPT-4 はその学習データや内部構造が公開されておらず，動作の解釈や再現， カスタマイズがより難しい.

踏まえて，本研究の貢献は主に以下の二つである.一つ目に，LLM が推論過程を示しながら出力を行うのに適したフォーマットを提案し，それにより CoT の過程を分析することで，モデルの推論に貢献している推論箇所を特定することや，モデルが苦手としている推論箇所を特定できることを示した. さらにこの提案フォーマットにより，LLM のタスク性能を向上させた.

二つ目に，提案フォーマットに沿って内部構造が公開されているモデルの Fine Tuning を行うことでフォーマットに沿った出力を可能にすることを確認した. さらに，段階的な推論が必要な法律分野のデータセットを用い，一般的な性能では劣る公開モデルでも，提案手法により推論段階によっては GPT-4 に匹敵する性能を達成した。

## 2 関連研究

## 2.1 Chain-of-Thought(CoT)

CoT とはLLM に問いに対する答えのみを出力させるのでなく，答えを推論するのに必要な中間ステップを出力させた後に答えを出力させる手法で，段階的な推論が必要となるタスクを中心に精度の向上が報告されている. 段階的に推論する旨を指示に書くZeroShotでの CoT や，実際に段階的に推論を行う例を与える Few Shot[5] での CoT などがある.

## 2.2 OpenAI GPT-4

OpenAI が提供する GPT-4 [6] は Transformer [7] の Decoder 部分を用いた LLM である. 多言語を扱うことができ，かつ様々なタスクで高精度な回答ができる. たとえばアメリカの司法試験の模擬試験においては上位 $10 \%$ に相当するスコアが示されている。一方で，具体的なモデルの内部構造や訓練データなどは公開されておらず，内部構造がブラックボックスであるために分析や改善が難しい面がある.

## 2.3 日本語 LLM

本研究では，我々自身でモデルの Fine Tuning 等を行い比較するために，内部構造が公開されており訓練可能な形で利用できる LLM が必要である. 日本語専用に事前学習された LLM [8] [9] や，多言語が扱えるモデル [10] [11]など非常に多くのモデルが公開されている。

## 2.4 法自然言語処理タスク COLIEE

法律分野の自然言語処理技術に関するワークショップとして, 我が国司法試験の民法分野短答式問題の自動解答を行い性能を競う Competition on Legal Information Extraction and Entailment(以下 COLIEE) [12][13][14][15][16][17][18][19][20][21] が毎年開催されてきた. COLIEE の Task4 は民法条文一覧と過去問題が与えられ，それをもとに自動で解答を行うシステムを作成し, テスト問題の解答の精度を競うものである. このタスクは，問題文とその問題を解くのに必要な関連民法条文の二つが与えられ，問題文が正しいか否かを Yes か No の二択で答え，解答の精度を競うものである. 我々は，段階的な推論が有効な分野の一つと考えられる法律分野を対象に，COLIEE データセットを用いて実験を行った.

## 3 提案手法

本論文では，CoT の出力フォーマットを固定することで推論過程を比較可能にし，タスクに応じてそれぞれの推論ステップごとの有効性とモデルの改善点を示す手法を提案する。

1. 対象タスクの特徴や課題をもとに，タスク固有のプロンプトと，タスクの回答にあたる CoT の出力フォーマットを設定する.

2. 任意の生成モデルに Few Shot Prompting や Fine Tuning を行い，設定したフォーマットに沿った出力を行わせる.

3. どの推論ステップで最終的な出力が大きく変化するか，また他のモデルと比較しどのステップに違いがあるかを分析することで，推論ステップごとの有効性とモデルの改善点を明確にする.

## 4 実験

COLIEE を題材に提案手法の実験と分析を行う. COLIEE 配布の司法試験年度に対応したデータのうち評価には R01～R03 の三年分の問題 255 問を使用し，後述の公開モデルの Fine Tuning には $\mathrm{H} 18 \sim \mathrm{H} 30$ の 629 問を使用した。

生成モデル一般に，個別タスクにおいて具体的にどのような能力が優れているかを特定することが難しい，例えば COLIEE の場合，民法条文から適切な部分を見つける能力や，論理的な推論能力など，様々な可能性がある. そこで，共通した出力フォー マットと CoTを用い，GPT-4 と公開モデルを比較することで，二つのモデルの性能差を定量化する．本論文では数種類のモデルを比較実験したうえで，手元で学習可能なモデルサイズのうち公開モデルとして正答率が高かった stabilityai/StableBeluga13B [10] を用い，GPT-4 と比較することとした。

## 4.1 プロンプトと出カフォーマット

異なるプロンプトや Few Shotを比較した結果，図 1 のプロンプトおよびフォーマットで出力することとした。すなわち，フォーマットを「問題要点・民法要約 ・推論箇所 ・回答」の四つの要素として設定する。この四要素を定めた理由は以下の通りである. まず，司法試験の民法問題では含意か否かを判定する際の要点が存在することが多い，また，与えられる民法条文は必ずしも必要最小限ではなく，現実の裁判でも膨大な条文から必要箇所を抽出しなければならない. 最後に, 問題の要点と民法条文の要約から論理的な推論を行うステップを経て，最終的な解答を出力するフォーマットを設定した.

## 4.2 公開モデルの Fine Tuning と GPT-4 の Few Shot Prompting

stabilityai/StableBeluga13B は, Few Shot Prompting のみでは出力フォーマットが固定されず CoTでの段階的な推論ができなかったため, Fine Tuning を行った. このモデルでフォーマットの学習ができれば他の多くのモデルでも提案手法が実現可能と考える。

学習データは図 1 のフォーマットに沿うよう GPT-4を用いて作成した. COLIEE 配布の H18 R03 までのデータ中で GPT-4 が正解を出力した 629 例の推論過程つきの出力をもとに，Lora[22][23] を用いて学習する。

GPT-4 は執筆時点で Fine Tuning が利用できなかっ

たため，Few Shot で正例と負例を毎回固定した同じ一例ずつを与えた。なお，Few Shot で与える例は GPT-4 の出力をもとに人手で調整したものである.

## \# 指示 \#

以下は司法試験の民法問題です。民法条文部分に記載されている関連民法条文を参照し問題が正しいか正しくないか，問題の要点を述べた後に正しい場合は「True」を正しくない場合は「False」を出力しなさい.

＃民法条文＃

第五条

未成年者が法律行為をするには，その法定代理人の同意を得なければならない。ただし，単に権利を得，又は義務を免れる法律行為については，この限りでない。(略)

\# 問題文\#

未成年者がした売買契約は，親権者の同意を得ないでした場合であっても，その契約が日常生活に関するものであるときは，取り消すことができない.

\# 回答＃

問題の要点: 未成年者がした売買契約が親権者の同意を得ないでした場合，その契約が日常生活に関するものであるとき，その契約を取り消すことができるかどうか.

民法条文によれば，未成年者が法律行為をするには， その法定代理人の同意を得なければならない。しかし，単に権利を得，又は義務を免れる法律行為については，この限りでないとされています。また，法定代理人が目的を定めて処分を許した財産は，その目的の範囲内において，未成年者が自由に処分することができるとされています.

したがって，未成年者がした売買契約が日常生活に関するものである場合，その契約は法定代理人の同意を得ないでしたにせよ，未成年者が自由に処分することができる範囲内にあると解釈できます。そのため，その契約を取り消すことはできないと考えられます。

回答：True

図 1 プロンプト・出力フォーマットの例

## 4.3 GPT-4 による有効な推論ステップ特定

我々は GPT-4 に CoTを用いることで COLIEE 夕スクの正解率向上を確認した (A.1). 生成した推論過程のどの部分がモデルの回答に影響を与えているか特定するため. 一度 CoTを用いて段階的な推論を行った後に， 4.1 節の 4 つの要素に基づいて分割を行った. その後, 分割後の途中までの推論過程をもとにモデルにタスクの回答をさせることで，どの要素が推論に大きな影響を与えるか分析した (図 2).

問題要点と条文要約の出力は，元の条文や問題文が長いほど効果的に作用すると考えられる. そこで評価データを，条文および問題文の長さでそれぞれ二分割し, 問題と条文の長さが正答率の変化に影響

図 2 GPT-4を用いた推論過程ごとの正答率の定量化

 &  &  &  & GPT4のみ \\

図 3 モデル性能の比較手法

を与えるか確認した。

## 4.4 二種モデル間の性能比較

先の 4 要素に沿った段階的な出力 (図 3)を，公開モデルに CoTを用いて行わせた. その後, 要素ごとに分割を行い，GPT-4 に以降を推論させてから正答率を算出することで， CoT のどの段階においてモデルの性能の差が生まれているかを分析した.

## 5 実験結果

## 5.1 モデルの学習

4.2 節で記載した，公開モデルの学習結果を表 1 に示す. Fine Tuning により問題の解答率精度の向上とともに，出力フォーマットに沿った出力を行えるようになったことが分かる.

## 5.2 GPT-4 による有効な推論ステップ特定

4.3 節の CoT の有効な推論ステップの特定の実験結果を表 2 に示す. 評価データは COLIEE の R01〜 R03 の問題 255 問中，公開モデルと GPT-4 がともにフォーマットに沿った出力を行えた 240 問に限定した. 問題文文字数が評価データにおける中央値 (70 文字) 以上の場合を「問題長文」とし，該当する 121 問に絞った正答率を記載した. 同様に問題短文 119
表 1 StableBeluga-13B の学習前後の結果比較

表 2 推論過程ごとの正答率の変化結果

 &  &  \\

問題長文 & 0.793 & 0.802 & 0.843 & 0.851 \\
問題短文 & 0.840 & 0.815 & 0.832 & 0.840 \\
条文長文 & 0.842 & 0.808 & 0.858 & 0.875 \\
条文短文 & 0.792 & 0.808 & 0.817 & 0.817 \\

問，民法条文でも中央値である 170 文字を基準に条文長文 120 問と条文短文 120 問の正答率を記載した.いずれも長文なほど正答率が向上しており，要約の効果があったと考えられる。

## 5.3 二種モデル間の性能比較

4.4 節に沿って各ステップごとの精度を求めたものが表 3 である。各要素は図 3 に対応している。すなわち，すべてを公開モデルで実行する場合に始まり, 図表の右にいくほど GPT-4 が分担する要素が増え，一番右では GPT-4 がすべてを実行した場合であり，右に行くほど性能が向上しているが，「推論箇所以降」より先はあまり変化がない.

## 6 分析と考察

## 6.1 公開モデルの Fine Tuning

これにより，任意のモデルでフォーマットに適した段階的な出力をすることで，提案手法の一つである CoTを用いた性能比較を行えるようになる可能性を示唆した。

## 6.2 GPT-4 による有効な推論ステップ特定

表 2 の結果を分析する. 推論箇所を出力することで，文字数に関わらず全体的に正答率が向上しており, 問題と条文の要約をした後にも一度テキスト形式で論理的な推論を挟むことで適切な推論が行えた，有効な推論ステップと考えられる。条文要約を用いることで条文長文，条文短文の場合ともに正答率が向上し. 特に条文が長文のときに大きく正答率が向上していることから長文を扱いやすくするとい表 3 モデル性能の比較結果

う要約の意図通りに作用した有効な推論ステップと考えられる．問題要点を用いることで問題長文の正答率が上がっており，こちらも要点化の有効性を示唆している。問題短文の場合の正答率は低下していることから，問題の要点のみを記載するフォーマッ卜は正答率の低下を招く可能性を示唆している.これは大力部分に書かれている民法条文と出力部分に書かれている問題の要点の比較が難しく，回答に必要な情報の一部のみを出力させると精度が低下するる可能性を示唆している．総合すると，要素ごとに分割したことで，それぞれの要素が正答率の向上に寄与したことを定量的に分析できたといえる。

## 6.3 二種モデル間の性能比較

表 3 の結果から，GPT-4 と公開モデルを比較した時に，どちらがどの点で優っているか定量的に分析できることを示す. 推論箇所以降 GPT-4，条文要約以降 GPT-4，GPT-4 のみの結果に大きな差がない （表 3 右側）ことから，公開モデルと GPT-4 とで問題の要点の抽出と民法条文の要約性能に大差がないと考えらえる。一方で推論箇所や回答までを公開モデルが行うと精度が大きく低下しており（表 3 左側)，含意関係認識の部分で大きな性能差があることを示唆している。

## 7 おわりに

CoT において出力フォーマットや推論過程を固定することで性能向上させるとともに，任意のモデル間で性能差を段階的かつ定量的に分析する手法を提案した. COLIEE 司法試験の自動解答を題材に，実際に性能が向上し，現在の司法試験自動解答の課題である，推論過程とモデル構造のブラックボックス部分を解消できる可能性を示唆した。

今後は，分析により特定された不足する性能について，データの拡張やアンサンブルにより改善を試みたい，また，テンプレートの生成，モデルの性能調査，改善の流れを用いることで，定量的な分析に基づいたモデル改善を行うことができ，これを他のタスクにも応用できることを確認したい。

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115， JP20K20509，JST AIP 加速課題 JPMJCR22U4，およびセコム科学技術財団特定領域研究助成の支援をう

けたものです.

## 参考文献

[1] 恵木正史. Xai(explainable ai) 技術の研究動向. 日本セキュリティ・マネジメント学会誌, Vol. 34, No. 1, pp. 20-27, 2020.

[2] Finale Doshi-Velez and Been Kim. Towards a rigorous science of interpretable machine learning, 2017. https://arxiv.org/abs/ 1702.08608 .

[3] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chainof-thought prompting elicits reasoning in large language models, 2023. https://arxiv.org/abs/2201.11903.

[4] Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, and Ting Liu. A survey on hallucination in large language models: Principles, taxonomy, challenges, and open questions, 2023. https://arxiv.org/abs/2311. 05232.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020. https://proceedings.neurips.cc/paper_files/paper/ 2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.

[6] OpenAI. Gpt-4 technical report, 2023. https://arxiv.org/abs/ 2303.08774

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017. https://proceedings.neurips.cc/paper_files/paper/ 2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.

[8] Tianyu Zhao, Akio Kaga, and Kei Sawada. rinna/youri-7b. https: //huggingface.co/rinna/youri-7b.

[9] Jun Suzuki Namgi Han Saku Sugawara Shota Sasaki Shuhei Kurita Taishi Nakamura Takumi Okamoto. Hirokazu Kiyomaru, Hiroshi Matsuda. $11 \mathrm{~m}$-jp/llm-jp-13b-instruct-fulljaster-dolly-oasst-v1.0. https://huggingface. co/llm-jp/ llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0.

[10] Stability AI. stabilityai/stablebeluga-13b, 2023. https:// huggingface.co/stabilityai/StableBeluga-13B.

[11] Xwin-LM Team. Xwin-lm, 9 2023. https://github.com/ Xwin-LM/Xwin-LM.

[12] Competition on legal information extraction/entailment (COLIEE-14) workshop on juris-informatics (jurisin) 2014, 2014. http://webdocs.cs.ualberta.ca/ miyoung2/ jurisin_task/index.html.

[13] Mi-Young Kim, Randy Goebel, and Satoh Ken. COLIEE-2015: evaluation of legal question answering. In Ninth International
Workshop on Juris-informatics (JURISIN 2015), 2015.

[14] Mi-Young Kim, Randy Goebel, Yoshinobu Kano, and Ken Satoh. COLIEE-2016: evaluation of the competition on legal information extraction and entailment. In International Workshop on Jurisinformatics (JURISIN 2016), 112016

[15] Yoshinobu Kano, Mi-Young Kim, Randy Goebel, and Ken Satoh. Overview of COLIEE 2017. In Ken Satoh, Mi-Young Kim, Yoshinobu Kano, Randy Goebel, and Tiago Oliveira, editors, COLIEE 2017. 4th Competition on Legal Information Extraction and Entailment, Vol. 47 of EPiC Series in Computing, pp. 1-8. EasyChair, 2017.

[16] Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, Yao Lu, Juliano Rabelo, Naoki Kiyota, Randy Goebel, and Ken Satoh. COLIEE-2018: Evaluation of the competition on legal information extraction and entailment. In Kazuhiro Kojima, Maki Sakamoto, Koji Mineshima, and Ken Satoh, editors, New Frontiers in Artificial Intelligence, pp. 177-192, Cham, 2019. Springer International Publishing.

[17] Juliano Rabelo, Mi-Young Kim, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. A summary of the COLIEE 2019 competition. In Maki Sakamoto, Naoaki Okazaki, Koji Mineshima, and Ken Satoh, editors, New Frontiers in Artificial Intelligence, pp. 34-49, Cham, 2020. Springer International Publishing.

[18] Juliano Rabelo, Mi-Young Kim, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. COLIEE 2020: Methods for legal document retrieval and entailment. In New Frontiers in Artificial Intelligence: JSAI-IsAI 2020 Workshops, JURISIN, LENLS 2020 Workshops, Virtual Event, November 15-17, 2020, Revised Selected Papers, p. 196-210, Berlin, Heidelberg, 2020. Springer-Verlag.

[19] Juliano Rabelo, Randy Goebel, Mi-Young Kim, Yoshinobu Kano, Masaharu Yoshioka, and Ken Satoh. Overview and discussion of the competition on legal information extraction/entailment (COLIEE) 2021. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 111-133, 2022.

[20] Mi-Young Kim, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. COLIEE 2022 summary: Methods for legal document retrieval and entailment. In New Frontiers in Artificial Intelligence: JSAI-IsAI 2022 Workshop, JURISIN 2022, and JSAI 2022 International Session, Kyoto, Japan, June 12-17, 2022, Revised Selected Papers, p. 51-67, Berlin, Heidelberg, 2023. Springer-Verlag.

[21] Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Juliano Rabelo, Ken Satoh, and Masaharu Yoshioka. Summary of the competition on legal information, extraction/entailment (COLIEE) 2023. In Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law, pp. 472-480, 2023.

[22] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022. https: //openreview.net/forum?id=nZeVKeeFYf9.

[23] Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul, and Benjamin Bossan. Peft: State-of-the-art parameter-efficient fine-tuning methods. https://github.com/ huggingface/peft, 2022.

## A 参考情報

## A. 1 GPT-4 を用いた結果比較

表 4 は，FewShot と Chin-of-Thought(表内 CoT)をそれぞれ用いた場合，用いなかった場合の計四通りの正答率を示したものである. CoT を用いない場合は True/Falseのみを出力している.

表 4 GPT-4 の推論結果

## A. 2 関連民法条文が長文の例

COLIEE で与えられる問題には民法条文が長文の場合があり，図 4 はその一例である. これは文字数にすると 654 文字に相当し，モデルによっては文字列長が推論に悪影響を与える場合も多い.

第四百六十五条の三個人根保証契約であってその主たる債務の範囲に金銭の貸渡し又は手形の割引を受けることによって負担する債務（以下「貸金等債務」という。）が含まれるもの（以下「個人貸金等根保証契約」という。）において主たる債務の元本の確定すべき期日（以下「元本確定期日」という。）の定めがある場合において、その元本確定期日がその個人貸金等根保証契約の締結の日から五年を経過する日より後の日と定められているときは、その元本確定期日の定めは、その効力を生じない。

2 個人貸金等根保証契約において元本確定期日の定めがない場合（前項の規定により元本確定期日の定めがその効力を生じない場合を含む。）には、その元本確定期日は、その個人貸金等根保証契約の締結の日から三年を経過する日とする。

3 個人貸金等根保証契約における元本確定期日の変更をする場合において、変更後の元本確定期日がその変更をした日から五年を経過する日より後の日となるときは、その元本確定期日の変更は、その効力を生じない。ただし、元本確定期日の前二箇月以内に元本確定期日の変更をする場合において、変更後の元本確定期日が変更前の元本確定期日から五年以内の日となるときは、この限りでない。

4 第四百四十六条第二項及び第三項の規定は、個人貸金等根保証契約における元本確定期日の定め及びその変更（その個人貸金等根保証契約の締結の日から三年以内の日を元本確定期日とする旨の定め及び元本確定期日より前の日を変更後の元本確定期日とする変更を除く。）について準用する。

## A. 3 モデル別の評価比較

openAI の提供するモデル，公開モデルなどについて正答率をまとめたものを表 5 に示す.

パラメータなどはモデルの推奨値を使っているが， temperature や top_p の値は最低限の再現性を確保するため低く設定した. 与えるプロンプトは図 1 をもとに，各モデルの入力フォーマットに合わせ調整した. 正例と負例を一例ずつ与える Few Shot と, CoTを組み合わせている.

正答率は解答できたものに限定しているため, True/False を出力に含まない問題は除外している. そのため，モデルによっては分母が 255 問にならないものもある.

表 5 各モデルの推論結果

図 4 民法条文が長文の例 (R1-17-U)


# RAG の連結方式および自動評価指標の定量評価

徳永 匡臣 岡田 智靖
株式会社 野村総合研究所
\{m2-tokunaga, t3-okada\}@nri.co.jp

## 概要

大規模言語モデル (LLMs, Large Language Models) に外部知識を付与する手法として，Retrieval Augmented Generation（RAG）が高い注目を集めている.本研究では，RAG の実装で必要不可欠な「連結方式」に着目し，9つのLLMsに対して定量評価をおこなう．その後， 18 個の RAG システムを用いて自動評価指標と人手評価との相関を評価する. 新たに構築した日本語評価用データセットによる定量評価の結果，RAG の回答精度を重視する場合は直列方式，回答速度を重視する場合は並列方式による連結が適していることを示した. また自動評価指標と人手評価との相関を評価した結果，ROUGE や BERTScore などの従来の自動評価指標と比べて，GPT-4を用いた自動評価が人手評価との高い相関を示すことが分かった.

## 1 導入

近年，大規模言語モデル (LLMs, Large Language Models) の急速な発展に伴い, 自然言語処理分野におけるさまざまなタスクが Zero-shot/Few-shot で解けるようになった [1]. LLMs はアプリケーションへの応用が期待される一方で，まだ多くの課題を含む. その一例として，LLMs が事実とは異なる文を生成してしまう「幻覚」(hallucination) という現象が挙げられる。また，学習データに含まれていない事柄に関しては LLMs が知識を有さないことも実用上の障壁となる. そのような課題への対策とし $\tau$, Retrieval Augmented Generation (RAG) が有望視されている $[2,3]$.

RAG は，大力文に関連した文書を外部データソー スから取得し，LLMsにその関連文書をもとに回答文を生成させるシステムである. 本研究では, 関連文書を取得する部分を Retriever，回答文を生成する部分を Generator と呼ぶ. RAGによって LLMs の真実性 (factuality) や忠実性 (faithfulness) などの改
(1) 直列方式

(2) 並列方式

図 $1 \mathrm{RAG}$ の連結方式の比較

善が期待できる一方で，LLMs のコンテキスト長は有限であり，すべての関連文書を 1 つのプロンプトに収めることは困難である。また，長いコンテキスト長を有す LLMs であっても，入力文の中間部分の情報は見落としてしまっている，という 「Lost-in-the-middle」が報告されている [4]. 複数の関連文書を活用する方法として，実装上 ${ }^{1)}$ ではヒュー リスティック的に LLMs を多段に連結する方式が用いられている. 本研究では，Generator での LLMs の連結方式に着目し，それらの方式における正答率および遅延を定量的に評価する。

本研究で扱う連結方式を図 1 に示す. 連結方式として2つ扱い，本研究ではそれぞれ「直列方式」と 「並列方式」と呼ぶ. 入力文を $q$ ，Retrieverによって取得された $k$ 個の関連文書のうち $i$ 番目の関連文書を $d_{i}, i \in\{1, \ldots, k\}$, Generator で用いる LLMs を $\operatorname{LLM}(\cdot)$ とする. プロンプトのテンプレートを $p_{\mathrm{QA}}\left(q, d_{i}\right), p_{\text {Refine }}\left(q, a_{i}, d_{i}\right), p_{\text {Aggregate }}\left(q, a_{1}, \ldots, a_{k}\right)$ とし，表 1 にそれらの例を示した. 上記の関数はいずれもテキストを受け取り，テキストを返す。図 1 の処理をアルゴリズム 1,2 に示す. 並列方式の While 句内は並列処理との併用が可能である点に注意され
[6]$ など.
}
表 13 種類のプロンプトのテンプレートの例（ $p_{\text {Aggregate }}$ は $k=3$ ），\{\}はそれぞれプレースホルダーを指す.

たい.

本研究では，RAGにおける連結方式の定量評価および自動評価指標のメタ評価をおこなう．また，適切な RAG の日本語評価用の公開データセットがないため, 本研究では日本語評価用データセットを構築した. 本研究での新規性は以下である.

・RAG の日本語評価用データセットの構築
- RAG の直列方式 ・並列方式の定量評価

・RAGにおける自動評価指標のメタ評価

## 2 関連研究

## 2.1 大規模言語モデル

近年，Transformer[7] のスケーリング則 $[8,9]$ やその大規模化による創発能力 [10] の発見により，言語モデルの大規模化が加速している. こうした大規模な言語モデルは，大規模言語モデル (LLMs, Large Language Models) と呼ばれる. 大規模なコーパスを用いて事前学習した LLMs を指示チューニングする
ことで，LLMs が Zero-shot/Few-shot のみでさまざまなべンチマークにおいて高いスコアを達成している [11]. LLMs の利便性の高さから，国内外で多くの LLMs が研究開発されている $[12,13,14]$.

## 2.2 Retrieval Augmented Generation

LLMs が抱える「幻覚」や「学習データに含まれない情報は生成できない」という問題を解決する方法の 1 つとして Retrieval Augmented Generation (RAG) がある。入力に関連する外部知識を，言語モデルのプロンプトに含めることで，言語モデルの生成文の真実性が向上することが報告されている [2]. 英語圏においては LLMs を用いた RAG の定量評価の研究は存在する [15] 一方で, 日本語においては我々の知る限りまだない. 本研究では日本語における RAG の定量評価をおこない，RAG の連結方式による性能への影響を示す.

## 2.3 自動評価指標

自然言語生成 (NLG, Natural Language Generation) タスクにおいて，モデルを評価する方法として自動評価指標が用いられてきた [16]. 自動評価指標として，生成文と正解文の n-gram の一致度をもとにスコアを計算する BLEU[17] や ROUGE[18]，意味の一致度をもとにスコアを計算する BERTScore[19] などがある.これらの自動評価指標は自然言語処理分野の発展を長らく支えてきたものの，NLG タスクにおいては人手評価との相関が低くなる場合も報告されている [20,21]. さらに近年の LLMs は生成文が多様であるがゆえに，生成文と正解文の文体が異なるケースが発生しやすく，従来の評価指標が正しく機能しないことが考えられる。そのため，GPT-4[22] などの LLMs を用いた自動評価手法に注目が集まっている [23,24]. 自動評価指標と人手評価との相関を評価することはメタ評価と呼ばれ，本研究では
表 2 構築した評価用データセットの統計情報

RAGにおける自動評価指標のメタ評価をおこなう。

## 3 実験設定

本研究では, RAG の連結方式の定量評価および自動評価指標のメタ評価をおこなう. RAGの適切な日本語評価用データセットが存在しないため, 評価用データセットを新たに 2 つ構築した. RAG の日本語評価用データセットを用いて，9つの LLMs を対象に RAG の定量評価をおこなった. 評価指標には正答率と遅延を用いた。さらに，自動評価指標のメタ評価として，4つの自動評価指標に対して人手評価との相関係数を算出した。

## 3.1 評価用データセットの構築

本研究で構築した RAG の日本語評価用データセットの統計情報を表 2 に示す. RAG の日本語評価用データセットとして新たに NLP2023 と NRI-CIS の2つを構築した. それぞれ生成型の質問応答タスクであり，テストデータとして 50 件の質問文，回答の正解文，文脈のトリプレットを含む。検索対象の文書として，NLP2023 は言語処理学会第 29 回年次大会 ${ }^{2}$ に寄稿された日本語の論文 520 件 ${ }^{3}$ ， NRI-CIS は社内業務に関するマニュアルや手順書 883 件を用いた. テストデータの例は補足 $\mathrm{A}$ に記載した。

## 3.2 RAG モデル

本研究では，RAG モデルの Retriever として最大内積探索によるべクトル検索 $(k=5)$ を採用した.すべての文書を 512 文字のチャンクに分割後, OpenAI $の$ text-embedding-ada-002[25]を用いてべクトル化した. すべてのチャンクおよびベクトルは, ベクトルデータベースの Qdrant に格納した. Generator の LLMs として, API として提供される gpt-35-turbo-1106(GPT-3.5 Turbo)[26], gpt-4-1106-preview(GPT-4 Turbo)[27], claude-2.1[28], text-bison-32k(PaLM2)[29] に加えて, 日本語特化の LLMs である youri-7b-instruction[14], swallow-7binstruct, swallow-13b-instruct, swallow-70b-instruct[30], ELYZA-japanese-Llama-2-13b-instruct[31] の合計 $9 \supset$

2) https://www.anlp.jp/proceedings/annual_meeting/2023/

3）他多数の論文と比べフォーマットが大きく異なる論文なども対象外とした。
の LLMs を対象にした。日本語特化の LLMs は NVIDIA A10G Tensor Core GPU を用いて推論をおこなった. ${ }^{4)}$ ま，実験の再現性の観点から，すべての LLMs において temperature $=0$ とし, gpt-35-turbo1106，gpt-4-1106-preview および日本語特化の LLMs においては seed 值を固定した. 日本語特化の LLMs は貪欲法 (Greedy Search) を用いて生成をおこなった. Generator の並列方式は，並列の特性を活かし LLMs の呼び出し処理をマルチスレッドで並列化した. 予備実験の結果より日本語特化 LLMs は 0-shot, それ以外の LLMs は 1-shot で実験をおこなった。

## 3.3 評価指標

RAG の連結方式の評価指標として，実用を考慮し正答率および遅延を用いた．正答率は人手評価を採用し，2 人のアノテーターがそれぞれ正誤判定をおこなった. アノテーター間で正誤に相違がある場合は，話し合いによって正誤を確定した，遅延は，質問文を RAG に入力した時点から RAG が EOS トー クンを生成する時点までの時間を測定した。また，自動評価指標に対してメタ評価では，ROUGE-L, BLEU-4，BERTScore の F 值，GPT-4 による自動評価 （以下，GPT-4-Acc.）の 4 つの自動評価指標を用いた. ${ }^{5)}$ GPT-4-Acc. では gpt-4-1106-preview を用いて正誤判定をおこなった. GPT-4-Acc. は，質問文，正解文，RAG システムによる生成文の 3 つを入力として受け取り，RAG システムによる生成文の正誤を判定する. GPT-4-Acc. のプロンプトとして [23]を一部修正したものを利用した。(プロンプトは補足 B に記載). 18 個の RAG システムに対する自動評価指標の結果をもとに，各データセットにおいて人手評価と自動評価指標との相関係数を計算した. サンプル数の量を考慮し，相関係数にはケンドールの順位相関係数を用いた。

## 4 実験結果

## 4.1 RAG の連結方式の定量評価

RAG の連結方式の定量評価の結果を表 4 に記す. NLP2023 の youri-7b-instruction および ELYZA-

4）日本語 LLMs のデプロイには HuggingFace Text Generation Inferenceを用いた.

5）ROUGE および BLEU の単語分割器として Sudachi[32], BERTScore の埋め込みモデルは [19] に従って bert-basemultilingual-cased を用いた.
表 3 GPT-4-Acc. で誤って正しいと判断されたケース. 下線部は関連文書に記載がない箇所.

 & 理由を推論するタスク &  \\

表 4 RAGにおける連結方式の定量評価. 遅延は秒単位.

japanese-Llama-2-13b-instruct を除いて，直列方式の正答率が並列方式よりも高い．これは，並列方式において $p_{\text {Aggregate }}$ に文脈が含まれていないがゆえに $\operatorname{LLM}\left(p_{\text {Aggregate }}\right)$ が回答候補から適切な回答を選択できていない可能性が考えられる。一方で遅延に関しては，並列方式が直列方式よりも平均して NLP2023 においては 0.78 倍, NRI-CIS においては 0.58 倍ほど短い.このことから，マルチスレッド化によって並列方式の特性を活用できていることが分かる.これらの結果から, RAGの正答率を重視する場合は直列方式，遅延を重視する場合は並列方式を採用するのが適切であることが示唆された。

## 4.2 自動評価指標のメタ評価

自動評価指標の人手評価との相関係数を表 5 に記す. NLP2023 および NRI-CIS のいずれにおいて表 5 人手評価と自動評価指標の相関係数（ケンドールの順位相関係数)

も GPT-4-Acc. が人手評価との最も高い相関を示した. また, 人手評価と GPT-4-Acc. の見かけ上の一致率 $(n=1,800)$ は $86.7 \%$ となり, RAG の自動評価指標として GPT-4-Acc. が有効であることが分かった.一方，GPT-4-Acc. が評価を誤った例を表 3 に示す.表 3 のように，RAG が生成した文に正解文が含まれている場合は幻覚があるにもかかわらず GPT-4-Acc. が正解と判断しているケースがいくつか見られた. これらは，GPT-4-Acc.のプロンプトに幻覚を不正解とする判断基準を加えたり, Retrieverによって得られた関連文書も加えたりすることで改善が期待されるが，その定量的な評価は今後の研究とする.

## 5 結論

本研究では，RAG の連結方式に着目した定量評価および自動評価指標のメタ評価をおこなった．新たに構築した評価用日本語 RAG データセットによる定量評価の結果, RAG の回答精度を重視する場合は直列方式，回答速度を重視する場合は並列方式を採用することが良いことを示した。またメタ評価の結果，専門知識を要する質問応答タスクにおいて GPT-4 を用いた自動評価 (GPT-4-Acc.) が従来の評価指標と比べて，人手評価との高い相関を示すことが分かった. 今後の展望として, 同ベンチマークを用いた RAGにおけるさまざまな手法の定量評価や, GPT-4-Acc. のさらなる改善をおこなう.

## 謝辞

本研究の構想にあたり，ご助言をいただいたスタンフォード大学 Assistant Professor の Tatsunori Hashimoto 氏に感謝いたします。

## 参考文献

[1]Tom Brown, Benjamin Mann, et al. "Language Models are Few-Shot Learners". In: Advances in Neural Information Processing Systems. Ed. by H. Larochelle, M. Ranzato, et al. Vol. 33. Curran Associates, Inc., 2020, pp. 1877-1901.

[2]Sebastian Borgeaud, Arthur Mensch, et al. "Improving Language Models by Retrieving from Trillions of Tokens". In: Proceedings of the 39th International Conference on Machine Learning. Ed. by Kamalika Chaudhuri, Stefanie Jegelka, et al. Vol. 162. Proceedings of Machine Learning Research. PMLR, 2022, pp. 2206-2240.

[3]Patrick Lewis, Ethan Perez, et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks". In: Advances in Neural Information Processing Systems. Ed. by H. Larochelle, M. Ranzato, et al. Vol. 33. Curran Associates, Inc., 2020, pp. 9459-9474.

[4]Nelson F. Liu, Kevin Lin, et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172. 2023.

[5]Harrison Chase. LangChain. https : / / github . com / langchain-ai/langchain. 2022.

[6]Jerry Liu. Llamalndex. https://github.com/jerryjliu/ llama_index. 2022.

[7]Ashish Vaswani, Noam Shazeer, et al. "Attention is All you Need". In: Advances in Neural Information Processing Systems. Ed. by I. Guyon, U. Von Luxburg, et al. Vol. 30. Curran Associates, Inc., 2017.

[8]Jared Kaplan, Sam McCandlish, et al. "Scaling Laws for Neural Language Models”. In: CoRR abs/2001.08361 (2020).

[9]Jordan Hoffmann, Sebastian Borgeaud, et al. Training Compute-Optimal Large Language Models. 2022.

[10]Barret Zoph, Colin Raffel, et al. "Emergent abilities of large language models". In: TMLR (2022).

[11]Jason Wei, Maarten Paul Bosma, et al. "Finetuned Language Models are Zero-Shot Learners”. In: 2022.

[12]Hugo Touvron, Louis Martin, et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. 2023

[13]Albert Q. Jiang, Alexandre Sablayrolles, et al. Mistral 7B. 2023.

[14]Tianyu Zhao and Kei Sawada. rinna/youri-7b-instruction. https : / / huggingface . co / rinna / youri - 7binstruction. 2023.

[15]Peng Xu, Wei Ping, et al. Retrieval meets Long Context Large Language Models. 2023.

[16]Percy Liang, Rishi Bommasani, et al. "Holistic Evaluation of Language Models". In: Transactions on Machine Learning Research (2023). Featured Certification, Expert Certification.

[17]Kishore Papineni, Salim Roukos, et al. "Bleu: a Method for Automatic Evaluation of Machine Translation". In: Proceedings of the 40th Annual Meeting of the Association for
Computational Linguistics. Ed. by Pierre Isabelle, Eugene Charniak, et al. Philadelphia, Pennsylvania, USA: Association for Computational Linguistics, 2002, pp. 311-318.

[18]Chin-Yew Lin. "ROUGE: A Package for Automatic Evaluation of Summaries". In: Text Summarization Branches Out. Barcelona, Spain: Association for Computational Linguistics, 2004, pp. 74-81.

[19]Tianyi Zhang, Varsha Kishore, et al. "BERTScore: Evaluating Text Generation with BERT". In: International Conference on Learning Representations. 2020.

[20]Jian Guan, Zhexin Zhang, et al. "OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics". In: Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Ed. by Chengqing Zong, Fei Xia, et al. Online: Association for Computational Linguistics, 2021, pp. 6394-6407.

[21]Tianyi Zhang, Faisal Ladhak, et al. Benchmarking Large Language Models for News Summarization. 2023.

[22]OpenAI. GPT-4 Technical Report. 2023.

[23]Lianmin Zheng, Wei-Lin Chiang, et al. Judging LLM-as-ajudge with MT-Bench and Chatbot Arena. 2023.

[24]Yann Dubois, Xuechen Li, et al. AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback. 2023.

[25]OpenAI. New and improved embedding model. https: / / openai . com/blog/new-and-improved-embeddingmodel. 2022.

[26]OpenAI. Introducing ChatGPT. https : / / openai . com / blog/chatgpt. 2022.

[27]OpenAI. New models and developer products announced at DevDay. https: //openai . com/blog/newmodels - and - developer - products - announced - at devday. 2023.

[28]Anthropic. Introducing Claude 2.1. https : / / www . anthropic.com/index/claude-2-1. 2023.

[29]Rohan Anil, Andrew M. Dai, et al. PaLM 2 Technical Report. 2023.

[30]TokyoTech-LLM. Swallow. https : / / tokyotech-llm . github.io/swallow-llama. 2023.

[31]Akira Sasaki, Masato Hirakawa, et al. ELYZA-japaneseLlama-2-13b. https://huggingface. co/elyza/ELYZAjapanese-Llama-2-13b. 2023.

[32]Kazuma Takaoka, Sorami Hisamoto, et al. "Sudachi: a Japanese Tokenizer for Business". In: Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). Ed. by Nicoletta Calzolari (Conference chair), Khalid Choukri, et al. Miyazaki, Japan: European Language Resources Association (ELRA), 2018

[33]桝原弘哉・村上仁一.「対訳文を用いた同義語・類義語・対義語の抽出」.『言語処理学会第 29 回年次大会』. 2023.

## A 構築したテストデータの例

文脈は一部省略した。

## A. 1 NLP2023

## A. 2 NRI-CIS

 \\

## B GPT-4-Acc. のプロンプト

[23] のプロンプトを一部修正したものを利用.

Please act as an impartial judge and evaluate the quality of the response provided by an AI assistant to the user question. Your evaluation should consider correctness. You will be given a reference answer and the assistant's answer. Begin your evaluation by comparing the assistant's answer with the reference answer. Identify and correct any mistakes. Be as objective as possible. After providing your explanation, you must judge the response as True or False by strictly following this format:

"[[grading]]", for example: "Grading: [[True]]".

<|The Start of Reference Answer|>

\#\#\# User:

\{question \}

\#\#\# Reference answer:

\{answer\}

<|The End of Reference Answer|>

<|The Start of Assistant's Conversation with User|>

\#\#\# User:

\{question \}

\#\#\# Assistant:

\{generation $\}$

<|The End of Assistant's Conversation with User|>


# マルチホップ QA の根拠情報を用いた LLM の“偽” 正解の分析

石井愛 1 井之上直也 ${ }^{2,1}$ 鈴木久美 ${ }^{1}$ 関根聡 1
1 理化学研究所 2 北陸先端科学技術大学院大学
ai.ishii@riken.jp naoya-i@jaist.ac.jp hisami.suzuki@a.riken.jp
satoshi.sekine@riken.jp

## 概要

LLM がどのような知識に基づいて推論しているのか，そのきめ細かい調査の一つとして，回答の根拠となる導出情報が付与されたマルチホップ $\mathrm{QA}$ データセットを用いて GPT-4 の出力を分析する．分析の結果，回答が正解しているにも関わらず，根拠となる導出に誤りが含まれる“偽”正解といえる現象が発生し，“偽”正解を除くと，正解率は $60 \%$ から 40\%に低下することを示す. さらに，外部知識を組み合わせた場合のカバー率の調査結果から, LLM を既存の外部知識と適切に組み合わせることによる改善の可能性を示す.

## 1 はじめに

大規模言語モデル（LLM）が様々なタスクで高い精度を達成する一方で，LLM が事実と矛盾する内容を生成することが示され [1, 2], LLM の内部知識の評価や LLM が事実に基づいて回答をできるかといった事実性に関する検証結果が複数報告されている $[3,4,5,6,7]$.

QA 問題の解決において，LLM がどのような知識に基づいて推論して回答しているのかは，回答の導出に至った導出過程を出力させ，その出力を精査する必要がある. Zheng ら [7] はマルチホップ QA データセットを用いてエラー内容を人手で分類し, エラーの半数以上が事実性に関するエラーであり，知識を文章や段落等の粒度で与えることによる結果の改善を示している. ただし，このような詳細な調査においても, 問題に正解した場合も含めてどの程度導出が正確に実行されていたかは明らかになっていない.

我々は LLM の導出過程のきめ細かい調査の一つとして, 導出情報が付与されているマルチホップ QA データセットである JEMHopQA ${ }^{1)}$ [8] を用いて

1) https://github.com/aiishii/JEMHopQA

## JEMHopQA の正解セット

質問: 長嶋茂雄と小林旭，どちらが年上ですか？導出: (長嶋茂雄, 生年月日, 1936 年 2 月 20 日); (小林旭, 生年月日, 1938 年 11 月 3 日)回答: 長嶋茂雄

## GPT-4 の出力

導出: (長嶋茂雄, 生年月日, 1936 年 1 月 20 日); (小林旭, 生年月日, 1939 年 4 月 13 日)

回答: 長嶋茂雄

図 1: “偽” 正解の例（赤字：導出のエラー部分）

GPT-4 が出力する質問への回答と, 導出を調査した. 調査結果から，回答は正解しているにも関わらず，根拠となる導出に誤りがある “偽” 正解といえる現象が発生することがわかった（図 1）.

本稿では，JEMHopQAを用いた GPT-4 の出力の評価結果および，手作業で分析した結果から“偽”正解の発生頻度やその具体例を示す. さらに，導出の誤りを，既存の構造化知識ベース $(\mathrm{KB})$ がどの程度カバーできるかを調査し，LLM と KB の適切な組み合わせによる改善の可能性を示す.

## 2 分析方法

## 2.1 データセット

本分析では, 回答の導出情報が付与されている Wikipediaをべースとした日本語のマルチホップ QA データセットである JEMHopQA を用いる. JEMHopQA の導出情報は, 図 1 の" (長嶋茂雄, 生年月日, 1936 年 2 月 20 日)”のように，主語エンティティ（長嶋茂雄）と目的語エンティティ（1936 年 2 月 20 日）間の半構造化された関係（生年月日）を表すトリプルの形式である．質問はマルチホップ推論が必要な質問であり，各質問と回答のペアには $2 \supset$以上の導出ステップが付与されている.

JEMHopQA を用いて評価するタスクは，質問 $Q$ が与えられたとき，タスクは (i) 答え $A$ を予測し， (ii) $A$ の根拠となる導出 $D$ を生成するタスクである.

## 2.2 評価指標

導出はトリプルの形で半構造化されているが，エンティティも関係も類義語のバリエーションや言い換えの影響を受けるため，厳密な文字列マッチによる自動評価は困難である．そこで，井之上ら [9] を参考に，導出の評価において類似度スコアを用いる. 具体的には，トークン化2)された単語に対する正規化レーベンシュタイン距離を使用し, 前処理として類義語辞書 ${ }^{3}$ を用いる4). 類義語辞書は，デー タセットで観測された類似する単語群を追加して用いる.

導出回答である導出 $G$ と，システムが出力する導出 $D$ が与えられたときのスコアを $c(D ; G)$ とし， そのスコアに基づく, 精度, 再現率， $f_{1}$ を次のように定義する：

$
\begin{aligned}
\operatorname{pr}(D) & =\frac{c(D ; G)}{|D|}, \operatorname{rc}(D)=\frac{c(D ; G)}{|G|} \\
\mathrm{f}_{1}(D) & =\frac{2 \cdot \operatorname{pr}(D ; G) \cdot \operatorname{rc}(D ; G)}{\operatorname{pr}(D ; G)+\operatorname{rc}(D ; G)}
\end{aligned}
$

ここで， $|G|$ と $|D|$ は与えられた質問に対するトリプルの数である. $c(D ; G)$ は， $G$ と $D$ に含まれるトリプル $d_{i}, g_{j}$ について, $d_{i}$ と $g_{j}$ の類似度スコア $a\left(d_{i}, g_{j}\right) \in[0,1]$ を計算し, スコアの合計が最大となる組み合わせのスコアとする.

また，導出の正確性を評価するため， $f_{1}^{\text {ent }} ， f_{1}^{\text {rel }}$, および $f_{1}^{\text {full } の ~} 3$ つのスコアを用いる. $f_{1}^{\text {ent }}$ は主語と目的語エンティティの $a\left(d_{i}, g_{j}\right)$ の平均, $f_{1}^{\text {rel }}$ は $d_{i}$ と $g_{j}$ の関係についての $a\left(d_{i}, g_{j}\right)$ の平均, $f_{1}^{\text {full }}$ は主語と目的語エンティティ，および関係についての $a\left(d_{i}, g_{j}\right)$ の平均である.

回答回答の評価には Exact Match(EM) と Similarity Match(SM) スコアを使用する．SM は上述の類似性計算を使用する。

## 2.3 実験設定

評価には，47 の構成問題と 73 の比較問題から構成される JEMHopQA 開発セットを対象に, OpenAI

$\mathrm{API}^{5}$ ) 経由で gpt-4-0613 モデルを用い，以下の 5 種類のプロンプトで実験を行った：

1. Zero-shot: 質問のみを与える次の質問に，簡潔な名詞句または YES/NO で答えてください:杉咲花の父の職業は?

$=>$

2. 5-shot: Train セットから 5 つのランダムなサンプルを Few-shot の例として含める次の質問に，簡潔な名詞句または YES/NO で答えてください:

ルーヴル美術館が所在する都市の市長の名前は $?=>$ アンヌ・イダルゴ

奈良市とドバイではどちらが人口が多いですか? =>ドバイ

(... 他 3 例)杉咲花の父の職業は?

$=>$

3. Chain-of-Thought (CoT) 5-shot: CoT[10] を提供する命令を，5つのサンプルとともに追加する次の質問に，根拠を提示しながら，簡潔な名詞句または YES か NO で答えてください:

ルーヴル美術館が所在する都市の市長の名前

は? => (ルーヴル美術館, 所在地, パリ); (パリ,市

長, アンヌ・イダルゴ)=> アンヌ・イダルゴ (... 他 4 例)杉咲花の父の職業は?

$=>$

4. Gold $D$ : 正解の導出 $D$ を与える

次の質問に，簡潔な名詞句または YES か NO で答えてください:杉咲花の父の職業は? => (杉咲花, 父, 木暮武彦); (木暮武彦, 職業, ギタリスト)

$=>$

5. Gold $D$ 5-shot: 正解の導出 $D$ を，5つのサンプルとともに追加する

次の質問に，簡潔な名詞句または YES か NO で答えてください:

ルーヴル美術館が所在する都市の市長の名前

は ? => (パリ, 市長, アンヌ・イダルゴ); (ルーヴ

ル美術館, 所在地, パリ)=> アンヌ・イダルゴ

(... 他 4 例)

杉咲花の父の職業は? => (杉咲花, 父, 木暮武彦); (木暮武彦, 職業, ギタリスト)

$=>$

パラメータは， temperature は 1.0, max_tokens は 32，根拠も生成する際は 256 に設定する．各実験は 3 回実行した結果の平均を報告する.

## 3 GPT-4 の評価結果と考察

## 3.1 マルチホップ QA にどの程度答えられ るのか

表 1 に Zero-shot，5-shot，Cot 5-shot の設定の回答の Exact Match (EM) と Similarity Match (SM) 結果を示す. 5-shot の設定が EMを 48.9\%から 55.6\%に向上させ，さらに，CoT 設定により約 4\%向上した. JEMHopQA の開発セットにおいて, Cot 5-shot の設定が最も精度が高く約 $60 \%$ 正しく回答できることがわかった。

表 1: GPT-4 による評価結果

 &  \\

比較 & $0.785 / 0.785$ & $0.724 / 0.707 / 0.718$ \\

表 2: GPT-4 CoT 5-shot 設定の結果詳細

## 3.2 GPT-4 の誤答の要因はなにか

GPT-4 の誤答の要因を調査するため, CoT 5-shot の導出トリプルの評価結果を合わせた詳細を表 2 に示す. 導出のエンティティの正しさの尺度である $f_{1}^{\text {ent }}$ は, 構成問題で 0.552 , 比較問題で 0.724 であり,約 $17 \%$ の相違があった．これは，質問内で 2 つ主語エンティティが明示的に言及される比較問題に対し，構成問題ではブリッジエンティティが暗黙的であり，識別が困難なためである.

導出トリプルの誤りをさらに調査するため, CoT 5-shot の誤答のケースを手動で分類した ${ }^{6}$ 。 誤答 48 問のうち，推論でのエラーは 1 問のみであり，残りの 47 問は出力した導出トリプルの誤りに起因することがわかった. 構成問題における導出トリプルの誤りは 31 問で，そのうち $58 \%$ ぞブリッジエンティティの識別エラー, 残りはブリッジエンティティを

6）導出トリプルの個数や関係表現が正解と異なる場合，質問に回答するために十分な情報と判断できれば正解とした.また，人口は時期により変動するため，近い数値であれば正解とした.主語とする目的語エンティティのエラーであった. その他として，正解では導出トリプルが 4 つの問題で 2 つのみが出力されたエラーが 1 問，エンティティのエラーと同時に発生していた. トリプルの関係の表現に起因する誤答は発生していなかった.

## 3.3 導出 $D$ を与えられれば正しく推論で きるのか

誤答の要因の大部分はエンティティの識別に起因することが示されたことから，正しい導出トリプルを大力として与えられれば， GPT-4 は導出トリプルを用いて正しく推論できると考えられる。導出トリプルを用いて推論する能力を確認するため，正解の導出 $D$ を入力として与えたケース Gold $D$ および, Gold $D$ 5-shot の設定での検証を実施した．各設定においては，GPT-4 が導出 $D$ の順序から回答を導き出す可能性を考え，そのままの順序およびランダムな順序 (RND) として実施するケースをそれぞれ実施した. 評価結果を表 3 に示す.

表 3: 導出 $D$ を入力として与えた評価結果導出 $D$ を与えなかった結果 Zero-shot，5-shot(表 1) と比較すると, Gold $D$, Gold $D$ 5-shot はそれぞれ EM が約 40\%向上し, Gold $D$ 5-shot の設定の結果は約 95\%であった. これにより, JEMHopQAを解く難しさは導出 $D$ の識別にあり，導出 $D$ を与えられればほぼすべてのケースで正しく推論できることがわかった．また，導出 $D$ の順序をランダムに設定したケースとの結果の差異が小さいことから，導出 $D$ の順序情報を用いているわけではなく，正しく推論に活用していると考えられる。

Gold $D$ 5-shot $の 3$ 回の試行で回答の EM が不正解となった問題数は $4 \sim 6$ 問であった．そのうち，部分正解（大学を聞いているのに対し，学部まで答えた等）が 3 4 問であり，その他は数値比較の問題であった. 3 回の試行ですべて誤答となった数値比較の問題をその分析とともに付録図 2 に示す.

## 3.4 “偽” 正解はどの程度発生するのか

CoT 5-shot の設定での GPT-4 が出力した回答と導出トリプルについて，それぞれ正誤を手作業で分
類した結果を表 4 に示す. 回答が正解であった 72 問のうち，32\%（23/72）に導出トリプルのエラーが含まれており, 導出にエラーが含まれているにも関わらず問題には “偽” 正解していることがわかった. 回答の正解率は $60 \%(72 / 120)$ であるが，“偽” 正解を除いた回答と導出両方が正しい場合の正解率は 40\%(49/120) であった.

“偽”正解のうち，91\%（21/23）は比較問題であり，数値の大小や日付の前後関係を問う 14 問および，エンティティが同じかどうかを問う 7 問であった. 数值や日付の前後関係を問う問題では，トリプルの数値が正解と異なっていても，相対的な大小・前後関係は正解と変わらず正答できたケースであった. エンティティが同じかどうかを問う問題では,正解が NO のとき，エンティティが正解と異なっていても，もう一方のエンティティと同じではないことで正解となっていた. 残りの $9 \%(2 / 23)$ は構成問題で，ブリッジエンティティが Wikipedia に存在しない組織や個人であったが，出力された答えは正しいケースであった．具体的なエラーの例を付録表 6 に示す.

表 4: 回答と導出トリプルの正誤分類

## 3.5 導出トリプルのエラーは既存の KB に よって改善できるのか

GPT-4 が出力した導出トリプルのエラーについて, 既存の KBを利用することで改善できる可能性を探るため，JEMHopQA の導出トリプルのうち KBにおけるカバー率を調査した. KB として， Wikipediaを対象とした 2 つの日本語の KB, Wikidata および森羅7) ${ }^{7}[11$ を使用した。森羅は Wikipedia の記事から属性と值のペアを抽出し, ENE カテゴリ [12] に従って構造化された KB データである. どちらの KB の知識表現も，JEMHopQA の導出トリプルと互換性がある。

表 5 において，最初の 3 列は，質問に必要な導出トリプルが Wikidata，森羅，または両方の結合のいずれで見つかったかの開発セット 120 問にする KB のカバー率を示している. 各質問には 2 つ以上の導出トリプルが設定されているため, そのうちの一部

正解した場合のカバー率を合わせて示す. Wikidata と森羅がすべての導出トリプルをカバーできたケー スは，それぞれ $30 \%$ と $50 \%$ であり，両方の KB を合わせると $63 \%$ であった. 両方の $\mathrm{KB}$ でカバーされていないトリプルの例としては，KB 内の関係より細かい関係（例えば，「兄弟」ではなく「妹」）や，対応のない関係（例えば，「ピアノを習いはじめた年」） が含まれる.

最後の 2 つの列は， GPT-4 と GPT-4 を両方の KB と組み合わせたカバー率を示している．GPT-4 のカバー率は 2 つの KB の組み合わせよりも低いが， すべて組み合わせるとカバー率が $77 \%$ となった. GPT-4 ではエンティティに誤りが含まれるエラーが 6 割程度発生するものの, 上記のような KB 内の関係より細かい関係が必要とされるケースにおいて GPT-4 は適切な関係を出力できていたことから，互いに補完し合う結果となった.このことから，LLM を既存の KB と適切に組み合わせることができれば，本タスクのさらなる改善が可能であることが示された。

 &  & W+S & GPT-4 &  \\

一部 & $27.5 \%$ & $29.2 \%$ & $22.5 \%$ & $22.5 \%$ & $16.7 \%$ \\
無し & $42.5 \%$ & $20.8 \%$ & $14.2 \%$ & $36.7 \%$ & $5.8 \%$ \\

表 5: 既存 KB および GPT-4 による導出のカバー率

## 4 おわりに

本稿では，根拠情報として導出がトリプルの形式で付与された日本語のマルチホップ $\mathrm{QA}$ 用のデータセットである JEMHopQA を用いて, GPT-4 の推論および出力した導出トリプルの評価結果を示した.分析結果から，GPT-4 の誤答はほぼすべて導出トリプルのエラーに起因し, 正答した場合も導出トリプルにはエラーが含まれている “偽” 正解のケースがあることを示した. 回答の正解率は $60 \%$ であったが，“偽”正解を除いた回答と導出トリプル両方の正解率は $40 \%$ であることがわかった. さらに，根拠情報について既存の構造化された知識（KB）のカバー 率および，GPT-4 と組み合わせた場合のカバー率を示し, 既存 $\mathrm{KB}$ と組み合わせることでより良い性能を達成できる可能性を示した。そのような，KBと LLM の統合に向けた検討は今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP20269633, および 19K20332

の助成を受けたものです.

## 参考文献

[1] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, Holy Lovenia, Ziwei Ji, Tiezheng Yu, Willy Chung, Quyet V. Do, Yan Xu, and Pascale Fung. A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. arXiv preprint arXiv:2302.04023, 2023.

[2] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. Survey of hallucination in natural language generation. ACM Comput. Surv., Vol. 55, No. 12, mar 2023

[3] Cunxiang Wang, Sirui Cheng, Zhikun Xu, Bowen Ding, Yidong Wang, and Yue Zhang. Evaluating open question answering evaluation. CoRR, Vol. abs/2305.12421, , 2023.

[4] Pouya Pezeshkpour. Measuring and modifying factual knowledge in large language models. arXiv preprint arXiv:2306.06264, 2023

[5] Potsawee Manakul, Adian Liusie, and Mark Gales. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 9004-9017, Singapore, December 2023. Association for Computational Linguistics.

[6] Stephanie Lin, Jacob Hilton, and Owain Evans. TruthfulQA: Measuring how models mimic human falsehoods. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3214-3252, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Shen Zheng, Jie Huang, and Kevin Chen-Chuan Chang. Why does chatgpt fall short in answering questions faithfully? arXiv preprint arXiv:2304.10513, 2023.

[8] 石井愛, 井之上直也, 鈴木久美, 関根聡. JEMHopQA:日本語マルチホップ $\mathrm{QA}$ データセットの改良. 言語処理学会第 30 回年次大会発表論文集 (NLP2024), 2024.

[9] Naoya Inoue, Pontus Stenetorp, and Kentaro Inui. R4C: A benchmark for evaluating RC systems to get the right answer for the right reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6740-6750, Online, July 2020. Association for Computational Linguistics.

[10] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.
[11] Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. Shinra: Structuring wikipedia by collaborative contribution. In Conference on Automated Knowledge Base Construction, 2019.

[12] 関根聡, 安藤まや, 小林暁雄, 隅田飛鳥. 拡張固有表現定義の更新と日本語 Wikipedia 分類データ 2019. 言語処理学会第 26 回年次大会発表論文集 (NLP2020), pp. 1221-1224, 2020.

## 付録

JEMHopQA の正解セット

質問: 漫画『テセウスの船』と『来世ではちゃんとします』,『来世ではちゃんとします』の方が先の掲載ですか?

導出: (テセウスの船 (漫画), 発表年月日, 2017 年 6 月 22 日); (来世ではちゃんとします, 発表年月日, 2018 年 2 月 7 日)

## 回答: $\mathrm{NO$}

## GPT-4 の出力

回答: YES

## 誤答の要因

導出トリプルの関係「発表年月日」と質問文の「連載」との結びつけの失敗が考えられる.「先」という文脈によって変化する意味の解釈の失敗も考えられるが，他のどちらが先かを問う他の問題 12 問はすべて正解

しており，これら 12 問では関係と質問文の表現は同一または類義語にあたるものであった.

図 2: 導出 $D$ を入力とした与える設定で不正解となった問題

} &  &  &  &  \\

表 6: エンティティに誤りが含まれるが正解したケースの例（青字：正解となった回答，赤字：導出のエラー 部分）