# 日本語 LLM 構築におけるコーパスクリーニングの網羅的評価

水本 智也 ${ }^{1}$ 小林 滉河 ${ }^{1}$ 佐藤潤一1 柴田 知秀1
${ }^{1}$ SB Intuitions 株式会社 2 京都大学大学院 情報学研究科
\{kenta.shinzato, sho. takase, shun.kiyono, ryokan. ri, takuya.kato, tomoya. mizumoto,
koga.kobayashi, junichi.sato, tomohide.shibata\}@sbintuitions.co.jp

## 概要

本稿では日本語 LLM の事前学習用のコーパスをクリーニングすることがモデルの性能向上に有効であることを示す．評価実験として，クリーニングの条件を変え 1.3 B パラメータの日本語 LLMを学習し, 複数の質問応答タスクおよび事後学習後の自由記述質問応答における性能を比較した. その結果,計算資源が比較的限られている場合（250B トークンの学習) では，クリーニングによりモデルの性能が向上し, 計算資源が十分な場合 (1Tトークンの学習）では，クリーニングにより性能維持，タスクによっては性能向上することを確認した.

## 1 はじめに

大規模言語モデル (Large Language Model，LLM） は汎用的な自然言語処理アプリケーションの基盤となっている [1,2]. LLM の性能はパラメータ数と事前学習のデータ量に対数比例すると報告されており [3]，性能向上のためには大量のコーパスが必須である.

ウェブテキストを収集した Common Crawl ${ }^{1)}$ が大規模コーパスとして主に使われているが，数多く含まれるワードサラダのような不自然なテキストを除去することの重要性が指摘されている $[4,5]$. 英語のコーパスクリーニングについては経験的な知見が蓄積されつつあるが，それら知見を得るには膨大な計算資源が必要なため, 網羅的調査の障壁となっている.そこで日本語をはじめ，英語以外の言語については言語判定，文の長さによるフィルタリング，重複文除去のような，言語毎に設計した処理が不要な基本的な処理のみが利用されている $[6,7]$.

このような状況を受けて本研究では，日本語 LLM 構築におけるクリーニング手法の効果を検証する。

図 1 BASE に各クリーニング手法を適用した際の学習データの量（含まれるトークン数）。なお，BASE は Common Crawl に基本的な前処理を適用したコーパス.

検証する手法は，質の高い文書から N-gram 言語モデルを構築して Perplexity の高い文書を除去する手法（LM），記号の羅列や広告などに見られる人工的な定型句を多く含む文書を除去するルールベースの手法（Rule），類似した文書を除去する手法（Dedup） の3つである。これらを適用することで，質の高い文書の割合が増加し学習効率が高くなると予想される反面，学習データの量が半減する（図 1）ため,十分な計算資源を確保できる場合には LLM の性能が伸び悩む可能性もある. 本稿の実験を通して，1.計算資源が限られている場合，すなわち基本的な前処理を適用したコーパス（BASE）全てを学習できるほどの資源がない場合，クリーニングを行った方が性能が良いこと，2. 計算資源が十分にある場合でもクリーニングにより性能は維持あるいは改善されることを示す. また，各クリーニング手法を分析し， それぞれの有効性についても議論する。

## 2 クリーニング手法

本研究で利用するクリーニング手法について説明する.なお CCNet を用いた基本処理と重複段落の除去を除き，クリーニングにはテキスト処理ライブラリである HojiChar $[8]^{2)}$ を利用した.

表 1 Rule における処理の一覧.

文長フィルタ：100-200,000 字の範囲外の文書を除去

制御文字などの非表示文字の除去

単一文字を 200 回以上繰り返している文書の除去

特定の文字列パターン (日付/URL/Copyright/ナビゲーションメ

ニュー/HTML タグ) 等に合致する行の削除

複数行にわたり先頭が一致する場合，1つを残して削除

句読点を含む記号, 空白, 絵文字, その他特殊な文字を一定の割合以上含む文書を除去

成人向け/広告キーワードに合致する文書の確率的除去

文書内での N-gram の頻度を元に, 繰り返しの多い文書を除去

形態素解析し, 名詞の割合が 0.8 以上の文書を除去

## 2.1 基本処理: CCNet による処理

Common Crawl の前処理として，コーパスのクリーニングを行うツールセットである CCNet [7] を用い, 重複段落除去と言語判定を適用した. 重複段落除去では Common Crawl のスナップショットを $5 \mathrm{~GB}$ に分割し, 分割された各ファイル内で重複している段落3)を除去する。これにより定型文や日付からなる段落などが除去できる。言語判定には fastText [9] を用いる. fastText は文字 $\mathrm{N}$-gram を素性とし，与えられた文書がどの言語であるかについて，0から1の値のスコアを付与する. ここでは日本語のスコアが 0.5 以上の文書を抽出する.

## 2.2 LM: N-gram 言語モデルによる処理

基本処理だけでは除去できない，日本語としては不自然な文書が存在する。例えば「こたつ掛け布団スウェード調パッチワーク円形冬…」のような広告に見られるキーワードの羅列や「全球网雅思‥」のような言語判定をすり抜けた外国語などがこれにあたる。こうした文書を除去するため，質の高い日本語文書で学習した $\mathrm{N}$-gram 言語モデルで Perplexityを計測し，その値が高い文書を除去する。言語モデルの実装として, Kenser-Ney Smoothing [10]を適用した 2-gram の言語モデルを, MeCab [11] で単語分割を行った Wikipedia 9 日本語記事で学習した ${ }^{4)}$. これを用いて計算した Perplexity において，コーパス内上位 $10 \%$ 質が低い文書として除去する。

## 2.3 Rule: ルールベースの処理

表 1 に示したルールを用いてクリーニングを行う.例えば名詞の割合が 0.8 以上の文書を除去することで「ブレスレットダウンコートマフラー‥」というような名詞の連続からなる文書を除去できる。

3）実装上はファイル上の 1 行を 1 段落とみなして処理する.

4） N-gram 言語モデルの実装には KenLM [12]を用いた.

## 2.4 Dedup: 類似文書 - 重複文書除去

同一のテンプレートから生成された文書など, ウェブテキストには類似した文書が散見される。

Lee ら [4] はこのような文書を除去することで LLM の学習効率が向上すると報告している. Lee らと同様，本研究でも MinHash LSH [13] を用いて類似した文書を重複とみなし除去を行う，具体的には文書中の 5-gram 集合についてハッシュ関数を適用し，文書間の Jaccard 係数が設定した閾値を超えた場合に重複とみなして除去した ${ }^{5}$ ). 閾値は既存研究 [14]を参考に設定した.この処理により，例えば付録 Aに示したような文書ぺアが除去される。

また, Penedo ら [5] が指摘しているように， Common Crawl は同一のウェブページをクロールしていることもあるため, 取得元 URL が同一である文書も重複とみなして除去した。

## 3 実験設定

## 3.1 事前学習用コーパス

実験用の大規模なコーパスとして, Common Crawl の 2021 年 11 月から 2023 年 6 月までのスナップショットをダウンロードした. また近年では, Multilingual C4 (mC4) [6,15]をはじめとして，クリー ニング済みの Common Crawl $[16,17]$ も配布されている. 本稿では A) ダウンロードした Common Crawl に 2.1 節で説明した基本処理を適用したコーパス， B) $\mathrm{mC} 4$ 内の日本語コーパスを組み合わせたものを BASE と呼び，そこに2節で紹介したクリーニング手法を適用していく. なお $\mathrm{mC4}$ は 2.1 節の基本処理と同様に，言語判定や重複除去が行われており，加えて，200 文字以上の文を 3 文以上含む文書のみを抽出するという処理がなされている.

各クリーニング手法を適用した際の，コーパス内のトークン数の変化を図 1 に示す. トークン数は, BASE に SentencePiece [18] の Unigram 言語モデルを適用して構築したトークナイザで計数しており，このトークナイザは事前学習モデル構築でも利用する. BASE の時点では 900B トークン程度含まれているが，LM，Rule，Dedupのすべての処理を適用した場合（図 1 における+All）では 400B トークン程度と，BASEの半分以下のサイズとなる.

5） MinHash LSH の実装にはdatasketchを用いた： github.com/ekzhu/datasketch

## 3.2 事前学習モデルの学習設定と評価指標

本研究では GPT $[1,19,20]$ と同様, Transformer [21] を用いて LLM を構築する。様々な条件で実験を行うため, パラメータ数は比較的軽量な $1.3 \mathrm{~B}$ とした. 具体的には GPT-NeoX [22] のリポジトリにある，1.3B パラメータの設定を使用する ${ }^{6}$. 各バッチに含まれるトークン数は $4 \mathrm{M}$ トークンとし, 更新回数を変化させることによって事前学習に利用するコーパス量を変動させる.

事前学習モデルの評価は zero-shot および fewshot [1] の設定で，下記 3 つのデータセットを用いて行う. モデルに与えたプロンプトと生成時のハイパーパラメータ等の詳細設定は付録 $\mathrm{C}$ に記載する.

AI 王クイズの問題文を入力とし，その解答を出力する. AI 王公式配布データセット Version 2.07)中の開発セットを用い，正答とモデル出力の完全一致率で評価する。プロンプトに few-shot 事例は含めず，zero-shot の設定で評価を行う.

JSQuAD Wikipedia の段落とその内容に関する質問文を入力とし，解答を段落から抽出する [23]. 開発セットにおける完全一致率で評価する。学習セットからサンプルした 3 つの事例を含めて各事例のプロンプトを構築し，3-shot の評価を行う.

JCommonSenseQA (JCQA) 常識推論能力を評価する問題文と 5 つの選択肢から解答を選択する [23]. 開発セットにおける正答率を 2-shot で評価する.

## 3.3 事後学習モデルの学習設定と評価指標

事前学習コーパスの量や質と LLM の学習効率の関係を議論した研究の多くは，事前学習モデルの評価のみにとどまっている $[4,24]$ が，実用的には事後学習後の性能も重要である. 本研究では, 実応用での性能の一端として，事前学習した LLM について Instruction Tuning [25] を行い, モデルが人間の指示をどの程度理解し，適切に返答できるか確認する。学習データには理研が公開している 2,903 件の日本語インストラクションデータ [26]を用いた.

事後学習モデルの評価には Rakuda Benchmark ${ }^{8)}$ を使用する. Rakuda Benchmark は自由記述型の質問に言語モデルが回答するタスクで，日本の歴史，地理，政治，社会の各 10 問，合計 40 問からなる. 2 つの

6) github.com/EleutherAI/gpt-neox/blob/main/configs/1-3B.yml

7) sites.google.com/view/project-aio/dataset

8) github.com/yuzu-ai/japanese-1lm-ranking表 2 計算資源が限られている場面での正解率.

表 3 計算資源が十分にあり，BASE を 1 周学習できる場面での正解率.

モデルの回答をペアとし，優れた回答を GPT-4 [27] に選択させることで 2 モデルごとの比較を行う.

## 4 実験結果と考察

実験を通して，1. 計算資源が限られている場合， 2. 計算資源が十分であり，BASEコーパスを 1 周学習できる場合におけるクリーニングの効果を検証する. また，2節で紹介した各手法の効果を検証する。

## 4.1 事前学習におけるクリーニング効果

まず計算資源が限られており, モデルの学習に利用可能なトークン数に制限がある場面を考え，250B トークンまでの学習を行った9). 結果を表 2 に記す. +All のコーパスで学習したモデルは BASE で学習したモデルよりも AI 王，JCQA で性能が良く，また，JSQuAD でも同等の性能を達成していることが分かる.このことから，計算資源が限られている場合には様々なクリーニングを行い，学習コーパスの質を高めることが重要であると言える。

次に BASE 1 周学習できる程度には計算資源が十分ある状況を考える。図 1 のとおり，BASE と+All はそれぞれ約 900B，400B のトークンを含んでいる. ここでは議論を簡単にするために，1T トークンと 500B トークンをそれぞれのコーパス 1 周分として

わち BASE1 周と同等の計算資源を用いて学習を行ったモデルも比較する。表 3 に結果を記す. 表 3 より，それぞれのコーパスを 1 周した場合，すなわち, BASE の 1T トークンと+All の 500B トークンを比較した場合には BASE の 1T トークンの方が性能が高いことが分かる. しかしながら, 日本に特有の知識を必要とする AI 王では+All の 500B トークンは

図 2 1T トークンまで学習させた場合の BASE と+All の $\mathrm{AI}$ 王による性能比較. BASE は約 1 周, +All は約 2 周学習させた. +All のユニークなデータ量はクリーニングによって BASE の半分以下となっているが，学習に用いるトークン数が同じ場合には常に BASE よりも性能が高い.

表 4 事後学習後の性能比較. 各セルは「左の列のモデルの勝利数-上の行のモデルの勝利数」を示す. 括弧内は引き分けを表す.

また+All を1Tトークン学習した場合には BASE の 1Tトークンよりもわずかに高い性能を達成している.この結果は, 各種クリーニングに伴い学習コー パスが減少し，コーパスを 1 周以上する状況であっても，学習に用いる計算資源が同等であれば性能に毀損はないことを示唆している.

また，1Tトークンまでの学習において，各トークン数での AI 王の正解率を図 2 に示した. この図からも，同等の計算資源を用いれば+All は BASE よりも常に高い性能を達成することが分かる10).

## 4.2 事後学習への影響

BASE を 1T トークン学習したモデルおよび+All を 500B トークン，1T トークン学習したモデルについて事後学習を行い, Rakuda Benchmark で評価した.結果を表 4 に示す.

この表から，+All を事前学習に用いたモデルは， BASE を事前学習に用いたモデルよりも高い性能を達成していると分かる. すなわち，様々なクリーニングを適用して質を高めたコーパスでの事前学習は，事後学習後のモデルの性能も高めると言える。

10）学習に用いたトークン数に性能が対数比例していることからパラメータ数が不足して性能上昇が停滞していることはないと考えられる。付録 B にパラメータ数を $3.6 \mathrm{~B}$ に増やした場合でも同傾向の結果が得られることを示す.表 5 各クリーニング手法を適用した場合の性能比較

## 4.3 各クリーニング手法の効果検証

2 節で紹介した各手法が事前学習にもたらす効果について検証する。 BASEに対してLM, Rule, Dedup をそれぞれ個別に適用し，得られたコーパスで $250 \mathrm{~B}$ トークンの学習を行い，比較する。結果を表 5 に示す. LM と Rule は共に評価値を向上させており， コーパスの質を高めた効果が事前学習モデルの性能向上につながっていることがわかる. 特に Rule は性能を大きく向上させており, 日本語に特化したクリーニングの有効性を示している.

一方で，Dedup はすべてのデータセットでの性能が下がっている. この結果は既存研究の知見 [4] に反するが，2つの原因が考えられる．ひとつは，類似文書の閾値の設定が低く，多くの有用な文書を除去してしまっている可能性である. もうひとつは， URL を用いた重複文書除去において，同一URL だが内容が異なる文書を除去している悪影響である。 Dedup で有用な文書を除去することなく，性能を向上させるようなクリーニングを行うことができれば+All の性能もより高くなると考えられるため，原因究明に努めたい。

## 5 おわりに

日本語 LLM の事前学習コーパスにおける日本語に応じたクリーニングの効果を，事前学習・事後学習の実験を通じて検証した. 基本処理に加えて様々なクリーニングを適用しコーパスの質を高めることは，計算資源が限られている場合はモデルの性能を向上させ，十分に計算資源がある場合でも性能を維持または改善させることを示した.

4.3 節で記したさらなる検証に加え，今後は他言語，特に英語コーパスを事前学習に利用する効果も検証したい. 英語コーパスを事前学習に追加することで，言語横断的な知識獲得が期待されるが，AI 王のような日本に特有の知識を問うタスクでも効果的であるかは不明瞭であり，より良い日本語 LLM 構築には何が必要かを明らかにしていきたい.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, et al. LLaMA: Open and Efficient Foundation Language Models, 2023.

[3] Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models, 2020.

[4] Katherine Lee, Daphne Ippolito, Andrew Nystrom, et al. Deduplicating Training Data Makes Language Models Better. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 84248445. Association for Computational Linguistics, 2022.

[5] Guilherme Penedo, Quentin Malartic, Daniel Hesslow, et al. The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only, 2023.

[6] Linting Xue, Noah Constant, Adam Roberts, et al. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498. Association for Computational Linguistics, 2021.

[7] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, et al. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012. European Language Resources Association, 2020.

[8] Kenta Shinzato. HojiChar: The text processing pipeline, 2023.

[9] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of Tricks for Efficient Text Classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431. Association for Computational Linguistics, 2017.

[10] Reinhard Kneser and Hermann Ney. Improved backing-off for Mgram language modeling. In 1995 International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 181184 vol.1, 1995.

[11] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237. Association for Computational Linguistics, 2004.

[12] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197. Association for Computational Linguistics, 2011.

[13] Andrei Z. Broder. On the resemblance and containment of documents. In Proceedings. Compression and Complexity of SEQUENCES 1997 (Cat. No.97TB100171), pp. 21-29, 1997.

[14] Leo Gao, Stella Biderman, Sid Black, et al. The Pile: An 800GB Dataset of Diverse Text for Language Modeling, 2020.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, et al. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451. Association for Computational Linguistics, 2020.

[17] Julien Abadji, Pedro Ortiz Suarez, Laurent Romary, and Benoît Sagot. Towards a Cleaner Document-Oriented Multilingual Crawled Corpus, 2022.
[18] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the $\mathbf{2 0 1 8}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71. Association for Computational Linguistics, 2018.

[19] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[20] Alec Radford, Jeff Wu, Rewon Child, et al. Language Models are Unsupervised Multitask Learners. 2019.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[22] Sidney Black, Stella Biderman, Eric Hallahan, et al. GPT-NeoX20B: An Open-Source Autoregressive Language Model. In Proceedings of BigScience Episode \#5 - Workshop on Challenges \& Perspectives in Creating Large Language Models, pp. 95-136. Association for Computational Linguistics, 2022.

[23] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966. European Language Resources Association, 2022.

[24] Niklas Muennighoff, Alexander M. Rush, Boaz Barak, et al. Scaling Data-Constrained Language Models. In Thirty-Seventh Conference on Neural Information Processing Systems, 2023.

[25] Jason Wei, Maarten Bosma, Vincent Zhao, et al. Finetuned Language Models are Zero-Shot Learners. In International Conference on Learning Representations, 2021.

[26] 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. Ichikara-instruction: LLM のための日本語インストラクションデータの構築. 言語処理学会第 30 回年次大会, 2024.

[27] OpenAI, Josh Achiam, Steven Adler, et al. GPT-4 Technical Report, 2023.

[28] Deepak Narayanan, Mohammad Shoeybi, Jared Casper, et al. Efficient large-scale language model training on GPU clusters using megatron-LM. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, SC '21, pp. 1-15. Association for Computing Machinery, 2021.

卜 > FLD SRVC KIT BL 2 PCKT 24X24 の概要

高角サッカー選手相手に得点の映像素材 InHigh angle drone shot of a soccer player dribbling past the defenders and scoring on the apposing team $\backslash n$ 高角サッカー選手相手に得点：ストック動画・映像\nサッカー

トレーニング動画 $\backslash n$ 競争動画\nプレーする

図 3 LM で除去される文書の例.

Kapeli Dash のダウンロード - Kapeli Dash プログラムに関する情報 - OTFE\nKapeli Dash アプリケーションの可能性次に掲げるリストは、Kapeli Dash プログラムがファイルのデー タ編集および变換の両方をサポートするファイル拡張子のリストです。特定の拡張子が Kapeli Dash プログラムでサポー 卜されている場合でも、(以下省略)

Puyo Tools のダウンロード - Puyo Tools プログラムに関する情報 - OTFE \nPuyo Tools アプリケーションの可能性次に掲げるリストは、Puyo Tools プログラムがファイルのデータ編集および変換の両方をサポートするファイル拡張子のリストです。特定の拡張子が Puyo Tools プログラムでサポートされている場合でも、(以下省略)

図 4 Dedup で除去される文書ぺアの例。

## A LM，Dedup の除去サンプル

LM，Dedup で除去される文書の例を図 3，4亿記載する。

## B 3.6B パラメータモデルでの比較

4 節よりもパラメータ数が多いモデルでの比較を行う。具体的には 3.6B パラメータのモデルを BASE，+All で学習し，比較を行う。層の数などのハイパーパラメータは Narayanan らに従った [28].

BASE，+All それぞれで 250B トークン学習した際の結果を表 6 に示す. 4 節での実験と同様に，計算資源が限られているとして，学習を $250 \mathrm{~B} ト$ トーンに限った場合には+All で学習したモデルの方が高い性能を達成している。学習に用いたトークン数と $\mathrm{AI}$ 王での正解率の推移を図 5 に示す. この図から，3.6B パラメータにおいても，学習に費やした計算資源が同等であれば，様々なクリーニングを適用し，質の高いコーパスで学習したほうが常に高い性能を達成できることが分かる.

## C事前学習モデルの評価に用いた プロンプト

図 6, 7 と 8 に事前学習モデルの評価に用いたプロンプ卜例を記載する。いずれも解答部分を鉤括弧でくくり， モデルには“」”まで出力させることで生成箇所を抽出している.

生成時のハイパーパラメータは基本的に貪欲法を採用した。 AI 王のみ候補数 5 のビームサーチを採用し， repetition penaltyを 3.5 と設定した.表 $63.6 \mathrm{~B}$ パラメータでの比較.

図 5 3.6B パラメータのモデルについて，学習トークン数と AI 王の正解率の推移.

映画『ウェスト・サイド物語』に登場する2つの少年グルー プといえば、シャーク団と何団？答えは「ジェット団」

図 $6 \mathrm{AI}$ 王のプロンプトと正答例.

質問に対する回答を文章から一言で抜き出してください.

図 $7 \mathrm{JSQuAD}$ のプロンプトと正答例.

正しい答えは何でしょう？

図 $8 \mathrm{JCQA}$ プロンプトと正答例.


# 汎用言語モデルは日本語学習者データに基づく 語彙難易度を予測できるのか

梁震 ${ }^{1}$ 彭悦 ${ }^{1}$ 笹尾洋介 ${ }^{2}$
1 京都大学大学院 人間 - 環境学研究科 ${ }^{2}$ 京都大学 国際高等教育院
ryo. shin.j85@kyoto-u.jp peng.yue.35z@st. kyoto-u. ac.jp
}

sasao. yosuke.8n@kyoto-u. ac. jp
## 概要

日本語学習における語彙習得の重要性を踏まえ,本研究では汎用言語モデル GPT-4 ${ }^{i}$ を用いて日本語の語彙難易度を分析した.具体的には, GPT-4 に語同士の難易度関係を出してもらい，その結果を基に機械学習で語彙難易度を算出する方法を採用した.検証には，中国語母語話者にとっての日本語語彙難易度が判明している語を用いて，本稿の手法で語彙の難易度を推定した.その結果, 既存の調査結果の 99\%信頼区間内に収まるデータの割合は $71 \%$ と比較的高く，従来の手法よりも迅速かつ広範囲にわたる難易度評価が可能となった.この研究により, 日本語教育における効果的な教材開発や教授法の改善に寄与する可能性が示された.

## 1 はじめに

言語の学習において語彙学習は極めて重要であり,特に日本語は，諸言語の中で比較的多くの語を覚える必要のある言語であり，新聞や雑誌を自由に読みこなすには最低 3 万語を理解できないといけないことが指摘されている[1].膨大な量の語彙をより効率的に学習できるように, 過去に様々な基本語彙を選定するための研究調査が行われた.代表的な方法として, 言語学専門家が主観的に決定する方法, 各種の言語資料の分析を踏まえた（特に使用頻度の高さと使用分野の広さの視点からの）分析に立脚する方法，及びある個人や集団の理解できる語彙についての心理実験の結果に基づく方法があるが，使用頻度の低い語彙の中にも重要な語彙が含まれている可能性も指摘されている[2]ため, 基本語彙の選定や日本語教材作成, 語彙指導を行う際に，より客観的かつ実用的な学習対象を選ぶには，3つ目の方法のよう
に，語彙の理解度（語が表す概念が理解されているかどらかを指しているため，本稿では「難易度」という）を踏まえることが必要であらう。語彙の難易度に関して，易しい語から難しい語へと徐々に学習することが提唱されているが，学習者によって難易度の順序が異なる可能性も考えられる [3].また，林[4]も語の難易度は日本語学習者の背景知識に依存し, 学習者の母語の違いが考慮されていないことを指摘した.彭他[5]は中国語母語話者を対象に調べた結果, 日本語語彙の使用頻度と学習者にとっての語彙難易度とは弱い相関しかないことが示されたため，語彙の難易度推定に関して，使用頻度だけでは日本語語彙の難易度を判断することが難しいことがわかる.

語彙難易度の測定が重要であるのにも関わらず大規模な測定が出来ていない理由としては，語の彙難易度の計測には大規模な調査実験をする必要があるためである．そのため，語彙指導を行う際には語彙頻度に基づいている場合が多い.語彙頻度に基づいた語彙テストの場合，学習者の母語の違いを十分に考慮していない.例えば，「喜劇」のような漢字由来の語は，使用頻度が低く難易度が高いとされがちであるが，中国語母語話者にとっては漢字の意味から直感的に理解可能であり，実際の難易度は低くなる傾向がある.

このような背景を踏まえ，本研究では，汎用言語モデル GPT-4 を用いた新たな語彙難易度評価方法を提案する.GPT-4 を含む近年の汎用言語モデルは，自然言語で与えた指示に従って様々なタスクをこなす汎用性を獲得してきている，要約・推敲・翻訳，質問応答，対話，算術・論理推論，コーディングといった多様なタスクを実行できる。しかも，個々のタスクの性能は従来の単機能のモデルに比肩するか,

図 1 研究ワークフロー

場合によっては超えるという報告も出てきている [6].GPT-4 のトレーニングデータセットは, インター ネット上の広範囲なテキストから構成されている. データセットの中には多種多様な言語の母語話者のデータがあるため, 学習者の母語別の日本語難易度の分析も期待できる.

## 2 関連研究

日本語語彙の難易度判定の問題を解決するために，水谷他[3]は教科書コーパス語彙表を単語難易度の基準データとし, また, 単語難易度と相関が高いと考えられる 3 種の手がかりを素性として用い, 機械学習によって語の難易度推定を試みた.しかし, 日本語教育語彙表で難易度の基準を設定することが妥当であるか不明である.また，この方法では学習者の母語の影響は考慮されていない.それに対して, 林[4]は，中国語を母語とする日本語学習者を対象に，日本語の辞書と中国語の辞書における語義の違いや漢字表記の違いに基づいた難易度の推定方法を提案した. しかし, この研究では中国語母語話者を対象とした場合のみ議論しており, 母語の異なる学習者への応用までは至ることは難しいため, より汎用的な方法を見つけることが期待される.この 2 つの研究を踏まえて, より応用範囲の広い, かつ, 学習者の母語を考慮した難易度推定の方法の開発は重要であると言える。

語彙の難易度について，研究により定義が分かれているが，一般に語が表す概念の難しさとされる場合[3]が多い.本研究で用いる 125 語のデータセットの難度はラッシュ分析により算出したものである. ラッシュ分析における項目難度推定は標本に依存せず，平均項目難度を 0 として計算されているため,算出された数値は相対的な値であるが，任意の 2 語間の難度の比較は可能であり, 本稿での研究には十分に利用できるデータと言える.

## 3 研究目的と方法

本研究の目的は, 汎用言語モデルは日本語の語彙難易度を理解できるかどうかを究明することによつて,様々な言語を母語とする日本語学習者にとっての語彙難易度推定の方法を提案することである.具体的には, 汎用言語モデルに一部の語彙の難易度関係を学習させた上で出力された語彙難易度をもとに作成した機械学習モデルの予測値が,実際の語彙難易度とどれくらい一致しているかを調べる。

本稿では, 汎用言語モデルによる語と語の難易度比較の論理値（-1 もしくは1のデータ）をさらにニユーラルネットワーク機械学習で語彙難易度を推定する手法を採用する.

検証のために, この研究では, 松下他[7]で実施された語彙テストの分析結果の一部を用いている[4].松下他[7]は，日本国内外にいる，様々な言語を母語とする日本語学習者を対象に, VSTRJ-50K ともう一つの漢字テスト KCTを実施した後, さらに, ラッシユ分析により各問に関連している語の平均項目難度を算出したが，本研究で使用したのは，中国語母語話者 201 名の VSTRJ-50K の結果による 125 語の平均項目難度であった。

VSTRJ-50K テストの詳細は以下の通りである.まず, 佐藤他 $[8]$ こよると,このテストは, 松下 $[9]$ の「日本語を読むための語彙データベース」の使用頻度順位をもとに，上位 50000 語のうち，凡そ 400 語毎に 1 語を選ぶように， 125 語を無作為抽出した上で， 1 語につき 1 問で語の意味についての選択問題が出題されている.また，このテストは筆記試験（時間制限 40 分以内）であり, 各問において, 目標語自体, その目標語を使った 1 つの非定義文, 及び 4 つの意味が日本語文字により提示され, 受験者が回答時に 4 つの選択肢の中から一つを選ぶ形となっている.ただし，「ぜんぜんわからないときは答えないでください」との指示も示されている.それから, 評価について, 1 問 1 点で計算された得点（満点は 125 点）
$\times 400$ で各受験者の語彙サイズを推計できるが，松下[7]のラッシュ分析で用いられたのは, 各受験者の得点の素点であった.この研究で得られた 125 語の難易度を含むデータセットを用いる。

汎用言語モデルに直接語の難易度に関する推定を問い合わせる方法を試みたが大まかな数値しか出力されなかった.この方法では得られた結果は一般的な推測に留まり, 実用的な精度に欠けていた。

そこで図 1 で示された手順のように，研究の方針を変更した.まず, 項目難度が判明している 125 語のデータセットを，(1) プロンプト（付録 A）に記載する 25 語, (2) 単語間難易度比較用 100 語, の 2 つに分割した.まず，GPT-4 にプロンプトに記載されている情報を学習させることで, 語の難易度に影響を与える具体的な要因を推定させることが容易となる.

残りの 100 語については， 2 つずつの組み合わせの語彙難易度の比較し, 相対的な難易度を評価する方法が採用された.語彙難易度の比較データは, 後続のニューラルネットワーク機械学習による語彙難易度の分析用データとした.

## 4 実施と結果

## 4. 1. プロンプトとリクエスト

GPT-4 を含む汎用言語モデルは対話形式で入力することができる。その際に，適切な文章（プロンプ卜）を用いることで期待する返答を得ることができる.プロンプトは, 富嶋[10]のプロンプト紹介を参考に作成した。

本研究では, 具体的な 125 語をデータセットから無作為に選出した 25 語を含むプロンプトを構築し， GPT-4 に提供した.これにより, 汎用言語モデルが中国語母語話者にとって難易度に影響する要因を判断するための情報を学習させることができる.これは，言語処理タスクにおける GPT-4 の適応性を利用し, より複雑な言語理解の課題への適用させるためである.残りの 100 語を 2 語ずつ難易度の比較をさせた. そのため, プロンプトは組み合わせ論的に 4,950 通りある。これらのプロンプトとそれに対する GPT-4 の反応の具体的な例は, 付録 A 及び付録 B にて詳述される.これらの 4,950 のプロンプトをPython 3.11.7
を用いて gpt-4-1106-preview モデルの API ヘリクエストを行った。

## 4. 2 レスポンスの正規化

GPT-4 から得られる日本語のレスポンス (付録 B) は文章であり，正答率の統計分析および後続の語彙難易度算出のため, 論理値へと変換する必要性が生じる,具体的には, 比較される二つの語に関して,【単語 $\mathrm{A}$ 【難易度が【単語 $\mathrm{B}$ 】より高いと判断された場合には-1を割り当て，それ以外に 1 を割り当てる.

## 4. 3 語彙難易度比較の正答率

100 語の 2 つずつの組み合わせは 4,950 通りある.本研究では全て【単語 $\mathrm{B}$ 【方が松下他[7]のデータセットで語彙難易度が高いものを選んだため, 「1」 が正答である。統計結果は，「1」が 3732，「-1」が 1218 であった.そのため, GPT-4 の正答率の割合は 75.39\%である。これは，GPT-4 は比較的高い割合で語彙難易度の関係性を理解していると言える．正規化したデータから見るに，語彙判断を誤った語に偏りがある.例えば，「完徳」という語の語彙難易度は容易であると判断されているが実際は容易とは言えない.このような誤りが生じた理由は, プロンプトに記載した語の難易度を習得した結果，漢語は中国語母語話者にとって容易であると判断されたからだとリスポンスから推測できるが，実際中国語ではあまり使用されていない漢語が存在する.プロンプトに記載した語数が少なく, 以上のような特徴を把握することができなかったと考えられる。

## 4. 4 機械学習による語罙難易度の推定

前節では GPT-4 による語彙難易度比較の真理値の分析を行った.本稿の目的は, 汎用言語モデルによる語彙難易度分析であるため, さらに, 前節の真理値データセットを用いた語彙難易度の推測を行う。

それぞれの語に 100 個の真理值のデータがあるため, 回帰手法を用いれば連続值である語彙難易度を予測することが可能となる.本研究では, ニューラルネットワークを用いて語彙難易度の推定を行った。使用したネットワークは AutoKerasilによって見つけ

られたものであり， 100 個の真理値データを入力として受け取り，連続値である語彙難易度を出力する。 このモデルは, 以下の構造を持っている.入力層 (Input Layer)は 100 次元のベクトルを受け取り,カテゴリデータのエンコーディング (Multicategory Encoding)と正規化(Normalization)を行った後, 2 層の隠れ層(Dense)を経て, 最終的に 1 次元の出力を行う (Regression Head).このモデルには 4,522 個のパラメ一タがあり，このうち 4,321 個が訓練可能である.モデルの検証には, Leave-One-Out (LOO) クロスバリデーションを採用した.この手法では, データセットの各サンプルに対して，そのサンプルをテストデー タとし, 残りのすべてを訓練データとして使用する。 これにより，モデルの汎化能力を評価することができる.

## 4. 5 語彙難易度推測の結果と考察

ニューラルネットワーク機械学習の結果は以下の通りである.語彙難易度の予測結果を示す図 2 において，横軸は語の No., 縦軸は語の難易度である実際の難易度値（緑色の点）と予測値（赤色の点）は,全体的な傾向において相関が見られる.95\%信頼区間（青色の破線）と $99 \%$ 信頼区間（赤色の破線）内に予測值が収まっている割合は，それぞれ $61 \%$ と $71 \%$ と計算された.これは, 予測モデルが語彙難易度を概ね正確に推定できていることを示唆している.

図 2 語彙難易度予測結果

しかし，予測値と実際の難易度値との間にいくつかの外れ値が存在することも観察された.特に, 語彙難易度が低いと予測されたにもかかわらず，実際には難易度が高いと評価されている語がいくつか存在する.これは，モデルが特定の語の特性を充分に捉えきれていないことが原因と考えられる.また, モデルの訓練に使用されたデータセットの多様性が不十分である可能性も指摘できる.以上の結果から，提案したニューラルネットワー クモデルは，語彙難易度の推定において有効であると結論づけることができるが，モデルの精度をさらに高めるためには，追加の特徴量の導入やデータセットの拡充が必要であると言える。

## 5 おわりに

本研究では, 汎用言語モデル GPT-4を用いた日本語語彙の難易度分析方法を提案し，その有効性を検証した.日本語の語彙学習は, 学習者のコミュニケー ション能力や理解度の向上に不可欠であり, 特に語彙難易度は学習過程において重要な役割を果たす。語彙の難易度測定は，適切な言語テストの出題や教材開発に不可欠であるが，従来の方法では大規模な測定が困難であった。

本研究では，GPT-4 を使用して単語間の難易度関係を出力させ，その結果を基にニューラルネットワ一ク機械学習で語彙の難易度を算出する手法を採用した.この手法は, 松下他[7]の研究で使用された中国語母語話者にとっての日本語語彙難易度のデータセットを用いて検証され, その結果, 既存の調査結果の 99\%信頼区間内に収まるデータの割合は $71 \%$ と比較的高いことが示された.これは, 従来の手法よりも迅速かつ広範囲にわたる難易度評価が可能であることを意味する.本研究では, 中国語母語話者にとっての語彙難易度に焦点を当てたが，松下他[7]で実施された語彙テストの分析結果のデータセットに含まれている韓国語母語話者にとっての語彙習得難易度の推定も可能である. また，その他の母語話者にとっての語彙難易度についても，妥当性・信頼性を検証した語彙テストを作成すれば同様に本研究の方法を用いることが可能である.また, 今後の課題として,本研究では 25 語をプロンプトに記載して汎用言語モデルに学習させたが, 学習の語数の違いがどの程度精度に影響するのか検証する予定である。

## 謝辞

この研究において,佐藤ほか $[8]$ で開発された語彙サイズテストの問題, および松下ほか[ $[7]$ での実施結果のデータ（ラッシュ項目難度推定值データ）をご提供, また, 利用をご許諾くださった千葉大学佐藤尚子先生を代表とする研究チームの先生方に深く感謝いたします.

## 参考文献

[1] 坪根由香里, 鈴木理子, 阪本史代, 神谷道夫. 学習者から見た効果的な語彙の指導法・学習法一アンケート結果より一. 小出記念日本語教育研究会論文集, pp. 107-128, 2001.

[2] 佐藤浩史，笠原要，金杉友子，天野成昭. 単語親密度に基づく基本語彙の選定. 人工知能学会論文誌, 19(6), pp. 502-510, 2004.

[3] 水谷勇介，河原大輔，黒橋禎夫. 日本語単語の難易度推定の試み. 言語処理学会第 24 回年次大会発表論文集, pp. 670-673, 2018.

[4] 林妙玉, 白井清昭. 中国語母語話者を対象とした日本語単語の難易度推定. 情報処理学会第 84 回全国大会, 2, pp.75-76, 2022.

[5] 彭悦, 梁震, 笹尾洋介. 日中バイリンガルの音声版日本語語彙サイズテストの開発と検証. 日本語教育, pp. 93-108, 2023.

[6] 乾健太郎. ChatGPT の出現は自然言語処理の専門家に何を問いかけているか. 自然言語処理，30(2) pp. 274-274

[7] 松下達彦, 佐藤尚子, 笹尾洋介，田島ますみ, 橋本美香. 第二言語としての日本語語彙量と漢字力一第一言語と学習期間の影響一. 日本語教育, 178 , pp. 139-153，2021.

[8] 佐藤尚子，田島ますみ，橋本美香，松下達彦，笹尾洋介. 使用頻度に基づく日本語語彙サイズテストの開発一50,000 語レベルまでの測定の試み一.千葉大学国際教養学研究, 1, pp.15-25, 2017.

[9] 松下達彦. 日本語を読むための語彙データベース
(オンライン)
(2016 年 11 月 6 日)

http://www17408ui.sakura.ne.jp/tatsum/database.html \#vdri

[10] 富嶋正貴. ChatGPT プロンプト研究所. The En glish Teachers' Magazine, pp. November-11, 20 23

## 付録 A プロンプト

あなたは「日本語教育の専門家」です。

次の「1. 目的の定義」と「2. プロンプト」を元に、「3. 生成するもの」を「\#結果」の形式に合わせて生成してください。その際、「4.参照物」を参考にしてください。

1. 目的の定義：「二つの単語のうちどちらの単語が中国語母語話者にとって難しいのか知りたい。」

2. プロンプト：「二つの単語のうちどちらの単語が中国語母語話者にとって難しいか考えてください。」

3. 生成するもの：
- 「4. 参照物」の【難しさリスト】の要因を箇条書きで詳しく分析してください。ただし，

【難しさリスト】の単語は易しい単語から難しい単語へと並んでいます。

-「4. 参照物」の【条件】にある【単語A】と 【単語B】の難しさを分析してください。
- 「4. 参照物」の【条件】にある【単語A】と

【単語B】の難しさを分析した結果を箇条書きで出してください。
- 最後に【単語A】と【単語B】のうちで【難しい方の単語】を表示してください。ただし、【単語A】と【単語B】のいずれかを必ず選択すること。

4. 参照物 :

【難しさリスト】

サテライトなど松下（2021）のデータセット中無作為に25語選出した

【条件】

【単語A】：

【単語B】:

\#結果 :

(1)要因 :

(2)難しさ分析 :

(3)難しさ箇条書き :

(4)難しい方の単語:

図 3 プロンプトの内容

## 付録 B GPT-4 の出力

図 4 GPT-4 の出力

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# LLM による合成文脈データを用いた 表のエンティティリンキング

大嶋 悠司 ${ }^{1,2}$ 進藤 裕之 1 寺西 裕紀 ${ }^{3,1}$ 大内 啓樹 1,3 渡辺 太郎 1
1 奈良先端科学技術大学院大学 2 株式会社メルカリ 3 理化学研究所
\{oshima.yuji.ov6, shindo, hiroki.ouchi, taro\}@is.naist.jp
hiroki.teranishi@riken.jp

## 概要

論文の表には実験結果などの重要な情報が含まれるため，表を解析して知識べースと紐づけるエンティティリンキングは有用な技術と期待されている.このタスクでは表のセルを読解して，それが指す知識ベースのエンティティと紐づけるには，幅広い文脈理解が必要になる.しかしながら，論文の本文からセルの文脈を適切に抽出する必要があるという課題があった. 本研究では，大規模言語モデルを活用し，セルの文脈を生成する合成文脈を提案する. このアプローチにより, 既存手法よりリンキング精度が 5 ポイント以上向上することを実証した. また，合成文脈は場合によって論文には記述されていない補助知識も補完されることを明らかにした。

## 1 はじめに

科学技術論文の情報解析は論文検索や読解補助,自動知識べースの構築など科学を加速させる多くの応用が期待される分野である. 特に情報科学技術分野の論文では，実験結果や実験に使用されたデータセット・タスク・評価指標などの重要な情報が論文中の表に記載されるため, 表の情報解析が重要視される. そのため情報科学論文の表に記載される情報を知識べースとリンキングするエンティティリンキング（EL）は有用な技術と期待され，手法やデータセットが提案されている $[1,2,3]$.

S2abEL[3] は，情報科学論文の表に対する EL のための大規模な評価データセットである.これは表のセルを入力として，その文字列が意味する Paper with Code（PwC）のエンティティを出力とするデー タセットである. 例えば表に Transformer という記述があった場合に, PwC 内の Transformer エンティティと紐付けることが正解となる. モデルは本文中

図 1 論文の表のセルに対するリンキング

や引用文献から Transformer の概念を理解し，知識ベース内を検索する必要がある。しかし，本文中からセルの文脈を抽出することが困難な場合がある。例えば，表のセルに手法の省略された名称のみ記載されるが，本文中にはその手法の正式名称が記載されている場合にそれらが同一のものであるとモデルが判断できない場合がある. また，例えば Transformer はよく知られた手法であるため, 本文中にはその説明が記載されていない場合がある. しかし, これらの表のセルに関連する本文の記述の抽出や補助的な情報の追加を人手で行うことは高いコストがかかる.

ここで本研究では機械学習モデルを使ったデータ拡張手法の一つである合成データを用いてこの課題を解決することを提案する．特に ChatGPT[4] や LLaMa2[5] などの大規模言語モデル（LLM）には高い言語理解能力があり，様々なタスクのためにデー タを生成できる. 本研究では，LLMを利用して特定のセルに関連する論文中の文脈を抽出したものを合成文脈データと呼ぶ. LLM に論文の本文を与え， リンキングしたい単語を中心に論文の要約を行うことでその単語の文脈を抽出することが可能である. LLM による合成文脈データを用いることで，提案手法は既存手法と比較して 5 ポイント以上高い精度を達成した。また合成文脈データとルールベースによる特徴量を比較することで，合成文脈データが文

図 2 合成文脈データの生成: 特定のセルに関する記述 （本文文脈情報）が LLM に与えられ，対象セルの内容を LLM に説明させることで本文から対象セルに関するコンテキストが抽出される.

脈補完・知識の追加といった形でリンキングに必要な情報を効果的に抽出・補完していることを明らかにした.

## 2 エンティティリンキング

エンティティリンキング (EL) では，論文中の表における各セルを知識ベース（PwC）内のエンティティに紐づけることを目的とする。また該当するエンティティが存在しない場合は知識外を示す “ontKB” とする必要がある. S2abEL ではこの夕スクを，以下の４つのサブタスクに分割している。

(i) セルの分類：表のセルを method, dataset, metric, dataset\&metric, other の 5 つのタイプに分類するタスク. (ii) 出典引用文献の抽出 : セルの出典となる引用文献を特定するタスク. (iii) エンティティ候補の検索: 表のセルに関連するエンティティを知識ベー スから検索し，リンキングされるエンティティの候補を抽出するタスク. (iv) エンティティ選択：エンティティの候補から正しいエンティティを選択もしくは outKB を推定するタスク。これらサブタスクのうちセルタイプ分類は，先行研究において分類精度が $90 \%$ 超えており，分類の推定を正解データに置き換えても EL の精度は 1 ポイント以下しか変化しない. そのため本研究では対象とせず，セルのタイプは正解データを用いて後続のサブタスクを行う.

## 3 手法

## 3.1 合成文脈データ生成

本研究では，合成文脈データを LLM で生成し， セルの文脈情報として利用することを提案する。これまでの LLM を使ったデータ生成アプローチは，疑似ラベルを生成したり $[6,7]$, 学習データを増加させる目的で使用されている [8]. しかし，本研究ではタスクを解くための重要な文脈を補完すること
で学習データの質を向上させることを目的とする.本研究における合成文脈データ生成のフローを図 2 に示す。

本文文脈情報LLM の人力に用いられる本文中のセルに関連する記述を本文文脈情報と定義する. 本文文脈情報はタイトル，アブストラクト，表のキャプション，本文中の表を引用する文，及び本文中のセルのテキストを含む文の 5 つで構成される.

この本文文脈情報を入力として，対象セルを中心に要約することで合成文脈を生成する，合成文脈では本文文脈の中で対象セルに関連する部分だけが抽出されることに加えて，本文文脈に不足の情報があり LLM がそれに関する知識を持つ場合にその情報が補完されることが期待される。本研究では LLM として OpenAI gpt3.5-turbo-16k を利用する.

## 3.2 リンキング手法

図 3 エンティティリンキング：論文本文，引用文献及び文脈情報を入力として特定の表のセルと紐づくエンティティを知識ベースから検索する．3つのサブタスクからなる。

本研究での EL の手法を図 3 に示す. ELを構成するそれぞれのサブタスクにおける手法を説明する。

出典引用文献の抽出 : 対象論文における対象のセルと引用文献との関連性を測定するために，セルの文脈情報と 1 つの引用文献のタイトル・アブストラクトを入力とする二値分類を行う．モデルとして GPT2 [9] に線形出力層を組み合わせて用いる. 正解ラベルはセルの出典となる引用文献には 1 ，それ以外は 0 として, Binary Cross Entropy loss を用いて GPT2 を含むパラメータ全体を学習する. モデルの出力は入力された文献とセルの関連性を表すスコアとなる。またセルの内容が新規に提案された概念である場合もあるため，対象論文も同様にモデルに入

力される. 対象論文出典としてが選択された場合はセルの内容が論文中で提案された概念であると判断される. ただし，セルに引用文献番号などが付与されており, 出典となる引用文献が明示的に示されている場合はその引用文献を選択する。

エンティティの変換 : 出典引用文献抽出のスコアを用いて出典の可能性の高い引用文献の上位 $\mathrm{k}$ 個を得て，知識べースを用いてそれぞれに紐づくエンティティに変換する. S2abELでは出典引用文献抽出の結果に加えて, Direct Retrieval(DR) というセルのテキストを知識べースから直接検索した結果も利用する. しかし出典引用文献候補だけで理想的にはエンティティ候補として $90 \%$ 以上の recall を得られることが S2abEL の実験結果から分かっているため,本研究では DR は用いない.

エンティティ選択 ：エンティティ選択モデルの学習は S2abEL の手法を踏襲し，SciBERT を用いたクロスエンコーダアーキテクチャ [10] をファインチューニングする．訓練されたモデルは，セルがエンティティと紐づくスコアを出力し, 最も高いスコアのエンティティのスコアが 0.5 未満である場合， そのセルは outKB とする。

## 4 実験

## 4.1 実験設定

S2abEL データセットを用いて EL の評価を行う. 評価指標は, 先行研究と同様に overall accuracy, OutKB F1, InKB accuracy を用いる. 出典引用文献の抽出の学習に合成文脈データを用いて学習したものと S2abEL の再現実装，及び S2abEL 論文での結果を比較する。ただし S2abEL の再現実装では先行研究と異なり，DR を用いずに学習される。また $\mathrm{ED}$ の推定時のエンティティ候補数は，先行研究と同様に $\mathrm{k}=50$ とする.

## 4.2 実験結果

表 1 に EL 実験の結果を示す. 合成文脈を用いた提案手法は S2abEL の再現実装と比較しても精度が OutKB F1 スコアが 5 ポイント，InKB accuracy は 10 ポイント以上向上していることがわかる. また S2abEL の論文中の Direct Retrieval (DR) も追加した結果と比較しても，OutKB F1 スコアが 5 ポイント， InKB accuracy は 4 ポイント向上している. 提案手法は特に InKB accuracy が向上しており, 出典引用文献の抽出の精度が向上したことで正解のエンティティを候補に含めることに成功していることがわかる.

## 5 出典引用文献の抽出実験

## 5.1 タスク定義と手法

EL 実験から出典引用文献の抽出の精度向上がリンキング精度に寄与することが分かった。そこで合成文脈データの効果を直接測るため，EL のサブタスクである出典引用文献の抽出においてセルのコンテキスト情報の変化が精度に与える影響を観測する. ただし，EL 実験ではセルの出典が明示されている場合はその情報を利用したが，本実験ではその情報を利用せずすべてのセルの出典を推定する.

## 5.2 実験設定

本実験では以下の 6 の手法を比較する。

ベースライン :LLM の zero shot learning によって出典となる引用文献を抽出する。モデルは OpenAI gpt-4-1106-preview を用いる。 セルの生コンテキスト情報と全ての引用文献のタイトル・アブストラクトが与えられ，出典となる引用文献を選択する。

S2abEL：S2abEL の再現実装を行い，出典引用文献の抽出タスクのみ行う。

合成文脈：LLMによる合成文脈データを入力としてモデルが学習される。

ChatGPT による知識補完 : gpt3.5-turbo-16k に文脈情報を与えず，セルのテキストのみを入力し gpt3.5 にセルの内容を説明させることで LLM の関連知識を抽出し，それを本文文脈情報に加える。

本文文脈 : 本文文脈情報すべてをモデルの入力として与える。

結果は top1 accuracy 及び top5 accuracy で評価する.ただし GPT4 zeroshot はスコア計算を行わない
表 2 出典引用文献の抽出の実験結果

ため， top1 accuracy のみで評価する．またセルには method, dataset の 2 種類があるため，それぞれについても accuracy を計算する.

## 5.3 実験結果

出典引用文献の抽出実験の結果を表 2 に示す. 結果から合成文脈を用いた手法が top1, top5 いずれにおいても最も高い結果であることがわかる. 合成文脈は本文文脈，S2abEL と比較して all@top1 ともに all@top5 で 10 ポイント以上スコアが向上している. GPT4 zeroshot は学習を行ったいずれの手法よりも著しくスコアが低く， zeroshot では困難な課題であることがわかる．知識補完による手法は本文文脈と比較してall@top1, all@top5 ともに 3 ポイント程度精度向上しており, 外部知識の LLM による補完が有効であることがわかる．また合成文脈が知識補完よりも高い精度であったことから，LLM のコンテキスト情報を要約する能力も重要であることがわかる.

## 6 合成文脈データの効果分析

図 4 合成文脈データ分析 : 文脈補完・知識補完によってリンキング精度向上に寄与

合成文脈データとを用いることで精度が改善されたサンプルの具体例を示す. 文脈補完：セルには手法やデータセットの省略名称のみ記載されるが，本文中に正式名称を用いてその説明が記載される. 例えばある表のセルに “ET Perp”と記載される.これ
は “Perprexity of Evolved Transformer”という意味であるが，“ET Prep”という表現自体は本文中に出てこない。そのため既存手法ではセルを正しく Evolved Transformerに結び付けられなかった. 合成文脈デー タでは，LLM がセルの内容が省略名称であることを理解し，正式名称，省略名称および概念の説明をコンテキストとして全て記載したためリンキングに成功した. 知識補完 : 著名な手法やデータセットの場合，本文中に十分な説明がないことがある．例えばセルの内容が LSTM の場合，本文中に LSTM の記述は存在するがその概念の説明がない場合がある. そのため既存手法では LSTM を新規概念だと判断してしまった．合成文脈データでは，LSTM はLong Short-Term Memory を意味するモデルの一種であることが LLM によって補完されたため，正しい引用文献に紐づけることができた.

## 7 おわりに

今研究では科学技術論文の表セルに対する EL タスクに対し，合成文脈データを適用した．合成文脈データはセルの情報を中心に論文を要約することでセルに関連する文脈を抽出する手法である。この適用により既存研究と比較して精度が 5 ポイント以上改善した。また詳細な分析により，本文の内容を要約するだけでなく LLM が知識を保管することによる精度改善に寄与していることも明らかにした. 本実験では LLM として ChatGPT3.5-turbo-16k を用いたが，より大規模なモデルや特定のドメインに特化したモデルでの評価は今後の課題である.

## 謝辞

本研究は，社会人博士支援制度「mercari R4D PhD Support Program」の支援により実施しています. また本研究は, JST ムーンショット型研究開発事業 (JPMJMS2236)の支援を受けたものです.

## 参考文献

[1] Marcin Kardas, Piotr Czapla, Pontus Stenetorp, Sebastian Ruder, Sebastian Riedel, Ross Taylor, and Robert Stojnic. AxCell: Automatic extraction of results from machine learning papers. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8580-8594, Online, November 2020. Association for Computational Linguistics.

[2] Sean Yang, Chris Tensmeyer, and Curtis Wigington. TELIN: Table entity LINker for extracting leaderboards from machine learning publications. In Tirthankar Ghosal, Sergi Blanco-Cuaresma, Alberto Accomazzi, Robert M. Patton, Felix Grezes, and Thomas Allen, editors, Proceedings of the first Workshop on Information Extraction from Scientific Publications, pp. 20-25, Online, November 2022. Association for Computational Linguistics.

[3] Yuze Lou, Bailey Kuehl, Erin Bransom, Sergey Feldman, Aakanksha Naik, and Doug Downey. S2abEL: A dataset for entity linking from scientific tables. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 3089-3101, Singapore, December 2023. Association for Computational Linguistics.

[4] OpenAI. Chatgpt, 2023. https://chat.openai.com.

[5] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[6] Zirui Wang, Adams Wei Yu, Orhan Firat, and Yuan Cao. Towards zero-label language learning. arXiv preprint arXiv:2109.09193, 2021.

[7] Chenxi Whitehouse, Monojit Choudhury, and Alham Aji. LLM-powered data augmentation for enhanced crosslingual performance. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 671-686, Singapore, December 2023. Association for Computational Linguistics.

[8] Martin Josifoski, Marija Sakota, Maxime Peyrard, and Robert West. Exploiting asymmetry for synthetic training data generation: SynthIE and the case of information extraction. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the $\mathbf{2 0 2 3}$ Conference on Empirical Methods in Natural Language Processing, pp.
1555-1574, Singapore, December 2023. Association for Computational Linguistics.

[9] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[10] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 合成文脈データ生成

合成文脈データ生成は ChatGPT3.5-turbo-16k を用いて行った. モデルへの入力は以下のフォー マットにセルのテキスト (CELL_CONTENT),論文タイトル (PAPER_TITLE), アブストラク卜 (PAPER_ABSTRUCT), 及び本文脈情報（PAPER_CONTEXT）を埋め込む。 prompts

system_prompt : You are a researcher in the field of machine learning. You are provided with a word that appears in a certain paper and information in the paper related to that word. Please explain the word based on the information provided.

user_prompt : Please explain the word $\left.\{C E L L_{-} C O N T E N T\right.\}$. The title of the paper in which this word appears is "\{PAPER_TITLE $\}$ ", and the abstract is "\{PAPER_ABSTRUCT $\}$ ". The category of this word is $\left.\{C E L L_{-} T Y P E\right.\}$. The relevant descriptions in the text are written below. $\{$ PAPER_CONTEXT \} Please provide your answer as concisely as possible.

## B モデルハイパーパラメータ

実験に利用した出典引用文献の抽出モデルのハイパーパラメータを記載する。

表 3 出典引用文献の抽出モデルのハイパーパラメータ

## C ChatGPT zero shot-learning

5 章の実験において，出典引用文献の抽出タスクに対して GPT4を zero-shot で用いた。具体的には以下の文章に論文の本文情報と全引用文献のタイトル・アブストラクトを埋め込んで入力する. 出力として出典となる引用文献の id と，もしそれが論文中で提案された新規概念かどうかのフラグを取得する. 論文中で提案されたフラグだと判断される場合は引用文献 id を使わず SourcePaper を出典とする. system prompt : You are tasked with identifying the source reference of the concept indicated by the cell text in a table within a machine learning academic paper. This paper is referred to as the "Source Paper" and its cited literature as "Reference Papers". The concept indicated by the cell text in the table is either a dataset or a method, which was proposed either in the cited literature. Your task is to estimate the paper in which this concept was proposed. For making your estimation, you will be provided with the cell text of the table, the type of concept that the cell text of the table is indicating, the caption of the respective table, and descriptions in the "SourcePaper" that are relevant to the respective table. You will also be presented with potential choices which include the title and abstract each of the cited literature. Please make a selection from these options. Your response should be in the following JSON format: \{ "estimate_result": "ID of a ReferencePaper", "is_source": "True or False" \} Please input that ReferencePaper's ID into the estimate_result field. Also, if you believe that the content indicated by the cell text in the table is something newly proposed in the SourcePaper, please enter True in the is_source field.

## user prompt :
- Cell Text: $\{$ CELL_CONTENT \}
- Concept Type: $\{$ CELL_TYPE\}
- Table Caption: $\{$ TABLE_CAPTION $\}$
- Paper Contents related to the Table:

\{table_context $\}$

Please make a selection from the following options.

Source Paper: "\{PAPER_TITLE $\}$ ",

" $\{$ PAPER_ABSTRUCT $\}$,

Cited Papers: ID: "\{PAPER_TITLE $\}$ ",

"\{PAPER_ABSTRUCT $\},$


# 固有表現抽出における大規模言語モデルの LoRA ファインチューニングの学習設定の調査

鬼頭 泰清 牧野 晃平 三輪誠 佐々木裕
豊田工業大学
\{sd20037,sd21505, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

大規模言語モデルを低コストでファインチューニングする LoRA と呼ばれるファインチューニング手法が注目を集めている。一方で，LLM の固有表現抽出 (NER) に対する性能は低く，未だ BERTを用いた最先端モデルの性能に追いついていない. 本研究では，生命医学分野の NER に有効な LLM の LORA を用いたファインチューニングの学習設定を調査した．結果として，最先端モデルの性能を上回る結果は得られなかったが，(1) プロンプトが不要であること，(2) タグ付けによる NER が高性能であること，（3）学習可能な全ての層にLoRA を適用することで少ない学習パラメタ数でも Full Fine-tuning と同等の性能を達成することを明らかにした。

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は，文章中から人名や組織名などの特定の固有表現を抽出する基礎的な自然言語処理タスクで，文章の内容を捉える上で重要である。NER は古くから取り組まれ，その適用先は新聞記事などの一般的な文書のみならず，生命医学や化学などの専門分野の文書にも広がっている [1]. 近年では，ニューラルネットワークを用いた手法が主流で，事前学習済み言語モデルの一つである BERT (Bidirectional Encoder Representations from Transformers) [2] を基盤とした教師あり学習による手法が高い性能を示している.

最近では，BERTよりも大規模なパラメタを持つモデルを大規模に事前学習した大規模言語モデル (Large Language Model; LLM) が自然言語処理分野で強力な存在感を見せており, 質問応答や常識推論などのタスクで最高性能を発揮している [3]. NER においても LLM を用いた手法が研究されているが，現状では NER におけるLLM の性能は低いという問

図 1 研究の調査内容

題があり $[3,4]$, 特に生命医学分野においては一般分野と比較して大幅に低い性能が報告されている [5].性能を向上させるために LLM をファインチューニングする研究もされているが，未だ BERTを用いた最先端モデルの性能を下回っており [6,7], 高い性能を発揮するための学習設定は明らかでない.

モデルの全パラメタを更新する通常のファインチューニング (Full Fine-tuning)を大規模なパラメタを持つ LLM に対して行うのは膨大なコストがかかるため，最近では少数のパラメタのみを更新してコストを低減する LoRA (Low-Rank Adaptation) [8] と呼ばれるファインチューニング手法が注目を集めている。LoRA はコストを抑えつつ，自然言語理解や自然言語生成などのタスクで Full Fine-tuning と同等の性能を発揮することが報告されている.

本研究では生命医学分野の NER を対象とし, LoRA による LLM のファインチューニングに有効な学習設定を明らかにするため，図 1 のように，プロンプト，NER タスクの解法，LoRA の設定の観点

から，それぞれが性能に及ぼす影響を調査する。本研究の貢献は次の通りである.

・NER に対する LLM のファインチューニングにおいて，プロンプトが性能に与える影響は無視できることを確認した.

・LLM による NER タスクのタグ付けと抽出による解法を比較し，タグ付けを用いた方が高い性能を得られることを確認した。

・LoRA を適用する層の種類を多く設定することで，少ない学習パラメタ数で Full Fine-tuning と同等の性能を達成することを確認した。

## 2 関連研究

## 2.1 大規模言語モデルによる固有表現抽出

LLM は学習データ量やモデルのパラメタ数が膨大に増加したことで，プロンプトの文脈からタスクを学習する In-Context Learning (ICL) の能力を獲得し，プロンプトエンジニアリングと少数事例を用いた ICL に基づく Few-shot 学習により, 幅広いタスクにファインチューニングなしに適応することが可能となってきた [9]. NER においても LLMを利用する研究が進んでおり，LLM の ICL に基づいた NER の研究 [4] や，LLMをファインチューニングする研究 $[6,7]$ が行われている. NER は系列ラベリング問題として取り組まれることが多い [10]が，LLM はテキスト生成を行うモデルであるため，系列ラべリングとは異なるタスク設定が必要である. テキス卜生成による NER は様々な手法が提案されており， "I have a headache"という入力文に対して，"I have a @@ headache\#\#” のように固有表現にタグ付けした文を出力させる手法 [3] や，"Disease: headache"のように固有表現のみを出力させる手法 [11] などが提案されている。一方で，LLM による NER の性能，特に生命医学分野のような専門的な文章に対する性能は，BERTを始めとするエンコーダモデルを用いた最先端モデルに未だ劣っている.

## 2.2 LoRA

LoRA はモデルが持つパラメタを凍結し，新たに導入した低ランク行列のパラメタのみを更新することで，性能を保ちつつ低コストなファインチューニングを実現する手法である [8]. LoRA では, モデルの初期パラメタ $\Phi_{0}$ に対してパラメタ数
が $|\Theta| \ll\left|\Phi_{0}\right|$ となるパラメタ $\Theta$ を導入し，パラメタの差分 $\Delta \Phi(\Theta)$ を以下のように最適化する.

$
\max _{\Theta} \sum_{(x, y) \in Z} \sum_{t=1}^{|y|} \log \left(P_{\Phi_{0}+\Delta \Phi(\Theta)}\left(y_{t} \mid x, y_{<t}\right)\right)
$

具体的には，モデルのある線形層 $W_{0} \in \mathbb{R}^{d \times k}$ に対して, $r \ll \min (d, k)$ の低ランク行列 $B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$ を用いて $W_{0}+\Delta W=W_{0}+B A$ とし, $\mathrm{B}, \mathrm{A}$ のみを最適化する．LoRA は単純な線形変換であるため，BAを $W_{0}$ にマージすることができ，推論時の遅延が発生しないという利点もある. 入力 $x$ に対して出力 $h$ は以下のように計算される.

$
h=W_{0} x+\Delta W x=W_{0} x+B A x=\left(W_{0}+B A\right) x
$

## 3 実験

本研究では，生命医学分野の NER を対象とした LLM のファインチューニングを対象に，LLM の学習設定を，プロンプトの必要性，NER タスクの解法，LoRA の設定に細分化し，段階的に評価を行い，最終的なモデルを他のモデルと比較した. まず， ファインチューニングにおけるプロンプトの必要性を調查するために，学習データに既存研究のプロンプトを用いる場合と，入力文のみを用いる場合の性能を比較した (3.2 節). 次に，テキスト生成を行う LLM に対して，NER タスクをどう解くように学習させればよいかを調査するために，LLM による NER の既存研究におけるタスクの解法を「タグ付け」と「抽出」の2 種類に分類し，性能の比較を行った (3.3 節). さらに, NER において LoRA の学習設定が性能に与える影響を調査するために，LoRAを適用する層とランクについて，複数の組み合わせを設定し，性能の比較を行った (3.4 節). 最後に，既存モデル, Full Fine-tuning との比較を行った (3.5 節).

## 3.1 設定

LLM には，Llama-2-7B [12] と，対話に特化させるインストラクションチューニングが施された Llama-2-chat-7B を使用した. 各実験における学習・評価には，生命医学ドメインの NER データセット BC5CDR を使用した. 固有表現ラベルは Disease と Chemical の 2 種類である. BC5CDR のデータの統計を付録 A の表 5 に示す. なお，3.2 節と 3.3 節では， LoRAを学習可能な全ての層に適用し，ランクを 8 に固定してファインチューニングを行った.

図 2 プロンプトの概要

表 1 プロンプトの有無に対する F1 值 (\%)

## 3.2 プロンプトの必要性

ICL による NER の Sun ら [3] が使用したプロンプトの概要を図 2 に示す. ファインチューニングを行わない場合, LLM は事前学習で得た知識と ICL に基づいてタスクを解くため，プロンプトは NER の性能に大きく影響する重要な要素となる。一方でファインチューニングを行う場合，プロンプトが性能に影響するかは不明である.

そこで，ファインチューニングを行う場合のプロンプトの必要性を調査するために，図 2 のプロンプトを用いた場合と，入力文のみを用いた場合で，Llama-2-chat-7B のファインチューニングを行った. 入力文のみの設定では Llama-2-7B のファインチューニングも行い，対話用のインストラクションチューニングの必要性を調査した. 固有表現ラベルは Chemical のみとし，損失は “Answer:” 以降を対象に計算した。ファインチューニング後の開発データに対する評価を表 1 に示す.

Llama-2-chat-7B の結果より，ファインチューニングにおいてプロンプトの有無が性能に与える影響は無視できることが確認できた．また，Llama-2-7B が Llama-2-chat-7B と同等の性能であることから，インストラクションチューニングされたモデルである必要もないことが確認できた. 以上の結果を踏まえて，以降の実験では入力文のみのプロンプトと Llama-2-7Bを用いる.

## 3.3 NER タスクの解法

LLM による NER の既存研究では，テキスト生成によって NER タスクを解く様々な方法が考案され表 2 NER の各解法に対する F1 値 (\%)

ているが，その方法は大きくタグ付けと抽出の 2 種類に分類できる．タグ付けによる NER では，入力文に対して固有表現と認識した部分にタグを付けた文を出力させ，抽出による NER では，入力文に対して固有表現と認識した単語のみを出力させる。さらに，両者において各固有表現ラベル毎に独立してモデルを学習・推論させる方法と，全固有表現ラべルを一度に学習・推論する方法に分けられる。

ファインチューニングにおいて NER タスクの解法が性能に及ぼす影響を調査するために，NER タスクの 2 種類の解法と，学習・推論ラベルの 2 種類の組み合わせでそれぞれファインチューニングを行い，開発データに対する抽出性能を評価した. 各設定の出力フォーマットは付録 B の表 6 の例のようにした。なお，各設定の性能を同一条件で比較するため，各固有表現ラベルごとに独立して学習・推論を行う設定については，1つのトークンに 1 つのラベルのみが割り当てられるように，Disease > Chemical の優先度でラベル付けする後処理をした。

表 2 の結果より，NER の解法については，抽出よりもタグ付けの方が高い性能が得られた. 学習・推論については，各固有表現ラベル毎に行う場合と全固有表現ラベルを同時に行う場合で性能差は見られなかった．以上の結果を踏まえて，以降の実験では NER 解法をタグ付けとし，学習と推論のコストが低い全固有表現ラベルを同時に学習する設定でファインチューニングする.

## 3.4 LoRA の設定

LoRA を適用する層とランク $r$ の大きさが性能に与える影響を調査するため，それぞれを変化させた場合の比較実験を行った．LoRA はモデルの任意の層に適用でき，その層のみを学習対象にできる。また，ランク $r$ の大きさによって，学習可能なパラメ夕数を変更できる. Llama-2 における学習可能な層には，注意機構 (query/key/value/output projection)と全結合層 (up/down/gate projection, embedding, $1 \mathrm{~m}$ head) があり，それぞれ $W_{q}, W_{k}, W_{v}, W_{o}, W_{u}, W_{d}, W_{g}, W_{e}$,
表 3 LoRAを適用する層とランク $r$ の組み合わせに対する $\mathrm{F} 1$ 值 $(\%)$

表 4 LoRA, Full Fine-tuning, SOTA モデルの性能 (\%)

$W_{h}$ とする. 各設定における学習パラメタ数を付録 C の表 7 に示す.

表 3 のファインチューニング後の開発データに対する結果より，LoRAを適用する層が 2 種類以下のとき，性能は大幅に低く，ランクの変動によって性能も大きく変化した. 層の種類の増加により, 性能は向上し，学習可能な全ての層に適用したときに， ランクの影響を受けずに高い性能が得られた。学習パラメタ数で比較すると, 例えば $W_{q}$ のみの $r=128$ と $W_{q}, W_{k}, W_{v}, W_{o}$ の $r=2$ では, 後者の方が学習パラメタ数が少ないにも関わらず性能が高く，学習パラメタ数が多いほど性能が高くなるとは限らないことが確認できた. 以上より, 同じパラメタ数を学習させる場合にはランクよりも LoRAを適用する層を多く設定する方が効果的であると考えられる。

## 3.5 NER の性能評価

3.4 節の結果より，学習可能な全ての層に LoRA を $r=128$ で適用し，テストデータで評価した。また，比較のために Full Fine-tuningを行い，同様に評価した. 各手法の学習コストを付録 D の表 8 に示す.それぞれの評価値と BC5CDR において SOTA を達成した Zhang ら [13] の性能を比較する.

表 4 の結果より，LoRAを適用することで，少ない学習パラメタ数で Full Fine-tuning と同等の性能を達成した. しかし, SOTA モデルの性能を上回ることはできず，更なる性能向上を目指す必要がある。

## 4 考察

NER に対する LLM のファインチューニングにおいて，プロンプトの有無は性能に影響を与えなかっ
た. これは，大量のタスクデータを学習したことで，推論の手助けとなるタスクの説明や Few-shot の例示の必要性がなくなったからだと考えられる.プロンプトを除いた最低限のデータで学習できるため，コストの削減につながる。

NER の解法については，抽出よりもタグ付けの方が性能が高くなった. 入力文が与えられたときに，単に固有表現のみを出力させるよりも，再度同じ文を出力しつつ途中でタグを付ける方が文脈を捉えることができると考えられる。

LoRA については，ランクよりも適用する層の種類の方が NER における性能への影響が大きいという結果が得られた. LoRAを適用する層が幅広いほど，各層が担う NER に必要な潜在能力を幅広く刺激できたと考えられる。

## 5 おわりに

本研究では生命医学分野の NER を対象として, LLM の LoRA を用いたファインチューニングにおいて，有効な学習設定を明らかにするために，プロンプトの必要性，NER タスクの解法，LoRA の設定について，それぞれが性能に及ぼす影響を調査した. ファインチューニングを行う場合，プロンプトを設計する必要はなく，タグ付けによる NER の解法を用いることで高い性能が得られることがわかった．LoRAについては，ランクよりも適用する層の種類の方が重要で，学習可能な全ての層に LoRA を適用したときに極めて少ないパラメタ数で Full Fine-tuning と同等の性能を達成することが確認できた.

今後の課題として，LoRA を適用する層の組み合わせについて詳細に調査し，より低コストで高性能を発揮するための学習設定を明らかにすることが挙げられる。また，LoRA 以外にも低コストでファインチューニングをする手法が複数存在するため，それらの手法との比較も必要である.

## 謝辞

本研究は JSPS 科研費 JP20K11962 の助成を受けたものです.

## 参考文献

[1] Jiao Li, Yueping Sun, Robin J. Johnson, Daniela Sciaky, Chih-Hsuan Wei, Robert Leaman, Allan Peter Davis, Carolyn J. Mattingly, Thomas C. Wiegers, and Zhiyong Lu. BioCreative V CDR task corpus: a resource for chemical disease relation extraction. Database, Vol. 2016, p. baw068, 052016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Xiaofei Sun, Linfeng Dong, Xiaoya Li, Zhen Wan, Shuhe Wang, Tianwei Zhang, Jiwei Li, Fei Cheng, Lingjuan Lyu, Fei Wu, et al. Pushing the limits of chatgpt on nlp tasks. arXiv preprint arXiv:2306.09719, 2023.

[4] Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei Zhang, Jiwei Li, and Guoyin Wang. Gptner: Named entity recognition via large language models. arXiv preprint arXiv:2304.10428, 2023.

[5] Mingchen Li and Rui Zhang. How far is language model from $100 \%$ few-shot named entity recognition in medical domain. arXiv preprint arXiv:2307.00186, 2023.

[6] Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, Jing Li, Fu-lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised llama finetuning. arXiv preprint arXiv:2310.01208, 2023 .

[7] Oscar Sainz, Iker García-Ferrero, Rodrigo Agerri, Oier Lopez de Lacalle, German Rigau, and Eneko Agirre. Gollie: Annotation guidelines improve zero-shot information-extraction. arXiv preprint arXiv:2310.03668, 2023.

[8] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle,
M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[10] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] Xiao Wang, Weikang Zhou, Can Zu, Han Xia, Tianze Chen, Yuansen Zhang, Rui Zheng, Junjie Ye, Qi Zhang, Tao Gui, et al. Instructuie: Multi-task instruction tuning for unified information extraction. arXiv preprint arXiv:2304.08085, 2023.

[12] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[13] Sheng Zhang, Hao Cheng, Jianfeng Gao, and Hoifung Poon. Optimizing bi-encoder for named entity recognition via contrastive learning. In The Eleventh International Conference on Learning Representations, 2023.

## A データセットの統計

本研究で使用したデータセット BC5CDR の, 固有表現ラベルごとの事例数を表 5 に示す.

表 5 BC5CDR の固有表現ラベルごとの事例数

## B 使用したプロンプト

3.3 節で設定した, タグ付けによる NER と抽出による NER の出力フォーマットの例を表 6 に示す.

表 6 入力文 “Mesna significantly reduces IFO 's genotoxicity” に対する出力フォーマット

## C LoRA のパラメタ数

3.4 節における，LoRA を適用する層とランクの組み合わせに対する学習パラメタ数を表 7 に示す.

表 7 LoRAを適用する層とランク $r$ の組み合わせに対する学習パラメタ数

## D 学習コスト

3.5 節における, LoRA と Full Fine-tuning の学習コストを表 8 に示す.

表 8 LoRA と Full Fine-tuning の学習コスト


# LLM はユーザーに適したテキストの難易度を 暗黙的に考慮しているのか?

郷原聖士 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{gobara.seiji.gt6,kamigaito.h, taro\}@is.naist.jp

## 概要

学生の理解度向上には、個人の学習レベルに適した教育が必要である。また、言語学習などの指導では、教員は各学生の理解度の把握が重要である。ただし、教員が全学生に個別指導を行うのは時間的な制約から困難である。解決策として、大規模言語モデル（LLM）で学生の質問応答をサポートする方法が考えられる。LLMは、幅広い分野への回答が可能なため、LLMを活用した細かな指導の自動化が期待される。しかし、LLM が指導者の代わりに質問応答できるとして、細かな指導の限界は未知である。そこで本研究では、教育分野での LLM の活用を促進するために文章の難易度に焦点を当てて、LLMが持つユーザへの暗黙的な難易度調整能力を調査する。

## 1 はじめに

学生の理解度を高めるためには、個人に合った指導方法が必要である。

LLM LLM は、BERT [1]をはじめとする旧来の小規模モデルと比較して、より大量のデータを使って莫大なパラメータ数で学習を行ったモデルである。 LLM の著しい発展により、文章の要約や機械翻訳、質問応答などの様々なタスクが高精度で解けることが知られている $[2,3,4,5,6,7,8]$ 。LLM の成功を受けて、教育応用に向けた研究が注目されている。

教育応用 LLM を使った教育応用として、子供から大人までの幅広い人々に対する、ステップバイステップでの方式や、クイズ・フラッシュカードのようなインタラクティブな形式での教育方法などがある [9]。LLM を利用した教育方法で子供の好奇心を刺激することで、子供の学習意欲を高める働きがあると報告されている [10]。また、LLMを活用した教育応用として、テキスト平易化がある。

図 1 概要図

テキスト平易化テキスト平易化は、文や文章の意味や内容を保持した上で、文法や構造を平易なものに変換する自然言語処理の生成タスクの一つである [11]。テキスト平易化を行うことで、読者の理解しやすい言葉や表現に変換され、情報を効率的に伝えることが可能となる。LLMを用いた手法としては、 GPT-3.5 [2] を使って zero-shot と few-shots で平易化する方法 [12] や、難易度を付与して文章の難易度を調節する方法 [13] がある。生成する文章の難易度を調節することで、ユーザそれぞれに対して分かりやすい文章を提供することが可能になる。また、 ユーザに合ったシステムをそれぞれ提供する仕組みとして、個人化がある。

個人化 Xie ら [14] は、2007 年から 2017 年の個人化に関する研究の傾向を分析し、秀逸な学習システムの実装や学習者の選好の統合、個々の学習データの分析に関する研究が行われていることを示唆している $[15,16]$ 。LLM では、人間の選好を学習に用いることで文章の個人化を実現し、モデルの精度を向上させている [2]。文章の個人化として、例えば言語学習では、教師が生徒の理解度を一定数考慮した上でレベルを調整しながら、文法や語学に関する説明を行っている。しかし、生徒の理解度にはバラつきがあり、教師が各生徒の理解度を把握してそれぞれに合わせた説明を行うのは時間の制約から困難で

ある。そこでLLMを使って問題作成や講義の説明を実施することで、学習者の理解度に合わせた個人化が期待される [17]。すなわち、LLM による学習の個人化のためには、学習者の理解度を考慮する必要がある。

しかし現時点では、LLMがどれだけ学習者の理解度を考慮した上で文章を生成しているのかは分かっていない。本研究では、教育分野における LLM の活用を促進するために文章の難易度に焦点を当てて、LLM が持つユーザの入力に対する暗黙的な難易度調整能力を調査する。

## 2 実験手法

## 2.1 実験設定

本実験では、再現性確保のために乱数を固定して Greedy Search で文章生成を行った。また、文章の入力トークン数と生成トークン数の合計は 3072 トークンに設定した（付録 A）。

## 2.2 データセット

本実験では、質問応答を収集した stack-overflow データセットと、授業中の対話履歴を収集した Teacher-Student Chatroom Corpus （TSCC） [18] の 2 種類に対して評価実験を行った。

## 2.2.1 stack-overflow

stack-overflow データセット11は、主にプログラマーのソースコードや実行環境などに関連した質問回答を収集した 1,000 件のデータセットである。本データセットは、2023 年 7 月 1 日時点での質問データセットをスクレイピングし、質問応答に対応しているデータを抽出することで構築した。

## 2.2.2 TSCC

TSCC は、Caines ら [18] が公開している 260 件のデータセットであり、教師と学生の授業内でのチャットログを収集したものである。本研究では、先頭からの対話履歴を抽出してラベル teacher と studentを冒頭に付与し、11ターン以降の発話で、最初に教師が返答する直前までの対話を入力とした。

## 2.3 モデル

本研究では、LLM が持つユーザへの難易度調整能力を調査するために、複数の LLM $[2,3,4,5,6,7,8]$ を比較対象に選出した。

ChatGPT [2,3] は人間とのアライメント（RLHF : Reinforcement Learning from Human Feedback）を考慮した LLMであり、現在利用可能な言語モデルとしては極めて性能が高いことが知られている。

LLaMA-2 [4] は、 7 億から 70 億のパラメータを持つ事前学習および微調整済みの LLMである。本モデルは、多くのベンチマークで高い性能を示している点にくわえて、人手評価によって有用性と安全性の点が評価されており、クローズドソースのモデルを代替する可能性を秘めている。

Vicuna [5]は、LLaMA [19]をべースとしてChatGPT とのやり取りを収集したデータセット2)を用いて、人間の選好に合うように学習された LLM である。本研究では、LLaMA-2をべースとして学習を行ったバージョンのモデルを比較対象として選定した。

Orca [6] は、LLaMA-2 をべースとして、 100 件のタスクに対して段階を踏み、詳細に答える、といった複数の戦略に基づいたプロンプトでファインチューニングしたモデルである。本モデルは、複数の合成データを用いて学習していることから、入力文への臨機応変な出力対応と共に、暗黙的な難易度調整能力を獲得していることが期待される。

Mistral [7] は、70 億のパラメータを持つ事前学習済みモデルである。本モデルよりもパラメータサイズの大きな LLaMA-2 の 13b モデルと比較して、 Mistral はベンチマークで高い性能を記録している。

Starling [8] は、Mistralをファインチューニングした Openchat3.5 [20]をべースとして、GPT-4 [3] のフィートバックで学習した報酬モデルを用いて訓練したモデルである。Mistrial をべースとして学習したモデルについても同様に、ファインチューニングで難易度調整能力を獲得するのかを調査するために選定した。

## 2.4 プロンプト

本実験では、プロンプトによる効能を考慮するため、stack-overflow データセットでは simple、normal、 complex の 3 種類、TSCC では 1 種類のプロンプトに対する各言語モデルの生成例を収集し、比較実験

2) https://sharegpt.com/

を行った。ただし、プロンプトで Rooein ら [13] のように難易度を付与する場合、個人化の方向性が固定化され、実際にはユーザに不適な個人化を行う懸念がある。したがって、LLM が持つ暗黙的な難易度調整能力を評価するために、プロンプトと入力にはユーザーの文章理解度を含めず、表 3、表 4 のように設定した。

## 2.5 評価指標

本研究では、LLM の難易度調整能力を調査するため、文章の難易度、同義性、㔯長性という 3 つの軸を評価指標として設定した。評価時には、入力文と生成文の各評価指標に対するスピアマンの順位相関係数を計算した。また、生成文の内、空白などの不適な文の生成数（Skip）についても記録した。

難易度言語教育などの現場では、教師が生徒の語彙力や文章理解能力に合わせて言い換える必要があるため、本研究ではこの能力を文章の難易度として評価指標に設定した。評価指標には、伝統的な文章の難易度推定指標である FKGL [21]、FRE [22]、 SMOG [23] にくわえて、NERF [24]を選出した。 NERF は、語彙の難易度、文章の構造の複雑さ、ユニークな語彙の種類からなる4つの要素に対して、人手で作成した特徴量で文章の難易度を定式化したものである。FKGL PMOG などの伝統的な難易度推定指標と比較して、高い精度で文章の難易度を推定可能であると報告されている。

同義性生成した内容について、LLM が正しい内容を返していることを調査する必要がある。そこで我々は、収集したデータセットに含まれていた文章をリファレンスとして、LLMによって生成された文章に対する BERTScore [25] を計算することにより、LLM がユーザーの意図した内容に沿って回答していることを確認した。

冗長性質問応答や教育の現場などにおいて、教師は生徒に対しで長ではない適切な長さでの説明をすることが望ましい。したがって本研究でも LLM が過不足ない適度な長さで応答文を生成することが出来ているのかを調査するため、LLM の生成文と入力文の長さを比較した。

## 3 実験結果と考察

表 1 に、 stack-overflow データセットで normal プロンプトを入力して回答を生成した時の、入力文と出力文の難易度に対する相関係数を示す。表
1 において、多くのモデルでは BERTScore が高くなっているが、LLaMA-2 に関しては内容の繰り返しや文章が生成されなかったデータを含んでいたことで (Skip)、全体的に数值が低くなっている。 Orca-2-7b と Orca-2-13b を比較すると、全ての項目で Orca-2-13b の性能が高くなっていることから、モデルのスケーリング則が確認できる。

また、全体として、Vicuna-13b、GPT-3.5、GPT-4 の性能が高く、そのスコアは人手で作成された回答 （original）よりも高い数值になっている。すなわち、 LLM は人間と比較して、質問者の作成した文章の難易度を考慮して回答を生成することができると考えられる。Vicuna-13b、GPT-3.5、GPT-4 は、どれも学習に対話データのログを用いており、対話ログには、質問内容の訂正や人間の選好性が反映されていることから、暗黙的な難易度調整能力の獲得には、人間の選好性が重要であると考えられる。

くわえて、Mistral-7bは、Vicuna-13b、GPT-3.5、 GPT4 に次ぐ性能であったが、モデルの学習に用いられている、Web 上からクロールしたデータセットに関する詳細が明らかではないため、データのリー クが発生している懸念がある。ここで、GPT-3.5 と GPT-4 を比較すると、一般的に GPT-4 の性能が高くなることが知られているが、本タスクでは GPT-3.5 の方が高いスコアになる評価指標が多かった。このことから、GPT-4 による学習は、GPT-3.5 と比較して、難易度調整能力を向上させていないと考えられる。一方で、GPT-4-0613と GPT-4-1106を比較すると、全ての項目で GPT-4-0613 のスコアが高くなっていたため、バージョンアップに際して行った追加学習が、生成する文章の暗黙的な難易度調整能力を減退させたと考えられる。ただし、本実験で用いたデータについて、特に stack-overflow データセットは、オンライン上でのプログラムコードをメインに扱った匿名のやり取りを収集しているため、コード自体の文章の難しさと、質問者の質問内容から生じる文章の難しさが混在しており、上手く評価面で切り分けられていない可能性がある。よって、コードに特化した LLM による生成文の評価と、コードを含まないデータセットに対する生成文の評価を追加で実施する必要があると考えられる。

また、 simple プロンプトと normal プロンプトを用いた場合についても上記と同様の傾向が見られたが、いずれもユーザーに対して過度に親切にしたり難しくしたりしない、normal プロンプトを用いた
表 1 stack-overflow データセットでの生成文の特徴量に対する相関係数（normal プロンプト）

表 2 TSCCでの生成文の特徵量に対する相関係数

場合の相関係数の方が高くなっていた。このことから、LLM は暗黙的な難易度調整能力を十分に高く獲得していることが示唆された。

一方で、TSCCでの入力文と出力文の難易度に対する相関係数は、BERTScore を除いて低くなっていることが見て取れる（表 2)。TSCC で比較対象とした生成文のトークン数は、 stack-overflowデータセットと比較して高々数十トークンと少なく、対話特有のスラングを含んでいた。したがって、LLM は入力文に対して自然な対話を生成していた一方で、評価対象とした生成文が短く、極端に省略された対話特有のスラングを含む文が多かったため、対話での LLM の難易度調整能力を正しく評価できていない可能性が高い。そこで LLM で複数ターンの対話を生成し、入力データの過去の student の発話履歴を複数ターン分収集して比較することで、LLM の持つ対話での難易度調整能力をより正確に評価できるようになると考えられる。

## 4 おわりに

本研究では、LLMの持つユーザへの暗黙的な難易度調整能力を検証するために、質問応答と対話を用いて LLM が生成した文章と入力文章の難易度を比較した。実験の結果、Vicuna-13b、GPT-3.5、 GPT-4 による生成文と入力文の難易度に強い相関関係が見られた。また、一部の LLMでは人間の作成した回答データと比較して、相関係数が高かった。 このことから、LLM は人間よりも暗黙的に難易度を調節した回答文を生成できることが示唆された。

今後は、LLM の難易度調整能力の獲得過程を分析するために、人間と LLM の対話履歴を用いて、 どの選好が難易度調整能力に有効であるのか調査したいと考えている。例えば、Starling のベースモデルとなった OpenChat 3.5 [20] と、ベースである Mistral の同タスクでの性能比較のように、学習に用いられたデータや学習手法で、暗黙的な難易度調整能力の獲得に差はあるのか、検証を進めていきたい。

## 参考文献

[1] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacL-HLT, Vol. 1, p. 2, 2019.

[2] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744, 2022.

[3] OpenAI, :, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila, Igor Babuschkin, Suchir Balaji, Valerie Balcom, Paul Baltescu, Haiming Bao, Mo Bavarian, Jeff Belgum, Irwan Bello, Jake Berdine, Gabriel Bernadett-Shapiro, Christopher Berner, Lenny Bogdonoff, Oleg Boiko, Madelaine Boyd, Anna-Luisa Brakman, Greg Brockman, Tim Brooks, Miles Brundage, Kevin Button, Trevor Cai, Rosie Campbell, Andrew Cann, Brittany Carey, Chelsea Carlson, Rory Carmichael, Brooke Chan, Che Chang, Fotis Chantzis, Derek Chen, Sully Chen, Ruby Chen, Jason Chen, Mark Chen, Ben Chess, Chester Cho, Casey Chu, Hyung Won Chung, Dave Cummings, Jeremiah Currier, Yunxing Dai, Cory Decareaux, Thomas Degry, Noah Deutsch, Damien Deville, Arka Dhar, David Dohan, Steve Dowling, Sheila Dunning, Adrien Ecoffet, Atty Eleti, Tyna Eloundou, David Farhi, Liam Fedus, Niko Felix, Simón Posada Fishman, Juston Forte, Isabella Fulford, Leo Gao, Elie Georges, Christian Gibson, Vik Goel, Tarun Gogineni, Gabriel Goh, Rapha Gontijo-Lopes, Jonathan Gordon, Morgan Grafstein, Scott Gray, Ryan Greene, Joshua Gross, Shixiang Shane Gu, Yufei Guo, Chris Hallacy, Jesse Han, Jeff Harris, Yuchen He, Mike Heaton, Johannes Heidecke, Chris Hesse, Alan Hickey, Wade Hickey, Peter Hoeschele, Brandon Houghton, Kenny Hsu, Shengli Hu, Xin Hu, Joost Huizinga, Shantanu Jain, Shawn Jain, Joanne Jang, Angela Jiang, Roger Jiang, Haozhun Jin, Denny Jin, Shino Jomoto, Billie Jonn, Heewoo Jun, Tomer Kaftan, Lukasz Kaiser, Ali Kamali, Ingmar Kanitscheider, Nitish Shirish Keskar, Tabarak Khan, Logan Kilpatrick, Jong Wook Kim, Christina Kim, Yongjik Kim, Hendrik Kirchner, Jamie Kiros, Matt Knight, Daniel Kokotajlo, Lukasz Kondraciuk, Andrew Kondrich, Aris Konstantinidis, Kyle Kosic, Gretchen Krueger, Vishal Kuo, Michael Lampe, Ikai Lan, Teddy Lee, Jan Leike, Jade Leung, Daniel Levy, Chak Ming Li, Rachel Lim, Molly Lin, Stephanie Lin, Mateusz Litwin, Theresa Lopez, Ryan Lowe, Patricia Lue, Anna Makanju, Kim Malfacini, Sam Manning, Todor Markov, Yaniv Markovski, Bianca Martin, Katie Mayer, Andrew Mayne, Bob McGrew, Scott Mayer McKinney, Christine McLeavey, Paul McMillan, Jake McNeil, David Medina, Aalok Mehta, Jacob Menick, Luke Metz, Andrey Mishchenko, Pamela Mishkin, Vinnie Monaco, Evan Morikawa, Daniel Mossing, Tong Mu, Mira Murati, Oleg Murk, David Mély, Ashvin Nair, Reiichiro Nakano, Rajeev Nayak, Arvind Neelakantan, Richard Ngo, Hyeonwoo Noh, Long Ouyang, Cullen O'Keefe, Jakub Pachocki, Alex Paino, Joe Palermo, Ashley Pantuliano, Giambattista Parascandolo, Joel Parish, Emy Parparita, Alex Passos, Mikhail Pavlov, Andrew Peng, Adam Perelman, Filipe de Avila Belbute Peres, Michael Petrov, Henrique Ponde de Oliveira Pinto, Michael, Pokorny, Michelle Pokrass, Vitchyr Pong, Tolly Powell, Alethea Power, Boris Power, Elizabeth Proehl, Raul Puri, Alec Radford, Jack Rae, Aditya Ramesh, Cameron Raymond, Francis Real, Kendra Rimbach, Carl Ross, Bob Rotsted, Henri Roussez, Nick Ryder, Mario Saltarelli, Ted Sanders, Shibani Santurkar, Girish Sastry, Heather Schmidt, David Schnurr, John Schulman, Daniel Selsam, Kyla Sheppard, Toki Sherbakov, Jessica Shieh, Sarah Shoker, Pranav Shyam, Szymon Sidor, Eric Sigler, Maddie Simens, Jordan Sitkin, Katarina Slama, Ian Sohl, Benjamin Sokolowsky, Yang Song, Natalie Staudacher, Felipe Petroski Such, Natalie Summers, Ilya Sutskever, Jie Tang, Nikolas Tezak, Madeleine Thompson, Phil Tillet, Amin Tootoonchian, Elizabeth Tseng, Preston Tuggle, Nick Turley, Jerry Tworek, Juan Felipe Cerón Uribe, Andrea Vallone, Arun Vijayvergiya, Chelsea Voss, Carroll Wainwright, Justin Jay Wang, Alvin Wang, Ben Wang, Jonathan Ward, Jason Wei, CJ Weinmann, Akila Welihinda, Peter Welinder, Jiayi Weng, Lilian Weng, Matt Wiethoff, Dave Willner, Clemens Winter, Samuel Wolrich, Hannah Wong, Lauren Workman, Sherwin Wu, Jeff Wu, Michael Wu, Kai Xiao, Tao Xu, Sarah Yoo, Kevin Yu, Qiming Yuan, Wojciech Zaremba, Rowan Zellers, Chong Zhang, Marvin Zhang, Shengjia Zhao, Tianhao Zheng, Juntang Zhuang, William Zhuk, and Barret Zoph. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

[4] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[5] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric Xing, et al. Judging llm-as-a-judge with mt-bench and chatbot arena. arXiv preprint arXiv:2306.05685, 2023.

[6] Arindam Mitra, Luciano Del Corro, Shweti Mahajan, Andres Codas, Clarisse Simoes, Sahaj Agarwal, Xuxi Chen, Anastasia Razdaibiedina, Erik Jones, Kriti Aggarwal, et al. Orca 2: Teaching small language models how to reason. arXiv preprint arXiv:2311.11045, 2023

[7] Albert Q Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, et al. Mistral 7b. arXiv preprint arXiv:2310.06825, 2023.

[8] Banghua Zhu, Evan Frick, Tianhao Wu, Hanlin Zhu, and Jiantao Jiao. Starling-7b: Improving $1 \mathrm{~m}$ helpfulness harmlessness with rlaif, November 2023.

[9] Ebrahim Gabajiwala, Priyav Mehta, Ritik Singh, and Reeta Koshy. Quiz maker: Automatic quiz generation from text using nlp. In Futuristic Trends in Networks and Computing Technologies: Select Proceedings of Fourth International Conference on FTNCT 2021, pp. 523-533. Springer, 2022.

[10] Ramon Dijkstra, Zülküf Genç, Subhradeep Kayal, Jaap Kamps, et al. Reading comprehension quiz generation using generative pre-trained transformers, 2022

[11] Suha S Al-Thanyyan and Aqil M Azmi. Automated text simplification: a survey. ACM Computing Surveys (CSUR), Vol. 54, No. 2, pp. 1-36, 2021.

[12] Yutao Feng, Jipeng Qiang, Yun Li, Yunhao Yuan, and Yi Zhu. Sentence simplification via large language models. arXiv preprint arXiv:2302.11957, 2023

[13] Donya Rooein, Amanda Cercas Curry, and Dirk Hovy. Know your audience: Do llms adapt to different age and education levels? arXiv preprint arXiv:2312.02065, 2023

[14] Haoran Xie, Hui-Chun Chu, Gwo-Jen Hwang, and Chun-Chieh Wang. Trends and development in technology-enhanced adaptive/personalized learning: A systematic review of journal publications from 2007 to 2017. Computers \& Education, Vol. 140 p. 103599,2019

[15] Chih-Ming Chen and Ching-Ju Chung. Personalized mobile english vocabulary learning system based on item response theory and learning memory cycle. Computers \& Education, Vol. 51, No. 2, pp. 624-645, 2008.

[16] Gwo-Jen Hwang, Fan-Ray Kuo, Peng-Yeng Yin, and Kuo-Hsien Chuang. A heuristic algorithm for planning personalized learning paths for context-aware ubiquitous learning. Computers \& Education, Vol. 54, No. 2, pp. 404-415, 2010.

[17] Risang Baskara, et al. Exploring the implications of chatgpt for language learning in higher education. Indonesian Journal of English Language Teaching and Applied Linguistics, Vol. 7, No. 2, pp. 343-358, 2023.

[18] Andrew Caines, Helen Yannakoudakis, Helena Edmondson, Helen Allen, Pascual Pérez-Paredes, Bill Byrne, and Paula Buttery. The teacher-student chatroom corpus. In David Alfter, Elena Volodina, Ildikó Pilan, Herbert Lange, and Lars Borin, editors, Proceedings of the 9th Workshop on NLP for Computer Assisted Language Learning, pp. 10-20, Gothenburg, Sweden, November 2020. LiU Electronic Press.

[19] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[20] Guan Wang, Sijie Cheng, Xianyuan Zhan, Xiangang Li, Sen Song, and Yang Liu. Openchat: Advancing open-source language models with mixed-quality data. arXiv preprint arXiv:2309.11235, 2023

[21] George R Klare. Assessing readability. Reading research quarterly, pp. 62-102, 1974.

[22] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. 1975.

[23] G Harry Mc Laughlin. Smog grading-a new readability formula. Journal of reading, Vol. 12, No. 8, pp. 639-646, 1969

[24] Bruce W Lee and Jason Hyung-Jong Lee. Traditional readability formulas compared for english. arXiv preprint arXiv:2301.02975, 2023

[25] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020 .

表 4 teacher-student $の$ 対話例（Starling-7b）

Please generate a response from the teacher to the student in the ongoing dialogue.

\#\#\# Dialogue:student: Hi! teacher: Hi <STUDENT $>$ !

teacher: Everything alright with the chatroom for you?

student: I tried to use it a few seconds ago and I couldn't change my name, but now it is working, thanks.

student: How are you?

入力

teacher: Oh good!

teacher: Fine, thank you! It's summer here at last, we've had a week of non-stop sunshine!

teacher: How are you?

student: I'm fine thank you! It looks like summer has arrived here too!

student: Even though we still had a couple of storms...

student: with hail and everything

teacher:

出力 Ooh, I hope you're not too badly affected by them!

図 2 入力トークン数のヒストグラム

## A 長文の入カへの対応

図 2 に、stackover-flow データセットの入力データに対して、Llama-2-7b [19] のトークナイザーでトー クン数を計算したヒストグラムを示す。図 2 において、全入力データの $97.0 \%$ が 2048 トークン以下、 $98.1 \%$ が 3072 トークン以下、 $1.9 \%$ が 3072 トークン以上となっている。モデルが入力文に対して生成す
る出力で難易度調整能力を獲得しているのかを評価するためには、全ての入力文は必要でなく、2048 トークンで十分に多くの入力文の内容を捉えることが可能であると考えられる。したがって、入力文と出力文の文章の長さを統一して生成するために、 モデルへの入力を 2048 トークンまでで切り捨てて、最大のトークン生成数を入力トークンと合わせて 3072 トークンになるように調節した。


# 日本語論理推論ベンチマーク JFLD の提案

森下皓文 ${ }^{1}$ 山口篤季 ${ }^{2}$ 森尾学 ${ }^{1}$ 角掛正弥 ${ }^{1}$ 友成光 ${ }^{1}$ 今一修 1 十河泰弘 ${ }^{1}$
1 日立製作所研究開発グループ 2 シェフィールド大学
terufumi.morishita.wp@hitachi.com

## 概要

大規模言語モデル (LLM) はその広汎な課題解決能力が魅力を集め，日本語を含めた様々な言語で開発されてきている.しかしながら LLM は依然として論理推論を苦手としており，今後の研究が求められる.この研究を促進するため，本研究は日本語における論理推論ベンチマーク JFLD (Japanese Formal Logic Deduction) を提案する. JFLDを用いた評価の結果，日本語 LLM の論理推論能力は未だ未熟なことが分かった.なお，ベンチマーク・ベンチマーク構築用コード・LLM 評価用コードを公開する1).

## 1 はじめに

近年登場した大規模言語モデル (LLM) は，広範な課題を巧みに解決し, 人工知能＝“人間のように考える機械” [1] の実現を予感させる. 人工知能の実現に向けて古くから，知識と推論という 2 つ要素が重要視されてきた $[2,3,4,5,6,7]$. 自然言語処理の文脈で知識とは，世界に関する事実であり，例えば 「質量を持つものは重力場を発生させる」「地球は質量を持つ」等である。一方で推論とは，複数の知識を一定の規則に従って組み合わせることで，新たな知識を得る思考形態である. 例えば上述の知識に対して推論規則 $\Gamma “ \forall x, F(x) \rightarrow G(x)$ ” と “ $F(a)$ ” の 2 つから，“ $G(a)$ ” が導ける」を適用することにより $(F=$ “質量を持つ”, $G=$ “重力場を発生させる”, $a=$ “地球”),「地球は重力場を発生させる」という新たな知識を得る.

最近の観察によると，LLM は推論ではなく“暗記した知識” によって課題を解いていることが示唆される $[8,9,10]$. 例えば「過去年度のコーディング試験は解けるが，最新年度は解けない」「算数の有名問題をそのまま出題すれば解けるが，数字を変えると解けない」等，一見推論しているように見えても，実は事前学習コーパス中の類似事例を取り出して解いていたことが分かる. この知識偏重は GPT-4 [11] のような最先端の LLM でまで確認されている
[12, 13, 14, 15].

もし LLM が推論を苦手とするのであれば，汎用性の高い人工知能の実現にとって問題となる。なぜならば，知識によって課題を解いている限り，“一度見たことがある” 課題を超えた真に未知なる課題を解くことができないからだ．よって今後，LLM の推論能力向上に関する研究が不可欠である.

研究の促進のためには，良質なべンチマークが必要である. 推論の中でも基本的な論理推論に関して，これまでも多くのベンチマークが提案されてきた $[16,17,18,19]$. これらは, 各 LLM の性能評価は勿論のこと，創発現象 [20] や反実仮想への脆弱性 [12] といった有用な知見を提供してきた.

しかしながら，これらベンチマークは主に英語が中心であり，日本語 LLM の論理推論能力を評価することはできない。日本語ベンチマークとして JGLUE [21]・JaQuAD [22] 等が有名だが，これらは知識の暗記によっても解ける可能性が高い。また,

NLI や RTE [23, 24, 25, 26, 21, 27, 28, 29] もしばしば常識知識を必要とするので，純粋な論理推論能力のみを問うことができない，以上より，日本語における論理推論ベンチマークの構築が必要である.

そこで我々は日本語の論理推論ベンチマーク JFLD (Japanese Formal Logic Deduction) を提案する. JFLD は論理推論の基本である演繹推論能力を評価する. 即ち，事実群と仮説が与えられ，多段の論理ステップ (多段演繹推論)を経て仮説を証明・反証する (図 1). JFLD の重要な特徴は，1. 知識と切り分けられた純粋な論理推論能力を評価する，2. 多様な演繹規則を問う，ことである (2 節).

更に，JFLDを用いて様々な日本語 LLMを評価し洞察を共有する．特に，GPT-4 に比べて日本語 LLM の論理推論能力は大きく劣ること，今後の方向性として大規模な論理推論データセットでの学習が有望であること，等が重要である.

なお，本ベンチマークとコードを公開する1．

1) https://github.com/hitachi-nlp/FLD

図 1: JFLD のサンプル。事実と仮説が与えられ，仮説を証明・反証するための多段演繹推論と回答を生成する. 事実が反実仮想的なので (i) 暗記した既存知識では解けず，純粋な論理推論能力のみを評価できる (2 節) (ii) 演繹規則の任意性を学習させることができる (付録 A.2).

## 2 ベンチマークの設計指針

本節では，数理論理学を訪れつつ純粋な論理推論能力とは何かを考え，ベンチマークの設計指針を定める.まず，以下の一段論理ステップを考えてみる:
1. 地球は太陽を
周回している
2. もし地球が太陽を周回すれば，地球には四季がある.地球には四季がある.

2 つ前提知識から結論を論理的に導いており, 妥当である. 次に，別の論理ステップを考える:

(地軸が傾いている我々の宇宙では) 前提知識 2 や結論は偽であるが，もし仮に前提知識が正しかったとしたら結論は論理的に導かれる. よって (2) も論理的には妥当である．最後に：

「ぴよぴよ」や「ぽよぽよ」が何かは不明だが，(3)も論理的に妥当であることだけは分かる．以上 (1)-(3) は記号を用いて演繹規則に抽象化できる：

ここまでの考察によれば，演繹規則の論理的妥当性は, $\mathcal{F}$ や $\mathcal{G}$ の内容の正しさ ( 知識的な正しさ) には依存せず (即ち $\mathcal{F}$ や $G$ は任意)，あくまで前提から結論

図 2: 公理系による多段演繹推論は，その他の任意の演繹規則を表現できる。

が「論理的に導かれるか」のみに依存する. 知識的な正しさと論理としての妥当性は別ものである.

さて，人間にとっては，演繹規則 (4)を念頭に推論 (1)-(3)をこなすことは容易である。おそらくLLM も，(1) の前提を与えて結論を系列生成することはできよう．事前学習コーパスに類似のサンプルが存在し系列尤度が高いからである。しかしこれは， LLM が，演繹規則 (4) を，特に $\mathcal{F}$ や $\mathcal{G}$ の任意性を理解していることを，必ずしも意味しない．LLMが演繹規則 (4)を理解しているかどうかは，(2), (3) のような反実仮想的な前提知識下で結論を論理的に導けるかを問うて初めて浮き彫りになる。そこで：

・設計指針 1: 反実仮想的な推論サンプルにより， LLM が演繹規則を理解しているのかを問う.

さて，(4) 以外にも演繹規則は存在する:

以上のように，前提・結論として考えられる論理式の種類は無限なので演繹規則は無限種類存在する.最後に，多段演繹推論 (図 2 左) では，演繹規則を複数ステップ積み重ねて結論を導く。実は三段論法 （6) はより「原子的な」演繹規則による多段演繹推論により表現できる (図2右). 実際，公理系 (図3)と呼ばれる原子的な演繹規則群が存在し，以下を満たす:定理 1 (一階述語論理の完全性 Gödel, 1930). 全ての妥当な演繹規則は公理系による多段演繹推論によって表現できる.

さて，LLM が様々な演繹規則を扱えるかを問いたいが，ベンチマークに無限種類の演繹規則を含めることはできない，しかし，定理 1 によると，公理系による多段演繹推論さえ扱えれば，他の演繹規則も実効的に扱えることになる．そこで，

・設計指針 2: 公理系を用いた多段演繹推論をサンプルとする．定理 1 により，様々な演繹規則を扱えるかを問うことができる.

## 3 ベンチマークの構築手法

## 3.1 推論サンプルの自動生成

推論サンプルの構築方法として, 自動生成のアプローチ $[18,30,19]$ が研究されてきている. 人手構築に対するメリットは: 1. 大量の，2. 演繹規則に厳格に従った，3. 知識に囚われない反実仮想的な，サンプルを生成しやすいことである.

本研究では，著者らが提案した英語の推論サンプル自動生成機構 FLD $[31,32,33]$ を日本語に拡張する。FLD はまず，図 2 左のような，公理系による多段演繹推論サンプル生成する (設計指針 2).この際，各論理ステップで使われる演繹規則を可能なものからランダムに選ぶことにより, 多様なサンプルを生成する. 次に，サンプル中の各論理式を，テンプレートと語彙割り当てを用いて英語に変換する. 語彙割り当てにランダム性を持たせることにより，反実仮想的なサンプルを生成する (設計方針 1)．JFLD ではテンプレートと語彙割り当てを日本語化する2)

## 3.2 日本語テンプレート・語彙割り当て

各論理式に対する日本語テンプレートを，計約 4,000 件を人手により作成した。例を示す:

2）論理推論能力を問うなら，論理式のままでもよい，と思われるかもしれないが，推論能力の “日本語上での” 運用能力の学習・評価を行うために日本語化は必要だ (付録 A.2).表 1: JFLD のデータセット群 (低難易度順)。それぞれ train/valid/test=30k,5k,5k サンプルからなる.

$
\forall x, F(x) \rightarrow G(x): F \text { なものは } G \text { だ }
$

次に, (7) 中の $F, G, a, b$ のような各記号に対して,語彙を割り当てる. 反害仮想的な例を作成するため，以下のような文法制約は満たしつつ，語彙を多言語 WordNet [34] からランダムに割り当てる:
- 述語 $(F$ や $G$ ) は，日本語の述語（動詞・名詞・形容動詞）を割り当てる。

・定数 $(a$ と $b)$ は，日本語の名詞を割り当てる.

以上の結果得られる割り当ての例を以下に示す:

$
\begin{gathered}
F: \text { “頑健” } G: \text { “腐敗” } \\
\forall x, F(x) \rightarrow G(x): \text { 頑健なものは腐敗だ }
\end{gathered}
$

最終的に図 1 のようなサンプルが得られる. 図 1 における「事実」が多段演繹推論の前提であり，「仮説」が多段演繹推論の結論に相当する.

## 3.3 データセット統計

JFLD には様々な難易度のデータセットを含めた (表 1).「木の深さ・分枝」は多段演繹推論木 $\left.{ }^{3}\right)$ の複雑度合いを制御し，論理ステップ数を決める。ノイズ事実数は，推論に無関係な事実の数を表す.これが多いほど，LLM が誤った事実を多段演繹推論に含める可能性が高くなるので，難易度が上がる。

## 4 日本語 LLM の性能評価実験

日本語 LLM(表 5)をまず train set で fine-tuning し,次に, test set 上の性能を評価した. fine-tuning に用いるサンプル数 $n$ を-10,000 の範囲で変えた. 学習の詳細は付録 A.1.また，GPT-4 の性能 $(n=5$, 文脈内学習) も評価した。

LLM は，事実と仮説を入力として，多段演繹推論4) と回答を生成する (図 1). 性能指標として，回答正解率と証明正解率 [33] を用いる. 回答正解率は，最終的な回答 (証明された/反証された/不明) が

4）“fact12 ->”のような記号も生成する
表 2: LLM の証明正解率. $n$ は学習サンプル数.

表 3: LLM(weblab-10B-instruct) が生成した，誤った論理ステップ (多段演繹推論のうちの 1 ステップ).

 &  \\

正しいかを判定する．証明正解率は，最終的な回答が正しく，かつ，多段演繹推論も正しいかどうかを判定する，より厳格な指標である。

## 5 結果と考察

## 5.1 定量評価 - 証明正解率

表 2 に各 LLM の証明正解率を示す。まず，GPT-4 の few-shot $(n=5)$ 性能について，低難易度データセット (D1-，D1) はそこそこ解けるが，高難易度データセット (D3, D8) の正解率は不十分であった.

few-shot 設定における日本語 LLM の性能は GPT-4 より更に低かった. 回答正解率によって性能を評価した場合 (付録 A.3)，GPT-4 と差は更に開いた. 以上より, 日本語 LLM は, 事前学習の時点では十分な論理推論能力を獲得できていないことが分かる。

日本語 LLM 同士の比較では，概ね，大きなモデルの方が性能も高かった。

以上を総合すると，日本語 LLM の論理推論能力は，1. モデルの巨大化や事前学習の質・量の向上によってある程度の改善を見込めるが，2. (GPT-4 のように) 完全には届かない，と考えられる。

一方どのデータセットにおいてもサンプル数 $n$ の増加に伴い性能が改善した. よって，より大きな論理推論データセットでの学習が有望である. elyza の事前学習コーパスのほとんどは英語であり，日本語の量は他の LLM より遙かに小さい。それにも関わらず elyza は，その他の日本語 LLM と同等以上の性能を示した. 論理推論能力は言語間で転移可能だからではないかと考える.

## 5.2 定性評価 - 多段演繹推論の誤り分析

LLM によって生成された誤った論理ステップの例を表 3 に示す. 最初の例は「論理的幻覚」とでも言うべきもので，生成された結論は，前提事害から論理的に導けない. 第二の例では，結論とは関係ない前提事実 2 が選ばれている. 第三の例からは, LLM は否定の論理的意味を理解できていないことが分かる．以上より，日本語 LLM はまだ論理の基礎を理解できていないことが示唆される.

## 6 結論

日本語論理推論ベンチマーク JFLDを提案した.実験により日本語 LLM の論理推論能力が不十分であることを示した. 今後は，巨大な論理推論コーパスでの学習や，学習で得られた論理推論能力が広範なタスクに転移可能かどうか，等を調査したい．

## 謝辞

本研究は，計算機リソースとして，産総研の AI 橋渡しクラウド (ABCI) を用いた. 東京工業大学の岡崎直観先生には，内容に関するアドバイスを頂いた．日立製作所の清水正明氏には，社内大規模計算機環境の維持管理をして頂いた. 感謝申し上げる.

## 参考文献

[1] J McCarthy, ML Minsky, and N Rochester. A proposal for the dartmouth summer research project on artificial intelligence. 1955

[2] John W. McCarthy. Programs with common sense. In Proc. Tedding Conf. on the Mechanization of Thought Processes, pp. 75-91, 1959.

[3] Joseph Weizenbaum. Eliza - a computer program for the study of natural language communication between man and machine. Communications of the ACM, Vol. 9, No. 1, pp. 36-45, 1966

[4] T Winograd. Procedures as a representation for data in a computer program for understanding natural language, mit ai technical report 235. 1971.

[5] A. Colmerauer and P Roussel. The birth of prolog. The ALP Newsletter, 1973 .

[6] eh Shortliffe. Computer based medical consultations: Mycin. Elsevier, 1976. Charles Elkan and Russell Greiner. Building large knowledge-based systems: Representation and inference in the cyc project: Db lenat and rv guha, 1993

[8] Yasaman Razeghi, Robert L Logan IV, Matt Gardner, and Sameer Singh. Impact of pretraining term frequencies on few-shot numerical reasoning. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 840-854, 2022.

[9] Damian Hodel and Jevin West. Response: Emergent analogical reasoning in large language models, 2023.

[10] Ishita Dasgupta, Andrew K. Lampinen, Stephanie C. Y. Chan, Hannah R. Sheahan, Antonia Creswell, Dharshan Kumaran, James L. McClelland, and Felix Hill. Language models show human-like content effects on reasoning tasks, 2023.

[11] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023.

[12] Hanmeng Liu, Ruoxi Ning, Zhiyang Teng, Jian Liu, Qiji Zhou, and Yue Zhang. Evaluating the logical reasoning ability of chatgpt and gpt-4, 2023.

[13] Zhaofeng Wu, Linlu Qiu, Alexis Ross, Ekin Akyürek, Boyuan Chen, Bailin Wang, Najoung Kim, Jacob Andreas, and Yoon Kim. Reasoning or reciting? exploring the capabilities and limitations of language models through counterfactual tasks, 2023

[14] Nouha Dziri, Ximing Lu, Melanie Sclar, Xiang Lorraine Li, Liwei Jiang, Bill Yuchen Lin, Peter West, Chandra Bhagavatula, Ronan Le Bras, Jena D. Hwang, Soumya Sanyal, Sean Welleck, Xiang Ren, Allyson Ettinger, Zaid Harchaoui, and Yejin Choi. Faith and fate: Limits of transformers on compositionality, 2023.

[15] Melanie Mitchell. Can large language models reason? blog, pp. https://aiguide.substack.com/p/can-large-language-models-reason, 2023 .

[16] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1930-1940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[17] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence, $\mathrm{pp}$. 3882-3890, 2021.

[19] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. ProofWriter: Generating implications, proofs, and abductive statements over natural language. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3621-3634, Online, August 2021. Association for Computational Linguistics.

[20] Barret Zoph, Colin Raffel, Dale Schuurmans, Dani Yogatama, Denny Zhou, Don Metzler, Ed H. Chi, Jason Wei, Jeff Dean, Liam B. Fedus, Maarten Paul Bosma, Oriol Vinyals, Percy Liang, Sebastian Borgeaud, Tatsunori B. Hashimoto, and Yi Tay. Emergent abilities of large language models. TMLR, 2022 .

[21] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022 European Language Resources Association.

[22] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho, JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension, 2022.

[23] Yotaro Watanabe, Yusuke Miyao, Junta Mizuno, Tomohide Shibata, Hirosh Kanayama, Cheng-Wei Lee, Chuan-Jie Lin, Shuming Shi, Teruko Mitamura, Noriko Kando, et al. Overview of the recognizing inference in text (rite-2) at ntcir-10. In Ntcir. Citeseer, 2013.

[24] Hideki Shima, Hiroshi Kanayama, Cheng-Wei Lee, Chuan-Jie Lin, Teruko Mitamura, Yusuke Miyao, Shuming Shi, and Koichi Takeda. Overview of ntcir-9 rite: Recognizing inference in text. In Ntcir, 2011.

[25] Yoshikoshi Takumi, Kawahara Daisuke, and Kurohashi. Sadao. https://nlp.ist.i.kyoto-u.ac.jp/?2020.

[26] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 2022

[27] Yuta Hayashibe. Japanese realistic textual entailment corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp.
6827-6834, Marseille, France, May 2020. European Language Resources Association.

[28] Hitomi Yanaka and Koji Mineshima. Assessing the generalization capacity of pre-trained language models through japanese adversarial natural language inference. In Proceedings of the 2021 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP2021), 2021.

[29] Tomoki Sugimoto, Yasumasa Onoe, and Hitomi Yanaka. Jamp: Controlled Japanese temporal inference dataset for evaluating generalization capacity of language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop), pp. 57-68, Toronto, Canada, July 2023. Association for Computational Linpp. $57-68$.

[30] Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 63-75, Groningen, The Netherland (online), June 2021. Association for Computational Linguistics.

[31] 森下皓文, 森尾学, 山口篤季, 十河泰弘. 形式論理学に基づく演繹コー パスによる言語モデルに対する演繹推論能力の付与. 言語処理学会予稿集, 2023.

[32] 森下皓文, 森尾学, 山口篤季, 十河泰弘. 人工演繹推論コーパスによる学習は言語モデルをどのように強化するか? 人工知能学会全国大会論文集, 2023.

[33] Terufumi Morishita, Gaku Morio, Atsuki Yamaguchi, and Yasuhiro Sogawa Learning deductive reasoning from synthetic corpus based on formal logic In Andreas Krause, Emma Brunskill, Kyunghyun Cho, Barbara Engelhardt, Sivan Sabato, and Jonathan Scarlett, editors, Proceedings of the 40th International Conference on Machine Learning, Vol. 202 of Proceedings of Machine Learning Research, pp. 25254-25274. PMLR, 23-29 Jul 2023.

[34] Francis Bond and Ryan Foster. Linking and extending an open multilingual Wordnet. In Proceedings of the 51 st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1352-1362, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[35] Marius Mosbach, Tiago Pimentel, Shauli Ravfogel, Dietrich Klakow, and Yanai Elazar. Few-shot fine-tuning vs. in-context learning: A fair comparison and evaluation. In Findings of the Association for Computational Linguistics. ACL 2023, pp. 12284-12314, Toronto, Canada, July 2023. Association for Computational Linguistics

[36] Honghua Zhang, Liunian Harold Li, Tao Meng, Kai-Wei Chang, and Guy Van den Broeck. On the paradox of learning to reason from data, 2022.

[37] Zhangdie Yuan, Songbo Hu, Ivan Vulić, Anna Korhonen, and Zaiqiao Meng Can pretrained language models (yet) reason deductively? In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1439-1454, 2023.

[38] Miles Turpin, Julian Michael, Ethan Perez, and Samuel R. Bowman. Language models don't always say what they think: Unfaithful explanations in chain-of-thought prompting, 2023.

[39] Tamera Lanham, Anna Chen, Ansh Radhakrishnan, Benoit Steiner, Carson Denison, Danny Hernandez, Dustin Li, Esin Durmus, Evan Hubinger, Jack son Kernion, Kamilè Lukošiūtè, Karina Nguyen, Newton Cheng, Nicholas Joseph, Nicholas Schiefer, Oliver Rausch, Robin Larson, Sam McCandlish, Sandipan Kundu, Saurav Kadavath, Shannon Yang, Thomas Henighan, Timothy Maxwell, Timothy Telleen-Lawton, Tristan Hume, Zac Hatfield-Dodds, Jared Kaplan, Jan Brauner, Samuel R. Bowman, and Ethan Perez. Measuring faithfulness in chain-of-thought reasoning, 2023.

## A 参考情報

図 3: 一階述語論理の公理系

表 4：LLM の回答正解率. $n$ は学習サンプル数.

 & - & - & 37.6 & $-1$ & - & - & - \\

## A. 1 実験設定

表 5: 日本語 LLM の詳細.

LLM の評価では文脈内学習がよく使われるが，JFLD のサンプ

こで，fine-tuningによる評価を行った. [35]によると，fine-tuning と文脈内学習は適切な実験設定において，同等の結果をもたらす.そこで我々も [35]に従う：学習率は 1e-05，バッチサイズは 32，300 勾配ステップ. ただし過学習を防ぐためエポック数を最大 50 に制限し， $n=5$ では $50 ， n=100$ では 156 勾配ステップとした. 実験は 3 つの seed で行った. その他はコード1)参照のこと.

## A. 2 裏設計指針
- 疑問 1: 論理推論能力の評価が目的なら，論理式で書かれたサンプル (例: 図 2) だけで十分で，日本語化は不要では?
- 疑問 2: 日本語化するとしても「WordNet からランダムな語彙を割り当てることで反実仮想的な...」などと大仰な仕掛けは必要無い. 例えば「赤いぷよぷよは優しい」「優しいモンスターは強い」というように限られた語彙で十分では?その方が学習が簡単だし，人間にとっても分かりやすい.

疑問 1 への回答: 我々の最終目的は, 日本語において, 知識と推論を統合運用できる機械を作ることである. この第一歩として本研究では，純粋な推論に限ったベンチマークを作成した.最終目標から考えて，ベンチマークには，「論理推論能力の“日本語上での” 運用能力を学習・評価できること」が求められる. よって，各サンプルを日本語で書き下している. この回答には 「LLM が仮に論理式での推論を遂行できても，日本語でできるとは全く限らない. よって日本語での推論能力を問うためには，日本語のサンプルが必要である.」という前提がある.真に論理を理解していれば，即ち，例えば modus ponens(4)と $\mathcal{F}, \mathcal{G}$ の任意性を理解していれば，それが日本語で書かれていようが，推論を実行できるであろう (論理記号 $\rightarrow$ から“ならば”への変換のような自明な処理は当然実現できるとする). 実際これは，人間にとっては容易である.
しかし，LLM (Transformer) は帰納的な系列学習器なので，学習時と似ている条件付系列を生成することのみしかできない。学習データ次第では，論理式での推論は遂行できるが日本語での推論は遂行できない，ということは十分に起こりうる。

実際，このような挙動が，我々の予備実験で確認されている.適当な LLM を持ってきて，論理式で書かれた JFLD で追加学習する。この LLM に，論理式で書かれた推論問題を与えると，よく解ける. しかし，それと等価な日本語の推論問題を与えても，全く解けない。生成結果を見てみると，論理式データセットの学習する前とほとんど変化が無い: 論理とは程遠い，(おそらく事前学習の時点で学習していた) 系列を生成する. 結局, 論理式デー タセットでの学習で得られたのは， $\mathcal{F}$ や $\mathcal{G}$ といったアルファベットが入力された際にのみ論理的に振る舞う機械である.

なぜこのような現象が起こるというと，論理式で書かれた modus ponens(4)を見せられても，それを日本語の空間まで汎化させて良いかどうかを判断する材料は，そのサンプル中には存在しない. 人間は演繹的な心を持っているので勝手に汎化させてしまうが，帰納的な機械はそうはしない. 尚，このような論理推論における分布外への非汎化性は $[36,37]$ でも確認されている.

疑問 2 の回答の回答は，上記考察から従う．JFLDを日本語での論理推論能力を獲得するための学習データとして活用することを考える. FPや $G$ に入れる語彙を「ぷよぷよ」「赤い」などに限った場合，学習された LLM は「ぷよぷよ」「赤い」(とせいぜいその類義語) が入ってきた場合にのみ論理的に振る舞うようになる. $\mathcal{F}$ や $\mathcal{G}$ の任意性を学習させるためには，実際に $\mathcal{F}$ や $\mathcal{G}$ に任意の日本語を入れて見せる必要があるのである. このため本研究では，大語彙からランダムに選んだ日本語を割り当てている.

## A. 3 証明正解率の結果と考察

表 4 に回答正解率の結果を示す. 5.1 節で論じた証明正解率は,回答 (証明/反証/不明) に加えて多段演繹推論の正しさも要求するため，厳格な指標であった。一方，回答正解率は回答の合致のみを要求するため，random guess でも $33.3 \%$ と緩い指標である. GPT-4 の回答正解率は，証明正解率を大幅に上回っており，結果として日本語 LLM との性能差もより大きい. GPT-4 にが生成した多段演繹推論を分析すると，GPT-4 は間違った推論で正しい回答を生成していることがあることが多い.これは，GPT-4 が自ら生成した“推論”に必ずしも忠実に従わず，モデルの内部で完結して正しい推論を実現している可能性を示唆する。よって， GPT-4 の論理推論能力を計測する場合，証明正解率は過小評価に繋がっている可能性がある. 尚，LLM が自ら生成した思考系列に従わない，という観察は別の研究 $[38,39]$ でも得られている.


# NeuBAROCO データセットによる大規模言語モデルの 推論能力の検証

森下 貴允 ${ }^{1}$ 安東 里沙子 ${ }^{1}$ 阿部 裕彦 1 小関 健太郎 ${ }^{1,2}$ 峯島 宏次 ${ }^{1}$ 岡田 光弘 1
1 慶應義塾大学 2 東京大学
\{morishita,risakochaan, hirohiko-abe\}@keio.jp kentaro.ozeki@gmail.com
\{minesima, okada\}@abelard.flet.keio.ac.jp

## 概要

この論文では、「現在の大規模言語モデルが論理推論をどれくらい正確に行うことができるのか」という問いを、特に大規模言語モデルが人間と同様の推論バイアスを示すかどうかという点に着目して探究する。論理推論として、論理学だけでなく認知科学の中で人間が自然に行う演繹推論の形式として広く研究されている三段論法に注目し、NeuBAROCO という三段論法データセットを導入する。このデー タセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもので、英語と日本語の三段論法推論を含んでいる。現在の代表的な大規模言語モデルで実験を行った結果、現行のモデルは人間と同様の推論バイアスを示し、特に含意関係が含意でも矛盾でもない推論問題で大きな改善の余地があることが示唆された。

## 1 はじめに

大規模言語モデル (Large Language Model, LLM) が一定の成功を収め、社会の変化に直結するような基盤技術として期待が高まる一方で、それが従来の $\mathrm{AI}$ に期待されてきたような正確な推論を自然言語上でどれくらい行うことができるのかはいまだ明らかではない。この論文では、人間の自然な演繹推論の形式として広く研究されている三段論法に注目し、LLM の推論能力を検証するための NeuBAROCO データセットを導入する。このデータセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもので [1]、これを転用して、LLM が人間と同様のエラー傾向、すなわち、推論バイアスを示すかどうかを検証する。

推論の認知科学研究 $[2,3,4]$ では、人間が様々な推論バイアスを示すことが多様な実験を通して明ら
かにされているが、その知見を活用して機械学習モデルの評価にも利用できる推論データセットを構築する試みは十分に進展していない。NeuBAROCO は、日本語と英語のパラレル推論データセットであり、各問題についてどのような推論バイアスが関連しているのか、詳細なタグが付与されている。またその一部には一連の心理実験 $[5,1]$ に基づいて、人間の正解率が対応付けられている。

以下では、言語処理での三段論法推論の関連研究を紹介し（2 節)、NeuBAROCO データセットの特徴について説明した上で（3 節)、このデータセットを用いて、代表的な LLM の推論能力を検証したべー スライン実験の結果について報告する（4 節）。

## 2 背景

## 2.1 三段論法

自然言語推論 (Natural Language Inference, NLI) とは、前提文と結論文 (仮説文とも呼ばれる) の間に含意関係が成り立つか否かを判定するタスクである。本研究では、含意 (entailment)、矛盾 (contradiction)、含意でも矛盾でもない、すなわち、中立 (neutral) という 3 つのラベルに分類する NLI タスクに着目する。三段論法とは、推論の中でも、2つの前提と 1 つの結論から成るものであり、前提と結論は表 1 の 4 つの形の基本的な量化文から構成される。

表 1 三段論法を構成する4つのタイプの文

例えば、次の三段論法は含意の例であり、前提文 (P1, P2) が真であれば結論文 $(\mathbf{H})$ もまた真である。

P1: すべてのA B Bである

P2: すべての B はCである

H: すべての A は Cである

次の例は、含意でも矛盾でもない中立の例である。

P1: すべての A は B である

P2: すべての C はBである

H: すべての A は Cである

三段論法は、形式的には単項述語論理で表現可能な比較的単純な論理推論であるが、人間にとって難しい推論であることが知られている [6]。どのようなタイプの三段論法が人間の推論エラーを引き起こしやすいか、つまり、推論バイアスを伴うかは認知科学の分野で広く研究されている $[2,3,4]$ 。

## 2.2 関連研究

三段論法に着目した機械学習・深層学習モデルの研究は近年盛んに行われている。三段論法推論の学習・評価用データセットとして、Dong et al. [7] や Gubelmann et al. [8] では、WordNet 等の言語資源や独自の単語リストを用い、三段論法のタイプに基づくテンプレートベースの自動生成手法によってデータセットを構築している。Gubelmann et al. [8] のデー タセットは格ラベルおよび含意、矛盾、中立の 3 值の正解ラベルを含むが、その他の情報は付加されていない。Avicenna [9] は、クラウドソーシングによって構築されたデータセットであり、2つの文を前提として何らかの三段論法の関係が成り立つかどうかの 2 値の正解ラベル (成り立つ場合はさらに結論の文）を含むが、格ラベルなどは含まれていない。これらはいずれも英語のデータセットである。

Wu et al. [10] は、SYLLOBASE というデータセットを構築している。SYLLOBASE は、自然言語で書かれた 5 種類のタイプの三段論法を含んでおり、既存の知識ベースから自動で作成された 50,000 のデータからなる。また、テストセットとして 1,000 データが人手でアノテーションされている。Wu et al. [10] では、zero-shot および few-shot の例示と、生成タスクと選択タスクが実施されている。生成タスクでは、学習済みのモデルの正解率がより高い傾向にあり、全体的に、結果の評価で使用する指標に応じてモデルの正解率が大きく異なっている。選択タスクでは、全体の正解率は $70 \%$ 程度で、定言三段論法での正解率が低かった。

Dasgupta et al. [11] および Lampinen et al. [12] は、三段論法の結論の内容が推論の妥当性の判断に影響
することを明らかにしている。これらの研究では、結論の内容が私たちの信念に相反する場合、相反しない場合、結論の文が意味のない単語から構成される場合に分類し、それぞれの場合で 2 つの前提と 1 つの結論の組み合わせが三段論法の推論として妥当か非妥当かを LLM 2 択で判定させている。これらの実験では、結論の内容が信念に相反せず、推論が妥当な場合、あるいは、結論の内容が信念に相反し、推論が非妥当な場合に、正解率が高いことが明らかになっている。なお、Lampinen et al. [12] では、 LLM の生成する確率分布と人間の解答時の反応時間を確信度の尺度として比較している。LLMでは、結論の内容が信念に整合する場合に、確信度がより高いことが明らかにされている。

## 3 NeuBAROCO データセット

## 3.1 BAROCO プロジェクト

本研究の背景にある初期の三段論法問題集は BAROCO と呼ばれ、大規模な被験者推論能力の研究のために設計・開発された。BAROCO は、人間の推論バイアスを伴う典型例の一つであるいわゆる信念相反課題（3.2 節を参照）を含む。また、標準的な言語的課題のほかに、空間的認知をテストするオイラー図課題も含み、これらの推論形式の相関及び双生児法による遺伝要因と環境要因の調査に用いられた $[13,1]$ 。また、行動経済学の実験課題と組み合わせた研究も行われている [5]。

Ando et al. [14] は、本研究に先行する予備的な研究であり、BAROCO 問題集を LLM の評価に応用することを目的として BAROCO 問題集の一部を転用して、375問の三段論法推論から構成される推論データセット NeuBAROCO を導入した。各推論課題には、含意、矛盾、中立の 3 值のラベルが人手で付与され、さらに後述の信念相反などの推論バイアスを引き起こす推論課題を含んでいる。本研究では Ando et al. [14] の NeuBAROCO 三段論法データセットをさらに整備・拡張し、同時に、被験者実験で一般的な 5 択選択課題を追加し、現在の代表的な LLM で評価実験を行う。

## 3.2 データセットの概要

オリジナルの BAROCO 問題集は、 2 つの前提と、結論となりうる複数の選択肢で構成されている。 BAROCO 問題集の各問題を NLIモデルの評価で一般
的に使用される形式に変換することで NeuBAROCO データセットを構築した。NeuBAROCO は現在、 870 問の 3 択判定課題、すなわち、推論を含意・矛盾・中立に分類する課題を含む。その内訳は、含意に分類される問題が 282 問、矛盾に分類される問題が 204 問、中立に分類される問題が 384 問となっている。BAROCO 問題集はすべて日本語で書かれているが、NeuBAROCO データセットでは、それらの問題を英語に翻訳し、日本語・英語の対訳推論コーパスとして利用可能である。

NeuBAROCO データセットは、元の BAROCO 問題集の様式を踏襲し、2つの前提と、結論となりうる 5 つの選択肢からなる 80 問の問題（5 択選択課題）を含む。各推論に対し、正解となる選択肢の番号がラベル付けされている。 5 択選択課題の例を付録 A. 3 に示す。この問題の正解は 4 の選択肢である。

## 3.3 アノテーション

推論バイアスを伴うタイプの問題を分類するため、NeuBAROCO データセットの各推論を、記号、信念相反あり、信念相反なし、Conversion の 4 つの異なるタイプに分類してラベル付けを行った。それぞれの件数と例を表 2 に示す。

記号すべてのタームが抽象的な記号（アルファベット）の文から構成されている場合、推論は「記号」とラベル付けされる。人間にとって、これらは信念に対して中立であると考えられる。

信念相反あり前提もしくは結論の少なくとも一つが常識的な信念と一致しない場合、推論は「信念相反あり」とラベル付けされる。表 2 の例では、「すべての動物はトマトである」と「ある人間はトマトである」が常識に反する内容となっている。

信念相反なし前提と結論のすべてで信念相反が生じていない場合、推論は「信念相反なし」とラべル付けされる。

Conversion 三段論法の代表的な推論バイアスとして、Conversion error が知られている $[2,6]$ 。例えば、表 2 の全称肯定文が含まれている例では、「すべての B A である」を「すべての A はBである」 と読み替えると、正解は「含意」となる。また、特称否定文が含まれている例では、「ある動物は霊長類でない」を「ある霊長類はチンパンジーでない」 と解釈すれば、正解が「含意」となる。Conversion error とはこのようにタームを誤って置換することで起こるエラーのことである。このタイプの推論を区別するため、「中立」とラベル付けされている推論のうち、前提に全称肯定文もしくは特称否定文が含まれており、少なくとも一つの前提のタームを入れ替えて解釈した場合にラベルが中立から含意に変わるような推論を、Conversion とラベル付けした。

 &  \\

表 2 NeuBAROCO データセットで記号、信念相反あり、信念相反なし、Coversion とラベル付けされた推論の例

表 35 択選択課題における各モデルの正解率 $(\%, n=80)$

## 4 実験

LLM の推論能力の評価のため、NeuBAROCO デー タセットを用いて以下の実験を行った。

## 4.1 実験設定

2 種類の課題について、問題の解答方法の指示と、本データセットから生成した問題 1 題を含むテキストを 1 回の試行の入力（プロンプト）として、問題数分の試行における言語モデルの出力を収集し、全体および分類ごとの正解率を尺度として評価した。実験には、OpenAI 社が API を提供する GPT-3.5 (gpt-3.5-turbo-1106) および GPT-4 (gpt-4-0613)1)を言語モデルとして用いた。解答の長さを制限するため、最大出力トークン長を 10 に設定し、その他のハイパーパラメータは既定値を用いた。

2 種類の課題はそれぞれ以下の形式であり、英語と日本語の各言語で問題とプロンプトを生成した。

表 43 択判定課題における各モデルの正解率 $(\%, n=870)$

表 55 択選択課題における各モデルの正解率 $(\%, n=80)$

3 択判定課題三段論法の大前提 - 小前提と仮説 （結論の候補）を提示し、「含意」、「矛盾」、「どちらでもない」のいずれかを一語で解答させる。この課題では、(i) 指示と問題のみを与えるパターン（例示なし、zero-shotプロンプト）と、(ii) 正しい三段論法の例数例を指示と問題の間に挿入したパターン（例示あり、few-shot プロンプト）の2 パターンで実験を行った。パターン (i) のプロンプトの例を付録 A.1、 パターン (ii) で挿入した例示を付録 A. 2 に示す。

5 択選択課題三段論法の大前提・小前提を提示し、結論の候補 4 つと「どれでもない」の 5 つの選択肢から正しい選択肢の番号を解答させる。プロンプトの例を付録 A. 3 に示す。

## 4.2 結果と分析

3 択判定課題と 5 択選択課題の評価結果をそれぞれ表 4 と表 5 に示す。 3 択判定課題について、以下では例示なし（zero-shot プロンプト）の場合について述べるが、GPT-4 では特に例示の追加（few-shot プロンプト）によって英語と日本語のいずれにもおいても全体正解率の向上が見られ、英語で 5.40 ポイント、日本語で 9.20 ポイント高くなっている。

3 択判定課題英語では、GPT-4 が $69.89 \%$ の全体正解率で GPT-3.5を 18.28 ポイント上回った。他方で、正解ラベルが「中立」である問題の正解率は、 GPT-3.5 から GPT-4 で向上しているものの、GPT-4 でも $51.04 \%$ と、他の正解ラベルでの正解率に比べて 30 から 40 ポイント程度低くなっている。

日本語では、GPT-3.5 の全体正解率が $38.16 \%$ に留まっているが、GPT-4 では $70.11 \%$ と英語の場合と同等以上に改善している。いずれのモデルでも、正解ラベルが「含意」である問題の正解率は高い。一方、英語・日本語ともに、正解ラベルが「中立」である問題の正解率は他の正解ラベルでの正解率に比べて GPT-3.5 および GPT-4 ともに低く、few-shot プロンプトを追加した GPT-4 でも 6 割台に留まる。

問題のタイプごとの正解率では、記号タイプに分類される問題の正解率が多くのケースで全体正解率を上回っている。また、GPT-4、GPT-3.5 とも、信念相反ありの問題は信念相反なしの問題よりも正解率が低いが、GPT-4 ではその差は少ない。Conversion errorを引き起こす問題（Conversion タイプに分類される問題）の正解率は、ほとんどのケースで全体正解率より顕著に低くなっている。

5 択選択課題 GPT-4 の正解率は英語で 83.75\%、

ポイントと 58.75 ポイント上回り高い性能を示した。 また、 3 択判定課題、 5 択選択課題のいずれにおいても、GPT-4 は英語より日本語で正解率が高い傾向が見られた。 5 択選択課題の正答率は、 3 択判定課題の含意のケースの正答率と同様に高い傾向を示している。これは、 5 択選択課題では基本的に前提文と正解の結論文の関係は含意であり、中立の問題は含まれないことが影響していると考えられる。

## 5 おわりに

本稿では LLM の論理推論能力の検証のため、日本語・英語の三段論法からなる NeuBAROCO データセットを導入した。ベースライン実験の結果、現状の LLM は含意ラベルが「中立」の問題、特に人間の推論バイアスとして知られている Conversion error を引き起こす問題に関して大きな改善の余地があることが示唆された。オリジナルの BAROCO 問題集 （5 択選択課題）では、各タイプの三段論法に対して大規模な被験者実験による正答率が付与されている。人間の正答率との詳細な比較は今後の課題の一つである。

## 5.1 謝辞

BAROCO 問題集の初期バージョンについて情報提供をいただいた敷島千鶴氏、佐藤有理氏に感謝します。本研究は、JST、CREST、JPMJCR2114、JSPS 科研費 JP21H00467、JP21K18339、JP21K00016 の助成を受けたものです。

## 参考文献

[1] Chizuru Shikishima, Kai Hiraishi, Shinji Yamagata, Yutaro Sugimoto, Ryo Takemura, Koken Ozaki, Mitsuhiro Okada, Tatsushi Toda, and Juko Ando. Is g an entity? a Japanese twin study using syllogisms and intelligence tests. Intelligence, Vol. 37, No. 3, pp. 256-267, 2009.

[2] Jonathan St.B. T. Evans, Stephen E. Newstead, and Ruth M. J. Byrne. Human Reasoning: The Psychology of Deduction. Psychology Press, 1993.

[3] Ken Manktelow. Reasoning and Thinking. Psychology press, 1999. K. マンクテロウ『思考と推論: 理性・判断・意思決定の心理学』服部雅史・山祐嗣（監訳）,北大路書房, 2015.

[4] Keith Stenning and Michiel Van Lambalgen. Human Reasoning and Cognitive Science. MIT Press, 2012.

[5] Chizuru Shikishima, Kai Hiraishi, Shinji Yamagata, Juko Ando, and Mitsuhiro Okada. Genetic factors of individual differences in decision making in economic behavior: A Japanese twin study using the Allais problem. Frontiers in Psychology, Vol. 6, p. 1712, 2015.

[6] Bart Geurts. Reasoning with quantifiers. Cognition, Vol. 86, No. 3, pp. 223-251, 2003.

[7] Tiansi Dong, Chengjiang Li, Christian Bauckhage, Juanzi Li, Stefan Wrobel, and Armin B Cremers. Learning syllogism with euler neural-networks. arXiv preprint arXiv:2007.07320, 2020 .

[8] Reto Gubelmann, Christina Niklaus, and Siegfried Handschuh. A philosophically-informed contribution to the generalization problem of neural natural language inference: Shallow heuristics, bias, and the varieties of inference. In Proceedings of the 3rd Natural Logic Meets Machine Learning Workshop (NALOMA III), pp. 38-50, 2022

[9] Zeinab Aghahadi and Alireza Talebpour. Avicenna: a challenge dataset for natural language generation toward commonsense syllogistic reasoning. Journal of Applied Non-Classical Logics, Vol. 32, No. 1, pp. 55-71, 2022.

[10] Yongkang Wu, Meng Han, Yutao Zhu, Lei Li, Xinyu Zhang, Ruofei Lai, Xiaoguang Li, Yuanhang Ren, Zhicheng Dou, and Zhao Cao. Hence, socrates is mortal: A benchmark for natural language syllogistic reasoning. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 2347-2367, 2023.

[11] Ishita Dasgupta, Andrew K Lampinen, Stephanie CY Chan, Antonia Creswell, Dharshan Kumaran, James L McClelland, and Felix Hill. Language models show human-like content effects on reasoning. arXiv preprint arXiv:2207.07051, 2022.

[12] Ishita Dasgupta, Andrew K. Lampinen, Stephanie C. Y.
Chan, Hannah R. Sheahan, Antonia Creswell, Dharshan Kumaran, James L. McClelland, and Felix Hill. Language models show human-like content effects on reasoning tasks, 2023.

[13] Chizuru Shikishima, Juko Ando, Pierre Grialou, Ryo Takemura, and Mitsuhiro Okada. A behavioural genetic study of syllogism solving using linguistic and graphical representations: A preliminary report. In Images and reasoning: Interdisciplinary conference series on reasoning studies, Vol. 1, pp. 69-85. Keio University Press Tokyo, 2005.

[14] Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, and Mitsuhiro Okada. Evaluating large language models with NeuBAROCO: Syllogistic reasoning ability and human-like biases. In Stergios Chatzikyriakidis and Valeria de Paiva, editors, Proceedings of the 4th Natural Logic Meets Machine Learning Workshop, pp. 1-11, Nancy, France, June 2023. Association for Computational Linguistics.

## A 付録

## A. 13 択判定課題のプロンプト例

Determine the correct logical relationship between the given premises and the hypothesis.

- Answer "entailment" if the hypothesis follows logically from the premises.

- Answer "contradiction" if the premises and the hypothesis are logically incompatible with each other.

- Answer "neither" if the relationship is neither "entailment" nor "contradiction".

Your answer must be one word: "entailment", "contradiction", or "neither".

Premise 1: One friend of Taro is a friend of Paul.

Premise 2: All of Paul's friends are German.

Hypothesis: All of Taro's friends are German.

The answer is:

## A. 2 Few-shot プロンプトで指示と課題の間に挿入した例示（3 択判定課題）

Premise 1: Some X are Y.

Premise 2: All Y are Z.

Hypothesis: All X are Z.

The answer is: neither

Premise 1: Some X are Y.

Premise 2: All Y are Z.

Hypothesis: Some X are Z.

The answer is: entailment

Premise 1: Some X are Y.

Premise 2: All Y are Z.

Hypothesis: No X are Z.

The answer is: contradiction前提 1: ある X は Y である。

前提 2: すべての Y はZである。

仮説: すべての X はZである。

答えは: どちらでもない

前提 1: ある X は Y である。

前提 2: すべての $\mathrm{Y}$ は Zである。

仮説: ある XはZである。

答えは: 含意

前提 1: ある X は $\mathrm{Y}$ である。

前提 2: すべての $\mathrm{Y}$ は Zである。

仮説: どの $\mathrm{X}$ も Zでない。

答えは: 矛盾

## A. 35 択選択課題のプロンプト例

Select one statement from the five options provided that logically follows as a conclusion from the two premises presented in each problem. Answer by providing the number of your choice.

Premise 1: All the rings in this box are Yuki's rings.

Premise 2: None of Yuki's rings are gold rings.

1. All the rings inside this box are gold rings.

2. Some of the rings inside this box is a gold ring.

3. none of them.

4. None of the rings in this box are gold rings.

5. Some ring inside this box is not a gold ring.

The answer is: