# 項目反応理論を用いた難易度調整可能な多肢選択式読解問題自動生成

富川雄斗 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{tomikawa, uto\}@ai. lab.uec.ac.jp

## 概要

近年，教育場面において難易度調整可能な読解問題自動生成が注目されている. 我々は, 項目反応理論を用いて学習者の能力にあった難易度の読解問題を生成する技術を開発してきた。しかし, この手法は答えが読解対象文中に存在する抽出型の問題形式を対象としており，教育現場で広く使われている多肢選択式の問題形式には対応できない。そこで，本研究では難易度調整可能な多肢選択式問題自動生成手法を開発する。また，提案手法によって生成した問題を項目反応理論に基づいて分析し，生成の性能を評価する。

## 1 はじめに

読解文から問題を自動で生成する読解問題自動生成が, 教育分野において注目されている。近年では, 深層学習を用いることによって, 高品質な読解問題自動生成が実現されている $[1,2,3,4,5,6]$.

学習支援や教育評価の文脈で問題生成を利用する場合, 任意の難易度で問題を生成できることが望ましい [7]. そのため, 近年では, 難易度の調整機能を有する問題生成技術が幾つか提案されている $[8,9,10]$. 最先端手法の一つとして, Uto et al. [8] は項目反応理論 (Item Response Theory: IRT) [11] と事前学習済み深層学習モデルを用いて, 学習者の読解力に適した難易度で問題と答えの組を生成できる手法を開発している。しかし，この手法は答えが読解対象文中に存在する抽出型の問題形式を対象としており, 教育現場で広く使われている多肢選択式の問題には直接には適用できない。そこで, 本研究では難易度調整可能な多肢選択式問題自動生成手法を開発する。提案手法は，BERT [12]による答え区間の抽出と $\mathrm{T} 5$ [13] による Answer-aware な問題生成の 2 段階で実現されていた従来の難易度調整可能な抽出型問題生成手法を，LLaMA 2 [14] による自己回帰型言語モデルを用いた手法に拡張し，読解文と任意の難易度から多肢選択式問題の問題文と選択肢群を生成できるようにする。また，提案手法によって生成した問題を項目反応理論に基づいて分析し，生成された問題の特性を評価する。本分析では，難易度調整の性能を評価するためにラッシュモデル [15] を，生成された選択肢の性質を調査するために名義反応モデル [16] を利用する.

## 2 項目反応理論

項目反応理論は学習者の能力と問題の難易度などの特性を定式化するテスト理論の一つであり，様々なハイステークス試験で活用されている $[17,18,19]$. ここでは, 本研究で利用するラッシュモデルと名義反応モデルを紹介する．ラッシュモデルは, 学習者 $j$ が問題 $i$ に正答する確率 $P_{i j}$ を次式で定義する。

$
P_{i j}=\frac{1}{1+\exp \left(-\left(\theta_{j}-b_{i}\right)\right)}
$

ここで, $\theta_{j}$ は受験者 $j$ の能力値を, $b_{i}$ は問題 $i$ の難易度を表し, 正誤反応データの集合から推定される。

名義反応モデルは多値型項目反応理論モデルの一つであり, 多肢選択式問題の分析では選択肢の傾向を分析する目的で利用されることが多い. 名義反応モデルは, 学習者 $j$ が問題 $i$ において $K$ 個の選択肢から $k$ を選択する確率 $P_{i j k}$ を次式で定義する。

$
P_{i j k}=\frac{\exp \left(\alpha_{i k} \theta_{j}+\zeta_{i k}\right)}{\sum_{k^{\prime}}^{K} \exp \left(\alpha_{i k^{\prime}} \theta_{j}+\zeta_{i k^{\prime}}\right)}
$

ここで， $\alpha_{i k}$ は問題 $i$ における選択肢 $k$ の識別力パラメータ， $\zeta_{i k}$ は問題 $i$ における選択肢 $k$ の位置パラメータを表す．名義反応モデルのパラメータは，各学習者が各問題においてどの選択肢に反応したかを表す選択反応データの集合から推定される.

## 3 IRTを用いた難易度調整可能な抽出型読解問題自動生成

本研究は Uto et al. が提案した, 項目反応理論を用いた難易度調整可能な抽出型読解問題自動生成のアプローチを基礎とする. そこで本章では, この手法について説明する.

この研究では, 質問応答や問題生成のベンチマー クデータセットとして広く利用される SQuAD デー タセット [20]を用いている. SQuAD は, 読解対象文 $\boldsymbol{c}_{i}$ とそれに関連する問題文 $\boldsymbol{q}_{i}$, およびその問題文に対応する答え $a_{i}$ で構成され, 答え $\boldsymbol{a}_{i}$ は読解対象文 $\boldsymbol{c}_{i}$ 中に存在する $\left(\boldsymbol{a}_{i} \in \boldsymbol{c}_{i}\right)$. したがって, データセットは $\left.\{\boldsymbol{c}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i} \mid i \in 1 \ldots I\right.\}$ と表すことができる. ここで $I$ はデータ数を表す.

しかし, SQuADには問題の難易度が含まれていない. そこで Uto et al. は SQuAD のデータ中の問題に対して, IRT に基づく難易度を推定する方法を提案している. 具体的には, データセット中の各問題 $\boldsymbol{q}_{i}$ を性能の異なる多数の QA (Question Answering) システムに出題し, 正誤反応データを取得する. なお, 本来は, 人間の正誤反応データを取得すべきであるが，これには膨大なコストがかかるため, ここでは QA システムで代用している. そして，このデータから, ラッシュモデルによって各問題の難易度值 $b_{i}$ を推定し, 元々のデータセットに $b_{i}$ を加えることで, 難易度を含んだデータセットを構築する.このように構築した難易度付きの SQuAD デー タセットを用いて, Uto et al. では次の二つのモデルを訓練することで，答えと問題の生成を行う.

1. 難易度調整可能な答え抽出モデル: 読解対象文から所望の難易度に沿った答えを抽出するモデル. 具体的には, 難易度 $b_{i}$ と読解対象文 $\boldsymbol{c}_{i}$ を結合した文字列を入力し，読解対象文における答えの開始位置と終了位置を出力するように訓練された BERT モデルとして設計.

2. 難易度調整可能な問題生成モデル: 読解対象文と答え, および所望の難易度から, 問題を生成するモデル. 具体的には, 難易度 $b_{i}$ と読解対象文 $\boldsymbol{c}_{\boldsymbol{i}}$, 答え $\boldsymbol{a}_{\boldsymbol{i}}$ を結合した文字列を入力し, 問題文を生成するように訓練された T5 モデルとして設計.

この手法は答えが読解対象文中に存在する抽出型の問題形式を対象としており, 教育現場で広く使われている多肢選択式の問題には対応していない.表 1 : 問題生成時の入出力

$\overline{\text { 入力 }}$

Create a question and 4 options with a difficulty level of $\{b\}$ based on the Context. Option 1 is the correct answer and Option 2, 3 and 4 are the distractor options. Difficulty level -3.0 is the easiest and 3.0 is the most difficult. \#\#\# Context: <tag> $\{$ context $\}<$ tag $>$出力 \#\#\# Option 1 (Correct Option): <tag> \{correct_option \} </tag> \#\#\# Question: <tag> \{question \} </tag> \#\#\# Option 2 (Distractor Option): <tag> \{distractor_options_1\} </tag> \#\#\# Option 3 (Distractor Option): <tag> \{distractor_options_2\}</tag> \#\#\# Option 4 (Distractor Option): <tag> \{distractor_options_3\} </tag>

## 4 提案手法

本研究では, 難易度調整可能な多肢選択式問題自動生成手法を提案する. 多肢選択式問題自動生成の研究では, モデルの学習や性能評価に RACE データセット [21] が広く用いられている [22, 23, 24, 25, 26]. RACE は, 読解対象文 $\boldsymbol{c}_{i}$ とそれに関連する問題文 $\boldsymbol{q}_{i}$, およびその問題文に対応する正答選択肢 $\boldsymbol{a}_{\boldsymbol{i}}$ と 3 つの誤答選択肢 $\boldsymbol{d}_{i 1}, \boldsymbol{d}_{i 2}, \boldsymbol{d}_{i 3}$ で構成され, $\left.\{\boldsymbol{c}_{i}, \boldsymbol{q}_{i}, \boldsymbol{a}_{i}, \boldsymbol{d}_{i 1}, \boldsymbol{d}_{i 2}, \boldsymbol{d}_{i 3} \mid i \in 1 \ldots I\right.\}$ として表すことができる. しかし, SQuAD データセットと同様に, RACE データセットにおいても問題の難易度は含まれていない. そこで, Uto et al. と同様の手順で難易度を含んだデータセットを構築する. 次に, 難易度と読解対象文を所与として, 難易度に沿った正答選択肢と問題， 3 つの誤答選択肢の生成をLLaMA 2 によって実現する. 具体的な提案手法の構築手順は次の通りである.

1. 精度の異なる 400 個の QA システムを構築する. 具体的には，まずRACE の検証データを用いて, huggingface ${ }^{1)}$ で公開されている 4 つの深層学習モデル (bert-base-uncased, roberta-base, deberta-v3-large, albert-base-v1)を, 入力に対応する選択肢を選ぶモデルとして Liu et al. [27] の方法で訓練する. 次に，各モデルの [CLS] に対応する出力層の後に, Dropout 層を插入する.この Dropout 率を 0.00 から 0.99 まで 0.01 刻みで変化させることで, 精度の異なる 400 個の QA システムを構築する。

2. Uto et al. と同様の方法で RACE の訓練データに対して問題難易度 $b_{i}$ を推定し, その難易度值を RACE データセットに追加することで難易度付きの RACE データセットを構築する.

3. Llama-2-7b2) を用いて, 読解対象文と難易度を入力すると, 正答選択肢, 問題, 3 つの誤答選択肢を出力するように訓練を行う. ここで，モデルの入力と出力の形式は表 1 の通りである. 表 1 中の $\{b\}$ は手順 2 で推定した問題の難易度, \{context \}は読解対象文, \{correct_option\}は正答選択肢, \{question\}は問題, \{distractor_options_1\}, \{distractor_options_2\}, \{distractor_options_3\}は 3 つの誤答選択肢を表し，それぞれデータセット中の各データで置き換えるものとする.

## 5 評価実験

ここでは提案手法の性能を評価する実験を行った.

## 5.1 実験手順

上記の手法で訓練した提案モデルを用いて以下の実験を行った。まず，RACE テストデータ中の 300 個の読解対象文に対し, それぞれ-3.0 から 3.0 まで 0.1 刻みで難易度を指定して, 提案モデルによって計 18300 問の問題を生成した. 実際に生成した問題例を付録 $\mathrm{A}$ に示す. 次に，生成した問題を， 4 章の手順 1 で作成した 400 個の QA システムに解答させ，選択反応データを収集した. 以上の手順で収集した選択反応データを用いて, 正答率, ラッシュモデル, 名義反応モデルによる評価を行った。なお,以降の分析のために, 提案手法の構築手順 2. で問題難易度を推定する際に, 各 $\mathrm{QA}$ システムの能力推定値も合わせて求めた。

## 5.2 正答率による評価

生成した問題が指定した難易度を反映できているか確認するために， 5.1 節で収集した選択反応デー タを正答, 誤答に 2 值化し, 正答率による評価を行った. 各難易度の問題群に対する 400 個の QA システムの平均正答率を図 1 に示す. 横軸は指定した難易度, 縦軸は各難易度に対応する問題群の平均正答率を表す。この結果より, 指定した難易度が高くなるほど正答率が下がることが分かる。また，指定した難易度と平均正答率の相関係数が-0. 97 であったことから, 正しく難易度情報を反映できていることが分かる.

図 1: 各難易度の問題群に対する平均正答率

図 2: 指定した難易度と難易度推定值

## 5.3 ラッシュモデルによる評価

指定した IRT 尺度に応じた難易度の問題を生成できているか確認するために，ラッシュモデルによる評価を行った。具体的には, 5.2 節と同様に選択反応データを正答, 誤答に 2 值化し, 事前に求めておいた各 $\mathrm{QA}$ システムの能力值を所与としてラッシュモデルを適用することで，各問題の難易度を推定した。結果を図 2 に示す。横軸は指定した難易度, 縦軸は各難易度に対応する問題群に対する難易度推定値の平均値を表す. 指定した難易度と難易度推定値の平均値の相関係数は 0.98 と高かったが，平均絶対誤差は 0.90 であり，十分に小さいとは言えない.この結果は, 問題の識別力が関係している可能性があるが，これについての詳細な分析は今後の課題としたい.

## 5.4 名義反応モデルによる評価

次に, 生成する際に指定した難易度によって各選択肢を選ぶ確率が異なるかを確認するために，選択

図 3: 難易度を $b^{\text {(specified) }}=-3.0$ と指定して生成した問題に対する名義反応モデルの項目特性曲線

反応データを名義反応モデルによって分析した. 具体的には, 収集した選択反応データから, ラッシュモデルによって推定された各 QA システムの能力值を所与として名義反応モデルを適用することで, 各問題の各選択肢に対応するパラメータ $\alpha_{i k}, \zeta_{i k}$ を推定した. なお, ラッシュモデルにおける能力值と名義反応モデルにおける能力值の尺度は一致しないが, ここでは簡単のため使用している. 次に, 難易度を $b^{\text {(specified) }}=-3.0$ と指定して生成した選択肢に対応するパラメータ $\alpha_{i k}, \zeta_{i k}$ の平均を，4つの選択肢ごとに求めた。このパラメータを用いて作成した項目特性曲線を図 3 に示す. 横軸は学習者の能力值, 縦軸は選択肢 $k$ を選ぶ確率を表す. なお, 推定した QA システムの能力值の最小值は-1.2, 最大值は 2.6 であったため横軸の範囲はこれを含む範囲として-1.5 から 3.0 としている. $b^{\text {(specified) }}=0.0,3.0$ として生成した選択肢に対応するパラメータに対しても同様に作成した項目特性曲線をそれぞれ図 4,5 に示す. 能力値が高くなるほど, 正答選択肢の選択確率が高くなり, 誤答選択肢の選択確率が低下する傾向が読み取れる。また, 難易度が増加するほど,正答選択肢の選択確率が総じて低くなり, 誤答選択肢の選択確率が総じて向上する傾向が読み取れる. このことから, 正答選択肢や誤答選択肢は適切に生成されていることがわかる.

以上の結果より，指定した難易度が各選択肢に反映されていることを確認できた. また, 個別の問題ごとに項目特性曲線を分析することで, 個々の選択肢に関する詳細な情報が得られる. この分析例を付録 $\mathrm{A}$ に示す.

図 4: 難易度を $b^{\text {(specified) }}=0.0$ と指定して生成した問題に対する名義反応モデルの項目特性曲線

図 5: 難易度を $b^{\text {(specified) }}=3.0$ と指定して生成した問題に対する名義反応モデルの項目特性曲線

## 6 おわりに

本研究では, 項目反応理論と LLaMA 2 を用いた難易度調整可能な多肢選択式読解問題自動生成手法を開発した。また，提案手法によって生成した問題を QA システムに解かせて収集した選択反応データを用いて, 正答率, ラッシュモデル, 名義反応モデルで分析した結果，指定した難易度を反映した問題生成ができていることが確認できた。

5.3 節の結果を踏まえ, 今後は識別力を考慮できる 2 母数ロジスティックモデルや当て推量を考慮できる 3 母数ロジスティックモデルの活用も検討していきたい. また, 提案手法ではしばしば解答不能な問題が生成される場合があるため, 今後は, 解答可能性を向上する機構について検討を行っていきたい.

## 謝辞

本研究は JSPS 科研費 23K17585, 21H00898, 19H05663 の助成を受けたものです.

## 参考文献

[1] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proc. 55th Annu. Meeting of the Association for Computational Linguistics, pp. 1342-1352, 2017.

[2] Yao Zhao, Xiaochuan Ni, Yuanyuan Ding, and Qifa Ke. Paragraph-level neural question generation with maxout pointer and gated self-attention networks. In Proc. 2018 Conf. Empirical Methods in Natural Language Processing, pp. 3901-3910, 2018.

[3] Ying-Hong Chan and Yao-Chung Fan. A recurrent BERTbased model for question generation. In Proc. 2nd Workshop on Machine Reading for Question Answering, pp. 154-162, 2019.

[4] Jingjing Li, Yifan Gao, Lidong Bing, Irwin King, and Michael R. Lyu. Improving question generation with to the point context. In Proc. 2019 Conf. Empirical Methods in Natural Language Processing and the 9th Int. Joint Conf. Natural Language Processing, pp. 32163226, 2019.

[5] Asahi Ushio, Fernando Alva-Manchego, and Jose Camacho-Collados. Generative language models for paragraph-level question generation. In Proc. 2022 Conf. Empirical Methods in Natural Language Processing, pp. 670-688, 2022.

[6] Ying-Hong Chan, Ho-Lam Chung, and Yao-Chung Fan. Keyword provision question generation for facilitating educational reading comprehension preparation. In Proc. 15th Int. Conf. on Natural Language Generation, pp. 196-202, 2022.

[7] Maomi Ueno and Yoshimitsu Miyazawa. IRT-based adaptive hints to scaffold learning in programming. IEEE Trans. on Learn. Technologies, Vol. 11, No. 4, pp. 415-428, Oct.-Dec. 2018.

[8] Masaki Uto, Yuto Tomikawa, and Ayaka Suzuki. Difficulty-controllable neural question generation for reading comprehension using item response theory. In Proc. 18th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 119-129, 2023.

[9] Yifan Gao, Lidong Bing, Wang Chen, Michael Lyu, and Irwin King. Difficulty controllable generation of reading comprehension questions. In Proc. Twenty-Eighth Int. Joint Conf. Artificial Intelligence, pp. 4968-4974, 2019.

[10] Yi Cheng, Siyao Li, Bang Liu, Ruihui Zhao, Sujian Li, Chenghua Lin, and Yefeng Zheng. Guiding the growth: Difficulty-controllable question generation through stepby-step rewriting. In Proc. 59th Annu. Meeting of the Association for Computational Linguistics and the 11th Int. Joint Conf. on Natural Language Processing, pp. 5968-5978, 2021.

[11] F. M. Lord. Applications of Item Response Theory To Practical Testing Problems. Routledge, 1980.
[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. 2019 Conf. of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[13] Colin Raffel and et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. of Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, Jan. 2020.

[14] Hugo Touvron and et al. Llama 2: Open foundation and fine-tuned chat models. arXiv, 2023.

[15] Georg Rasch. Probabilistic models for some intelligence and attainment tests. The University of Chicago Press, 1981.

[16] R. Darrell Bock. Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, Vol. 37, pp. 29-51, Mar. 1972.

[17] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. Heliyon, Vol. 4, No. 5, May 2018.

[18] Masaki Uto. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Behavior Res. Methods, Vol. 55, pp. 3910-3928, Oct. 2022.

[19] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, pp. 425-457, 2021.

[20] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proc. 2016 Conf. Empirical Methods in Natural Language Processing, pp. 23832392, 2016.

[21] Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang, and Eduard Hovy. Race: Large-scale reading comprehension dataset from examinations. In Proc. 2017 Conf. Empirical Methods in Natural Language Processing, pp. 785-794, 2017.

[22] Xiaorui Zhou, Senlin Luo, and Yunfang Wu. Co-attention hierarchical network: Generating coherent long distractors for reading comprehension. In Proc. AAAI conf. artificial intelligence, pp. 9725-9732, 2019.

[23] Jeroen Offerijns, Suzan Verberne, and Tessa Verhoef. Better distractions: Transformer-based distractor generation and multiple choice question filtering. arxiv, 2020.

[24] Ho-Lam Chung, Ying-Hong Chan, and Yao-Chung Fan. A BERT-based distractor generation scheme with multitasking and negative answer training strategies. In Proc. Findings of the Association for Computational Linguistics 2020, pp. 4390-4400, 2020.

[25] Yifan Gao, Lidong Bing, Piji Li, Irwin King, and Michael R. Lyu. Generating distractors for reading comprehension questions from real examinations. In Proc. AAAI conf. artificial intelligence, pp. 6423-6430, 2019.

[26] Xin Jia, Wenjie Zhou, Xu Sun, and Yunfang Wu. Eqg-race: Examination-type question generation. In Proc. AAAI conf. artificial intelligence, pp. 13143-13151, 2021.

[27] Yinhan Liu and et al. RoBERTa: A robustly optimized BERT pretraining approach. arxiv, 2019.

## A 実際に生成された問題例とその分析

難易度を-3.0，0.0，3.0 と指定して，実際に生成された問題例をそれぞれ表 2 に示す。また，これらの問題をそれぞれ 400 個の QA システムに解かせ, 収集した選択反応データから推定した名義反応モデルの項目特性曲線を，それぞれ図 $6 ， 7 ， 8$ に示す。これらの図より，指定した難易度が高くなるほど正答選択肢を選ぶ確率が低くなることが確認できる。また, 図 6 を見ると, 誤答選択肢 3 は能力値全域において選択確率が低いため, この選択肢は迷わしとしてあまり機能していないことが分かる. 次に, 図 7 では, 能力值の低い学習者は誤答選択肢 1 を選択する確率が高いため, 誤答選択肢 1 は能力値が低い学習者に対しての迷わしとして, 適切に機能していると言える. 図 8 では, 誤答選択肢の選択傾向が特徴的である. まず，低能力帯においては誤答選択肢 1 と 2 が同程度に高い選択確率を有しており, 正答選択肢の選択確率は著しく低い. このことは, 能力が低い学習者は誤答選択肢 1 と 2 に過度に反応する（惑わされる）傾向があることを意味している.また, 中程度の能力帯においては, 誤答選択肢 1 の選択確率が上昇し, 誤答選択肢 2 の選択確率が減少していることがわかる.このことは, この能力帯の学習者にとっては誤答選択肢 2 は迷わしとして機能しなくなり, 誤答選択肢 1 に対する確度が上がることを意味している. そして, 高能力帯の学習者にとっては, これらの迷わしは機能せず正答選択肢を高確率で選べるようになっていることが読み取れる.

表 2: 実際に生成された問題例

## 読解対象文

It is true that the first Olympic Games of the modern times in 1896 were not open to women. Baron Pierre de Coubertin, who gave new life to the Games, was very much a man of his time. He didn't like women showing up for the Games. But since this time, things have changed. History shows that the number of women participating in the Olympic Games has been increasing over the years, since their first participation in the 1900 Olympic Games and especially in the last 30 years. This development is of social, political and cultural significance. The progress is the result of the cooperation of the entire Olympic Movement and of proper measures that the International Olympic Committee(IOC), International Sports Federations(IFs), and National Olympic Committees(NOCs)have taken. Especially in the last 20 years, the IOC has enlarged the women's programme at the Olympic Games, in cooperation with IFs and the Organising Committees for the Olympic Games(OCOGs). This development was further strengthened by the IOC's decision that all sports must have women's events. The IOC also started to work on increasing the number of women at leadership level in sport in 1981. Former President Juan Antonio Samaranch, who wanted to have women as IOC members made a great contribution. Many sports volunteers have worked to increase the number of women joining in the Olympic Games. This progress has been made also thanks to the strong determination of women from different countries of the world who have worked to make sure women are fully represented in all sports.

## 指定した難易度: - $\mathbf{3 . 0$}

問題文: Who was strongly against women's participation in the Olympic Games?

正答選択肢: Baron Pierre de Coubertin, 誤答選択肢 1: The IOC, 誤答選択肢 2: The OCOGs, 誤答選択肢 3: National Olympic Committees 指定した難易度: $\mathbf{0 . 0}$

問題文: Which of the following is true?

正答選択肢: The number of women participating in the Olympic Games has been increasing over the years.

誤答選択肢 1: The first Olympic Games of the modern times in 1896 were open to women.

誤答選択肢 2: The number of women participating in the Olympic Games has been decreasing over the years.

誤答選択肢 3: The number of women participating in the Olympic Games has been stable over the years.

## 指定した難易度: $\mathbf{3 . 0$}

問題文: In which Olympic Games did women take part for the first time?

正答選択肢: 1900, 誤答選択肢 1: 1896, 誤答選択肢 2: 1980, 誤答選択肢 3: 2000

図 6: 指定した難易度が-3.0の問題による名義反応曲線

図 7: 指定した難易度が 0.0 の問題による名義反応曲線

図 8: 指定した難易度が 3.0 の問題による名義反応曲線


# JGLUE データを用いた模範解答との差異に基づく 汎用採点モデルの構築

齊藤隆浩 1 古宮嘉那子 1 石岡恒憲 2 中川正樹 1
1 東京農工大学 2 大学入試センター研究開発部
s206216x@st.go.tuat.ac.jp kkomiya@go.tuat.ac.jp
tunenoriard.dnc.ac.jp nakagawa@cc.tuat.ac.jp

## 概要

本研究では、日本語学習済み BERT モデルを用いて短答式記述問題の採点システムを作成した。短答式記述問題の採点に関しては、個別の問題に特化してモデルを学習した岡ら [1] の研究などがあるが、本研究では答案と模範解答の両方を入力し、それらの差異をとるようにモデルを学習することで、一度の学習で複数の設問に対応することができ、かつ限られた数の答案でも採点の正解率を高める手法を提案する。学習・評価データには中学生の国語ドリルの答案データを使用した。学習データに JGLUE: 日本語理解ベンチマーク [2] のコーパスを加えたところ、国語ドリルのみで学習した場合に比べて、採点結果が大きく改善し、文ペア分類のコーパスによる学習が汎用的な採点モデルの構築に効果があることが分かった。

## 1 はじめに

近年、教育現場の過大な負担が社会問題として認知され、自然言語処理モデルを活用した採点業務の自動化が模索されている。採点タスクに関する研究としては、手書き文字認識と自然言語処理を組み合わせることで短答式記述問題を完全自動採点した岡らの研究 [1]、自動採点結果に説明性や整合性を持たせた佐藤ら、浅妻らの研究 [3][4]、暗黙的な表現を明示的な表現に変換することで結果が改善することを示した Bexte らの研究 [5] など様々なものがあるが、これらは全て設問ごとにモデルを作成して採点を行っている。その場合、各設問ごとに大量の学習データが必要になるため、活用場面は大規模テストなどに限られ、学校現場での導入が難しいという課題がある。モデルの学習に使用した設問と異なる設問を採点する試みとしては、1つの模範解答と他設問の答案をもとに One-shot learning を実施した江島らの研究 [6] が挙げられるが、これは小論文の採点に適用したものであり、文字数の多い設問では精度が悪かったことが報告されている。また、小論文の正解は 1 通りではないため、模範解答と異なる解答に対応することが難しいという課題も考えられる。本研究では短答式記述問題を題材に、BERT[7]をベースとして模範解答との差異に基づく汎用採点モデルを構築した。短答式記述問題は明示的な正解が定まっている場合が多く、模範解答との差異に基づく採点が有効であると考えられる。さらに、模範解答との差異を出力するタスクが文ペア分類タスクに類似していることに着目し、JGLUE: 日本語理解ベンチマーク [2] のコーパスに含まれる文ぺアを使って学習を行うことで、学校現場で用意できる学習データの不足を補いモデルの性能を底上げすることを狙った。

## 2 関連研究

本研究で使用した BERT[7] は 2019 年に発表された大規模事前学習モデルである。 $\mathrm{BERT}_{\text {base }}$ の場合、入力された各トークンはまず、Input Embedding 層で 768 次元のベクトルに変換された後、 12 層の Transformer[8] の Encoder ブロックで双方向の文脈を考慮した埋め込みベクトルに変換される。中間層の出力ベクトルも抽出することが可能で、下層、中層、上層のベクトルはそれぞれ表層特徵、構文特徵、意味特徴の情報を含むとされている [9]。また、 トークン列の先頭には [CLS]、文末や 2 文の境界には [SEP] といった特殊トークンが付加され、とくに [CLS] は文全体の意味情報を含むとされている。

JGLUE[2] は、2022 年に提唱された日本語の言語理解ベンチマークである。2018 年に提唱された英語ベンチマークの GLUE[10] のように、一般的な言
語理解能力を測ることを目的として作成された。文章分類、文ペア分類、QAの3つのタスクと、それぞれに対応する 2 種類ずつ、計 6 種類のデータセットから構成される。

本研究と同様に日本語の短答式記述問題を採点した研究には岡らの [1]がある。岡らは $\mathrm{BERT}_{\text {base }}$ を使用し、 6 設問 $\times$ 約 6 万サンプルの答案データを用いて、各設問ごとに特化したモデルを作成した。その結果、全ての設問において高い正解率を達成した一方で、6万のサンプル数でも正解率が収束しないことや、BERT の上層 ( $9 \sim 12$ 層) の情報を抽出した場合に最も良い採点結果が得られることなどが示された。

その他の採点に関する研究として、Cahill らの研究 [11]がある。Cahill らは、答案に数式と文章の両方が含まれる数学の文章題に対する採点システムを作成した。人間に迫る水準の採点性能を達成しただけでなく、採点ルーブリックを導入することで説明可能なモデルを構築することに成功した。

## 3 データ

## 3.1 国語ドリルデータ

中学生向けの国語ドリル 3 冊に含まれる 25 問の短答式記述問題を抜き出して使用した。答案サンプルは各設問につき 55 6 6 件、計 1,547 件あるが、実際に使用したのは白紙答案などを除外した 1,372 件である。各答案は (模範解答, 生徒の解答, 正誤ラベル) の組である。ただし、生徒の解答は手書き答案を人手で文字起こししたものであり、正誤ラベルは生徒の保護者による採点である。答案収集は、本学における人を対象とする研究に関する倫理審査委員会の承認を得て実施した (No.220707-04111)。

学習データに含まれる設問と異なる設問に対する採点精度を評価するため、全データを 5 設問ずつ 5 つの問題セットに分割し、それらを $3: 1: 1$ の割合で学習データ、検証データ、評価データとする。

## 3.2 JGLUE データ

JGLUE[2] で公開されているデータセットのうち、文ペア分類タスクのための 2 種類のデータセット (JSTS、JNLI)を、追加の学習データとして使用した (検証データ、評価データには用いていない)。ただし次のようにして国語ドリルデータと同様の形式 (模範解答, 生徒の解答, 正誤ラベル) に変換した。
JSTS は同格な 2 文の類似度を表す $0.0 \sim 5.0$ の連続値ラベルを予測するタスクであり、データセットは (文 1 , 文 2, ラベル値) からなる。(文 1 , 文 2 ) はそのまま (模範解答, 生徒の解答) とみなす。ラベル值は表 1 のように正誤ラベルに変換する。なお事前実験では、類似度が中間値 $(0.5 \sim 4.5)$ のデータを使用する場合に比べて、使用しない場合の方が、学習データ数の減少に反して性能の向上が見られた。使用したデータ数は 2,618 件である。

JNLI は前提文と仮説文の関係性を entailment(含意)、neutral(中立)、contradiction(矛盾) の 3 つに予測するタスクであり、データセットは (前提文, 仮説文, ラベル) からなる。(前提文, 仮説文) はそのまま (模範解答, 生徒の解答) とみなす。ラベルは表 2 のように正誤ラベルに変換する。なお事前実験では、 neutral のデータを使用しない場合に比べて、使用した場合の方がモデルの性能が向上した。また、順序を変えて (前提文, 仮説文)を (生徒の解答, 模範解答) に対応させる事前実験も行ったが、モデルの性能に有意な差はみられなかった。使用したデータ数は 20,073 件である。

表 2 JNLI データセットのラベル変換

## 4 模範解答との差異に基づく汎用採点モデルの構築

本研究では、模範解答と生徒の解答のペアを入力して、答案を正と誤に分類するシステムを作成した。まず、各解答のペアを連結して BERT の Tokenizer に入力し、単語 ID の系列に変換する。その際、模範解答と生徒の解答の間には $[\mathrm{SEP}]$ トークンを挿入する。得られた単語 ID の系列を BERT モデルに入力することで、 1 単語当たり 768 次元の埋め込みベクトルが出力される。岡ら [1] に従い、第 9 12 層の [CLS] トークンのベクトルを抽出して concat L、3,072 次元のベクトルを得る。これを分類器 $(3,072 \rightarrow 2$ 次元の線形層と Softmax) に入力し、出
力が閾値 (通常は 0.5 ) 以上の場合に正解、それ未満の場合に不正解と判定する。

## 5 実験

## 5.1 学習の方法

学習のフェーズでは、日本語事前学習済み BERT ${ }^{1}$ ) を fine-tuning することによって採点モデルを作成する。なお、下流の分類器のパラメータも同時に学習する。実験は次に示す 3 パターンを行う。

## 国語

国語ドリルデータのみを使って学習する。

## JSTS+国語

最初に JSTS データ、その後に国語ドリルデー タで学習する。

## $\mathrm{JNLI+$ 国語}

最初に JNLI データ、その後に国語ドリルデー タで学習する。

いずれのデータによる学習でも、モデルの最適化アルゴリズムには SGD、損失関数には CrossEntropyLoss を使用し、それぞれ 8 エポックの学習を行う。学習率とバッチサイズは 5.2 節に述べるように Grid Searchを行い決定する。また、国語ドリルデータは 3.1 節で述べたように問題別に分割し、五分割交差検定を行う。

## 5.2 Grid Search によるハイパーパラメー タの決定

学習の際のハイパーパラメータは、次の手順で Grid Search を行い決定する。すべての手順において、国語ドリルデータは 3.1 節で述べたように五分割交差検定を行う。ハイパーパラメータの評価には検証データを用い、5 回の平均の AUC が最も高かったハイパーパラメータを採用する。

## 国語

国語ドリルでの学習時のハイパーパラメータを、表 3 の範囲で Grid Search を行い求める。

## JSTS+国語, JNLI+国語

1. 国語ドリルでの学習時のハイパーパラメータを仮の值 ${ }^{2}$ に固定し、JGLUE データでの学習時のハイパーパラメータを、表 4 の範囲で Grid

Search を行い求める。

2. JGLUE での学習時のハイパーパラメータを手順 1 で求めたものに固定し、国語ドリルでの学習時のハイパーパラメータを、表 3 の範囲で Grid Search を行い求める。

表 3 国語ドリルデータによる学習時の Grid Search の範囲

 \\

上記の方法により、ハイパーパラメータを表 5 のように決定した。

表 5 決定したハイパーパラメータ

} & JSTS & 0.01 & 64 \\
\cline { 2 - 4 } & 国語ドリル & 0.0032 & 8 \\

\cline { 2 - 4 } & 国語ドリル & 0.0064 & 64

## 5.3 モデルの評価

モデルの評価指標には $\mathrm{ACC}$ (正解率)と $\mathrm{AUC}$ を併用する。

まず $\mathrm{ACC}$ (正解率) は、全ての問題数のうち、モデルが正誤を正しく予測した数の割合である。

$
\mathrm{ACC}=\frac{\text { 正解数 }}{\text { 全問題数 }}
$

また、AUC は真陽性率、擬陽性率、ROC 曲線によって説明できる。

真陽性率 (TPR) は、すべての正答答案のうち、モデルが正答と予測した数の割合である。

$\mathrm{TPR}=\frac{\text { モデルが正答と予測した正答答案数 }}{\text { すべての正答答案数 }}$

擬陽性率 (FPR) は、すべての誤答答案のうち、モデルが正答と予測した数の割合である。

FPR $=\frac{\text { モデルが正答と予測した誤答答案数 }}{\text { すべての誤答答案数 }}$

4節で述べたように、本システムは出力が閾値 (通常は 0.5）を超えた場合に正答と判定するが、ここでは閾値を $t \in[0,1]$ の範囲で変化させる。グラフの $x$軸に FPR、 $y$ 軸に TPR をプロットし、滑らかな曲線で結んだものが ROC 曲線である。

AUC は、ROC 曲線の下側の面積である。完全なモデルでは値は 1.0 になり、ランダムな推測を行うモデルでは 0.5 に近づく。

$
\mathrm{AUC}=\int_{x=0}^{x=1} \operatorname{ROC}(x) d x
$

## 6 実験結果

実験はすべて、表 5 に示したハイパーパラメータを用いて行った。三つの実験の結果は表 6 のようになった。最も性能が高かった実験の値を太字で示した。なお、3回実験を行った平均を示した。

表 6 実験結果

いずれの手法も $71 \%$ 以上の ACC、 $82 \%$ 以上の AUC で正解を予測できたが、JGLUE データを使用した場合により良い採点結果が得られ、特に JNLI データを使用した手法では ACC が $76.9 \%$ 、AUC が $86.1 \%$ に達した。

## 7 考察

表 6 から、模範解答と生徒の解答のぺアを入力する採点システムを用いることで、同じ問題の採点結果が学習データに含まれていないときでも ACCが $71 \% 、 A U C$ が $82 \%$ 以上の高水準の採点が行えることが分かる。さらに JGLUE ベンチマークのコーパスに含まれる文ぺアを使って学習を行うことで、最大で ACC が $76.9 \%$ 、AUC が $86.1 \%$ に達した。

三つの実験結果に対しカイ二乗検定を行ったところ、国語と JSTS+国語、及び国語と JNLI+国語の $\mathrm{ACC}$ の差は、有意水準 $\alpha=0.01$ で有意であった。このことから、JGLUE ベンチマークに含まれる JSTS または JNLI データセットを使って学習を行うことにより、モデルの性能が向上することが明らかになった。また、JSTS+国語と JNLI+国語の間では、本実験では JNLI の方が高い値を示しており、 その差は有意水準 $\alpha=0.05$ で有意である (有意水準 $\alpha=0.01$ では有意ではない)。JSTS データよりも
JNLI データを使用した方が効果が大きい可能性がある。

## 8 まとめ

本研究では、日本語学習済み BERT モデルを使用して短答式記述問題の採点タスクを行った。模範解答と生徒の解答と両方を入力することにより、採点対象の設問とは異なる、限られたデータ数で学習した場合でも概ね高い採点結果が得られた。JGLUE ベンチマークに含まれる JSTS または JNLI データセットを学習データに含めたところ、採点の性能が大幅に上がった。これらのデータが学習データ数の不足を補い、採点モデルの性能を向上させるのに有効であることが分かった。また、JSTS データよりもJNLI データを使用した方が効果が大きい可能性が示唆された。

今後の展望としては、Sentence BERT モデルを使用して模範解答と生徒の解答の差異を明示的に取得して採点を行い、今回の BERT モデルでの実験結果と比較することを考えている。また、大学入試共通テストの試行調査のデータを使用した実験も行う予定である。

## 謝辞

本研究は、科研費 $23 \mathrm{H} 03511$ の助成を受けたものです。

## 参考文献

[1] Haruki Oka, Hung Tuan Nguyen, Cuong Tuan Nguyen, Masaki Nakagawa, and Tsunenori Ishioka. Fully automated short answer scoring of the trial tests for common entrance examinations for japanese university. AIED (1), pp. 180-192, 2022.

[2] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 自然言語処理, Vol. 30, No. 1, pp. 63-87, 2023.

[3] 佐藤汰亮, 舟山弘晃, 塙一晃, 浅妻佑弥, 乾健太郎. 根拠箇所に基づく自動採点結果の説明. 言語処理学会第 28 回年次大会, pp. 459-464, 2022.

[4] 浅妻佑弥, 舟山弘晃, 松林優一郎, 水本智也, 乾健太郎. 記述式答案採点モデルの採点基準に対する整合性の検証. 言語処理学会第 29 回年次大会, pp. 1868-1873, 2023.

[5] Marie Bexte, Andrea Horbach, and Torsten Zesch. Implicit phenomena in short-answer scoring data. In Michael Roth, Reut Tsarfaty, and Yoav Goldberg, editors, Proceedings of the 1st Workshop on Understanding Implicit and Underspecified Language, pp. 11-19, Online, August 2021. Association for Computational Linguistics.

[6] 江島知優, 竹内孔一. 模範答案のみを利用した日本語小論文採点支援システム. 言語処理学会第 28 回年次大会, pp. 664-668, 2022.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding". NAACL-HLT, pp. 4171-4186, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[9] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Tal Linzen, Grzegorz Chrupa la, and Afra Alishahi, editors, Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[11] Aoife Cahill, James H Fife, Brian Riordan, Avijit Vajpayee, and Dmytro Galochkin. Context-based automated scoring of complex mathematical responses. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 186-192, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 自動採点技術と項目反応理論に基づくテスト等化を通じた 論述式回答評価の高精度化

荒巻洸太 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{aramaki, uto\}@ai.lab.uec.ac.jp

## 概要

論述式試験の問題として，評価結果が評価者の特性に依存してしまう点が挙げられる.この問題を解決するために，評価者の特性を考慮した項目反応理論が近年多数提案されている．他方で，現実の試験運用ではしばしば，複数の異なる受検者集団に同一の論述式問題を出題し, 各集団の回答をそれぞれ異なる評価者集団が採点する場合がある。そのような評価結果に項目反応理論を適用して結果を比較するためには，等化と呼ばれる手続きが必要になる. 等化を行うためには，集団間に共通する受検者や評価者が一般に必要となる. これに対し，本研究では，自動採点技術を用いて，共通受検者や共通評価者なしに等化を実現する手法を提案する．また，この方法を用いて，人間の評価者と自動採点を連携させた高精度な論述式回答評価を目指す.

## 1 はじめに

近年，様々な評価場面において，論理的思考力や表現力といった高次の能力を測定するニーズが高まっており，これらの能力を測定する手法の一つとして論述式試験が注目されている $[1,2]$. 一方，論述式試験の問題点として，評価結果が評価者の甘さ・厳しさなどの特性に依存してしまう点が指摘されてきた。この問題を解決する手法の一つとして，評価者の特性を考慮して受検者の能力を推定できる項目反応理論（Item response theory: IRT）と呼ばれる統計数理手法が広く研究されている $[3,4,5,6,7,8,9]$.例えば，最先端の IRT モデルの一つである一般化多相ラッシュモデル (Generalized Many Facet Rasch Model: GMFRM）[6,8]では，多様な評価者特性を考慮した高精度な能力測定が実現できる。

一方で，現実の試験運用では，複数の異なる受検者集団に同一の論述式問題を出題し，各集団の回答をそれぞれ異なる評価者集団が採点する場合があ
り，そのような評価結果に GMFRM のような IRT モデルを適用し，推定された IRT パラメータ（受検者の能力値や評価者特性値）を集団間で比較したいニーズがしばしば生じる。これを実現するためには，等化と呼ばれる手続きが必要になる。一般に等化は，集団間で一部の受検者や評価者が共通するデザインで試験を実施し，それらの共通受検者や共通評価者の IRT パラメータ値を基準として，集団間でパラメータの尺度を合わせることで行われる $[10,11,12]$. しかし，実際には共通受検者や共通評価者を用意することが難しい場合もある。

そこで本研究では，共通受検者や共通評価者が存在しない状況下での等化を実現するために，近年高精度化が目覚ましい深層学習自動採点手法 $[13,14,15]$ と GMFRM の統合技術である Uto \& Okano[16] の手法を用いた等化手法を提案する．具体的には，尺度の基準となる集団のデータを用いて，GMFRM に基づく各受検者の能力パラメータを予測できる深層学習自動採点モデルを構築し，それを用いて等化対象集団の能力値を予測する。そして，その予測值を事前分布に反映させて，等化対象集団に対する得点データから GMFRM のパラメータをベイズ推定する。これにより，等化対象集団のパラメータ推定值を，基準集団の尺度に近づけることができる．さらに，この方法を用いて，人間評価者と自動採点を連携させた高精度な論述式回答評価を行う手法も提案する.

なお，これまでにも自動採点技術を用いて等化を試みる研究はいくつかなされているが [17,18]，本研究のように評価者特性を考慮した IRT モデルを等化する手法は見当たらない。

## 2 データ

本研究では，二つの異なる受検者集団に，ある論述式問題を出題し，各集団の回答をそれぞれに異なる評価者集団が同一のスコアリングルーブリックで
採点する場合を考える. 各集団から得られた得点のデータをそれぞれ $\boldsymbol{U}_{1}, \boldsymbol{U}_{2}$ とし，次式で定義する。

$
\begin{gathered}
\boldsymbol{U}_{1}=\left.\{U_{j r} \in\{\mathscr{K} \cup-1\} \mid j \in \mathscr{G}, r \in \mathscr{R}\right.\} \\
\boldsymbol{U}_{2}=\left.\{U_{j^{\prime} r^{\prime}} \in\{\mathscr{K} \cup-1\} \mid j^{\prime} \in \mathscr{J}^{\prime}, r^{\prime} \in \mathscr{R}^{\prime}\right.\}
\end{gathered}
$

ただし， $U_{j r}$ は受検者 $j$ の回答文を評価者 $r$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で採点した得点を表し， $U_{j r}=-1$ は久測データを表す. また， $\mathscr{F}=\{1, \ldots, J\}$ と $\mathscr{R}=\{1, \ldots, R\}$ は $\boldsymbol{U}_{1}$ における受検者と評価者の集合を， $\mathscr{g}^{\prime}=\left.\{1, \ldots, J^{\prime}\right.\}$ と $\mathscr{R}^{\prime}=\left.\{1, \ldots, R^{\prime}\right.\}$ は $\boldsymbol{U}_{2}$ における受検者と評価者の集合を表す。

本研究の目的は，このように受検者や評価者が異なる 2 集団以上の試験の得点データから GMFRM に基づいて推定される受検者の能力値や評価者特性値を比較できるように等化することにある。

## 3 項目反応理論

IRT は近年様々な試験で実用化が進められている数理モデルを用いたテスト理論の一つである. 本研究では，評価者パラメータを加えたIRT モデルの中で最先端のモデルの一つである一般化多相ラッシュモデル（GMFRM）[6,8]を用いる.

## 3.1 一般化多相ラッシュモデル (GMFRM)

GMFRM はIRT モデルの一つであり，テスト問題 (本研究では論述式問題に対応する) $i$ に対する受検者 $j$ の回答文に, 評価者 $r$ が得点 $k$ を与える確率 $P_{i j r k}$ を次式で定義する.

$
P_{i j r k}=\frac{\exp \sum_{m=1}^{k}\left[D \alpha_{i} \alpha_{r}\left(\theta_{j}-\beta_{i}-\beta_{r}-d_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[D \alpha_{i} \alpha_{r}\left(\theta_{j}-\beta_{i}-\beta_{r}-d_{r m}\right)\right]}
$

ここで， $\theta_{j}$ は受検者 $j$ の能力値， $\alpha_{i}$ はテスト問題 $i$ の識別力, $\alpha_{r}$ は評価者 $r$ の一貫性, $\beta_{i}$ はテスト問題 $i$ の困難度, $\beta_{r}$ は評価者 $r$ の厳しさ, $d_{r k}$ は得点 $k$ に対する評価者 $r$ の厳しさを表すパラメータであり， $D$ は定数 1.7 を表す. ただし，パラメータの識別性のために, $\prod_{i=1}^{I} \alpha_{i}=1, \sum_{i=1}^{I} \beta_{i}=0, d_{r 1}=0$, $\sum_{k=2}^{K} d_{r k}=0$ を仮定する. GMFRM は複数の問題を出題して得られる三相データに適用できるが，2 章で述べたように，本研究では論述式問題が 1 つの場合を想定している. この場合, 式 (3) は次式で表せる.

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[D \alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[D \alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}
$

本研究では，式 (4)を二つの試験結果データ $\boldsymbol{U}_{1}$, $\boldsymbol{U}_{2}$ に適用して得られるパラメータ推定值の等化を目指す。

## 3.2 等化

IRT モデルはパラメータの尺度に不定性があるため，異なる受検者集団・評価者集団のデータに GMFRM のような IRT モデルを適用した場合，推定されたパラメータ值はデータごとに異なる尺度で推定される。等化とは, このように異なる尺度で推定されたパラメータを共通の尺度へ変換する手続きのことである。一般的な等化手法は，共通受検者や共通評価者が存在する場合を仮定している。しかし， $\mathbf{1}$ 章でも説明したように，現実の採点場面では共通の受検者や評価者を用意するのが難しい場合がある. 本研究ではこの問題を解決するために, 受検者の回答文を共変量として用いることで，共通受検者や共通評価者なしで等化を行うことを目指す.

## 3.3 項目反応理論と共変量によるパラメー 夕推定手法の統合 \\ IRT のパラメータ推定精度を向上するために，受検者由来の共変量を用いる手法が提案されてきた [19, 20, 21, 22, 23]. 具体的には, 各受検者の国籍や 年齢といった情報を共変量として利用し，その情報 を各受検者の能力値の事前分布に反映する．事前分布は，共変量を基にした正規回帰モデルとして設計 される. そして，この事前分布を所与として，各受検者の能力値をべイズ推定する．この方法は，IRT のパラメータ推定精度の改善が主目的であるが，共変量が受検者の能力をある程度適切に識別できると すれば，共変量から求めた各受検者の事前分布をも とに，異なる集団間の尺度の違いを調整することが でき，等化を実現できる可能性がある. そこで，本研究のアイディアは, 回答文から自動採点モデルで 予測される能力值を共変量として各受検者の能力事前分布を得ることで，異なる集団のパラメータの等化を目指すというものである.

## 4 GMFRM を組込んだ自動採点手法

近年，GMFRM で得られる受検者の能力値 $\theta_{j}$ を回答文から予測できる深層学習自動採点手法が提案されている [16]. この手法では, 各回答文を複数の評価者で採点した得点データ $U$ を用いて, 次の手順で深層学習自動採点モデルを訓練する。

1. 訓練データ $U$ に GMFRM を適用し，各受検者の能力値 $\theta_{j}$ を推定する.

2. 受検者 $j$ の回答文が入力，手順 1 で得られた能力値 $\theta_{j}$ が出力となるように, 任意の自動採点モデルを訓練する．具体的には，以下の平均二乗誤差 (Mean Square Error:MSE) の最小化により

モデル学習を行う.

$
\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}
$

ここで, $\hat{\theta}_{j}$ は自動採点モデルによる予測値を表す.このモデルは様々な自動採点モデルで利用することができるが, 本研究では先端的な深層学習モデルである BERT (Bidirectional Encoder Representations from Transformers）[24,25]を自動採点モデルとして利用する.

この手法は, 自動採点モデルの訓練データ中に混在する評価者バイアスの影響 $[26,27]$ を取り除くことで，安定的に自動採点モデルを訓練する目的で提案されたが，この手法を利用すると，新たな回答文を入力として GMFRM に基づく受検者の能力値を訓練データの尺度に沿って予測することが可能となる. 本研究ではこの手法で予測される能力値を事前分布に用いて等化を目指す.

## 5 提案手法

提案手法では，基準となる集団のデータ（ここでは $U_{1}$ を基準集団とする）を用いて 4 章で説明した能力値を予測する自動採点モデルを訓練する。その後, 訓練した自動採点モデルを用いて等化対象集団 (本研究では $U_{2}$ とする) における各受検者の能力值を予測し，各受検者の能力値の事前分布を設計する.そして，その事前分布と等化対象集団に対する得点データを用いてべイズ推定を行うことで，等化対象集団の GMFRM パラメータを求める. 提案手法の具体的な手順は次の通りである.

1. 基準集団のデータ $\boldsymbol{U}_{1}$ に式 (4) の GMFRM を適用し，受検者集団 $g$ の能力値 $\boldsymbol{\theta}_{1}$ を推定する.

2. 基準集団の各受検者の回答文と手順 1 で求めた能力推定値 $\boldsymbol{\theta}_{1}$ を用いて 4 章で紹介した自動採点モデルを訓練する. 本研究では BERTを基礎モデルとして利用した.ここのポイントは，この自動採点モデルが基準集団の尺度に沿った能力値を回答文から予測できる点にある.

3. 訓練された自動採点モデルに等化対象集団の各受検者の回答文を入力として与え，受検者集団 $g^{\prime}$ に対する能力值 $\boldsymbol{\theta}_{2}^{\text {pred }}$ を予測する.

4. 受検者集団 $g^{\prime}$ の各受検者の能力値の事前分布を以下の正規分布に従うようにした上で，等化対象集団のデータ $\boldsymbol{U}_{2}$ を用いて GMFRM をべイズ推定することで，受検者集団 $g^{\prime}$ の能力値 $\boldsymbol{\theta}_{2}$ と評価者集団 $\mathscr{R}^{\prime}$ のパラメータ $\boldsymbol{\alpha}_{2}, \boldsymbol{\beta}_{2}, \boldsymbol{d}_{2}$ を推定する.

$
\theta_{2 j^{\prime}} \sim N\left(\theta_{2 j^{\prime}}^{\text {pred }}, \operatorname{RMSE}\left(\boldsymbol{\theta}_{1}, \hat{\boldsymbol{\theta}}_{1}\right)\right)
$

ここで, $R M S E\left(\boldsymbol{\theta}_{1}, \hat{\boldsymbol{\theta}}_{1}\right)$ は自動採点モデルの訓練時に得られた平均平方二乗誤差 (Root Mean

Square Error：RMSE)を表す.

以上の手順により，等化対象集団のデータ $\boldsymbol{U}_{2}$ に基づくパラメータ推定時に，基準集団のデータ $U_{1}$ の尺度に沿って等化対象集団の受検者に対して予測される能力値を活用できるため，共通受検者や共通評価者をもたない場合でも等化対象集団の IRT パラメータの尺度を基準集団のそれに近づけることができると期待できる。

ここで，提案手法によって等化対象集団に対して推定される能力値は，自動採点の予測と人間評価者の採点データを同時に加味して推定された標準化得点とみなせることに注意してほしい。つまり，この方法は，論述式採点でしばしば行われる，自動採点と人間評価者が連携した評価を，異なる集団間でも妥当な形で行えるようにした手法と解釈することもできる。加えて，通常であれば等化対象集団内については等化が可能なデザイン（全ての受検者に複数名の評価者が適切な条件で割り当てられる [12]）でデータを収集する必要があるが，提案手法では自動採点モデルで予測した能力事前分布によって尺度調整を目指すため，等化対象集団内部での等化ができないデザインであっても尺度調整を実現できる．以上を踏まえると，提案手法は，等化対象集団における評価者数が 1 人であっても，等化を実現しつつ，自動採点単体よりも標準化スコアの推定精度を向上できる可能性がある.

## 6 提案手法の有効性評価実験

## 6.1 実データ

本実験では，自動採点モデルのベンチマー クデータとして広く利用されている Automated Student Assessment Prize (ASAP)[28]をもとにしてUto \& Okano[16] が作成したデータを利用する。このデータは，ASAPに含まれる 1805 個のエッセイに対して, Amazon Mechanical Turkで募集した英語ネイティブ 38 名を一つのエッセイあたり 3～5 名割り当てて 5 段階で採点させることで作成されている.

## 6.2 等化精度評価

本節では，実データを利用して提案手法の等化精度を評価する以下の実験を行った。
表 1 データ分割条件

能力値 $\theta \quad$ 評価者の厳しさ $\beta$平均標準偏差平均標準偏差

1. データセットを基準群と等化対象群の 2 つに分割した. この分割では, 各群の受検者の能力値と評価者の厳しさが異なる分布になるように設定した．分割条件は表 1 に示し，詳細な分割手順は付録 A に記載した．等化対象群については，各受検者に対して評価者 1 人のみが採点を行った場合と, 各受検者に対して評価者複数人が採点を行った場合のデータを作成し，それぞれのデータについて実験を行った.

2. 手順 1 で作成した基準群のデータを $\boldsymbol{U}_{1}$, 等化対象群のデータを $\boldsymbol{U}_{2}$ とみなして，提案手法で等化対象群のパラメータを推定した.

3. 提案手法で予測したパラメータ值と，全デー タで推定されたパラメータ值（以降では「真值」と呼ぶ）との RMSE を求めた. また，比較のために，等化を適用せず各群のデータだけで推定したパラメータ值とパラメータ真值との RMSE も計算した. さらに，基準集団で訓練したBERT を用いて予測した能力値（これは等化対象集団に対する得点データがない場合に対応する）と能力真値との RMSE も計算した.

4. 手順 1 でのデータ分割を変えながら以上の手順を 10 回繰り返し，手順 3 で得られる RMSE の平均を求めた.

実験結果を表 $2 ， 3$ に示す. 表 2 より，提案手法により，全てのパラメータ值と真值との RMSE が，等化前と比べて, 大幅に減少していることがわかる.また，表 3 より，各受検者に対して評価者 1 人のみが採点を行った場合についても，等化前に比べて RMSE が小さくなっていることが確認できる．複数評価者時と比べると, 特に能力値（標準化スコア）については，複数名評価時と同程度の精度が達成できていることがわかる。このことから，提案手法を利用すると，等化対象群については受検者 1 人表 2 各受検者に評価者複数人が採点をした際の各条件下における等化前後のパラメータ値と真値との RMSE

表 3 各受検者に評価者 1 人が採点をした際の各条件下における等化前後のパラメータ值と真值との RMSE

に対して評価者が 1 名採点を行うことで一定の精度で等化が可能であり，2 名以上の評価者がいる場合と近い精度で標準化スコアを求められることがわかる。これは，評価者を減らしても精度を維持できることを意味し，評価コストの低減につながる. また，BERT で予測した能力値を利用した場合と比べても，提案手法の性能が向上していることがわかる.このことから，4 章で紹介した自動採点手法を用いて直接に能力を予測することに加え，最低でも 1 名の人間評価者を入れて評価を行うことでより高精度な評価が可能になることが示せた。

## 7 まとめ

本研究では，異なる受検者・評価者集団で構成される論述式試験の結果を比較可能にするために，回答文を共変量として，深層学習自動採点モデルを用いて GMFRM のパラメータを等化する手法を提案した. また，実データ実験により，等化による標準化スコアの推定と，人間と自動採点が協力した高精度な評価を実現できることが示せた.

## 謝辞

本研究は JSPS 科研費 JP23K17585, JP21H00898, JP19H05663 の助成を受けたものです.

## 参考文献

[1] Rebecca Schendel and Andrew Tolmie. Beyond translation: adapting a performance-task-based assessment of critical thinking ability for use in rwanda. Assessment \& Evaluation in Higher Education, Vol. 42, No. 5, pp. 673-689, 2017.

[2] Yousef Abosalem. Assessment techniques and students' higher-order thinking skills. International Journal of Secondary Education, Vol. 4, pp. 1-11, 012016.

[3] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, 2002.

[4] 宇佐美慧. 採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル. 教育心理学研究, Vol. 58, No. 2, pp. 163-175, 2010.

[5] 宇都雅輝, 植野真臣. パフォーマンス評価のための項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 55-75, 2016.

[6] Masaki Uto and Maomi Ueno. Item response theory without restriction of equal interval scale for rater's score. In Proceedings of International Conference on Artificial Inteligence in Education (AIED), pp. 363-368, 2018.

[7] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. Heliyon, Elsevier, Vol. 4, No. 5, pp. 1-32, 2018.

[8] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Springer, Vol. 47, No. 2, pp. 469-496, 2020.

[9] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Springer, Vol. 48, No. 2, pp. 425457, 2021.

[10] Gary L. Marco. Item characteristic curve solutions to three intractable testing problems. Journal of Educational Measurement, Vol. 14, No. 2, pp. 139-160, 1977.

[11] Brenda H. Loyd and H. D. Hoover. Vertical equating using the rasch model. Journal of Educational Measurement, Vol. 17, No. 3, pp. 179-193, 1980

[12] Masaki Uto. Accuracy of performance-test linking based on a many-facet Rasch model. Behavior Research Methods, Springer, Vol. 53, No. 4, pp. 1440-1454, 2021.

[13] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 6300-6308, 2019.

[14] Uto Masaki. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 072021.
[15] Paraskevas Lagakis and Stavros Demetriadis. Automated essay scoring: A review of the field. In Proceedings of International Conference on Computer, Information and Telecommunication Systems (CITS), pp. 1-6, 2021.

[16] Masaki Uto and Masashi Okano. Learning automated essay scoring models using item-response-theory-based scores to decrease effects of rater biases. IEEE Transactions on Learning Technologies, Vol. 14, No. 6, pp. 763-776, 2021.

[17] Russell G Almond. Using automated essay scores as an anchor when equating constructed response writing tests. International Journal of Testing, Taylor \& Francis, Vol. 14, No. 1, pp. 73-91, 2014.

[18] Suleyman Olgar. The integration of automated essay scoring systems into the equating process for mixed-format tests. Florida State University, 2015.

[19] Lale Khorramdel, Matthias von Davier, Eugenio Gonzalez, and Kentaro Yamamoto. Plausible Values: Principles of Item Response Theory and Multiple Imputations. Springer International Publishing, 2020.

[20] Robert J. Mislevy. Estimation of latent group effects. Journal of the American Statistical Association, Vol. 80, No. 392, pp. 993-997, 1985.

[21] Robert J Mislevy. Randomization-based inference about latent variables from complex samples. Psychometrika, Vol. 56, No. 2, pp. 177-196, 1991.

[22] OECD. PISA 2018 Assessment and Analytical Framework. OECD publishing, 2019.

[23] Janine Buchholz, Marta Cignetti, and Mario Piacentini. Developing measures of engagement in pisa. OECD Education Working Papers, No. 279, 2022.

[24] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacL-HLT, Vol. 1, p. 2, 2019.

[25] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of Conference on Computational Natural Language Learning, pp. 153-162, 2017.

[26] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of Conference of the North American Chapter of the Association for Computational Linguistics, pp. 229-237, 2018.

[27] Jinchi Huang, Lie Qu, Rongfei Jia, and Binqiang Zhao. O2u-net: A simple noisy label detection approach for deep neural networks. In Proceedings of International Conference on Computer Vision (ICCV), pp. 3325-3333, 2019.

[28] Ben Hamner, Jaison Morgan, lynnvandev, Mark Shermis, and Tom Vander Ark. The hewlett foundation: Automated essay scoring, 2012. https://kaggle.com/ competitions/asap-aes.

## A データ分割手順

ここでは， 6.2 節の実験手順 1 で概説した受検者の能力値と評価者の厳しさが異なる分布になるように設定された基準群と等化対象群を構築するための詳細な手順を説明する.

全データセットに対して GMFRM でパラメータを推定し，推定された受検者の能力值の平均と標準偏差を

する。これらの値を使用して，基準群と等化対象群に対する受検者の能力値，および評価者の厳しさの平均

し, $\mu_{\beta}^{r e f}$, および $\sigma_{\beta}^{r e f}$ は, 基準群の評価者の厳しさの平均と標準偏差を示す. 同様に, $\mu_{\theta}^{f o c}, \sigma_{\theta}^{f o c}, \mu_{\beta}^{f o c}$, および $\sigma_{\beta}^{f o c}$ は, 等化対象群の受検者の能力値と評価者の厳しさの平均と標準偏差を示す. 表 1 の 4 つの条件は， $\mu_{\theta}^{\text {all }}, \sigma_{\theta}^{\text {all }}, \mu_{\beta}^{\text {all }}, \sigma_{\beta}^{\text {all }}$ を基に決められており，表 4 にまとめられている.

以下の手順で，それぞれの条件に従って，基準群と等化対象群を構成した.

1. GMFRM で推定された全受検者の能力値と全評価者の厳しさを用意する。ここで， $\hat{\boldsymbol{\theta}}$ を全受検者の能力値の集合， $\hat{\beta}$ を全評価者の厳しさの集合とする。

2. 正規分布 $N\left(\mu_{\theta}^{r e f}, \sigma_{\theta}^{r e f}\right)$ からランダムに值をサンプリングし, サンプルされた値に最も近い $\hat{\theta_{j}} \in \hat{\boldsymbol{\theta}}$ に従う受検者を選択する。その受検者を基準群に追加し， $\hat{\boldsymbol{\theta}}$ から $\hat{\theta}_{j}$ を削除する.

3. 同様に, $N\left(\mu_{\beta}^{r e f}, \sigma_{\beta}^{r e f}\right)$ からランダムに値をサンプリングし, サンプルされた値に最も近い $\hat{\beta}_{r} \in \hat{\beta}$ に従う評価者を選択する. その評価者を基準群に追加し， $\hat{\beta}$ から $\hat{\beta}_{r}$ を削除する.
4. $N\left(\mu_{\theta}^{r e f}, \sigma_{\theta}^{r e f}\right)$ および $N\left(\mu_{\beta}^{r e f}, \sigma_{\beta}^{r e f}\right)$ をサンプリング分布として使用し, 手順 2 および 3 を実行し, 等化対象群に受検者と評価者を追加する。
5. $\hat{\theta}, \hat{\beta}$ が空になるまで手順 $2 \sim 3$ を繰り返す.

6. 基準群と等化対象群について，選択された受検者と評価者を基に， $\boldsymbol{U}_{r e f}$ ，および $\boldsymbol{U}_{f o c}$ のデータを作成する.

7. 各受検者が少なくとも二人の評価者から評価されることを担保するために，任意の受検者が一人の評価者からの評価しか受けていない場合，その受検者を各群から削除する.


# 教育を目的とした日本語初等数学問題に特化した 大規模言語モデルの構築

苗中濤＊趙 開顔＊呉梓隆 呉奇宇鶴岡 慶雅
東京大学大学院 情報理工学系研究科
\{mzt, zhaokaiyan1006, zw2599, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、様々なオープンソース大規模言語モデルの登場に伴い、特定の領域向けの大規模言語モデルを開発することが可能になっている。しかし、日本語での初等数学教育を目的とした大規模言語モデルは未だに存在していない。本稿では、基礎的な数学問題を解き、教育に有用な推論過程が付いた答えが出力できる日本語大規模言語モデルを構築する方法について報告する。具体的には、日本語の初等数学問題データセットを構築し、Japanese Stable LM Beta 7B をファインチューニングし、日本語数学専門言語モデル JElementaryMathGPT を構築した。さらに、 モデルの評価方法について議論し、既存の言語モデルと性能を比較した。

## 1 はじめに

ChatGPT [1,2] をはじめとする大規模言語モデルは、高い言語理解能力と言語生成能力を持つことが示されている。大規模言語モデルは翻訳 [3] やコー ド生成 [4]、QA（質問応答） [5]、文章要約 [6] などの様々なタスクにおいて、その有効性が報告されている $[7,8]$ 。

大規模言語モデルの優れた言語理解力と生成能力を利用して、数学の問題を解くことが試みられているが、現在の大規模言語モデルでは解けない問題が多いことが報告されている。図 1 に示すように、これらの大規模言語モデルは、非常に簡単な数学問題でさえも、解けないことがある [9]。そのため、大規模言語モデルの数学能力を改善する様々な手法が試みられている。例えば、WizardMath [10] は、RLEIF (Reinforcement Learning from Evol-Instruct Feedback）を提案し、Llama 2 [11] の数学推論能力を改善した。Llemma [12] は、科学論文、数学問題や
コードなどを含むウェブデータである Proof-Pile-2 データセットで Code Llama [4] の事前学習を継続し、数学推論能力を向上させた。

一方、大規模言語モデルは教育分野でも徐々にその有効性が示されつつある。例えば、大規模言語モデルは Python や C++、Rust などの初心者のプログラミング言語の学習を助けることができる [13]。また、非英語母国語話者の英語会話やライティングの練習を助けることができる [14]。今後、大規模言語モデルが人々が新しい知識を学ぶのを強力にサポー トするようになると期待されている。

しかし、日本語の分野では、教育を目的とする数学専門の大規模言語モデルはまだ存在していない。 そこで本稿では、教育目的のため、初等数学問題を解決し、手順を示すことができる大規模言語モデルの構築方法について報告する。具体的には、まず、解答プロセスを含む日本語初級レベルの数学データセットを構築し、それを利用して、オープンソースの StableLM をベースモデルとして教師ありファインチューニングを行い、数学に特化したモデル JElementaryMathGPT を構築した。評価害験の結果、7B サイズの JElementaryMathGPT は 7B サイズと 13B サイズの Vicuna1.5 や 7B サイズと 13 サイズの WizardMath1.0を超える能力を持つことが明らかになった。

## 2 背景

近年、オープンソースの事前学習済み大規模言語モデル $[11,15,16]$ が増えており、特定のドメインに特化した大規模言語モデルを訓練することが可能になった。

大規模言語モデルの訓練では、まず大量のデー タから文の次の単語を予測する方法で基本的な言語モデルを得る [17]。この段階は事前学習（プリトレーニング）と呼ばれている。次に、研究者は人間

図 1 例 : ChatGPT (GPT-3.5-Turbo) は非常に簡単な数学問題でさえも、解けないことがある。

の指示に大規模言語モデルを従わせるため、教師ありファインチューニング（SFT）と人間のフィードバックからの強化学習（RLHF）という二つの手法が用いられる [18]。SFT は大規模言語モデルを人間の指示に一致させるための最初のステップである。 このステップでは、質の高い教師データ（人間の指示とモデルが出力すべき返答）を用いて大規模言語モデルを学習させる。

RLHF の段階では、まず大規模言語モデルに同じ指示に対して複数の回答を生成させ、その後、人間からのフィードバックと強化学習を用いて報酬モデルを訓練する。その後、この報酬モデルを使用し、人間の好みの基準に最も合致する答えを大規模モデルに生成させる。RLHF 段階の訓練は非常に煩雑であるため、最近この段階を簡素化することが試みられている。例えば、大規模モデル自体を報酬モデルとして使用することを提案した DPO [19] と呼ばれる手法が存在する。これらの手法を用いることで、人間の指示に従い、与えられた様々なタスクをこなすことができる大規模言語モデルを構築することができる。

## 3 実験

日本語数学問題に特化した大規模言語モデル JElementaryMathGPT を訓練するため、我々はSFT を使用し、FastChat [20] ライブラリ ${ }^{1}$ に基づき、 JElementaryMathGPT を実装する。

## 3.1 データセット構築

オープンソースの日本語数学問題データセットは現在存在していないため、まず、推論過程付きの日本語数学問題データセットを構築する。

図 2 に示すように、中国語の数学問題データセッ

ト Math23k²（質問と回答のみ）中の質問と回答を GPT-4 に与えることで、質問に対する推論過程を GPT-4 に生成させる。使うプロンプトは “You will be provided with a math question and its answer in Chinese, and your task is to give the calculation process in Chinese, make sure your answer is the same as the given answer. question[i]” である。次に、推論過程を含む中国語データセットを GPT-3.5-Turbo を使用して日本語に翻訳する。最後に誤った翻訳とエラーを含む推論過程をフィルタリングし、最終的なデータセットとした。訓練セットの問題数が 20445 で、テストセットの問題数が 980 である。

構築した数学データセットをVicuna のデータセットの対話形式 (ユーザとアシスタント ${ }^{3}$ ) に変換して、モデルを学習させる。

## 3.2 実装の詳細

本研究では Stability AI 社の Japanese StableLM Base Beta 7B モデル4をベースモデルとして使用し、訓練を行う。このモデルは、Meta社の言語モデル Llama-2-7b5に基づき、大量の日本語データセットで事前学習を続けていた大規模言語モデルである。ハイパーパラメーターについては、初期学習率は $2 e-5$ で、学習率スケジューラのタイプは cosine である。 0.04 比率でモデルをウォームアップする。

新しく構築した数学データセットでモデルを 3 エポックの訓練するには、4つの A100 GPU によって勾配累積を 16 回行いながら、約 7 時間がかかる。 デバイスごとのトレーニングバッチサイズは 2 である。訓練するとき、アシスタントの出力に対して

図 2 日本語推論過程付きの数学問題データセットの構築手順。

SFT 損失を計算する。

## 3.3 評価手法

モデルの性能はテストセットで評価し、正解率を報告する。モデルが生成した推論過程に対しては、出力の最後の数字を抽出し、それを浮動小数点数に変換した数値を最終的な答えとする。その後、予測された答えと正しい答えが一定の相対許容差範囲 (1e-5) 内にあるかどうかを判断する。

## 3.4 実験結果

このセクションでは、Vicuna ${ }^{6} 、$ WizardMath ${ }^{7}$ を含むオープンソースの大規模言語モデルと JElementaryMathGPT を比較する。日本語に対応していない WizardMath に対して、以下のプロンプトを使用することで、WizardMath は英語での推論過程と答えを返し、比較することができる。また、テストセットでの ChatGPT(GPT-3.5-Turbo) の結果も比較する。

ChatGPT のプロンプトは以下のようになる:

以下の質問を答えてください：\{problem $\}$ 計算過程を示してください、そして最後には次の形式で答えを示してください: , 答え:' と記入してください。例：，答え： 0.0 '。答えは小数点を含む数字で示してください。

WizardMath のプロンプトは下記の通りになる:

Below is an instruction that describes a task. Write a Japanese response that appropriately completes the request. \#\#\# Instruction: \{instruction\} \#\#\# Response: Let's think step by step."

表 1 に示すように、7B サイズおよび 13B サイズ

のモデルの中で JElementaryMathGPT が最も良いパフォーマンスを示している。同じく数学問題専門モデルである WizardMath より JElementaryMathGPT の性能が上回っていることが分かる。

表 1 新しく構築されたデータセットのテストセットでモデルの正解率。

## 3.5 ケーススタディー

本セクションでは、テストセットの中で JElementaryMathGPT が生成した誤った答えからいくつかのケースに注目し、JElementaryMathGPT が誤った答えを生成した原因を分析する。

## 3.5.1 推論過程が正しい、計算ミスなし

以下の例は JElementaryMathGPT の推論過程が正しく、計算ミスもない例である。この例に対して、 ChatGPT(GPT-3.5-Turbo) は正解を生成することができなかった。

Question: “324メートルの道路を修復するため、最初の 8 時間で 240 メートルを修復しました。残りの部分は 1 時間につき 21 メートル修復します。完了するまでには、あと何時間かかりますか？”

JElementaryMathGPT: “問題で与えられた道路の総距離は 324 メートルで、最初の 8 時間で 240 メー トル修復されました。したがって、残りの距離は 324 メートルから 240 メートルを引いたもので、つ

まり 84 メートルです。

次に、残りの距離を 1 時間あたり 21 メートルずつ修復すると、 84 メートルを 21 メートルで割った結果、4時間かかります。

したがって、残りの距離を修復するには、あと 4 時間かかります。

答え: 4.0 ”

GPT-3.5-Turbo: “まず、残りの距離を計算します。全体の道路の長さは 324 メートルで、すでに 240 メートル修復されているため、残りの距離は 324 メートル - 240 メートル $=84$ メートルです。

次に、 1 時間に修復される距離を計算します。 1 時間につき 21 メートル修復されるため、残りの距離を修復するのにかかる時間は 84 メートル $\div 21$ メートル/時間 $=4$ 時間です。

最後に、最初の 8 時間と残りの 4 時間を合計します。合計時間は 8 時間 +4 時間 $=12$ 時間です。

答え: 12.0 ”

正解:“4.0"

この例から、JElementaryMathGPT が正確な推論過程と答えを生成できて、我々のトレーニングが役に立つことが分かった。

## 3.5.2 推論過程が正しい、計算ミスあり

以下の例は JElementaryMathGPT の推論過程が正しいが、計算ミスにより正解にたどり着くことができなかった。一方 ChatGPT は推理及び解答両方に間違いがあった。

Question: “甲城から乙城まで車が 3 時間で 126 キロメートル進みます。この速度で走ると、全行程を終えるのに 7 時間かかります。甲城と乙城の距離は何キロメートルですか?"

JElementaryMathGPT: “問題によると、車は 3 時間で 126 キロメートル走行できるので、 1 時間あたりの走行距離は 126 を 3 で割った值、つまり 42 キロメートルです。したがって、全行程 7 時間の場合、走行距離は 42 を 7 で掛けた値、つまり 284 キロメートルです。したがって、甲乙の 2 つの都市は 284 キロメートル離れています。

答え: 284.0 ”

GPT-3.5-Turbo: “甲城から乙城までの距離を x キロメートルとします。

甲城から乙城までの距離を車の速度で割ると、車がかかる時間が求められます。この場合は $\mathrm{x}$ キロメートル / 126 キロメートル/時間 $=\mathrm{x} / 126$ 時間
です。

また、この速度で走る場合、全行程を終えるまでにかかる時間は 7 時間です。

以上の情報から、以下の方程式が成り立ちます。

$\mathrm{x} / 126=7$

この方程式を解くと、

$\mathrm{x}=126 * 7$

$\mathrm{x}=882$

よって、甲城と乙城の距離は 882 キロメートルです。

答え: 882 ”

正解: “294.0”

この例では、JElementaryMathGPT の推論過程が正しいが、42と 7 の掛け算を計算する際に間違えて 294 ではなく、284を生成してしまった。また、大規模言語モデルは数值計算が苦手であることもわかった。

## 4 今後の課題

外部ツール: テストセットで JElementaryMathGPT が生成した誤った答えからランダムに抽出した 20 問の中で、生成された答えの誤りの原因を調べてみると、そのうち 16 問は計算ミスを含んでいた。したがって、モデルの算数能力を改善することが結構重要である。次のステップは、計算ミスをを減らすために電卓などの外部ツールを使う予定である。

訓練データとモデルのサイズ: 今回学習で使ったデータセットは外国語からの翻訳文で、翻訳文の質による影響があるため、今後、より多く質の高い数学問題データを収集し、より大きいサイズの大規模言語モデルの訓練を試みる予定がある。

## 5 おわりに

本稿で、教育を目的とする手順を示すことができる日本語初等数学に特化した大規模言語モデルの構築方法について報告する。具体的には、推論過程を含む日本語初等数学問題のデータセットを構築し、オープンソースの StableLM をベースモデルとして学習し、JElementaryMathGPTを構築した。最終的に、7B サイズの JElementaryMathGPT が 7B サイズおよび 13B サイズの Vicuna1.5 と WizardMath1.0 よりも優れた性能を持つことが明らかになった。また、JElementaryMathGPT が誤った答えを生成する原因を分析し、さらにモデルの精度を改善する方法を討論した。

## 参考文献

[1] OpenAI. Introducing chatgpt, 2022. https://openai. com/blog/chatgpt.

[2] OpenAI. Gpt-4 technical report, 2023.

[3] Haoran Xu, Young Jin Kim, Amr Sharaf, and Hany Hassan Awadalla. A paradigm shift in machine translation: Boosting translation performance of large language models, 2023.

[4] Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, and Gabriel Synnaeve. Code llama: Open foundation models for code, 2023.

[5] Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, and Hannaneh Hajishirzi. Self-RAG: Learning to retrieve, generate, and critique through self-reflection. arXiv preprint arXiv:2310.11511, 2023.

[6] Tianyi Zhang, Faisal Ladhak, Esin Durmus, Percy Liang, Kathleen McKeown, and Tatsunori B. Hashimoto. Benchmarking large language models for news summarization, 2023.

[7] Brown et al. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[8] Chowdhery et al. Palm: Scaling language modeling with pathways, 2022.

[9] Tiedong Liu and Bryan Kian Hsiang Low. Goat: Finetuned llama outperforms gpt-4 on arithmetic tasks, 2023.

[10] Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, Jianguang Lou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng Chen, and Dongmei Zhang. Wizardmath: Empowering mathematical reasoning for large language models via reinforced evol-instruct. arXiv preprint arXiv:2308.09583, 2023.

[11] Meta. Llama 2: Open foundation and fine-tuned chat models, 2023 .

[12] Zhangir Azerbayev, Hailey Schoelkopf, Keiran Paster, Marco Dos Santos, Stephen McAleer, Albert Q. Jiang, Jia Deng, Stella Biderman, and Sean Welleck. Llemma: An open language model for mathematics. arXiv preprint arXiv:2310.06786, 2023.

[13] Arto Hellas, Juho Leinonen, Sami Sarsa, Charles Koutcheme, Lilja Kujanpää, and Juha Sorva. Exploring the responses of large language models to beginner programmers' help requests. In Proceedings of the $\mathbf{2 0 2 3}$ ACM Conference on International Computing Education Research - Volume 1, ICER '23, p. 93-105, New York, NY, USA, 2023. Association for Computing Machinery.

[14] Andrew Caines, Luca Benedetto, Shiva Taslimipoor, Christopher Davis, Yuan Gao, Øistein E. Andersen, Zheng
Yuan, Mark Elliott, Russell Moore, Christopher Bryant, Marek Rei, Helen Yannakoudakis, Andrew Mullooly, Diane Nicholls, and Paula Buttery. On the application of large language models for language teaching and assessment technology. In Steven Moore, John C. Stamper, Richard Tong, Chen Cao, Zitao Liu, Xiangen Hu, Yu Lu, Joleen Liang, Hassan Khosravi, Paul Denny, Anjali Singh, and Chris Brooks, editors, Proceedings of the Workshop on Empowering Education with LLMs - the Next-Gen Interface and Content Generation 2023 co-located with 24th International Conference on Artificial Intelligence in Education (AIED 2023), Tokyo, Japan, July 7, 2023, Vol. 3487 of CEUR Workshop Proceedings, pp. 173-197. CEUR-WS.org, 2023.

[15] Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, MarieAnne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, and William El Sayed. Mistral 7b, 2023.

[16] Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, and William El Sayed. Mixtral of experts, 2024.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training.

[18] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, 2022.

[19] Rafael Rafailov, Archit Sharma, Eric Mitchell, Christopher D Manning, Stefano Ermon, and Chelsea Finn. Direct preference optimization: Your language model is secretly a reward model. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[20] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric. P Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. Judging llm-as-a-judge with mt-bench and chatbot arena, 2023.


# 文法誤り訂正の自動評価のための 原文・参照文・訂正文間の $N$-gram $F$-score

古山翔太 1,2 永田亮 2,3 高村大也 ${ }^{2}$ 岡崎直観 1,2
1 東京工業大学 2 産業技術総合研究所 3 甲南大学
shota.koyama@nlp.c.titech.ac.jp nagata-nlp2024@ml.hyogo-u.ac.jp
takamura.hiroya@aist.go.jp okazaki@c.titech.ac.jp

## 概要

本稿では $n$-gram の頻度に基づき $F$ 値を計算する文法誤り訂正のための自動評価尺度 GREENを提案する。GREEN は従来の手法よりも人手評価と高い相関を示す。また、計算量が小さく高速に計算ができる。さらに、人手評価で評価が低いシステムの出力に対して従来手法が高い評価を与える場合でも、 GREEN は人手評価と近い評価が可能である。

## 1 はじめに

文法誤り訂正 (GEC) は、文書中の誤りを訂正するタスクで、文書校正 $[1,2,3]$ や言語学習支援 $[4,5,6]$ への応用が期待されている。GECでは、原文、参照文、訂正文に対し評価を行う自動評価尺度の導入により人手評価を介さない研究開発が可能となった。

GEC の自動評価尺度には、文間のアライメントに基づき訂正の正誤を数える手法と、 $n$-gram の頻度に基づく手法がある。前者のうち $F$ 値を求める $\mathrm{M}^{2}$ [7] と ERRANT [8] は、原文から無変更の訂正文よりも誤訂正によって改悪された訂正文に高い評価を与えてしまう [9]。前者のうち正解率を求める I-measure [9] は、改悪された訂正文に負の評価を与えることができるが、人手評価との相関が低い。また、アライメントによる手法は計算量が大きい。後者に分類される GLEU [10] は、計算量は小さいが、人手評価で評価が低いシステムの出力を不当に高く評価することがある。

以上の問題を解決するため、本稿では $n$-gram の頻度に基づき $F$ 値を計算する新しい GEC 自動評価尺度 GREEN を提案する。GREEN は、原文から参照文、原文から訂正文への訂正で生じた $n$-gram の出現頻度の差分を比較し、 $F$ 值を計算する。GREEN は従来手法よりも人手評価と高い相関を示すことを

図 1 単語 1-gram の出現の差を表現するベン図

確認した。また、文間のアライメントを計算しないため $\mathrm{M}^{2}$ や ERRANT よりも計算量が小さく、高速である。さらに、人手評価で入力より悪化したと評価されるシステムの出力に $\mathrm{M}^{2}$ や GLEU が不当に高いスコアを与える場合においても、GREENでは人手評価と近い評価が行えることを確認した。

## 2 提案手法

最初に、1つの原文に対して1つの参照文だけを用いる場合の提案手法 GREEN の説明を行う。複数の参照文を用いる場合は本節の最後で説明する。

GREEN は、原文 $S$ 、参照文 $R$ 、訂正文 $H$ を $n$ - gram ${ }^{1)}$ の多重集合として扱う。例えば、文 $A=$ “ $a a$ ”は、 $\{a, a, a a\}$ として扱う。図 1 は、ある $S, R, H$ での各文の単語 1-gram の出現をべン図で表現している2)。 GREEN は、このべン図の各領域に含まれる $n$-gram を削除や挿入などの異なる種類の訂正とみなし、スコアを計算する。 $n$-gram の多重集合間の訂正は、削除、挿入、保持のいずれかに分類できる。例えば、

表 1 図 1 の各領域の説明。訂正前後で $n$-gram が挿入、削除、保持されたかで分類できる。訂正前後のどちらにも出現しない場合は「なし」となる。

多重集合 $\{a, c\}$ から $\{b, c\} への$ 訂正では、個数が減っている $a$ が削除、増えている $b$ が挿入、変化していない $c$ が保持となる3）。図 1 の各領域の特徴は、表 1のようにまとめられる。例えば、図の “What”を含む領域は、 $S \rightarrow R$ で削除され、かつ、 $S \rightarrow H$ でも正しく削除される $n$-gram を含む。この領域を、 True Delete (TD) と呼ぶ。同様に、“Who” の領域は、 $S \rightarrow R, S \rightarrow H$ でともに挿入される $n$-gram を含む True Insert (TI) と呼び、“you” の領域は $S \rightarrow R, S \rightarrow H$ でともに保持される $n$-gram を含む True Keep (TK) と呼ぶ。TD、TI、TKは、 $S \rightarrow R$ と $S \rightarrow H$ で訂正の種類が一致しており、True Positive (TP) である。“?”、 “!”の領域は、 $S \rightarrow R$ では削除、挿入がされないが、 $S \rightarrow H$ では過剰に削除、挿入がされている $n$-gram を含み、それぞれ、Over-Delete (OD)、Over-Insert (OI) と呼ぶ。OD、OI の要素は $S \rightarrow H$ で間違って削除、挿入されているため、False Positive (FP) である。 "is"、"are"の領域は、 $S \rightarrow H$ で本来 $S \rightarrow R$ と同様に削除、挿入が行われるべきだった $n$-gram を含み、 それぞれ、Under-Delete (UD)、Under-Insert (UI) と呼ぶ。UD、UI の要素は $S \rightarrow H$ で削除、挿入されるべきだったため、False Negative (FN) である。

次に、各領域に含まれる $n$-gram の数を多重集合の演算によって求める方法を説明する。多重集合 $A$ の要素 $x$ の重複度 $m_{A}(x)$ は、 $x$ が $A$ に現れる回数を表す。例えば、 $A=\{a, a, a a\}$ で、 $m_{A}(a)=2$ である。本稿では、各領域に含まれる $n$-gram を数えるための演算として、多重集合の積 $(\cap)$ 、和 $(\cup)$ 、差 $(\backslash)$ を用いる。多重集合 $A$ と $B$ に対する各演算は、 $A$ または $B$ の任意の要素 $x$ の重複度に関して以下のように定義される。

$
m_{A \cap B}(x)=\min \left(m_{A}(x), m_{B}(x)\right),
$

3）アライメントを取らないため置換操作は現れない。置換は削除と挿入を組み合わせたものに対応する。

$
\begin{aligned}
m_{A \cup B}(x) & =\max \left(m_{A}(x), m_{B}(x)\right), \\
m_{A \backslash B}(x) & =\max \left(m_{A}(x)-m_{B}(x), 0\right) .
\end{aligned}
$

ゆえに、図 1 のベン図の 7 領域に含まれる $n$-gram $x$ の数は、以下のように表される。

$
\begin{aligned}
\operatorname{TD}(x) & =m_{S \cap \bar{R} \cap \bar{H}}(x)=m_{S \backslash(R \cup H)}(x) \\
& =\max \left.\{m_{S}(x)-\max \left(m_{R}(x), m_{H}(x)\right), 0\right.\}, \\
\operatorname{TI}(x) & =m_{\bar{S} \cap R \cap H}(x)=m_{(R \cap H) \backslash S}(x) \\
& =\max \left.\{\min \left(m_{R}(x), m_{H}(x)\right)-m_{S}(x), 0\right.\},
\end{aligned}
$

$\operatorname{TK}(x)=m_{S \cap R \cap H}(x)=\min \left(m_{S}(x), m_{R}(x), m_{H}(x)\right)$,

$
\begin{aligned}
\mathrm{OD}(x) & =m_{S \cap R \cap \bar{H}}(x)=m_{(S \cap R) \backslash H}(x) \\
& =\max \left.\{\min \left(m_{S}(x), m_{R}(x)\right)-m_{H}(x), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\mathrm{Ol}(x) & =m_{\bar{S} \cap \bar{R} \cap H}(x)=m_{H \backslash(S \cup R)}(x) \\
& =\max \left.\{m_{H}(x)-\max \left(m_{S}(x), m_{R}(x)\right), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\operatorname{UD}(x) & =m_{S \cap \bar{R} \cap H}(x)=m_{(S \cap H) \backslash R}(x) \\
& =\max \left.\{\min \left(m_{S}(x), m_{H}(x)\right)-m_{R}(x), 0\right.\},
\end{aligned}
$

$
\begin{aligned}
\mathrm{UI}(x) & =m_{\bar{S} \cap R \cap \bar{H}}(x)=m_{R \backslash(S \cup H)}(x) \\
& =\max \left.\{m_{R}(x)-\max \left(m_{S}(x), m_{H}(x)\right), 0\right.\} .
\end{aligned}
$

さらに、ある特定の長さ $n$ の $n$-gram における $S \rightarrow H$ の訂正のTP、FP、FN は以下のように表される。

$
\begin{aligned}
\mathrm{TP}_{n, S, R, H} & =\sum_{\forall n \text {-gram } x}(\mathrm{TI}(x)+\mathrm{TD}(x)+\mathrm{TK}(x)), \\
\mathrm{FP}_{n, S, R, H} & =\sum_{\forall n \text {-gram } x}(\mathrm{OI}(x)+\mathrm{OD}(x)) \\
\mathrm{FN}_{n, S, R, H} & =\sum_{\forall}(\mathrm{Ul}(x)+\mathrm{UD}(x)) .
\end{aligned}
$

GREENは、コーパス単位でTP、FP、FNを集計し、 $F$值を求める。 $\mathbb{S}=\left(S_{1}, \ldots, S_{D}\right), \mathbb{R}=\left(R_{1}, \ldots, R_{D}\right), \mathbb{H}=$ $\left(H_{1}, \ldots, H_{D}\right)$ は、 $D$ 個の原文、参照文、訂正文の組を表す。GREENは、 1 から、評価に用いる $n$-gram の最大長 $N$ までの $n$-gram の長さで、適合率 (precision)、再現率 (recall) を計算し、GLEU と同様にその幾何平均を適合率、再現率とする。

$\operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{N})$

$\operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})$

$
=\left(\prod_{n=1}^{N} \frac{\sum_{i=1}^{D} \mathrm{TP}_{n, S_{i}, R_{i}, H_{i}}}{\sum_{i=1}^{D}\left(\mathrm{TP}_{n, S_{i}, R_{i}, H_{i}}+\mathrm{FN}_{\left.n, S_{i}, R_{i}, H_{i}\right)}\right)}\right)^{\frac{1}{N}}
$

最後に $F_{\beta}$ 值を計算する。

$F_{\beta}(\mathbb{S}, \mathbb{R}, \mathbb{H})=\frac{\left(1+\beta^{2}\right) \operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{H}) \operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})}{\beta^{2} \operatorname{precision}(\mathbb{S}, \mathbb{R}, \mathbb{H})+\operatorname{recall}(\mathbb{S}, \mathbb{R}, \mathbb{H})}$.

本稿では、この $F_{\beta}$ 値を $\mathrm{GREEN}_{\beta}$ と呼ぶ。

複数の参照文を用いる場合は、 $\mathrm{M}^{2}$ や ERRANT と同様に、次のように計算を行う。 $i$ 番目の原文 $S_{i}$ に対して、 $m$ 個の参照文 $R_{i_{1}}, \ldots, R_{i_{m}}$ がある時、この中から、訂正文 $H_{i}$ に対して、文単位の GREEN $_{\beta}$ を最大にする参照文 $\hat{R}_{i}$ を選ぶ。

$
\hat{R}_{i}=\underset{R \in\left.\{R_{i_{1}}, \ldots, R_{i_{m}}\right.\}}{\operatorname{argmax}} \operatorname{GREN}_{\beta}\left(\left(S_{i}\right),(R),\left(H_{i}\right)\right) .
$

式 1 で得られた $D$ 個の参照文 $\hat{\mathbb{R}}=\left.\{\hat{R}_{1}, \ldots \hat{R}_{D}\right.\}$ を用いて $\operatorname{GREEN}_{\beta}(\mathbb{S}, \hat{\mathbb{R}}, \mathbb{H})$ を計算し、評価に用いる。

## 3 実験

自動評価値と人手評価値の Pearson の相関係数 $r$ および Spearman の順位相関係数 $\rho$ を計測し、 GREEN の有効性を検証する。人手評価値の計算には GEC での有効性が認められている Expected Wins 法 [11]を用いる。 $n$-gram の最大長 $N$ は、単語単位の分割の場合は BLEU [12] や GLEU に従い $N=4$ 、文字単位は $\operatorname{chrF}[13]$ に従い $N=6$ とする。分割単位の違いは、“wordGREEN” (単語単位) や "charGREEN" (文字単位) と表記し区別する。

比較対象の GEC の評価尺度は以下の通りである。 $\mathbf{M}^{2}$ [7]: 人手でアライメントが付与された参照文の編集に訂正文の編集が最大限アライメントされるよう探索し、任意の訂正文に対して自動的に原文とのアライメントを求め、 $F_{\beta}$ 値を計算する。公平な速度比較のため公式実装より高速な実装を利用した ${ }^{4)}$ 。

I-measure [9]: 原文、参照文、訂正文間の多重アライメントを求め、原文から参照文、原文から訂正文へのアライメントを比較し、その正誤に対して重み付き正解率を計算する。 $\mathrm{M}^{2}$ は改悪された訂正文と変更がない訂正文を区別できないが、I-measure は変更なしの文に 0、改悪された文に負のスコアを与えられる。公式実装5)を用い、高速に実行するため -nomixオプションを指定し実行した。

4) https://github.com/craggy-otake/m2scorer_python3_fast

5) https://github.com/mfelice/imeasure
GLEU [10]: BLEU の分子に罰則項を追加することで人手評価値と正の相関を示すように設計された。本稿では訂正版 [14] の式に基づき計算する。

ERRANT [8]: $\mathrm{M}^{2}$ と同様に $F_{\beta}$ 值を計算するが、編集を Damerau-Levenshtein 距離とルールによる区間検出で抽出する。そのため、人手でアライメントを付与した参照文を必要としない。公式実装の v2.0.0 を用いた6)。

GREEN、 $\mathrm{M}^{2} 、$ ERRANT での評価を行う際は、 $\beta$ として、各データセット上で最適な $\beta_{*}$ を推定して用いる。 $\beta_{*}$ の值として、 $\beta$ を 0.00 から 5.00 まで 0.01 ずつ変え、テストデータを 10 分割し、その内の 9 個の分割を用いて人手評価との相関を最大にする $\beta$ を 10 通り求め、その平均の値を $\beta_{*}$ として用いた7)。

評価データセットとして CoNLL および GMEG を用いる。CoNLL は、CoNLL-2014 Shared Task [5] の評価データセットである。原文は 1312 文ある。参照データは 2 つあり、Shared Task の参加システムの訂正データは 12 ある。原文と 12 システムの訂正文の 13 文対に人手で順位が付与されている [11]。 GMEG は、FCE、Wiki、Yahooの 3 データセットからなる [15]。原文は、それぞれ、1936、1981、1999 文ある。参照データは 4 つあり、訂正データは 6つある。ドメインはデータセットごとに異なり、FCE は学習者のエッセイ、Wiki は Wikipedia の記事、Yahoo はウェブ上の投稿となっている。原文と 6 システムの訂正文の 7 文対に人手評価が付与されている。

## 3.1 人手評価との相関

CoNLL、GMEG データセットでの人手評価との相関を表 2 に示す。CONLL と GMEG のすべてのデー タセットで charGREEN が人手評価と最も高い相関を示した。charGREENは、wordGREENより良い性能を示す。charGREENは、経り誤りなどに対する文字単位の訂正と、単語単位の訂正を異なる規模で評価でき、より人手評価と近い評価が行えると考えられる。 $\mathrm{M}^{2}$ と ERRANT は、CoNLL、FCEでは GLEU、I-measure と同等かより高い性能を示すが、 Wiki、Yahoo ではより低い性能を示す。これは、学習者コーパスのドメイン以外では $\mathrm{M}^{2}$ と ERRANT が低い性能を示す可能性を示唆する。I-mesarue は、 CoNLL では負の相関を示すが、GMEG では比較的良い性能を示し、人手評価においてデータセットの

表 2 CoNLL、GMEG データセットでの自動評価尺度と人手評価との Pearson の相関係数 $r$ および Spearman の相関係数 $\rho$ 、並びに、各手法の平均事例での時間計算量を示す。CoNLL は、AMU の評価の 10 回の平均実行時間 (秒)を付した。

図 2 Wikiでの $\mathrm{M}_{0.01}^{2}$ 、 wordGLEU、wordGREEN ${ }_{1.12}$ と人手評価の相関

違いに頑健ではないと言える。

## 3.2 計算時間と計算量

原文、参照文、訂正文のトークン数が $k$ 以下であるときの平均時間計算量と、CoNLLデータセットでの実際の実行時間を表 2 に示す8)。 $n$-gram の種類数はトークン数 $k$ を超えないため、GREENと GLEU の計算量は $O(k)$ である。GLEU は、複数の参照文を用いる場合にサンプリングを行うため、計算時間が GREEN の 2 倍以上に長くなる。 $\mathrm{M}^{2}$ と ERRANT は、編集距離の計算に $O\left(k^{2}\right)$ の動的計画法を用いる。 3 文間の多重アライメントを求める I-measure の計算量は $O\left(k^{3}\right)$ である。以上より、GREEN は従来の手法よりも計算量が小さく、高速と言える。

## 3.3 人手評価の値が低いシステムの評価

図 2 に $\mathrm{M}^{2}$ 、wordGLEU、wordGREEN と人手評価の値を図示する。 $\beta$ は表 2 の $\beta_{*}$ を用いた。 $\mathrm{M}^{2}$ は原文 (source) にスコア 0、人手評価値が原文よりも低い transformer の訂正文に不当に良いスコアを与え

8）Intel® Core $^{\mathrm{TM}} \mathrm{i} 9-9900 \mathrm{~K}$ 上で実行した。
ている。GLEU も transformer に不当に良いスコアを与えている9)。このため、これらの手法は Wiki デー タセットで比較的悪い相関を示す。一方、GREEN は sourceを、人手評価値が近い amu, marian, nus とほぼ同等に評価しており、また、transformerにも低いスコアを与えられている。GREEN は原文や人手評価値の低いシステムの出力に対して妥当な評価が可能であり、人手評価と高い相関を示す。

## 4 おわりに

本稿では、GEC のための新しい自動評価尺度 GREEN を提案した。GREEN は、原文、参照文、訂正文を $n$-gram の多重集合として扱うことで、 $F$ 値を計算する。CONLL、GMEG データセットでの実験において、GREEN は従来手法よりも人手評価との高い相関を示した。また、 $\mathrm{M}^{2}$ 、ERRANT、I-measure と異なり、文間のアライメントを用いないため計算量が小さい。さらに、 $\mathrm{M}^{2}$ や GLEU で人手評価値の低い訂正文に高い評価を与えてしまう事例でも、 GREEN は人手評価に近い評価が行える。

9）付録 A. 3 でこの理由を説明した。

## 謝辞

本研究は国立研究開発法人新エネルギー・産業技

術総合開発機構 (NEDO) の助成事業 (JPNP20006)

並びに JSPS 科研費 JP23KJ0930 の助成を受けたものである。

## 参考文献

[1] Robert Dale and Adam Kilgarriff. Helping our own: The HOO 2011 pilot shared task. In Proceedings of the 13th European Workshop on Natural Language Generation, pp. 242-249, Nancy, France, September 2011. Association for Computational Linguistics.

[2] Robert Dale, Ilya Anisimoff, and George Narroway. HOO 2012: A report on the preposition and determiner error correction shared task. In Proceedings of the Seventh Workshop on Building Educational Applications Using NLP, pp. 54-62, Montréal, Canada, June 2012. Association for Computational Linguistics.

[3] Vidas Daudaravicius, Rafael E. Banchs, Elena Volodina, and Courtney Napoles. A report on the automatic evaluation of scientific writing shared task. In Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 53-62, San Diego, CA, June 2016. Association for Computational Linguistics.

[4] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012. Association for Computational Linguistics.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th An- nual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Mariano Felice and Ted Briscoe. Towards a standard evaluation method for grammatical error detection and correction. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[10] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[11] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[13] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. GLEU without tuning. arXiv:1605.02592, 2016.

[15] Courtney Napoles, Maria Nădejde, and Joel Tetreault. Enabling robust grammatical error correction in new domains: Data sets, metrics, and analyses. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 551-566, 2019.

図 $3 \beta$ を変えた時の CoNLL での Pearson の相関係数 $r$

図 4 CoNLL での wordGREEN $_{1.0}$ 、 wordGREEN $_{2.0}$ と人手評価の相関

## A 付録

## A. $1 \beta_{*$ の推定方法に関して}

$\beta_{*}$ の推定は、 $\beta_{*}$ を推定するための検証データを用意するか、交差検証を行うべきである。ところが、 10 個の異なる $\beta_{*}$ で求めた $F_{\beta_{*}}$ 值の平均値は妥当性に乏しいため、本稿では評価データの部分デー タで相関を最大にするような $\beta$ の平均 $\beta_{*}$ を求めてから、 $F_{\beta_{*}}$ 值を計算した。しかし、これは $\beta$ をパラメータとして持たない他の手法との比較においてフェアではないという点に留意が必要である。最適

$
\begin{aligned}
& p_{n}=\frac{\sum_{\forall n \text {-gram } x \in R \cap H} m_{R \cap H}(x)-\sum_{\forall n \text {-gram } x \in S \cap H} \max _{x \in S}\left.\{0, m_{S \cap H}(x)-m_{R \cap H}(x)\right.\}}{\sum_{\forall n \text {-gram }} m_{H}(x)} \\
& \sum m_{R \cap H}(x)-\sum \max \left.\{0, \min \left(m_{S}(x), m_{H}(x)\right)-\min \left(m_{R}(x), m_{H}(x)\right)\right.\} \\
& \sum m_{H}(x) \\
& \sum m_{R \cap H}(x)-\sum \max \left.\{0, \min \left(m_{S}(x), m_{H}(x)\right)-m_{R}(x)\right.\} \\
& =\frac{\forall n \text {-gram } x \in R \cap H \quad \forall n \text {-gram } x \in S \cap H}{\sum_{\forall n \text {-gram }} m_{H \in H}(x)} \\
& =\frac{\sum_{\forall n \text {-gram } x} m_{R \cap H}(x)-\sum_{\forall n \text {-gram } x} m_{(S \cap H) \backslash R}(x)}{\sum_{\forall n \text {-gram } x} m_{H}(x)}=\frac{\sum_{\forall n \text {-gram } x} \mathrm{TK}(x)+\mathrm{TI}(x)-\mathrm{UD}(x)}{\sum_{\forall n \text {-gram } x} \operatorname{TK}(x)+\mathrm{TI}(x)+\mathrm{OI}(x)+\mathrm{UD}(x)}
\end{aligned}
$

図 5 GLEU の再解釈のための式変形

な $\beta$ において高い相関を示すか比較するという点では、 $\mathrm{M}^{2} 、$ ERRANT とはフェアな比較になっている。

## A. 2 最適な $\beta$ に関する分析

図 3 は、CoNLL データセット上で $\beta$ の値を変えた時の各評価尺度での Pearson の相関係数 $r$ の変化を示す。GREEN は、適切な $\beta$ を設定すれば $\mathrm{M}^{2}$ や ERRANT より性能が良くなるが、 $\beta$ を小さく設定しすぎると性能が低下してしまう。この原因を調べるために、図 4 に、 $\beta=1.0,2.0$ での wordGREEN と人手評価のスコアを示す。IITB、INPUT、SJTU、UFC では、 wordGREEN $_{1.0}$ が不当に高い。INPUT は原文であり訂正がない。また、IITB、SJTU、UFC は、全出力の中で原文からの訂正が最も少ない 3 出力である。これらの出力では適合率が高くなるため、 $\beta$ が小さくなると wordGREEN が不当に高くなる。 $\beta=2.0$ など、 $\beta$ を高く設定するとより正確な評価が可能となる。 wordGREEN 2.0 は、積極的に正しい訂正を行うシステム (AMU) に高いスコアを与え、過度に訂正が控えめなシステム (IITB) や誤った訂正が多いシステム (IPN) に低いスコアを与えられる。

## A. 3 GLEU の再解釈

GLEU は、人手評価と正の相関を示すように BLEU に罰則項を導入した手法である [14]。罰則項の効果を調べるため、図 5 に GLEU に対する本稿の n-gram の分類を用いた式変形を示す。この式から、GLEU の罰則項は UD そのものであることがわかる。UD は GREEN では FN であるため、GLEU は FNを考慮できているが、FP は罰則として考慮できていないと言える。図 2 に示すように、wordGLEU は FP を多く生成する transformer を不当に高く評価してしまう。


# 読み情報を利用した ニューラル日本語入力誤り訂正モデルの構築と評価

金本勝吉麻生 貴裕
株式会社ベルシステム 24 ホールディングス
\{kanemoto.katsuyosh, aso.takahiro\}@bell24.co.jp

## 概要

日本語の入力誤りは読み手にとって負担を強いたり文章の信頼性を損ねたりするため，計算処理によりその訂正を支援することが求められる. 本研究では読み情報を推定させたり，読み情報も含めて訂正させたりするなど，読み情報を利用する多様な条件で Seq2Seq 形式の誤り訂正モデルを構築した. 比較実験の結果，モデルに読みを推定させると精度が悪化し, 別途読みを与えつつ，2 つの Decoder で原文の訂正と併せて読みの訂正を行うことで誤り訂正精度が向上した。

## 1 はじめに

コンピューターを用いて日本語を入力する際， キーボード操作や日本語 IME における，かな漢字変換の選択誤りといった操作上の誤りで意図通りに入力できなかったり, 入力を意図した文章自体に文法等の誤りが含まれ，結果的に誤った文章として入力されてしまうことがある.

これらの誤った文章は読み手にとって不自然に感じられ，なめらかに読み進めることを阻害するだけでなく，書き手が本来意図した内容が何であるかの推測を強いたり，意図と異なる内容として伝わったり，文章に対する信頼性を下げてしまったりするという問題がある。一方，このような誤りを人の手で確認・訂正することは，継続的な集中を必要とする作業であるため，計算処理により自動化したり支援したりすることが求められる.

このような誤りを含む文章を訂正する試みは，主に外国語の学習支援を目的とした，文法誤り訂正 (Grammatical Error Correction: GEC) を中心にいくつかのシェアードタスクが提案され研究されてきた [1].また，その周辺ではスペルミスの訂正，文章校正の自動化, 入力誤りの訂正などのタスクやデータ
セットが提案されている。これらのタスクは文章の誤り自体だけでなく, 修正すべき箇所や正解の定義が難しく, 主に提案されているデータセットの作成プロセスに依存したより広範囲な訂正タスクとなっている.

本研究では主に入力誤りを訂正した履歴に基づくデータセットを学習・評価に利用するため，結果的に日本語の入力誤りにフォーカスしたものである. その中でも日本語入力については，その読みをロー マ字で入力し，かな漢字変換するのが一般的であったり読みの情報が誤り修正に有用であるという報告 [2] から，読み情報を多様な形で利用するいくつかの訂正モデルを構築して比較評価した。

## 2 関連研究

## 2.1 文章の誤りの訂正

この分野の研究において近年はニューラルモデルを用いた手法が主流になっているが，主に分類問題として解く方法と Seq2Seq 形式で解く方法の 2 種類に大別される.

1つ目は分類器を用いるアプローチである. GECToR[3] は GEC を Token Classification，具体的には入力文章の各 Token に対し, KEEP, DELETE, APPEND, REPLACE に分類するとともに，カンマの追加，複数形への変更，置き換え後の単語といった具体的な訂正内容の分類を並行して行う. これにより単に訂正できるだけでなく, 分類結果により具体的にどのような文法的な誤りだったかを示すこともできる.

2 つ目は機械翻訳で利用される Seq $2 S e q$ 形式のモデルを利用するアプローチである．原文から翻訳文への出力の代わりに，誤文から訂正文を出力する Seq2Seq モデルを構築するアプローチであり，機械翻訳で用いられているノウ八ウの多くを利用するこ
表 1 構築条件の一覧

 \\

## とができる [4].

## 2.2 マルチタスク学習

本研究では, 日本語の入力誤りの一因が読みからの変換誤りに起因することから，読みの情報を利用するために，読みを推定したり読みも含めて誤りを訂正したりするマルチタスク学習をすることで改善を目指した. マルチタスクを解くためのアプローチはいくつか提案されており，1. prefix に目的とするタスクを入れる方法. 2 . 入力や出力をテキストとして連結して複数の情報を入出力する方法. 3. Decoder を複数用意し，タスクごとに Decoder を学習する方法などが提案されている.

それぞれ 1 つ目の手法は，T5と呼ばれるマルチタスクで学習された事前学習モデルにも採用されている手法であり，例えば “translate English to German: ”という prefix を与えた上で翻訳タスクを， “summarize:”という prefix を与えて要約を学習させることでそれぞれの能力を同時に持ったモデルを獲得している [5].

2 つ目の手法は，出力に性質の異なる複数の情報を与え，それらも含めた入出力を学習する手法である. 例えば Encoder-Decoder 構造の音声認識モデルにおいて，Decoderにて音声認識結果のテキスト系列だけでなく言語の判別，音声の開始終了時刻を示すタイムスタンプなど，多様な情報を出力系列に埋め込むことで同時に学習している事例がある [6].

3 つ目の手法は，1つの Encoder の出力を利用して，個別のタスクに特化した複数の Decoder で出力する手法である．例えば，入力の音声を Encoder で符号化し，その符号情報を入力にして，異なる 2 つの Decoder で音声認識結果，および音声認識と同時に翻訳結果を出力するタスクを組み合わせて学習した事例が報告されている [7].

## 3 実験

## 3.1 構築したモデル

読みの情報を併用して入力誤りを訂正するため，表 1 に示すような多様な構成でのモデル構築を行った. 条件 2-4 は読みを推定する能力自体をモデルが学習することを期待し, 条件 5-7 は読みの情報を別途与えることで読みの情報も利用する能力をモデルが学習することを期待している。

共通して事前学習モデルは retrieva-jp/t5-baselong1) を利用し, 学習には日本語 Wikipedia 入力誤りデータセット (v2)[2] の train 分割データを利用した. また，読みは MeCab(UniDic Lite) にて付与されたカタカナ表記のものをひらがなに変換して利用した. ひらがなに変換したのは予備実験によりカタカナ表記のままより，ひらがな表記に変換して利用した方が概ね良い結果が得られたためである.

ファインチューニングにおいて入力として訂正前の誤文を与える際 prefix に “訂正: ”を付与した. 入力に読みも含めて与える場合，この prefix と誤文の後に続く形で“読み: ”を続け，その後に読みの文章を与えた. 同様に出力について訂正文を出力する際は“訂正文:”を，読みを出力する場合は“読み方:” を prefix として出力するように学習した. 条件 2,6 については訂正文と読みを一つの文章として出力するが，文字列として連結して出力するように学習した．その他，学習時のパラメータは各構築条件で共通して，エポック数 $=2$, 勾配累積 $=2$, 学習率 $=1 \mathrm{e}-4$, バッチサイズ $=3$ で実施した.

いくつかの構築条件について補足すると，条件 3， 7 における異なる 2 つの Decoder については，1つの同じ Encoder の出力を，それぞれ独立した 2 つの

表 2 test, gold 分割に対する評価結果 (値は\%).

Decoder に入力して訂正文，および訂正文の読みを生成する学習を行った. なお, 学習時の loss はこれら 2 つの Decoder の loss の合計を利用している。また予備実験において訂正文を生成する能力と訂正文の読みを生成する能力をバランスよく学習できない状況が見られたため, 同じ構成においてパラメー タ調整として読み（訂正文）を出力する Decoder の loss 0.5 倍して学習する条件も追加して比較検討した. 以降これらを条件 3 , 7' と表記する。

条件 4 については誤文から訂正文を生成するデー タと, 訂正文由来の文章を入力にその読みを生成するデータを prefix にてタスクを分けた上で混合して同時に学習した。

## 3.2 評価

評価は日本語 Wikipedia 入力誤りデータセット (v2) の test，および gold 分割に対して適合率，再現率, $\mathrm{F}$ 値, $\mathrm{GLEU}^{+}$にて行った. また, 評価前にはそれぞれ Unicode NFKC 正規化をかけた。

適合率，再現率の計算は文字単位の追加，削除，置換の最小編集について, 誤文からシステムの出力に対する編集と，誤文から正解となるリファレンスに対する編集を比べて編集箇所と内容が一致した編集数を分子に，誤文からシステムの出力の編集数を分母にしたものを適合率，誤文からリファレンスのテキストの編集数を分母にしたものを再現率とした. GLEU+ は GEC の評価に用いられる評価指標で [8]，文字単位での評価を行った。

## 4 結果

## 4.1 定量評価

日本語 Wikipedia 入力誤りデータセット (v2)の test, gold 分割における評価結果を表 2 に示す. 条件表 3 誤りカテゴリの概要

1 の baseline と比較して読みの推定も含めて学習した条件 2, 3, 3', 4 や条件 6 は悪化，読み情報を入力として与えた条件 $5,7,7$ ～は同程度〜精度向上する結果となった.

条件 2,6 について，それぞれ一連の文字列の中で訂正文と読みを生成する構成であり，この形式での生成が他の条件より困難であり精度が上がらなかった可能性が考えられる. 条件 $2,3,3$, 4 は読みを生成する構成であるが, 学習データの特徴量やサンプル数などが不十分で読みが推定できるまで学習できずに精度が上がらなかった可能性が考えられる。一方, 条件 $5,7,7$ ' は読み情報を別途入力として与え, この情報を利用することで精度が向上した可能性があると考えられる．特に条件 7 にについては，読みの情報を使いつつ最終的な目的タスクの学習が促進されるように loss の調整を行ったことが精度の向上に寄与したと考えられる。

日本語 Wikipedia 入力誤りデータセット (v2)にはマイニングした結果として誤りの分類が付与されている. カテゴリの定義の概要を表 3 に, test 分割に付与されているカテゴリごとの評価結果 ( $\mathrm{F}$ 値のみ) を表 4 に示す.

この結果より, 条件 1 の baseline に対して, 特に条件 5, 7, 7 ににおいて実験前に期待していた誤変換の精度向上が確認できる。一方誤変換以外の誤字や脱字といったカテゴリについても精度向上が見ら
表 4 test 分割に付与されたカテゴリ別の $\mathrm{F}$ 値 (値は\%).

表 5 構築条件 7，における入出力事例

 &  \\

れ，読みの情報が他のカテゴリの誤り訂正にも寄与した可能性が考えられる.

## 4.2 入出力事例

最も精度が良かった構築条件 7 ’における入出力の事例を表 5 に示す.

例 1 においては本来「豚肉」と訂正されるべきものであり，入力時に「ぶたくに」と誤って入力・変換されたものと推察されるが，入力自体が誤りであるため読みの推定に正解を与えること自体困難であることが伺える.このような課題に対しては入力時の変換前の情報や，推定される複数の読み候補の導入が有効であると考えられる。

例 2 は読みの訂正のみが正解した事例である。いくつかのエラーを分析したところ，この例のように元の文章や読みの片方だけ正解する事例も散見された. このことは元の文章での訂正と, 読みにおける訂正が独立した Decoder で行われている事が一つの要因として考えられる。

例 3,4 はそれぞれ正解した事例である. これらの事例だけを見て読み情報が訂正の精度向上に寄与したことを示すのは困難であるが，構築条件 1.の baseline では【書く $\rightarrow$ (削除)】や【純の $\rightarrow$ 純の】と誤った事例である.

## 5 終わりに

本研究では読みの情報を用いる事で日本語の入力誤り訂正モデルの精度向上を目指した. 結果的に読みを推定させるより，別途与えた上で読みも含めた訂正を行う事で精度向上を達成することができた。

モデルに読みを推定させる構築条件について，読み推定能力を十分に獲得できなかったため精度が下がったと考えられるが，その能力を獲得できた場合，別途読み情報を与えずとも精度向上することが期待される。これには，例えば読みで構成されたデータセットを併用した事前学習モデルや，より大規模なデータに基づき，読み推定が十分にできるような追加事前学習をしたモデルをもとにファインチューニングすることで達成できる可能性がある.

また，読み情報を与えた条件 $5,7,7$ ，について，読みも含めた訂正が精度向上に寄与したが，エラー分析結果より読みだけが正解したり, その逆のケースも存在した. 条件 $3,3^{\prime}, 7,7$, の構成について, $2 \supset の$ Decoder は独立して訂正している。これは, 誤り訂正を利用する際に 2 のうち 1 つの Decoder だけで良いという計算量上のメリットがあるが，相互結合することで双方の訂正の結果を受けた訂正により精度向上する可能性があると考えられる.

## 参考文献

[1] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14. Association for Computational Linguistics, 2014.

[2] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの構築. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021.

[3] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163170. Association for Computational Linguistics, 2020.

[4] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 595-606. Association for Computational Linguistics, 2018.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine Mcleavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In Proceedings of the 40th International Conference on Machine Learning, Vol. 202 of Proceedings of Machine Learning Research, pp. 28492-28518. PMLR, 2023.

[7] Hang Le, Juan Pino, Changhan Wang, Jiatao Gu, Didier Schwab, and Laurent Besacier. Dual-decoder transformer for joint automatic speech recognition and multilingual speech translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3520-3533. International Committee on Computational Linguistics, 2020.

[8] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. GLEU without tuning, 2016. https://arxiv. org/abs/1605.02592.


# 大規模言語モデルによる和文英訳問題の自動採点

三浦直己 ${ }^{1,2}$ 舟山弘晃 1,2 松林優一郎 1,2 岩瀬裕哉 1,2 乾健太郎 $3,1,2$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3} \mathrm{MBZUAI}$
\{miura.naoki.p6, h.funa, yuya.iwase.t8\}@dc.tohoku.ac.jp
y.m@tohoku.ac.jp kentaro.inui@mbzuai.ac.ae

## 概要

本研究では，L2 学習においてょく用いられる和文英訳問題を対象とし，大規模言語モデル (LLM)を用いた記述式答案の自動採点手法を提案する．LLM による few-shot の文脈内学習を行うことで，既存採点モデルの運用面での課題の解決を試みた. モデルの採点性能を測定するため，実験では，モデルの予測得点と人手の採点結果の一致率を算出した. 実験の結果，LLM の採点性能は少量の学習データを用いた教師あり学習に基づく既存手法を下回った. さらにエラー分析によって, LLM が採点タスクを適切に解釈できていない可能性も示唆された. これらの結果は, 現行の最先端 LLM が本タスクにおける難易度と挑戦性を有していることを明らかにした。

## 1 はじめに

文章の翻訳問題は, 第二言語 (L2) 学習の初期段階において, 特に言語学的に離れた言語間で, 教育ツールとしてよく利用される $[1,2]$. 国内の英語教育では, 和文英訳問題として初期段階の英語学習に活用されている. 図 1 に，我々が作成したデータセットにおける和文英訳問題の例を示す. 学習者は，母国語（L1）の短い文章を学習中の言語（L2） に翻訳する. その後，この翻訳が $\mathrm{E} 3$ や $\mathrm{G} 4$ などの採点基準表内の各項目ごとに採点される. 各採点項目は，特定の文法項目や語彙表現に対応しており，答案は項目ごとに分析的に採点されるため，学習者は詳細なフィードバックを受け取ることができる.

この問題形式は, $\mathrm{L} 1 \cdot \mathrm{L} 2$ 言語間の類似点や相違点の認識を促し, 相応しい表現方法への理解を深めることができる．そのため，言語学習の初期段階において学習者が基本的な文法や表現を習得するのに特に効果的である [1]. しかし，和文英訳はその問題の性質上，記述式回答となるため，答案の採点やフィードバックの返却は教育者にとって大きな負担

} \\

図 1 和文英訳問題の具体例 (Q11)."E","O","G"は各分析基準のカテゴリーを示し，それぞれ「表現」，「語順」，「文法」を意味する.

となる。結果として，言語習得においては反復練習が重要であるにも関わらず [3]，実施の頻度が限定されてしまう。

本研究では，和文英訳問題における添削作業の負荷削減を目的として，図 1 に示したような部分採点項目の自動採点技術を構築する. 本研究で扱うタスクと密接に関連するタスクとして，英文の文法的な正しさを評価する文法誤り訂正（GEC）や機械翻訳 （MT）がある．しかしながら和文英訳問題は，実際の教育現場において，教師が設定した明確な学習目標の下で活用され，教育者の意図を学習に反映しているという点で，これらのタスクとは大きく異なっている．教育者の意図を反映する必要性は，GEC システムの純粋な使用だけでは学習者の学習への取り組みを効果的に引き出せないという報告によっても支持されている $[4,5]$.

本研究と同様の目的のもと行われた先行研究とし

て, [6]が挙げられる. 先行研究では, 和文英訳問題データセットを作成し, 項目採点モデルを構築し採点を自動化した反面, 不正解答案に対する採点性能の低さやモデル構築コストの高さが課題であった.

本研究では，和文英訳データセットを拡張しつつ，和文英訳問題の自動採点に大規模言語モデル (LLM) である GPT を用いることで，先行研究 [6] で明らかとなった課題に対応することを目指した. 実験では，LLM の和文英訳問題における採点性能を導出するため，GPT モデルを使用し，モデルの予測結果と人手による採点結果との一致率を算出した.

実験の結果, GPT-3.5,GPT-4 の両モデルはベースラインとして設定した BERT モデルの性能を下回る結果を示し, 最先端の LLM を以てしても難しい夕スクであることが明らかになった。またエラー分析によって，採点モデルが和文英訳問題の採点タスクを適切に理解できていないことが示唆された.

## 2 和文英訳答案の自動採点

和文英訳問題の答案評価において重要なことの一つは, 生徒が教師の設定した学習目標をどの程度達成しているのかを判定することである．教員は学習目標の達成度を効率よく評価するために，問題文と採点基準を設計する. 各問題の採点基準は，設問内で核となる学習目標を問うような採点項目ほか, 語彙表現や時制などの基本的な文法に関する採点項目を持つ. 本研究は, 先行研究 [6] に従い, 和文英訳問題の採点を複数の採点項目を持った Short Answer Scoring (SAS) タスクとして定式化する.

採点項目に対する得点予測： 翻訳問題に対する採点項目の集合を $C$ とする. 入力された答案 $\left(w_{1}, w_{2}, \ldots, w_{n}\right)$ に対し, モデルは与えられた採点項目 $c \in C$ における得点 $s_{c} \in\{2,1,0\}$ を出力する. 2 , 1,0 はそれぞれ「正解」,「部分的正解」,「不正解」に対応している. 採点は採点項目ごとに行い, 答案に対する総合評価は行なわない。

## 3 和文英訳問題データセット

実験では，[6] で作成された和文英訳データセットを，本タスクの評価データとして使用する。このデータセットは全 7 問のデータセットであり, 評価データとして小規模であった. またデータ内の答案は，1名のアノテーターによってアノテーション （採点）されたものであるため, 採点の一貫性や信頼性が十分に確保されていない問題が存在した.こ
れらの課題に対処するため, 問題数を拡充した上で，一部の答案について別のアノテーターによる再採点を行い，2名の採点の一致度を計測した。

問題数の拡充：LLMによる採点性能の適切な評価のために, 先行研究とおおよそ同様の設計で, 新たに 14 問を作成・追加し, 計 21 問のデータセットに拡張した. データ全体の統計值は付録 $\mathrm{A}$ に示す.

採点者間の一致率の測定： 採点の一貫性や信頼性を担保するために，拡充した問題を含めた 21 問の中からランダムに 10 問を選び，各問題に対して 20 答案を別の採点者に採点させることで，採点者間の一致率を測った. 各採点項目に対する採点結果 (2: 正解, 1 : 部分正解, 0: 不正解) の一致度には Cohen カッパ係数 [7]を、採点結果の根拠となる答案内の単語列（根拠箇所）の一致率には $F_{1}$ 值を用いた.計測の結果, 全採点項目に対する採点結果の Cohen カッパ係数は 0.74 であり, 採点者間で実質的一致 [8] を示した. また採点結果の根拠箇所の一致度は $\mathrm{F}$値で 0.92 となり, 高い一致度 $[9,10]$ を示した.これらの結果から，採点結果は異なる採点者間でも高い一致率であることがわかるため，このデータセットは評価データとして一定の一貫性や信頼性がある.

## 4 提案手法

## 4.1 GPT few-shot モデル

提案手法として，GPT-3.5,GPT-4[11] の few-shot 文脈内学習 [12] によって採点を行うモデルを構築する.この方法により, 各採点項目ごとに採点モデルを構築するコストと, モデルの微調整に必要な訓練データの大幅な削減が期待できる。 さらに，GPT モデルは翻訳や要約のようなタスクで優れた性能を示していることから [13,14], 和文英訳問題の採点に必要な文法や語彙知識を潜在的に備えていることも期待される。

図 2 に GPT モデルへの入力テンプレートを示す.入力は大きく 2 つの部分に分けられる. まずは事前入力にあたる部分である.ここでは, 採点タスクに関する指示文, 出力形式の説明, 翻訳される母語の原文, 採点項目と採点基準, その基準に対応する採点例が入力される. 採点項目と採点基準は図 1 の採点基準に記載された部分を 1 行ごとに文字起こししたものである.さらに，採点基準とその採点例（出力例） を説明するために, 各得点ごとに 2 つの採点例を提供する.
表 1 採点項目のカテゴリー（E: 表現，O: 語順, $\mathrm{G}$ : 文法）ごとの各モデルの $F_{1}$ 値と標準偏差. 語順の採点基準には部分正解の基準が含まれていないため，対応する値は”nan”とされている。

 \\

## 入力：生徒の答案

図 2 GPT few-shot モデルへの入力テンプレート

次に生徒の答案が入力される. GPT モデルはこれら2つの入力を利用して，指定された採点項目に対する得点と, その採点の根拠となった答案内の単語列を根拠箇所として出力する. GPT モデルへの詳細な入力例は付録 B に記載する。

## 4.2 BERT モデル

和文英訳答案自動採点のタスクにおけるべースラインとして，BERT[15] ベースの採点モデルである先行手法 [6] の項目採点モデルを用いた. 実験では，モデルのエンコーダーに $\mathrm{BERT}^{1)}$ を導入し，教師あり学習による手法で採点を行う. モデルの微調整では, 最適化関数に Adam [16] を使用し, 学習率は 0.001 に設定した. Bi-LSTM の隠れ状態の次元は 128 に設定し, 学習に用いるデータ量が限られているためバッチサイズは 10 とした.

## 5 実験

和文英訳答案の自動採点におけるモデルの採点性能を評価するため, 実験では BERT モデルと GPT-3.5，GPT-4を使用して答案に対する得点予測を行った. 得られた予測得点と人間による採点結果との $F_{1}$ スコアを用いて評価した。

## 5.1 設定

実験では，和文英訳問題自動採点の先行研究 [6] に従い，モデルの性能を $F_{1}$ スコアで評価した. 各問題のデータセットを訓練セット，開発セット，評価セットに 3:1:1 の比率で分割し, 5 分割交差検証を行った. BERT モデルは各訓練セットにおいて 50 エポックでモデルの微調整を行い，開発セットにおいて最も良い性能を示した時のパラメータを用いた. GPT モデルについては, 訓練セットから各得点ごとにランダムに 2 つの採点例を選定した。

また，一部の採点基準は，学習者にとって難易度が低く, 不正解の答案が非常に少なかった. そのため, 採点モデルの性能を適切に評価するために， $10 \%$ 以上の不正解の答案事例数を持つ採点項目だけを評価に使用した。

## 5.2 結果

表 1 は，評価セットにおける BERT，GPT-3.5， GPT-4 の性能を、各カテゴリー (E: 表現, O: 語順, $\mathrm{G}$ : 文法) の $F_{1}$ 値の平均と標準偏差で示したものである.

本研究では，LLM の他タスクでの性能の高さや獲得している言語知識量から, 和文英訳問題の採点において GPT モデルが優れた性能を示すという仮説を立てた。しかしながら，BERT モデルが GPT モデルを上回る結果となった. 全てのモデルにおい $\tau$, 正解の答案の採点精度は比較的高い性能を示し， GPT-4 は BERT モデルに匹敵する精度であった.

その一方で, 不正解答案に対する採点性能に関しては，GPT-3.5 の採点性能は顕著に低く、GPT-4 でも BERT モデルに劣る性能であった. たた興味深いことに, 部分正解の答案に関しては, GPT モデルが既存手法より高い採点性能を示した. これは, 部分正解の答案に対する BERT モデルを微調整するためのデータサイズが限られているためであると推測される。

また，ほぼすべての結果で標準偏差が 0.10 を超えていることが明らかになった.これは，各採点項目における採点性能にかなりのばらつきがあることを意味し, 中にはかなり悪い採点精度を示した採点項目があることを示唆する．以上より，いくつかの採点項目や採点基準が，両モデルにとって困難であったことがわかる.

## 5.3 エラー分析

不正解答案に対する採点精度: 5.2 節で述べたように, 不正解答案に対する採点性能は, 両モデルとも正解答案への採点性能に比べて著しく低かった.これは, 正答と誤答のパターン数の違うことが原因であると推測される. 採点基準では, 正解パターンの表現は少なくなるように設定されている. その一方で不正解の答案のパターンにはかなりの幅がある. そのため, 不正解と分類される答案のあらゆるパターンを包含する必要性がある．しかしながら，訓練データは, 正解パターンの大部分を網羅している一方で，潜在的な誤答をすべて網羅することはできなかった. また我々は GPT モデルに, 内部の言語知識を活用し, 不正解答案に対して包括的に対応することを期待したが，BERT モデルと比べ，良い精度を示さなかった。

GPT モデルのエラー例： 表 2 は GPT-4 による採点ミスを示している. GPT モデルが出力した根拠箇所を見ると，採点基準に直接的な関係のない部分を出力していることがわかる. このような採点ミスが GPT-4 の採点ミスの大部分を占めていた. この原因として，和文英訳問題の採点タスクについての説明や独自の採点基準に関する入力を LLM が十分に解釈できず， fewshotで入力された採点例を真似る形で出力が行われたためでないかと考えられる. そのため, 採点例として入力されなかったパターンの不正解答案が現れた際，表 2 で見られるような採点ミスが発生したと推測する. 事前にウェブサイト等から膨大な量の学習を行っている LLM でも, 和文英訳表 2 GPT-4 の出力エラー例

問題の採点のようなタスクの経験がなかった. 実際の教育現場を考えると，採点基準や数例の採点済み答案のみから採点を自動化することが，既存手法よりも望ましい形態であると考えられる. しかしながら，今回の実験から，LLM の内部パラメータをそのまま活用し，和文英訳問題の採点を行わせることは難しいことが示唆された.

## 6 おわりに

本研究では，先行研究の課題を受け，和文英訳問題の自動採点タスクにLLM の活用を提案した.また LLM の採点性能の評価を充実させるため, 先行研究で作成された和文英訳データセットを拡張し， その品質を担保した. LLM に採点基準や数例の採点済みデータを入力することで採点を行わせる手法は, 先行研究のコストや汎用性の課題に対処するものであり，実際の教育現場での応用が望めるものであった. しかしながら, 実験では最先端の LLMをもってしても，教師あり学習による手法で構築された既存の採点モデルの性能に劣る結果となった. このことから，和文英訳問題の自動採点において，現行最先端の LLM が難易度と挑戦性を有していることを明らかになった。

今後の展望として，GPT モデルを和文英訳問題の採点タスクに合わせて微調整するほか，採点タスクを GEC タスク，意味の整合性の確認，採点基準との整合性確認等に分解し，LLM の優位性を活用できるようなタスク設計を行っていくことが考えらえれる。

## 謝辞

本研究は JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けたものです.

## 参考文献

[1] Guy Cook. Translation in Language Teaching: An Argument for Reassessment. Oxford University Press, Oxford, March 2010.

[2] Wolfgang Butzkamm and John Caldwell. The Bilingual Reform. A Paradigm shift in Foreign Language Teaching. Narr Dr. Gunter, 012009.

[3] Diane Larsen-Freeman. On the roles of repetition in language teaching and learning. Applied Linguistics Review, Vol. 3, No. 2, pp. 195-210, 2012.

[4] Svetlana Koltovskaia. Student engagement with automated written corrective feedback (AWCF) provided by grammarly: A multiple case study. Assessing Writing, Vol. 44, p. 100450, April 2020.

[5] Jim Ranalli. L2 student engagement with automated feedback on writing: Potential for learning and issues of trust. Journal of Second Language Writing, Vol. 52, p. 100816, June 2021.

[6] 菊地正弥*, 尾中大介*, 舟山弘晃*, 松林優一郎, 乾健太郎. 項目採点技術に基づいた和文英訳答案の自動採点. 言語処理学会第 27 回年次大会発表論文集, p. $691,2021$.

[7] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, Vol. 20, No. 1, pp. 37-46, 1960.

[8] J. Richard Landis and Gary G. Koch. The measurement of observer agreement for categorical data. Biometrics, Vol. 33, No. 1, pp. 159-174, 1977.

[9] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 316-325, Florence, Italy, August 2019. Association for Computational Linguistics.

[10] Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, and Kentaro Inui. Plausibility and faithfulness of feature Attribution-Based explanations in automated short answer scoring. In Artificial Intelligence in Education, pp. 231242. Springer International Publishing, 2022.

[11] OpenAI. Gpt-4 technical report, 2023.

[12] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[13] Serge Gladkoff, Gleb Erofeev, Lifeng Han, and Goran Nenadic. Predicting perfect quality segments in mt output with fine-tuned openai $1 \mathrm{~lm}$ : Is it possible to capture editing distance patterns from historical data?, 2023.
[14] Abdulkader Helwan, Danielle Azar, and Dilber Uzun Ozsahin. Medical reports summarization using text-totext transformer. In 2023 Advances in Science and Engineering Technology International Conferences (ASET), pp. 01-04. IEEE, 2023.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. December 2014.

## A 拡張後のデータセットの統計値

本研究では問題番号 8 から 21 を追加した. 先行研究における作成時に 1 (部分的正解) に該当する答案の収集が難しく，評価データとして扱うのが難しかったため, 追加分からは 2 (正解) と0 (不正解）の 2 値分類にしている. そのため問題番号 8 以降では 1 (部分的正解) に該当する事例数がないため，記載されていない。

表 3 和文英訳問題データセットの統計値

## B GPT モデルへの入力の詳細

表 4 に問題 11 の採点において，GPT モデルに入力されたプロンプトの詳細を示す. 和文の「見るまで」に対応する採点項目を採点するためのプロンプトである。このように，GPT モデルへは，採点基準の各採点項目ごとに入力し，各得点ごとに 2 件ずつの採点例を入力した。表 4 GPT モデルへの入力の詳細 (Q11)

## PROMPT(SYSTEM)

Your task is to classify the labels corresponding to the analytic criterion from the input response.

Please refer to the Classification Rubric and

Classification Examples when performing the task.

Your Outputs

E4: _Your Outputs

Justification Cue: _Your Outputs

-Question_

”私は一昨年にオーストラリアで見るまでコアラ

を見たことがなかった。”

Analytic criterion_

E4:Tense of expressions corresponding to ”見るまで”

E4: 2 -Express ”見るまで” as "before I saw one(s)”,

"before I saw some", "before I saw them"

E4: O-Using "it" instead of "one( $s)$ ". Otherwise.

_Classification Examples_

Ans: I have not seen koalas before I saw them

in Australia 2 years ago .

E4 : 2

justification cue: before I saw them

Ans: I had never seen koalas before I saw ones in Australia two years ago .

E4: 2

justification cue: before I saw ones

Ans: I never see koala before I saw that at Australia last year.

E4: 0

justification cue: before I saw that

Ans: I had never seen a koala until I saw it in Australia in the year before last.

E4: 0

justification cue: until I saw it

## Input student response

I had never seen a koala before I saw one in Australia the year before last.