# 確信度と得点の予測精度を両立する 論述回答自動採点モデル

高橋 祐斗 1 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院
\{takahashi, uto\}@ai.lab.uec.ac.jp

## 概要

近年，深層学習を用いた論述回答自動採点モデルが高精度を達成し，実用化が期待されている。しかし，高性能な自動採点モデルであっても，得点予測を誤る可能性は依然として残っており，このことがハイステークス試験における自動採点導入の妨げの一つとなっている。この問題を解決する方法の一つとして，得点予測に加えて，予測した得点に対する確信度も出力できる深層学習自動採点モデルを用いて，予測誤りの検出を試みる研究がなされている.本研究では, 確信度を推定可能な従来の深層学習自動採点モデルを拡張することで，確信度推定と得点予測の両面における性能向上を目指す.

## 1 はじめに

近年，学校教育では思考力・判断力・表現力といった能力が重視されるようになり，これらの能力を評価する方法の一つとして論述式試験の活用が注目されている $[1,2,3]$. 一方で, 論述式試験には，人手採点に伴うコストや採点の公平性担保の困難さといった問題が残る $[4,5]$. このような問題を解決する手法の一つとして, 深層学習を用いた自動採点手法は多数提案され, 実用化が期待されている (e.g.,[6,7, 8, 9, 10]). 近年では，特に BERT（Bidirectional Encoder Representations from Transformers）[11] などの事前学習済み Transformer モデル [12]を基礎モデルとした深層学習自動採点モデルが広く活用され，高精度を達成している (e.g.,[13,14, 15, 16,17, 18]).

他方で，このような高性能な自動採点モデルであっても，得点予測を誤る可能性は依然として残っており，このことが自動採点導入の妨げの一つとなっている。この問題を解決する方法の一つとし $\tau$, 得点予測に加えて, 予測した得点に対する確信度も推定できる深層学習自動採点モデルが提案されている [19].この手法では，確信度が低い，すなわち予測得点が誤っている可能性が高い回答文を検出して，そのような回答文を人間の評価者が採点することで，採点コストの増加を抑えつつ，採点精度の向上を目指している.

確信度を推定できる従来モデル [19] は，BERT に基づく深層学習自動採点モデルを分類器として設計したモデルとなっている。分類器として設計した従来モデルは，交差エントロピー誤差を損失関数とするため，真得点と予測得点が異なる訓練データに対しては，その違いの大小によらず等しく誤りとみなして学習が進められる。他方で，一般的には深層学習自動採点モデルは回帰の枠組みで設計されることが多い。回帰の枠組みで設計したモデルでは，二乗誤差を損失関数とするため，真得点と予測得点の差の大きさを考慮してモデルの学習が進む．そのため，回帰の枠組みで設計した方が，分類に基づく手法よりも高精度な得点予測が期待できる。また，得点予測の精度向上は確信度の推定精度向上にも寄与すると期待できる.

そこで，本研究では回帰として設計した深層学習自動採点モデルに基づいて得点予測と確信度推定を行う手法を提案する。しかし，実データ実験の結果，提案モデルは得点の予測精度では優れる傾向が見られたが，確信度の推定精度は総じて分類器として設計した従来モデルに劣る傾向が確認された。この結果は，得点予測を回帰で行い，確信度推定を分類で行うことで，双方の観点において平均的に優れた性能が得られる可能性を示唆している。

そこで，本研究ではさらに，得点予測を回帰で行い，確信度推定を分類で行うことができる深層学習自動採点モデルを提案する。具体的には，BERT ベースの深層学習自動採点モデルを回帰と分類のそれぞれの方法で得点を予測する出力層を加えた二出
力型モデルとして設計し，マルチタスク学習の枠組みで訓練する．実データ実験の結果，分類と回帰のハイブリッド型提案モデルが, 得点予測と確信度推定の両面において，分類または回帰として設計したモデルと同等以上の性能を達成できることが確認された.

## 2 従来手法

従来手法 [19] では，BERT に基づく深層学習自動採点モデルを分類器として設計したモデルにより得点予測と確信度推定を実現している. 具体的には，冒頭に特殊タグ [CLS]を加えた単語系列で表される回答文 $x$ を BERT に入力することで，[CLS] に対応する BERT の出力ベクトルである分散表現ベクトル $\boldsymbol{h}$ を取得する. 次に，分散表現ベクトル $\boldsymbol{h}$ を得点段階数と同長のベクトルに $\boldsymbol{u}=\boldsymbol{W}_{c} \boldsymbol{h}+\boldsymbol{b}_{c}$ (ここで， $\boldsymbol{W}_{c}, \boldsymbol{b}_{c}$ はパラメータ）と変換し，ソフトマックス関数に通すことで，得点 $k$ に対する分類確率を $P_{k}=\exp \left(u_{k}\right) / \sum_{i=0}^{K-1} \exp \left(u_{i}\right)$ （ここで， $K$ は得点段階数， $u_{k}$ はべクトル $\boldsymbol{u}$ の $k$ 番目の要素）と求める. このモデルでは，回答文 $x$ に対する予測得点を $\hat{y}=\underset{k}{\operatorname{argmax}} P_{k}$ で求め, $\hat{y}$ に対応する確信度を $P_{\hat{y}}$ で評価する。

モデル学習時の損失関数には次式で定義される交差エントロピー誤差を用いる.

$
\mathscr{L}_{C E}=-\sum_{n=1}^{N} \log P_{y_{n}}\left(\boldsymbol{x}_{n}\right)
$

ここで,$N$ は訓練データの数, $\boldsymbol{x}_{n}$ は訓練データ集合の $n$ 番目の回答文, $y_{n}$ は $x_{n}$ に対して人間評価者が与えた得点, $P_{y_{n}}\left(x_{n}\right)$ は回答文 $\boldsymbol{x}_{n}$ を入力したときの得点 $y_{n}$ に対応する分類確率を表す.

このモデルでは，学習時の損失関数として交差エントロピー誤差を用いているため, 真得点と予測得点が異なる訓練データに対して，その差の大小によらず等しく誤りとみなしてモデルの学習が進められる. 一方で，一般的には深層学習自動採点モデルは回帰の枠組みで設計されることが多い. 回帰では,二乗誤差を損失関数とすることにより，真得点と予測得点の差の大きさもモデル学習に活用することができる．そのため，回帰に基づくモデルを利用した方が, 分類に基づく手法よりも高精度な得点予測が期待できる。また，得点予測の精度向上は確信度の推定精度向上にも寄与すると期待できる.

図 1 回帰の枠組みで設計した深層学習自動採点モデル図

## 3 回帰モデルとして設計した深層学習自動採点モデル

そこで本研究では, 回帰の枠組みで設計した深層学習自動採点モデルに基づき, 予測の確信度を推定するモデルを提案する。概念図を図 1 に示す.なお，基礎モデルには BERTを採用している。

提案モデルでは, 出力層を正規線形回帰モデルとして設計する．具体的には，回答文 $x$ を BERT に入力して得られる分散表現べクトル $\boldsymbol{h}$ を 2 の線形層に通すことで，正規線形回帰モデルの平均項を $\hat{\mu}=\operatorname{sigmoid}\left(\boldsymbol{W}_{m} \boldsymbol{h}+b_{m}\right) \quad\left(\boldsymbol{W}_{m}, b_{m}\right.$ はパラメータ,

項を $\hat{\sigma}^{2}=\exp \left(\boldsymbol{W}_{v} \boldsymbol{h}+b_{v}\right)\left(\boldsymbol{W}_{v}, b_{v}\right.$ はパラメータ) と求める. $\hat{\mu}$ は 0 から 1 の値を取るため, $(K-1) \hat{\mu} と$ 1 次変換した値を予測得点とする. また, 予測得点に対する確信度は $-\hat{\sigma}^{2}$ で評価する。

モデル学習時の損失関数は次式で定義される。

$
\mathscr{L}_{N L}=\sum_{n=1}^{N}\left.\{\frac{\left.\|z_{n}-\hat{\mu}\left(\boldsymbol{x}_{n}\right)\right.\|^{2}}{2 \hat{\sigma}^{2}\left(\boldsymbol{x}_{n}\right)}+\frac{1}{2} \log 2 \pi \hat{\sigma}^{2}\left(\boldsymbol{x}_{n}\right)\right.\}
$

ここで, $\hat{\mu}\left(\boldsymbol{x}_{n}\right)$ と $\hat{\sigma}^{2}\left(\boldsymbol{x}_{n}\right)$ はそれぞれ，回答文 $\boldsymbol{x}_{n}$ を入力して得られる平均項と分散項の予測値であり， $z_{n}$ は真得点 $y_{n}$ を 0 から 1 の尺度に変換した値である.

## 3.1 評価実験

ここでは，実データ実験により，提案モデルと従来モデルを比較する. 本研究では，実データとして, 論述回答自動採点の研究で利用される ASAP （Automated Student Assessment Prize）データセットを使用した. ASAP は，8つの異なる論述式問題に対して英語を母語とする米国の学生が記述した回答文と，それらの回答文に対して人間評価者が付与した

スコアで構成される. ASAPデータセットの基礎統計量を付録表 3 に示す. 本実験では，5 分割交差検証法で得点予測と確信度推定の性能評価を行った。得点予測の精度評価では評価指標に 2 次重み付きカッパ係数（Quadratic Weighted Kappa;QWK）と相関係数を用いた. QWK と相関係数はどちらも值が 1 に近いほど得点予測の精度が高いと言える. 確信度推定の性能評価には, Reversed Pair Proportion (RPP) [20] と Area Under the Receiver Operating Characteristic （ROC-AUC）を用いた. RPP は数値が小さいほど， ROC-AUC は数値が大きいほど確信度の推定性能が高いと言える。評価指標の詳細は付録 B に示す。

## 3.1.1 評価結果

得点予測精度の評価結果を表 1 に示す。また，確信度推定性能の評価結果を表 2 に示す. 表では，従来モデルの結果を「分類モデル」の行，提案モデルの結果を「回帰モデル」の行に示した. また，全問題についての平均性能を「平均」列に示した. 得点予測精度の評価では，平均性能に着目すると，提案モデルは従来モデルより高性能であることがわかる. 一方で，確信度推定性能の評価では，提案モデルの平均性能は，従来モデルに劣る結果となった.

## 4 回帰と分類のマルチタスク学習を 組み込んだ深層学習自動採点モデル

3.1 節の実験結果から，提案モデルにより得点予測の精度は向上する傾向がみられた一方で，確信度推定の性能については従来モデルに基づく手法が高性能を示す傾向があることが明らかとなった.この結果は，得点を回帰で予測し，確信度を分類器の分類確率により推定できれば，双方の観点で平均的に優れた性能が期待できることを示唆している。 そこで, 本研究ではさらに, 回帰と分類の二つの出力層を有し，得点を回帰で予測し，確信度を分類確率により推定する深層学習自動採点モデルを提案する.

## 4.1 モデル設計

回帰と分類のハイブリッド型自動採点モデルの概念図を図 2 に示す. 本モデルは，BERT によって得られる分散表現べクトル $\boldsymbol{h}$ を，シグモイド関数を活性化関数とする回帰層と，ソフトマックス関数を介して分類確率を計算する分類層の二種類の出力層に入力する構造となっている。本モデルにおける回帰

図 2 回帰と分類のハイブリッド型自動採点モデル図層は次式となる。

$
\hat{z}=\operatorname{sigmoid}\left(\mathbf{W}_{s} \mathbf{h}+b_{s}\right)
$

ここで， $\mathbf{W}_{s} ， b_{s}$ は学習されるパラメータである.

また，分類層では， $\boldsymbol{h}$ を得点段階数と同長のべクトルに $\boldsymbol{v}=\boldsymbol{W}_{t} \boldsymbol{h}+\boldsymbol{b}_{t}$ (ここで， $\boldsymbol{W}_{t}, \boldsymbol{b}_{t}$ はパラメータ $)$ として変換し，ソフトマックス関数を通して得点 $k$ に対する分類確率を次式で計算する。

$
Q_{k}=\frac{\exp \left(v_{k}\right)}{\sum_{i=0}^{K-1} \exp \left(v_{i}\right)}
$

ここで， $v_{k}$ はべクトル $v$ の $k$ 番目の要素である

ハイブリッド型の提案モデルを用いて任意の回答文 $\boldsymbol{x}$ に対する予測得点を求める場合には，回帰層から得られる $\hat{z}$ を用いる。ただし， $\hat{z}$ は 0 から 1 の値として得られるため， $\hat{z}$ を元の $K$ 段階尺度に 1 次変換した值を予測得点とする。予測得点に対する確信度には，分類層から得られる分類確率を用いる。具体的には， $\hat{z}$ を元の段階得点尺度に 1 次変換して四捨五入した値を $\hat{s}$ とする，その得点に対する分類確率 $Q_{\hat{s}}$ が確信度となる。

## 4.2 モデル学習

本モデルはマルチタスク学習の枠組みで訓練を行う。マルチタスク学習とは複数のタスクを一つの機械学習モデルで同時に学習することで，双方のタスクの精度を高めることを目指した手法である [21]. マルチタスク学習では，一般に複数タスクの損失関数の重み付き線形和を全体の損失関数として設計する $[22,23]$. 提案モデルの学習においても, 回帰の得点予測に基づく二乗平均誤差 $\mathscr{L}_{\text {reg }}$ と分類の得点予測に基づく交差エントロピー誤差 $\mathscr{L}_{\text {class }}$ の重み付き線形和として全体の損失関数を定義する。なお， $\mathscr{L}_{\text {reg }}$ と $\mathscr{L}_{\text {class }}$ は次式で定義される。

$
\mathscr{L}_{\text {reg }}=\frac{1}{N} \sum_{n=1}^{N}\left(z_{n}-\hat{z}\left(\boldsymbol{x}_{n}\right)\right)^{2}
$
表 1 得点予測精度の評価結果

表 2 確信度推定性能の評価結果

$
\mathscr{L}_{\text {class }}=-\sum_{n=1}^{N} \log Q_{y_{n}}\left(\boldsymbol{x}_{n}\right)
$

ここで， $\hat{z}\left(x_{n}\right)$ は回答文 $x_{n}$ を入力して回帰層から得られる值であり， $Q_{y_{n}}\left(x_{n}\right)$ は回答文 $x_{n}$ に対して分類層で計算される得点 $y_{n}$ に対応する分類確率を表す.

$\mathscr{L}_{\text {reg }}$ と $\mathscr{L}_{\text {class }}$ の重み付き線形和における重みの調整では，学習中に逐次的に重みの値を決定するアルゴリズムである Loss Scale Balancing（LSB）[23] を用いる．LSBでは，各タスクの損失関数のスケー ルを近づけるための重み $a$ と，各タスクの難しさに応じて值が決定される重み $d$ の二つの調整パラメー タが定義される。これらの重みの値は，学習中，逐次的に調整される．具体的には， $t$ エポック目における全体の損失 $\mathscr{L}_{M}^{t}$ は次の式で与えられる.

$
\mathscr{L}_{M}^{t}=\lambda^{t}\left(a_{\text {reg }}^{t} d_{\text {reg }}^{t} \mathscr{L}_{\text {reg }}^{t}+a_{\text {class }}^{t} d_{\text {class }}^{t} \mathscr{L}_{\text {class }}^{t}\right)
$

ここで， $\mathscr{L}_{\text {reg }}^{t}$ と $\mathscr{L}_{\text {class }}^{t}$ は $t$ エポック目の $\mathscr{L}_{\text {reg }}$ と $\mathscr{L}_{\text {class }}$ の值を表す.また， $a_{\text {reg }}^{t}$ と $d_{\text {reg }}^{t}$ は $t$ エポック目における $L_{r e g}$ に対する二種の重み， $a_{\text {class }}^{t}$ と $d_{\text {class }}^{t}$ は $t$ エ゚ック目における $\mathscr{L}_{\text {class }}$ に対する二種の重み， $\lambda^{t}$ は全体の損失関数のスケールを調整する值である．重みの詳細な計算方法は付録 Cに示す。

## 4.3 評価実験

ここでは，回帰と分類のハイブリッド型の提案モデルの性能を，従来モデルおよび 3 章で提案した回帰モデルとして設計したモデルと比較する。具体的には，3.1 節と同様の実データ実験をハイブリッド型モデルに対して行った.

得点予測の精度評価結果を表 1 の「ハイブリッド」行に示す. 平均性能に着目すると，QWK と相関係数の双方においてハイブリッド型の提案モデルが最も高い得点予測精度を示したことがわかる。 また，確信度推定の性能評価結果では，表 2 から， RPP においてはハイブリッド型の提案モデルの平均性能が最も高く，ROC-AUC においても２番目に良い結果を示している．また，ROC-AUC では，最高性能の手法との差は 0.003 と微小であった.

以上から，回帰と分類のハイブリッド型モデルは，回帰か分類のいずれかのモデルを利用する場合と比べて, 得点予測と確信度推定の双方において,平均的に同等以上の性能を示すことが確認できた。

## 5 まとめ

本研究では，分類器として設計された従来モデルを，回帰の枠組みに拡張したモデルを提案した.しかし，実験から，このモデルは得点予測の精度については改善の傾向がみられたものの，確信度推定の性能は従来手法に劣ることが確認された.この知見を踏まえ，本研究ではさらに，回帰に基づいて得点を予測し，分類に基づいて確信度を推定する深層学習自動採点モデルを提案した. 実験から，回帰と分類のハイブリッド型の深層学習自動採点モデルは,回帰か分類のいずれかのモデルを利用する場合と比べて，得点予測と確信度推定の双方において，平均的に同等以上の性能を示すことが確認できた。

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{~K} 17585,21 \mathrm{H} 00898$, 19H05663 の助成を受けたものです.

## 参考文献

[1] Yousef Abosalem. Assessment techniques and students' higher-order thinking skills. Journal of Secondary Education, Vol. 4, No. 1, pp. 1-11, 2016.

[2] H John Bernardin, Stephanie Thomason, M Ronald Buckley, and Jeffrey S Kane. Rater rating-level bias and accuracy in performance appraisals: The impact of rater personality, performance management competence, and rater accountability. Journal of Human Resource Management, Vol. 55, No. 2, pp. 321-340, 2016.

[3] Mohamed Abdellatif Hussein, Hesham Hassan, and Mohammad Nassef. Automated language essay scoring systems: A literature review. Journal of PeerJ Computer Science, Vol. 5, , 2019.

[4] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of AAAI Conference on Artificial Intelligence, Vol. 19, pp. 6300-6308, 2019.

[5] Masaki Uto. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Journal of Behavior research methods, Vol. 55, No. 7, pp. 39103928, 2023.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Journal of Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of Empirical Methods in Natural Language Processing, pp. 18821891, 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[9] Mohsen Mesgar and Michael Strube. A neural local coherence model for text quality assessment. In Proceedings of Conference on Empirical Methods in Natural Language Processing, pp. 4328-4339, 2018.

[10] Takumi Shibata and Masaki Uto. Analytic automated essay scoring based on deep neural networks integrating multidimensional item response theory. In Proceedings of International Conference on Computational Linguistics, pp. 2917-2926, 2022.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional Transformers for language understanding. In Proceedings of North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of International Conference on Neural In- formation Processing Systems, 2017.

[13] Jianwei Li and Jiahui Wu. Automated essay scoring incorporating multi-level semantic features. In Proceedings of International Conference on Artificial Intelligence in Education, pp. 206-211. Springer, 2023.

[14] Haruki Oka, Hung Tuan Nguyen, Cuong Tuan Nguyen, Masaki Nakagawa, and Tsunenori Ishioka. Fully automated short answer scoring of the trial tests for common entrance examinations for Japanese university. In Proceedings of International Conference on Artificial Intelligence in Education, pp. 180-192. Springer, 2022.

[15] Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi Ueno. Integration of prediction scores from various automated essay scoring models using item tersponse theory. Journal of IEEE Transactions on Learning Technologies, pp. 1-18, 2023.

[16] Yongjie Wang, Chuan Wang, Ruobing Li, and Hui Lin. On the use of BERT for automated essay scoring: Joint learning of multi-scale essay representation. In Proceedings of Conference of the North American Chapter of the Association for Computational Linguistics, pp. 34163425, 2022.

[17] Misato Yamaura, Itsuki Fukuda, and Masaki Uto. Neural automated essay scoring considering logical structure. In Proceedings of International Conference on Artificial Intelligence in Education, pp. 267-278. Springer, 2023.

[18] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng $\mathrm{Wu}$, and Xiaodong He. Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking. In Proceedings of Conference on Empirical Methods in Natural Language Processing, pp. 1560-1569, 2020.

[19] Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, and Kentaro Inui. Balancing cost and quality: an exploration of human-in-the-loop frameworks for automated short answer scoring. In Proceedings of International Conference on Artificial Intelligence in Education, pp. 465-476. Springer, 2022.

[20] Ji Xin, Raphael Tang, Yaoliang Yu, and Jimmy Lin. The art of abstention: Selective prediction and error regularization for natural language processing. In Proceedings of Annual Meeting of Association for Computational Linguistics and International Joint Conference on Natural Language Processing, pp. 1040-1051, 2021.

[21] Richard A. Caruana. Multitask learning: A knowledgebased source of inductive bias. In Proceedings of International Conference on Machine learning, pp. 41-48. 1993.

[22] David Eigen and Rob Fergus. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture. In Proceedings of IEEE International Conference on Computer Vision, pp. 26502658, 2015.

[23] Jae-Han Lee, Chul Lee, and Chang-Su Kim. Learning multiple pixelwise tasks based on loss scale balancing. In Proceedings of IEEE/CVF International Conference on Computer Vision, pp. 5107-5116, 2021.

## A 実験設定

3.1 節の実験で使用した ASAP データの基礎統計量を表 3 に示す。また，本実験では，全てのモデルを PyTorch で実装した．また，BERT モデルは Huggingface で公開されている英語テキストで事前学習されたモデルである bert-base-uncasedを利用した。学習アルゴリズムは AdamW（学習率 0.00005）を利用し，最大エポック数は 30 ，バッチサイズは 8 とし，検証データに対する損失関数の値に基づいてアーリーストッピングを行った。

表 3 ASAPデータセットの基礎統計量

## B 評価指標

3.1 節における実験で利用した評価指標について説明する.

得点予測の精度評価で利用した QWK は予測得点と真得点のずれの大きさを考慮した一致度を示すカッパ係数の一つであり，自動採点モデルの性能評価に広く利用されている。

確信度推定の性能評価で利用した RPP は，「確信度が高いデータは予測得点と真得点の誤差が小さいはずである」という前提を反映した指標であり，次式で定義される。

$
R P P=\frac{1}{B^{2}} \sum_{i=1}^{B} \sum_{j=1}^{B} \square\left[\hat{c}_{i}<\hat{c}_{j}, e_{i}<e_{j}\right]
$

ここで， $B$ は評価データのデータ数， $\hat{c}_{i}$ は $i$ 番目の評価データに対する確信度， $e_{i}$ は $i$ 番目の評価データにおける予測得点と真得点の二乗誤差，軖, $\cdot$] は 2 つの条件式が満たされるときに 1 ，そうでないときに 0 を返す関数である．RPP は数值が小さいほど確信度の推定性能が高いことを意味する。

確信度推定の性能評価で利用した ROC-AUC は，確信度に間値を定めて各評価データに対する予測の正誤を判定した際の True Positive Rate（TPR) と False Positive Rate（FPR）に基づいて計算される指標である.ここで，TPR は「予測得点が実際に正しい評価データのうち，確信度に基づいて予測が正しいと判定できた割合」 を意味し，FPR は「予測得点が誤っていた評価データのうち，確信度に基づいて予測が正しいと誤判定してしまった割合」を意味する．ROCは，予測が誤っているか否かを区別する確信度の閾値を，評価データ中の確信度の最大値から最小値まで変えながら TPR と FPR を求め，横軸が FPR，縦軸が TPR となるように描画することで得られる。ROC-AUC はこのようにして描いたROC の曲線下面積に対応している．ROC-AUC は数値が大きいほど確信度の推定性能が高いといえる。

## C ハイブリッド型提案モデルの損失関数における重みの計算

式 (7) で表されたハイブリッド型提案モデルの損失関数における，重みの具体的な計算方法について説明する. 式 (7)における $\mathscr{L}_{\text {reg }}^{t}$ に対する 2 種類の重み $a_{\text {reg }}^{t}, d_{\text {reg }}^{t}$ と $\mathscr{L}_{\text {class }}^{t}$ に対する 2 種類の重み $a_{\text {class }}^{t}, d_{\text {class }}^{t}$ はそれぞれ以下のように計算される。

$
\begin{aligned}
a_{\text {reg }}^{t} & =\frac{\mathscr{L}_{M}^{t-1}}{2 \mathscr{L}_{\text {reg }}^{t-1}} & d_{\text {reg }}^{t} & =\frac{\mathscr{L}_{\text {reg }}^{t-1} / \mathscr{L}_{\text {reg }}^{t-2}}{\mathscr{L}_{M}^{t-1} / \mathscr{L}_{M}^{t-2}} \\
a_{\text {class }}^{t} & =\frac{\mathscr{L}_{M}^{t-1}}{2 \mathscr{L}_{\text {class }}^{t-1}} & d_{\text {class }}^{t} & =\frac{\mathscr{L}_{\text {class }}^{t-1} / \mathscr{L}_{\text {class }}^{t-2}}{\mathscr{L}_{M}^{t-1} / \mathscr{L}_{M}^{t-2}}
\end{aligned}
$

また，式 (7)における $\lambda^{t}$ は全体の損失関数のスケールを調整する値であり，次式で計算される.

$
\lambda^{t}=0.5\left(d_{\text {reg }}^{t}+d_{\text {class }}^{t}\right)
$


# 日本語小論文に対する採点およびフィードバックの生成

中本 さや香 1 嶋田和孝 1 岡本芳明 2 中河内 孝 2
1 九州工業大学大学院 2 湘南ゼミナール
nakamoto.sayaka478@mail.kyutech.jp shimada@ai.kyutech.ac.jp
\{okamoto_1990, nakakouchi_1219\}@shozemi .com

## 概要

自動文書評価 (Automated Writing Evaluation) は教育工学分野で広く研究されているテーマのひとつである. 本研究では生成 AI である GPT-4 を用い，児童が書いた日本語小論文の自動採点を行う。採点基準として複数の観点を設定し，各観点について点数，その点数を与える根拠，児童へのフィードバックを生成する. GPT-4 による採点および人手による採点を行い，その比較を行った。また，GPT-4によって生成された根拠文やフィードバックに対し，定性評価や考察を行った. その結果，GPT-4による高品質な採点結果およびフィードバックの生成が確認され，小論文教育への活用可能性が示された.

## 1 はじめに

近年の学校教育では Society 5.0 時代を見据え，知識や技能だけでなく，論理的思考力や表現力の育成が求められている [1]. それらの能力の育成には,小学生からの小論文指導が効果的であることが主張されている [2]. 小論文を書く力を向上させるには，頻繁に高品質なフィードバックを受けて見直すことが有効である [3]. しかしフィードバックの作成には労力がかかるため学校や塾などの教育機関では十分な演習環境を用意することが困難である. そこで，近年登場している高性能な生成言語モデルを利用した小論文の自動評価が注目されている。

小論文の自動採点 (Automated Essay Scoring: AES) システムは，1966 年に Page ら [4] が開発した重回帰モデルを用いたシステム Project Essay Grade: PEG を筆頭に，言語処理技術の向上とともに様々なシステムが提案されてきた [5] [6] [7]. 1990 年台から 2000 年台初頭にかけて，世界的なテスト機関である Educational Testing Service: ETS によって， e-rater [8] [9] が実用化されている. E-rater は自然言語処理技術によって抽出した文法や用法，語彙などの多様な言語特徴量を基に予測する．E-rater を参考にして石岡らによって作成された Jess [10] は日本語の小論文に対する最初のシステムである。修辞・論理構成・内容などの観点から抽出した言語特徵を利用して小論文の評価を行う。 2010 年代頃よりニューラルネットワークを利用した自然言語処理が注目されはじめた. AES の分野においてもニュー ラルベースのシステム [11] [12] [13] や言語特徴量とニューラルネットワークを組み合わせたハイブリッド手法 [14] [15] が研究されてきた.

2023 年に, OpenAI による GPT-4 [16] などの最先端で高品質な生成系言語モデルが開発された. 教育工学分野では，生成系言語モデルの教育応用が注目され，様々な研究がされている [17] [18] [19]. Mizumoto ら [20] は ChatGPT を用いた AES 応用について可能性を調査し，その有用性を示した。 Naismith ら [21] は GPT-4 を用いて小論文の談話一貫性について採点および採点の根拠を生成し，人間評価者と採点結果および根拠文の比較を行った.

このような生成系言語モデルを用いた先行研究は主に英語の小論文を対象としており，日本語の小論文への応用はまだ研究されていない. 本研究では GPT-4を用いて日本語小論文の採点及びフィードバック生成を行い，それらの質を評価する.

## 2 実験設定

小論文データ本研究では湘南ゼミナールが保持する 29 件の小論文を使用した. テーマは「外国人に紹介したい日本のいいところ」である。これらの解答者は全て小学 5 年生で， $350-400$ 字程度の文字数が指定されている. 表 1 は本研究のために国語教師が作成したルーブリック (評価指標) で，小論文の課題条件に沿った指標が設定されている.

生成系言語モデルの設定使用した言語モデルは
表 $1:$ ルーブリック.

 \\

“gpt-4-0613”1) (以降 GPT-4 と呼ぶ)である. GPT-4 には出力を制御するためのパラメータが存在する. 本研究では出力のランダム性を最小限にとどめるために“temperature”を 0.0 に設定し，残りのパラメータは既定値のままとした。

## 3 手法

プロンプト設計 GPT-4 は入力されたプロンプト (命令)を元に出力を行う，一般的にプロンプトはシステムプロンプトとユーザープロンプトとに分けられる. 本研究で設計したプロンプトの概要を以下に示す.プロンプト全文は付録 A に表す。

・システムプロンプト: 期待される GPT-4 の振る舞い
- 日本語小論文の専門家であるという役割
- 採点タスクの説明.

・ユーザープロンプト: 小論文課題，ルーブリック (評価指標), 評価対象の小論文

表 2: 各ペア間の RMSE 計算結果. 表中の $\mathrm{K}, \mathrm{N}, \mathrm{S}$ は人間採点者のイニシャルである．小さいRMSE の値はぺア間の誤差が小さいことを表す。

各評価指標に対する，期待される GPT-4 の出力内容は以下の通りである.
- 点数 (1 3 点).
- その点数をつける根拠となる小論文内の文章.

・その点数をつける根拠の説明.

・生徒に対するフィードバックコメント.

人手採点 GPT-4 の採点結果と比較するために，本研究では 3 名の国語教師が人手採点を行う．本論文では以降 3 名を評価者 $A, B, C$ と呼ぶことで区別する。評価者 $\mathrm{A}$ と $\mathrm{B}$ は 22 年間，そして評価者 $\mathrm{C}$ は 3 年間の国語教師としての経歴を持つ.

## 4 結果と考察

採点 GPT-4 および 3 名の人間採点者の採点結果から，全ての組み合わせにおいて平均二乗誤差 (Root Mean Square Error: RMSE)を算出した結果を表 2 に示す.

RMSE は以下の式で計算する.

$
\mathrm{RMSE}=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(s_{1 i}-s_{2 i}\right)^{2}}
$

ここで $n$ は小論文の総数, $s_{1 i}$ と $s_{2 i}$ は比較対象の 2 つの採点結果を示す. RMSE の値が小さいほど，ぺア間の採点誤差が小さいといえる. GPT-4 と評価者 A のペアが平均的に一番小さいRMSE 値を得た。一方, 評価者 $\mathrm{B}$ は他の評価者と離れた採点結果になる傾向にあり，特に GPT-4 とは特に大きな差が生じた。また，評価指標間でも誤差の程度に差が存在し，特に Criterion 3 で大きな誤差を持つぺアが多かった. 表 3 は, ペア間で発生した誤差の程度ごとに件数をまとめた結果を示す. Criterion 1 では全てのペアにおいて誤差が 2 点生じている採点は存在しなかった. Criterion 2 においては, 全ての人間評
表 3: ペア間の採点誤差の分布. 表中の数値は小論文の件数を示す. $\pm 0$ はそのペア間の採点が一致していることを示す.

価者それぞれと GPT-4 の間では 1 点以内の誤差に収まっていることが確認できた. Criterion 3 では, GPT-4 と人間，および人間 2 名の間で 2 点の誤差を持つ答案が多く発生した. 図 1 は各評価者の採点結果の一覧を評価指標別で示したものである.ここで横軸は各小論文の IDを示し，縦軸は評価者を示す。 これらの結果より，人間採点者間でも結果に大きくばらつきがある答案が存在することが確認できた。評価指標ごとにばらつきの程度が異なることから，人間評価者の中でもルーブリックの解釈や適用尺に差があり，採点基準にも個人差が現れた可能性が考えられる.3名の人間評価者間では採点結果が一致しているが GPT-4 が異なる採点結果を与えている答案も確認できた. 例えば小論文 ID 10 の Criterion 3 における採点は，人間評価者が全員 1 点を与えている一方で GPT-4 は 3 点を与えた. この小論文では 「日本の科学の発展力」を日本の良さとして挙げ，「日本の科学を勉強し、それをウズベキスタンの科学の発展力をあげるのに生かしていきたい」という結論を述べている. ウズベキスタンの発展力を上げることは日本の科学の発展力を残すもしくはもっとよくしていくために必要なことではない. このように GPT-4 が間違った判断を行う場合があるため，実用化の際は人間が確認を行う段階を挟むなどの工夫が重要となる.

本研究で用いた GPT-4 は, 出力が毎回全く同じであるとは限らない。しかし，小論文の採点において評価の基準や判断が一貫していることは重要である.そこで GPT-4による採点の一貫性を確認するために，同じ設定の GPT-4 を用いて追加で再度 29 件の小論文の採点を行った. 2 回目の採点結果との一致率は約 $91 \%$ となり，十分に一貫した採点を行える可能性が示された.

(a) Criterion 1: 外国人に伝える日本のいいところが書かれている.

(b) Criterion 2: 自分の経験が書かれている.

(c) Criterion 3: 日本の良さを残すため，もしくはもっとよくしていくために必要なことが書かれている。

図 1: 各評価者の採点結果の一覧. 横軸は各小論文のIDを示す．ヒートマップ内の数値は採点結果の点数を示す.
表 4: GPT-4 が生成した根拠文に対する説得力の定性評価. 1: “全く同意できない”, 2: “あまり同意できない”, 3: “やや同意できる', 4: “同意できる”. 表中の数值は小論文の件数を表す.

また，時間コストに対する有効性を確認するために，採点時間を比較した. 3 名の人間評価者が 1 答案あたりに要した採点時間はそれぞれ 1 分 37 秒, 1 分 06 秒, 1 分 37 秒であった. 一方, GPT-4 は採点,根拠文，フィードバックの生成を含めて 1 答案あたり 48 秒で出力し, 十分に速いことを確認できた2).

採点根拠文の生成 GPT-4 によって出力された採点の根拠文に対し, 人間評価者 2 名 (評価者 $\mathrm{C}$ と第一著者) が定性評価を行った. 各根拠文に対し，小論文本文を踏まえた上で説得力があるかどうかを 4 段階で評価した. 表 4 に示すように，ほとんどの根拠文が高評価を得た. 付録 $\mathrm{A}$ に示す出力例は，高評価を得た根拠文である。

生成された根拠文に対して全く同意できない，と評価された答案について考察する. 対象の答案は日本の良さとして「昔ながらの食べ物」を主張している.「最近、街にイタリアンやフレンチ、中華などがふえ、家の近くにあったそば屋もつぶれてしまった。もう少しでそう業 100 周年だった。そして、私も大好きな店で週に 1 回ほどは、いつも食べに行っていた。」という小論文内の文章に対して，GPT-4 は「自身の経験として、地元のそば屋がつぶれてしまったことや、そのそば屋が好きだったことを述べているため、評価は 3 点です。」と根拠を示し, 3 点であると採点した ${ }^{3}$. 「そば屋がつぶれたことや好きだったこと」は「昔ながらの食べ物が日本のいいところである」という主張を支える経験ではないため不適切である. また，「日本の良さを残すために必要なことが書かれていますが、その内容が主張と直接繋がっているとは言えません。」など，減点された箇所や理由が明確に言及されていない根拠文が確認された。

このように一部未熟な結果もあるものの，概ね同

意できる根拠文が生成できた. 根拠文によって採点者が注目するべき箇所を提案するなどの補助的な利用により，採点や自動採点の確認を行う際に効率化を図ることができるのではないかと考える。

フィードバックの生成 GPT-4を用いた採点と根拠の生成に加え, 生徒に対するフィードバックも出力した. いくつかの例を付録 B に示す. GPT-4 が生成したフィードバックは小論文の内容と評価基準を踏まえたアドバイスを中心とした前向きなコメントになる傾向にあった. 評価指標に基づいて最小の評価である 1 点が付与された答案には，小論文中で欠けている要素について指摘して具体的な改善案や解説を含むフィードバックが多く見られた. 2 点が付与された答案には，その小論文の良いところを褒めた上で改善に向けたアドバイスを行うフィードバックが生成された. そして, 最大評価点である 3 点が付与された答案には, その評価項目を達成していることを褒めるフィードバックが生成され，時にはさらなるアドバイスを与えるものもみられた。

## 5 おわりに

本研究では，大規模言語生成モデルである GPT-4 を用い，ルーブリックに基づいた日本語小論文の自動採点および自動フィードバック生成について調査を行った. 採点は人間評価者間の誤差と人間と GPT-4 間の誤差が同程度以下に抑えることができていることを確認した。また，採点結果に対して，人間が納得できるような根拠文を生成することが可能であることが示された. 生徒に対するフィードバックの生成では, 生徒の小論文能力を引き上げるための前向きで建設的なアドバイスがされることを確認した. 人間より速く安定して，同等の質で採点が可能であるという結果より，練習問題や小テストなどの利用場面では自動採点システム単体への利用が可能であると考えられる。一方で，間違いが発生することは完璧には防げないため，高い精度が求められる定期テストや受験への応用については人間が内部に介在するようなシステムの構築が求められる.

我々の分析結果は GPT-4 による自動評価の高い可能性を示すものであったが，本研究では，小学生の書いた 29 件の小論文という限定的なデータが対象であった.この結論を確固たるものにするためにはより幅広い属性の書き手による小論文を用いた分析が有益である．今後は教員や生徒が使用できる形のシステムを構築し，実証実験を実施していきたい。

## 謝辞

本研究を遂行するにあたり，データセットをご提供いただいた湘南ゼミナール御中，および人手評価にご協力いただいた中河内先生，近藤先生，佐々木先生にこの場を借りて深く感謝を申し上げます。

## 参考文献

[1] 令和 4 年度文部科学白書, 2023.

[2] 篠原京子. 小学校国語科「書くこと」における論理的思考力の育成. 東京未来大学研究紀要, Vol. 15, pp. 59-67, 2021.

[3] Jessica Riddell. Performance, feedback, and revision: Metacognitive approaches to undergraduate. Collected Essays on Learning and Teaching, Vol. 8, pp. 79-96, 2015.

[4] Ellis B. Page. The imminence of... grading essays by computer. The Phi Delta Kappan, Vol. 47, No. 5, pp. 238243, 1966 .

[5] Ellis Batten Page. Project essay grade: Peg. In Mark D. Shermis and Jill Burstein, editors, Automated essay scoring: A cross-disciplinary perspective, pp. 43-54. Lawrence Erlbaum Associates Publishers, 2003.

[6] Scott Elliot. Intellimetric: from here to validity. In Mark D. Shermis and Jill Burstein, editors, Automated essay scoring: A cross-disciplinary perspective, pp. 67-81. Lawrence Erlbaum Associates Publishers, 2003.

[7] Giang Thi Linh Hoang and Antony John Kunnan. Automated essay evaluation for english language learners: A case study of my access. Language Assessment Quarterly, Vol. 13, No. 4, pp. 359-276, 2016.

[8] Jill Burstein, Karen Kukich, Susanne Wolff, Chi Lu, Martin Chodorow, Lisa Braden-Harder, and Mary Dee Harris. Automated scoring using a hybrid feature identification technique. In 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Volume 1, pp. 206-210, 1998.

[9] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, 2006.

[10] Tsunenori Ishioka and Masayuki Kameda. Automated japanese essay scoring system based on articles written by experts. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 233-240, 2006 .

[11] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 conference on empirical methods in natural language processing, pp. 1882-1891, 2016.

[12] Mitsuo Kiyono and Koichi Takeuchi. Automatic scoring of Japanese essay using neural networks. Forum on Information Technology, Vol. 18, No. 2, pp. 239-240, 2019. (In Japanese).

[13] Misato Yamaura, Itsuki Fukuda, and Masaki Uto. Neural automated essay scoring considering logical structure. In Ning Wang, Genaro Rebolledo-Mendez, Noboru Matsuda, Olga C. Santos, and Vania Dimitrova, editors, Artificial Intelligence in Education, pp. 267-278, Cham, 2023. Springer Nature Switzerland.

[14] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th international conference on computational linguistics, pp. 6077-6088, 2020.

[15] Sayaka Nakamoto and Kazutaka Shimada. Automated scoring of logical consistency of japanese essays. In Ning Wang, Genaro Rebolledo-Mendez, Vania Dimitrova, Noboru Matsuda, and Olga C. Santos, editors, Artificial Intelligence in Education. Posters and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners, Doctoral Consortium and Blue Sky, pp. 652-658, Cham, 2023. Springer Nature Switzerland.

[16] OpenAI. Gpt-4 technical report, 2023.

[17] Ray Huang, Han-Shin Chen, Yuen-Hsien Tseng, and Liang-Yi Li. Gptutor: A chatgpt-powered programming. In Artificial Intelligence in Education. Posters and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners, Doctoral Consortium and Blue Sky: 24th International Conference, AIED 2023, Tokyo, Japan, July 37, 2023, Proceedings, p. 321. Springer Nature, 2023

[18] Conrad W Safranek, Anne Elizabeth Sidamon-Eristoff, Aidan Gilson, and David Chartash. The role of large language models in medical education: applications and implications, 2023.

[19] Stavros Athanassopoulos, Polyxeni Manoli, Maria Gouvi, Konstantinos Lavidas, and Vassilis Komis. The use of chatgpt as a learning tool to improve foreign language writing in a multilingual and multicultural classroom. Advances in Mobile Learning Educational Research, Vol. 3, No. 2, pp. 818-824, Aug. 2023.

[20] Atsushi Mizumoto and Masaki Eguchi. Exploring the potential of using an ai language model for automated essay scoring. Research Methods in Applied Linguistics, Vol. 2, No. 2, p. 100050, 2023.

[21] Ben Naismith, Phoebe Mulcaire, and Jill Burstein. Automated evaluation of written discourse coherence using GPT-4. In Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023), pp. 394-403. Association for Computational Linguistics, jul 2023.

## A 本研究で用いたプロンプト

システムプロンプト

As a specialist in Japanese short essays (小論文), your task is to evaluate an essay in relation to the provided prompt (問題).

You will be given a prompt (小論文課題), an essay (小論文), and a rubric. The essay will be presented in individual sentences, each with a unique ID. The rubric will contain several evaluation axes, each with a scoring range of 1 to 3 .

Your task is to score the essay according to the rubric, identify the key sentence IDs that form the basis for each score, provide a reason for the score in Japanese, and give formative feedback to the student for improvement. Please ensure to select only the most important sentences that serve as strong evidence for your scoring decisions.

\#\# Input format (JSON)

\{

"prompt": <essay prompt>,"essay": [\{"id":

<integer>,"sentence":<sentence>\}, \{"id":

<integer>,"sentence":<sentence>\}, ...],

"rubric": [\{"axis-id": <axis-id>, "axis": <evaluation axis>, "scores":\{"1":<goal>, "2": <goal>, "3":<goal>\}\}, ...]

\}

\#\# Output format (list of JSON)

[\{"axis-id":<axis-id>, "score": <integer>,

"key-sentences":[<list of key sentence ids that provide the basis for the score>], "reason":<the reason of the score in Japanese>, "feedback": <formative feedback to the student to improve>\}, ...]

ユーザープロンプト (ここで<essay>は実際の小論文原文) "prompt":

\#\#\# テーマ

外国人に紹介したい日本の良さ

\#\#\# 課題条件
- 「日本の良いところ」を自分の経験を踏まえて具体的に説明すること
- 「日本の良いところ」をそのまま残すために必要なこともしくはもっと良くしていくために必要なことを、自分の経験を踏まえて書くこと

"essay":<essay>,

"rubric":

[

\{"axis-id":0, "axis": "外国人に伝える日本の良いところが書かれている", "scores":[\{"1": "書かれていない", "2":"書いてあるが内容が適切でない (日本特有のことでない)，もしくはわかりにくい (具体的すぎる・長すぎる)", "3": "適切な内容で, わかりやすい，端的で一般的な言葉でまとまってい
る"\}\}],

\{"axis-id":1,"axis": "自分の経験が書かれている", "scores": [\{"1

":"書かれていない"，"2":"書いてあるが内容が適切でない（主張したい内容と繋がっていない)", "3": "適切な内容 (主張と繋がっている) で， わかりやすい"\}\}]，

\{"axis-id":2, "axis": "日本の良さを残すため，も

しくはもっと良くしていくために必要なことが

書かれている", "scores":[\{"1":"書かれていない", "2": "書いてあるが内容が適切でない (主張したい内容と繋がっていない)，もしくはわかりにくい", "3": "適切な内容 (主張と繋がっている) で, わかりやすい"\}\}]

]

出力例 (「日本の文化や祭りの多さ」を紹介する小論文に対する出力)

[

\{"axis-id": 0, "score": 3, "key-sentences": [0, 1], "reason": "日本の良さとして、文化や祭りの多さを具体的に述べており、外国人に伝える内容として適切でわかりやすい。", "feedback": "日本の良さを具体的に述べることができています。このまま続けてください。"\},

\{"axis-id": 1, "score": 3, "key-sentences": [2, $3,4,5,6,7,8,9]$, "reason": "自身の経験として、台湾から来た天光生との交流を通じて日本の文化や祭りの多さを再認識し、それを外国人に伝えたいと思うようになったと述べている。内容が適切でわかりやすい。", "feedback": "自分の経験を具体的に述べることができています。このまま続けてください。"\},

\{"axis-id": 2, "score": 2, "key-sentences": [10, 11], "reason": "日本の良さを残すために必要なこととして、一人一人が力を合わせて日本の文化を増やしていくことを述べているが、具体的な方法や行動が示されていないため、内容が適切でない。"，"feedback"："日本の良さを残すために必要なことを述べる際には、具体的な方法や行動を示すとより良いエッセイになります。"\} ]

## B 生成されたフィードバックの例

3 点を与えた小論文へのフィードバック (Criterion 3)日本の良さを守るための具体的な行動を提案することは非常に良いです。さらに、それらの行動がどのように自身の主張につながっているのかを明確にすることで、より説得力のあるエッセイになります。

2 点を与えた小論文へのフィードバック (Criterion 3)日本の良さを保つための意志を示すことができていますが、具体的な行動や提案が不足しています。例えば、ゴミ拾いを続ける、リサイクルを推進する、環境教育を受けるなど、具体的な行動を提案すると、より説得力が増します。

1 点を与えた小論文へのフィードバック (Criterion 2)日本の四季の良さを述べる際に、自分の経験を具体的に書くと、より説得力が増します。例えば、自分が四季の中で特に好きな季節や、その季節に経験した思い出などを書くと良いでしょう。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# T5を用いた日本語記述式答案の文字認識誤り訂正

鈴木里菜 ${ }^{1}$ 臼井久生 ${ }^{1}$ 尾崎太亮 ${ }^{1}$ Nguyen Tuan Hung ${ }^{1}$ 古宮嘉那子 ${ }^{1}$
石岡恒憲 2 中川正樹 1
1 東京農工大学 2 大学入試センター研究開発部
\{s208649t, h-usui, hiroaki-ozaki\}@st.go.tuat.ac.jp fx7297@go.tuat.ac.jp
kkomiya@go.tuat.ac.jp tunenori@rd.dnc.ac.jp nakagawa@cc.tuat.ac.jp

## 概要

本研究では，事前学習済みの日本語 $\mathrm{T} 5$ モデルを用いて，手書き答案の文字認識結果の誤り訂正を行う．文字認識の誤り訂正には，これまで $\mathrm{N}$-gram を用いた手法や BERT を用いた手法が提案されてきた. 本論文では，自動で手書き答案を読み取った文字認識結果に対して人手で訂正を行い，これらのぺアを用いて T5を fine-tuning することで，文字認識誤りの訂正モデルを作成する。今回用いた答案デー タは，中学生約 50 名によって回答された, 国語ドリルの記述式問題の日本語手書き答案である. さらに，誤認識のパターンをより多く学習させるため，学習データのデータ拡張を行った. 実験の結果，T5 を fine-tuning することで，文字認識結果をより実際の答案に近い文章に訂正できることを示した。また, データ拡張の結果, 訂正モデルの BLEU 値は向上した.

## 1 はじめに

教育業界では, 2020 年に学習指導要領が改訂され，長い文章や資料を読み解き，自分の考えを記述させる問題が増加傾向にある. しかし，記述式問題は，採点者間の採点基準の差や，採点者の労力など，様々な問題がある．そのため，採点業務の効率化や教育サービスのレベル向上へ向けた取り組みとして，採点の自動化が進んでいる。

自動採点は，大きく2つのステップに分けられ， 1 つ目は手書き答案を画像モデルを用いて文字認識する処理，2つ目は文字認識結果に基づいて答案を採点する処理である. 1 つ目の処理である手書き答案の文字認識の精度は, 採点システムの性能に直結する重要な要素である. しかし，人間の手書き文字を正確に文字認識することは困難であり，正しく採点するためには，採点の前に文字認識結果に対して校正を行う必要がある．特に，理解可能な文として文字認識ができなければ，採点は難しい，言語モデルによる文字認識誤り訂正は，単語を答えさせる問題の場合，本来誤っていた回答を正答に訂正してしまう可能性があるため単純な適用は難しい。しかし記述式の答案では，このような可能性はかなり低いと予想できる.

そこで本研究では，日本語の記述式答案に対し，意味を考慮した文字認識結果の訂正手法として，事前学習済みの日本語 $\mathrm{T} 5$ モデルを用いた手法について，その効果を検証する．T5 モデル [1] は， Google 社が発表した大規模言語モデルであり，多くの自然言語処理ベンチマークで最高値を記録した. 同じく Google によって開発された BERT[2] がエンコーダモデルであるのに対し， T5 はエンコーダデコーダモデルであるため，文字認識誤り訂正を変換モデルとして実現することが可能である. 本研究では，この T5を，手書き答案を読み取った文字認識結果とそれを人手で訂正したデータのペアを用いて fine-tuning することで，文字認識結果の訂正タスクに適用させる.

## 2 関連研究

日本語の文字認識誤りの訂正手法は多く提案されている。竹内ら [3] は，文字 trigram による文字誤り候補の生成と品詞 $\mathrm{N}$-gram による候補の選択を組み合わせた手法を提案している。また，漢字を対象とした手法として, 阪本ら [4] は漢字の部首認識誤りを訂正するための編集距離として漢字 DL 距離を提案し，そこから算出される類似度を用いた訂正手法を提案した. 大規模言語モデルを用いた手法としては，謝ら [5] によって提案された日本語 BERT モデルを用いた手法がある。謝らは，近代語辞書を用いて事前学習した BERT モデルを，近代文誤り訂正データセットで fine-tuning することで，近代文の文
字認識誤り訂正を行った。

T5を用いた誤り訂正の例としては，中村ら [6] による音声認識誤り訂正や，相馬ら [7] によるプログラムコードの誤り訂正, Shahgir ら [8] によるバングラ語の文法誤り訂正などがある. どの手法も，誤りのあるデータと誤りのないデータを学習データとして T5を fine-tuning し, 誤り訂正モデルを構築している. どちらも訂正への効果があることが示されているため，記述式答案の文字認識誤り訂正においても T5 モデルが有効であると予想される.

## 3 T5 を用いた文字認識誤り訂正

本研究では，事前学習済み日本語 $\mathrm{T} 5$ モデルである retrieva-jp/t5-base-medium ${ }^{1}$ を用いて, 文字認識誤り訂正を行った. T5 はテキストを入力としてテキストを出力するエンコーダデコーダモデルであり，本研究では，文字認識誤りを含むテキストを入力して，誤りを修正したテキストを出力する，End2End の誤り訂正モデルを作成することを目的とする．T5 モデルを誤り訂正タスクに適用させるため，記述式答案の文字認識データを入力，答案画像を人手により文字起こししたテキストデータを出力としたデー タセットで fine-tuningを行う.

## 4 データ

答案データとして, 中学生約 50 名によって回答された，受験研究社出版「 10 分間復習ドリル国語読解」の答案画像データから，記述式答案 25 問を抜粋し，使用した．答案はすべて 60 字以内で回答されている.これらの答案画像データをアイラボ株式会社の手書き文字認識エンジンを用いてテキスト化したものをシステムの入力とする. システムの出力として利用する正解には, 答案画像データを見ながら答案を人手でテキスト化したものを用いた. 図 1 に答案画像とその文字認識結果, 人手の文字起こしデータの例を示す.

手書き文字認識エンジンは 2 種類使用しており，縦書き文字認識モデルによる答案の認識結果の 5-best と, 単文字認識モデルによる各文字の認識結果の 5-bestがある.これらを文字認識誤りの例として，文字認識誤り訂正データセットを作成した.

1) https://huggingface.co/retrieva-jp/t5-base-medium

図1 答案画像 (左), 認識結果 (中), 人手の文字起こし(右)

## 5 実験

作成したデータセットを用いて T5 モデルの fine-tuning を行い，文字認識誤り訂正モデルを作成した. 用いたモデルは retrieva-jp/t5-base-medium であり, Tokenizer は T5Tokenizerを用いて retrieva-jp/t5base-medium の Tokenizer を指定した．また，誤り訂正を評価するための指標として，人手による文字起こしデータを参照訳として利用とした BLEU 值 [9] を算出した. BLEU 值の算出には, evaluate ライブラリの sacrebleu $^{2}$ を使用した. BLEU 值は $0 \sim 100$ までの実数值で表され，生成した文章が参照訳に近いほど值が高くなる. 文字認識結果の BLEU 值と，誤り訂正モデルによる訂正結果の BLEU 值を比較し，誤り訂正モデルによる訂正結果の BLEU 値が文字認識結果の BLEU 值を上回った場合，訂正モデルは有効であるとする.

実験は，縦書き文字認識モデルによる文字認識結果のみを用いた実験と，拡張データを学習データとして加えた実験の 2 つを行った。

## 5.1 実験 1: 縦書き認識モデルの文字認識結果を用いた実験

この実験では，縦書き文字認識モデルによる文字認識結果の 5-best を力例とした文字認識誤り訂正データセットを用いて T5 を fine-tuning することで，文字認識誤り訂正モデルを作成する. データセットの件数は， 6,656 件であった. BLEU 值がより高くなるパラメータを探索するため，あらかじめ指定したハイパーパラメータの組み合わせで grid search を行った.またこの際，精度検証のため 5 分割交差検証を行った. データ数の比率は (学習：検証：テスト)=(3:1:1)とした.

2) https://huggingface.co/spaces/evaluate-metric/ sacrebleu
交差検証を行うためのデータセットの分割は，(1)問題別で 5 分割する方法，(2) 答案別で 5 分割する方法の 2 種類で行った. データ分割のフローを図 2 に示す。

(1) 問題別に分割する方法では，ドリルの問題ごとに学習，検証，テストデータを分割する。こうすることで，学習に利用されなかった問題の回答の文字誤り訂正についての能力を測る. 本実験における主な目的は，この能力の測定である.

(2) 答案別に分割する方法では，ドリルの問題を問わず，学習，検証，テストデータを分割する．結果として同じ問題を別の生徒が回答した答案が，学習，検証，テストデータに共通して存在する可能性がある．学習データが十分存在すれば，(2) 答案別の分割の実験の設定程度に性能が上昇すると期待できるため，参考として実験を行った.

実験の際，fine-tuning の学習率は $[0.00001,0.0001$, $0.001]$ の 3 通り,エポック数は $[5,10,15]$ の 3 通り, さらに生成の際の繰り返しに対して与えるぺナルティである repetition penalty は $[5.0,10.0]$ の 2 通りで，これらを組み合わせた 18 通りの設定で実験を行った. バッチサイズは 16 とした.

## 5.2 実験 2: 拡張データを用いた実験

この実験では，単文字認識モデルの文字認識結果を用いて縦書き文字認識モデルの文字認識結果を変換して擬似文字認識データを作成し，これを実験 1 で使用したデータに加えて T5 を fine-tuning することで，文字認識誤り訂正モデルを作成する。作成したモデルの BLEU 値を実験 1 の結果と比較し, デー タ拡張が有効であるかどうかを検証する。

## 拡張データの作成

4 章で示したデータのうち，縦書き文字認識モデルによる文字認識結果の best データ，単文字認識モデルによる各文字の認識結果の 5-best データとその尤度を用いて，拡張データを作成する.

1. 単文字認識モデルによる認識結果における各文字の尤度を softmax 関数を用いて確率值に変換する。

2. 縦書き認識モデルによる best データの各文字に対して，1で求めた確率值の $1 / 100^{3)}$ の確率で,

3）尤度から求めた確率值のまま単文字認識の 5-best の文字と置き換えた場合，実際の文字認識結果よりも誤りが多発してしまうため，1/100をかけている. この値は予備実験により決定した。
ランダムに単文字認識の 5-best のうちいずれかの文字と置き換える。

3.1，2を 5 回行い，各答案に対して変換データを 5 つ作成する.

上記の手法で作成した拡張データを加えた結果,文字認識結果と人手の文字起こしデータのペアは 11,271 件となり，実験 1 で用いたデータの約 2 倍となった。この拡張データを加えたデータセットを，実験 1 で行った問題別のデータ分割方法で 5 分割しこれを学習データとして，5 分割交差検証を行った.この時，検証データとテストデータは，実験 1 の問題別に分割したデータと同じものを使用した. fine-tuning のパラメータは，実験 1 と同条件で grid searchを行った.

## 6 実験結果

実験の結果，最も高かった文字認識誤り訂正後の BLEU 值を表 1，表 2 に示す. 表 1，表 2 の訂正前の BLEU 値は，入力文である文字認識結果の BLEU 値である. 表 1 は，実験 1 ，実験 2 で問題別で 5 分割交差検証を行った結果であり，表 2 は実験 1 で答案別で 5 分割交差検証を行った結果である。すべてのパラメータにおける結果は，付録の表 4～表 6 に示す.また，各実験で最も BLEU 值が高かったパラメータ設定を表 7 に示す.

表 1 問題別のデータ分割の実験における BLEU 值

表 1 より，問題別のデータ分割の実験において，訂正前の BLEU 值より，実験 1 の文字認識誤り訂正後の BLEU 值の方がよいことが分かる. これより， T5 による文字認識の訂正は有効であるといえる。 さらに, 表 1 の実験 1 と実験 2 の結果を比較すると,実験 1 の縦書き認識モデルの文字認識結果を用いた実験の BLEU 値を，実験 2 の拡張データを用いた実験が上回っているため，拡張データが有効であることが分かる.

表 2 より, 答案別のデータ分割の実験において，訂正前の BLEU 値より，実験 1 の文字認識誤り訂正後の BLEU 值の方がよいことが分かる。.さらに，表

図 2 問題別と答案別のデータ分割方法

1 の実験 1 の結果と比較すると, 問題別のデータ分割より答案別の方が BLEU 值が高いことが分かる. このことから, 問題別の実験設定では, 学習データの量が不足していることが示唆される. しかし，実験 2 の拡張データを用いた実験の方が，同じ問題の別の生徒による回答を含む，答案別の実験設定の結果より BLEU 値が上回っているため, データ拡張の有効性が分かる.

## 7 考察

実験 2 のデータ拡張後の訂正モデルによる文字認識誤り訂正の例を表 3 亿示す.

表 3 文字認識誤り訂正モデルの生成例

表 3 の文字認識誤り訂正の例を見ると，正しい文字起こしが「読んだほうがいいだろうという本」であるのに対し，文字認識結果の訂正後の文章は「読んでおいた方がいいだろうと思う本」となっており，理解しやすい日本語を生成していることが分かる.この生成結果には $\mathrm{T} 5$ のテキスト生成モデルとしての特徴が表れており,この特徴によって本来誤っていた回答を正答に訂正してしまう懸念はある一方，文意を著しく変更しているわけではないため，採点結果には大きく影響しないのではないかと考えられる。

また, 本研究では誤り訂正の評価指標として BLEU 值を用いたが，BLEU 値は翻訳の性能を評価するのに有効な手法ではあるものの，細かい意味的な違いを評価することはできない，そのため，採点システムの前処理としての誤り訂正の指標として, どのような指標が啇切であるかを考えていく必要がある. また，本手法は，採点システムに用いることを目的として文字認識誤り訂正を行った. そのため, 今後, 実際に本手法の訂正結果を採点システムの入力として利用し，評価していく予定である.

## 8 おわりに

本研究では，自動で手書き答案を読み取った文字認識結果に対して人手で訂正を行い，これらのぺアを用いて T5 を fine-tuning することで，文字認識誤りの訂正モデルを作成した. 用いた答案データは，中学生約 50 名によって回答された, 国語ドリルの記述式問題の日本語手書き答案である. 実験の結果，T5を fine-tuning することで，文字認識結果をより実際の答案に近い文章に訂正できることを示した. また，データ拡張の結果，訂正モデルの精度は向上したため, 本研究で行ったデータ拡張手法は有効であったといえる. さらに，今後の課題として，実験のパラメータ設定や評価方法の改善, さらに本手法を使った認識結果による採点を行い，その効果を確認することなどが挙げられる。

## 謝辞

本研究は，科研費 $23 \mathrm{H} 03511$ の助成を受けたものである。答案収集は，本学における人を対象とする研究に関する倫理審査委員会の承認を得て実施した

(No.220707-04111)

## 参考文献

[1] Colin Raffel Katherine Lee Sharan Narang Michael Matena Yanqi Zhou Wei Li Peter J Liu et al. Noam Shazeer, Adam Roberts. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[2] Jacob Devlin Ming-Wei Chang, Kenton Lee and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT2019, p. 4171-4186, 2019.

[3] 竹内孔一, 松本裕治. 統計的言語モデルを用いた ocr 誤り訂正システムの構築. 情報処理学会論文誌, Vol. 40, No. 6, pp. 2679-2689, 1999.

[4] 阪本浩太郎, 阿部川明優, 佐竹真樹, 岸川至白, 阪本工リーザ, 石下円香, 渋木英潔, 森辰則. 契約書 OCR の単語誤り訂正における漢字の偏旁冠脚を考慮した木編集距離の検討. 言語処理学会第 26 回年次大会発表論文集, pp. 137-140, 2020.

[5] 謝素春, 松本章代. 日本語 BERT モデルによる近代文の誤り訂正. 言語処理学会第 29 回年次大会発表論文集, pp. 1616-1620, 2023.

[6] 中村朝陽, 李聖民, 田村鴻希, 吉永直樹. 前後の発話を文脈として考慮するニューラル音声認識誤り訂正. 情報処理学会, 2022.

[7] 相馬菜生, 梶浦照乃, 高橋舞衣, 倉光君郎. 大規模言語モデルへの追加事前学習による誤り訂正モデルのコードへの適用. DEIM Forum 2023, pp. 1b-5-4, 2023.

[8] H.A.Z. Sameen Shahgir , Khondker Salman Sayeed. Bangla grammatical error detection using 5 transformer model. arXiv:2303.10612 [cs.CL], 2023.

[9] Kishore Papineni Salim Roukos, Todd Ward and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. ACL, pp. 311-318, 2002.
表 4 実験 1 の各パラメータにおける BLEU 值問題別

表 5 実験 1 の各パラメータにおける BLEU 值答案別

表 6 実験 2 の各パラメータにおける BLEU 值

表 7 各実験で最も検証データの BLEU 值が高かったパラメータ


# ChatGPT の過剰回答に対する自己フィードバック機構 を組み込んだ医療面接試験向け仮想模擬患者

進藤尚希 1 宇都雅輝 1
1 電気通信大学大学院 情報理工学研究科
\{shindo_naoki,uto\}@ai. lab.uec.ac.jp

## 概要

近年，医療系学生が受験する客観的臨床能力試験における医療面接を標準化する手法の一つとして，人工知能技術に基づく仮想模擬患者が多数提案されている。しかし既存手法の多くは，ルールベースのアプローチを採用しており，回答ルールの構築などに大きな負担を要する。そこで本研究では，ChatGPTを用いて人手によるルール構築を必要としない仮想模擬患者の実現を目指す.ただし， ChatGPT は受検者の質問に対して過剩に回答する場合があるため，提案手法ではそのような過剩回答を抑制する機構を新たに導入し，試験目的に則した回答を出力させることを目指す.

## 1 はじめに

医療系学生が受験する共用試験の一つである客観的臨床能力試験 (Objective Structured Clinical Examination ; OSCE) における医療面接課題では，特定の診療シナリオに沿って回答するように訓練された標準模擬患者 (Standardized Patient ; SP) に対して受検者が質問を行うプロセスを評価することで，臨床技能と態度を測定する $[1,2]$. 一方でこのような評価では，SP や評価者が評価結果に影響を与えるバイアス要因となりうる [3]. 評価者に由来するバイアスの影響については，テスト理論の一つである項目反応理論の拡張モデル $[4,5,6,7]$ を用いるなどの対応策が検討されている。一方で，SPに由来するバイアスを取り除く方法論としては，十分に訓練された SPを採用する方法が一般的である。しかし， SP の十分な訓練には膨大なコストがかかる.

このような問題を解決するために，人工知能技術に基づく仮想模擬患者 (Vertual Standardized Patient ; VSP)を用いて，SP の標準化を行うアプローチが注目されている。VSPを実現する既存手法は，人手に
より事前定義された回答のルール集合から，質問の内容に対応する回答文を選択することで対話を進行するルールベースを用いた手法が広く採用されてきた。一般に，質問と回答文とのマッチングの方法は，人手で設計された厳格なパターンマッチングによる手法 $[8,9,10,11]$ と, 深層学習を用いた手法 $[12,13,14,15,16]$ に分類できる. 深層学習を用いた手法では，質問の意図を推論することにより，パターンマッチングによる手法よりも柔軟な回答の選択を実現したが，モデルの訓練のための質問意図がラベル付けされた質問-回答の対のデータセットを必要とする。またいずれの手法も，回答を人手で設計したルール集合から選択する仕組みであるため, ルール作成のコストが大きいという問題を有する.

これらの問題を解決するために，本研究では， ChatGPT に診療シナリオと回答の仕方の指示を与えることで，SP として回答を行うVSP の実現を目指す. ChatGPT に基づくVSP は，人手でのルール設計やラベル付き訓練データセットなどを必要とせずに，与えたシナリオに存在しない内容に関する質問に対しても，文脈を考慮した自然な質問応答を行える利点を有する。一方で，受検者からの質問に直接的に関係しないシナリオまで参照し，過剩な回答を返してしまうことがある。過剰な回答を返した際の例を付録 A. 1 に示す.このような回答は，質問を通して模擬患者から適切な情報を引き出せたかどうかを測定する OSCE の試験目的において不適切な振る舞いである。そこで本研究では，二つの事前学習された BERT (Bidirectional Encoder Representations from Transformers)[17] を用いて，受検者の質問に対する ChatGPT の過剩な回答を検出し，それらを ChatGPT にフィードバックして適切な回答を再出力させる手法を提案する．具体的には，一つ目の BERT は受検者の質問文と個々のシナリオ文との関連度の予測を行い，二つ目の BERT は受検者の質問文に対する

図 1: 提案手法の概略図

ChatGPT の回答が個々のシナリオ文を含意しているかの予測を行う．そして，この二つの BERT の予測結果を比較することで，ChatGPT の回答が過剩なシナリオを含んでいるかを判定し，その判定結果をもとに過剩回答を抑制した回答を再出力させるフィー ドバックを ChatGPT に与える. 本研究では，提案手法を 4 つの症状に関するシナリオに適用する実験を通して，提案手法の有効性を評価する。

## 2 提案手法

上記の通り，提案手法では，受検者の質問に対する ChatGPT の過剩回答の検出を，二つの BERT を組み合わせることで実現する。一つ目の BERT は， OSCE 形式で実施された医療面接の対話データセット [18] でファインチューニングを行なったモデルであり，受検者の質問文と個々のシナリオ文との対応関係を予測する。二つ目のモデルは，一般言語理解評価ベンチマーク (General Language Understanding Evalueation; GLUE)[19] タスクの一つである含意判定タスクでファインチューニングを行なったモデルであり，受検者の質問に対する ChatGPT の回答文が，個々のシナリオ文を含意しているかを予測する.これら二つの BERT の予測結果を比較し，質問に直接関係しないシナリオへの言及を含む回答を検出して, ChatGPTにフィードバックを行い，適切な回答を再出力させる. 提案手法の概略図を図 1 に示す. 以降では，提案手法の個々の手続きについて詳述する.

図 2: 質問-シナリオ間関連性予測モデルの概略図

## 2.1 質問とシナリオの対応関係を予測する BERT モデル

質問とシナリオの対応関係を予測する BERT モデルでは，個々のシナリオが，受検者の質問と関係しているかを判定する．具体的には，BERT の事前学習タスクの一つである Next Sentence Prediction (NSP)[20] と同様に，質問とシナリオの二文間の関係が隣接文として成り立つかどうかの 2 值分類を全てのシナリオに対して行うモデルを構築する．以降では，この BERT モデルを「質問-シナリオ間関連性予測モデル」と呼ぶ.

モデルの概念図を図 2 に示す. 受検者の $i$ 番目の質問の単語系列と, $j$ 番目のシナリオの単語系列

を， $[C L S]$ と $[S E P]$ という特殊トークンを挿入してモデルに入力する. この入力の $[C L S]$ トークンに対応する BERT の分散表現ベクトル $\boldsymbol{x}_{i j} \in \mathbb{R}^{768}$ に対して，次式で与えられる Linear Layer with Sigmoid Activationを適用する.

$
v_{i j}=\sigma\left(\boldsymbol{W} \boldsymbol{x}_{i j}+b\right)
$

ここで， $\sigma$ はシグモイド関数を， $\boldsymbol{W}$ と $b$ はそれぞれ重みパラメータとバイアスパラメータを表す. 式 (1)より得られた $v_{i j}$ は，0から 1 の間をとる連続値である. $v_{i j}$ に対して, 閾値を 0.5 に設定し, $i$ 番目の質問に対する $j$ 番目のシナリオが隣節文として成り立つか否かの 2 值分類を次式で計算する。

$
z_{i j}= \begin{cases}1 & v_{i j} \geq 0.5 \\ 0 & \text { else }\end{cases}
$

ここで， $z_{i j}$ は， $i$ 番目の質問に対して $j$ 番目のシナリオが隣接関係にある場合に 1 を取り，隣接関係になければ 0 を取る変数である。.このプロセスを全てのシナリオに対して繰り返し，それぞれのシナリオが受検者の質問に関連しているかどうかを表す次式の隣接関係反応データ $z_{i}$ を得る.

$
z_{i}=\left.\{z_{i j} \mid j \in 1, \ldots, J\right.\}
$

## 2.2 ChatGPT の回答とシナリオの対応関係を予測する BERT モデル

ChatGPT の回答とシナリオの対応関係を予測する BERT モデルでは, ChatGPT の回答がどのシナリオを参照しているかを判定する．具体的には， GLUE の含意判定タスクでファインチューニングされた，図 2 と同様の構造を持つ BERTを用いる. 以降では，この BERTを「AI 回答-シナリオ間関連性予測モデル」とする.

ここで，AI 回答-シナリオ間関連性予測モデルへの入力が例えば,

“[CLS] シナリオ A, B, C に言及した ChatGPT の回答文 [SEP] シナリオ A の文章"

であるとすると，モデルは，シナリオ A の重複をもって含意と判定するはずである.このプロセスを全てのシナリオに適用することで， $i$ 番目の質問に対する ChatGPT の回答の含意関係反応データ $\boldsymbol{r}_{i}$ を次のように得る.

$
\boldsymbol{r}_{i}=\left.\{r_{i j} \mid j \in 1 \ldots, J\right.\}
$

ここで， $r_{i j}$ は， $i$ 番目の質問に対する ChatGPT の回答が $j$ 番目のシナリオを含意しているとき 1 ，そうでないとき 0 を取る変数である.

## 2.3 過剩なシナリオの検出とそれらの フィードバック手法

2.1 節と, 2.2 節で説明した二つの反応デー タ $z_{i}, \boldsymbol{r}_{i}$ を用いて, 質問には直接関係ないが, ChatGPT の回答には含まれている過剰なシナリオを検出する. ここで，これらの反応データの要素は，0と 1 の 2 値データを取るため， $j$ 番目の要素同士を比較すると，考えられる組合わせは $\left(z_{i j}, r_{i j}\right) \in\{(0,0),(0,1),(1,0)(1,1)\}$ の 4 通りである. これらのうち $\left(z_{i j}, r_{i j}\right)=(0,1)$ のケースは「受検者の質問に関連しないシナリオであるにも関わらず， ChatGPT の回答にはそのシナリオへの言及が認められる」ことを意味する. したがって，このケースを検出することで，ChatGPT の過剰回答を検出できると期待される。したがって，この比較を全てのシナリオ $j \in\{1, \ldots, J\}$ について行うことで， $i$ 番目の質問に対する ChatGPT の回答に含まれる過剩なシナリオを検出する.

過剩なシナリオが検出された場合，それらを削減して適切な回答を再出力するように，再帰的に ChatGPT にフィードバックを与える.フィードバックのためのプロンプトへの入力は以下の通りである.

"Please refrain from mentioning scenario of $\{$ 過剩なシナリオ \} in this doctor's question.”

ChatGPT はフィードバックを考慮した回答を再出力する。フィードバック後の回答に対し，上述の二つの反応データの比較を再度行い，フィードバック後の回答が過剩なシナリオを含んでいるか確認を行う.これらの手順を，過剩なシナリオが削減されるまで再帰的に繰り返す。ただし，本研究では， 5 回目のフィードバックでも過剩なシナリオを削減しきれなかった場合は, 5 回目の出力を最終的な出力として回答する。

## 2.4 質問-シナリオ間関連性予測モデルの ファインチューニング

提案手法では, 2.1 節の質問-シナリオ間関連性予測モデルを，カナダ・ウェスタン大学研究チームが開発した医療面接データセット [18]を用いて，NSP タスクでファインチューニングを行った。このデー タセットは，272セットのシナリオに関する，OSCE 形式でシュミレートされた医療面接が収録されている. ただし，本データセットには，モデルの訓練精度に影響を与える可能性のある文脈を推測できない短い回答が多く存在するため，それらを排除，また
表 1:4つのシナリオに対する提案手法の性能評価

表 2: フィードバック後の過剰回答の修正率

は修正した。モデルの学習は交差エントロピー誤差を最小化することで行った。

## 3 評価実験

本章では，提案手法の有効性を評価するために，筆者らが作成した 4 つのシナリオに基づく実験を行う．以降の 3.1 節， 3.2 節で詳述する評価実験では， それぞれのシナリオ文を指定した ChatGPT に，受検者の質問文を一文ずつ与え，その質問に対する回答を評価した。作成したシナリオの詳細や，実験の設定は付録 A. 2 に詳述した。

## 3.1 過剰回答の検出精度の評価

まず，提案手法により過剩回答を検出できるかを評価する実験を行った. 作成した 4 つのシナリオに基づく回答生成をそれぞれ 5 回ずつ行い，計 495 回の対話を生成した．ただし，ここでは回答にフィー ドバックは適用していない。生成した ChatGPT の各回答が過剩であるかを著者らが評価し，それらを正解值として Recall と Specificityを用いて提案手法の精度評価を行った. また，質問-シナリオ間関連性予測モデルにおいて，2.4 節のファインチューニングを行わないモデルとの性能比較も行った.

シナリオごとの 5 回の試行の平均精度を表 1 に示す. 本研究において，Specificity は，実際は過剩な回答でないにも関わらず，過剩と判断した割合に対応する. 表 1 より, 提案手法では, シナリオやファインチューニングの有無に依らず総じて正確に過剩でない回答を識別できていることが確認できる。 Recall は，実際は過剩な回答であるが，過剰でないと判断した割合に対応し, 本研究の目的である過剰な回答に対するフィードバックを行うために特に重要である. Recall の結果から，ファインチューニングを行ったモデルを用いた提案手法では，シナリオ 3 を除く全てのシナリオで正確にそれらを検出できていることが確認できる.

## 3.2 過剰回答のフィードバックによる改善 の有無の評価

ここでは，過剩回答のフィードバックにより最終的な回答に改善が見られたかを評価する実験を行った. 具体的には，過剩回答を検出した場合に，実際に ChatGPT の回答に 2.3 節で説明したフィードバックを適用し，その最終出力において，過剩なシナリオが削減されているかどうかを評価した。この実験では，それぞれ４つのシナリオに基づく回答生成を 3 回ずつ行い，生成した計 297 回の対話で評価した.過剩なシナリオを含んだ全体の回答の内，69\%の割合で過剩なシナリオを削減した回答の再出力ができている。これらの詳細を表 2 に示す. 例として， フィードバックにより過剩な回答が改善された回答を付録 A. 1 に示す.

## 4 まとめ

本研究では SP としての回答をする対話 $\mathrm{AI}$ を実現するために，質問-シナリオ間関連性予測モデルと， $\mathrm{AI}$ 回答-シナリオ間関連性予測モデルと呼ぶ 2 種類の BERT モデルを用いて ChatGPT の回答に含まれる過剩なシナリオを検出し，それらを抑制する手法を提案した。提案手法では，検出した過剩なシナリオを抑制するフィードバックを経て，OSCE の場面において適切である必要なシナリオのみを参照した回答の再出力を可能にした. 今後は，実際の被験者実験を通して，提案手法の有効性を評価したい。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{H} 05663,21 \mathrm{H} 00898$ の助成を受けたものです.

## 参考文献

[1] R. M. Harden. What is an OSCE? Medical Teacher, Vol. 10, No. 1, pp. 19-22, 1988.

[2] 伴信太郎. 客観的臨床能力試験. 医学教育, Vol. 26, No. 3, pp. 157-163, 1995.

[3] Iris Schleicher, Karsten Leitner, Jana Juenger, Andreas Moeltner, Miriam Ruesseler, Bernd Bender, Jasmina Sterz, Karl-Friedrich Schuettler, Sarah Koenig, and Joachim Gerhard Kreuder. Examiner effect on the objective structured clinical exam -a study at five medical schools. BMC Medical Education, Vol. 17, No. 1, p. 71, 2017.

[4] Masaki Uto. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[5] Masaki Uto. Accuracy of performance-test linking based on a many-facet Rasch model. Behavior Research Methods, Vol. 53, No. 4, pp. 1440-1454, 2021.

[6] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Vol. 47, No. 2, pp. 469-496, 2020.

[7] Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi Ueno. Integration of Prediction Scores From Various Automated Essay Scoring Models Using Item Response Theory. IEEE Transactions on Learning Technologies, Vol. 16, No. 6, pp. 983-1000, 2023.

[8] T Liu, J Luo, H He, J Zheng, J Zhao, and K Li. Historytaking instruction for baccalaureate nursing students by virtual patient training: A retrospective study. Nurse Educ Today, Vol. 71, pp. 97-104, 2018.

[9] A.J. Kleinheksel. Transformative Learning through Virtual Patient Simulations: Predicting Critical Student Reflections. Clinical Simulation in Nursing, Vol. 10, pp. 301-308, 2014.

[10] R Dickerson, K Johnsen, A Raij, B Lok, J Hernandez, A Stevens, and DS Lind. Evaluating a Script-Based Approach for Simulating Patient-Doctor Interaction. Proceedings of the International Conference of HumanComputer Interface Advances for Modeling and Simulation, Vol. 1, pp. 79-84, 2005.

[11] Thomas Parsons, P Kenny, and Albert Rizzo. Virtual human patients for training of clinical interview and communication skills. International Conference on Disability, Virtual Reality and Associated Technologies, p. 9, 2008.

[12] Julia El Zini, Yara Rizk, Mariette Awad, and Jumana Antoun. Towards A Deep Learning Question-Answering Specialized Chatbot for Objective Structured Clinical Examinations. In 2019 International Joint Conference on Neural Networks (IJCNN), pp. 1-9, 2019.

[13] Daniela S M Pereira, Filipe Falcão, Andreia Nunes, Nuno Santos, Patrício Costa, and José Miguel Pêgo. Designing and building OSCEBot ${ }^{\circledR}$ for virtual OSCE - performance evaluation. Med Educ Online, Vol. 28, No. 1, p. 16, 2023.

[14] Kellen R Maicher, Adam Stiff, Marisa Scholl, Michael White, Eric Fosler-Lussier, William Schuler, Prashant Serai, Vishal Sunder, Hannah Forrestal, Lexi Mendella, Mahsa Adib, Camille Bratton, Kevin Lee, and Douglas R Danforth. Artificial intelligence in virtual standardized patients: Combining natural language understanding and rule based dialogue management to improve conversational fidelity. Med Teach, p. 7, 2022.

[15] Roth Benjamin Fink Maximilian Rojowiec, Robin. Intent Recognition in Doctor-Patient Interviews. No. 702709. European Language Resources Association, Marseille, France, 2020.

[16] Han Wei Ng, Aiden Koh, Anthea Foong, and Jeremy Ong. Real-Time Hybrid Language Model for Virtual Patient Conversations. In Ning Wang, Genaro Rebolledo-Mendez, Noboru Matsuda, Olga C. Santos, and Vania Dimitrova, editors, Artificial Intelligence in Education, pp. 780785, Cham, 2023. Springer Nature Switzerland.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805, pp. 4171-4186, 2019.

[18] Faiha Fareez, Tishya Parikh, Christopher Wavell, Saba Shahab, Meghan Chevalier, Scott Good, Isabella De Blasi, Rafik Rhouma, Christopher McMahon, Jean-Paul Lam, Thomas Lo, and Christopher W. Smith. A dataset of simulated patient-physician medical interviews with a focus on respiratory cases. Scientific Data, Vol. 9, No. 1, p. 313, 2022.

[19] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A MultiTask Benchmark and Analysis Platform for Natural Language Understanding. Proceedings of the 2018 EMNLP Workshop Blackbox(NLP): Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[20] Yi Sun, Yu Zheng, Chao Hao, and Hangping Qiu. NSPBERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task-Next Sentence Prediction. International Conference on Computational Linguistics, p. 18, 2022.

[21] 伴真太郎, 鈴木富雄, 青松棟吉, 西城拓也, 阿部恵子,桑畠愛.よくわかる医療面接と模擬患者. 名古屋大学出版会, 2015.

## A 付録

## A. 1 ChatGPT の過剰回答

ChatGPT は受験者からの質問では言及されていないシナリオまで情報を参照し，過剰な回答をすることがある。過剰な回答の例と，それらの回答を提案モデルによって検出し, フィードバックすることで改善された回答の例を表 3 に示す.

表 3: ChatGPT の過剰な応答をフィードバック (FB) し，改善された対話サンプル

 \\

## A. 2 実験設定

本研究では，文献 [21] の SP 用のシナリオを基に，呼吸器，心臓，2つの筋骨格に関する症状をそれぞれの主訴とする 4 つのシナリオを作成した. 作成したシナリオは，表 4 に示したような患者の年齢，家族背景などのペルソナ情報や，抱えている症状の詳細などのシナリオ文のリストと，医者の質問文のリストが用意されている. 医者の質問文は文献 [18] での医療面接を基に作成した.本研究では，指定したシナリオに沿って回答する ChatGPT として gpt-3.5-turbo を採用した. gpt-3.5turbo のパラメータの一つである temperature は 0.7 に設定した. ChatGPT には \{“role”: “system”, “content”: “ $j$ 番目のシナリオ文” $\}$ の形式でシナリオ文を一文ずつ指定し $, j=1,2, \ldots, J$ まで入力した上でプロン表 4: ChatGPT に与えられるシナリオの例

1. I'm Yamaguchi Aoi.

2. I'm 50 years old.

3. I have a persistent cough and phlegm since catching a cold three weeks ago.

4. The color of the phlegm is transparent.

5. Two weeks ago, I visited a nearby hospital and was prescribed cold medicine, but it didn't improve my condition even after taking it.

6. Yesterday, I revisited my regular doctor, and they took a chest X-ray, but they couldn't find anything conclusive, so they referred me here for further tests.

7. For the past week, I've been feeling a slight shortness of breath even just climbing stairs at school.

8. At night, when lying down, the symptoms worsen, making it difficult to sleep, but sitting down provides some relief.

9. Six months ago, when I went mountain climbing, I had a similar experience. I felt short of breath and had a cough, but I thought it was due to exhaustion and didn't seek medical attention.

10. My bowel movements haven't changed, but I feel like my urine flow has decreased since catching the cold.

11. My feet are swollen, making it difficult to put on shoes.

12. Until the age of 40 , for 20 years, I smoked one cigarette a day.

13. I drink alcohol occasionally, only a small bottle on holidays.

14. My menstrual cycle has become irregular, and the flow has decreased.

15. I initially thought it was just a common cold, but since the cough hasn't improved and I feel slightly short of breath, I'm worried it might be something more serious, like pneumonia.

16. My father passed away from colon cancer, and my mother from uterine cancer. My brother died suddenly last year at the age of 52 from a heart attack.

プトには以下のように指示した.

"You'll act a role of patient. The patient's scenarios are described in detail. Note that the generated response should always begin with an utterance."


# 文法項目の多様性と誤り情報を利用したエッセイ自動採点

土肥康輔 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{doi.kosuke.de8, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では，エッセイ自動採点において文法特徵を考慮することの効果について検証した. エッセイの分散表現に加えて，学習者が正しく使えている文法項目の情報や，文法誤りの情報をモデルの入力に用いることで，モデル性能が向上した. また，文法特峌の利用に加えて, エッセイの総合スコアと文法スコアでマルチタスク学習を行うと，モデル性能がより大きく向上した. しかし，学習者が正しく使えている文法項目の情報と文法誤りの情報を組み合わせて用いても，それぞれを単独で用いたときと同等のモデル性能となり，両者を同時に用いることの相乗効果は見られなかった.

## 1 はじめに

エッセイ自動採点 (AES) は，学習者が書いたエッセイにスコアやレベル等の評価值を付与するタスクである. 外国語教育においては，近年のライティングやスピーキングといった産出能力の育成も重視する流れを受けて，エッセイ課題が用いられる場面も増えている.しかし，エッセイの採点には，大きな人的・時間的コストがかかる. 採点自体に時間がかかることに加えて, 複数の採点者間での評価の信頼性を保つためには，採点者の訓練が必要である.また，採点者が 1 名であっても，疲労などから同一のエッセイに異なる評価をする場合があることが報告されている。このような課題を背景に，自動採点研究が行われている.

エッセイ課題の採点方法は，エッセイに対して 1 つのスコアを付与する総合的評価と, 文法や内容等の複数の観点に対してそれぞれスコアを付与する分析的評価に大別される. ただし, 総合的評価においても，分析的評価で用いられる観点での出来栄えが基準となっていることが一般的である.

それらの観点の中で，土肥ら [1] は，CEFR の基準特性研究 [2] を参考に，総合スコアを推定する AES
モデルに文法特徴を明示的に利用する手法を提案した. 具体的には， BERT [3] により得られるエッセイの分散表現に，文法誤りの情報，または学習者が正しく使えている文法項目の情報を結合したものを全結合層への入力とし，エッセイの総合スコアを推定した. [1] では文法誤りの数をエッセイの分散表現を入力として推定していたが，その推定精度に課題があった. また，正しく使えている文法項目の情報は， モデル性能の向上につながらなかった.

そこで本研究では, 文法誤り訂正モデル [4] の訂正結果に基づく文法誤り数を特徴量として用いる. [1] で正しく使えている文法項目の情報の効果がなかった原因としては，(1)エッセイの分散表現（768 次元）に対して特徴量の次元数（最大で 25 次元）が小さかったこと，(2) 実験に使用したデータセットは複数のエッセイ課題に基づく答案が含まれており,使用される文法項目が学習者の習熟度よりも，エッセイ課題の影響を強く受けていたことが可能性として挙げられる. そこで本研究では, 256 次元の新たな特徴量を用い，Automated Student Assessment Prize $(A S A P)^{1}$ を実験に用いる. 特徴量とデータセットの詳細については，それぞれ 3 節，4.1 節で述べる。

## 2 関連研究

初期の AES モデルでは, 人手で作成された特徴量が用いられていた ([5, 6] を参照)。例えば e-rater [7] は，文法誤りや語彙の複雑さの指標を含む 12 種類の特徴量を用いている. [8] は様々な言語特徵の中で，文法の複雑さや誤りに関する指標に高い重みが割り振られていたことを報告している。 [9] は文法誤り検出タスクとのマルチタスク学習を行うことで，AES の性能が向上することを示した。

近年では，深層学習に基づく手法が主流となっている. RNN やBi-LSTMを用いたモデル $[10,11]$ や， BERT 等の事前学習済み言語モデルに基づくモデル $[12,13,14,15]$ が提案されている. また，深層学習

に基づくアプローチと人手で作成された特徵量を組み合わせたモデルも提案されている [16,17]. [18] は, BERT から得られるエッセイの分散表現に文法誤りの情報を組み合わせたモデルを提案した.しかし, 文法誤り情報の追加は, 話し言葉自動採点でモデル性能を向上させた一方で，AES では効果がなかった. [1] は文法誤り情報，および正しく使えている文法項目の情報を用いたが，後者はモデル性能の向上につながらなかった.

大規模言語モデルを活用した研究も行われており，[19] は GPT-3 で言語特徴量を用いることで，採点精度が向上することを示した。 [20] は，GPT-4 に少数の採点例を与えることで，85 の言語特徵に基づき数十万のデータで学習したモデルと同等の性能を得られることを報告している。

本研究は, 深層学習と人手で作成した特徴量を組み合わせるアプローチにおいて，[1,18]で用いられていた文法特徴量を改良し, AES で文法特徴を明示的に考慮することの効果を検証するものである。

## 3 文法特徵量

## 3.1 CEFR と基準特性

CEFR [21] は言語能力を評価する国際指標で，習熟度を $\mathrm{A} 1$ (初級)～C2 (上級)の 6 段階に区分する. どのような文法や語彙が CEFR のレベルごとに使えるようになっていくかは言語ごとに研究されており，英語では English Profile Programmeによりそのような項目（基準特性）が明らかになっている [2].基準特性は CEFR の各レベルで特徴的な言語項目群であり, あるレベル以上の学習者が正しく使うことができる positive linguistic features (PF) と，あるレべルの学習者が間違えやすい negative linguistic features (NF) がある. 人間の採点者は，これらの項目を探しながら学習者のパフォーマンスを評価していると言われており [2]，AES モデルにおいて文法特徴を明示的に利用することで，モデル性能を向上させることが期待できる. 以下の節で, 実験に用いる PF と $\mathrm{NF}$ について具体的に説明する.

## 3.2 Positive Linguistic Features

PF の抽出には, CEFR-J Grammar Profile 文法項目頻度分析プログラム $[22,23]$ を用いる. 同プログラムは，501 種類の文法項目のテキスト中での頻度を，正規表現に基づいて算出できる. [1] では, エッセ表 1 使用する文法特徴量

誤り数は 100 語あたりの相対頻度.

イ中で使われない文法項目が多いことによりべクトルがスパースになることを防ぐため，最大で 25 次元に集計した特徴量を用いたが，モデル性能の向上にはつながらなかった. 原因として，エッセイの分散表現に対して特徴量の次元数が小さかった可能性があるため, 本研究では「CEFR-J Grammar Profile 教員版」に基づき集計した 256 次元のベクトルを特徴量として用いる (表 1 上段). 各次元は文法項目に対応しており，エッセイ中で使われていれば 1 ，使われていなければ 0 となる.

## 3.3 Negative Linguistic Features

NFには，100 語あたりの文法誤り数を用いる. 具体的には, ERRANT [24]によって付与される誤りタグに基づき, 24 次元 (err24),および 54 次元 (err54) の特徴量を作成する (表 1 下段). エッセイ中の文法誤りの訂正には GECToR-large [4]を用いる.

## 4 実験

実験では， $[1,18]$ と同様に，BERT に基づくAES モデルにおいて，文法特徴を用いることの効果について検証する。

## 4.1 データセット

実験には ASAP と ASAP++ [25]を用いる. ASAP には 8 つのエッセイ課題に関する答案が含まれており, 課題 1 6 には総合スコア, 課題 7 8 8は観点別スコアが付与されている. 課題 7 8 8では観点別スコアの合計が総合スコアとなる. データの概要を表 2 に示す. ASAP++は ASAP の課題 1６日答案に対して観点別スコアを付与したデータセットである.

本研究では各エッセイ課題の総合スコアを予測するモデルを構築した．観点別スコアからは，文法に関連するスコア2)のみをマルチタスク学習の補助タスク（4.2節参照）において用いた。

モデルの性能評価は，先行研究に従い 5 分割交差検証を用いて行った. [10] の分割に基づき， $60 \%$ ，

2) 課題 1〜2，7〜8 は Conventions, 課題 3〜6 は Language.

$20 \% ， 20 \%$ をそれぞれ学習，開発，テストデータとした. 評価は課題ごとに独立して行い, 評価值には 2 次の重み付きカッパ係数 (QWK) を用いた.

## 4.2 採点モデル

提案モデルは，エッセイの分散表現と文法特徴量を大力とし，エッセイの総合スコアを予測する。 ベースラインとしては，エッセイの分散表現のみを入力とするモデルを準備した. エッセイの分散表現には BERT の CLS トークンを用いた. 文法特徴量は，図 1 に示す 4 種類の設定でモデルの学習に利用した. cat はエッセイの分散表現と文法特徴のべクトルを結合したものを順伝播型ニューラルネットワーク (FFNN)への入力とした. net は文法特徴を FFNN に通した後でエッセイの分散表現と結合した. multi は netに加えて, 総合スコアと文法スコアでマルチタスク学習を行った. multiの FFNNにはタスク固有層を設けず，共通層のみから成る構造とした ${ }^{4)}$. dual は文法特徴のネットワークから文法スコアを推定する構造とした。

エッセイのスコアは -1 から 1 の範囲に正規化した. BERT は HuggingFace 社が公開している bert-base-uncased を用い，学習データの最大入力長は 512 トークンとした。損失関数は平均二乗誤差を用い，FFNN と BERT 層の両方のパラメータを更新した. 文法特徵のネットワークの隠れ層の数は 3，隠れ層のノード数は文法特徴の次元数の 2 分の 1 とした. FFNN の隠れ層の数は, cat では $\{1,2,3,4$, $5,7,10\}$, net では $\{1,2,3\}$, multi と dual では $\{2$, 3\}を探索し, 課題 1 の開発セットで QWK が最も高くなったものを選択した. FFNN の隠れ層のノード数は 512 とした. multiと dual での主タスクの損失

3）課題 2 は Domain 1 （内容や構成など）と Domain 2 （文法など）の２種類のスコアが付与されている. ドメインごとにモデルを学習してそれぞれ評価し, その平均值が課題 2 の評価値となる。

4） タスク固有層を持つ構造も試したが，共通層のみのときよりも QWKが低くなった.

図 1 採点モデルでの文法特徴量の利用方法

関数の重みは $\{0.8,0.6\}$ を試した. 文法特徴のネットワークと FFNN における活性化関数には reluを用いた. 最適化アルゴリズムは Adam, 学習率 1e-5, dropout $=0.2$ とし, バッチサイズ $\{4,8,16,32\}$ で 10 エポック学習を行った. 4.3 節では, 各エッセイ課題において開発セットでの QWK が最も高くなったバッチサイズでの結果を報告する.

## 4.3 実験結果

## 4.3.1 モデル構造の探索結果

文法特徴量に type256を用い, 各モデル構造で最適なハイパーパラメータの探索を行った. 表 3 は FFNN の隠れ層の数を変化させたときの，課題 1 の開発セットでの QWK の結果である. cat で隠れ層の数を 1 としたときの QWK (.792) は， ベースライン (.813) の値を下回っていた. QWK は隠れ層の数を 2 としたときに最も高くなったが，隠れ層の数を増やしていくと徐々に低下していった. net では FFNN の隠れ層の数を 2 としたときに QWK が最も高くなった. multi と dual では，ともに主タスクの重みを 0.8 , FFNN の隠れ層の数を 3 としたときに QWK が最も高くなった，以降の実験では，これらのハイパーパラメータを用いて学習を行った。

## 4.3.2 各エッセイ課題での評価結果

PF の効果各モデル構造で文法特徴量として type256を用いたときの，テストセットにおけるエッセイ課題別の QWK スコアを表 4 に示す. type256を用いることで，全エッセイ課題の平均 QWK スコアが，全てのモデル構造においてべース
表 3 FFNN の隠れ層の数による比較 (課題 $1, \mathrm{QWK}$ dev) \# of hidden layers

表 4 モデル構造による比較 (type256, 課題別, QWK test)

ラインよりも向上した (表 4 の avg.). エッセイ課題ごとのスコアを見ても, 課題 8 の cat, net, multi を除く全てで QWK スコアが向上していることから, 本研究で用いた $\mathrm{PF}$ はモデル性能の向上に効果があると考えられる.

また, [1] で用いられていた 9 次元の特徴量を ASAP データセットにおいて用いたとき，モデル性能が向上する場合があった（例：文法項目の延べ使用数を CEFR-J レベルごとに集計した特徴量，モデル構造 $=$ dual, 課題 $1=.827$, 課題 $8=.755$ ). [1] で PF を用いてもモデル性能が向上しなかった原因として, 本研究では (1) 特徵量の次元数が小さかったこと，(2) 実験に使用したデータセットに複数のエッセイ課題に基づく答案が含まれていたことの 2 つを仮説として設定していたが，上記の結果は (2)を支持するものである. すなわち, エッセイ課題が同一であれば，エッセイのスコア帯によって用いられている文法項目が異なっていることが示唆される. type256を用いたとき，モデル構造の中では dual が最も高いQWK スコアを達成した（表 4). そのため，以降の実験では dual を用い，NF 単独，および $\mathrm{PF}$ とFを組み合わせたときの効果について検証を行った.

NF の効果表 5 は，dual の設定で異なる文法特徴を用いたときの，テストセットにおけるエッセイ課題別の QWK スコアを示している. NFを単独で用いたとき，全エッセイ課題の平均 QWK スコアはベースラインよりも向上した (err24 = .774, err54表 5 文法特徴量による比較 (dual，課題別，QWK test)

Wang+ $2022[15] \quad .834 \quad .716 .714 \quad .812 .813$.836 .839 .766 .791

=.777).また，エッセイ課題ごとのスコアを見ても，全ての課題で QWK スコアがベースラインよりも向上している。より詳細な誤り情報を持つ特徵量 （err54）のほうが高いスコアを達成していることは， [1]での結果の傾向と一致している.

PF + NFの効果 PF と NFを組み合わせたときも，全エッセイ課題の平均 QWK スコアはベースラインよりも向上した (type256 + err24 =.775, type256 + err54 = .778).しかし，そのスコアはPF または $\mathrm{NF}$ を単独で用いたときと同程度となっており, $\mathrm{PF}$ と NF を両方用いることによる相乗効果は見られなかった. 加えて, 先行研究のモデル $[13,14,15]$ に対しては, 全エッセイ課題の平均 QWK スコアで.01 .015 程度のビハインドがある. 本研究では, PF と $\mathrm{NF}$ のベクトルを結合したものを文法特徴のネットワークの入力として全結合層に渡していたが，それぞれを別のネットワークに渡すなど，より効果的な $\mathrm{PF}$ とF の組み合わせ方を検討することで $\mathrm{QWK}$ スコアを向上させることが今後の課題である. また，異なる文法特徴量で学習したモデルをアンサンブルすることも考えられる。

## 5 おわりに

本研究では，AES で文法特徴を考慮することの効果について検証し，PF と NF は共にモデル性能の向上に寄与することを示した. また，同一のエッセイ課題であれば，エッセイのスコア帯によって異なる文法項目が使われている可能性が示唆された。しかしながら，PF と NFを組み合わせたときの相乗効果は見られなかったため，より効果的な組み合わせ方を検討することが今後の課題である．また，文法誤りや使われている文法項目とスコアとの関係性や,提案モデルで文法特徴量に割り振られている重みを分析することで，学習者へより具体的なフィードバックを行う方法についても検討したい.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054，JST 科

学技術イノベーション創出に向けた大学フェロー

シップ創設事業 JPMJFS2137 の助成を受けたものである.

## 参考文献

[1] 土肥康輔, 須藤克仁, 中村哲. エッセイ自動採点における文法特徴と学習者レベルの関係. 言語処理学会第 29 回年次大会発表論文集, pp. 211-216, 2023.

[2] John A Hawkins and Luna Filipović. Criterial Features in L2 English: Specifying the Reference Levels of the Common European Framework. Cambridge University Press, 2012.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Maksym Tarnavskyi, Artem Chernodub, and Kostiantyn Omelianchuk. Ensembling and knowledge distilling of large sequence taggers for grammatical error correction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3842-3852, 2022.

[5] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[7] Jill Burstein, Martin Chodorow, and Claudia Leacock. Automated essay evaluation: The criterion online writing service. Al Magazine, Vol. 25, No. 3, pp. 27-36, 2004.

[8] Sowmya Vajjala. Automated assessment of Non-Native learner essays: Investigating the role of linguistic features. International Journal of Artificial Intelligence in Education, Vol. 28, No. 1, pp. 79-105, 2018.

[9] Ronan Cummins and Marek Rei. Neural multi-task learning in automated assessment. arXiv, Vol. arXiv: 1801.06830, , 2018.

[10] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[11] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 715-725, 2016.

[12] Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated essay scoring with discourse-aware neural models. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.

[13] Ruosong Yang, Jiannong Cao, Zhiyuan Wen, Youzheng Wu, and Xiaodong He. Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1560-1569, 2020.

[14] Yue Cao, Hanqi Jin, Xiaojun Wan, and Zhiwei Yu. DomainAdaptive neural automated essay scoring. In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1011-1020, 2020.
[15] Yongjie Wang, Chuang Wang, Ruobing Li, and Hui Lin. On the use of bert for automated essay scoring: Joint learning of multi-scale essay representation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3416-3425, 2022.

[16] Tirthankar Dasgupta, Abir Naskar, Lipika Dey, and Rupsa Saha. Augmenting textual qualitative features in deep convolution recurrent neural network for automatic essay scoring. In Proceedings of the 5th Workshop on Natural Language Processing Techniques for Educational Applications, pp. 93-102, 2018.

[17] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[18] Stefano Bannò and Marco Matassoni. Cross-corpora experiments of automatic proficiency assessment and error detection for spoken English. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), pp. 82-91, 2022.

[19] Mizumoto Atsushi and Eguchi Masaki. Exploring the potential of using an ai language model for automated essay scoring. Research Methods in Applied Linguistics, Vol. 2, No. 2, p. 100050, 2023.

[20] Kevin P. Yancey, Geoffrey Laflair, Anthony Verardi, and Jill Burstein. Rating short L2 essays on the CEFR scale with GPT-4. In Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023), pp. 576-584, 2023.

[21] Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press, 2001.

[22] 投野由紀夫 (編). 平成 24 年度平成 27 年度科学研究費補助金 (基盤研究 (A)) 研究課題番号 24242017 研究成果報告書学習者コーパスによる英語 CEFR レベル基準特性の特定と活用に関する総合的研究. 2016.

[23] 石井康毅. CEFR-J Grammar Profile 文法項目頻度分析プログラム. http://www.cefr-j.org/download.html (2022 年 10 月 20 日ダウンロード), 2020.

[24] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, 2017

[25] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), 2018.


# プログラミング課題文からの重要箇所抽出

門井仁弥 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m006@mail.ryukoku.ac.jp ${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp ${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では BERT を用いてプログラミング課題文からの重要箇所の抽出を行った. 具体的には，コー ド作成に必要な『入力』『出力』『条件』『繰り返し』 が書かれた箇所を重要箇所とし，それらの抽出（ラベリング）を行う．複数の文が連なった課題文を対象とし，全体から重要箇所を直接ラベリングする方法と, 段階的にラベリングする方法を提案する. 後者は，第一段階で課題文を 1 文ずつ分類をし，第二段階でその分類情報を利用して系列ラベリングする方法である．直接ラベリングでは，出現頻度が低いラベルに対する精度（ $\mathrm{F}(0.5)$ ) が低いことがわかった. 次に，段階的ラベリングを行ったところ，直接ラベリングよりも全てのラベルで $\mathrm{F}(0.5)$ の改善が得られた. 特に, 出現頻度が低いラベルに対して大きな改善が得られることがわかった.

## 1 はじめに

第 4 次産業革命と言われる IT 技術の進歩により,社会のデジタル化が進んでいる. 情報技術の理解を深める観点から情報教育が推進されており，2020 年から小学校教育において，プログラミング教育が導入され，昨今，プログラミングはより身近な技能へとなってきている [1][2]. プログラミング教育の目的は, 問題解決能力の育成であり，プログラミングを学ぶことで，論理的思考力や批判的思考力が鍛えられ，問題に対して，効果的な解決策を導き出す能力が向上することが期待されている．そのため，研究においても，プログラミング教育やそれを支援する研究が盛んになっている [3][4][5]. これらの研究の詳細は 2 節で述べる.

しかし，プログラミングのコードを作成する際，文章内から必要な情報を見つけ出し，手続きを組み立てて習得することが重要であるにも関わらず，このような研究は十分になされているとは言えない. そこで，われわれはコードを作成する際の必要な情報を見つけ出す支援に関する研究を行った.

## 2 課題と関連研究

## 2.1 プログラム支援の関連研究とその課題

人が課題文からソースコードを作成するには，図1のようなプロセスを踏んでいると考える [3].

この考えから，プログラムのコードからプログラ厶手続きを生成する研究 [4] や，問題文からプログラム手続きを生成する研究もある [5]. しかし，これらの研究では，問題文内のどの語句が，必要な情報なのかが明確に提示されていない.

そこで本研究では，与えらえたプログラミング課題文に対して，プログラムコードを作成するのに必要な情報の可視化に取り組む．可視化ができれば，学習者が重要な情報を容易に見つけ出すことができるためである．可視化するためには，文中のどの箇所が必要な情報かを見つける必要がある。 すなわち，コード作成にとって重要な情報を文中から抽出する必要がある.

## 2.2 情報抽出の関連研究

文から情報を抽出する研究は多くあり，障害レポートから情報抽出をおこなっている研究では， LSTM を用いて系列ラベリングとして解く手法 [6] や，BERT や T5 の質疑応答を応用して解く手法があ

図 1 課題文からコードを記述する概要

図 2 課題文の重要箇所の例

る [7]. 他では，論文や判決書から情報抽出の研究がある [8][9]. しかし，プログラミング課題文から重要情報を抽出する研究は十分になされているとは言えない。

## 3 重要箇所の抽出

## 3.1 重要ラベルの定義

課題文中にある手続きを記述する際に，その根拠となる情報を重要情報と捉えて，重要情報がある文中の箇所を重要箇所とした。つまり，この重要箇所が可視化したい箇所であり，情報抽出したい箇所でもある. 重要情報のラベルは, 『入力』『出力』『条件』『繰り返し』の 4 つに設定した.

例えば，図 2 のような課題文があった場合，文中の「Nが 3 の倍数かつ～場合」は，ラベル『条件』の重要箇所であり，「YES」がラベル『出力』の重要箇所となる。

## 3.2 直接ラベリング

重要箇所の抽出には，BERT の系列ラベリングを用いた。課題文を単語系列として扱い，各単語に，設定した重要情報のラベルを付与する系列ラベリング問題として表現した。

図 3 のような例だと，対応する単語に『条件』と 『出力』の付与されている

Nが 3 の倍数かつ 5 の倍数の場合はYESを、

そうではない場合はNOを出力してください

図 3 直接ラベリング

## BERTマルチクラス分䄇

[入力, 出力, 条件, 繰り返し] $=[0,1,1,0]$

図 4 段階的ラベリング（上: 一段階目，下:二段階目）

## 3.3 段階的ラベリング

直接ラベリングでは全てのラベルを同時に扱うため，出現頻度の低いラベルに対するラベリング精度が低いことが懸念される．そこで，まず課題文の文ごとに各ラベルが存在するかを分類し，次に存在するラベル専用の系列ラベリングモデルで箇所を特定するという段階的ラベリングを提案する。概要を図 4 に示す。それぞれの段階について，詳細に説明する。

## 3.3.1 一段階目のマルチクラス分類

概要は図 4 の上段に示されている. 課題文に対して文ごとにどの重要情報（ラベル）が含まれているかを BERT のマルチクラス分類とする．各文に対してそれぞれの重要情報のラベルが存在するか真または偽（1または 0）を同時に予測する．図 4 上段の例では，与えられた文に対し，『出力』と『条件』があると予測している.

## 3.3.2 二段階目の系列ラベリング

概要は図 4 の下段に示されている. 二段階目は直接ラベリングと同様に BERT を用いた系列ラベリング問題とする．直接ラベリングと異なる点は，ラベルごとに, 本研究では合計 4 つの BERT を用意する点である。各 BERT はそれぞれのラベルのみを系列ラベリングできるよう学習する。

ここでは，与えられた文に対して，一段階目で存在すると予測されたラベルのみを，各ラベル専用の BERT で系列ラベリングして求める. 図 4 の下段では，前段で存在すると判定された『出力』と『条件』 のそれぞれの重要箇所抽出する BERTを 2 つ用いる. それぞれの BERT の出力は，各単語が該当する重要箇所かを示す真か偽（1 か 0）の値である.

## 4 実験

## 4.1 コーパス

## 4.1.1 取得したプログラミング課題文

本研究ではオンラインプラットフォームである AtCoder と Paiza ラーニングの 2 つから提供されているプログラミング課題文を取得した. AtCoder ${ }^{11}$ は,主に日本のプログラマ向けに設計されたオンライン競技プログラミングプラットフォームである．参加者は，様々なコーディングの問題を解くことができる. Paiza ラーニング2 は，プログラミングスキルの学習と向上を目的としたオンライン学習サービスの一つである. 日本のユーザーを対象に，初心者から経験者までさまざまなレべルの人が利用してる.

これらの取得した課題文に対してアノテーション （重要箇所へのラベル付与）を行い，コーパスを作成した。

## 4.1.2 重要箇所へのラベル付与と前処理

取得した課題文に対して, 本研究で定義した重要箇所を表すラベルを人手で付与した.

また，インデントに使われている全角スペースを

表 2 テストデータの詳細

1) https://atcoder.jp/?lang=ja

2) https://paiza.jp/works

(学習フェーズ)

(推論フェーズ)

図 5 段階的ラベリングの学習 (上) と推論 (下) の概要

全て削除し，文分割をおこなった。このようにして，コーパスを作成した.

## 4.1.3 コーパスの詳細

本研究で作成したコーパスは, 全 2,172 件の課題文からなる．課題文を 1 文に文分割しており，文の総数は 12,471 文である.コーパスの詳細を表 1 に示す.

2,172 件の課題文コーパスを学習データ 2,000 件とテストデータ 172 件に分割した. テストデータの詳細を表 2 に示す. 1 文中に付与した箇所が複数ある場合があるため，付与した箇所は多くなっている. また 1 文中に設定した 4 つのラベルがない場合もある.このテストデータを用いて，評価をおこなう。

## 4.2 実験設定

学習方法において，直接ラベリングの場合は，モデルは 1 つで，入力は文全体である. 段階的ラベリングでは，図 5 上段のように，一段階目と二段階目のモデルは独立で学習をおこない，二段階目の各モデルの訓練データには，必ず文中に該当する単語があるものを使用している.

実験には，BERTの事前学習済みモデルを用い，それぞれの本抽出タスクに対して fine-tuning した上で
表 3 直接ラベリングの評価

表 4 段階的ラベリングの評価

実施する．BERT のモデルとして, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル (cl-tohoku/bert-base-japanese-whole-word-masking) [10] を使用した。

テストデータを除いたデータを 10 分割し，その内の 1 つを検証データとして，残り9つを訓練デー タとして交差検証をおこなうことでハイパーパラメータを設定した。

ハイパーパラメータについては，マルチクラス分類の BERT において optimizer は AdamW，学習率 1e - 5, バッチサイズ 4, エポック数は 6 , ドロップアウト 0.1 に設定し学習した. また，系列ラベリングの BERT において optimizer は AdamW，学習率 1e 5 ，バッチサイズ 8 , エポック数は 3 , ドロップアウト 0.2 に設定し学習した.

## 4.3 評価方法

評価指標として適合率 (Precision), 再現率 (Recall), $\mathrm{F}$ 値を用いる．F 值は，式 (1)で与えられる。

$
F(\beta)=\frac{\left(\beta^{2}+1.0\right) \times \text { Precision } \times \text { Recall }}{\beta^{2} \times \text { Precision }+ \text { Recall }}
$

本研究では，最終的にモデルから提示される重要箇所が，どれだけ正確に予測できているか (適合率が高い)を重視するため，F(0.5) で評価している.

ハイパーパラメータの選定の際にも，この $\mathrm{F}(0.5)$ が高いもので決定している。また，段階的ラベリングの二段階目のモデルの評価については，図 5 の下段のように一段階目で分類されたラベルからモデルからを選定し，重要箇所を抽出する手法になってい表 5 段階的ラベリングにおける第一段階（マルチクラス分類）の評価

るため，最終的に二段階目で出力された結果から評価している。

## 5 実験結果

直接ラベリングによる重要箇所抽出の結果を表 3 に，段階的ラベリングによる重要箇所抽出結果を表 4 に示す. ALLはマイクロ平均を表す.『入力』『出力』については $\mathrm{F}(0.5)$ の值が直接ラベリングでそれぞれ $0.792,0.811$, 段階的ラベリングで 0.841 , 0.861 と高い結果が得られている.『条件』『繰り返し』といった出現頻度が低いラベルに対しては,直接ラベリングでそれぞれ $0.338,0.391$ と精度が低かったのに対し，段階的ラベリングでは，それぞれ $0.729,0.848$ と, 『入力』『出力』と同程度に高精度な抽出ができるようになったことがわかる．ほぼ全てにおいて，直接ラベリングよりも段階的ラベリングのほうが精度が高く，特に $\mathrm{F}(0.5)$ については全て高かった. 段階的ラベリングにより，プログラミング課題文中の重要箇所の抽出が高精度にできることを示した。

最後に，段階的ラベリングの一段階目の各文に対するラベルが存在するかの検出結果（マルチクラス分類結果）を表 5 に示す。一段階目で『条件』『繰り返し』の抽出精度は『入力』『出力』よりも低いことがわかった. 今後はこれらを向上させることで二段階目の性能向上を目指す予定である。

## 6 おわりに

本研究では，BERT でプログラミング課題文から重要箇所を抽出する手法を提案した. 直接ラベリングと段階的ラベリングを提案し，段階的ラベリングが優れることを確認した. 特に，出現頻度が低いラベルに対して大きな改善が得られることがわかった. 今後は，段階的ラベリングの第一段階の文分類において，前後文の文脈情報を取り入れるなど改善を行いさらなる性能向上を図りたい。

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたも

のです.

## 参考文献

[1] 文部科学省. 教育の情報化の推進, 2018.Accessed December.22,2023. https://www.mext.go.jp/a_menu/ shotou/zyouhou/index.htm.

[2] 文部科学省. プログラミング教育, 2018.Accessed December.22,2023. https://www.mext.go.jp/a_menu/ shotou/zyouhou/detail/1375607.htm.

[3] Junko Shinkai, Yoshikazu Hayase, and Isao Miyaji. A trial of algorithm education emphasizing manual procedures. In Society for Information Technology \& Teacher Education International Conference, pp. 113-118. Association for the Advancement of Computing in Education (AACE), 2016.

[4] Hiromitsu Shiina, Sakuei Onishi, Akiyoshi Takahashi, and Nobuyuki Kobayashi. Automatic comment generation for source code using external information by neural networks for computational thinking. International Journal of Smart Computing and Artificial Intelligence, Vol. 4, No. 2, pp. 39-61, 2020.

[5] 大西朔永, 椎名広光. Seq2seq の組み合わせによる問題文からの段階的プログラムコメント生成. 言語処理学会第 27 回年次大会, pp. 1857-1861, 2021.

[6] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対する同時関連文章圧縮. 言語処理学会第 23 回年次大会, p. 189-193, 2017.

[7] 山下郁海, 岡照晃, 小町守, 真鍋章, 谷本恒野. 日本語 T5 モデルを用いた障害レポートからの重要箇所抽出. 言語処理学会第 28 回年次大会, p. 986-991, 2022.

[8] 村田真樹, Stijn De Saeger, 橋本力, 風間淳一, 山田一郎, 黒田航, 馬青, 相澤彰子, 鳥澤健太郎. 論文データからの重要情報の抽出と可視化. 人工知能学会全国大会論文集, Vol. JSAI2009, pp. 3F2NFC39-3F2NFC39, 2009.

[9] 阪野慎司, 松原茂樹, 吉川正俊. 機械学習に基づく判決文の重要箇所特定. 言語処理学会第 12 回年次大会発表論文集, pp. 1075-1078, 2006.

[10] 東北大学乾・鈴木研究室 BERT モデル. cltohoku/bert-base-japanese-v2. https://huggingface. $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.


# オンライン動画サービスにおける BERT 及び GPT-3.5 を用いた視聴者感情の推定

菅野祐希 1 坂野遼平 1
1 工学院大学大学院 工学研究科情報学専攻
em23019@ns.kogakuin.ac.jp banno@cc.kogakuin.ac.jp

## 概要

近年のインターネットやスマートフォンの普及により，動画共有サービスに多くの人がアクセスするようになった. それにより動画共有サービスはビジネスやマーケティングの場としても活用されるようになった．視聴者が動画を閲覧することでどのような感情を得るかという情報は，視聴者とマーケターの両方において有益となる. 本研究では過去に行った動画のコメントから視聴者の感情を推定する手法の拡張として，BERT と GPT-3.5-turbo を利用した動画視聴者の感情推定を行った. 結果として，単純な感情であれば BERT が向いており, 複数の感情が混在したり推定の難易度が高い感情においては GPT-3.5-turbo が優勢となった.

## 1 はじめに

近年，スマートフォン等の普及が急速に進み，世帯保有率は $90.1 \%$ (2022 年時点) と高い数値を示している [1].また，同時にインターネットの普及も進んでおり，スマートフォンからの個人による利用率が $71.2 \%$ となっている [1]. これらの要因から，インターネットはメジャーな情報媒体となっており，インターネット利用者率がテレビ利用者率を 5 年以上連続で上回る結果となっている。このことから，インターネットは幅広い世代に浸透していることが分かる. 中でも YouTube ${ }^{1)}$ のアクティブユーザ数は 2022 年 1 月時点で全世界で 25 億 6200 万人となっている [1]. 日本国内でもユーザ数が 7000 万人を突破し，日本でも非常に人気の動画共有サービスである [2]. YouTube 上には 2016 年の時点で 20 億本の動画が存在しているという調査結果が存在している [3]. 3500 億円の経済効果や 10 万人相当の雇用を生み出したという調査結果も存在する [4].

1) https://www.youtube.com近年では動画共有サービスはビジネスやマーケティングに利用されることも多く，YouTube では広告や有名な YouTuber に対する案件としてマーケティングが行われている [5].

動画が人の感情に与える影響は大きい．動画が感情を動かすのに適したメディアであることは Gross ら [6] によって実証されている. YouTube 上に「笑える動画」「泣ける動画」等のコンテンツも存在していることからも，YouTube 上の動画が感情を動かすためのツールとして利用されている事が分かる.

我々は動画から得られる感情についての研究を行ってきた [7][8]. 動画から得られる感情を取得することにより，関連動画の精度の改善等のユーザビリティの向上に用いることが出来る. しかし，動画のサムネイルやタイトルから感情を得ることは難しい. 多くのユーザからの感想や意見から一般性の高い印象を取得し，利用することが出来れば客観的な印象を取得できると考え，動画のコメントを利用する. 本稿ではその研究の差分として，BERTによるより良い推定の手法の検討と，大規模言語モデルである GPT-3.5を利用した推定について提案する.

## 2 関連研究

堺らの研究 [9] では, YouTube 上の炎上動画を判別する手段として動画のコメントを利用することを提案している。ニコニコ動画 ${ }^{2}$ での炎上動画の自動検出の技術を YouTube を対象とする形で応用したものとなっている．炎上している動画にはネガティブな言動が多く含まれているという点に着目した考え方である．動画に付加されているコメントを，感情辞書を用いて-1 から +1 までの範囲で感情数値を付与する. そして，その数値からコメント全体のポジティブ・ネガティブの値を判別している. また， Word2Vec に代表される単語の分散表現を取得する

手法を利用することも提案している.

中澤らの研究 [10] では，BERTによる感情推定の手法とその有効性について精度を確かめている。 Wikipediaを利用して学習を行った BERT モデルを利用している。読売新聞のニュースを短文に分けたものを Google Forms で 7 段階の尺度でポジティブ・ ネガティブを評価させ，500 個の正解ラベル付きの教師データを取得している. これらを用いてファインチューニングを行った BERT のモデルを利用して感情の値を判定している．比較として，構文解析を用いた感情値判定と形態素解析による動詞および修飾部の極性値による感情極性推定を行っている.

以上の研究ではポジティブ・ネガティブの評価がメジャーであり，複数の感情の詳細な推定は行っていない. 本研究では, 複数の感情についてのマルチラベル分類による推定を行っている.

## 3 提案手法

本提案手法では, 感情を日本語感情表現辞書 (JIWC-Dictionary) [11] に基づき，「悲しい」「不安」「怒り」「嫌悪感」「信頼感」「驚き」「楽しい」の7つに分類する. 感情値は 7 次元のベクトルとして算出する。提案手法の全体図を図 1 に示す.

## 3.1 学習用データの収集

本研究では，クラウドソーシングを利用したデー タの収集を行っている. 150 人を対象に，7つの感情を想起させる動画 ID を感情ごとに 1 つずつ収集した. 1 人につき 7 本の動画 IDを収集し，合計で 1050 本分の動画 ID を収集し，利用した. その後, Google 社の提供する YouTube Data API v3 ${ }^{3}$ を利用し，動画からコメントデータを取得している。

BERT にコメントを入力する際，入力可能なトー クン数に上限が存在する. そのため，コメントデー 夕取得の際，関連度順で上位 100 件のコメントを取得するように設定を行っている. 取得したコメントデータは前処理を行い，BERTに入力できる形式に整える。

## 3.2 BERT による推定

本研究では, 事前学習済み BERT モデルとして,東北大学乾研究室の提供している事前学習済みモデル [12]を利用している. 感情名のリストを作成し， フォルダ名及びテキストファイル名に感情名を付加

3) https://developers.google.com/youtube/v3
する．各感情の傾向をファインチューニングするために，各感情名の付加されたテキストファイルからファインチューニングを行うように設定している.

ファインチューニングを行った BERT に推定を行いたい動画のコメントを入力する. 各感情を想起させる動画のコメントと入力したコメントがどれだけ近いかを出力する。

## 3.3 GPT-3.5-turbo による推定

BERT と比較を行う対象として，大規模言語モデルである GPT-3.5-turbo[13] を使用する. OpenAI の APIを利用し，GPT-3.5-turbo を用いて推定を行いたい動画のコメントを直接入力する．動画のコメントは 1 文ずつ入力し，プロンプトを用いて各感情ごとに 0 から 4 の 5 段階で評価を行わせる。コメント内に含まれると予測される感情が強いほど数值が大きくなる. 1 動画につき 100 コメントを入力し，全てのコメントに付加された感情の値の平均を感情値とする. 大力には以下のプロンプトを用いる.

ソースコード 1 感情推定プロンプト

1 \{"role": "system", "content": "あなたには入力した動画のコメントから,動画が視聴者に与える感情の推定を行っていただきます。"\},

$2\{$ "role": "system", "content": "条件として,感情は必ず次に示す 7つの選択肢から選択してください。"\},

3 \{"role": "system", "content": "[悲しい],[不安],[怒り], [嫌悪], [信頼], [驚き], [嬉しい]"\},

4 \{"role": "system", "content": "感情の強さに応じて， $0,1,2,3,4$ 5 段階で評価してください."\},

5 \{"role": "system", "content": "感情が強く含まれる場合は大きい数字, 感情が含まれない場合は小さい数字で評価してください."\},

6 \{"role": "user", "content": "今日は新発売のケーキを買った.最高の一日だ。"\}，

7 \{"role": "assistant", "content": "[悲しい:0][不安:0][怒り:0][嫌悪:0][信頼:0][驚き:1][嬉しい:4]"\},

8 \{"role": "user", "content": "愛猫が亡くなってしまった.泣きながら一日眠ってしまった."\},

$9\{$ "role": "assistant", "content": "[悲しい:4][不安:2][怒り:1][嫌悪:0][信頼:0][驚き:0][嬉しい:0]"\},

10 \{"role": "user", "content": text \}

図 1 提案手法概要図

最後の text には推定用のコメントを 1 文ずつ入力する。

## 4 評価手法

## 4.1 評価用データ

評価に用いる動画として，以下の 3 本の動画を選定した. 3 つの動画は異なる感情を与えると予想したものを選定した。

感情推定の精度を検証する際に，以下の 3 つの動画についてクラウドソーシングを利用し 100 名にアンケートを行った. 各動画を視聴した際に各感情がどの程度想起されたかを 0 から 4 の 5 段階評価で評価を行わせ，アンケートの結果を平均したものを感情値とした。
- 動画 1:【衝撃】火山にゴミを捨てて処理する場合に起こること (VIENCE バイエンス) $)^{4)}$
- 動画 2: back number - 手紙 (full) $)^{5}$
- 動画 3: 貫禄ありすぎて、父親と間違われる引きこもり生徒【ジェラードン】6)

## 4.2 BERT による推定の評価

事前学習済み BERT にファインチューニングを行い, 分類器として使用した. ファインチューニングごとにわずかに分類性能が変化するため，ファインチューニングを行い動画のコメントを入力し，最終的な感情の値を算出する手順を 10 セット行った.最終的にそれらの平均を BERTによる感情推定の値として扱う。

4) https://youtu.be/uJBHO2NXvxQ

5) https://youtu.be/woRV5VxJDkU

6) https://youtu.be/OtJvFyqqeo0本研究では，ファインチューニングのパラメータを変化させてそれらの精度の変化を比較した。トー クン数とファインチューニングに用いるテキストファイルの個数を変化させている．トークン数は 256 トークンと 512 トークン，テキストファイルの個数は各感情 50 本（合計 350 本）と各感情 150 本 （合計 1050 本）で変化させている. 以下では「(トー クン数）-（1 感情ごとのテキストファイル数)」と表記する． 256 トークンで， 1 感情ごとに 50 ファイルを学習させている場合は「256-50」と表記する。

## 4.3 GPT-3.5-turbo による推定の評価

評価用動画のコメントを 100 文取得し， 1 列 100 行の CSV ファイルとして出力する. 提案手法に示したプロンプトに 1 文ずつ入力し, 出力された感情値を平均したものを GPTによる感情推定の値として扱う。

## 4.4 類似度の比較

出力された感情べクトルは形式が統一されていないため，以下の数式を利用して単位べクトル化を行

情ベクトルの特定の成分を示している.

$
\begin{aligned}
\text { 単位ベクトル成分 } & =\frac{E \vec{m} o_{n}}{|\overrightarrow{E m} o|}(n=1,2,3, \ldots, 7) \\
|\overrightarrow{E m} o| & =\sqrt{\sum_{n=1}^{7} E \vec{m} o_{n}{ }^{2}}
\end{aligned}
$

求めた単位ベクトルを利用し，コサイン類似度を用いてべクトルの類似度を比較した。
表 1 各手法とアンケート結果のコサイン類似度

## 5 結果・考察

## 5.1 結果

コサイン類似度によるアンケート結果との比較を表 1 に示す. 動画ごとに最も類似度の高い手法を太字で示している. また, 各動画, 各手法ごとの単位ベクトルの成分を補足の表 2，3，4 に示す.

動画 1 は GPT-3.5-turbo が最も高く, 動画 2 , 動画 3 においてはトークン数 256 ，テキストファイル数が各感情 150 個（合計 1050）個でファインチューニングを行った BERT が最も高いという結果になった.

## 5.2 BERT による推定

動画 1 においてはテキストファイル数が 350 本の BERT が成績が良く，動画 2 と 3 においてはテキストファイル数が 1050 本の BERT の方が成績が良い.補足の表 2 のアンケート結果に示される通り，動画 1 は突出して高い感情が無い.「信頼」「驚き」「喜び」の 3 つの感情を人に強く与えることが分かる。

テキストファイル数を増加させることによって，強いと考えられる感情をより強く, 弱いと考えられる感情をより弱く判定する傾向が存在する. テキストファイルを 350 本分学習した結果と比較しても, 1050 本分学習した結果の方が両極端な結果となっていることが分かる. また，トークン数を増加させると精度が下がる。

動画 2 や動画 3 のような, 強く感じられる感情が単一であり，「悲しみ」や「喜び」などの特にメジャーでわかりやすい感情を強く与えられる動画に関しては性能が高いと考えられる。

## 5.3 GPT-3.5-turbo による推定

動画 1 において非常に高い精度を出したが，それ以外の動画では比較的低い精度を出している. 動画 1 では表 2 にも示されている通り，「信頼」「驚き」「喜び」の複雑な 3 つの感情全てが高いという事を推定している.対して表 3 に示される通り，動画 2 では「悲しみ」 が非常に低い. 実際のコメントを確認したところ，以下のようなコメントが散見された.

・好きな人や恋人ではない大事な人のことも歌にしてくれる、本当に大好きです

・自分の中でこの曲が一番泣ける歌で、この曲聴いて親のありがたみを再認識する。

・自分の親がどれだけ大切な存在か改めて知れた素敵な曲

動画 2 の楽曲が家族愛を歌ったものであり，コメントにも家族愛に関する内容が多く散見された。 GPT はこれらの詳細な感情を読み取り，「信頼」や 「喜び」を強く感じていることが分かる。

GPT は単純な感情を読み取るよりも，より複雑な感情が含まれる動画の感情推定に向いている可能性が高いと考えられる。

## 6 おわりに

本研究では，オンライン動画共有サービスの動画コメントから視聴者がどのような感情を得たかを推定する手法を提案した．BERTを 1050 本の動画でファインチューニングし, 分類器とする手法と, GPT-3.5-turbo を利用しコメントから直接感情を推定する手法について説明した。

結果として，2つの感情や，「喜び」「悲しみ」のような与える感情が分かりやすい動画は BERT が優れた精度を示した. 対照的に，3つ以上の感情などが複雑に現れる動画は GPT-3.5-turbo が優れた精度を示した。

今後は他の大規模言語モデルや自然言語処理モデルに関しても同様に感情推定の精度を測定することを考えている。また，動画に含まれる詳細な感情べクトルの推定とは別に，他の評価指標を設定することによって感情推定の精度を測定することを考えている.

## 参考文献

[1] 総務省. 令和 5 年版情報通信白書，（2023 年 7 月）.

[2] Think with Google. Youtube が人気な理由とは, $(2023$ 年 12 月 20 日閲覧）. https://www. thinkwithgoogle.com/intl/jajp/marketing-strategies/video/youtuberecap2022-1/.

[3] Tiernan Ray BARRON's. Youtube' $s 2$ billion videos, $197 \mathrm{~m}$ hours make it an 'immense' force, says bernstein, （2023 年 12 月 22 日閲覧）. https://www.barrons.com/articles/youtubes-2billion-videos-197m-hours-make-it-an-immenseforce-says-bernstein-1462978280.

[4] YouTube Oxford Economics. Youtube impact report 2021 年日本における youtube の経済的・社会的・文化的影響，（2023 年 12 月 22 日閲覧）. https://services.google.com/fh/files/ blogs/jpyoutubeimpactreport2021.pdf.

[5] YouTube Advertising. オンライン動画広告キャンペーン - youtube 広告,（2023 年 11 月 28 日閲覧）. https://www.youtube.com/intl/ALL_jp/ads/.

[6] Robert W.Levenson and J.Gross . Emotion elicitation using films. IN COGNITION AND EMOTION, pp. 87108, 1995 .

[7] 菅野祐希, 坂野遼平. Youtube コメントを用いた動画の感情推定. In DEIM Forum 2023, 2023.

[8] Yuki Kanno and Ryohei Banno. A comparative study of estimation of video viewer emotion using youtube video comments. In TENCON 2023 - 2023 IEEE Region 10 Conference, 2023.

[9] 堺雄之介, 竹内幹太, 伊東栄典. コメントを利用した炎上動画検出に関する検討. 情報処理学系研究報告, Vol. Vol.2021-ICS-203, No. 9, 2021.

[10] 中澤政孝, 亀井且有, 前田陽一郎, クーパーエリック. Bert を用いた短文の感情極性推定手法の提案とその有効性. 第 36 回ファジィシステムシンポジウム講演論文集 (FSS2020 オンライン), pp. 177-180, 2020.

[11] SOCIOCOM Social Computing Laboratory since 2015.日本語感情表現辞書 jiwc-dictionary,（2023 年 12 月 22 日閲覧）. https://sociocom.naist.jp/jiwcdictionary/.

[12] 東北大学乾研究室. Pretrained japanese bert models released $/$ 日本語 bert モデル公開，(2023 年 12 月 22 日閲覧）.https://www.nlp.ecei.tohoku.ac.jp/newsrelease/3284/.

[13] OpenAI. Models - openai api,（2023 年 12 月 19 日閲覧）. https://platform.openai.com/docs/models/ overview.

## A 結果詳細

各手法による動画ごとの感情ベクトルを以下に示す. 感情が強いほど数值が高く, 感情が弱いほど数値が低い.

表 2 感情値の単位ベクトル成分（動画 1）

表 3 感情値の単位ベクトル成分（動画 2）

表 4 感情値の単位ベクトル成分（動画 3）


# 文法誤り訂正の包括的メタ評価:既存自動評価の限界と大規模言語モデルの可能性

小林正宗 1 三田雅人 ${ }^{2,1}$ 小町守 3
1 東京都立大学 2 株式会社サイバーエージェント 3 一橋大学
kobayashi-masamune@ed.tmu.ac.jp mita_masato@cyberagent.co.jp
mamoru.komachiar.hit-u.ac.jp

## 概要

評価尺度の評価（メタ評価）は主に人手評価との相関に基づいて行われる. しかし，従来の英語文法誤り訂正 (GEC) のメタ評価は，評価粒度の不一致によるバイアスや，現在の主流システムとの乘離などの問題に直面している。これらの問題に対処するために，12 の最先端システムを対象に，2つの評価粒度で人手評価することで，より妥当性のあるメタ評価を可能にするデータセット (SEEDA) を構築する. さらに，SEEDAを用いた包括的なメタ評価を通して，GECにおける既存自動評価の現状と大規模言語モデルの評価性能を調査する.

## 1 はじめに

文法誤り訂正 (GEC) の評価尺度は，その評価粒度によって編集べースと文べースの 2 つに分類され， それぞれ異なる目的を持っている，編集べース評価尺度 (EBM) は編集自体を評価する一方，文ベース評価尺度 (SBM) は文全体の品質を評価する。また， そのような評価尺度の信頼性に関する評価（メタ評価）は，主に人手評価との相関に基づいて行われる。

英語 GECのメタ評価の多くは, Grundkiewicz ら [1] のデータセット（GJG15）を使用してきたが, GJG15 に基づいたメタ評価 $[1,2,3,4]$ にはいくつかの問題がある. 1 つ目に，評価尺度と人手評価の評価粒度の不一致から生じるバイアスにより, EBMが過小評価されている恐れがある。 バイアスの例として，未訂正の文に対し, EBM は必ず最低のスコアをつける一方，文べースの人手評価では文自体の良さを評価するため全範囲のスコアが付与され得ることが挙げられる. 2 つ目に，GJG15 は CoNLL-2014 Shared Task [5] の統計的機械学習に基づく古典的システムを人手評価している。 そのため, GJG15 のシステム
と近年のディープニューラルネットワークに基づくシステムとの乘離により，メタ評価の適用範囲が制限されている．3つ目に，単一のデータポイントから得られた相関に基づく結論は妥当性に欠ける可能性がある。Deutsch ら [6] は要約のメタ評価において特定の評価尺度は相関に幅があることを示しており，Mathur ら [7] は機械翻訳のメ夕評価において外れ値が相関に強い影響を与えていたことを発見した. そのため, GEC においても同様の懸念が残る.

そこで本研究では，より信頼できる英語 GECのメタ評価のための新たなデータセットである SEEDA を提案する.1) そして，構築した SEEDAを用いた包括的なメタ評価の結果，既存自動評価はこれまで報告されていたほど高性能システムの性能差を捉えるほどの解像度を持っていないことが明らかとなった. さらに，この現状を踏まえ，近年言語生成の評価モデルとしても有効と報告 $[8,9]$ されている大規模言語モデル (LLM) を GEC 評価にも初めて導入し， どの程度人手評価の代替になり得るか調査する。

## 2 関連研究

英語 GEC のメタ評価に関して，いくつかの研究が存在する. Grundkiewicz ら [1] と Napoles ら [10] は古典的システムに対して文べースの人手評価を備えたデータセットを構築した. その後, Chollampatt ら [2] は評価尺度間の有意差検定の必要性を示し, Chosen ら [11] は人手評価に依存しないメ夕評価方法を提案している。 さらに, Napoles ら [12] は複数のドメインで人手評価を行うことで GMEG-Dataを構築し，ドメイン間で多様な相関関係があることを示した. GMEG-Data は様々なドメインや CoNLL-2014 全体でのメタ評価ができる一方，SEEDA は近年の

表 1 編集ベースの人手評価の例. Step 1 では原文中の誤りは黄色，有効な編集は緑，無効な編集は赤で表示している. Step 2 では有効に訂正できた誤りは緑，訂正できなかった誤りは赤で表示している.

 \\

高性能システムや評価粒度を考慮することで，より高い妥当性を提供している.

## 3 SEEDA データセット

## 3.1 文法誤り訂正システム

メタ評価における 2 つ目の問題点に対応するために，既存ベンチマークで高性能である 12 のシステムを考慮する [13]. 具体的には，TemplateGEC [14]， TransGEC [15], T5 [16], LM-Critic [17], BART [18], BERT-fuse [19], Riken Tohoku [20], UEDIN-MS [21], GECToR-ens [22], GECToR-BERT [23], PIE [24] および 2-shot の GPT-3.5 [25] を考慮する。また，GEC の評価では未訂正の文も考慮する必要があるため, CoNLL-2014 の原文 (INPUT) も含めた. さらに，システムの訂正性能を人手の訂正と比較するために, Sakaguchi ら [26] が作成した, 英語母語話者かつ GEC の専門家による最小限の編集をしたリファレンス (REF-M) と流暢な文になるように編集をしたリファレンス (REF-F) も考慮し，計 15 の文集合を人手評価の対象とする. サンプリングは Grundkiewicz ら [1] が提案した多様な出力を好むように調整された分布を使用し, 文集合から 200 のサブセットを収集した.ここで，人手評価の一致率を測定するために，サブセットの少なくとも 12.5 \%を重複させ， 1 つのサブセットには最大で 5 つの訂正文を含む.

## 3.2 アノテーションスキーム

SEEDA は編集ベースの人手評価 (SEEDA-E) と文ベースの人手評価 (SEEDA-S) の 2 種類から構成される. 表 1 に示す通り，編集べースの人手評価では，訂正文の編集に対して段階的な系列ラベリングを行う. Step 1 では，誤りカテゴリ [27] に従って原文の誤りを特定した後に，訂正文の各編集が有効かどうかを 2 値分類する. Step 2 では, 各編集が Step 1 で見つかった誤りを訂正できたかを 2 值分類する。そして最後に, 各訂正文の Precision と Recall から $F_{0.5}{ }^{2}$
$ が一般的に使用される.
}

表 2 ペアワイズ評価の統計量. 展開済みは重複した訂正文を展開した場合の値である. 括弧内の値は同順位の数であり，左側が編集べース，右側が文べースを指す。

表 3 未展開のペアワイズ評価を用いたアノテータ間およびアノテータ内のカッパ係数 ( $\kappa$ ).

を算出する。また，文べースの人手評価は GJG15 と同様の方法で行う. 各アノテーションは, 言語に関する仕事（翻訳，ネイティブチェック）に従事している 3 人の英語母語話者によって行われた.

## 3.3 分析

表 2 は，アノテータによる評価結果を元に作成したペアワイズ評価の統計量である. ペアワイズ評価は，2つの文 $(A, B)$ の全ての組み合わせをランキング $(A>B, A=B, A<B)$ に取ることで作成した. 展開済みのペアワイズ評価の数が未展開の数より大幅に多いことは, Grunkiewicz ら [1] と同様に GEC システムの出力には重複が多いことを示唆している.また，表 3 はアノテータ一致率であり，一致率としてカッパ係数 $(\kappa)$ を使用した. 本データセットの全ての一致率は，GJG15 と比較して高いことがわかった. さらに，表 5 （付録 A）にペアワイズ評価から作成した人手ランキングを示す. GPT および T5 アーキテクチャに基づくシステム（GPT-3.5，T5， TransGEC）が REF-M よりも高い順位を獲得したことは，これらのシステムが人間より有効な訂正ができる可能性を示唆している。加えて，評価粒度間でのアノテータ内の平均 $k$ を算出したところ, 文レベルでは評価粒度による人手評価の差が顕著 $(\kappa=$

0.36) である一方，システムレベルでは比較的小さかった $(\kappa=0.83)$. そのため, 従来の文レベルのメタ評価では評価粒度の不一致によるバイアスがより顕著であった可能性が高い.

## 4 メタ評価

## 4.1 実験設定

評価粒度およびシステム集合のバイアスが緩和された新たなメタ評価用データセット SEEDAを用いた包括的メタ評価を通して，既存自動評価の現状および GEC 評価における LLM の可能性を明らかにする．調査対象の評価尺度として，EBM は $M^{2}$ [28], ERRANT [27], PT- $M^{2}$ [4], GoToScorer [29] を, SBM は GLEU [10], Scribendi Score [30], SOME [3], IMPARA [31]を考慮する. LLM は GPT-4 (gpt-4-1106-preview)を使用し，プロンプトによる評価性能の変化を調査するために，GEC の評価観点ごとのプロンプトを作成し，ベースプロンプトと比較する。編集ベースで評価する LLM (LLM-E) は訂正の難易度 (Difficulty) [29] と編集の影響度 (Impact) [31] に焦点を当て，文ベースで評価する LLM (LLM-S) は文法性 (Grammaticality) [32,3] と流暢性 (Fluency) [32,3], 意味保存性 (Meaning Preservation) [32,3] に着目したプロンプトを使用する. 各プロンプトの詳細は付録 $\mathrm{B}$ に記載する. シス
テムレベルのメタ評価ではピアソンの相関 $(r)$ とスピアマンの順位相関 $(\rho)$ ，文レベルのメタ評価では Accuracy (Acc) とケンドールの順位相関 $(\tau)$ を使用する。また，評価データを揃えるために、人手評価されたサブセットを用いて評価する。なお，INPUT と流暢さを目的とした訂正文（REF-F，GPT-3.5）は，外れ値として機能していたため，それらを除外した 12 システムを用いる.

## 4.2 既存自動評価の現状

評価粒度による影響: SEEDA-S と SEEDA-E を比較すると，文レベルのメタ評価において評価尺度と人手評価の評価粒度を一致させることで，相関が向上する傾向にあった (表 4). つまり，評価粒度が一致していない場合，文レベルのメタ評価では評価尺度が過小評価されることになる。この要因として，文レベルでは評価粒度ごとに人手評価の結果が顕著に異なっていたことが挙げられる (\$3.3).

対象システムの影響: GJG15 と SEEDA-S を比較すると，対象システムが古典的システムから最先端ニューラルシステムに変わることで，相関が減少する傾向にあることがわかる．そのため，既存の評価尺度のほとんどは，高性能なニューラルシステムの訂正文をこれまでに報告されていたほど適切には評価できないことが確認された.

図 1 Window Analysisを用いてシステム集合を変化させた場合の相関の変動、 $x$ 軸は外れ値を除いた 12 のシステムの人手ランキングである。“ $n$ ” は考慮されるシステムの数を示し，実線は 4 つのシステムを，破線は 8 つのシステムを表している. たとえば, $n=4$ の場合, $x=5$ の軸は人手ランキングで 2 位から 5 位のシステム集合に対応する.

複数の設定での相関の変動: 様々なシステム集合に対する相関を測るために Window Analysis (図 1) を行った. 多くの評価尺度に共通していることは，相関はシステムが 4 つの場合は大きく変動する一方，8つの場合は比較的に安定していることである. これは，既存の評価尺度が高性能システム間の性能差を捉えるのに十分な解像度を持っていないことを示唆している.さらに， $M^{2}$ やERRANT，GLEU は頻繁に無相関か負の相関になることから，近年の GEC 評価は妥当性に欠けていた可能性がある.

## 4.3 LLM 評価モデルの可能性

メタ評価の結果, LLM は既存自動評価と比較して相関が高い傾向にあり，GEC の評価においても有用だとわかった (表 4). 観点ごとのプロンプトについては， ベースプロンプトと比較して相関を向上させる傾向にあった. 特に，LLM-S + Fluency では文レベルの相関が大きく向上し, LLM の性能を大きく引き出すことができた. このことは，高性能システムを評価する際は文法性を超えて流暢性を精緻に見る必要があることを示唆している．また，システムレベルの LLM の相関の多くは 0.9 を超え，相関の比較が困難なほど高いため, システムレベルのメタ評価のような十数システム使って相関を算出するタスクは性能が飽和しつつあると考えられる。したがって，今後は文レべルの相関に着目したり，シス
テムの数や組み合わせを柔軟に変えることで，タスクの難易度を上げることが必要である。

Window Analysisによると，LLM は比較的に高い相関を維持し相関の変動も小さいことから，近年の最先端システムを評価するのにより適していると考えられる. 特に，EBM P SBMではうまく評価できなかった 7 位から 10 位 $(\mathrm{x}=10)$ のシステム群に対して相関が高いことは, 既存自動評価では評価が難しい領域を LLM が評価できる可能性を示唆している.

## 5 おわりに

本研究では，評価粒度およびシステム集合におけるバイアスが緩和されたより妥当性のあるメタ評価用データセット SEEDA を構築した. データセット分析の結果, 評価粒度ごとに文レべルの人手評価結果は大きく異なり，GPT と T5 に基づく GEC システムは人間と同等以上の訂正ができることが明らかになった。相関分析の結果からは，従来のメタ評価手法では EBM の過小評価の可能性があること, 文レベルのメタ評価では評価粒度を揃えると相関が改善される傾向にあることを示した. また，多くの既存自動評価は高性能システムの巧拙を捉えるほどの解像度を持っていないことが明らかとなった. さらに，LLM 評価モデルは既存自動評価と比較して相関が高く，GEC 評価での有用性が示された。

## 参考文献

[1] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In ACL, 2015.

[2] Shamil Chollampatt and Hwee Tou Ng. A reassessment of reference-based grammatical error correction metrics. In COLING, 2018.

[3] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less submetrics optimized for manual evaluations of grammatical error correction. In COLING, 2020.

[4] Peiyuan Gong, Xuebo Liu, Heyan Huang, and Min Zhang. Revisiting grammatical error correction evaluation and beyond. In EMNLP, 2022.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In CoNLL, 2014

[6] Daniel Deutsch, Rotem Dror, and Dan Roth. A statistical analysis of summarization evaluation metrics using resampling methods. TACL, 2021.

[7] Nitika Mathur, Timothy Baldwin, and Trevor Cohn. Tangled up in BLEU: Reevaluating the evaluation of automatic machine translation evaluation metrics. In ACL, 2020.

[8] Cheng-Han Chiang and Hung-yi Lee. Can large language models be an alternative to human evaluations? In ACL, 2023.

[9] Yixin Liu, Alexander R. Fabbri, Jiawen Chen, Yilun Zhao, Simeng Han, Shafiq Joty, Pengfei Liu, Dragomir Radev, Chien-Sheng Wu, and Arman Cohan. Benchmarking generation and evaluation capabilities of large language models for instruction controllable summarization, 2023.

[10] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In IJCNLP, 2015.

[11] Leshem Choshen and Omri Abend. Automatic metric validation for grammatical error correction. In ACL, 2018.

[12] Courtney Napoles, Maria Nădejde, and Joel Tetreault. Enabling robust grammatical error correction in new domains: Data sets, metrics, and analyses. TACL, 2019.

[13] Christopher Bryant, Zheng Yuan, Muhammad Reza Qorib, Hannan Cao, Hwee Tou Ng, and Ted Briscoe. Grammatical error correction: A survey of the state of the art. CL, 2023.

[14] Yinghao Li, Xuebo Liu, Shuo Wang, Peiyuan Gong, Derek F. Wong, Yang Gao, Heyan Huang, and Min Zhang. TemplateGEC: Improving grammatical error correction with detection template. In ACL, 2023.

[15] Tao Fang, Xuebo Liu, Derek F. Wong, Runzhe Zhan, Liang Ding, Lidia S. Chao, Dacheng Tao, and Min Zhang. TransGEC: Improving grammatical error correction with translationese. In ACL, 2023.

[16] Sascha Rothe, Jonathan Mallinson, Eric Malmi, Sebastian Krause, and Aliaksei Severyn. A simple recipe for multilingual grammatical error correction. In ACL-IJCNLP, 2021.

[17] Michihiro Yasunaga, Jure Leskovec, and Percy Liang. LMcritic: Language models for unsupervised grammatical error correction. In EMNLP, 2021.

[18] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL, 2020.

[19] Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, and Kentaro Inui. Encoder-decoder models can benefit from pre-trained masked language models in grammatical error correction. In ACL, 2020.

[20] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In EMNLP-IJCNLP), 2019.

[21] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data. In BEA, 2019.

[22] Maksym Tarnavskyi, Artem Chernodub, and Kostiantyn Omelianchuk. Ensembling and knowledge distilling of large sequence taggers for grammatical error correction. In ACL, 2022.

[23] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR grammatical error correction: Tag, not rewrite. In BEA, 2020.

[24] Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, and Vihari Piratla. Parallel iterative edit models for local sequence transduction. In EMNLPIJCNLP, 2019.

[25] Steven Coyne, Keisuke Sakaguchi, Diana Galvan-Sosa, Michael Zock, and Kentaro Inui. Analyzing the performance of GPT-3.5 and GPT-4 in grammatical error correction, 2023.

[26] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. TACL, 2016.

[27] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, 2017.

[28] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In ACL, 2012.

[29] Takumi Gotou, Ryo Nagata, Masato Mita, and Kazuaki Hanawa. Taking the correction difficulty into account in grammatical error correction evaluation. In COLING, 2020.

[30] Md Asadul Islam and Enrico Magnani. Is this the end of the gold standard? a straightforward reference-less grammatical error correction metric. In EMNLP, 2021.

[31] Koki Maeda, Masahiro Kaneko, and Naoaki Okazaki. IMPARA: Impact-based metric for GEC using parallel data. In COLING, 2022.

[32] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Reference-based metrics can be replaced with referenceless metrics in evaluating grammatical error correction systems. In IJCNLP, 2017.

## A 各データセットの人手ランキング

表 5 レーティングアルゴリズムである TrueSkill (TS) を用いた各データセットの人手ランキング.

## B 評価用プロンプト

LLM での編集ベース評価と文べース評価で使用したプロンプトを図 2 と図 3 にそれぞれ示す. \# context における [SOURCE] は原文であり，[PREVIOUS] と [FOLLOWING] はその原文の前後の文である。＃ targets における [CORRECTION N WITH EDITS] は編集が明示された訂正文（表 1 の訂正文を参考）であり，[CORRECTION N] は通常の訂正文である. ここで， $\mathrm{N}$ は 1 から 5 の值をとる。また，プロンプトは出力の形式を一定にさせるために， output format として JSON 形式で各スコアを出力する．観点ごとの評価では以下の文をプロンプトの第一段落の末尾に追加する.
- Difficulty: "Please evaluate each edit in the target with a focus on the difficulty of corrections."
- Impact: "Please evaluate each edit in the target with a focus on its impact on the sentence."
- Grammaticality: "Please evaluate each target with a focus on the grammaticality of the sentence."
- Fluency: "Please evaluate each target with a focus on the fluency of the sentence."
- Meaning Preservation: "Please evaluate each target with a focus on preserving the meaning between each target and the source, which is the middle sentence in the context."

The goal of this task is to rank the presented targets based on the quality of each edit.

The context consists of three sentences from an essay written by an English learner.

After reading the context to understand the flow, please assign a score from a minimum of 1 point to a maximum of 5 points to each target based on the quality of the edit alone (note that you can assign the same score multiple times).

For targets without any edits, if the sentence is correct, they will be awarded 5 points; if there is an error, they will receive 1 point. The edits in each target are indicated as follows:

Insert "the": [ $\rightarrow$ the $]$

Delete "the": [the $\rightarrow$ ]

Replace "the" with "a": [the $\rightarrow$ a]

## \# context

[PREVIOUS]

[SOURCE]

[FOLLOWING]

## \# targets

[CORRECTION 1 WITH EDITS]

[CORRECTION N WITH EDITS]

## \# output format

The output should be a markdown code snippet formatted in the following schema, including the leading and trailing " ' 'json" and " $'$ " "

' 'json

"target1_score": int // assigned score for target 1

"targetN_score": int // assigned score for target $\mathrm{N}$

\}.

図 2 編集ベース評価のプロンプト

図 3 文ベース評価のプロンプト