# 多次元項目反応理論と深層学習に基づく 複数観点同時自動採点手法

柴田拓海 ${ }^{1}$ 宇都雅輝 ${ }^{1}$
1 電気通信大学大学院院
\{shibata,uto\}@ai.lab.uec.ac.jp

## 概要

近年，深層学習を用いた小論文自動採点手法とし $\tau$ ，全体得点と複数の評価観点別得点を同時に予測する手法が提案されている. しかし従来手法は，予測の根拠について解釈性が低いという問題があった.この問題を解決するために，本研究では，多次元項目反応理論を利用して予測根拠の解釈性を高めた複数観点同時自動採点手法を提案する。

## 1 はじめに

近年，小論文試験の採点をコンピュータを用いて自動化する小論文自動採点 (Automated Essay Scoring ; AES）手法が多数提案されている. 自動採点を実現する手法は特徴量ベースと深層学習ベースの手法に大別される。これまでは，特徴量ベースの手法が一般的であったが (e.g., [1-4]), 近年では深層学習を用いた自動採点モデルが多数提案されている (e.g., [5-19]). 深層学習自動採点モデルは文章の単語系列を入力として，データから自動で複雑な特徵量を学習でき，高精度を達成している。

従来の自動採点モデルの多くは，全体得点のみを予測する採点場面を想定している (e.g., [6-15])。しかし, 学習場面などで小論文試験を運用する場合, より詳細なフィードバックを受験者に行うために，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない [16]. そこで，複数の評価観点に対応する得点を同時に予測できるモデルもいくつか提案されている (e.g., [16-19]).

現時点では Ridley ら [19] のモデルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある. (1) 評価観点ごとに複雑な多層ニューラルネットワークを持つため予測根拠を解釈することが難しい。(2) 複数観点での評価では，測定対象の能力に観点間で共通性が仮定できる場合
が多いが [20]，このモデルでは観点間の相関は考慮しているものの，背後にどのような能力尺度が想定されるかは解釈できない.

これらの問題を解決するために，本研究では，項目反応理論を組み込んだモデルを提案する．具体的には，評価観点の特性を考慮した多次元項目反応モデル [21]を出力層とし，それ以外を Ridley らのモデルを元にした評価観点共通のニューラルネットワー クとしたモデルを開発する。提案手法の利点は以下の通りである。(1) 評価観点固有の出力層は, 識別力と困難度と呼ばれる項目反応理論で一般的な 2 種類のパラメータのみで説明されるため，それらのパラメータ值に基づいて観点ごとの特性を定量的に解釈できる. (2) 多次元項目反応モデル層の能力次元数を最適化してパラメータを分析することで，複数評価観点の背後に想定される能力尺度を解釈できる。

本論文では，複数観点自動採点の研究で広く利用されるべンチマークデータセットを用いて提案手法の有効性を評価する．実験の結果，提案手法は従来手法から大きく性能を落とすことなく，妥当な解釈が可能なパラメータ值を与えたことが確認できた。 また，背後に想定される能力次元数としては 1 次元が最適であることが確認できた。このことは，少なくとも本研究で使用したデータセットにおいては,観点間の関係は従来モデルのような複雑な構成でなくとも説明できることを示唆している.

## 2 複数観点同時自動採点モデル

提案モデルは，Ridley ら [19] が提案した複数観点同時自動採点モデルを基礎モデルとするため，本章ではこのモデルについて説明する。モデルの概念図を図 1 （左）に示した. このモデルは，受験者 $n$ の小論文を入力とし，評価観点 $m \in \mathcal{M}=\{1,2, \ldots, M\}$ に対応する得点 $\hat{y}_{n}^{m}$ を出力する．ここで $M$ は評価観点数を表す.また，受験者 $n$ の小論文は単語系列と

図 1 従来の複数観点同時自動採点モデル（左）と提案モデル（右）の概念図

して， $\left.\{w_{n s l} \mid s \in\{1,2, \ldots, S\}, l \in\left.\{1,2, \ldots, l_{s}\right.\}\right.\}$ と表せる. $w_{n s l}$ は受験者 $n$ の小論文における $s$ 番目の文の $l$ 番目の単語であり， $S$ はその小論文の文数， $l_{s}$ は $s$番目の文の単語数である.このモデルでは, 各単語 $w_{n s l}$ をそれぞれ品詞（part-of-speech；POS）タグ $p_{n s l}$ に変換し, POS タグ系列を入力として用いている.

得点予測は，共通層と観点固有層の二段階でデー タを処理することで行われる。共通層では，文ごとに Embedding 層, Convolution 層, Attention Pooling 層 [11]が適用され，全観点に共通する文単位の分散表現の系列が得られる。

次に，観点ごとに独立に処理を行う観点固有層で，共通層で得られた分散表現の系列をもとに評価観点ごとの得点を予測する. 共通層の出力系列に対して，観点ごとに Recurrent 層 [22], Attention Pooling 層が適用される. さらに単語数や可読性, 文章の複雑さなどを表す人手で設計した特徴量のべクトル $F$ を結合 (concat) することで文章単位の分散表現が得られる. 次にこの結合されたべクトルに対して，評価観点間の関係を考慮するために Trait Attention [19]を適用し, 得点予測のための最終的な分散表現 $\boldsymbol{c}_{n m}$ が得られる. 最後に, この $\boldsymbol{c}_{n m}$ に対し，シグモイド関数を活性化関数に持つ全結合層を適用させ，受験者 $n$ の $m$ 番目の観点別得点 $\hat{y}_{n}^{m}$ を $\hat{y}_{n}^{m}=\sigma\left(W_{m} \boldsymbol{c}_{n m}+b_{m}\right)$ で予測する. ここで， $\sigma$ はシグモイド関数， $W_{m}$ は重み， $b_{m}$ はバイアスを表す。なお，このモデルは得点予測にシグモイド関数を使用しているため, $\hat{y}_{n}^{m}$ は 0 から 1 の間の値をとる. 実際の得点尺度がこれと異なる場合には， $\hat{y}_{n}^{m}$ を一次変換して実際の得点尺度に合わせる。

モデルの学習は, 平均二乗誤差 (Mean Squared
Error；MSE）を損失関数として誤差逆伝播法で行われる. 訓練データの小論文数が $N$, 予測観点数が $M$ のとき，MSE 誤差は以下のように表される.

$
\mathscr{L}_{M S E}=\frac{1}{N M} \sum_{n=1}^{N} \sum_{m=1}^{M} D(n, m)\left(\hat{y}_{n}^{m}-y_{n}^{m}\right)^{2}
$

ここで,$y_{n}^{m}$ は受験者 $n$ の小論文における $m$ 番目の観点の真の得点を表す。また $D(n, m)$ は， $n$ 番目の小論文における $m$ 番目の観点に対するデータのときに 1 を，そうでなければ 0 を返す関数である。

第 1 章でも述べた通り，このモデルは評価観点ごとに固有の複雑な層を持つため予測根拠の解釈が難しい.この問題を解決するために，本研究では次章で説明する項目反応理論を用いる.

## 3 項目反応理論

項目反応理論（Item Response Theory；IRT）[23] は,近年のコンピュータ・テスティングの発展に伴い,様々な分野で実用化が進められている数理モデルを用いたテスト理論の一つである. IRT モデルは正誤データなどの 2 值型のデータを前提とするものが多いが，多段階の得点データに対応した IRT モデルも多数提案されている. また，一般的な IRT モデルでは，測定対象の能力に 1 次元性を仮定しているが，測定される能力に多次元性を仮定できるモデルも提案されている.

本研究では，代表的な多次元多値型 IRT モデルである多次元一般化部分採点モデル（Generalized Partial Credit Model；GPCM）[24]を使用する. ここでは, 先行研究 $[20,21]$ のように各評価観点を項目とみなして多次元 GPCM を適用する．具体的には，受験
者 $n$ が評価観点 $m$ において，得点 $k \in\left.\{1,2, \ldots, K_{m}\right.\}$ を得る確率を次式で与えるモデルを適用する。

$
P_{n m k}=\frac{\exp \left(k \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{n}+\sum_{u=1}^{k} \beta_{m u}\right)}{\sum_{v=1}^{K_{m}} \exp \left(v \boldsymbol{\alpha}_{m}^{T} \boldsymbol{\theta}_{n}+\sum_{u=1}^{v} \beta_{m u}\right)}
$

ここで, $\boldsymbol{\theta}_{n}=\left(\theta_{n 1}, \theta_{n 2}, \ldots, \theta_{n d}\right)$ は受験者 $n$ の $d$ 次元の能力を表すパラメータベクトルであり, ベクトルの各要素は各次元の能力値を表す. $\boldsymbol{\alpha}_{m}=\left(\alpha_{m 1}, \alpha_{m 2}, \ldots, \alpha_{m d}\right)$ は $\boldsymbol{\theta}_{n}$ に対応した評価観点 $m$ の $d$ 次元識別力, $\beta_{m u}$ は評価観点 $m$ においてカテゴリ $u-1$ から $u$ に遷移する困難度を表すパラメータである． $K_{m}$ は，評価観点 $m$ における得点段階数を表す。なお，モデルの識別性のために， $\beta_{m 1}=0: \forall m$ を所与とする.

## 4 提案モデル

本研究では，上記の多次元 GPCM を組み込んだ複数観点同時自動採点モデルを提案する. 提案モデルの概念図を図 1（右）に示す. 図 1 からわかるように，提案モデルは入力層から Concatenate 層まで評価観点数 $M=1$ とした従来モデルと同じ構造を持ち, これらの層を用いて文章単位の分散表現 $c_{n}$ を生成する. 提案モデルでは，このべクトル $c_{n}$ を全結合層に入力し, 多次元 IRT における能力値べクトル $\boldsymbol{\theta}_{n}$ に対応する值を $\boldsymbol{\theta}_{n}=W c_{n}+\boldsymbol{b}$ で求める. ここで， $\boldsymbol{W}$ は重み行列， $\boldsymbol{b}$ はバイアスベクトルを表す.

最後に, 得られた $\theta_{n}$ を用いて, 多次元 GPCM 層で式（2）を計算することで，各評価観点 $m \in M$ に対する得点の出力確率が得られる. 得点予測の際には, 確率 $P_{n m k}$ が最大となるカテゴリ $\arg \max _{k} P_{n m k}$ を予測得点とする。提案モデルにおける多次元 GPCM 層は従来モデルにおける観点固有層に相当する。

損失関数には，多クラス交差エントロピー (Categorical Cross-Entropy；CCE）誤差を用いる. 訓練データの小論文数が $N$, 予測観点数が $M$ のとき， $\mathrm{CCE}$ 誤差は以下のように表せる.

$
\mathscr{L}_{C C E}=-\frac{1}{N M} \sum_{n=1}^{N} \sum_{m=1}^{M} \sum_{k=1}^{K_{m}} y_{n m k} \log \left(P_{n m k}\right)
$

なお，モデルの各種ハイパーパラメータは先行研究 [19] に合わせ，最適化アルゴリズムには学習率を 0.001 に設定した RMSProp [25] を用いる.

以降では，提案モデルの解釈の方法について述べる. 前章でも述べた通り，提案モデルで使用している多次元 GPCM は, 評価観点の識別力 $\boldsymbol{\alpha}_{m}$ と困難度 $\beta_{m}$ ，および受験者の能力 $\theta_{n}$ の 3 つのパラメータで説明される. 識別力 $\alpha_{m}$ と困難度 $\beta_{m}$ の値からは,各評価観点がどの程度受験者の能力を識別でき，どれくらいの難易度であるかが解釈可能である. さらに, 能力値 $\boldsymbol{\theta}_{n}$ からは，その小論文を執筆した受験者の潜在的な多次元能力を読み取ることができる。

また, $\boldsymbol{\theta}_{n}$ の次元数を変えて，提案モデルの性能を評価することで，得点データの背後に想定される最適な能力次元数を分析できる．例えば， $\boldsymbol{\theta}_{n}$ に 2 次元を想定したときに最大の予測精度を示したとすると, その評価観点の背後に 2 次元的な能力尺度が想定されると解釈できる. 最適な次元数でモデルパラメータの分析を行うことで，尺度の構成を解釈することが可能となる.

## 5 実験

本研究では, 実データとして, Automated Student Assessment Prize (ASAP) と, ASAP++ [26]を用いる. ASAP は AES 研究の分野で広く使用されるデータセットである. ASAP と ASAP++には 8 つの小論文課題に関する答案が含まれており，それぞれの答案に対して全体得点と評価観点別の得点が与えられている. 小論文数の課題ごとの平均は約 1622 ,平均単語数は 275 である. なお課題 1 と課題 2 は, Content, Organization, Word Choice, Sentence Fluency, Conventions, 課題 3 から課題 6 は Content, Prompt Adherence, Language, Narrativity, 課題 7 は Content, Organization, Conventions, Style, 課題 8 は課題 1 と 2 に共通する評価観点に加えて Voice といった評価観点でそれぞれ得点付けされている.

## 5.1 得点予測精度の評価実験

ここでは，提案モデルの次元数を $1,2,3$ と変化させて得点予測精度を評価する実験を行う. 本実験では，モデルへの入力として，Ridley らと同様の POS タグを用いる場合と，一般的な深層学習自動採点モデルと同様に単語系列を利用する場合の両方を考える. なお単語系列を入力する場合には, Embedding 層で, 50 次元の GloVe [27] による事前学習済みの単語埋め込みを利用する。

モデルの性能評価は, 5 分割交差検証を用いて行う. 5 分割交差検証は課題ごとに独立して実施し, エポック数は全てのモデルで 30 としている. 評価関数には，2 次の重み付きカッパ係数（Quadratic Weighted Kappa；QWK）を用いる.
表 1 課題別の平均 QWK スコア

表 2 提案モデル（1 次元）を用いて推定した課題 2 の評価観点パラメータ

実験結果を表 1 に示す. 表 1 では観点ごとに QWK スコアを計算し，その平均スコアを課題ごとに示している. 各条件で最も精度が高い手法の結果を太字で示してある。

表 1 より，提案モデルは，次元数によって予測精度が異なることが読み取れるが，各課題に最適な次元数を持つ提案モデルは従来モデルと比較しても精度に大きな差はないことがわかる. ここで，各モデルの平均スコアに有意な差があるかを定量的に測定するため，ボンフェローニ法による多重比較検定を行った. 結果を表 1 の「 $p$ 値」列に示す. 表から， POS 入力，単語入力ともに，全てのモデル間で有意な差は認められなかったことが読み取れる.このことから，提案モデルは，従来モデルと比較して精度を落とさずに得点予測ができたことがわかる.

## 5.2 次元性の検証

本節では能力尺度の次元性を分析する。ここでは，まず課題 1 の得点データに関して因子分析を行った. その結果, 因子数が 1 のときの固有値は 4.97, 因子数が 2 のときの固有値は 0.41 と算出され,因子数が 1 から 2 に変化すると固有値が 1 を下回るほど大幅に減少していることがわかる。つまり， データの背後にある尺度構成は 1 次元で十分に説明できることが示唆される. なお，他の課題でも，これと同様の結果が得られた。

また，前節で示した表から，提案モデルの次元数の違いによる予測精度の差はほとんど見られなかっ
たことがわかる．以上から，能力尺度の説明力としては 1 次元で十分であると解釈できる.

## 5.3 評価観点パラメータの解釈

ここでは，提案モデルで推定された評価観点パラメータの解釈について述べる. 例として表 2 に課題 2 のデータにおいて，能力次元数を 1 次元としたときの評価観点パラメータの推定結果を示した.

まず表 2 に示した識別力の値から，それぞれの評価観点が受験者の能力をどの程度測定できるかを解釈できる. 例えば，全体得点の識別力値は他の評価観点の値よりも小さいことが読み取れ，このことは全体得点が他の観点と比べて受験者の能力を測定する力が低いことを示している。また，困難度パラメータからは，各観点における各得点の出現分布を解釈することができる．例えば，全体得点のパラメータを所与としたときの式 (2) で表現される項目特性曲線（Item Characteristic Curve；ICC）を描くと，全体得点は得点に中心化傾向があることがわかる.

このように提案モデルでは得点予測の背後にある構造を解釈できることがわかる。

## 6 まとめ

本研究では, 全体得点と同時に観点別得点も予測できる複数観点同時自動採点モデルに, 多次元項目反応理論を組み込んだモデルを提案した．提案モデルを用いた実験から，自動採点で広く使用されるベンチマークデータである ASAP と ASAP++データセットでは，採点に多くの評価観点が用いられているにもかかわらず，その背後には少数の能力尺度しか想定されない可能性が示唆された. このことは，観点固有層として, 従来モデルのような複雑な内部表現は必要でない可能性や，多次元的な能力評価が実現できていない可能性を示唆している.

今後は多様なデータセットで提案モデルの有効性を評価したい。

## 謝辞

本研究は JSPS 科研費 19H05663，20K20817， 21H00898 の助成を受けたものです.

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater® v.2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.

[3] Peter Phandi, Kian Ming A Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the $\mathbf{2 0 1 5}$ Conference on Empirical Methods in Natural Language Processing, pp. 431-439, 2015.

[4] Mihai Dascalu, Wim Westera, Stefan Ruseti, Stefan Trausan-Matu, and Hub Kurvers. Readerbench learns dutch: building a comprehensive automated essay scoring system for dutch language. In International Conference on Artificial Intelligence in Education, pp. 52-63. Springer, 2017.

[5] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, pp. 1-26, 2021.

[6] Robert Ridley, Liang He, Xinyu Dai, Shujian Huang, and Jiajun Chen. Prompt agnostic essay scorer: A domain generalization approach to cross-prompt automated essay scoring. arXiv, 2020.

[7] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. arXiv, 2016.

[8] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891, 2016.

[9] Fei Dong and Yue Zhang. Automatic features for essay scoring-an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.

[10] Yi Tay, Minh C Phan, Luu Anh Tuan, and Siu Cheung Hui. Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring. In Thirty-Second AAAI Conference on Artificial Intelligence, pp. 59485955, 2018.

[11] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pp. 153-162, 2017.

[12] Youmna Farag, Helen Yannakoudakis, and Ted Briscoe. Neural automated essay scoring and coherence modeling for adversarially crafted input. arXiv, 2018.

[13] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.
[14] 岡野将士, 宇都雅輝. 評価者バイアスの影響を考慮した深層学習自動採点手法. 電子情報通信学会論文誌 D, Vol. 104, No. 8, pp. 650-662, 2021.

[15] Pedro Uria Rodriguez, Amir Jafari, and Christopher M Ormerod. Language models and automated essay scoring. arXiv, 2019

[16] Sandeep Mathias and Pushpak Bhattacharyya. Can neural networks automatically score essay traits? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 85-91, 2020.

[17] Mohamed A. Hussein, Hesham A. Hassan, and Mohammad Nassef. A trait-based deep learning automated essay scoring system with adaptive feedback. International Journal of Advanced Computer Science and Applications, Vol. 11, No. 5, pp. 287-293, 2020.

[18] Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi, and Kentaro Inui. Unsupervised learning of discourse-aware text representation for essay scoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 378-385, 2019.

[19] Robert Ridley, Liang He, Xin-yu Dai, Shujian Huang, and Jiajun Chen. Automated cross-prompt scoring of essay traits. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13745-13753, 2021.

[20] Masaki Uto. A multidimensional item response theory model for rubric-based writing assessment. In Artificial Intelligence in Education, pp. 420-432. Springer International Publishing, 2021.

[21] Masaki Uto. A multidimensional generalized many-facet rasch model for rubric-based performance assessment. Behaviormetrika, Vol. 48, No. 2, pp. 425-457, 2021.

[22] Jeffrey L Elman. Finding structure in time. Cognitive science, Vol. 14, No. 2, pp. 179-211, 1990.

[23] Frederic M Lord. Applications of item response theory to practical testing problems. Routledge, 2012.

[24] Lihua Yao and Richard D. Schwarz. A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, Vol. 30, No. 6, pp. 469-492, 2006.

[25] Yann Dauphin, Harm de Vries, and Yoshua Bengio. Equilibrated adaptive learning rates for non-convex optimization. In Advances in Neural Information Processing Systems, Vol. 28, pp. 1504-1512. Curran Associates, Inc., 2015.

[26] Sandeep Mathias and Pushpak Bhattacharyya. ASAP++: Enriching the ASAP automated essay grading dataset with essay attribute scores. Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018

[27] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.


# アノテータ特性を考慮した項目反応モデルを組み込んだ 深層学習自動採点手法

岡野将士 ${ }^{1}$ 宇都雅輝 1
1 電気通信大学大学院
\{okano,uto\}@ai.lab.uec.ac.jp

## 概要

近年注目されている深層学習を用いた小論文自動採点モデルを利用するためには，採点済みの小論文データセットを用いてモデル学習を行う必要がある。一般にモデル学習はアノテータが与えた得点を真値と仮定して行うが，小論文の採点結果はアノテータの特性に依存することが知られており，そのようなバイアスデータを用いてモデルを学習すると自動採点モデルの性能が低下してしまう. この問題を解決するために本研究では，アノテータの特性を考慮した項目反応理論を組み込んだ深層学習自動採点手法を提案する。

## 1 はじめに

近年の急速な社会変化に伴い，学校教育では論理的思考力などの育成が求められ，そのような能力を評価する手法の一つとして小論文試験が注目されている. しかし，小論文試験を大規模な試験で実施する場合，時間的・金銭的コストの高さや採点の公平性の担保の難しさといった課題が存在する $[1,2,3]$.自動採点手法はこれらの問題の解決策の一つとして注目されている [4].

自動採点を実現する手法として，近年では，深層学習を用いた手法が多数提案され，高精度を実現している $[5,6,7,8]$. 深層学習を用いた自動採点モデルを利用するためには，採点済み小論文のデータセットを用いてモデルを学習する必要がある．その際，データセット中の得点はバイアスのない正確な得点であると仮定する．しかしながら，大規模試験では多数のアノテータが分担をして採点を行うことが一般的であり，そのような場合，個々の答案に対する得点はアノテータの特性（甘さ/厳しさなど）に強く依存してしまう [9]. このようなアノテータの特性の影響を受けたデータを利用した場合，学習さ
れるモデルもその影響を受け，性能が低下することが報告されている $[10,11,12,13]$.

他方で，教育・心理測定の分野において，アノテータの特性の影響を取り除くことができる手法が提案されている，具体的には，数理モデルを用いたテスト理論の一つである IRT（Item Respose Theory：項目反応理論）モデルに，アノテータの特性を表すパラメータを加えたモデルとして提案されている $[9,14,15,16,17,18,19,20]$.

岡野・宇都 $[21,22,23]$ はこのような IRT モデルを深層学習自動採点モデルと組み合わせて用いるアプローチを提案している．具体的には，アノテータの特性を考慮した IRT モデルを用いて訓練データ中の得点からアノテータのバイアスの影響を取り除いた得点（以降では IRT 得点と呼ぶ）を推定し，この得点を元に自動採点モデルの学習を行う手法である. この方法によって，アノテータのバイアスに頑健なモデル学習が可能になることが示されている. しかし，この手法では IRT 得点の推定にアノテータが与えた観測得点のみを用いており，答案文の情報は使用していない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりうるため，答案文の内容も加味するようにモデルを拡張することでこのアプローチの性能を更に向上できると予測される.

そこで本研究では，IRT モデルと深層学習自動採点モデルを二段階で適用するのではなく, end-to-end で学習できるように拡張する. 具体的には，深層学習自動採点モデルの出力層に IRT モデルを組み込んで end-to-end で学習する。この手法では，IRT 得点の推定にアノテータが与えた観測得点だけでなく答案の文章も活用できるため，従来の IRT モデルと比べて IRT 得点の推定精度が改善し，このアプロー チの全体的な性能改善につながる，本論文では，実データ実験により提案手法の有効性を示す.

## 2 データ

本研究では，深層学習自動採点モデルの学習デー タとして，ある小論文問題に対する $J$ 人の受検者 $g=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と, 各答案を $R$ 人のアノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点した得点集合 $\boldsymbol{U}$ で構成されるデータを想定する。

答案集合 $\boldsymbol{A}$ は, 受検者 $j \in \mathcal{g}$ の答案 $e_{j}$ の集合であり, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の集合として, $\boldsymbol{U}=\left.\{U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義する. ここで $U_{j r}=-1$ は久測データを表す. 久測データは答案 $e_{j}$ にアノテータ $r$ が割り当てられていない場合に生じる．実際の採点場面では負担軽減のために，個々の答案に数名のアノテータを割り当てて採点が行われるため，このような欠測が生じる.

## 3 深層学習自動採点モデル

深層学習自動採点モデルは小論文答案の単語系列を深層学習モデルに入力することで得点を推定する手法であり，近年多くの手法が提案されている $[5,6,7,8]$. 本研究では Long short-term memory （LSTM）に基づくモデル [24] と Bidirectional Encoder Representations from Transformers (BERT) に基づくモデル $[25,26]$ を使用する.

LSTM に基づくモデル [24] は深層学習自動採点モデルの基礎モデルとして知られている。 このモデルでは，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して得点を予測する．LSTM は 3 層目の Recurrent Layer で用いられ, 得点予測に有効な特徵量を文脈を考慮して抽出する。

BERT に基づくモデル $[25,26]$ では, 答案の単語系列を入力し，中間表現を生成する。この中間表現を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する.

これらの深層学習自動採点モデルは, 一般に大量の採点済み答案データを訓練データとして用いてモデル学習を行う。具体的には，次式で定義される平均二乗誤差 (mean squared error：MSE）を損失関数として，誤差逆伝搬法で学習することが一般的である.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を表す。また，各答案に複数のアノテータが割り当てられている場合， $U_{j}$ にはアノテータが与えた観測得点の平均などを用いる。しかし，このような観測得点データはアノテータの特性に強く依存することが知られている [9]. そのようなバイアスデータをモデル学習に使用すると, 自動採点モデルにもアノテータの特性の影響が反映され，予測精度が低下してしまう $[10,11]$. 本研究では，この問題を解決するために IRTを用いる.

## 4 項目反応理論

IRT は，コンピュータ・テスティングの普及とともに近年様々な分野で実用化が進められている数理モデルを用いたテスト理論の一つである. 本研究では，小論文採点の文脈で利用できる宇都・植野のモデル $[15,16]$ を利用する.

宇都・植野のモデル $[15,16]$ では，受検者 $j \in \mathscr{g}$ の答案に対し，アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を光る確率が次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r m}\right)\right]}
$

ここで， $\alpha_{r}$ はアノテータ $r$ の採点の一貫性， $\beta_{r m}$ は得点 $m$ に対するアノテータ $r$ の厳しさを表す. ただし，パラメータの識別性のために， $\beta_{r 1}=0$ を仮定する. また, $\theta_{j}$ は受検者 $j$ の答案 $e_{j}$ に対応した潜在得点であり，アノテータバイアスの影響を取り除いた得点とみなせる. 本研究ではこの潜在得点を IRT 得点と呼ぶ.

## 5 IRT 得点を用いた自動採点手法

岡野・宇都 $[21,22,23]$ は上記の IRT モデルと自動採点モデルを組み合わせて用いる手法を提案した。 この手法では観測得点データ $\boldsymbol{U}$ から IRT 得点 $\theta_{j}$ を推定し，これを目的変数として自動採点モデルを学習する。以下で詳細を説明する。

モデル学習は, IRT モデルによる得点推定と自動採点モデルの学習の二段階で行われる. 具体的な手順は以下の通りである．1）アノテータが与える得点データ $\boldsymbol{U}$ から，アノテータの特性の影響を取り除いた各答案 $e_{j}$ のIRT 得点 $\theta_{j}$ を式 (2) の IRT モデルを用いて推定する．2）手順 1 で求めた IRT 得点 $\theta_{j}$ を予測するように自動採点モデルを学習する。具体的には損失関数を $\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}$ と定義し，誤差逆伝播法によりパラメータを学習す

る.ここで $\hat{\theta}_{j}$ は自動採点モデルの予測値を表す.

学習されたモデルを用いて新たな答案 $e_{j^{\prime}}$ の得点を予測する手順は以下の通りである．1）答案 $e_{j^{\prime}}$ の IRT 得点 $\theta_{j^{\prime}}$ を自動採点モデルを用いて予測する. 2) IRT 得点 $\theta_{j^{\prime}}$ とアノテータの特性パラメータを用いて，IRT モデルに基づく期待得点を以下の式で求め，この値を予測得点とする。

$
\hat{U}_{j^{\prime}}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

この手法を用いることで，アノテータのバイアスに頑健なモデル学習と得点予測が可能になった. しかし，モデル学習の手順 1 で行われる IRT 得点の推定にはアノテータが与える観測得点のみを用いており，答案文は情報として使用しない。一方で，答案文の内容自体も IRT 得点推定の有益な情報となりうるため，答案文の内容も加味するようにモデルを拡張することでこのアプローチの性能を更に向上できると予測される。

## 6 提案手法

以上を踏まえ, 本研究では, 深層学習自動採点モデルの出力層にアノテータの特性を考慮した IRT モデルを組み込み， end-to-end で学習できるように拡張した手法を提案する。具体的には，深層学習自動採点モデルの最終層にあたる Linear Layer with Sigmoid Activation を活性化関数を利用しない Linear Layer に変更し，その出力を式（2）における IRT 得点 $\theta_{j}$ とみなす手法を提案する。提案手法による LSTM と BERT に基づくモデルの概念図を図 1 に示す. 提案手法に基づくモデルの学習は end-to-end で行い，深層学習モデルのパラメータと同時に IRT のパラメータも推定する. 具体的には，以下の損失関数に基づき誤差逆伝播法でパラメータ学習を行う.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left[\frac{1}{n_{j}} \sum_{r=1}^{R}\left(U_{j r}-\hat{U}_{j r}\right)^{2} I_{j r}\right]
$

ここで， $I_{j r}$ は $U_{j r}=-1$ のときに 0 , それ以外のときに 1 を返す関数であり, 変数 $n_{j}$ は $n_{j}=\sum_{r=1}^{R} I_{j r}$ で定義される。また，学習されたモデルを用いて新たな答案 $e_{j^{\prime}}$ の得点を予測する手順は 5 章で説明した従来手法と同様である.

提案手法では，IRT 得点の推定にアノテータが与えた観測得点だけでなく答案の文章も活用できるため，従来の IRT モデルと比べて IRT 得点の推定精度が改善し, 本アプローチの性能が改善することが期

図 1 提案手法の概念図

待できる.

## 7 実データ実験

## 7.1 実データ

本実験では，自動採点モデルのベンチマークデータとして広く利用されている Automated Student Assessment Prize（ASAP）[27]を使用する。ASAP は 8 つのトピックに対する答案データと得点データで構成されている。ただし，ASAPにはアノテータの情報が含まれていないため，提案手法を直接は適用できない。そのため，新たにアノテータを雇用して ASAP の答案データを再度採点し，本実験で用いる得点データを収集した. 具体的には, 先行研究で予測精度が最も高かったトピック 5 の 1805 個の答案に対して，Amazon Mechanical Turk で募集した英語ネイティブ 38 名のアノテータを 1 つの答案あたり 3 5 名割り当てて ASAP と同様に 5 段階の採点を行った. 元データとの相関は 0.675 であった.

本研究では，異なるアノテータが採点したデータを元にモデル学習を行ったとしても安定した得点を予測できるモデルの実現を目指している。そのような評価を行うために本実験では，各答案に与えられた複数の観測得点からランダムに一つの得点データを残すことでアノテータの割り当てを変えた得点データセットを複数パターン用意する。ただし，訓練データ中の全ての答案に単一の得点のみが与えられている場合，アノテータの特性パラメータを同一尺度上で推定するために必要な等化が保証されない. そこで，訓練データ中の半分の答案は元の複数アノテータによるデータをそのまま使用し，残りの半分の答案にはランダムに選択した 1 名のアノテー
表 1 IRT 得点の推定精度評価結果

タの得点を残すようにデータを作成する．以上の手順で ASAP データセットから新たにアノテータの割り当てが異なる 10 個のデータセットを作成し，これらを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とした。

## 7.2 IRT 得点の推定精度評価

本節では，提案手法を用いることで，各答案に対する IRT 得点 $\theta$ の推定精度が向上するかを評価する. IRT 得点の推定精度は，アノテータが変わっても安定した得点が推定されている場合に高いと解釈できる $[21,22,23]$. そのため，アノテータの割り当て方が異なるデータセット $U_{n}^{\prime}$ を用いて各答案の IRT 得点 $\theta_{\boldsymbol{n}}$ を推定する操作を繰り返し行い，推定された値を比較することによって IRT 得点の推定精度を評価する。具体的には，次の手順に基づいて評価実験を行った．1） $n$ 番目のデータセット $\boldsymbol{U}_{n}^{\prime}$ の 4/5を訓練データとして，提案手法によりモデルの学習を行った. 2) 手順 1 で得られたモデルを所与として，データセット $\boldsymbol{U}_{n}^{\prime}$おける残り $1 / 5$ のテストデータに対して IRT 得点を推定した。3）以上を学習データとテストデータの切り分けを変えて 5 回繰り返すことで，全ての受検者の IRT 得点 $\theta_{\boldsymbol{n}}$ を求めた. 以上の操作を $n=\{1, \ldots, 10\}$ について行ったあと, $n$ 番目のデータセットから求めた $\boldsymbol{\theta}_{\boldsymbol{n}}$ と $n^{\prime}$ 番目の得点データセットから推定した $\boldsymbol{\theta}_{\boldsymbol{n}^{\prime}}$ との平均平方二乗誤差（Root Mean Square Error：RMSE），相関係数 (Correlation) $n \in\{1, \ldots, 10\}, n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を算出した.

以上の実験を複数の構成のモデルで行った. 具体的には，LSTM に基づくモデルにおける Convolution layer の有無が異なるモデル ( $「 \mathrm{CNN}-\mathrm{LSTM}\lrcorner と$ $\lceil\mathrm{LSTM}\lrcorner$ ）と BERT に基づくモデル（「BERT」）を用いた。また，比較のために，同様の実験を，答案の文章情報を利用しない式（2）の IRT モデル（「既存 IRT」）でも実施した。

実験結果を表 1 に示す. 全ての条件において提案手法のモデルが高い性能を示しており，IRT 得点の推定精度の改善に有効であることが確認できた.表 2 得点予測の頑健性評価結果

 &  \\

LSTM & $\mathbf{0 . 7 6 8}$ & 0.694 & 0.678 \\
BERT & $\mathbf{0 . 7 0 6}$ & 0.688 & 0.694 \\

LSTM & $\mathbf{0 . 9 4 5}$ & 0.926 & 0.903 \\
BERT & $\mathbf{0 . 9 3 1}$ & 0.923 & 0.920 \\

## 7.3 得点予測の頑健性の評価

本節では，提案手法を利用することで，評価者バイアスに頑健な自動採点モデルを学習できるかを評価する。本実験では，個々の答案を採点する評価者を変化させても，安定した性能の自動採点モデルを学習できるかによってこれを評価する。具体的には，手順 1 3 は前節と同様に行い，手順 3 で得られた IRT 得点 $\boldsymbol{\theta}_{\boldsymbol{n}}$ を所与として，式（3）を用いて予測得点 $\hat{U}_{\boldsymbol{n}}$ を求めた. この手順を，前節と同様に $n=\{1, \ldots, 10\}$ について行い, $\hat{\boldsymbol{U}}_{\boldsymbol{n}}$ と $\hat{\boldsymbol{U}}_{\boldsymbol{n}^{\prime}}$ との重み付きカッパ係数（Linear Weighted Kappa：LWK），相関係数を全ての組み合わせについて求め，それらの平均を算出した。

比較のために，5 章で説明した IRT 得点を用いてモデル学習を行う手法 (「IRT 得点を用いた手法」) と観測得点の平均値を用いてモデル学習を行う手法 （「観測得点を用いた手法」）を用いて同様の実験を行った.

実験結果を表 2 に示す。性能が最も高い結果を太字で示している．全ての条件において，提案手法のモデルが高い性能を示していることから，提案手法により自動採点モデルのアノテータバイアスに対する頑健性の向上が確認できた.

## 8 まとめ

本研究では，深層学習自動採点モデルとアノテー タの特性を考慮したIRT モデルを統合し， end-to-end でモデル学習を行う手法を提案した。また，実デー 夕実験により，IRT 得点の推定精度と自動採点モデルの得点予測精度が改善されることを示した。

今後は，様々なデータに適用し提案手法の有効性を評価する。また，より高精度の自動採点モデルに組み込むことでさらなる精度改善を目指す。

## 謝辞

本研究は JSPS 科研費 JP19H05663，JP20K20817， JP21H00898 の助成を受けたものです.

## 参考文献

[1] 河原宜央. 国語科の評価問題における記述式問題の採点過程に関する研究採点基準と採点答案の分析を通して. Technical report, 広島県立教育センター, 2017.

[2] 野澤雄樹. 記述式項目の使用に関する教育測定学的考察. 教育心理学年報, Vol. 58, pp. 131-148, 2019.

[3] 荒井清佳, 石岡恒憲. 小論文課題の複数人による採点の基礎的な分析: 採点者による得点の違いについて.大学入試研究ジャーナル, No. 26, pp. 53-58, 2016.

[4] 石岡恒憲. 記述式答案、AI 採点「ほぼ人間並み」12 万件で精度検証. 日本経済新聞。日経電子版. https://www.nikkei.com/ article/DGXZQOCD02D8Y0S1A201C2000000/, December 2021. (Accessed on 1/9/2022).

[5] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 6300-6308. International Joint Conferences on Artificial Intelligence Organization, July 2019.

[6] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, 2021.

[7] Paraskevas Lagakis and Stavros Demetriadis. Automated essay scoring: A review of the field. In Proceedings of the International Conference on Computer, Information and Telecommunication Systems, pp. 1-6, 2021.

[8] Dadi Ramesh and Suresh Kumar Sanampudi. An automated essay scoring systems: a systematic literature review. Artificial Intelligence Review, pp. $1-33,2021$.

[9] 宇都雅輝, 植野真臣. パフォーマンス評価のための項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[10] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[11] Stefanie A. Wind, Edward W. Wolfe, George Engelhard, Peter W. Foltz, and Mark Rosenstein. The influence of rater effects in training sets on the psychometric quality of automated scoring for writing assessments. International Journal of Testing, Vol. 18, pp. 27 -49, 2018.

[12] Jinchi Huang, Lie Qu, Rongfei Jia, and Binqiang Zhao. O2u-net: A simple noisy label detection approach for deep neural networks. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 33253333, 2019.

[13] Shikun Li, Shiming Ge, Yingying Hua, Chunhui Zhang, Hao Wen, Tengfei Liu, and Weiqiang Wang. Coupled-view deep classifier learning from multiple noisy annotators. In Proceedings of the AAAI Conference on Artificial Intel- ligence, Vol. 34, pp. 4667-4674, 2020.

[14] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. Heliyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[15] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Vol. 47, No. 2, pp. 469-496, May 2020.

[16] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[17] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[18] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp. 342-366, December 1999.

[19] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[20] 宇佐美慧. 採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル. 教育心理学研究, Vol. 58, No. 2, pp. 163-175, 2010.

[21] Masaki Uto and Masashi Okano. Robust neural automated essay scoring using item response theory. In Artificial Intelligence in Education, pp. 549-561. Springer International Publishing, 2020.

[22] 岡野将士, 宇都雅輝. 評価者バイアスの影響を考慮した深層学習自動採点手法. 電子情報通信学会論文誌 D, Vol. 104, No. 8, pp. 650-662, 2021.

[23] 岡野将士, 宇都雅輝. アノテータのバイアスを考慮した記述・論述式自動採点手法. 言語処理学会第 27 回年次大会, pp. 900-904. 言語処理学会, March 2021.

[24] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[25] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[26] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the International Conference on Computational Linguistics, pp. 6077-6088. International Committee on Computational Linguistics, 2020.

[27] Automated Student Assessment Prize. https:// www.kaggle.com/c/asap-aes/data. (Accessed on $1 / 11 / 2022$ ).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# テキスト平易化システムの分析的評価のための 平易化方略体系の構築

山口大地 ${ }^{1}$ 島田紗裕華 1 宮田玲 ${ }^{2}$ 佐藤理史 ${ }^{2}$
1 名古屋大学工学部 2 名古屋大学大学院工学研究科
yamaguchi.daichi@c.mbox.nagoya-u.ac.jp

## 概要

ニューラルネットワークを用いたテキスト平易化手法が盛んに研究されているが、実用化はあまり進んでいない。今後の研究・開発のさらなる発展のためには、現在の平易化技術にできること・できないことを分析的に把握するための評価ツールが必要である。本稿では、そのようなツールの一つとして、 どのような平易化操作がなされたかを分類するための平易化方略体系を、人手の平易化事例とシステム出力の分析に基づき構築した。また、この方略体系を用いて、人間と機械の差異を詳細に可視化できることを予備的に示した。

## 1 はじめに

テキスト平易化（text simplification, TS）とはテキストの主要な内容を保持しつつ、語彙や構造の複雑さを軽減することである。近年の TS システムは難解文から平易文への単一言語の翻訳問題として取り組まれ、ニューラルネットワークを用いた手法が盛んに研究されている。しかし、機械翻訳とは異なり、TS システムの実用化はあまり進んでいない。 $\mathrm{TS}$ システムの研究・開発のさらなる発展のためには、現在の TS 技術の限界を知り、人間の行っている平易化とのギャップを明確に把握することが重要である。

TS システムの評価には、SARI [1]、BLEU [2] Flesch-Kincaid Grade Level (FKGL) [3] といった自動評価指標が広く使われる。SARI と BLEU は人手による平易化参照文との N-gram に基づく一致度を用いた評価指標であり、FKGL は単語数と音節数を用いた評価指標である。この他にも、流暢性、妥当性、平易度 [4][5][6] といった側面を主観的な判断でスコア付けする人手評価が用いられることもある。これらはいずれもシステムの出力結果に対して、数値的
な評価を与えるものであり、TS システムにできること・できないことを分析的に評価する枠組みは十分に確立していない。

TS システムの分析的評価には大きく分けて、どのような変換操作がなされたかに関する方略分析とどのような誤りを含んでいるかに関するエラー分析があり、本稿では、主に方略分析を対象とする。既存の平易化研究では、書き換え操作として、言い換え、削除、分割の 3 つが認定されることが多い [7]。加えて文書レベルの平易化操作として文の並べ替えや統合が認定されることもある [8]。しかし、これらはテキストの表層的な操作を大まかに類型化したものであり、平易化固有の内容的変化を具体的に捉えるものではない。内容的な側面に踏み込んだものとしては、執筆者向けの平易化ガイドラインが多く作られてきたが [9]、これらも大まかな指針を示すに留まるものが多い。したがって、TS システムを評価するためのより詳細な平易化方略分析の枠組みが必要である。本稿では以下、平易化方略分析を可能とする方略体系の構築について報告した上で、人手事例とシステム出力の比較を行うことで人間と機械の平易化方略の違いについても予備的に観察する。

## 2 平易化方略体系の構築

初めに人手事例を分析することで平易化方略体系のプロトタイプを作成した。続いて、複数の TS システムによる出力結果を用いて、それらを網羅的に分類できるように体系の拡張・修正を行った。

## 2.1 人手事例分析による体系構築

分析対象として、Newsela [10] が公開するプロの編集者が文書単位で平易化を行ったニュース記事を用いた。まず、Newsela の記事の Popular のカテゴリ1)から、4 文書選定した。Newsela では文書ごとに

図 1 最小単位の書き換えへの分解例

4 段階の書き換えがなされている。オリジナルの文書を $\mathrm{Lv0}$ として最も平易な文書を Lv4 とする。隣接するレベルの文書ぺア全てに対して、手作業で文アラインメントを取り、合計 551 の難解文・平易文のペアを獲得した。次に図 1 のように、難解文から平易文に至る書き換えの過程を分解し、最小単位の書き換え事例を 1133 件得た。

これら全事例に対して、表層的方略（語や句、節といった文法的要素に対する置換や削除、追加といった形式的な操作）と内容的方略（平易化の観点からの意味・内容の変更操作）の 2 つの軸から分析した。筆者らが各事例に対するラベル付けとラベルのまとめ上げのサイクルを複数回繰り返すことで、 ボトムアップに平易化方略を体系化した。

## 2.2 システム出力を用いた体系修正

人手事例分析で構築した平易化方略体系のプロトタイプを TS システムの出力を使用して修正した。TS システムのモデルとして、Transformer $[11]^{2)} 、$ DRESS [12] 3)、SUC [13] 9 の 3つを用いた。いずれも学習データには Newsela コーパスを用いたが、アラインメントの方法含め、元の論文と同じ設定で実装しているため、実際に学習に使われたデータはそれぞれ異なるら)。

人手事例分析に用いた Lv0 と Lv1 の文書から、 Transformer 用に 166 文、DRESS 用に 38 文、SUC 用に 38 文を選定し、各システムで平易化を行った。

これらの出力の内、平易化によりテキストに変化が生じた 125 文に対して、最小単位の書き換えへの分解を行い、計 217 件の書き換え事例を獲得した。書き換えをプロトタイプの方略体系（表層的方略および内容的方略）を用いて分類し、分類できない事例があった場合には体系を修正した。

## 3 平易化方略体系

## 3.1 表層的方略

表 1 に表層的方略の大分類と中分類を示す。大分類は、操作の観点から置換、削除、追加、統合、分割、移動、変化なしの 7 種類に分かれる。変化なし以外は、操作対象の観点から細分化した中分類を持ち、合計で 21 の中分類に分かれる。置換、削除、追加に関しては、対称性を持たせるために、同一の対象群（記号、語、語句、節、文）を中分類として設定した ${ }^{6)}$ 。以下、大分類ごとに説明する。

置換難解文と平易文で対応が取れる場合は置換とする。例えば図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important は置換である。また置換される対象が句の場合は主要部が変化するという条件が加わる。よって video games $\rightarrow$ games は置換ではないが playing video games $\rightarrow$ video games は置換である。

削除難解文に平易文と対応の取れない部分がある場合は削除とする。また対応が取れた場合でも、書き換え前の従属部がなくなっているだけの場合は削除とする。例えば video games $\rightarrow$ games は削除である。

追加平易文に難解文と対応が取れない部分がある場合は追加とする。また対応が取れた場合でも、書き換え後に従属部が追加されているだけの場合は追加とする。例えば animals $\rightarrow$ small animals は追加である。

統合複数の難解文がそれより少ない数の平易文と対応を取れた場合は統合とする。しかし、文の主要部が含まれない場合は統合とはみなさない。 つまり、難解文の 2 文 In video games, working hard is not enough. You have to be smart, too. が平易文の 1 文 In video games, you also have to be smart. と対応の取れた場合は難解文の前者の主要部 working hard is not enough が含まれていないため、統合ではない。この場合は難解文の前者は文レベルで削除され、後者に

6）なお、記号置換と記号追加は分析事例中に存在しなかった。
表 1 表層的方略体系と検証用事例の分類結果

in video games を追加したという 2 ステップの書き換えとして、移動とはみなさない。

分割難解文の 1 文が 2 文以上の平易文と対応の取れた場合は分割とする。分割の際に必然的に伴う変更（主語の補完など）も分割操作に含める。

移動文中で語順が変わる場合と文書内で文の位置が移動する場合は移動とする。

変化なし難解文と平易文が同一の時は变化なしとする。

## 3.2 内容的方略

表 2 に内容的方略の大分類と中分類を示す。内容的方略は大分類として意味変化なし、内容削除、内容追加、内容変更、文書レベル調整の 5 種類に分かれる。それぞれが中分類を持ち、合計で 30 の中分類に分かれる。以下、大分類ごとに説明する。

意味変化なし書き換えによって意味が変化しない場合は意味変化なしとする。例えば、文頭の接続詞を副詞にするなど文法的により正しい標準的な表現に変更する場合（e.g. but $\rightarrow$ however）や難解文と平易文が同一の場合は意味変化なしに分類する。なお、類義語へ言い換える場合や代名詞を参照先の表現に言い換える場合、意味は変化するとして内容変更に分類する。表 2 内容的方略体系と検証用事例の分類結果

内容削除書き換えによって内容が削除される場合は内容削除とする。例えば、修飾要素が削除される場合（e.g. the delicious pizza $\rightarrow$ the pizza）や図 1 の shows you that $\rightarrow$ shows that の書き換えは内容削除に分類される。中分類の主要情報の削除は人手の分析データ中には存在しなかったが、TS システムの出力を扱うために追加した項目である。

内容追加書き換えによって内容が追加される場合は内容追加とする。例えば、後に記述される内容の理解を促す前置きを追加する場合 (e.g. $\phi$ $\rightarrow$ Chocolate chip cookies seem like they've been around forever.) や記述された内容についての補足説明を追加する場合 (e.g. $\phi \rightarrow$ A billion is a thousand million.) を含む。

内容変更書き換えによって内容が変化する場合は内容変更とする。例えば、冗長性を排した簡潔な表現に変更する場合 (e.g. a plant called the coca plant $\rightarrow$ the coca plant) や図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important $の$ 書き換えは内容変更に分類する。
表 3 システム（Transformer モデル）の出力例と人手参照文

 \\
参照文 1 &  \\

出力 2 & to succeed in video games, you can not just work harder . \\
参照文 2 & In video games, working harder is not enough. \\

出力 3 & they give you many different ways of dealing with problems. \\
参照文 3 & They give you lots of different problems with several solutions.

文書レベル調整文の位置が文書内で移動する場合や他の書き換えの影響で変更が生じる場合（e.g.前の文が削除されたことで参照するものが不明になった代名詞を参照先の表現に言い換える場合) は文書レベル調整とする。

## 4 人手事例とシステム出力の比較

構築した平易化方略を用いて、人手事例と TS システム出力の予備的な比較分析を行う。TS システムのモデルは Transformer のみを対象とし、2.2 節で用いた 166 文を検証対象文とする。比較のため、人手事例もこの 166 文に限定した。また最小単位の書き換えを事例とするだけでなく、書き換えが生じなかった文もそれぞれ 1 事例とした。表 1 と表 2 に、人手事例とシステム出力の事例数の統計を示す。

## 4.1 表層的方略

表 1 から、システムは追加、統合、分割、移動がほとんどできていないことがわかる。また、システムの主な方略は削除であり、特に節削除を多く行っていることがわかる。これは、文単位でのみ対応付けられた学習データの構造に起因すると考えられる。例えば、原文 I bought an apple and ate it. が人手事例では I bought an apple. と I ate it に分割されたとする。現在の学習データでは、原文に対して、2 つの文が別々にアライメントされている。これにより、表 3 の出力 1 のように人手の場合には分割するような文に対して TS システムが大幅な削除を行っている可能性がある。

また、置換の方略については、語や語句を対象としたものが多いことがわかる。表 3 の参照文 2 のような比較的大きな変化を、システムではうまく学習できておらず、局所的な書き換えに留まる。

## 4.2 内容的方略

表 2 から、システムは意味変化なし>構造の変換の事例数が、人手と比べて少ないことがわかる。人手事例では、構造の変換は主に分割によるものが多く、先にも述べたように、システムは分割操作を十分学習できていない。

それに対して、内容削除の件数は多い。ただし、 これらの削除が平易化の観点から妥当であるかは不問としている。システムのみに存在する、内容削除 $>$ 主要情報の削除の事例は、表層的方略の節削除とも対応した、大幅な削除操作である。表 3 の出力 1 は、文単位では情報を簡略化した事例ともみなせるが、文書全体を考慮すると情報が削除されすぎている。現在は、平易化方略に含めてはいるが、本来はエラーとみなすべきものある。

システムは内容追加がほとんどできていない。表 3 の参照文 1 の $\phi \rightarrow$ To find out whether other animals laugh and play のように、内容追加のためには文脈情報が必要となる場合は多い。今回使用したモデルは、文脈を考慮しない手法であるため、このような書き換えは原理的に難しい。

内容変更>類義語への言い換えは比較的件数が多い。表 3 の出力 3 の、lots of $\rightarrow$ many のような局所的な書き換えはある程度できていることがわかる。しかし、説明的な表現への言い換えなどの外部知識を使うような高度な内容変更はできていない。

## 5 おわりに

本研究では人手で平易化されたテキストとテキス卜平易化システムの出力を分析し、表層的方略と内容的方略の 2 つの軸からなる平易化方略体系を構築した。体系構築に利用した事例を用いて、人間と機械の平易化事例を予備的に分類し、方略体系がシステムの分析的評価の枠組みとして利用できることを確認した。今後は複数の TS システムを対象に、未知のデータを用いて本評価を行う予定である。そして、現在のテキスト平易化技術の限界と可能性を緻密に見極めながら、技術の改良を目指す。

## 謝辞

本研究は科研費（課題番号：19K20628, 19H05660）

および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。 Newsela からニュース記事のコーパスを提供いただいた。

## 参考文献

[1] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[2] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Institute for Simulation and Training, No. 56, 1975.

[4] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 162-173, 2018.

[5] 加藤汰一, 宮田玲, 佐藤理史. 説明文を対象とした日本語文末述語の平易化. 情報処理学会論文誌, Vol. 62, No. 9, pp. 1605-1619, 2021.

[6] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, 2021.

[7] Lijun Feng. Text simplification: A survey. The City University of New York, Technical Report, 2008.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Cross-sentence transformations in text simplification. In Proceedings of the 2019 Workshop on Widening NLP, pp. 181-184, 2019.

[9] Mitkov Ruslan and Štajner Sanja. The fewer, the better? A contrastive study about ways to simplify. In Proceedings of the Workshop on Automatic
Text Simplification - Methods and Applications in the Multilingual Society, pp. 30-40, 2014.

[10] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[11] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, Online, 2020.

[12] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Proceedings of the $\mathbf{2 0 1 7}$ Conference on Empirical Methods in Natural Language Processing, pp. 584-594, 2017.

[13] Renliang Sun, Zhe Lin, and Xiaojun Wan. On the helpfulness of document context to sentence simplification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1411-1423, 2020.


# 単語属性変換で作成した 疑似負例データを用いた自動機械翻訳評価

高橋 洸丞 ${ }^{1}$ 石橋 陽一 1 須藤 克仁 1,2 中村 哲 1
1 奈良先端科学技術大学院大学 2 科学技術振興機構さきがけ
\{takahashi.kosuke.th0, ishibashi.yoichi.ir3, sudoh, s-nakamura\}@is.naist.jp

## 概要

本研究では、誤りを含む文の評価に対して評価性能の向上を狙って、WMT の metrics shared taskコー パスに含まれる単語属性を反対のものへ変換することで疑似負例データを作成し、疑似負例データで評価モデルの追加学習を行った。

その結果、提案手法は 20 年度の metrics コーパスにてコーパス全体での人手評価とのピアソンの相関係数が向上した。また事例分析では、提案手法が評価スコアの決定時に原言語文の内容との合致率をより重要視している傾向が見られた。

## 1 はじめに

近年の自動評価モデルは多くがBidirectional Encoder Representations from Transformers (BERT) [1] という大規模な言語モデルを利用したものである。 BERTscore[2]、BLEURT[3]、C-SPEC[4]、COMET[5] などは BERT をエンコーダとして使用しているモデルで、 20 年度の WMT 評価用タスクの metrics shared task にて人手評価との高い相関を記録した。しかし、[4] で述べられているように BERT をべースとした評価手法は、品質が悪く人手評価のスコアが低い翻訳文に対して相関が低くなる。そこで [6] は低品質な翻訳文の評価を向上させるために、独自の人手評価の基準を設けて新たな人手評価が付けられたコーパスを作成した。

本研究は、低品質な翻訳文に対する評価性能を向上させるため、[6] とは異なり、疑似的な誤りを含む翻訳文コーパスを作成する。そしてどのような疑似的な誤りを作るのかを決めるために、低品質な翻訳文とその評価誤りの関係について、17 年度の WMT metrics shared task において、事前に BLEURT と C-SPEC を用いた評価実験をした。その結果、人手評価とのピアソンの相関係数を著しく下げる事例の多くは表 1 のように、名詞の翻訳誤りと述語構造の誤りに由来するものであった。そこで、本研究では名詞の評価誤りを改善するために、疑似的に誤った名詞また動詞を含むコーパスを作成する。疑似負例データの作成は [7] の手法に従い、単語の属性変換モデルを反対の意味・属性を持つ名詞そして動詞に適用することで、本来の翻訳文に含まれる単語とは逆の意味の単語に置き換わるように設定する。提案する評価モデル (C-SPECpn : Cross-lingual Sentence Pair Embedding Concatenation fine-tuned on pseudo-negatives) は、学習済みの C-SPEC を作成した疑似負例データで追加学習したものである。

## 2 関連研究

機械翻訳に向けた自動評価システムは多くが WMT の metrics shared task のコーパスを用いて、訓練や評価性能の評価を行う。このワークショップが他の評価タスクと異なる特徴的な点は、大量の人手評価が機械翻訳文につけられているところであり、提出された評価システムの良し悪しが、人手評価との相関の高さによって決められる。人手評価には 2 種類の手法が取り入れられており、 DA(Direct Assesment)[8] が WMT15-20 の翻訳結果に、 MQM(Multidimensional Quality Metrics)[9] が WMT20 の翻訳結果にアノテーションされている。DA は 0-100 の整数值で参照訳文に対して翻訳文の出来を評価する手法で、高性能な翻訳システムの評価には信頼性が欠けるとされている [10]。一方で MQM は翻訳誤りの種類や程度を誤翻訳されている箇所にアノテーションし、その誤りの種類や程度によって各翻訳文の評価スコアを決定する。

近年、WMT の評価タスクで人手評価と高い相関を示した BLEURT[3]、C-SPEC[4]、COMET[5] などは、DA や文単位の MQM などの人手評価を学習に際して必要とする。これらの評価モデルは訓練済

みの BERT モデルをエンコーダとして用いて、参照訳文やシステム訳文は文単位の分散表現に符号化し、線形層を通してスコアを出力する。この内、 C-SPEC と COMET は参照訳文に加えて原言語文もシステム訳文の評価に使用することで評価性能を向上させるように設計されている。BLEURT も同様に 21 年度 WMT で提出されたモデルでは原言語文を扱うように変更されている。

## 3 提案手法: C-SPECpn

提案手法の評価モデルは C-SPEC と同じモデル構造で、BERT 系モデルとして XLMRoBERTa[11]を使用する。対となる原言語文と参照訳文そしてシステム訳文が、システム訳文-原言語文、システム訳文-参照訳文の 2 つのペアとしてそれぞれ XLMRoBERTa に入力され、文対の分散表現 (ベクトル) に落とし込む。次に得られた 2 つのベクトルを結合し、多層パーセプトロンにより回帰の形で最終的な評価スコアを出力する。訓練時は、WMT15-20で人手評価として採用されているDAを標準化したものを教師データとし、平均二乗誤差 (MSE : Mean Squared Loss) によりモデルのパラメータをアップデートする。

具体的な評価モデルの訓練は次のような 4 ステップに分けて実行した。また、各評価ステップの始めでは、多層パーセプトロンのパラメータをランダムに初期化しており、次の訓練ステップに引き継がれるのは XLMRoBERTa のパラメータのみである。

訓練ステップ 1 WMT15-16の人手評価である DAコーパスで訓練を行う。この訓練ステップは、評価モデルの性能を安定させることを目的としており、WMT15-16 は機械翻訳の性能があまり高くないので DA に含まれるノイズの影響が小さく、学習時
のMSE ロスが低くなりやすい。

訓練ステップ 2 WMT15-17、WMT18-20、WMT1520 の 3つのコーパスからいずれかの DA が付与されたデータで、再度評価モデルの追加訓練を行う。3 つのコーパスに条件を分けた理由は、2018 年度以降の DA データはノイズを多く含むと、[3] にて述べられており、ノイズを含む可能性のある 2018 以前と以降で評価モデルの比較をするためである。

訓練ステップ 3 3つ目の訓練ステップでは、作成した負例コーパスで回帰ではなく分類問題としてモデルの追加訓練をする。

訓練ステップ 4 WMT20 年度の MQM と呼ばれる人手評価が付与された文単位のデータに対して追加訓練を行う。

## 3.1 単語の属性変換による負例コーパスの 作成

鏡映変換に基づく埋め込み空間上の単語属性変換 [12]を用いてデータ拡張を行った。この手法は、2 つの MLP のパラメータにより決定される、単語の埋め込み空間中の鏡面により、単語の属性に関わる前知識なしで、特定の属性を持つ単語を反対の意味を持つ単語へ変換するものである。例えば、queen という単語の性別属性を反転させると king という単語に変換することが可能である。また、ターゲットの属性を持たない単語の場合、その単語は変化せず、apple に対して性別属性で単語属性変換を適用しても、apple が出力される。

そして、本研究では負例データの作成時に、性別と対義関係の 2 つの属性で、名詞や動詞と辞書に登録された単語を逆の属性を持つ単語に変換する。単語の属性変換は、2つ目の訓練ステップで使用されたコーパス内の英語の参照訳文において、全ての文
中に含まれる単語について適用する。例を挙げると、ある参照訳文 “It is our duty to remain at his sides", he said, to applause. に対して対義関係の属性変換を実行すると、“It is our duty to change at his sides", he said, to whisper. という文が得られ、remain $\rightarrow$ change 、 applause $\rightarrow$ whisper と変換されている。そして、参照訳文中に一つもターゲットの属性を持つ単語が存在しない場合、その参照訳文は一切変化が加えられないため、負例コーパスから排除した。

## 3.2 負例コーパスでの追加訓練

作成した負例データには人手評価のスコアがついていないため、それまでの訓練ステップ $1 、 2$ と同様な訓練を行うことができない。そこで本研究では、 3 種類のシステム訳文の条件を設定し、分類問題として評価モデルの追加訓練を行う。それぞれの条件における評価モデルの真の入力は以下の通りであり、訓練時の評価モデルは、入力がこれらの内どれに当てはまるのかを学習していく。

1. システム訳文-原言語文、システム訳文-参照訳文 (変化なし)

2. 参照訳文-原言語文、参照訳文-参照訳文 (参照訳文に置き換え)

3. 負例文-原言語文、負例文-参照訳文 (負例文に置き換え)

分類カテゴリ 2 では、 18 年度以降は高性能な翻訳システムによる翻訳文が多く、システム訳文が正解に近い場合でも、評価モデルが些細な違いを識別できるように、正解訳文同士の入力ペアを導入した。また、分類問題の設定が簡単で分類の正解率が高く、訓練ステップ 2 のコーパスにおける過学習を防ぐために、各負例文は一度のみ学習に用いた。

## 4 WMT20 年度 MQM コーパスでの 実験

評価実験は WMT20 の文単位 MQM コーパスの内、全体の 10\%で行われた。ただし、予め訓練に使用された DAコーパスと重複しないようにした。実験結果は、評価モデルのスコアと人手評価とのピアソンの相関係数をまとめたものである。

## 4.1 実験結果

評価モデルごとの実験結果を表 2 に示す。C-SPEC と比べて、C-SPECpn の WMT15-17、WMT18-20で訓練されたモデルの方がピアソンの相関係数が高くなった。そして、3つの訓練コーパスでは WMT18-20 で訓練されたモデルが最も高いピアソンの相関係数を記録した。一方で、WMT15-20 で訓練された C-SPECpn は C-SPEC に及ばない結果となった。これは WMT15-20 がコーパスサイズが大きく、負例データも同様に大きくなるので、モデルが過学習をしてしまったのではないかと推察する。

## 4.2 人手評価の値域ごとのピアソンの相関係数

本研究の目的であった低品質なシステム訳文への提案手法の有効性を調べるために、 5 段階に人手評価のスコアを分け、それぞれの值域でピアソンの相関係数を算出した。その結果を図 1 に示す。提案モデルの C-SPECpn は、[-25,-20)、[-10,0)の区間において C-SPEC よりも高い相関係数を記録した。このことから、作成した負例データによる追加訓練は、深刻な誤りを含むシステム訳文や、軽度な誤りを含むシステム訳文に対して、評価モデルの頑健性を高めることが示唆される。また、 21 年度の WMT metrics shared task[13] では、システム評価や文単位の評価においてトップを争う結果を記録した。

## 5 WMT21 年度 challenge set での事例分析

これまでの実験結果に加えて、WMT21 年度の評価用 challenge set タスクにおける C-SPECとCSPECpn の比較を事例分析により行った。 challenge set とは、特定の翻訳誤りに対して評価モデルの性能を比較するためのタスクで、文意の極性変換、誤りを含む参照訳、また独英間の翻訳で発生する翻訳誤りを集めたものである [13]。

評価事例の一部を表 3 に示す。C-SPECpn は分類問題を追加で訓練しているので、C-SPEC とは出力の値域が異なり、人手評価が公開されていないので判断が難しいが、C-SPECpn は C-SPEC よりも原言語文との類似度が高そうなときにスコアが高くなる傾向があった。例文 1 は参照訳が誤っている例で、参照訳文に the flooding という名詞が出現しているが、原言語文では水という表現に留まっている。このとき、システム訳文に対して、C-SPECpn は C-SPEC よりも高いスコアをつけている。また例文 2 は独英間の翻訳で起こる翻訳誤りの例で、原言語文の konntet が翻訳されずにそのままシステム訳文に出現しているが、C-SPECpn は C-SPEC よりも
表 2 WMT20 MQM コーパスでのピアソンの相関係数。C-SPEC は負例データなし、C-SPECpn は負例データありで学習したモデル。en-de は英語からドイツ語、zh-en は中国語から英語へ翻訳されたデータ。avg は en-de、zh-en のピアソンの相関係数の平均、all は2つの言語対をまとめてコーパス全体でのピアソンの相関係数を示している。

人手評価の値域と文量

$\neg$ C-SPEC $\oplus$ C-SPECpn $\_$BLEURT

図 1 人手評価の值域におけるピアソンの相関係数。值域の下にはその値域に含まれる文の数が記されている。C-SPEC、 C-SPECpn は共に WMT18-20 で訓練されたモデル、BLEURT は WMT15-19 で訓練された配布モデルを使用した。

高いスコアを出力している。

表 3 WMT21 challengeset での評価結果の例。

## 6 おわりに

本研究では、単語の属性変換を用いて疑似負例データを作成し、疑似負例データで評価モデルを追加訓練することで、評価性能が一部向上することを示した。また事例分析では、提案モデルである C-SPECpn は評価に際してより原言語文に重きを置いた評価となることがわかった。

## 剆辞

本研究は JST さきがけ (JPMJPR1856) の支援を受けたものである。また全ての実験は JST さきがけの支援の元で理研の miniRAIDEN を用いて行われた。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. As-
sociation for Computational Linguistics.

[2] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[3] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[4] Kosuke Takahashi, Katsuhito Sudoh, and Satoshi Nakamura. Automatic machine translation evaluation using source language inputs and cross-lingual language model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3553-3558, Online, July 2020. Association for Computational Linguistics.

[5] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[6] Sudoh Katsuhito, Takahashi Kosuke, and Nakamura Satoshi. Is this translation error critical?: Classificationbased human and automatic machine translation evaluation focusing on critical errors. In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 4655, Online, April 2021. Association for Computational Linguistics.

[7] 石橋陽一, 須藤克仁, 中村哲. 単語属性変換による自然言語推論データの拡張. 言語処理学会第 26 回年次大会発表論文集, 2021.

[8] Yvette Graham, Timothy Baldwin, and Nitika Mathur. Accurate Evaluation of Segment-level Machine Translation Metrics. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[9] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[10] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation, 2021.

[11] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[12] Yoichi Ishibashi, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Reflection-based word attribute transfer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research
Workshop, pp. 51-58, Online, July 2020. Association for Computational Linguistics.

[13] Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, and Ondřej Bojar. Results of the WMT21 metrics shared task: Evaluating metrics with expert-based human evaluations on TED and news domain. In Proceedings of the Sixth Conference on Machine Translation, pp. 733-774, Online, November 2021. Association for Computational Linguistics.


# QENTS：テキスト平易化の品質推定のためのデータセット

廣中勇希 ${ }^{\dagger}$ 井川朋樹 梶原智之ま 二宮崇
$\dagger$ 愛媛大学工学部情報工学科 $¥$ 愛媛大学大学院理工学研究科
\{hironaka, ikawa\}@ai.cs.ehime-u.ac.jp \{kajiwara, ninomiya\}@cs.ehime-u.ac.jp

## 概要

本研究では，テキスト平易化の品質推定のための英語データセットを構築し，公開した. 本タスクにおける既存のデータセットには，数百文と小規模であり，また現在主流である深層学習に基づくテキスト平易化モデルを対象としていないという課題があった. 我々は，深層学習に基づく手法を含む 9 種類の代表的なテキスト平易化モデルを対象に， 10,770 文に対して文法性 - 同義性 - 平易性 - 総合評価の人手評価を行い，これらの課題を解決した。

## 1 はじめに

テキスト平易化 [1] は，意味を保持したまま難解な文法的表現や語句を平易に変換するタスクである. 自動的な文の平易化システムは，子どもや語学学習者などの学習支援や読解支援に貢献する。

テキスト平易化モデルの品質は, 文法性・同義性・平易性の観点からの人手評価や参照文に基づく SARI [2] などの自動評価によって評価されている. しかし，前者にはコストや再現性の課題があり，後者には人手評価との相関が低いという課題がある. また，実世界においてテキスト平易化モデルが使用される際には使用者は参照文を持っていない場合が多く，SARI などの参照文に基づく自動評価は活用できない。このような背景から，参照文を用いないテキスト平易化の品質推定 [3-5] が研究されている.

2016 年に開催された Shared Task on Quality Assessment for Text Simplification (QATS) [3] では，テキスト平易化の品質推定のためのデータセットが構築された. QATS データセットでは，631 文の英語文とそれに対応する平易化モデル [6-10] の出力文に対し $\tau$, 文法性 - 同義性 - 平易性 - 総合評価の 4 観点から $\mathrm{Good} \cdot \mathrm{OK} ・ \mathrm{Bad}$ の 3 段階の人手評価が付与されている. テキスト平易化の品質推定に関する以降の研究 $[4,5]$ では QATS データセットが用いられてい
るものの，小規模である点および現在主流となっている深層学習に基づくテキスト平易化モデルが対象となっていない点の 2 点から, QATS データセットは近年のテキスト平易化モデルのための品質推定には適していないと考えられる。

本研究では，これらの課題を解決するテキスト平易化の品質推定のための新たなデータセット QENTS $^{1)}$ (Quality Estimation for Neural Text Simplification) を構築し， BERT [11] による品質推定のベンチマークを行う．本データセットは，深層学習に基づく手法を含む 9 種類のテキスト平易化モデルを対象に，10,770 文対の英語文とシステム出力文について, 文法性・同義性・平易性・総合評価の 4 観点から 4 段階で人手評価値を付与したものである.

## 2 関連研究

難解な英文と平易な英文の文対 [12]を用いて，系列変換タスクとしてのテキスト平易化の研究が行われている。2010 年から 2016 年ごろまで，フレー ズベース統計的機械翻訳 [13] に基づくテキスト平易化 [7,14-16] が研究された. ニューラル機械翻訳 [17] の成功を受け，2017 年から深層学習に基づくテキスト平易化 [18-20] が研究されている. 近年は，Transformer [21] に基づくテキスト平易化 [22,23] が主流となっている. QATS データセット [3] では, フレーズベース統計的機械翻訳に基づく初期のテキスト平易化モデル [7] を対象に人手評価を実施しているため，深層学習に基づく近年のテキスト平易化モデルの品質推定には適していないと考えられる。本研究では，深層学習に基づく手法を含む代表的なテキスト平易化モデルを対象に人手評価を行い，大規模な品質推定のデータセット（表 1）を構築する.品質推定の先行研究としては, QATS データセット [3] を用いて，サポートベクトルマシンやリッジ回帰などの機械学習に基づくテキスト平易化の品質

推定モデルが訓練されている．Kajiwara and Fujita [4] は，単語分散表現 [24] に基づく素性抽出を行い， $\mathrm{Good} \cdot \mathrm{OK} \cdot \mathrm{Bad}$ の 3 クラス分類としての品質推定を行った. Martin et al. [5] は，BLEU [25] などの機械翻訳の評価指標や FKGL [26] などのリーダビリティ指標に基づく素性抽出を行い，回帰モデルとしての品質推定を行った. 本研究では, QENTS データセットのベンチマークとして, 先行研究 [5] の適用に加えて，深層学習に基づく強力なベースラインである BERT [11] による回帰モデルの性能を調査する.

## 3 データセットの構築

## 3.1 対象とするテキスト平易化モデル

本研究では，2 節で紹介した代表的なテキスト平易化モデルのうち，以下の 9 種類を用いて品質推定のためのデータセットを構築する.

フレーズベース統計的機械翻訳（PBMT）に基づく手法のうち，PBMT-R [15] および Hybrid [16] の 2 モデルを用いる. PBMT-R は，PBMT モデルの出力を入力文との非類似度によってリランキングする手法である. Hybrid は，文分割などの前処理を行った後に PBMT モデルによる平易化を行う手法である.

RNN ベースのニューラル機械翻訳に基づく手法のうち, EncDecA [18]$\cdot$DRESS [18] $\cdot$ S2S-All-FA [19]$\cdot$ EditNTS [20]の 4 モデルを用いる. EncDecA は，注意機構によるニューラル機械翻訳モデル [17] に基づく手法である. DRESS は, EncDecA モデルを強化学習によって再訓練する手法である. S2S-All-FA は, EncDecA モデルの出力を単語難易度によってリランキングする手法である. EditNTS は，単語の追加・削除・保持の明示的な編集操作を RNNによって推定する編集べースの手法である。

Transformer ベースのニューラル機械翻訳に基づく手法のうち， Transformer [23]$\cdot$DMASS [22]$\cdot$ BERT [23] の 3 モデルを用いる. Transformer は，自己注意機構によるニューラル機械翻訳モデル [21] に基づく手法である．DMASS は，Transformer モデル
に言い換え知識 [27]を統合した手法である．BERT は， Transformer モデルの符号化器として事前訓練された BERT [11]を用いる手法である.

全てのモデルは Newsela コーパス [12]を用いて訓練されている. PBMT-R・Hybrid ・ EncDecA・DRESS の 4 モデルは, Zhang and Lapata [18] によって公開2)されている出力文を用いた. S2S-All-FA および DMASS は, Kriz et al. [19]によって公開3)されている出力文を用いた. EditNTS は, Dong et al. [20] によって公開4)されている出力文を用いた. Transformer および BERT は， Jiang et al. [23] によって公開5)されている出力文を用いた.

## 3.2 人手評価のアノテーション

Newsela コーパス $[12,18]$ の評価用データ 1,077 文に対応する，3.1 節で述べた 9 種類のテキスト平易化モデルによる出力文および参照文の合計 10,770 文について，文法性・同義性・平易性・総合評価の 4 観点の人手評価を行う．以降では，Newselaコーパスに含まれる入力文を難解文，テキスト平易化モデルによる出力文および Newsela コーパスに含まれる参照文を平易文と表記する．以下に評価基準を示す。

文法性平易文の文法的な正しさを評価する。 $\mathrm{Xu}$ et al. [2] の人手評価の基準（4. 文法的である， 3. 1-2 件の文法誤りを含む，2. 複数件の文法誤りを含む，1. 文法的ではない）に従って 4 段階評価した.

同義性難解文と平易文の間の意味的な等価性を評価する. Xu et al. [2] の人手評価の基準（4. 同一, 3. わずかに異なる，2. 異なる，1. 大幅に異なる）に従って 4 段階評価した.

平易性難解文と比較した際の平易文の理解しやすさを評価する．文法性や同義性と同様に，4 段階 （4. 理解しやすい，3. わずかに理解しやすい，2. 変化なし，1. 理解しにくい）で評価した.

表 2 Quadratic Weighted Kappa によるアノテーションの一致率

総合評価文法性・同義性・平易性の 3 つの評価を踏まえて，4段階で総合評価を行った.

クラウドソーシングの Amazon Mechanical Turk ${ }^{6)}$ を用いて，評価者を雇用した. データセットの品質を担保するために，US 在住者のうち，質の高い回答を行う Master 資格を保有し，過去のタスク承認率が $95 \%$ 以上の評価者を採用した. また， 10 文× 3 モデル（PBMT-R・DRESS・参照文）の小規模な予備アノテーションを実施し, 10 人の評価者候補のうち外れ値となる 2 人を除外した. 残りの 8 人の評価者候補の中から 1 人の評価者を選び， 10,770 文の全体のアノテーションを依頼した. なお，評価者には時給 7.5USD と見積もり合計 700USD の報酬を支払った.

## 3.3 アノテーションの信頼性評価

3.2 節の人手評価は 1 人の評価者（評価者 A）が行ったため, 本節ではアノテーションの信頼性を評価する。同じくAmazon Mechanical Turkを用いて， 3.2 節の条件を満たす評価者を新たに 3 名（評価者 $\mathrm{BCD}$ ）雇用し, QENTS データセットの一部（10 文 × 10 モデル）へのアノテーションを追加で行った. そして, Quadratic Weighted Kappaを用いて, 評価者間のアノテーションの一致率を計算した。

表 2 に評価者間の一致率を示す. 文法性・同犠牲・平易性においては， $K>0.6$ の substantial agreement を確認できた. 総合評価については $0.4<K<0.6$ の moderate agreement も含まれるが，4つの観点をまとめた全体の一致率としては全評価者間で substantial agreementが得られた. この結果から, テキスト平易化の人手評価は評価者間の摇れが少なく, 3.2 節のアノテーションも充分に一般的な評価だと言える.

## 4 アノテーション結果の分析

## 4.1 テキスト平易化モデルの品質

表 3 に，各テキスト平易化モデルの人手評価および自動評価の結果を示す. 自動評価には，テキス卜平易化の研究においてよく使用される SARI [2]・
BLEU [25]・FKGL [26] を用いる．また，変換の非積極性を表す selfBLEU（大出力間の BLEU）も用いる.初期のモデル（PBMT-R および EncDecA）は selfBLEU が高く, 入力文の大部分を出力文にコピー している。これらは同義性が高いものの, 平易性が低くFKGLが高いため, 平易な出力とは言えない.

対照的に，近年の RNN ベースのモデル（S2S-AllFA および EditNTS）は，同義性は低いものの，平易性が高くFKGL が低いため, 平易な出力を行っている.これらは参照文と似た傾向であると言える。

高度な訓練を行ったモデル（強化学習の DRESS および転移学習の BERT）は, 最も高品質なモデルであると言える.これらは文法性が高く, 参照文と同程度の同義性を持ちつつ, 平易性も比較的高い.

## 4.2 自動評価と人手評価の相関

表 4 に，自動評価と人手評価の間のピアソン相関係数を示す.テキスト平易化の自動評価に最もよく用いられる SARI は，平易性との正の相関を持つものの, 文法性とは無相関であり, 同義性および総合評価とは負の相関を持つことが明らかになった. SARI は消極的な変換にペナルティを与えるため，同義性の人手評価とは対照的な挙動が見られた.

テキスト平易化の自動評価の文脈では否定的に語られることの多い BLEU は，本研究においては全ての人手評価の項目において正の相関が見られた。これは, BLEUと人手評価の相関が低いと報告している先行研究 $[2,28]$ が Simple Wikipedia に基づくデータセットを用いている一方で, 本研究は Newsela を用いていることが要因と考えられる. Simple Wikipedia が平易に記述されていないことは先行研究 [12] でも指摘されており, Zhang and Lapata [18] の人手評価においても, Simple Wikipedia の参照文は低い平易性と高い同義性を持ち, Newsela の参照文は高い平易性と低い同義性を持つことが報告されている. Newsela のような平易な参照文に対しては，BLEUによる自動評価が人手評価との良い相関を持つと言える.

6) https://www.mturk.com/
表 3 テキスト平易化モデルの人手評価と自動評価の結果

表 4 自動評価と人手評価のピアソン相関係数

## 5 品質推定の実験

本研究で構築した QENTS データセットを用いて， テキスト平易化モデルの文単位の品質推定を行う。

## 5.1 実験設定

データセットは，8,770 件（877 文× 10 モデル）の訓練用データ， 1,000 件（100 文× 10 モデル）ずつの検証用データおよび評価用データに分割して実験した. 本実験では，文法性・同義性・平易性・総合評価の項目ごとに回帰モデルを訓練した. 品質推定モデルの性能は，モデルが推定した評価値と人手評価値の間のピアソン相関係数を用いて自動評価した。

ベンチマークとして，既存の品質推定モデル （Martin-2018） [5] と BERT [11] による品質推定モデルの性能を比較した. Martin-2018 モデルは, EASSE$^{7}$ [29] を用いて実装した. BERT モデルは， HuggingFace Transformers ${ }^{8}$ [30]を用いて実装した. バッチサイズは 32 , 学習率は $5 \mathrm{e}-5$, 最適化手法は Adam を用いて，30 エポックの訓練を行った。

7) https://github.com/feralvam/easse

8) https://huggingface.co/bert-base-uncased表 5 品質推定の実験結果（ピアソン相関係数）

## 5.2 実験結果

実験結果を表 5 に示す. 文法性・同義性・平易性・総合評価の全項目において，BERT による品質推定モデルが先行研究 [5] の性能を大幅に上回った.

## 6 おわりに

本研究では，現在主流の深層学習に基づくテキスト平易化モデルの品質推定を実現するために，品質推定モデルを訓練および評価するための大規模なデータセットを構築した．深層学習モデルを含む 9 種類のテキスト平易化モデルの出力文および人手で平易化された参照文を対象に，10,770 文に対して，文法性・同義性・平易性・総合評価の 4 つの観点から 4 段階の人手評価を行った.

既存のデータセットは 631 文と小規模なため，テキスト平易化の品質推定には深層学習に基づくモデルを適用することが難しかった．本研究では，約 17 倍の規模にデータセットを拡大できたため，深層学習に基づく品質推定モデルを訓練可能になった。

本研究の副産物として，自動評価と人手評価の相関分析から，Newsela のような平易な参照文を使用できる場合には，BLEU による自動評価が人手評価との良い相関を持つという知見が得られた。

## 謝辞

本研究は JSPS 科研費（若手研究，課題番号： JP20K19861）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4, pp. 401$415,2016$.

[3] Sanja Stajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment for Text Simplification. In Proc. of QATS, pp. 22-31, 2016

[4] Tomoyuki Kajiwara and Atsushi Fujita. Semantic Features Based on Word Alignments for Estimating Quality of Text Simplification. In Proc. of IJCNLP, pp. 109-115, 2017.

[5] Louis Martin, Samuel Humeau, Pierre-Emmanuel Mazaré, Éric de La Clergerie, Antoine Bordes, and Benoît Sagot. Reference-less Quality Estimation of Text Simplification Systems. In Proc. of ATA, pp. 29-38, 2018.

[6] Goran Glavaš and Sanja Štajner. Event-Centered Simplification of News Stories. In Proc. of RANLP Student Research Workshop, pp. 71-78, 2013.

[7] Sanja Štajner, Hannah Béchara, and Horacio Saggion. A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation. In Proc. of ACLIJCNLP, pp. 823-828, 2015.

[8] Or Biran, Samuel Brody, and Noémie Elhadad. Putting it Simply: a Context-Aware Approach to Lexical Simplification. In Proc. of ACL, pp. 496-501, 2011

[9] Colby Horn, Cathryn Manduca, and David Kauchak. Learning a Lexical Simplifier Using Wikipedia. In Proc. of ACL, pp. 458-463, 2014.

[10] Goran Glavaš and Sanja Štajner. Simplifying Lexical Simplification: Do We Need Simplified Corpora? In Proc. of ACL-IJCNLP, pp. 63-68, 2015.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[12] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[13] Philipp Koehn, Franz J. Och, and Daniel Marcu. Statistical Phrase-Based Translation. In Proc. of NAACL, pp. 127133, 2003.

[14] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[15] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sentence Simplification by Monolingual Machine Translation. In Proc. of ACL, pp. 1015-1024, 2012.

[16] Shashi Narayan and Claire Gardent. Hybrid Simplification using Deep Semantics and Machine Translation. In Proc. of ACL, pp. 435-445, 2014.

[17] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. In Proc. of EMNLP, pp. 1412-1421, 2015.

[18] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[19] Reno Kriz, João Sedoc, Marianna Apidianaki, Carolina Zheng, Gaurav Kumar, Eleni Miltsakaki, and Chris Callison-Burch. Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification. In Proc. of NAACL, pp. 3137-3147, 2019.

[20] Yue Dong, Zichao Li, Mehdi Rezagholizadeh, and Jackie Chi Kit Cheung. EditNTS: An Neural ProgrammerInterpreter Model for Sentence Simplification through Explicit Editing. In Proc. of ACL, pp. 3393-3402, 2019.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of NIPS, pp. 5998-6008, 2017

[22] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[23] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[24] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proc. of ICLR, 2013.

[25] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[26] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. Technical report, DTIC Document, 1975.

[27] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proc. of ACL, pp. 143-148, 2016.

[28] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is Not Suitable for the Evaluation of Text Simplification. In Proc. of EMNLP, pp. 738-744, 2018.

[29] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP, pp. 49-54, 2019.

[30] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.


# 多言語文符号化器の言語表現と意味表現の分離に基づく 機械翻訳の品質推定

黒田勇斗 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{3}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 ${ }^{3}$ 大阪大学大学院情報科学研究科
kuroda@ai.cs.ehime-u.ac.jp kajiwara@cs.ehime-u.ac.jp
arase@ist.osaka-u.ac.jp ninomiya@cs.ehime-u.ac.jp

## 概要

本研究では，多言語文符号化器に基づく文表現から言語固有の情報を取り除き，言語非依存な意味表現を抽出する。機械翻訳の品質推定における教師なし設定での実験の結果，提案手法は既存の多言語文符号化器に基づく手法を上回る性能を達成した。他のアプローチと比較しても，提案手法は少資源言語対において人手評価に対する最も高い相関を得た.

## 1 はじめに

機械翻訳の研究開発の場では BLEU [1] などの参照訳に基づく自動評価が行われているものの，実世界における機械翻訳の使用者は参照訳を事前に用意できない場合が多い，本研究では，機械翻訳の実世界での利用を進める上で重要な，参照訳を用いない生成文の自動評価（品質推定）[2] に取り組む.

機械翻訳に関する国際会議 WMT における品質推定タスク [3] を中心に，多言語 BERT（mBERT） [4] や XLM-RoBERTa（XLM-R） [5] などの事前訓練された多言語文符号化器に基づく教師あり品質推定モデル [6-8] が提案されてきた. しかし，これらの教師あり品質推定モデルは，再訓練に「原言語文・目的言語文・人手評価値」の 3 つ組を必要とする.このようなデータセットの作成は, 原言語と目的言語の両方に精通したアノテータが必要となるため, 非常にコストが高い. そのため, 教師あり品質推定モデルは，わずかな言語対でしか構築できない.

人手評価値を用いず対訳コーパスのみで訓練する教師なし品質推定 [9] では, 多言語文符号化器の言語特異性が問題となる。つまり, 多言語文符号化器から得られる文のべクトル表現は，意味よりも言語の影響を強く受けており，再訓練なしでは言語を超えての文間の意味的類似度を正確に推定できない。
この課題に対して先行研究の DREAM [9] では，正例としての対訳コーパスおよび擬似的な負例を用い $\tau$, 多言語文符号化器から得られる文のベクトル表現を言語固有の言語表現と言語非依存の意味表現に分離した. DREAM の意味表現は教師なし品質推定タスクにおいて人手評価との高い相関を達成したが，意味表現に言語固有の情報が含まれないことは保証されていない。

本研究では，意味表現に言語固有の情報が含まれないことを保証するための敵対的学習を用いて，多言語文符号化器から得られる文のベクトル表現を意味表現と言語表現に分離する。提案手法は訓練時に負例を必要としないため，先行研究よりも単純な構造で訓練できるという利点を持つ. WMT20 の品質推定タスク [3] における実験の結果，提案手法は既存の多言語文符号化器に基づく教師なし品質推定手法よりも高い人手評価との相関を達成した. また，復号器を用いる他のアプローチと比較しても，提案手法は少資源言語対において最高性能を更新した。

## 2 提案手法

図 1 に示すように，本研究では $\mathrm{MLP}_{L}$ および $\mathrm{MLP}_{M}$ の 2 つの多層パーセプトロンからなる自己符号化器を用いて，多言語文符号化器から得た文のべクトル表現を言語固有の言語表現と言語非依存の意味表現に分離する. $\mathrm{MLP}_{L}$ は言語表現を抽出し， $\mathrm{MLP}_{M}$ は意味表現を抽出するものである．言語表現と意味表現を足し合わせることで，文のベクトル表現が復元される. 提案手法では，これらの多層パー セプトロンを，以下の 4 つの損失関数に基づく多言語のマルチタスク学習によって訓練する。

$
L=L_{R}+L_{C}+L_{L}+L_{A}
$

図 1 提案手法の概要

## 2.1 復元損失 $L_{R$}

復元損失は我々の自己符号化器を学習するための基本的な損失関数であり, 意味表現 $\hat{\boldsymbol{e}}_{M} \in \mathbb{R}^{d}$ と言語表現 $\hat{\boldsymbol{e}}_{L} \in \mathbb{R}^{d}$ から文表現 $\boldsymbol{e} \in \mathbb{R}^{d}$ を復元できることを表している。ただし， $d$ は文表現の次元数である。以下のように復元損失を定義 ${ }^{1)}$ する。

$
L_{R}=1-\cos \left(\boldsymbol{e},\left(\hat{\boldsymbol{e}}_{M}+\hat{\boldsymbol{e}}_{L}\right)\right),
$

ここで， $\hat{\boldsymbol{e}}_{M}$ と $\hat{\boldsymbol{e}}_{L}$ は，それぞれ $\mathrm{MLP}_{M}(\cdot)$ と $\mathrm{MLP}_{L}(\cdot)$ によって抽出された意味表現と言語表現である.

$
\begin{aligned}
\hat{\boldsymbol{e}}_{M} & =\operatorname{MLP}_{M}(\boldsymbol{e}) \\
\hat{\boldsymbol{e}}_{L} & =\operatorname{MLP}_{L}(\boldsymbol{e})
\end{aligned}
$

## 2.2 交差復元損失 $L_{C$}

対訳文の原言語文 $s$ と目的言語文 $t$ は意味的に等価である。そこで，対訳文において意味表現同士を置換できることを保証するために，交差復元損失を用いる。これは，原言語の言語表現 $\hat{s}_{L}$ と目的言語の意味表現 $\hat{t}_{M}$ から原言語の文表現 $s$ を復元でき，同様に目的言語の言語表現 $\hat{t}_{L}$ と原言語の意味表現 $\hat{s}_{M}$ から目的言語の文表現 $\boldsymbol{t}$ を復元できることを表している. 以下のように交差復元損失を定義する.

$
L_{C}=2-\cos \left(\boldsymbol{s},\left(\hat{\boldsymbol{s}}_{L}+\hat{\boldsymbol{t}}_{M}\right)\right)-\cos \left(\boldsymbol{t},\left(\hat{\boldsymbol{s}}_{M}+\hat{\boldsymbol{t}}_{L}\right)\right) .
$

## 2.3 言語表現損失 $L_{L$}

対訳文の原言語文 $s$ と目的言語文 $t$ は異なる言語の文である。そこで，対訳文において言語表現同士

1） 余弦類似度はベクトルの方向のみを考慮するため, 本手法は厳密にはベクトルの復元を評価していない。しかし，先行研究 [9] で用いられた平均二乗誤差よりも高い性能が得られるため，本手法を採用した．詳しい検証は今後の課題である.
が類似しないことを保証するために，言語表現損失を用いる。以下のように言語表現損失を定義する。

$
L_{L}=\max \left(0, \cos \left(\hat{s}_{L}, \hat{t}_{L}\right)\right)
$

## 2.4 敵対的損失 $L_{A$}

本研究では，多言語文符号化器から得られる文表現を言語表現と意味表現に分離することによって，言語非依存の意味的類似度推定を実現したい. そこで，意味表現に言語固有の情報が含まれないことを保証するために，敵対的損失を用いる。これは，意味表現 $\hat{\boldsymbol{e}}_{M}$ から入力文の言語を識別できないことを表している.

敵対的訓練として言語を識別するため，新たに多層パーセプトロン $\mathrm{MLP}_{D}$ を用意する．以下のように意味表現から言語を識別する $N$ クラス分類を行う.

$
\hat{\boldsymbol{y}}=\operatorname{softmax}\left(\operatorname{MLP}_{D}\left(\hat{\boldsymbol{e}}_{M}\right)\right),
$

ここで， $\operatorname{softmax}(\cdot)$ は softmax 関数を表す. $\operatorname{MLP}_{D}$ は，以下のように多クラス交差エントロピー損失を用いて訓練する。

$
L_{D}=-\sum_{j} \boldsymbol{y}_{j} \log \hat{\boldsymbol{y}}_{j}
$

ここで，式 (8) は $\mathrm{MLP}_{D}$ を訓練するための損失関数であり, $\mathrm{MLP}_{M}$ および $\mathrm{MLP}_{L}$ を訓練するための式 (1)には含まれないことに注意されたい.

この敵対的モデルに対して，本研究では意味表現から言語を識別できないことを目指すため，言語識別における $\hat{\boldsymbol{y}}$ の分布を一様分布に近づける．以下のように敵対的損失を定義する.

$
L_{A}=-\sum_{j} \frac{1}{N} \log \hat{\boldsymbol{y}}_{j}
$

ここで， $N$ は訓練用データに含まれる言語の種類数である．言語の識別に関しては，意味表現から言語

を識別可能にする式 (8) の訓練と, 意味表現から言語を識別不可能にする式 (9) の訓練の両方によって，敵対的な訓練を行う。

## 3 評価実験

WMT20 の品質推定タスク [3] において提案手法の性能を評価する。提案手法では，原言語文および機械翻訳による出力文（目的言語文）を多言語文符号化器によって文表現に変換し，それぞれの意味表現を抽出する．品質推定には，意味表現間の余弦類似度を用いる。公式の評価方法に従い，モデルが推定した翻訳品質と人手評価値の間のピアソン相関によって性能評価を行う.

## 3.1 実験設定

データセット WMT20の品質推定タスクには, 6 つの言語対 ${ }^{2}$ が含まれる. 英語からドイツ語 （en-de）および英語から中国語（en-zh）の多資源言語対，ルーマニア語から英語 (ro-en) およびエストニア語から英語（et-en）の中資源言語対，ネパー ル語から英語 (ne-en) およびシンハラ語から英語 （si-en）の少資源言語対である. 各言語対において, 1,000 文対の原文および機械翻訳の出力文と, 人手評価値の組が提供されている. 評価対象の機械翻訳は， fairseqツールキット ${ }^{3)}[10]$ を用いて訓練された Transformer モデル [11] である.

我々のモデルの訓練には，WMT20 の品質推定夕スクで利用可能な対訳コーパスの一部4)を使用した. 多資源言語対は 100 万文対ずつ，中資源言語対は 20 万文対ずつ，少資源言語対は 5 万文対ずつの対訳コーパスを用いて訓練した。

モデル本研究では, 全ての $\operatorname{MLP}\left(\mathrm{MLP}_{M}, \mathrm{MLP}_{L}\right.$, $\mathrm{MLP}_{D}$ ) に 1 層のフィードフォワードニューラルネットワークを用いた. 文表現を得るための多言語文符号化器には, 先行研究 [9] において品質推定の性能が最高であった $\mathrm{LaBSE}^{5}$ [12]を用いた. 文表現には，LaBSEの [CLS]トークンに対応する最終層の出力を用いた。なお，対訳コーパスを使用して訓練するのは MLP のみであり，LaBSE は再訓練しない.

我々のモデルは，バッチサイズを 512 ，最適化手法を Adam [13], 学習率を $1 e-5$ として HuggingFace

Transformers [14]を用いて訓練した．検証用データにおける式 (1)の損失が 10 エポック改善しない場合に訓練を終了した．検証用データは，訓練用データから $10 \%$ を無作為抽出して作成した.

比較手法本実験では，教師なし品質推定の既存手法と提案手法を比較する. LaBSE [12] のベースラインは，提案手法による意味表現の抽出を行う前の文表現を用いて品質推定を行う．LaBSE から意味表現を抽出する先行研究として, DREAM ${ }^{6)}$ [9] と比較する. その他の多言語文符号化器による品質推定として, $\operatorname{LASER}^{7)}[15,16] \cdot \mathrm{mSBERT}^{8)}$ [17] $\cdot$ BERTScore $^{9)}[18] の 3$ 手法と比較する. なお, 各モデルの事前訓練の設定に従い，LASER では双方向 LSTM の最終層の最大プーリング, mSBERT では最終層の平均プーリングを，それぞれ文表現として用いた. BERTScore には，最高性能が報告されている xlm-roberta-large モデルを使用した.

また，参考のために，系列変換モデルに基づく教師なし品質推定手法である D-TP [19] および Prism$^{10)}$ [20], WMT20 の品質推定タスクでベースラインとして採用されている教師あり品質推定手法である Predictor-Estimator ${ }^{11)}[22]$ とも比較する.

## 3.2 実験結果

表 1 に実験結果を示す. 上段には，LaBSE ベースラインおよび LaBSE から抽出した意味表現による品質推定の結果を示している. まず，LaBSE と提案手法を比較すると，提案手法によって全ての言語対において性能が向上しており, 本研究での意味表現の抽出が有効であることがわかる．また，DREAM との比較においても，全ての言語対において改善が見られるため，提案手法によってより良い意味表現を抽出できていると考えられる。

表 1 の中段には，多言語文符号化器による教師なし品質推定の比較手法の性能を示している. これらと比較して，提案手法は少資源言語対を中心に優れた結果を示しており，6 言語対の平均值としては人手評価との最も高い相関を達成している.

表 1 の下段には，他のアプローチによる品質推定

表 1 WMT20 品質推定タスクにおける人手評価とのピアソン相関係数

の性能を示している. 全言語対において，提案手法は教師ありベースラインである Predictor-Estimator の性能を上回った. 多言語文符号化器に基づく教師なし品質推定手法（上段および中段）の中で，全ての言語対において教師ありベースラインを上回るのは提案手法のみであり，提案手法の有効性が明らかになった. また，教師なし品質推定手法である D-TP および Prism と比較して，少資源言語対においては提案手法が優れた性能を示しており，提案手法は少資源言語対における教師なし品質推定の最高性能を更新した.なお，D-TP は評価対象の機械翻訳の内部状態にアクセスする必要があり, Prism は大規模な対訳コーパスを用いて訓練する必要があるため，才ンライン機械翻訳サービスなどのブラックボックス機械翻訳の品質推定や少資源言語対における品質推定において，提案手法は特に有効であると言える。

## 3.3 アブレーション分析

提案手法で用いている式 (1)の 4 種類の損失関数の影響を考察するために，同じく WMT20 の品質推定タスクにおいてアブレーション分析を行った．表 2 に分析結果を示す. なお，表 2 の上段では基本となる復元損失 $L_{R}$ とその他の 1 種類の損失を組み合わせた際の性能を，下段では 1 種類ずつの損失を取り除いた際の性能を，それぞれ示している.

全ての損失を用いた際の性能は 0.491 であるため, (g) および (h) から, 復元損失 $L_{R}$ および交差復元損失 $L_{C}$ の影響は小さいことがわかる．上段の結果から，交差復元損失 $L_{C}$ および言語表現損失 $L_{L}$ とは異なり，敵対的損失 $L_{A}$ は基本の復元損失 $L_{R}$ のみと表 2 アブレーション分析におけるピアソン相関係数

の組み合わせでも有効であることがわかる. 下段の結果から，言語表現損失 $L_{L}$ を除外した際に最も性能が低下するため，言語表現損失からは他の損失で補完できない重要な情報が学習されると言える. 本分析から，言語表現同士が類似しないことを保証する言語表現損失および意味表現に言語固有の情報が含まれないことを保証する敵対的損失の 2 つが，提案手法の性能改善に特に貢献することがわかった.

## 4 おわりに

本研究では，事前訓練された多言語文符号化器に基づく教師なし品質推定に取り組んだ。提案手法は，文表現から言語固有の情報を取り除くことで言語非依存の意味表現を抽出し，言語を超えた文間の意味的類似度の推定を可能にした. 6 つの言語対における実験の結果，提案手法は最先端の多言語文符号化器の性能を一貫して改善し, 特に少資源言語対において教師なし品質推定の最高性能を達成した。

## 謝辞

本研究は JSPS 科研費 (若手研究, 課題番号: JP20K19861）の助成を受けたものです.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, p. 311-318, 2002.

[2] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[3] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 Shared Task on Quality Estimation. In Proc. of WMT, pp. 743-764, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[5] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proc. of ACL, pp. 8440-8451, 2020.

[6] Tharindu Ranasinghe, Constantin Orasan, and Ruslan Mitkov. TransQuest: Translation Quality Estimation with Cross-lingual Transformers. In Proc. of COLING, pp. 5070-5081, 2020.

[7] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Vishrav Chaudhary, Mark Fishel, Francisco Guzmán, and Lucia Specia. BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1010-1017, 2020.

[8] Akifumi Nakamachi, Hiroki Shimanaka, Tomoyuki Kajiwara, and Mamoru Komachi. TMUOU Submission for WMT20 Quality Estimation Shared Task. In Proc. of WMT, pp. 1037-1041, 2020.

[9] Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, and Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proc. of EMNLP, pp. 7764-7774, 2021.

[10] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, undefinedukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proc. of NIPS, pp. 6000-6010, 2017.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. arXiv:2007.01852, 2020.
[13] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[15] Mikel Artetxe and Holger Schwenk. Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings. In Proc. of ACL, pp. 3197-3203, 2019.

[16] Mikel Artetxe and Holger Schwenk. Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[17] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Proc. of EMNLP, pp. 4512-4525, 2020.

[18] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In Proc. of ICLR, pp. 1-43, 2020.

[19] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised Quality Estimation for Neural Machine Translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 539-555, 2020.

[20] Brian Thompson and Matt Post. Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing. In Proc. of EMNLP, pp. 90-121, 2020.

[21] Fabio Kepler, Jonay Trénous, Marcos Treviso, Miguel Vera, and André F. T. Martins. OpenKiwi: An Open Source Framework for Quality Estimation. In Proc. of ACL, pp. 117-122, 2019.

[22] Hyun Kim, Hun-Young Jung, Hongseok Kwon, JongHyeok Lee, and Seung-Hoon Na. Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation. ACM Transactions on Asian and Low-Resource Language Information Processing, Vol. 17, No. 1, pp. 1-22, 2017.


# 作文指導に活かすための修辞機能解析現状の問題点

佐尾ちとせ 同志社大学 sk199608 @ mail.doshisha.ac.jp
宮城 信 富山大学 miyagi@ edu.u-toyama.ac.jp
田中弥生 国立国語研究所yayoi@ ninjal.ac.jp

## 概要

発表者らは、修辞機能解析により、作文の脱文脈化の状態を可視化することで、これまで指導者の主観に委ねられてきた作文の評価や指導等に、一定の指標を構築することはできないか、研究を進めている。本発表における課題は以下の 2 点である。

1. 現状の修辞機能解析の問題点の洗い出し

2. 教育現場で使える修辞機能解析の方向性指導者や学習者自身が行うことを想定し、摇れの少ない合理的な解析方法を確立する必要がある。今回は環境作文という抽象度が高い文章を 3 名でアノテーションし、迷いの生じやすい箇所とその理由を分析した。そこから、作文指導に活かせる修辞機能解析のあり方について考察した。

## 1 はじめに

文章の修辞法には比喻・倒置等、様々あるが、脱文脈化とは、書かれた事象が、どの程度、筆者の置かれた状況、すなわち、「今」(書かれた時間)、「ここ」（書かれた場所）「私」（筆者）から離れたものとして表現されているかである。

具体例を挙げると、プレゼントをもらった筆者がその気持ちを「うれしい!」と表現した文に比べ、

「プレゼントをもらって私はとてもうれしかったです」と過去を振り返って表現されている文のほうが、筆者自身が自分から距離を置いていると考えられる。 これを「プレゼントをもらうのはうれしいものだ」 のように自分の心理描写ではなく一般的な話として述べれば、さらに距離が離れる。筆者自身のこと、筆者のいる場について述べられたものの多くは主観的 - 個別的 - 具体的であり、筆者から離れ、「今」 というような時間軸からも離れると客観的・一般的・抽象的になっていく。

こうした原理を利用して、文章の具体性や客観性を可視化しようというのが修辞機能の分析である。

図 1 修辞機能と脱文脈化指数

修辞機能は、空間軸（空間要素）と時間軸（時間要素）を段階的に分類し、それらの要素の組み合わせで定め、「脱文脈化指数」として数值化する。空間要素・時間要素の組み合わせによる修辞機能と脱文脈化指数は図 1 のとおりである。

## 2 修辞機能解析と作文指導

2018 齊藤他 ${ }^{[1]}$ では、作文評価のための内容的観点として、A「課題把握」B「内容記述」C「独自性」 $\mathrm{D}$ 「段落」 $\mathrm{E} 「 一$ 貫性」 $\mathrm{F} 「$ 構成」の 6 点を挙げている。このうち、 $\mathrm{B} 、 \mathrm{E}$ の詳述内容を引用する。(下線は本稿筆者による。)

B 内容記述 : 紹介したい事柄について, 具体的な内容や特徵, 紹介したい理由などを詳しく述べているか。

$\mathrm{E}$ 一貫性 : テーマを軸に，事柄の順序や関係などが，一定の見方や考え方で貫かれていたり，論理的に組み立てられていたりしているか。

作文に対して「具体性がない」「主観的すぎる」「論理的ではない」といった評価のなされることがある。 こうした「具体性」「客観性」といった評価を数値化し、可視化することで、指導者にも学習者にも改善すべき点が明確になり、指導の一助になりうると考えている。

「中学生食の作文コンクール」2019 年度の審查員の講評[2]には「自分を中心に思考を巡らす」として、

作文のコツが以下のように述べられている。

自分を中心に半径 5 メートル、 10 メートル、

100 メートルと徐々に広げて、思考を巡らすことです。（中略）中学生ですから、世界を考えることは大切で必要ではあります。しかし、まず身近な経験から、その後に徐々に広げて、大きな問題に結びつけて書く方が、読み手も安心します。

ここでいう「自分を中心に半径を広げる」というのがまさに脱文脈化していくことである。

## 3 現状の修辞機能解析の問題点

2021 年度富山大学教員免許講習の場で実際に修辞機能アノテーションを行い、指導法の一端を紹介したところ、すぐにも教室で使いたいとの声が寄せられた。教育現場で使用するには、学習者を含め、誰でも迷わず適切な判定のできるアノテーションの方法を確立する必要がある。そこで、 3 名のアノテ一ター $\mathrm{P}, \mathrm{Q}, \mathrm{R}$ のデータを比較し、摇れの大きかった個所、迷いの生じた個所について検討を行うこととした。尚、 3 名のうち Q、Rは言語を専門とするが、Pはそうではない。

## 3. 1 分析対象と方法

今回は、作文コンクールで高評価を得た作品のうち、文構造が複雑で、内容的にもかなり抽象度の高い環境作文をとりあげる。環境作文はテーマにより分類されており、Aは「イタイイタイ病」、Bは「体験」、Cは「科学・ボランティア」である。

表 1

} \\

発表者らは、比較的抽象度の高い「夢作文」と体験に基づく「がんばった作文」の分析から、修辞機能の出現頻度には、テーマによる特徴、学年層による違いが表れることを確認している ${ }^{[3]}$ 。これらの作文と環境作文の冒頭第一文の修辞機能を比較すると、 がんばった・夢作文がほぼ同じ修辞機能から始まっているのに対し、環境作文には多種類の修辞機能が用いられていることがわかる。このことからも、環境作文の修辞機能が単純ではなく、アノテーションに摇れが生じやすい可能性のあることがうかがえる。

表 2 第一文の修辞機能ii

 &  &  &  &  &  &  &  &  \\
象 \\
外 \\

今回分析対象とする環境作文のアノテーションの前に、アノテーターにはあらかじめ修辞機能解析の意味や手順を説明し、がんばった・夢作文それぞれ 3 篇ずつ 100 行ほどのデータにアノテーションをしてもらい、作業過程で生じた疑問点等を相談する場を設けた。こうした試行作業により、各タグの意味やアノテーション方法に誤解のないことを確認した上で、環境作文のアノテーション作業に入った。

## 3. 2 摇れの大きかった部分

## 3. 2.1 メッセージの分割と種類の判定

今回、最も摇孔が大きかったのは、修辞機能に直接かかわる空間・時間要素の判定ではなく、その基盤となるメッセージの分割と種類の判定であった。

アノテーション作業は、作文データを修辞機能の分析単位である「メッセージ」に分割することから始まる。「メッセージ」は述語を含む節と概数一致するが、連体・連用修飾節や従属節の一部は分析対象とはならない。今回の作業では、それが対象外かどうかの判断で迷うよりも、文を節単位に分解し、主節、並列節、従属節といった節の種類を特定する中で、対象外のものはその認定を行うという方法で作業を行うこととした。しかしながら、表 3 のとおり、アノテーター 3 名のメッセージの分割数には相当のばらつきがある。そのため、一致率の計算が困難であった。

## 3. 2.2 空間要素について

空間要素の判定において摇れが目立ったのは以下の 2 点である。

・主語や主題が明示されていないメッセージにおいて推測された空間要素

・「私」を伴う空間要素

## —明示されていない空間要素の推測

空間要素は、「参加」「状況内」「状況外」「定義」に分類される。これらは、メッセージに表れた事象が、メッセージの発せられた空間からどの程度離れたものとして表現されているかを示す。空間要素は概ねメッセージに含まれる述部の主体、あるいは、メッセージの主題に相当するが、それらが明示されていない場合は推測する必要がある。

以下に具体例を挙げる。

1） a . 最近、「海洋プラスチック」の問題がクロ ーズアップされています。

b . 例えば、海辺に打ち上げられたクジラの体内から計 40 キロのプラスチックゴミが出てきたというニュースです。

2）a . 他にも、油をふいてからフライパンを洗う。 や、何か洗う時はできるだけ洗剂ではなく、重曹を使うなど、他にもいろいろありますが、 b. やっぱり一番大切なのは、このイタイイタイ病と言う公害病があったことを、生まれた時が、平和だったからラッキー。ではなく、

c.これから先、伝えていきたいと思いました。実際のアノテーション結果は表 4 のとおりである。

## 表 4 例文の空間要素とその種類

修辞機能解析で必要なのは空間要素そのものではなく、その種類なので、1）bのように表現が異なっても意味しているところが同じであれば問題ない。極端な話、空間要素が何であるか指摘できなかったとしても、参加や状況内ではないということが確認できれば十分なのである。だが、2）bでは、文構造が入り組んでいることもあり、述部を「あった」 としてしまった結果、その主体である「公害病」を空間要素と認定するエラーが生じている。

空間要素は、述部を特定してから、その主体とな
るものを探すよう説明したが、述部の特定を誤ったことで空間要素にエラーが生じた例が散見された。

## -「私」を伴う空間要素「状況内」の判定

現行の仕様では、「状況内」とするものは、コミユニケーションが行われる場にあるものと規定している。そのため、学校において自分の所属している学校のことを書いたのであれば「私の学校」は状況内となるが、家で書いた場合は「状況外」となる。 ただし、作文の場合、それがどこで書かれたかを判断するのは困難なため、今回の作業では「私の○○」 がその場にあるかどうか判断のつかない場合には 「状況内」とすることにした。

このように規定した上で、アノテーションを行った結果、「状況内」の数は以下のようになった。（）内は、「私の」等が含まれているメッセージ、分母はアノテーターが切り出したメッセージ数である。

$
P: 17(7) / 1037 \quad Q: 23(22) / 1093 \quad R: 26(21) / 1204
$

$\mathrm{Q}$ は「私の」を含むメッセージの空間要素をほぼ 「状況内」としているが、P、R は「私の家族」は状況外とした。P は「クラスのみんな」自分の属する

「*小」自分の住む「十市の人」といったものを「状況内」と判断している。

## 3. 2.3 時間要素について

時間要素は、「過去」「未来意志的」「未来非意志的」「現在」「習慣・恒久」「仮定」に分類される。これらは、メッセージに表れた事象が、メッセ ージの発せられた時間を基準とし、相対的にいつ起こったものとして表現されているかを示す。時間要素はメッセージに含まれる述部の時制、あるいは副詞句から判断する。時間要素の判定において大きく摇れ生じたのは、働きかけのモダリティ表現を伴うメッセージである。

## $\cdot$モダリティ表現と時間要素の判定

3 ）a.ですが、今の社会では、「ポイ捨てをやめてください。」ということを伝えても

b . なかなか直してはくれません。

4） a . 神通川の農民たちはいろいろな方法で原因を調べで、

b . 国や県、神岡鉱山を採くつしている会社に鉱毒を流さないでほしい

c . とうったえました。

そもそも、3）ａは対象外のメッセージで「」内を切り出したのはRのみであるが、これを命題ではなく提言とすべきかどうかで迷っている。なぜな

らば、これは不特定多数の誰かに向けた働きかけであり、会話相手に直接依頼しているメッセージではないからだ。しかし「」付で「〜ください」という表現をとっており、独立した会話であれば提言に相当する。一方 4）bでは、後行する主節から、会社等に「流さないでほしい」と直接うったえていることを理由に提言としている。4）bに対しPは「習慣・恒久」Qは「未来非意志」を付与している。

環境作文には、こうした働きかけのモダリティを伴うメッセージが頻出する。典型的な例とそのアノテーション結果を表 5 に示す。

5) 私は、カドミウムなど、害がある物は、ぜったいに川や海には流してはいけないと思う。

6 ）「川をよごすと、たくさんの被害がでる。」 ということを伝えなければなりません。

7 ）だから私は、少しずつそう思える人を増やしていけばいいと思います。

8）みなさんも地球温だん化の取組をやってみてはどうですか。

表 5 例文の時間要素の種類

## 4 現場で使える修辞機能解析に向けて

## 4. 1 空間要素について

作文内での「私の」を含む空間要素の判断は非常に難しく、免許講習の場でもそれについて質問が出た。講習の中では「私の学校」という 200 字程度の作文を書いてもらい、そのアノテーションを行った。

## 表 6 「私の学校」第一文の空間要素

 & 1 \\

講習の会場は参加者の勤務先ではないため、原則からすると「私の学校」は状況外である。しかしながら自身の所属を「私の学校」と表現するのと、「○ ○校」のように学校名で表現するのとでは、筆者の心理的な距離に隔たりがあると思われる。さらにいえば、「私の学校」と「私の勤務している学校」の間にも、微妙な距離の差が存在する。筆者がこうした心理的距離を意識して表現を選択しているのであ
れば、それこそまさに修辞技法である。微妙な距離感までをも可視化することは難しいが、せめて固有名と「私」を被せた呼称の間の隔たりは分けるほうが作文指導には適切に思われる。

また、授業内でのアノテーションということを考慮しても、作文内では「私の」等が含まれる場合は 「状況内」とすることに統一しておくほうが、修辞機能の判定に摇れが生じにくいだろう。ただし、離れて祖父母など、その場にいないことが明らかな人物を「私の祖母」などとして表現することも多いので、検討が必要である。

## 4. 2 時間要素について

今回の作業では、「思う」「言われている」等の後続する、主に格助詞「と」によって受ける節を引用節として切り出すことにした。これは、9）10) のような文において、主節の述語である「思います」

「考えられています」は削除しても文意は変わらず、婉曲や一般化のモダリティ表現の一種と見なしうるからだ。

9）じっさいにしたことをいくつか、しょうかいしたいと思います。

10）こうした食物連鎖を通じて私たち人間の体内にも蓄積しているのではないかと考えられています。 モダリティ表現を伴う述語に対する時間要素については、広く文例を収集し、一定の原則を作っておく必要がある。これは今後の課題と考えている。

## 5 おわりに

今回のデータは 1 文が 100 文字を超えるような長文が多く含まれ、それが不整合を起こしている場合もあり、言語が専門ではないアノテーターにとっては、メッセージの切り出しと種類の判定という作業が殊に困難であることが浮き彫りになった。

作文評価の観点が多岐にわたることを念頭におき、脱文脈化以外の側面もカバーできるよう、節に分割してメッセージの種類を特定しておき、必要なメッセージに絞って修辞機能を分析するのがよいと考えていた。だが、実際の指導現場で修辞機能解析を用いて作文の添削や改善点の指摘を行うのであれば、網羅的なアノテーションを行うよりも、むしろ、主節と明らかな並列節、場合によっては誰にでも明瞭な文単位で修辞機能を判定し、脱文脈化という観点に限定して作文を分析するほうが合理的である可能性もある。今後も研究を進めていきたい。

## 謝辞

本研究は JSPS 科研費JP20H01674、JP19K00588 の助成を受けたものです。

## 引用 - 参考文献

[1] 齋藤ひろみ・白勢彩子・中村和弘・大澤千恵子・成家雅史 - 細井宏一 - 土屋晴裕 - 菅原雅枝 - 笹島眞実・工藤聖子. 国語科教育における作文評価の項目設定と手法の設計平成 30 年度〜令和元年度東京学芸大学教育実践研究推進本部「特別開発研究プロジエクト」報告書

[2] 第 5 回公益財団法人イオンワンパーセントクラブ中学生食の作文コンクール「審査員の講評をチェック」（引用日: 2022 年 1 月 11 日.) https://aeon1psakubun.jp/review/index.html

[3]田中弥生・佐尾ちとせ・宮城信（2021）. 児童作文の評価に向けた脱文脈化観点からの検討. 言語処理学会第 27 回年次大会発表論文集,750-755,

[4]小磯花絵・佐野大樹（2011）. 現代日本語書き言葉における修辞ユニット分析の適用性の検証－「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係一. 機能言語学研究,6:59-81 [5]佐野大 (2010).日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論（システミック理論）における談話分析一（修辞機能編）

[6]佐野大樹(2021). 特集選択体系機能言語理論を基底とする特定目的のための作文指導方法について一修辞ユニットの概念から見たテクストの専門性. 専門日本語教育研究, (12):19-26 [7]宮城信・浅原正幸・今田水穂(2018). 現職教員による児童 - 生徒作文の評価基準の分析. 言語資源活用ワークショップ 2018 発表論文集,420-434 [8]吉川愛弓・岸学 (2006).作文の評価項目に関する検討一意見文の評価は何に影響を受けるのか一. 東京学芸大学紀要総合教育科学系 57,93-102 [9]梶井芳明 (2001). 児童の作文はどのように評価されるのか?一評価項目の妥当性・信頼性の検討と教員の評価観の解明-480 教育心理学研究, 480-490, [10] 田中弥生 (2018).児童 - 生徒作文の日本語修辞ユニット分析と教員評価の検討.言語資源活用ワー クショップ発表論文集 $3,91-104$

[11] 田中弥生・浅原正幸 (2018).児童による作文の修辞ユニット分析における中核要素認定.言語処理学会第 24 回年次大会発表論文集
[12] 田中弥生・浅原正幸(2019). 徒属節意味分類アノテーションに基づく修辞ユニット分析の分類単位認定の検討.言語処理学会第 25 回年次大会発表論文集,1209-1212.

[13]田中弥生・浅原正幸(2017).Yahoo！知恵袋における修辞ユニット分析の発話機能認定に関する諸問題.言語処理学会第 23 回年次大会発表論文集,831834.

[14] 小学校学習指導要領.第 2 章各教科.第 1 節国語 pp.14-29


# テキスト平易化における自動評価指標のメタ評価の検討

早川明男 1 大内啓樹 ${ }^{1,3} \quad$ 梶原 智之 ${ }^{2}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 愛媛大学 3 理化学研究所
hayakawa.akio.gv6@is.naist.jp
hiroki.ouchi@is.naist.jp kajiwara@cs.ehime-u.ac.jp taro@is.naist.jp

## 概要

テキスト平易化は，語彙の置換や非重要部分の削除などの操作によって文を平易に書き換えることを目的とする.こうした平易化の操作の多様さは, 出力文の自動評価を難しくしてきた. 平易化されたテキストを評価する観点として，平易性・同義性・文法性が挙げられる。本研究では, 自動評価指標のメ夕評価の一環として，各観点について妥当な指標が満たす条件を検討する。また既存の指標の振る舞いを確認し，それらがどのように利用されるべきかを提言する.

## 1 はじめに

テキスト平易化は文の意味を保ちつつ平易に書き換えるタスクであり，語彙の平易化，構文の平易化，文の分割, 非重要部分の削除などの操作によって実現される [1]. 平易なテキストは, 子ども [2] や非母語話者 [3]，また自閉症 [4] や読字障害 [5] など，読解能力が低い人を補助すると考えられ，テキスト平易化への期待は高まっている。一方，こうした人の属性ごとに読解をより促進するテキストの種類は異なりうる．例えば，子どもに対しては平易な構造の文が，非母語話者に対しては平易な語彙による文がより読解を促進する，といった差が生じる可能性がある.

かねてのテキスト平易化研究は多様な操作の一部を実現できるにすぎなかったが，近年の文生成の発展により，平易文の多様さについて出力を制御できるモデルが提案されるようになった $[6,7]$. 一方で，その多様さゆえに平易文の評価は難しい. 平易 (出力) 文の人手評価においては，複雑 (入力) 文と比較した際の平易さ (平易性), 重要部分の意味を保持できている程度 (同義性) に加えて, 出力文そのものの文法的正しさ (文法性) という 3 つの観点を利用することが確立している [8] が，自動評価に利用する指標については明確な合意がないのが現状である.

テキスト平易化の自動評価指標としては, 文生成夕スクで一般に利用されるもののほか，テキスト平易化のために設計されたものもいくつか提案されている $[9,10]$. こうした提案の多くは，その妥当性の根拠として，人手評価と自動評価の相関の高さを挙げる. このとき，ある入力文に対する出力文を平易化モデルなどを利用して生成し，それらに人手でスコアをつけたデータセットが利用される。しかしながら，この人手スコアデータセットそのものが問題をはらむ場合がある. とりわけ平易文の多様化という主題に対して，出力文が特定の操作のみを含んでいる，という指摘 [11] はデータセットの根底を摇るがすものである. こうした現状は評価指標，そして提案モデルの妥当性に疑問を投げかけ，テキスト平易化研究の発展を妨げているといえる.

ところで，自動評価指標の妥当性を示す手段は人手評価との相関に限らない. 本研究では, 出力文の人手評価に用いられる平易性・同義性・文法性という 3 つの観点それぞれについて，自動評価指標の妥当性を示す他の要素を検討する．また自動評価指標のメタ評価として, 既存の指標がそれらを満たす程度を確認する. その際，とくに多様な操作について意識的に要素を検討する。しかしながら，複雑文と平易文のペアから操作を自動的に分類するのは難しい [12]. そこで， それぞれの操作を直接的に分類するのではなく，入力文から出力文への書き換えにおける各単語の編集 (置換，挿入，削除）をもとに編集タグを設定し，検討の材料とする。

## 2 関連研究

機械翻訳など他の文生成タスクと同様，テキスト平易化研究の多くで BLEU [13] が評価に利用されている.しかしながら，BLEU はテキスト平易化の評価には不適であるとしばしば指摘されている。例えば [14] は，とくに複数の参照文があるとき，入力文をそのまま出力する低質なシステムでも BLEUによる評価が高くなってしまうとしている.

こうした BLEU の欠陥を補うため， [9] では SARI という新たな評価指標を提案している. SARI は入力
文との n-gram の重複が大きい出力文にペナルティを与えるように設計され，語彙の平易化の妥当性を評価できるという著者らの主張から，以降テキスト平易化タスクのほとんどで利用されている。一方 [15]は，とくに複数の操作を含む書き換えについて，同義性や文法性についての人手評価と SARI との相関の低さを指摘している。

FKGL [16] は英文のリーダビリティを示すために設計された指標で，テキスト平易化の評価にもしばしば利用されている。この FKGLについても，参照文を必要としないその特徵から, 高い評価を得られる出力文を容易に生成できるとして，テキスト平易化の評価指標としては不適であるとの指摘がある [17].

その他にも BERTScore [18, 11], SAMSA [10], QUESTEVAL [19] などさまざまな自動評価指標の導入が提案され，今後の増加も予想される. これらの指標も出力文の質に応じた評価を与えることが期待され，その程度や応用範囲についてメタ評価を受けるべきである. 本研究ではメタ評価の要素を検討し, また実施することを目標とする。

## 3 手法

本研究では, 入力文に対して多様なタイプの出力文の集合を作成し，各指標で評価する。同時に，入力文から出力文への編集を計算し, 出力文に編集タグを付与した上で，タグごとの出力文の評価も行う.

これらをもとに，平易性・同義性・文法性という 3 つの観点について，各指標が評価できるべき要素を仮定する。また，それらを満たす程度をもとにメタ評価を行う。

## 3.1 編集タグ

出力文に付与される編集タグは，編集距離と同時に得られる編集列をもとに決定される．置換・挿入・削除の割合 $r_{\mathrm{ADD}}, r_{\mathrm{DEL}} ， r_{\mathrm{SUB}}$ を以下のように定義する.

$
\begin{aligned}
& r_{\mathrm{ADD}}=\text { 編集列中の挿入数 } / \text { 入力文の単語数 } \\
& r_{\mathrm{DEL}}=\text { 編集列中の削除数 } / \text { 入力文の単語数 } \\
& r_{\mathrm{SUB}}=\text { 編集列中の置換数 } / \text { 入力文の単語数 } \\
& \text { このとき, 以下のような条件で編集タグを設定し, 出 } \\
& \text { 力文ごとに条件を満たすタグすべてを付与する. }
\end{aligned}
$

$
\begin{aligned}
& \mathrm{ADD}: r_{\mathrm{ADD}}>0.1 \\
& \mathrm{DEL}: r_{\mathrm{DEL}}>0.2 \\
& \text { SUB : } r_{\text {SUB }}>0.2 \\
& \text { NONE }: r_{\mathrm{ADD}} \leq 0.1, r_{\mathrm{DEL}} \leq 0.2, r_{\mathrm{SUB}} \leq 0.2
\end{aligned}
$

それぞれの文は，NONE を除いた複数のタグが付与されうる. 図 1 は編集タグのイメージを示したものである.

## 3.2 利用データ

以下に記述するように，入力文・参照文・出力文を準備する。

## 3.2.1 入力文・参照文

文を人手で平易化したデータセットに ASSET [15] がある. ASSET は, Wikipedia の英語版に記述された 359 文に対し， 10 人のアノテーターそれぞれによる平易な参照文を含む．参照文は多様な操作を含みうるように設計されており，本研究ではこれらを十分妥当な平易文とみなす。

## 3.2.2 出力文

出力文については，(1) 人手による平易文，(2) 低質なシステムによる出力文の 2 つのタイプを準備する.

## 1. 人手による平易文

ASSET のそれぞれの入力文に対する 10 の参照文について，1 文を出力文，残りの9 文を参照文とみなして評価した結果を平均する。

2. 低質なシステムによる出力文

以下のように，入力文を利用して簡易に出力文を生成する 5 つのシステムを設定する. Random は，前項で定義した特定の編集タグが付与されるように設計されている.

## 3.3 利用する自動評価指標

テキスト平易化に用いられる評価指標の代表として, BLEU, SARI, BERTScore, FKGLを選択する.なお，評価に参照文を必要とする BLEU, SARI,

$\square:$ add $\square:$ del $\square$ sub

図 1 編集タグのイメージ

BERTScore については, 複数の参照文を用いた評価 (Multi) と，単一の参照文を用いた評価の平均值 (Avg) をそれぞれ算出する. 各指標の評価値の算出には EASSE [20] の実装を利用する。

## 3.4 メタ評価の観点

人手評価で用いられる平易性・同義性・文法性の 3 つの観点を中心に, 自動評価指標の妥当性を示す要素を以下のように仮定する。

## 3.4.1 平易性

平易性について，各指標は入力文と比較してより平易な出力文に高い評価を，そうでない出力文に低い評価を与えることが期待される.

本研究では, 前者には ASSETが，後者には Identical が該当し，これらを正しく評価できる程度をもってメタ評価を行う。

## 3.4.2 同義性

同義性について，各指標は入力文における重要な意味が保持されている出力文に高い評価を，そうでない出力文に低い評価を与えることが期待される. すなわち，入力文の重要な意味を同等に保持する出力文は同等に評価されるべきである.

本研究では, ASSET の平易文それぞれがもつ同義性が同等であるとみなすため，構文などによらず評価も同等であることが望ましい。すなわち, 編集タグ間の評価の差の小ささをもってメタ評価を行う.

## 3.4.3 文法性

文法性について，各指標は文法的に正しい出力文を高い評価を，文法的に誤った出力文に低い評価を与えることが期待される.表 1 各出力文の編集タグ付与割合

本研究では, ASSET と Identical が前者に, Splitと Random が後者に該当し，これらを正しく評価できる程度をもってメタ評価を行う。

## 4 結果

## 4.1 編集タグの分布

表 1 は，それぞれのシステムの出力文に対してどのような割合で編集タグが付与されるかを示したものである。この結果からはまず，人手による平易文 (ASSET) に多様さがあることがわかる。また，低質なシステムの大部分に特定のタグが付与されていることが確認できる.

## 4.2 自動評価指標のメタ評価

表 2 は各指標で出力文を評価した結果で，太字の数字は指標ごとにもっとも良い評価を意味する。なお，表 2 上部は各システムに対する評価を，下部は ASSET のうち各編集タグが付与された出力文のみに対する評価を表す. 以下， 3.4 項における要素をもとに，各指標がそれぞれの観点を満たすかを確認する。
表 2 各指標による出力文の評価

## 4.2.1 BLEU

まず平易性という観点では，Identical を高く評価してしまっている。前提として，ASSET の約 3 割は NONE，すなわち編集の少ない平易文である。こうした参照文は n-gram の重複が大きい Identical を高く評価してしまう. 同様の理由で, NONE への評価の突出を説明でき，同義性についての要素を満たさないといえる。また，ASSET より Random に対する評価のほうが高く, 文法性についての要素も満たさない. 編集夕グごとについても同様の関係が見られるが，これは Random における編集部分以外の n-gram の重複によるものといえる。

このように，結果は 3 つの観点すべてについて BLEU の不適さを示している。これは，テキスト平易化の性質である参照文の多様さに由来するといえる。

## 4.2.2 SARI

まず平易性については, Identical を正しく低く評価できている。これは，入力文に含まれず参照文に含まれる n-gram を含む出力文を高く評価し，入力文に含まれ参照文に含まれない n-gram を含む出力文を低く評価する設計に原因すると考えられる。この設計によって，結果的に編集タグ間の評価の差が小さくなっており，同義性についての要素も満たすといえる。一方で，入力文に含まれる n-gram にペナルティを与えるあまり，Random の評価が Identical より高くなっており，文法性については正しく評価できていないといえる。

## 4.2.3 BERTScore

平易性については BLEU と同様，BERTScore は Identical を高く評価してしまっている．BERTScore は文全体をとらえた評価をするが，編集の少ない参照文と Identical について，各単語が文全体のなかでもつ意味の差が小さいことが推測される。これは，ASSET に対する Randomへの評価の低さも説明できる。すなわち，編集を受けていない単語の意味もある程度変化すると考えられる。

同義性については，BLEU と同様に BERTScoreMulti では NONE の評価が高いが，BERTScore-Avg では編集タグ間の評価の差が小さくなっている点には注目したい.これは，BERTScoreが構造の異なる文に対しても一定程度その類似性を評価できることを示唆している.

## 4.3 FKGL

FKGL は Split のようにただ平均単語数が小さい出力文を高く評価してしまい，文法性の説明には不適である。また参照文を必要としないため，同義性を評価するのは難しい。

一方で平易性については, Identical に対して ASSET に良い評価を与えられている。しかし，編集タグ別では ADD や SUBへの評価が高くなっており，これはピリオドの挿入・置換によると考えられる。このことは，編集された単語の情報をふまえられないこの手法の弱点を示しているといえる。

## 5 おわりに

本研究の結果は，メタ評価に利用したどの自動評価指標もいずれかの観点では短所があることを示した.現状では平易化の評価には複数の指標を用いるのが望ましいといえ，例えば文法性については BERTScore で，平易性については SARI で評価する，といった方法が考えられる。

また，これらの考察は本研究で利用したような編集タグでも十分に導くことが可能であり，今後のメタ評価における一つの要素となるといえる。

今後の課題として，やはり多様な操作によって書き換えられた文についての人手スコアデータセットが必要である．多様さの確認においては，本研究で定義したような編集タグを利用することもできるといえよう.

## 謝辞

本研究は JSPS 科研費 JP19K20351 の助成を受けたものである.

## 参考文献

[1] Sandra M. Aluísio, Lucia Specia, Thiago A. S. Pardo, Erick G. Maziero, Helena M. Caseli, and Renata P. M. Fortes. A corpus analysis of simple account texts and the proposal of simplification strategies: First steps towards text simplification systems. Association for Computing Machinery, 2008.

[2] Jan De Belder and Marie-Francine Moens. Text simplification for children. Proceedings of the SIGIR workshop on accessible search systems, 2010.

[3] Menglin Xia, Ekaterina Kochmar, and Ted Briscoe. Text readability assessment for second language learners. Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, 2016

[4] John Carroll, Guido Minnen, Yvonne Canning, Siobhan Devlin, and John Tait. Practical simplification of english newspaper text to assist aphasic readers. Proc. of AAAI-98 Workshop on Integrating Artificial Intelligence and Assistive Technology, 1998.

[5] Luz Rello, Ricardo Baeza-Yates, Stefan Bott, and Horacio Saggion. Simplify or help? text simplification strategies for people with dyslexia. W4A 2013 - International Cross-Disciplinary Conference on Web Accessibility, 2013.

[6] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. Proceedings of the 12th Language Resources and Evaluation Conference, 2020.

[7] Louis Martin, Angela Fan, Éric de la Clergerie, Antoine Bordes, and Benoît Sagot. Muss: Multilingual unsupervised sentence simplification by mining paraphrases. arXiv preprint arXiv:2005.00352, 2021.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-driven sentence simplification: Survey and benchmark. Computational Linguistics, 2020.

[9] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. Transactions of the Association for Computational Linguistics, 2016.

[10] Elior Sulem, Omri Abend, and Ari Rappoport. Semantic structural evaluation for text simplification. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018.

[11] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. The (Un)Suitability of Automatic Evaluation Metrics for Text Simplification. Computational Linguistics, 2021.

[12] Fernando Alva-Manchego, Joachim Bingel, Gustavo Paetzold, Carolina Scarton, and Lucia Specia. Learning how to simplify from explicit labeling of complex-simplified text pairs. Proceedings of the Eighth International Joint Conference on Natural Language Processing, 2017.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002.

[14] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is not suitable for the evaluation of text simplification. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[15] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[16] Kincaid J. Peter, P. Fishburne Robert, L. Rogers Richard, and S. Chissom Brad. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. Institute for Simulation and Training, 1975.

[17] Teerapaun Tanprasert and David Kauchak. Flesch-kincaid is not a text simplification evaluation metric. Proceedings of the 1st Work- shop on Natural Language Generation, Evaluation, and Metrics (GEM 2021), 2021

[18] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. International Conference on Learning Representations, 2020.

[19] Thomas Scialom, Louis Martin, Jacopo Staiano, Éric Villemonte de la Clergerie, and Benoît Sagot. Rethinking automatic evaluation in sentence simplification. arXiv preprint arXiv:2104.07560, 2021.

[20] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, 2019.


# ニューラル文法誤り訂正システムにおける リランキングの改善に向けたオラクル分析

小林 正宗 ${ }^{1}$ 高橋悠進 ${ }^{2}$ 三田雅人 2,3 小町守 ${ }^{2}$
1 芝浦工業大学 2 東京都立大学 3 理化学研究所
dz18636@shibaura-it.ac.jp, takahashi-yujin@ed.tmu.ac.jp,
masato.mita@riken.jp, komachi@tmu.ac.jp

## 概要

ニューラル文法誤り訂正システムは通常，上位 $\mathrm{N}$文 (N-best) の中からビームサーチを行い，スコアの最も良い文 (1-best)を最終的な出力文として選択する.しかし, 1-best はシステム性能の観点から必ずしも最良な文とは限らず，システム性能を最大にする文（オラクル文）を選択することは難しい。この問題の解決策として，特定の情報を利用して N-best の各文のスコアを再計算し並び替えるリランキングがあるが，ニューラル文法誤り訂正においてどのようなリランキングが適切かは明らかになっていない.そこで本研究では，リランキングの改善に向けたオラクル分析を行う．具体的には，オラクル文を上位にリランキングするためにどのような情報が必要か，といった観点でアノテーションを行い，リラキングを改善させる可能性のある要素を分析する.

## 1 はじめに

文法誤り訂正は，文法的な誤りを含む文を入力とし，誤りを含まない文へと変換し出力するタスクである。近年は，その構造的類似性から，文法誤り訂正タスクを誤りを含む文から誤りを含まない文への翻訳とみなすニューラル機械翻訳に基づくアプロー チが主流である. ニューラル文法誤り訂正システムは通常，出力のうち上位 $\mathrm{N}$ 文 ( $\mathrm{N}$-best) のビームサー チを行い，スコアの最も良い文 (1-best)を最終的な出力文として選択する. しかし, 対数尤度の観点からの 1-best は必ずしも文法誤り訂正の観点からの最良な文とは限らず，N-best の中から文法誤り訂正の精度を最大にする文を選択することは難しい。

上記のような問題の解決策として，リランキングが注目されている. リランキングは， N-best の各文のスコアを再計算し並び替える手法であり，元々の

図 1 本研究の概要

オラクル文 : It is useful to the government and people in the law sector. 1-best : It is useful to the government and the people in the law sector

図 2 アノテーションの概要

システムに組み込むことが難しい情報や言語資源を利用することができる. リランキングは様々な手法がこれまでに提案されており，Mizumoto ら [1]の統語情報を利用した手法や Chollampatt ら [2] の編集操作と言語モデルの特徴量を利用した手法などがある.リランキングにより，N-best の中から文法誤り訂正精度の高い文を選択することで，文法誤り訂正システムの性能改善が期待できる。

しかし，ニューラル文法誤り訂正においてどのようなリランキングが適切かは明らかになっていない.ここで， N-best の中からオラクル文を上位にリランキングするにはどのような情報が必要か，といった問いが自然に提起される。ここでのオラクル文とは，N-best の中から任意の評価手法において精度が最も高くなるような文を指し，そのときの精度はそのシステムの理論上の上限値を意味する。また，この問いについて調査することは，単にリラン
表 1 アノテーションの分類ラベルと例.太字は誤り箇所，青色のハイライトはアノテーション時の判断根拠となる箇所をそれぞれ示している。

 \\

キング手法を改善する可能性のある要素を明らかにするだけでなく，最先端システムを対象に調査することで，現状のシステムにおける訂正が困難な文法誤りを明らかにすることに繋がると考えられる。

そこで本研究では，上記の問いの答えを調査すべく, リランキングの改善に向けたオラクル分析を行う. 本研究のイメージを図 1 に示す. 具体的には, まずはじめに最先端文法誤り訂正システムを対象として，オラクルを算出し，システムの 1-best とオラクル文には大きな差があることを定量的に示す.次に，オラクル文を上位にリランキングするにはどのような情報が必要か，といった観点で人手でアノテーションを行い，リランキングを改善させる可能性のある要素を明らかにする。

本研究の主要な貢献は以下である。

・分析対象データのうち，8 割がリランキングで改善する余地があることがわかった. 5 割は文内で解けるものであり，文内の文脈の重要性が示された. 残りの 3 割は文外の文脈が必要なものであり，特に前の数文を考慮することは有効であると示された.

・分析対象データのうち，2 割がリランキングで
の改善が難しいことがわかった. リランキング手法のみならず，評価手法についても改善の余地がある可能性が示された.

## 2 分析手法

本研究では，オラクル文を上位にリランキングするために必要となりうる情報を得るために，オラク几文を正解文とみなしニューラル文法誤り訂正システムの 1-best 出力に対してアノテーションを行う.具体的なアノテーションの概要を図 2 に示す.

まず，オラクル文を正解文，1-bestを原文とみなし，文法誤り訂正システムの評価・分析ツールキット ERRANT [3] を用いて 1-best 文の誤り箇所，エラータイプ，編集操作を解析する。 次に, ERRANT の解析結果をもとに，1-bestに対してアノテーションを行う．アノテーションは基本的に文を見て行う．また，アノテーションをする際は文内の文脈で決まらない時のみ文外の文脈を使用する。

アノテーションの分類ラベルは大分類と小分類の 2 つに分ける. 大分類と小分類の概要およびそれぞれのアノテーションの具体例を表 1 に示す. 大分類の種類は，文内で解ける，文外の文脈が必要，一
般的な知識が必要, 誤りではないの計 4 つである.大分類は，1-best をオラクル文にするための訂正内容を明示するラベルであり，オラクル文に近づけるために最尤なラベルを 1 つアノテーションする。 小分類は，大分類を細分化したラベルであり，文内で解けるものは ERRANT によるエラータイプ，文外の文脈が必要なものは文脈幅で細分化を行った. また，一般的な知識が必要なものと誤りではないものは細分化は行わなかった. 小分類は文内の誤り箇所ごとにアノテーションする.

## 3 実験設定

ベースシステム実験に使用する文法誤り訂正システムとして, Kiyono ら [4] のシステムを使用する. Kiyono らのシステムは文法誤り訂正の代表的なベンチマークである CoNLL2014 [5]，および BEA-2019 [6] において世界最高水準の性能を達成しており，文法誤り訂正の現状を分析をするうえで適していると考えられる。具体的には，本研究では Kiyono らのシステムにおける PRETLARGE+SEE (finetuned) モデルを使用した ${ }^{1)}$. なお，ハイパーパラメータは，バッチサイズを $16, \mathrm{~N}$-best の $\mathrm{N}$ に相当するビーム幅を 10 とし，それ以外を全て Kiyono らと同じ値に設定した。

データ本実験では，CoNLL-2013 [7] を分析対象のデータとして使用する. CoNLL-2013テストセットは，CoNLL-2013共通タスクで提供されたデータセットであり，文法誤り訂正分野では，開発データとして一般的に使用されている. 本実験では，アノテーションの前に, CoNLL2013テストセットの全 1,381 文の中から 1-best とオラクルが異なるようにサンプリングした 70 文に対し，それぞれ ERRANT を用いて 1-best の誤り箇所, エラータイプ, 編集操作の解析を行った.ここでの N-best は, CoNLL2013 テストセットを Kiyono らのシステムに入力した出力のうち, 出力確率の高い上位 10 文である. オラクル文は, N-best の各文に対して M2Scorer [8] で $\mathrm{F}_{0.5}$ を計算した中で最も $\mathrm{F}_{0.5}$ スコアが高い文である. そして, サンプリングした 70 文に対し, 大分類, 小分類の順でアノテーションを行った. アノテーションは2名で行った。

表 2 ERRANTによるエラータイプ（上位 5 項目）

表 3 大分類のアノテーション結果

## 4 実験結果

表 2 に ERRANT による 1-best の解析結果を示す. エラータイプのうち，限定詞の誤りが最も多く，次点で動詞の時制，前置詞の誤りが多かった.

表 3 に大分類のアノテーション結果を示す. アノテーションの妥当性を測るために，2 名のアノテー ターの agreement を測ったところ，62.9\%であった. Cohen's kappa の值は 0.39 で, Landis and Koch [9] の基準では fair agreement に該当した.

表 4 に小分類のアノテーション結果を示す。文内で解けるもののうち，動詞の時制の誤りが最も多く，次点で前置詞，限定詞の誤りが多かった. 文外の文脈が必要なもののうち，39\%（33 箇所中の 13 箇所）は実際に使用しても解けないものであった.また，文外の文脈を使用して解けるもののうち， $85 \%$ （20 箇所中の 17 箇所）は前の文外の文脈を使用することで解けることがわかった.

## 5 分析・考察

本節では，リランキングを改善させる可能性のある要素を明らかにするために，大分類の 4 つの分類ラベルごとに 1-best の分析を行う.

文内で解けるもの文内で解ける 37 文（表 3）とサンプリングした 70 文を，ERRANT によるエラー タイプ上位 5 項目で比較をした. その結果，文内における 37 文における限定詞の割合が $15 \%$ 減少して
表 4 小分類のアノテーション結果

いた。そのため，文内の情報では，限定詞の誤りの訂正が難しいことが考えられる。

文外の文脈が必要なもの文外の文脈が必要と考えられる誤り箇所の 61\%（33 箇所中の 20 箇所）が実際に前後の数文を参照することで解くことができた.また，後ろの数文よりも前 1 文または前 2 文以前を参照すると解けるものが多いことがわかった。従って，リランキングの際に前後の出力文を考慮することは有効であり，特に前の数文を考慮することはリランキング性能を大きく向上させる可能性が考えられる。

一般的な知識が必要なもの一般的な知識が必要なものはサンプリングした 70 文のうち 1 文であったことから，常識やイディオムなどの一般的な知識はリランキング性能を向上させる上で必要な要素ではあるが，比較的その重要性は低いことがわかった.

誤りではないもの誤りではないものは $20 \%$ 存在していた. これは，オラクル文に対して 1-best が正当に評価されていないことを示している．つまり， 1-best とオラクル文の文意の差が大きくないにも関わらず，1-bestを過小評価してしまっている可能性がある. 従って，リランキング手法のみならず，文法誤り訂正システムの評価手法についても改善の余地があると考えられる。

## 6 関連研究

文法誤り訂正システムの性能向上のために，様々な N-best のリランキング手法の研究が行われている. Mizumoto らはフレーズベース統計的機械翻訳を使い，品詞や依存関係などの統語情報を活用することでリランキング性能を向上した. Chollampatt らは対数線形モデルを使い，システムの候補文のスコアに編集操作と言語モデルによる特徴量を追加し, スコアの再計算をする手法を提案した. Hoang ら [10] は統計的機械翻訳システムによる文の修正を有効または無効に分類する分類器を構築し， N-best に分類器を使うことで各候補文を分類し，スコアを再計算することでリランキングを行った. Liu ら [11] は複数の候補文を用いて文法誤り訂正の品質推定を行う VERNet を提案し，トークンレベルの品質推定スコアを用いて高性能のリランキングを実現した。

## 7 おわりに

本研究では，リランキング性能を改善させる可能性のある要素を分析するために，オラクル文を上位にリランキングするためにはどのような情報が必要かという観点で 1-best に対してアノテーションを行った. アノテーションの結果より, リランキングにおいて文内の情報を利用することは，動詞の時制や限定詞，代名詞などの長距離の文脈を必要とする際に有効であると考えられる。また，文外の文脈を考慮することが性能を向上させる有効な要素となりうると判明した. さらに，リランキング手法のみならず，評価手法についても改善の余地がある可能性が示された。

今後は，本研究で得られた知見を利用することによる，文内および文外の文脈を利用したリランキング性能に関する研究を行いたい。

## 参考文献

[1] Tomoya Mizumoto and Yuji Matsumoto. Discriminative reranking for grammatical error correction with statistical machine translation. In NAACL, 2016.

[2] Shamil Chollampatt and Hwee Tou Ng. A multilayer convolutional encoder-decoder neural network for grammatical error correction. In AAAI, 2018.

[3] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In ACL, 2017.

[4] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In

EMNLP, 2019.

[5] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In CoNLL, 2014.

[6] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In BEA, 2019.

[7] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In CoNLL, 2013.

[8] Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In ACL, 2012.

[9] J. Richard Landis and Gray G. Koch. The measurement of observer agreement for categorical data. In Biometrics, 1977.

[10] Duc Tam Hoang, Shamil Chollampatt, and Hwee Tou Ng. Exploiting n-best hypotheses to improve an SMT approach to grammatical error correction. In IJCAI, 2016.

[11] Zhenghao Liu, Xiaoyuan Yi, Maosong Sun, Liner Yang, and Tat-Seng Chua. Neural quality estimation with multiple hypotheses for grammatical error correction. In NAACL, 2021.