# アノテータのバイアスを考慮した記述・論述式自動採点手法

岡野将士
電気通信大学大学院
okano@ai. lab.uec.ac.jp
}

宇都雅輝
電気通信大学大学院
uto@ai.lab.uec.ac.jp

## 1 はじめに

近年，新しい時代に必要となる能力を評価する手法として記述・論述式試験が注目されている.しかし，大規模試験に記述・論述式試験を導入する場合，時間的・金銭的コストの高さや採点の公平性の担保の難しさといった課題が存在する. 自動採点手法はこれらの解決策の一つとして注目されている.

自動採点を実現する方法として，事前に定義された特徴量を用いる手法 $[1,2,3,4]$ や深層学習モデルを用いた手法 $[5,6,7,8,9]$ が存在する. これらの手法の多くは, 教師あり機械学習を用いてモデル学習を行う。しかしながら，教師あり機械学習では，モデル学習に利用するデータセットの質がモデルの構築精度に影響を与えるという欠点が知られている。教師あり機械学習を用いた自動採点モデルでは，モデル学習に利用する採点済み答案データセット中の得点はバイアスのない正確な得点であると仮定する.しかし，大規模試験では多数のアノテータが分担して採点を行うことが一般的であり，そのような場合，個々の答案に対する得点がアノテータの特性 （甘さ/厳しさなど）に強く依存してしまう [10]. このようなアノテータの特性の影響を受けたデータを利用した場合，学習されるモデルもその影響を受け, 予測性能が低下することが報告されている [11].

他方で，教育・心理測定の分野において，アノテータの特性の影響を考慮して真の得点を推定できる手法が多数提案されている. 具体的には, 数理モデルを用いたテスト理論の一つである項目反応モデルに，アノテータの特性を表すパラメータを加えたモデルとして提案されている $[10,12,13,14,15,16]$

そこで本研究では，アノテータの特性を考慮した項目反応モデルを教師あり機械学習を用いた自動採点モデルに組み込んだ，アノテータのバイアスに頑健な新たな自動採点手法を提案する。具体的には， アノテータが与える得点データから項目反応モデルを用いて各答案の真の得点を推定し，これを目的変数として自動採点モデルを学習する.この手法は様々な自動採点モデルで利用できるが，本研究では特徵量ベース自動採点モデルとして EASE[4], 深層学習自動採点モデルとして, LSTM に基づくモデル [7] と BERTを用いたモデル [9]への組み込みを行う. 提案手法を利用することで，アノテータのバイアスに頑健なモデル学習と得点予測が期待できる.

## 2 データ

本研究では，ある記述・論述式問題に対する $J$ 人の受験者 $\mathscr{F}=\{1, \ldots, J\}$ の答案集合 $\boldsymbol{A}$ と，各答案を $R$ 人のアノテータ $\mathscr{R}=\{1, \ldots, R\}$ で分担して採点した得点集合 $\boldsymbol{U}$ で構成されるデータを想定する.

答案集合 $\boldsymbol{A}$ は，受験者 $j \in \mathcal{F}$ の答案 $e_{j}$ の集合であり, 得点集合 $\boldsymbol{U}$ は答案 $e_{j}$ に対してアノテータ $r \in \mathscr{R}$ が $K$ 段階 $\mathscr{K}=\{1, \ldots, K\}$ で与えた得点 $U_{j r}$ の集合として，U=\{U$\left.U_{j r} \in \mathscr{K} \cup\{-1\} \mid j \in \mathcal{F}, r \in \mathscr{R}\right.\}$ と定義される. ここで, $U_{j r}=-1$ は久測データを表す.欠測データは答案 $e_{j}$ にアノテータ $r$ が割り当てられていない場合に生じる. 実際の採点場面ではアノテータの負担軽減のために，個々の答案に数名のアノテータを割り当てて採点が行われるため，このような久測が生じる。

## 3 自動採点モデル

## 3.1 特徴量ベース自動採点モデル

事前に定義した特徴量を用いた自動採点手法は自動採点を実現する手法として古くから研究されており，実際の試験現場でも用いられている $[1,2,3]$. それらの中でも特に, EASE (Enhanced AI Scoring Engine）[4] は自動採点のコンペティションで3位に入賞したモデルであり, 数多くの研究で比較対象として用いられている.このモデルでは, 使用語彙や品詞情報, 単語数などに基づく特徴量を用いて得点の推定を行っている. 具体的には，これらの特徴量を答案から抽出し，それらを回帰モデルに入力する

ことで自動採点を実現している. また，回帰モデルとしてべイジアンリッジ回帰（BLRR）とサポートベクター回帰（SVR）が使用されることが多い [3].

## 3.2 深層学習自動採点モデル

深層学習自動採点モデルは対象答案の単語系列を深層学習モデルに入力することで，人手で設計した特徴量を利用することなく，採点を行う手法であり, 近年多くの手法が提案されている $[5,6,7,8,9]$. LSTM に基づくモデル [7] はそれら最先端研究のベースライン手法として知られている. このモデルでは，答案の単語系列を入力し，5つの層（Lookup Table Layer $\cdot$ Convolution Layer $\cdot$ Recurrent Layer $\cdot$ Pooling Layer ・ Linear Layer with Sigmoid Activation）を通して得点を予測する. LSTM は 3 層目の Recurrent Layer で用いられ，得点予測に有効な特徴量を文脈を考慮して抽出する。また， 5 層目の Linear Layer with Sigmoid Activation では Pooling 層の出力ベクトル $\boldsymbol{M}_{j}$ から得点を表すスカラー值を求める. 具体的には， シグモイド関数 $\sigma$ を用いて, $\hat{U}_{j}=\sigma\left(\boldsymbol{W}_{\boldsymbol{j}}+b\right)$ で計算する. ここで， $\boldsymbol{W}$ と $b$ は重みとバイアスを表すパラメータである.この際， $\hat{U}_{j}$ は $(0,1)$ の值を取るため，一次変換を行い，実際の得点尺度に合わせる。

また，様々なタスクで最高精度を達成している BERT[17] を用いたモデル [9]も提案されている. このモデルでは, 答案の単語系列を入力し, 多層の双方向 Transformer（BERT）を通すことで，中間表現 $\boldsymbol{M}_{j}$ を生成する.この中間表現 $\boldsymbol{M}_{j}$ を LSTM に基づくモデルと同様の Linear Layer with Sigmoid Activation に通すことで得点を計算する。

## 3.3 従来手法の問題点

上述した自動採点モデルの多くは，教師あり機械学習を用いてモデル学習を行う。この際，採点済みの答案データセットを教師データとして活用する。具体的には，次式で定義される平均二乗誤差 (mean squared error：MSE）を損失関数として, 誤差逆伝搬法で学習することが一般的である.

$
\operatorname{MSE}(\boldsymbol{U}, \hat{\boldsymbol{U}})=\frac{1}{J} \sum_{j=1}^{J}\left(U_{j}-\hat{U}_{j}\right)
$

ここで, $U_{j}$ は $e_{j}$ の得点を, $\hat{U}_{j}$ は $e_{j}$ の予測得点を表す.しかし, 学習データ中の得点データはアノテー タの特性に強く依存する.この場合, 自動採点モデルにも，アノテータの特性の影響が反映され，予測精度が低下してしまうことが指摘されている. 本研究では，この問題を解決するために，項目反応理論を用いる。

## 4 項目反応モデル

項目反応理論 (Item Response Theory：IRT) は，コンピュータ・テスティングの普及とともに近年様々な分野で実用化が進められている数理モデルを用いたテスト理論の一つである. 本研究では, 最先端研究である宇都・植野のモデル $[13,18]$ を利用する.

宇都・植野のモデル $[13,18]$ では，受験者 $j \in \mathscr{g}$ ある答案に対し, アノテータ $r \in \mathscr{R}$ が得点 $k \in \mathscr{K}$ を与える確率は次式で定義される。

$
P_{j r k}=\frac{\exp \sum_{m=1}^{k}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}{\sum_{l=1}^{K} \exp \sum_{m=1}^{l}\left[\alpha_{r}\left(\theta_{j}-\beta_{r}-d_{r m}\right)\right]}
$

ここで， $\alpha_{r}, \beta_{r}, d_{r k}$ はそれぞれアノテータ $r$ の一貫性，厳しさ，得点 $k$ に対するアノテータ $r$ の厳しさを表し（ただし，パラメータの識別性のために， $d_{r 1}=0, \sum_{k=2}^{K} d_{r k}=0$ を仮定 $), \theta_{j}$ は受験者 $j$ の真の能力を表す潜在変数である.この $\theta_{j}$ は採点対象となる答案の数が受験者ごとに一つであることから，その受験者の答案 $e_{j}$ の真の得点（以降では IRT 得点と呼ぶ）を表す潜在変数とみなせる. 本研究のアイディアは，このモデルによって推定される IRT 得点 $\theta_{j}$ を用いて自動採点モデルを学習することにある.

## 5 提案手法

本研究では，アノテータの特性を考慮した項目反応モデルを自動採点モデルに組み込むことで，学習データに含まれるアノテータのバイアスに頑健な自動採点手法を提案する。提案手法は，IRTによる得点補正と, 自動採点モデルの学習の二段階で構成される. モデルの学習段階と得点の予測段階について，手順を説明する。

## 1. モデル学習

1) 得点データ $\boldsymbol{U}$ から，IRT モデルを用いて $\theta_{j}$ を推定する。この $\theta_{j}$ を，答案 $e_{j}$ に対する得点とする。2) 得点 $\theta_{j}$ を予測するように，自動採点モデルを学習する. 具体的には自動採点モデルの損失関数を次の MSE で定義し, 誤差逆伝播法によりパラメータを学習する。

$
\operatorname{MSE}(\boldsymbol{\theta}, \hat{\boldsymbol{\theta}})=\frac{1}{J} \sum_{j=1}^{J}\left(\theta_{j}-\hat{\theta}_{j}\right)^{2}
$

ここで $\hat{\theta}_{j}$ は，自動採点モデルの予測値を表す.
表 1 検証モデルの設定

## 2. 得点予測

得点予測は，前節で学習されたモデルを用いて $\theta_{j}$ を予測することで行う．ただし，IRTでは一般に $\theta_{j}$ の分布として標準正規分布を仮定するため, $\theta_{j}$ は $[-\infty, \infty]$ の範囲の値をとり, 元の得点とは尺度が変わってしまう. 元の得点尺度に合わせるために，本実験では次のように IRT モデルに基づく期待得点 $\hat{U}_{j}$ を求める.

$
\hat{U}_{j}=\frac{1}{R} \sum_{r=1}^{R} \sum_{k=1}^{K} k \cdot P_{j r k}
$

なお，提案手法の本来の利用方法でないが，提案手法では個々のアノテータが与える得点も予測することができる．具体的には，アノテー タ $r$ が $e_{j^{\prime}}$ に与える得点は次式で予測できる.

$
\hat{U}_{j^{\prime} r}=\sum_{k=1}^{K} k \cdot P_{j^{\prime} r k}
$

## 6 実データによる評価実験

## 6.1 実データ

本実験では，実データとして自動採点モデルのベンチマークデータとして広く利用されている Automated Student Assessment Prize（ASAP）を使用する. ASAP は 2012 年にヒューレット財団がスポンサーとなって開催されたコンペティションのデー タであり，8つの異なるトピックに対する答案デー タと得点データで構成されている. ただし，ASAP のデータにはアノテータの情報が含まれていないため，提案手法を直接は適用できない。そのため，新たにアノテータを雇用して ASAP の答案データを再度採点し, 本実験で用いる得点データを収集した. 具体的には, 先行研究で予測精度が最も高かったトピック 5 の 1805 個の答案に対して, Amazon Mechanical Turk で募集した英語ネイティブ 38 名のアノテータを 1 つの答案あたり 3～5 名割り当てて，
ASAP と同様に 5 段階の採点を行った. ASAP の得点データとの相関は，平均で 0.675 であった.

## 6.2 得点予測の頑健性の評価

本節では，提案手法を利用することで，アノテー タのバイアスに頑健な自動採点モデルを学習できるかを評価する．本実験では，個々の答案を採点するアノテータを変化させても，安定した性能の自動採点モデルを学習できるかによってこれを評価する.

具体的には，項目反応モデルの研究における実験手順 $[19,20]$ を参考に，以下の手順で評価実験を行った. 1) 得点データから IRT モデルのアノテータに関するパラメータを推定した. 2) 各答案に与えられた複数のアノテータの得点からランダムに 1 つの得点を選択することで，各答案に単一の得点が与えられたデータセットを作成した. 同様の手続きで 10 パターンの異なるデータセットを作成した. これらのデータセットを $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ とする.3) $n$ 番目の得点データセット $U_{n}^{\prime}$ から各答案に対する IRT 得点を推定した. 推定時には，手順 1 で推定したアノテータに関するパラメータを所与とした. 4) 得られた IRT 得点と答案文のデータセットを用いて，5 分割交差検証法で各答案の予測得点を求めた. 5) 手順 4 を $n=\{1, \ldots, 10\}$ について行ったあと， $n$ 番目のデータセットから求めた予測得点と $n^{\prime}$ 番目の得点データセットから推定した予測得点とのカッパ係数，重み付きカッパ係数（Linear Weighted Kappa： LWK)，2 次重み付きカッパ係数 (Quadratic Weighted Kappa：QWK), 平均絶対誤差 (Mean Absolute Error： MAE), 平均平方二乗誤差（Root Mean Square Error : RMSE），相関係数を $n \in\{1, \ldots, 10\} ， n^{\prime} \in\{1, \ldots, 10\}$ の全ての組み合わせについて求め，それらの平均を算出した.

比較のために，IRT を利用しない既存の自動採点手法についても同様の実験を行った。具体的には，手順 2 で作成したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, U_{10}^{\prime}\right.\}$ を用いて, 手順 4, 5 と同様に 5 分割交差検証法で得点を予測し, 予測された得点同士の一致性指標を求めた.

また，提案手法・従来手法ともに，深層学習自動採点モデルとしてはLSTM と BERT を用いたモデル，特徴量ベース手法としては EASE について上記の実験を行った.なお，LSTM 自動採点モデルについては，各層の有無や構成について複数の方式が提案されている。 そのため，表 1 に記載した複数の構成のモデルについて検証を行った。また，EASEに
表 2 予測の頑健性の評価結果

}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ LWK }} & \multirow{2}{*}{\multicolumn{2}{|c|}{}} & \multirow{2}{*}{\multicolumn{3}{|c|}{ 值 $\frac{M}{M}$}} & $\mathrm{AE}$ & \multicolumn{3}{|c|}{ RMSE } & \multicolumn{3}{|c|}{ 相関係娄 } \\

表 3 予測得点の評価結果

 & ツハ & & &  & 直 & &  & & 提案 &  & & 提案 &  & & & 既 & \\

*は $\mathrm{p}$ 值が 0.05 未満，** は $\mathrm{p}$ 値が 0.01 未満を表す.

ついても用いる回帰モデルは複数考えられるが，先行研究で精度が高い BLRR のモデルを用いる. さらに，提案手法と既存手法で性能に有意な差があるかを確認するために，各指標の平均値について，提案手法と既存手法で $\mathrm{t}$ 検定を行った.

実験結果を表 2 に示す. 表中では提案手法と既存手法で性能が高い方を太字で示している。表 2 から，ほぼ全ての条件において，提案手法が有意に高い性能を示していることが確認できる。このことから，IRT 得点を目的変数として自動採点モデルを学習する提案手法により，アノテータのバイアスに頑健な自動採点を実現できたことがわかる.

## 6.3 提案手法の得点予測精度評価

本節では，各アノテータの得点 $U_{j r}$ の予測精度を評価するために， $U_{j r}$ の予測得点と実際の得点との一致度を, 前節と同様の一致性指標を用いて 5 分割交差検証法で評価した. 具体的な実験手順は次の通りである。提案モデルでは，手順 $1 ， 2 ， 3$ は前節と同様に行い，手順 4 において式 (4) で期待得点を求める代わりに各アノテータの得点の予測値を式 (5) で求め, 予測された得点と実際の得点との一致性指標を求めた. 既存モデルでは，前節の手順 2 で作成したデータセット $\left.\{\boldsymbol{U}_{1}^{\prime}, \ldots, \boldsymbol{U}_{10}^{\prime}\right.\}$ を用いて 5 分割交差検証法で得点予測を行い，予測された得点と実際の得点との一致性指標を求めた.

結果を表 3 に示す. 表 3 では，提案手法と既存手法で性能が高い方を太字で示している. 提案手法と既存手法の性能を比較すると，ほぼ全ての場合で提案手法が高い性能を示している。これは，IRTによって補正された得点は文章の質を素点そのものよりも正確に反映しているため，提案手法では文章と得点の関係がより適切に学習できたことが要因と考えられる.このことから，提案手法は予測得点の頑健性向上に加え，アノテータが与えた得点の予測にも有効であることが確認できた。

## 7 まとめ

近年，自動採点技術に注目が集まっているが，教師あり機械学習を用いたモデルでは学習データセットによるモデルの不安定さが指摘されてきた。本研究では, IRTを用いて各答案の真の得点を推定し， それを自動採点モデルに学習させることで，この問題を解決する手法を提案し，実データ実験から有効性を示した．今後は，このモデルを end-to-end にすることで，IRT 得点の推定にテキストの情報も活用し，さらなる性能改善を目指したい。

## 参考文献

[1] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v.2. Journal of Technology, Learning and Assessment, Vol. 4, No. 3, pp. 1-30, February 2006.

[2] Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752. Association for Computational Linguistics, October 2013.

[3] Peter Phandi, Kian Ming A. Chai, and Hwee Tou Ng. Flexible domain adaptation for automated essay scoring using correlated linear regression. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 431-439. Association for Computational Linguistics, 2015.

[4] Tauber James, Paruchuri Vik, Huang Diana, Jarvis John, Aune Nate, and Kern John. Enhanced ai scoring engine, （2021-1 閲覧）. https://github.com/edx/ease.

[5] Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 715-725. Association for Computational Linguistics, August 2016.

[6] Jiawei Liu, Yang Xu, and Lingzhe Zhao. Automated essay scoring based on two-stage learning. CoRR,arXiv, December 2019.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1882-1891. Association for Computational Linguistics, November 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay scoring - an empirical study. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077. Association for Computational Linguistics, November 2016.

[9] Pedro Uria Rodriguez, Amir Jafari, and Christopher M. Ormerod. Language models and automated essay scoring. arXiv, September 2019.

[10] 宇都雅輝, 植野真臣. パフォーマンス評価のための項目反応モデルの比較と展望. 日本テスト学会誌, Vol. 12, No. 1, pp. 56-75, May 2016.

[11] Evelin Amorim, Marcia Cançado, and Adriano Veloso. Automated essay scoring in the presence of biased ratings. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 1, pp. 229-237. Association for Computational Linguistics, June 2018.

[12] Masaki Uto and Maomi Ueno. Empirical comparison of item response theory models with rater's parameters. $\mathrm{He}$ liyon, Elsevier, Vol. 4, No. 5, pp. 1-32, May 2018.

[13] Masaki Uto and Maomi Ueno. A generalized many-facet Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Springer, Vol. 47, No. 2, pp. 469-496, 2020.

[14] Richard J. Patz, Brian W. Junker, Matthew S. Johnson, and Louis T. Mariano. The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, Vol. 27, No. 4, pp. 341-384, January 2002.

[15] Richard J. Patz and Brian W. Junker. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of Educational and Behavioral Statistics, Vol. 24, No. 4, pp.342-366, December 1999.

[16] J.M. Linacre. Many-faceted Rasch Measurement. MESA Press, January 1989.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18] 宇都雅輝, 植野真臣. ピアアセスメントにおける異質評価者に頑健な項目反応理論. 電子情報通信学会論文誌. D, 情報・システム, Vol. 101, No. 1, pp. 211-224, January 2018.

[19] 宇都雅輝. 論述式試験における評点データと文章情報を活用した項目反応トピックモデル. 電子情報通信学会論文誌 D, Vol. 102, No. 8, pp. 553-566, August 2019.

[20] Masaki Uto. Rater-effect IRT model integrating supervised LDA for accurate measurement of essay writing ability. In Proceedings of the Conference on Artificial Intelligence in Education, pp. 494-506. Springer, June 2019.


# L1-aware Grammatical Error Correction via Multitasking with Native Language Estimation

Yuehao Yuan
The University of Tokyo
yuanyuehao@tkl.iis.u-tokyo.ac.jp
}

Naoki Yoshinaga
Institute of Industrial Science,
The University of Tokyo
ynaga@iis.u-tokyo.ac.jp
}

Figure 1 Our L1-aware GEC model with multitasking with L1 estimation.

Lang-8 dataset [5]. Experimental results confirmed that our method can perform accurate L1-aware GEC without assuming L1 information in evaluation.
## 2 Related work

Inspired by the observation that the L1s of secondlanguage learners of English strongly influence the expression and language usage of English [1], researchers set up various NLP tasks such as native language identification [6] and linguistic typology prediction [7], and also exploited the observation in solving our target task, grammatical error correction (GEC) [2, 4].

Since the distributions of grammatical errors depend on the learners' L1s [8], L1-aware GEC has been studied as a domain adaptation problem. Shamil purposed neural network joint models, and used L1-specific data for finetuning [2]. Maria and Joel considered L1 and proficiency at the same time and demonstrate the effective personalized GEC [4]. Although these approaches successfully improved the GEC performance, they are not applicable to text written by unknown-L1 writers.

We have two public datasets for training L1-aware GEC models. Lang-8 [5] dataset is extracted from a social networking site that aims to help users learn each other's L1.
1) Precisely speaking, in this study, we also utilize subgroups of common language families, although we consistently use the term language family.

Table 1 The number of sentences written by specific-L1 learners of English in two GEC datasets (after preprocessing).

CLC-FCE [9] compiles exam scripts in English written by students from various countries. These datasets, however, have some shortcomings for L1-aware GEC; the lack and imbalance of L1-specific data, as shown in Table 1. Although the fine-tuning used in neural L1-aware GEC models alleviates the data sparseness problem to a certain extent, it will not be effective when few or no annotated data is available as for Dutch.

## 3 Proposal

A straightforward way to perform L1-aware GEC on text whose writer's L1 is unknown is to first perform native language identification on the text and apply the GEC model trained for the estimated L1. However, this pipeline approach will be affected by error propagation, since accurate natural language identification is unrealistic when the input length is small. Even if input length is long, the input can be written by more than a single writers of various L1; for example, the paper you are reading now has been collaboratively written by Chinese and Japanese second-language learners of English.

In this study, we therefore propose to implicitly consider L1 of the writer of the input, and train a neural seq2seq-based GEC model [10] using a multitask learning with native language (L1) estimation as the auxiliary task. Specifically, the encoder of the GEC model is abused to guess the L1 of the writer of input text so that it can encode text while being aware of the writer's L1. In testing, the obtained L1-aware encoder can be applied to any text since it does not require L1 annotation to the test input. In what follows, we explain the auxiliary tasks on L1 estimation (§ 3.1), the model structure ( $\S 3.2$ ), and the training procedure (§ 3.3).

## 3.1 Auxiliary tasks

Keeping in mind that native language identification from short input is technically difficult, we set two L1 estimation tasks as auxiliary tasks: one task identifies the writer's L1 for a given input, and the other task identifies the language family of the writer's L1. By using the language families with coarse-grained labels instead of languages themselves, we will be able to make the training on the extreme classification of natural language identification more stable [11].

As far as we know, no one tried to use language family of L1 in L1-aware GEC. We therefore performed preliminary experiments to investigate the effectiveness of the language family in L1-aware GEC in the exising L1-aware GEC. Using the Lang-8 datasets, we trained a neural seq2seq-based GEC model [10] by fine-tuning a GEC model trained from the Japanese-L1 data using various L1 data and evaluated the performance of the resulting GEC models on the Spanish-L1 data. The results of this preliminary experiment revealed that GEC data written by learners whose L1s are in the same language family as Spanish is also effective in fine tuning.

## 3.2 Model structure for multitasking

The key issue in a performing multitask learning is what to share in the model structure to solve the main and auxiliary tasks. In this study, we adopt a neural seq2seq-based GEC model $[10,12]$ as the basic model structure. To perform a multitask learning with native language estimation, we share the encoder of the main GEC task with the classifiers of L1 (and its language family) estimation, and add a feedforward neural network to perform the classification on the top of the GEC encoder. The overview of our GEC model can be seen back in Figure 1, which illustrates the the following computation process:

$
\begin{aligned}
h_{t}^{(e n c)} & =\operatorname{encoder}\left(x_{1}^{t}\right) \\
h_{t^{\prime}}^{(\text {dec })} & =\operatorname{decoder}\left(y_{t^{\prime}-1}, h_{t^{\prime}-1}^{(\text {dec })} ; \boldsymbol{h}^{\text {enc }}\right) \\
P\left(y_{t^{\prime}}\right. & =\operatorname{softmax}\left(h_{t^{\prime}}^{(\text {dec })}\right) \\
P(c) & =\operatorname{softmax}\left(\operatorname{FFNN}\left(h_{n}^{(e n c)}\right)\right)
\end{aligned}
$

We denote the vectors from the hidden state of the topmost layer of encoder as $h_{t}^{(e n c)}$. Eq. 1 through Eq. 3 shows the process of generating output $\boldsymbol{y}$ (corrected input, the main

Table 2 Statistics of each L1-specific data in training dataset and test dataset; Chinese-, Japanese- and Korean-L1 data are sampled to perform experiments effectively.

Table $3 \quad F_{0.5}$ comparison of models on each L1, FT denote the fine-tuning model corresponding to the selected L1.

task), Eq. 4 uses the encoer's output to predict the class (L1 or its language family). When we train these tasks simultaneously, the training of every task will contribute to updating parameters of the GEC encoder; in other words, the model reads (encodes) text while being aware of the writer's L1 and generates (decodes) corrected input from the L1-aware encoding of the input.

## 3.3 Training procedure

In the multitask learning, it is important to control the impact of auxiliary tasks on updating the model's parameters. If we keep to incorporate the loss obtained from the auxiliary tasks during whole training, it may harm the performance of the main task. Therefore, we adopt task-wise early stopping [13], a strategy to stop training of auxiliary tasks prior to the main task to suppress the extra impact of auxiliary tasks.

## 4 Experiments

To confirm the effectiveness of our GEC model via multitask learning with native language estimation, we utilize the Lang-8 dataset [5] to compare our model with the general seq2seq-based GEC model that does not perform the multitasking. We evaluate the GEC models using the Precision, Recall, and $\mathrm{F}_{0.5}$ measure, computed by the M2 scorer [14].

## 4.1 Settings

In this experiment, we use the Lang-8 dataset [5] that consists of English text written by Chinese, Japanese, Ko- rean, Spanish, Russian, Polish, French, and Italian-L1 learners of English. Since the the size of L1 data for Japanese, Chinese, and Korean is much more than the other languages (Table 1), we randomly sampled part of data for those resource-rich languages for efficient experimentation. We summarized the statistics of the reduced dataset in Table 2.

To compare with the baseline model, we prepare three variants of multitask-learning models using the two auxiliary tasks; namely, the one with L1 identification, the one with L1's language family identification, and the one with $\mathrm{L} 1$ and its language family identification. The baseline is the neural seq2seq GEC model [10] that is identical to our model without multitasking.

The encoder and the decoder of the GEC model are threelayer bi-directional LSTMs with 200-dimensional hidden states for each layer. The feed-forward networks for the auxiliary tasks have a 200-dimensional input layer and a 256-dimensional hidden layer.

To find the best model by the task-wise early stopping [13], we set up multiple stop points from 5 to 30 with interval of 5 . When the training reaches the epoch corresponding to the stop points, we fork the training process to start the training with the GEC loss only. We choose the best stop points that maximized the GEC performance on each L1 dev data.

## 4.2 Results

Table 3 lists performance of the GEC models on each L1specific data. We can see from this result that our method
could successfully improved L1s with more training data. However, we could not improve the GEC performance for L1s with less training data except French. This is possibly because the native language estimation module in our model tends to estimate dominant L1s from input, which affects a negative impact on the GEC performance of European languages.

On the other hand, by comparing the performance of MTL (only L1) and MTL (only LF) on Japanese-L1 and Polish-L1 data, we can find that performance of the latter model has improved significantly, which implies that the introduction of language family is helpful for the GEC model on L1s which is more difficult to distinguish due to less training data.

Finally, we investigated the performance of two classification tasks on the test data. We notice that the accuracy of the L1 identification task is $49.90 \%$, while the accuracy of the L1 language family identification is $57.85 \%$. The majority-class baselines for the two identification tasks is $43.47 \%$. Therefore, the accuracy of the classifiers is not very high, especially for the L1 classifier. Although the accuracy of native language estimation tasks is low, considering those tasks as auxiliary tasks have greatly contributed to solving grammatical error correction.

## 5 Conclusion and future work

In this study, we propose an L1-aware GEC model via multitask learning with native language estimation. Our model implicitly uses L1s in contrast to the existing methods that is based domain adaptation and explicitly uses L1s in evaluation. To mitigate unstable training caused by the imbalance L1 data on GEC, we consider two tasks on native language estimation; namely, native language (L1) identification and L1's language family identification. Experimental results confirmed that our method achieves improvement over the baseline.

## References

[1]Michael Swan and Bernard Smith. Learner English: A Teacher's Guide to Interference and Other Problems. Cambridge Handbooks for Language Teachers. Cambridge University Press, 2 edition, 2001.

[2]Shamil Chollampatt, Duc Tam Hoang, and Hwee Tou Ng. Adapting grammatical error correction based on the native language of writers with neural network joint models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1901-1911, Austin,
Texas, November 2016.

[3]Alison Bernstein. The School Review, Vol. 86, No. 2, pp. 292-294, 1978.

[4]Maria Nadejde and Joel Tetreault. Personalizing grammatical error correction: Adaptation to proficiency level and L1. In Proceedings of the 5th Workshop on Noisy User-generated Text (W-NUT 2019), pp. 27-33, Hong Kong, China, November 2019 .

[5]Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 147-155, Chiang Mai, Thailand, November 2011.

[6]SEAN MASSUNG and CHENGXIANG ZHAI. Non-native text analysis: A survey. Natural Language Engineering, Vol. 22, No. 2, p. 163-186, 2016.

[7]Yevgeni Berzak, Roi Reichart, and Boris Katz. Reconstructing native language typology from foreign language usage. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning, pp. 21-29, Ann Arbor, Michigan, June 2014.

[8]Yevgeni Berzak, Roi Reichart, and Boris Katz. Contrastive analysis with predictive power: Typology driven estimation of grammatical error distributions in ESL. In Proceedings of the Nineteenth Conference on Computational Natural Language Learning, pp. 94-102, Beijing, China, July 2015.

[9]Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011.

[10]Tao Ge, Xingxing Zhang, Furu Wei, and Ming Zhou. Automatic grammatical error correction for sequence-to-sequence text generation: An empirical study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6059-6064, Florence, Italy, July 2019.

[11]Daisuke Oba, Naoki Yoshinaga, Shoetsu Sato, Satoshi Akasaki, and Masashi Toyoda. Modeling personal biases in language use by inducing personalized word embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2102-2108, Minneapolis, Minnesota, June 2019.

[12]Tao Ge, Furu Wei, and Ming Zhou. Reaching human-level performance in automatic grammatical error correction: An empirical study. CoRR, Vol. abs/1807.01270, , 2018.

[13]Zhanpeng Zhang, Ping Luo, Chen Change Loy, and Xiaoou Tang. Facial landmark detection by deep multi-task learning. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 94-108, Cham, 2014. Springer International Publishing.

[14]Daniel Dahlmeier and Hwee Tou Ng. Better evaluation for grammatical error correction. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572, Montréal, Canada, June 2012.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# スマートフォン向け 日本語プログラミング学習アプリケーションの開発

大久保遥花・宍戸真
東京電機大学大学院情報環境学研究科
\{20jkm05\}@ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

近年,プログラミング教育が重要視され,日本では,2020 年度から小学校においてもプログラミング教育が導入されている[1].文部科学省の狙いは，「知識及び技能」,「思考力,判断力, 表現力等」,「学びに向から力,人間性等」のような資質・能力を育成することである.手引書では,プログラミング教育において,身近な生活でコンピュータが活用されていることや,問題の解決には必要な手順があることに気付くことで「知識及び技能」を育成し, 発達の段階に即して,プログラミング的思考を育成することで「思考力,判断力,表現力等」を育成し,コンピュータの働きを,よりよい人生や社会づくりに生かそうとする態度を涵養することで「学びに向から力,人間性等」を育成するとされている。

このような現状の中,プログラミング学習を支援するシステムは有益であると言える.本研究の目的は,多くの人にプログラミングの面白さを実感してもらい,人々のプログラミング学習を支援する学習教材を開発することである.

## 2 先行研究

## 2.1 ビジュアル言語とテキスト言語の違い

図 1 Scratch の記述イメージ小学校教育に適した教育用プログラミング言語の提案の論文[2]では,テキスト型言語,フローチャート型言語,ルールベース型言語,ブロック型言語のようなプログラミング言語について,それぞれの利点と欠点を述べている.その中でも,教育用言語として特に使用されることが多いブロック型言語について，問題と考えられる点がいくつか挙げられている.この中で挙げられているブロック型言語のテキスト型言語とのギャップという項目に,共感する部分があった.ブロック型言語は,用意されているブロックを組み立ててプログラムを組むので,コードを一から入力するテキスト型言語に比べて,入力の手間が省け簡単にプログラムを組むことができる.また,文法のエラーを防ぐことができるという利点があるが，一方で,そのプログラムの組み立てる手法は,テキス卜型言語の手法と大きく異なる. 図 1 は,教育現場でよく使用されているブロック型言語である Scratch の画面の例である.ブロック型言語のようなビジュアル言語は,プログラミング的思考力を培う教材ではあるが,見た目やプログラミングの手法がテキス卜型言語と乘離しているため,汎用的なテキスト型のプログラミング言語の学習にスムーズに移行することは難しいだろう.そこで本研究は,汎用的なテキスト型プログラミング言語の学習への移行を円滑にすることを目標とする。

## 3 提案システム

本節では,提案するシステムの特徴や機能を説明する。

## 3.1 日本語によるプログラミング

コードの記述・エラーメッセージは基本的に日本語を用いる.その理由は,プログラミング初学者にとって,母国語でない言語による記述は学習を進める上で障壁になる場合が多いからである.日本語によって内容を理解しやすくすることで,初学者が挫折

しないようにすることが狙いである.

## 3.2 スマホで使用できるアプリケーション

現在, 日本はスマートフォン,PC, タブレット端末などの電子機器が広く普及しているが, 普段コンピユータ機器をあまり使用しない人も含めた個人での所有率が最も高いディバイスはスマートフォンであると考えられる.本稿で提案するシステムは,PC を持っていない人でも気軽にプログラミングを学習して欲しいという狙いがあるため,多くの人が利用しやすいスマートフォンを使って学習ができるようにする.

## 3.3 汎用的プログラミング言語に近い文法

3.1 で説明したように, 日本語を用いた分かりやすい記述を行えるようにすることを目指すが，一方で 2.1 に示したように,本システムは,汎用的なプログラミング言語の学習への移行を円滑にすることが目標であるため, 日本語の文法に片寄りすぎて汎用的なプログラミングの文法と大きく異なってしまうことは避けたい.そこで,一般的に大学の講義に用いられる場合が多い C言語に近い文法で学習できるようにする.

## 4 設計$\cdot$開発

## 4.1 開発環境

本研究では,Android アプリを開発する.開発ツールは Android Studio で,言語は Java を使用する.レイアウト画面設計には XML が用いられる。

## 4.2 構成

本アプリケーションの構成は,全 5 章から成る.それぞれの章の内容は,表 1 にまとめる.

表 1 章ごとの学習内容

それぞれの章で,学習内容に関する説明を読み,それに関する演習問題を解くという流れに沿って学習を進める。

## 4.3 演習問題の例

記述が正しい場合

図 2 プログラム実行のフローチャート
図 2 は,全体の動作の流れを示した図である.まず，入力画面で,パーツのボタンを正しい順番で押して記述をする.ボタンを押し終えたら, 実行ボタンを押す.もし記述内容が正しければ,実行結果が正しく表示される.記述が正しくない場合は,エラーメッセー ジが表示され,また最初から入力をすることになる.

## 図 3 文字列を表示(正解)

図 4 文字列を表示(不正解)

図 3,4 は文字列を表示させる演習問題の例である.「実行すると” ハロー,ワールド! ” と表示される」 という画面の例で, 図 3 は成功した場合, 図 4 はエラーが発生する場合の画面である.それぞれ,画面下部に正解または不正解のトーストが表示される.

次に,変数の代入に関する問題について説明する.

「ありがとう」をそれぞれ代入し,変数の中身を出力するという問題である. 3 つの変数を出力することが出来ると正解を示すトーストが表示される.

出力

図 5 変数の問題(正解)

図 5 は,変数 $a, b, c$ にそれぞれ数値,文字,文字列を代入し, 3 つの変数を表示させるプログラムの記述と実行結果である.ボタンを押して上図のように記述し，実行ボタンを押すと下図のような結果が表示され，画面下部に正解のトーストが表示される.

入力

数値 $\mathrm{a}=10 ;$
文字 b="や";
文字列 c="ありがとう"
表示(a);
表示(b);
表示(c);

出力

図 6 変数の問題(エラー)

図 6 は図 5 のプログラムの 3 行目「文字列 $\mathrm{c}=$ " ありがとう”;」の文の最後のセミコロンを記述しなかった場合の入力と実行結果である.下図のような結果が表示され,画面下部に不正解のトーストが表示される。

次に,算術演算子に関する問題について説明する. この問題は," $3 \times 8$ "," $48 \div 3$ ","56を 11 で割った余り" を出力するという問題である. 3 つの演算結果を出力することが出来ると正解を示すトーストが表示される.

出力

図 7 算術演算子の問題(正解)

図 7 は,"3×8","56を 11 で割った余り”," $48 \div 3 "$ の演算結果を表示させるプログラムの記述と実行結果である.画面上のボタンを押して上図のように記述し, 実行ボタンを押すと下図のような結果が表示され,画面下部に正解のトーストが表示される.

出力

図 8 算術演算子の問題(不正解)

図 8 は,” $3 \times 8$ ", $48 \div 3$ ” の計算結果を表示させるプログラムの記述と実行結果である.この場合, 3 つの演算結果を表示させることが出来ていないため，画面下部に不正解のトーストが表示される.

入力

出力

図 9 算術演算子の問題(エラー)

図 9 は,” $3 \times 8$ ”の計算結果を表示させる記述が,末尾の;が抜けているためエラーが引き起こされる例である.この場合も図 8 と同じく画面下部に不正解のトーストが表示される.

## 4.4 演習問題の実装

本節では, 4.3 で説明した演習問題について,どのように実装しているか説明する。

まず,図 3,4 の文字列を表示させる問題は,正解の文字列を用意し, 入力欄に記述された内容が正解の文字列と等しければハローワールドと表示させ,等しくなければエラーが発生するようになっている.

次に,図 5,6の変数に関する問題について説明する.最初に入力欄に記述された文字列を改行ごとに split メソッドを用いて分割し，配列にする.そして for ルー プで「表示(変数名);」文が記述されている箇所を探す.「表示(変数名);」文を見つけたら,それよりも前に該当する変数を定義する文が記述されている場合はその変数の値を出力させ,定義する文が記述されていない場合はエラーメッセージを表示させる.

最後に,図 7,8,9 の算術演算子の問題について説明する.入力が「表示(計算式);」の形式に当てはまっているかどうかを正規表現で判断する.マッチしていれば括弧内の計算式を取り出し,数値と演算子に分け,演算結果を返すようになっている。

## 5 まとめ

本稿では,日本語を用いたプログラミング初学者向けのスマートフォン向けアプリケーションを提案した.今後は,表 1 に示した内容を学べるように教材を豊富にし,様々なタイプの演習問題を取り入れる。 また,UI/UX デザインを改良し,使いやすいレイアウトにする.教材を作成した後は,教材を実際に使用してもらい評価を受ける実験を行っていく。

## 参考文献

1. 文部科学省. 小学校プログラミング教育の手引 （第二版）, 2018.

2. 久保文乃,久野靖. 小学校教育に適した教育用プログラミング言語の提案, 2019.


# Developing PvP Menu of E-Learning System for Learning Japanese

Astrid Tamara Makoto Shishido
Tokyo Denki University
\{astrid.tamara\}@hotmail.com, \{shishido\}@mail.dendai.ac.jp

## 1. Introduction

Students who do not use kanji in their native language have difficulty in learning Japanese [1] [2]. The cause is mainly because the writing and reading system of kanji and their native languages are different [1]. Learning kanji is even harder because there each kanji has several meanings and readings [3]. There are also a lot of kanjis to be learnt, the required jōyo kanji count is 2,316 as of 2010 [4]. Therefore, kanji acquisition is hard for foreign students [1] [2].

For the aforementioned problem in learning kanji, the development of e-learning system for learning Japanese was proposed. The system includes a pattern recognition so that the user can practice handwriting kanji. Gamification is also implemented to increase users' participation and motivation by implementing game elements, such as points, reward system and social elements.

This paper will explain about the development of the social elements part of gamification theory, which is the player vs player (PvP) menu. In the PvP menu, the user can play against another user in answering quizzes about Japanese kanji and vocabulary. By doing so, the user can accumulate points which determine who will win the match.

Lastly, future work will be discussed. This includes the evaluation part of the e-learning system which will be based on ARCS model.

## 2. Previous Development

## 2.1 E-Learning System

The e-learning system for learning Japanese was developed with pattern recognition for recognizing Japanese characters handwriting and implemented gamification theory to increase users' participation and motivation. The e-learning system is being developed for smartphones with operating system Android and iOS.

## 2.2 Gamification Theory

Gamification theory can increase users' participation and motivation by combining game elements and game thinking in activities that are not games [5] [6]. The game elements that are used in gamification theory are described in Table 1.

 \\

Table 1. Game Elements [6]

Using gamification theory in activities and processes, the users' commitment and motivation will increase [5]. According to Huang and Soman, gamification affects students' behavior, commitment and motivation which in turn will improve knowledge and skills as cited by [5].

## 2.3 System Development

The e-learning system consists of three primary learning menus, which are the Kanji, Vocabulary and Sentence menu. The Word List menu saves user's favorite words. The PvP menu is where the user can battle another user in a quiz. The menus are shown on Figure 1 with the matching game elements based on gamification theory on Table 1. The fifth game element, performance graph, is not shown as it is part of the profile screen.

Figure 1. Main Menu and Game Elements

The Kanji menu provides learning material for individual kanji. The Vocabulary menu provides learning material for Japanese words. The Sentence menu is how to use the words from Vocabulary menu in a sentence. The menu chapter screen is shown in Figure 2.

Figure 2. Kanji and Vocabulary Menu Chapter Screen
In the primary learning menus, there is a canvas in the middle of the screen to practice handwriting. The handwriting in the canvas will be sent to the server to be evaluated whether it is correct or incorrect. The preview of canvas in Kanji Menu is shown on Figure 3.

Figure 3. Practice Screen

## 3. Player Vs Player Menu (PvP)

## 3.1 What is PvP?

Player vs Player (PvP) menu enables the user to play against another user. By answering the questions correctly, the user can accumulate points. More points will be awarded for faster answer. The user with more points than the opponent will win the match.

The PvP menu was developed in regard to gamification theory game element, the social elements. This feature allows the user to interact with other user in quiz format. This is in line [5] that stated by implementing game techniques and mechanism in learning, it is hoped that the students engage in a friendly competitive environment with other students.

## 3.2 PvP Menu Development

The PvP menu is developed using socket.io and programming language javascript. By using socket.io, it allows the PvP match to be bi-directional and real-time on both users.

After choosing PvP screen, the PvP Setting Screen will appear. In this screen, the user can set the match to their own liking. Which question set to use, how many
questions in the match, and who to match against are all adjustable in this setting screen. The PvP Setting Screen is shown on Figure 4.

Figure 4. PvP Setting Screen Match Invitation

When the first user has chosen to start the match, the second user will receive the match invitation dialogue as shown on Figure 5 right picture. The second user may choose to accept and start the match or to reject the invitation. Before the second user answer the invitation, the first player will be on hold as shown on Figure 5 left picture.

Figure 5. Match Invitation Screen

Figure 6 shows the PvP Match Screen. This screen will be displayed when the match has started. In this screen, the top bar shows the match progression, which question number is currently at and the total number of questions. Below the number of questions is a row showing the current player name and score, a timer, and the opponent's name and score. The timer is set for 20 seconds, as such the question has to be answered within 20 seconds. The faster the user answer, the higher the point that can be attained.

In the middle of the screen, there is the question and a canvas to answer. The user can answer by directly writing on the canvas and submit the answer. The system will judge whether the answer is correct or incorrect and automatically adds point the score.

Figure 6. PvP Match Screen

The bottom part of the Match Screen is shown in Figure 7. These are the PvP items that can be used to advance the user's progress or hinder the opponent's progress. Starting from the leftmost is, Bomb, Barrier, Auto Correct, and Mirror items (the icon designs are not final). The Bomb item can be used to hide the opponent's canvas for 5 seconds. The Barrier item will be used automatically to nullify opponent's attack, provided the user has the item. The Auto Correct item can be used to make the answer automatically correct without needing to write on the canvas. The Mirror item can be used to flip the opponent's canvas vertically. All items can be purchased with points that are accumulated when using the e-learning system.

Figure 7. PvP Items

## 4. Summary

The development of e-learning system for learning Japanese based on gamification theory is progressing well. This paper elaborates the social elements part of gamification theory game elements, which is implemented as PvP menu in this e-learning system. The PvP menu enables the user to compete with other users in answering Japanese kanji and words related question by writing on a canvas. The PvP menu is also supplemented by four PvP items, Bomb, Barrier, Auto Correct and Mirror to enhance the experience. These four items are purchasable by collecting points when using the elearning system.

## 5. Future Work

This research will be continued by completing the elearning system development and improving the existing menus. The next step is to evaluate the e-learning system based on ARCS Model. The current proposition is to distribute a questionnaire created based on each areas of ARCS Model (Attention, Relevance, Confidence, and Satisfaction) using a 5-point Likert scale.

## References

[1] S. Paxton and C. Svetanant, "Tackling the Kanji hurdle: Investigation of Kanji learning in NonKanji background learners," International Journal of Research Studies in Language Learning, vol. 3, no. 3, pp. 89-104, 2014.

[2] S. Librenjak, K. Vučković and Z. Dovedan, "Multimedia assisted learning of Japanese kanji characters," in MIPRO 2012 : Proceedings, 35th International Convention on Information and Communication Technology, Electronics and Microelectronics, Opatija, Croatia, 2012.

[3] J. Ogawa and F. Enokida, Colloquial Japanese: The Complete Course for Beginners, New York: Routledge, 2014.

[4] 文部科学省, "常用漢字表," 30 November 2010. [Online]. Available: http://www.bunka.go.jp/kokugo_nihongo/sisaku/jo ho/joho/kijun/naikaku/pdf/joyokanjihyo_20101130 .pdf. [Accessed 23 November 2019].

[5] G. Kiryakova, N. Angelova and L. Yordanova, "Gamification in Education," in 9th International Balkan Education and Science Conference, Edirne, Turkey , 2014.

[6] J. Figueroa, "Using Gamification to Enhance Second Language Learning," Digital Education Review, vol. 27, no. 21, pp. 32-54, 2015.


# 対のある自他動詞を用いたオンライン学習の有効性の確認 ープレテスト・ポストテストの分析一

沖本与子
一橋大学大学院言語社会研究科
Id182001@g.hit-u.ac.jp

## 1 はじめに

本稿は，対のある自他動詞から作成した項目を用いたプレテスト・5 週間のオンライン学習・ポストテストという一連の研究調査を通して得た，特にプレテストとポストテストにおける日本語学習者の解答を分析することで，テストの信頼性と有効性，各テストにおける成績の推移, 移動動詞の解答特徴を把握することを目的とし，次の三つの研究課題を量的なデータを用いて明らかにすることとしている。研究課題 1 : プレテストとポストテストの信頼性・有効性について明らかにする

研究課題 2:プレテストとポストテストにおける成績の推移を明らかにする

研究課題 3 : 移動動詞を用いた項目の正答率の推移を明らかにする

## 1.1 先行研究

日本語の自他動詞は, 寺村 (1982) の相対自動詞,相対他動詞, 早津（1995）の有対自動詞, 有対他動詞などの分類分けがあるが, 本研究では, 中石 (2003) の「対のある自他動詞」を使用する．自他動詞は形態的特徴, 統語的特徴, 意味的特徴を包括するため 「形態的，統語的に対応する自動詞他動詞でも文脈によって意味的に対応しなくなるものが多く存在する」(中石 2020: 35).この複雑性が学習者の習得を更に困難なものにし, 中上級レベルでもその使い分けに難しさを覚える原因となることが考えられる。

また形態的には対応するが，意味的に対応しない自他動詞の例として，移動動詞（田中・松本 1997） が挙げられる。沖本（2019）で指摘されているように，対のある自他動詞の学習において，日本語学習者は移動動詞を用いた項目での正答率が低くなる傾向がある. 本研究では学習者の誤答が出現する移動動詞に焦点を当て援用することで, 特に学習者が苦手とする移動動詞の確認を行うこととする。対のある自他動詞，移動動詞は，様々に研究されテストの正答率を指標とした研究が存在しているが， オンライン学習と組み合わせ，習得を促す研究は管見の限りない

## 2 調査の概要

## 2.1 調查時期

本研究における調査は, 2020 年 10 月 6 日（火) ２020 年 12 月 6 日（日）の間に実施し，本稿では，特に 10 月 16 日 10 月 18 日に実施したプレテスト及び 11 月 23 日 11 月 29 日に実施したポストテストの結果についてまとめる.

## 2.2 調査参加者

本研究に参加した参加者は都内高等教育機関で中級後半〜上級前半レベルに相当する科目を登録している日本語学習者である. 参加者は 41 名おり, その内 10 名がプレテスト・ポストテストのみを受験する統制群であり， 31 名がプレテスト・ 5 週間のオンライン学習・ポストテストを受ける実験群である.

また参加者は全員教育機関で提供されている日本語クラスを受講しており, 調査参加のための日本語レベル確認は所属機関の文法・語彙テスト（全員） を用いた. 41 名は 2 つの異なる科目を受講している学習者であり，このグループ間（21 名と 20 名）のレベル確認テストの成績について $t$ 検定を行ったところ, $5 \%$ 水準で参加者間に有意差は見られなかった $(t(39)=-0.28, p=.77$ ). なお, 日本語能力試験（以下，JLPT）は $\mathrm{N} 1$ 取得者が 6 名， N2 取得者が 6 名, $N 3$ 取得者が 3 名, N4 取得者が 4 名, N5 取得者が 1 名，JLPT 未取得者が 21 名であった。母語の内訳は中国語母語話者 25 名, 韓国語母語話者 5 名，英語母語話者 8 名, その他アジア言語話者 3 名（タガログ語・ベトナム語・インドネシア語）である.

## 2.3 使用した項目とその例

本研究では，まず沖本 (2020b) で使用された 282 動詞とその項目から, 点双列相関係数を元に算出した数値（0.6 以上）と各項目の正答率を使用し, 初中級レベルの対のある自他動詞を選別し 102 動詞を用意した. 次にその 102 動詞に対し, 動詞 1 つにつき 3〜6 の例文を作成し, 問題として合計 448 項目を用意した. 全 448 項目は 5 週間オンライン学習で出題するが，プレテスト・ポストテスト用に移動動詞を使用していること, 全設問が揃っていることなどを条件に, 102 項目を選定した. プレテスト・ポストテストともに受験時間は約 15～30 分程度であった。

表 1 設問 -内容・項目 - 選択肢（例）

## 3 分析及び考察

本節では, 分析結果を 3 つの研究課題に沿ってまとめる. まず 3.1 では研究課題 1 「プレテストとポストテストの信頼性・有効性について明らかにする」について, テストの項目分析, 基本統計量の分析を中心にまとめる. 続いて, 3.2 では研究課題 2 「プレテストとポストテストにおける成績の推移を明らかにする」について統制群と実験群の群ごとの解答を中心にまとめる. 最後に, 3.3 では研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」について，特に移動動詞を使用した項目を抽出し，その分析を中心にまとめる. なお以降, 本研究の調査参加者は日本語学習者（以下，学習者）とする.

## 3.1 テストの分析とその信頼性について

プレテストとポストテストは同一の項目を使用し，同一の学習者が受験した. 取得解答項目数は 8,364 である（102 項目 $\times 2$ テスト $\times 41$ 人）．欠損値はないため, 今回の分析では全ての解答を使用する.

## 3.1.1 テストの信頼性と基本統計量

まずは，テストの信頼性を測るため，クロンバックの $\alpha$ 係数に基づき分析した. プレテストは $\alpha=.94$, ポストテストは $\alpha=.96$ が得られ, いずれも十分な信頼性を持っていることが確認された. 続いて, 全学習者のデータを用いて分析をし, 表 2 にプレテストとポストテストの基本統計量をまとめた.

表 2 基本統計量

また，プレテストとポストテストにおける学習者個々の分布を確認すると, 図 1 に見られるように, プレテストで 44 点〜 102 点間に散らばっていた学習者はポストテストで上位層に集まったことが分かる.

続いて, 統制群, 実験群に分けて基本統計量をまとめたところ，プレテスト平均点が統制群 67.4,実験群 79.84 であり, 両群の開始時点での得点が不均衡であることが確認された。そのため，実験群か

ら上位 7 名分の得点を排除し， $t$ 検定を実施し， $5 \%$水準で有意差がないことを確認した上で $(p=.13)$,統制群 10 人, 実験群 24 人で基本統計量をまとめた (表 3).

表 3 統制群と実験群の基本統計量

平均点では, 統制群が+7.8, 実験群が+18.63, 最小値では，統制群が-2，実験群が+17 であった。また, 標準偏差 $(S D)$ では統制群のばらつきが広がり (19.19), 実験群では狭まっている (8.78) ことが確認された.これらの結果から実験群において, 5 週間のオンライン学習を用いた成果が出たのではないかと推測される。

## 3.1.2 正規性 ・ 有意差 ・効果量の確認

次に, 正規性を確認するが, 調査に参加した学習者が 41 人（本節では 34 人分使用）であり，サンプルサイズが 50 以下となるため, シャピロ・ウィルク検定を使用した. 結果, プレテストは $p>.05$ であり， ポストテストは $p<.05$ であったことから, ポストテストの正規性が担保できないため，ノンパラメトリック検定として, Wilcoxon の符号付順位和検定を用いて分析を行った. その結果, 統制群には $5 \%$ 水準で有意差が見られず $(p=.0840)$, 効果量は $r=0.386$ ( $98 \%$ CI [-0.32, 0.81]であり, 効果量は中程度であり, 98\%信頼区間が広く, 0 を含んでいるために, 結果の一般化が難しいことが確認された。一方, 実験群には $5 \%$ 水準で有意差があり $\quad(p<.001)$, 効果量は $r$ $=0.745(98 \%$ CI $[0.49,0.88])$ となり, 効果量が大きいことが確認された。

以上の分析により，プレテスト・ポストテストを 5 週間隔て受験した統制群とプレテスト・5 週間のオンライン学習・ポストテストを実施した実験群の間には差異があり, 調査の有效性が推測される.

## 3.2 プレ・ポストテスト間の成績推移

## 3.2.1 各群における学習者こ゚との得点の変化

本項では学習者ごとの得点の変化を確認するために, 全 41 人の解答データを使用する. 各群の個別推移図を確認し（図 2), 両群の全体の伸び率平均を分析したところ，統制群は $13.59 \%$ ，実験群は $22.19 \%$ の伸びが見られた。

図 2 各群の個別推移図 (黒の太線が全体の平均変化) いずれのグループも全体平均では伸びが見られたが, 図 2 からも明らかなように, 得点が落ちている学習者も存在する. そこで, 学習者個々のプレテスト・ポストテストの得点における伸び率を確認したところ，-42.47〜+106.67\%の間があることが分かった. なお, 得点伸び率で $0 \sim 18.33 \%$ に 22 人おり，最も人数が多いため, この層の学習者の各設問の伸び率をまとめると，設問 1 ・設問 2 ・設問 3 に高い伸び率（5.56 87.50\%）が集中していることが分かった. またこの層にいる個々の学習者の設問で確認したところ, 設問 4 ・設問 5 には, 設問 1３ ほどの伸び率が出現しなかった。これは難易度が高いため伸びなかったのか, 反対に難易度が低いため予め高得点であり伸びる余地がなかったのかについて，次項 3.2.2 で確認をする。

## 3.2.2 設問ごとの得点の変化

本項では, 学習者の各設問における正答率の平均値を用いて，プレテスト・ポストテストの推移を確認する. 両群を比較するため, 表 3 でまとめた 34 人分のデータを使用する.

表 4 設問ごとの正答率平均値（\%）

} & \multicolumn{3}{|c|}{ 統制群 $(10$ 人) } & \multicolumn{3}{|c|}{ 実験群（24 人） } \\
\cline { 2 - 4 } & pre & post & 差 & pre & post & 差 \\

統制群では $4.00 １ 1.00 \%$ ，実験群では 14.20〜 $17.40 \%$ の伸びが見られ，両群とも各設問で得点の上昇があることが分かる. 特に実験群の差は 5 週間のオンラインによる学習が得点に結びついたことを示していると考えられる。また，統制群の設問 1 で伸びが $4.00 \%$ と低く，実験群の伸びが $16.00 \%$ と高いことから（表 4 の二重下線参照）, 設問 1 のように，助詞を確認する項目の学習については，問題を変えて繰り返し解答する練習により解決できる課題と考えられる。 なお，設問 4 は自動詞と他動詞をそれぞれ助詞と組み合わせ，選択肢を 4 つ設けている項目である. 沖本 (2020a) でも指摘されているように，複数の段階を追って解答を導き出す項目は正答率が低く, 解答時間が長い傾向がある，今回の調查では，実験群の結果から分かるように支援があれば伸びるが統制群のように支援がない場合，伸びているとは言えるが正答率が低いままであることが確認できた（表 4 の太下線参照）.

## 3.3 移動動詞について

本項では研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」ため, 特に移動動詞を援用した動詞の分析をまとめる. 両群を比較するため，表 3 でまとめた 34 人分のデータを使用する ${ }^{i i}$.

移動動詞に対する解答について，統制群と実験群に分け, それぞれのプレテストとポストテストの正答率を算出し, その中から $50 \%$ 以下の正答率に当たる項目をまとめた（表 5）。

## 表 5 移動動詞の正答率の推移（50\%以下）

項目 64 の自動詞の「移る」に関しては，両群ともポストテストにおいて正答率の向上が見られる.
しかし，項目 $41 \cdot 54 ・ 55$ のように自動詞であつても习格を用いる移動動詞については，両群ともに正答率が伸びないことが確認できた。実験群がフィー ドバックを伴った 5 週間のオンライン学習を経ても，これら移動動詞の正答率が伸びないことは，移動動詞の使用の難しさを表していると推測される. つまり，意味的に対応していない対のある自他動詞は，学習者の知識内にある自動詞にはガ格，他動詞には习格という典型的な例ではないことから，誤答が導かれやすいことを表していると考えられる。これらは，学習者に予め教授することで知識を補完し，対応できるのではないであろうか.

## 4 まとめと今後の課題

まず，研究課題 1 「プレテストとポストテストの信頼性・有効性について明らかにする」については，プレテスト・ポストテストの信頼性が，統制群と実験群の間には差異が確認された．実験群における 5 週間のオンライン学習を用いた成果が出たのではないかと推測される。

次に, 研究課題 2 「プレテストとポストテストにおける成績の推移を明らかにする」については，統制群は $13.59 \%$ ，実験群は $22.19 \%$ の伸びが見られた。また，各設問の伸び率を確認したところ，設問 1 ・設問 2 ・設問 3 に高い伸び率が集中していることが分かった.

最後に研究課題 3 「移動動詞を用いた項目の正答率の推移を明らかにする」については，正答率 50\%以下を含む項目を選出すると，ヲ格を用いる移動動詞について, 統制群 - 実験群ともに正答率に伸びがないことが確認された。このことから，移動動詞には教授と指導が必要であることが示唆された。

今後の課題としては, まず登録クラスごと, 母語別，プレテストとポストテストの相関分析，プレテストからポストテストを予測する単回帰分析を進めることなどが挙げられる。次に，本報告の結果を 5 週間のオンライン学習の結果と合わせることで新たな視点が出現する可能性がある. 最後に，ポストテスト終了後に実施したインタビューの分析をすることで，個々の学習者についてまとめることを課題としたい.

## 参考文献

1. 沖本与子 (2019)「日本語学習者の助詞・動詞選択の傾向一自動詞他動詞の比較を中心に一」言語資源活用ワークショップ 2019 発表論文集』pp.5165, 国立国語研究所

2. 沖本与子 (2020a)「日本語動詞を用いたオンライン学習における学習者の解答傾向一初級から上級の自他動詞を中心に一」『2020 年度日本語教育学会春季大会予稿集』pp.288-293.

3. 沖本与子 (2020b)「日本語学習者の助詞 - 動詞選択における解答時間と誤答率の傾向
- 5 週間のオンライン学習項目の分析を中心に一」

『2021 年度日本語教育学会春季大会予稿集』現在作成中, 国立国語研究所

4. 田中茂範・松本曜 (1997)「空間と移動の表現」『日英後比較選書(6)中右実編』研究社出版

5. 寺村秀夫（1982）『日本語のシンタクスと意味I』 くろしお出版

6. 中石ゆうこ (2003)「対のある自動詞・他動詞の習得研究の動向と今後の課題」, 『広島大学大学院教育学研究科紀要』52, pp.167-174, 広島大学

7. 中石ゆうこ (2020)『日本語の対のある自動詞・他動詞に関する第二言語習得研究』日中言語文化出版社

8. 早津恵美子 (1995)「有対他動詞と無対他動詞の違いについて一意味的な特徵を中心に一」須賀一好・早津恵美子（編）『動詞の自他』ひつじ書房 pp.179197.


# Developing Materials for Teaching French as a Foreign Language: The Use of Authentic Data from Instagram

Eriko Taniguchi ${ }^{1}$ Mariko Takahashi ${ }^{2}$
${ }^{1}$ Faculty of International Studies, Tenri University, ${ }^{2}$ Faculty of Foreign Studies, Setsunan University
a eriko.taniguchi1603@gmail.com, ${ }^{2}$ mariko.takahashi@ilc.setsunan.ac.jp

## 1 Introduction

Content and language integrated learning (CLIL) is an educational approach that has gained popularity in recent years, especially in Europe. According to Mehisto et al. (2008), CLIL is defined as "a dual-focused educational approach in which an additional language is used for the learning and teaching of both content and language" (p. 9). There are two types of CLIL approaches: hard CLIL and soft CLIL. Hard CLIL is the original, content-led approach, which is "a set of methods that could help subject teachers support the language needs of their students" (Ball et al., 2015, p. 27). Soft CLIL, on the other hand, is the language-led approach whose main goal is the development of skills in the target language, with the development of the content knowledge as the auxiliary objective (Ikeda, 2013, p. 32). In Japan, the CLIL approach has been adopted primarily in English education (Brown, 2015, p. 1).

In French education, an overview of universitylevel French as a foreign language (FFL) textbooks in Japan indicates that the mainstream teaching approach is currently based on the structural syllabus or the notionalfunctional syllabus. This is probably because the majority of French learners in Japan start to study French for the first time after they enter university. However, research in Europe has suggested that the CLIL approach can be advantageous in French education as well (e.g., Pérez et al., 2016). Baten et al. (2020) has further shown that students can learn vocabulary in French CLIL classrooms as effectively as in English CLIL classrooms. These studies in Europe were based on the hard CLIL approach, but the soft CLIL approach may potentially benefit FFL learners in Japan because it enables them to connect linguistic knowledge with various contents. For instance, the use of visual information is effective in teaching grammar in an introductory French CLIL course (Hiroyasu \& Kitamura, 2019).

In designing materials for CLIL, the authenticity of the texts should be maintained by "manipulat[ing] the task or the procedure" (Ball, 2018, p. 228). In English education, instructors teaching soft CLIL courses tend to cover topics related to today's society as can be seen in CLIL textbooks in Japan (e.g., Nakaya et al., 2020). In FFL, the topics are likely to relate more to French cultures and daily life at least for first-time learners even if the CLIL approach is adopted because they first need to become familiar with vocabulary and linguistic forms.

The present study aims to develop activities for use in FFL with a soft CLIL approach that are applicable to various contents and that can target basic linguistic features including vocabulary and word classes. In order to prepare materials based on authentic data, Instagram  was used as the data source. Instagram is an application for sharing pictures and videos worldwide, and the number of its users is expected to reach 900 million in 2021 (Clement, 2020). People post pictures of diverse genres on Instagram, and since hashtags and captions are often posted with the visual information, Instagram can be a useful source for language teaching and learning. This study has two purposes: 1) to compile preliminary lists of French hashtags on Instagram across 10 categories and analyze the hashtags linguistically to investigate how they can be used for FFL activities and 2) to propose communicative language learning activities based on the data and implement them in FFL classrooms.

## 2 Methodology

In order to extract French hashtags from Instagram, the following procedure was taken. First of all, we decided on the target categories referring to the textbook Spirale

(Crépieux et al., 2008) as well as main genres of Instagram. Ten categories were selected: tourisme (travel), nature (nature), gastronomie (food), vie quotidienne (daily life), culture (culture), paysage (landscape), sport (sport), beauté (beauty), mode (fashion), and animal (animal). In the following, the first letter of each category (boldfaced) is indicated when longer examples are mentioned.

Second, a keyword was chosen for each category. Based on the hashtags that had between one million and four million hits on Instagram, we selected a keyword both of us agreed as a representative concept of that category. The following hashtags were selected as key hashtags: \#toureiffel (Eiffel Tower, category: t), \#fleur (flower, n) \#gateau (cake, g), \#maison (house, v), \#noël (Christmas, c), \#montagne (mountain, p), \#courseapied (jogging, s), \#maquillage (make-up, b), \#pantalon (pants, $\mathrm{m}$ ), and \#chaton (kitten, a).

Third, we extracted relevant hashtags to the key hashtag by using two methods. On Instagram, up to 30 hashtags can be added to a post. The first method was to use the automatic hashtag generator TagsFinder (French version: https://www.tagsfinder.com/fr-fr/) to retrieve hashtags associés (related hashtags) and hashtags similaires (similar hashtags) to the search word. Hashtags associés were defined on TagsFinder as 30 hashtags which appeared most frequently in the same post as the search word, and hashtags similaires were defined as 30 suggested hashtags which contained the search word. The second method was to search for posts on Instagram which contained the target hashtag. The search was conducted by one of the authors on her smartphone during a specific period. In order to keep the search as systematic as possible, the search results were sorted in the order of popularity and top 10 posts whose hashtags were at least $30 \%$ in French were extracted. This criterion was adopted because popular posts tended to contain hashtags in English or several languages. There were posts with captions in addition to hashtags, but only the hashtags were included for the purpose of this study. The hashtags retrieved by these two methods became the initial list of hashtags for each category.

Fourth, as the lists still contained hashtags in other languages, we extracted French hashtags from each list. In addition to hashtags all in French, hashtags which mixed French and another language (mostly English; e.g., \#lookdujour) as well as those in the same spelling as another language (e.g., \#france, \#decoration) were treated as French data in this study. This list of French hashtags was developed for each key hashtag.

## 3 Results and Analysis

In order to investigate how the data can be applied for teaching French, the data were analyzed from two perspectives: 1) vocabulary and expressions and 2) grammatical features.

## 3.1 Vocabulary and Expressions

For each key hashtag from each category, an average of 95 French expressions were obtained. Table 1 shows five selected hashtags frequently observed with the key hashtag. Two things should be noted. We used Tagpop  for counting the frequency of hashtags. The frequency obtained by Tagpop is based on the search on entire posts on Instagram and not genrespecific (e.g., \#photo can occur with any genre). As such, the frequency data were used as reference, and Table 1 only indicates the hashtags which we judged as closely relevant to the category. In addition, the hashtags whose spelling exactly overlapped with English hashtags (e.g., \#paris \#voyage \#minimalism) are not included due to limitations of space.

As the examples on Table 1 illustrate, for each category, Instagram posts provided relevant vocabulary and expressions along visual information. The majority of hashtags were nouns and both singular forms (e.g., \#cadeau) and plural forms (e.g., \#cadeaux) were observed. Different types of nouns such as common nouns (e.g., \#jardin), proper nouns (e.g., \#montblanc), and abstract nouns (e.g., \#bonheur) were on the list. Words in different word classes were also observed including adjectives (e.g. \#fleuri \#naturel) and verbs (e.g., \#gouter \#briller) though they tended to occur with nouns or in sentences (e.g., \#chatonmignon; see 3.2 for more details). In addition, coined words (e.g., \#blogueusebeaute), abbreviated words (e.g., \#deco) and hybrid words with English (e.g., \#montagnelovers) occurred as French hashtags. Moreover, words with diacritics were observed (e.g., \#forêt, \#randonnée) although they were left out in some of the posts (e.g., \#noel rather than \#noël). The lists this study compiled were not intended to be comprehensive
vocabulary lists of French Instagram posts of the categories, but students are likely to be able to learn relevant vocabulary starting with the words on the lists. On Instagram, people creatively combine more than one word to form common expressions (e.g., \#joyeuxnoël) or produce phrases with more information (e.g., \#biendanssoncorps) within one hashtag. The next subsection is about this latter type of phrases used as hashtags.

Table 1. Examples of French Hashtags

 \\

## 3.2 Grammatical Features

French hashtags on Instagram often consisted of more than one word. In order to investigate which types of combination were used, we labelled all the elements of the hashtags based on their word class. All the word classes (nouns, pronouns, prepositions, adverbs, adjectives, verbs, determiners, conjunctions) were identified, and there were 52 combinations in total. The examples (1) to (10) illustrate 10 of these combinations along with hashtags from the list.

(1) noun + noun

\#recettegateau (category: g) \#couturetoulouse (m)

(2) noun + adjective

\#reservenaturelle (n) \#maquilleuseprofessionnelle (b)
(3) adjective + noun

\#nouveaudepart (v) \#petitbiscuit (g)

(4) noun + preposition + noun

\#chatdamour (a) \#lacdemontagne (p)

(5) noun + preposition + determiner (article) + noun \#gateauauchocolat (g) \#jardindesplantes (n)

(6) noun + preposition + noun + preposition + noun \#fetesdefindannee (c)

(7) adjective + preposition + verb \#fiersdecourir (s)

(8) adverb + preposition + determiner (article) + noun \#biendanssoncorps (s)

(9) verb + noun

\#vivreparis ( $\mathrm{t}$ ) \#goutermaison (g)

(10) sentences

\#jaimemonchat (a) \#jecoudspourmoi (m)

The examples indicate that Instagram hashtags can indeed consist of various word classes. In reality, there are more combinations and longer phrases and sentences, but Instagram hashtags can be used for demonstrating some of the possible combinations of word classes to form French phrases and sentences. It should of course be noted that hashtags need to be written as one "word" on Instagram, and it will require some practice before students can divide the hashtag into individual words by themselves. Another notable grammatical feature observed in the hashtags was the use of determiners, or articles more specifically. On Instagram hashtags, indefinite articles (un/ une/ des) and partitive articles ( $d u$ l de la) before a noun (e.g., \#sac \#animaux) were not included; however, definite articles (le/ la/ les) were sometimes included (e.g., \#latoureiffel \#lefooding \#lesfleurs) as well as in prepositional phrases or in contractions (e.g., \#maisonsouslaneige \#tenuedujour \#jardindesplantes). Correct agreement of adjectives was also observed (e.g., \#fleurbleue \#gateauxorientaux). Verbs were conjugated only in sentences; they were in the infinitive if they did not have a subject (\#parisjetaime \#gouter \#vivreaparis). The number of sentences and sentence structures in the lists was limited but grammatical (e.g., \#jaimemonchat \#noëlapproche \#çafaitdubien \#jecoudsmagarderobe). As such, the lists may be useful for teaching short French sentences because visual information can be presented with the hashtags.

## 4. Educational Applications and Discussion

The analysis above has demonstrated that the preliminary lists of French Instagram hashtags can be utilized as a resource for FFL instruction. For example, instructors can prepare a subset of hashtags based on the lists compiled in this study and ask students to select a hashtag and search for it on Instagram. That way, students can easily connect the target word with visual information. Students can also work in groups to find pictures that best represent the hashtag. They can then find five additional hashtags accompanying the post and share them with other groups. As Instagram posts are authentic materials including those posted by non-French speakers, students may choose hashtags that are not grammatical. In that case, the teacher can ask or work together with the group to edit the hashtag to make it grammatical after explaining that the language use in reality may sometimes differ from what students learn in the classroom.

Alternatively, teachers can present several hashtags at the same time and ask students to try to take pictures that reflect the hashtags - the group who takes the best picture which most accurately reflects the assigned hashtags wins the game. Instructors can also use hashtags to explicitly or implicitly teach how to construct phrases in French. They can explain grammar using the authentic examples or ask students to notice and identify grammar patterns in the hashtags of a post. In a course with a soft CLIL approach (or even with other approaches), teachers can use these activities at the beginning of the class to get students' attention and to provide necessary language support for understanding the following contents.

A more communicative and output-oriented activity is to have students write hashtags for the picture of their choice. For first-time French learners, it may be better for the instructor to prepare the picture so that all the students share the same picture. This activity was implemented in an introductory FFL course one of the researchers taught in the fall semester of the academic year 2020. As there was a rule against pair or group work because of the pandemic, the instructor had to ask students to work individually. After showing examples of hashtags for a picture of a cat, students were asked to write four hashtags for a picture of the Eiffel Tower. Most of the 14 students chose \#latoureiffel \#paris and \#france as the first three hashtags but they showed some creativity for the fourth hashtag by adding a variety of adjectives such as \#joli \#belle and \#grande. This activity would be more engaging as pair or group activities with a time limit rather than the limit on the number of hashtags because students can work together with their partner or group members to come up with as many creative hashtags as possible within the time limit. The hashtags they produced can then be compared with those by other groups and also with the list of hashtags the instructor had prepared beforehand based on the lists in this study or based on their own search on Instagram. The difficulty level of the activities can be adjusted according to the class level and the time allocated for the activity.

These educational applications are possible because Instagram contains a wide range of French hashtags with various word classes as this study has shown. As Ball (2018) observed, "the text," or French hashtags on Instagram in this case, "need not be manipulated, but the designer can manipulate the task or the procedure at will" (p. 228). By designing activities closely based on authentic materials on Instagram, French hashtags can be utilized as activities in FFL courses, especially in courses with a soft CLIL approach.

## 5. Conclusion

This study has compiled preliminary lists of French hashtags across 10 categories based on Instagram posts and demonstrated if and how they can be applied to teaching French as a foreign language in Japan. Although the search on Instagram was conducted in a systematic manner, it was not possible to fully quantify the data because decisions regarding the key hashtag and the posts included a degree of arbitrariness. It would be necessary to expand the scope of search and add more key hashtags to present a more comprehensive list for each category. In addition, comparison with other French corpora would be required to investigate whether Instagram hashtags actually represent vocabulary and expressions frequently used in French conversations. As Instagram is popular among university students at least for the time being, French hashtags are likely to stay as a good resource for FFL courses with a soft CLIL approach

## References

Ball, P. (2018). Innovations and challenges in CLIL materials design. Theory into Practice, 57(3), 222-231.

Ball, P., Kelly, K., \& Clegg, J. (2015). Putting CLIL into practice. Oxford University Press.

Baten, K., Van Hiel, S., \& De Cuypere, L. (2020). Vocabulary Development in a CLIL Context: A comparison between French and English L2. Studies in Second Language Learning and Teaching, 10(2), 307-336.

Brown, H. (2015). Factors influencing the choice of CLIL classes at university in Japan [Special Issue on CLIL]. ELT World Online, 1-22. https://blog.nus.edu.sg/eltwo/2015/04/27/

Clement, J. (2020, April 22). Number of Instagram users worldwide from 2016 to 2023. Statista.

https://www.statista.com/statistics/183585/instagramnumber-of-global-users/

Crépieux, G., Callens, P., Takese, T., \& Negishi, J. (2008). Spirale. Hachette.

Hiroyasu, Y., \& Kitamura, A. (2019). Implementation of CLIL in an introductory French course [Furansugo nyumon reberu ni okeru CLIL no kokoromi]. Rencontres, (33), 92-96.

Ikeda, M. (2013). Does CLIL work for Japanese secondary school students? Potential for the 'weak' version of CLIL. International CLIL Research Journal, 2(1), 31-43.

Mehisto, P., Marsh, D., \& Frigols, M. J. (2008). Uncovering CLIL: Content and language integrated learning in bilingual and multilingual education. Macmillan.

Nakaya, M., Yukita, M., Yamazaki, M., \& Godfrey, C. (2020). CLIL Discuss the changing world. Seibido.

Pérez, A., Lorenzo, F., \& Pavón, V. (2016). European bilingual models beyond lingua franca: Key findings from CLIL French programs. Language Policy, 15, 485-504.

## Appendix

1. Hashtag list of tourisme (key hashtag \#toureiffel)

2. Example of an FFL activity


# スマートスピーカー用日本語学習機能の開発

加藤大輔 宍戸真
東京電機大学大学院 情報環境学研究科
$\{20 \mathrm{jkm} 08\} @ m$ ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた授業改善や学習補助を目的として,これまでの紙面の教科書を主たる教材として使用しながら必要に応じて学習者用のデジタル教材を併用することができる法令が実施され,デジタル教材の需要が拡大されている. しかしその中で,スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある.現在スマー トスピーカーの普及は急速に進んでおり,今後より生活に身近なものになると考えられている.[1]

図 1 : ディバイス種別出荷台数予測

そのようなスマートスピーカーの特徴である,話しかけるだけで操作ができる点や AI アシスタント機能が搭載されている点から紙での学習方法に比べて,日常生活で何かをしながら,必要以上にがんばらなくても，学習を面白いと魅力を感じながら,できることを増やせるような学習方法の可能性を検証したいと考えた.そこで本研究では,スマートスピーカー の現状についての調査,スマートスピーカー用の学習機能の開発,スマートスピーカーでの学習の可能性について調査をする。

## 2 先行研究 - 類似教材

スマートスピーカーを利用した日本語学習機能に関する研究としては,熊本大学の甲斐晶子(2018.9)[2] があげられる.また,スマートスピーカーを利用した学習教材の例としては,「ベストティーチャーから生
まれた英語リスニングドリル 100 選」（株式会社べストティーチャー)（2017.10）[3]や「九九ゼミ」（株式会社八雲ソフトウェア）（2018.12）[4]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作をすることができる対話型の AI 機能を持つスピーカーであり,ユ ーザが話しかけることで,天気,ニュース,時間,音楽，家電を操作することができる.日本で主に流通しているものは Amazon Echo (Amazon), Google Home (Google), Line Clove (LINE)などがある.

本研究で使用するスマートスピーカーは,世界で一番普及している点,ディバイスに画面があり画面の必要性を比較できる点,そして個人の開発者によって AI アシスタントの機能を拡張できる開発環境が日本語にも対応している点から Amazon の Alexa という AI アシスタント（クラウドベースの音声サ ービス）を搭載した Amazon Echo を選択した。

図 2 : Amazon Echo Show5 と Alexa Skill

Amazon Echo ではパソコンやスマートフォンで用いるアプリケーションの代わりとなる Alexa Skill を使用する.ユーザは多くの Alexa Skill の中から自分に合う Alexa Skill を有効にすることによって Alexa の機能を拡張することができる.

## 4 Alexa Skill の仕組み

Amazon Echo には普段周りの音を聞いている状態であるマイクが内蔵されており,ユーザが発話した 「アレクサ」というウェイクワードに反応して要求を録音し, 音声データとしてインターネットを通じて Alexa に転送する.その転送されたデータを Alexa の自動音声認識（ASR）と自然言語理解（NLU）で
処理し,プログラムを実行するサーバーにリクエストデータとして転送する.サーバーが処理後転送したレスポンスを Alexa の音声合成（TTS）を通じてユーザの耳に届ける.[5]

図 3 : Alexa Ski11 のしくみ

## 5 学習機能の作成

Amazon Echo に搭載されている Alexa を用いて日本語学習者を対象とした日本語を学習することができる Alexa Skill を作成する.Alexa Skill を作成する方法は多く存在するため, 本研究では Amazon から提供されている Alexa Skills Kit と Alexa Skill をノンコー ディングで作成することができるサービスである Voiceflowを使用した。

## 5.1 Alexa Skills Kit とは

はじめに Alexa Skill を作成することができる拡張機能開発キットの Alexa Skills Kit を使用する.Alexa と対話するには「Alexa,O○を開いて」のようなフレ ーズを発話する必要がある.この○○に入る名称をここでは呼び出し名と言い,最初に設定する.Alexa の音声ユーザーインターフェースでは,基本的にユ ーザがまず発話し,それにスキルが応答する.このユ一ザの発話による指示をインテントと呼び,このインテントに今回の日本語の問題に対する答えとなる言葉を設定する.[6]

図 4:Alexa Skills Kit での開発画面

## 5.2 AWS Lambda とは

次にプログラムコードを実行するサーバーに AWS Lambda を使用し,Node.JS のサンプルコードから日本語の単語の一問一答形式の問題のプログラムを作成する.[7]

図 5 : AWS Lambda での開発画面

## 5.3 Alexa skills Kit で作成した Alexa Skill

教材はユーザが「アレクサ,反対の言葉を開いて」 と発話すると起動する.起動すると学習が始まり,60 問からランダムで 10 問出題される. 問題が出題されるとディバイスの画面には三択で答えが表示される. 10 問終了すると最後に得点が画面に表示される.

作成したAlexa Skill

「反対の言葉」(60問からランダムで10問出題) 2 アレクサ反対の言葉を開いて

反対の言葉の練習をしましょう。

次の単語を、反対の意味の言葉で答えてください。

第 1 問大人

2 子供

正解！大人の反対は子供です。

あなたのスコアは 1 点中 1 点です。

図 6 : 作成した Alexa Skill “反対の言葉”

図 7 : Alexa Skills Kit でのシミュレート

図 8 : "反対の言葉”ディバイス画面推移

## 5.4 Voiceflow とは

Voiceflow は Alexa が発話する Speakブロックとユ ーザの発話の内容を判別し分岐させる Choice ブロックを使用することで，会話をフローチャートのように作成することができ, 実際の会話の動きを視覚化することができる.[8]

図 9 : Voiceflow での開発画面

## 5.5 Voiceflow で作成した Alexa Skil

Voiceflow で作成した Alexa Skill は画面表示の有無の使用度を比較するために, 画面表示がなく, 音声のみを聞いて回答する問題である”反対の言葉”,画面表示を見て回答をする問題”漢字の読み方”,画面表示はあるが見なくても回答ができる問題”言葉の言い換え”の 3 種類の問題である. 問題の内容は,日本語を母語としない人の日本語能力を測定し認定する日本語能力試験の問題を引用した.[9]

## 5.6 反対の言葉

“反対の言葉”は Alexa Skills Kit で作成したものと内容は同様であるが, 画面表示をなくして音声だけで回答ができるように変更した.

## 5.7 漢字の読み方

“漢字の読み方”は画面に表示されている問題文の中の下線部の漢字の正しい読み方を 4 つの選択肢から選ぶものである.問題文は読まれないため画面を見て回答する必要がある.

図 10 : "漢字の読み方”ディバイス画面推移

## 5.8 言葉の言い換え

“言葉の言い換え”は画面に表示されている問題文の中の下線部の言葉に意味が最も近いものを 4 つの選択肢から選ぶものである.問題文と選択肢が読まれるため画面表示を見なくても回答できる.

図 11 : "言葉の言い換え"ディバイス画面推移

## 6 実験

## 6.1 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行った.留学生の日本語学習歴は 3 年以上であった.

## 6.2 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面を見ながら 3 種類の問題を操作し,教材の評価をするという手順で行った.

## 6.3 実験結果

スマートスピーカーを使用したことがあった被験者は半数であったが, 問題操作の容易さには全員から肯定的な意見があり, スマートスピーカーを操作し学習する方法は学習者に受け入れられそうであることが確認できた. 画面表示の有無に関しては意見が分かれたが, 画面表示有りでは問題の説明や問題文, 解説が全てで日本語での表示だけであったため英語での表示があると日本語に不慣れな学習者にとってより分かりやすいという意見が得られた. 画面表示無しでは, 普段の生活で料理が退屈であるため,音声だけで操作することができれば料理をしながら学習することができて良いという意見を得ることができた. 問題の内容については,” 反対の言葉” で文脈がないと意味が取れないものがあり, 単語ではなく文レベルで発話させることによって文法の変形練習もできるため良いという意見を得ることができた.

งคำ青定

- ก้ง

図 12 : アンケート結果

## 7 今後の展望

今回の結果からスマートスピーカーでの学習は受け入れられそうだが,対象となる学習者の日本語能力にあった問題の難易度や構成を改めて検討する必要があることが判った.そのため今後の研究活動では,対象を在学している東京電機大学の留学生の入学条件となっている日本語能力試験 N2 レベルの受験生に絞り, 日本語能力試験の模擬試験の代わりとなるような Alexa Skill を作成し,紙で学習を行う場合とをアンケートによる主観評価に加えて, 3 点式眼電位センサーから集中・活力・落ち着きを測定することができるスマートグラスである JINS MEME や皮膚電気活動センサーから精神性発汗を測定しストレス度を可視化できる Fitbit での比較を検討している.

## 参考文献

[1] Canalys: Global smart speaker installed base to top 200 million by end of 2019 " https://www.c analys.com/newsroom/canalys-global-smart-speake r-installed-base-to-top-200-million-by-end-of-201 9 ",2019.5.15

[2] 甲斐晶子ほか 3 名,” 受身系転換練習のためのスマートスピーカー (Alexa) 用機能の開発”日本教育工学会第 34 回全国大会発表論文集, 2018.9, pp.669-670.

[3]「ベストティーチャーから生まれた英語リスニングドリル 100 選を Google Homeに提供」” https://www.best-teacher-inc.com/news/google-ho me" ,2017.10.15

[4] 株式会社八雲ソフトウェアホームページ"https: //8clouds.co.jp/smart/”，2020.4.1参照

[5] Alexa スキル開発トレーニング“https://develope r.amazon.com/ja-JP/alexa/alexa-skills-kit/training/b uild-a-skill” , 2020.4.1 参照

[6] Alexa Skills Kit“https://developer.amazon.com/jaJP/alexa/alexa-skills-kit"

[7] AWS デベロッパーセンター"https://aws.amazo n.com/jp/developer/"

[8] Voiceflow"https://www.voiceflow.com/"

[9] 日本語能力試験公式ウェブサイト“https://www.j lj1.jp/index.html”, 2012


# Unity を用いた電子教材の開発と評価

佐藤 志月宍戸 真
東京電機大学大学院情報環境学研究科
\{20jkm14\}@ms.dendai.ac.jp, \{shishido\}@mail.dendai.ac.jp

## 1 はじめに

国内の E-Learning 教材市場において, B to B はスマートフォンの普及によるニーズの増加, $\mathrm{B}$ to $\mathrm{C}$ は学習塾の映像授業サービスの増加等により,この売上は年々増加傾向にある. 電子教材の需要が高まることが予想される中,ゲームの要素を含んだ学習教材も多く存在し,これに関わる研究も増えつつある.

本研究では,TOEIC の英単語学習に焦点を絞り,教材を作成する.この理由として,我が国の TOEIC テストの受験者数が 2019 年度に約 241 万人と増加していること [1],大学入試の特定の試験形態や企業の推薦資格を獲得する基準として用いられていることから [2],教材の中でも特に需要が見込まれると考えたからである.

## 2 関連研究

英語学習教材にゲームの要素を含ませているアプリケーションは多く,Google Play ストアで”英語学習” と検索すると,200 以上の学習アプリが公開されていることがわかる [3]. 久保田らは,TOEIC テストで高得点を取ることを目的とした大学生及び社会人を対象に,アクアリウム型育成ゲーム"FishyFishy"を試作しているほか [4], 矢澤らは,視線計測を用いた英文読解支援アプリケーションの中で,ゲーミフィケー ションの要素を用いてユーザーのモチベーション向上を目指した [5].教材の有効性を検証する方法としては,アンケートを実施する手法が多く取られているが,魚住らは,小学校の生活科における教材開発の中で,フロー理論を軸にした教材設計を行い,アンケ ートではその評価項目を満たしているかを検証する方式を採用している [6].

## 2.1 ゲーミフィケーション理論

ゲーミフィケーションとは,ゲームの考え方やデザインをゲーム以外のものに転用することである.構成要素としては,タスク,ポイント,バッジといった点が挙げられている [7].学習意欲の向上ができる他,
モチベーションを保たせやすい,興味を引かせやすいといった長所から,教材設計の手法の 1 つとして認知されている.

## 2.2 フロー理論

チクセントミハイが提唱する理論であり,内発的に動機づけられた自己の没入感覚を伴う楽しい経験を指す.この状態にあるとき,人は高いレベルの集中力を示し,楽しさ, 満足感,状況のコントロール感,自尊感情の高まり等を経験する [8].すなわち,集中力の度合いを測る要素であり,授業や教材の評価の指針として用いられる。

## 3 提案

英語学習とゲームを組み合わせること,或いはゲ ーミフィケーション要素を加える取り組みは多く実践されているが,どのようなゲームジャンルと組み合わせるかは製作者の考えに寄るところが大きく，新しいジャンルのゲームと掛け合わせることで,これまでにない学習効果が確認できる可能性がある。 そこで,既存の研究では採用されていないゲームジヤンルで教材を作成し,特異な反応が得られるかを検証する。

英語学習教材とゲームを組み合わせるにあたり， どのジャンルのゲームを採用するかを決定する必要がある.今回は,”脱出ゲーム”の要素を教材に組み込む手法を提案する.選定理由としては,目標が明確であること,ユーザーは与えられたヒントから自分で考えて脱出を試みることで,主体的に学習活動を行えるのではと考えたこと,ゲームに不慣れな学習者でも直感的に操作を行えると考えたことを挙げる。

また,デジタルゲームを教育に導入するうえでの欠点となる要素が,脱出ゲームというジャンルでは回避できうるという点も選定理由の 1 つである.藤本によると,デジタルゲームを導入する短所として， (1)学んでほしい内容と直接関係しないゲームのスト ーリーやアクションに夢中になり,学習が疎かになりやすい,(2)活動全般の意欲が高まっていたとして

も,学習活動の改善がみられているとは限らない,(3) ゲームルールや操作の習得に時間がかかるなどして，必要以上に時間がかかりやすい,(4)教師による統制が困難になりやすい,という点が挙げられている [9]. これらの点について,脱出ゲームは"脱出する”以上のストーリーを必要とせず,画面をクリックするだけで直感的に操作を行うことができるため,操作で躓く学習者は少ないと考えられる.そのため,シンプルなゲーム性を維持したまま,学習活動の改善に寄与しうる要素を追加で提案・検討する。

## 3.1 追加の要素

今回の教材で,脱出ゲームと組み合わせる形で採用する要素を記載する。

## 3.1.1 テスト要素

脱出ゲームパートで学んだ英単語の知識がどの程度身についているのかを測るパートを用意する。

## 3.1.2 メダル要素

プレイ回数やテスト要素でのテストの出来栄えによって付与を行い, モチベーションの低下を避ける。

## 3.1.3 音声認識要素

脱出ステージの一部に, ギミックとして搭載する.教材の新たな指標としての調査と, 学習中盤でのモチベーション低下を避ける狙いがある.

## 4 実装

本教材の作成には,ゲーム制作エンジンである Unity を用いた.タイトルシーンから遷移が可能な各パートについて,本項で示す.

また,この教材は TOEIC のスコアアップを目標としており,対象は大学生としている.本教材で学習する単語は全 700 単語であり,これは, 本学の英語科目で指定されている TOEIC の頻出単語 1000 語を,アルクの単語難易度によりレベル分けを行い [10],1000 単語をレベルが高いものから 700 単語抽出,この 700 単語のレベルが低い順に 14 分割し,各ステージでは 50 単語を学習する.

## 4.1 脱出パート

脱出パートはステージで細分化され,今回は実験期間に併せ,全 14 ステージを用意した.プレイヤーは部屋や車,無人島といったステージから,複数のアイテムを獲得し,このアイテムを正しい場所に使用することなどで,脱出を試みる.例えば,部屋のステージでは,鍵のアイテムを見つけ出し,ドアに使用するこ
とで脱出を行うことができる.脱出に必要なアイテムや脱出のヒントは秘匿されており,英単語のクイズを解くことで,ヒントを獲得することができる.英単語のクイズは 50 問の中から 10 問を重複がないよう出題し, 5 回挑戦するごとにリセットされ,一度出た単語がもう一度出題される仕様となっているが， その選出順はランダムである.クイズは 4 択とスペル記述の 2 パターンを作成した 8 割以上の正答でヒントを獲得でき, 4 択と記述で獲得できるヒントはそれぞれ異なるものを用意している.また,ステージ 6

と 14 では,音声認識を利用した仕掛けを用意した。

図 1 脱出パート

## 4.2 テストパート

テストパートは,脱出パートとは別に,学習者がどの程度単語を理解できているかを可視化するために用意した. 1 単語が欠けた英語の問題文と,その日本語訳,記述欄を用意し,訳の意味となるように例文の久けている単語をタイプして回答する.各ステージに対応した全 14 パートで構成され,全 50 問が記述形式で出題される.クロスワード形式を採用しており，正答したスペルが順次更新され,次の問題の解答のヒントとなる.このテストパートで間違えた単語は， その誤答回数がテキストファイルに記録される.

図 2 テストパート

## 4.3 レコードパート

テストパートで学習した英単語とその訳,及び誤
答回数をステージごとに確認できるパートである.

図 3 レコードパート

## 4.4 メダルパート

ゲーミフィケーション要素の報酬に該当するパー トである.例えば,ステージ 1 を 1 回クリアする,ステ ージ 4 のテストで一度も間違えずにクリアする,といった特定の条件を達成することで, メダルを獲得でき,学習の動機づけを与える。

図 4 メダルパート

## 5 評価

## 5.1 実験方法

本学の英語講義の受講者 52 人を対象に教材を配布し, 毎週の講義終了後に 1 ステージずつプレイしてもらい, その都度アンケートの提出を求めた.このアンケートと教材の利用履歴, 講義受講前後での TOEIC スコアと最終時に実施するテストによる順位比較, 最終回に実施するアンケート結果から学習効果を観察する。

また, 学生には脱出パートのみプレイを指示し, テストパートの実施については学生の判断に任せている. 教材とその利用方法を示した資料の配布、及び実験はいずれもオンラインで行い, 学習方法は被験者の判断に委ねることとした.

## 5.1.1 アンケート項目

アンケートは毎週提出する各ステージのアンケー トと, 最終時に提出するアンケートに二分される.

各回のアンケート項目は, フロー項目, そのステー ジで学んだ英単語の難易度, ステージの意見を問う 3 項目で構成される.フロー項目は, 下記 10 項目からなる質問に細分化し, それぞれについて当てはまる数值を, 全く当てはまらないを 0 , 確実に当てはまるを 6 とした 7 段階評価で選んでもらった.

表 1 フロー状態を測る項目

 \\

最終アンケートでは, 電子教材全般に対する質問や, 総合的な教材評価といった質問項目を用意した。

## 5.1.2 ボキャブラリーテスト

最終講義時に行うテストで, 本教材で学習する 700 単語の中から問題が出題される. 出題形式は 4 択,記述, 穴埋め問題で構成され, 各ステージから満遍なく, 全 50 問出題される.

## 5.2 実験結果

アンケートとゲームの取り組み状況, 及びテストの順位比較による学習意欲・効果の比較を行った。

## 5.2.1 被験者の意識調査

最終回に実施したアンケートから, 今回の被験者の教材に対する意識を調査した.その中から，下記の項目を抜粋して,今回の実験対象者の傾向を示す.

表 2 最終回アンケート項目例

Q1 の結果, 利用したいと回答した被験者は $46.7 \%$ に留まった.しかし, 利用したくないと回答した理由の多くは, 音声認識の精度に対する不満と, 教材の一部のUIによるものが多く,これらの意見から利用したくないと回答した被験者を除くと,利用したくないと回答した被験者の割合は $27 \%$ であった. Q2 の調查では, $86 \%$ の被験者はないと回答した.残りの被験者は, 洋画や海外のニュース, 広告を見るといった回
答がみられた. 最後に, Q3, Q4 を尋ねたところ,いずれも 9 割の被験者は抵抗を感じないと回答した.このことから, 本教材のような語学学習コンテンツは,若年層には受け入れられやすいと考えられる.一方，抵抗を感じると回答した被験者にとっては, 最後まで受け入れられず,フロー状態も伸び悩んだ。

## 5.2.2 学習効果の比較

実験前に実施された TOEIC のスコアと, 実験終了後のテストのそれぞれについての順位を比較し, その結果を上昇, 横ばい, 下降の3 タイプに分類を行った.ここでは、事前の TOEIC とボキャブラリーテストの両方を実施した 43 名を集計対象としている.

## 表 3 TOEIC と事後テストの順位比較

結果としては, TOEIC の順位が 11～20 位程度の被験者の結果が振るわなかった一方, TOEIC スコアでは下位に位置付けた被験者が高得点をマークするケ一スも多々見られた.ここで, 上昇と判断した 23 人と下降と判断した 13 人のうち, 最終回実施時の教材アンケートに回答した 11 人, 7 人の比較結果を示す.

表 4 順位変動者の意識調査

この結果から, 教材を今後も利用したいと回答した被験者のらち, $88 \%$ が順位があがる結果となった. また,この教材を利用して英語学習のモチベーションがあがり, 追加で TOEIC の単語学習帳を購入したと回答した被験者もおり, 学習意識の改善の一助になったと考えられる。一方, 教材を利用したくないと回答した被験者の順位が下降した割合は $66 \%$ であり，本教材以外で学習を行った人数も非常に限られた.

## 5.2.3 フロー項目の推移

毎週実施したアンケートから, フロー状態の評価を行った. 図 5 では, フロー状態の各項目とプレイ時間の両方について, 被験者全体での平均をステージ毎に算出した結果を示している.この図から,ステー ジごとに項目値は乱高下し, 適切な推移を保っているとは言い難い結果となったことがわかる.

図 5 フロー項目とプレイ時間の推移

## 5.2.4 形態素解析

毎週実施したアンケートの感想を, KH Corder3 を用いて共起ネットワークを作成した.この結果から, ”記述問題は良いと思う” , ”ゲーム要素は面白い” といった文が生成される.一方, 音声認識の項目はゲ一ムや学習パートとは別に, 独立して捉えられた.

図 6 アンケートの形態素解析

## 6 まとめ

今回の結果から, 元々あるゲームに語学学習要素を組み込むことにより，学習意欲と学習効果が高まる例は見られたが, ゲームの操作性により学習意識や学習時間の乱高下がみられたり, 音声認識を導入したことによるモチベーションの低下など, 評価値に大きく波が出る結果となった. そのため, 学習者が学習外の部分で躓かないような設計・配慮を適切に行うことが, 本教材のようなコンテンツには特に重要である.今後は, UI やゲーム性の改善に尽力し, フロー状態を適切に満たす教材へと昇華させたい.

## 参考文献

1. 一般財団法人国際ビジネスコミュニケーション協会. 2019 年度 TOEICProgram 総受験者数は約 241 万人. (オンライン) (引用日: 2020 年 12 月 22 日.) https://www.iibc-global.org/iibc/press/2020/p149.html. 2. -. TOEIC Program 大学の入学試験における活用状況 -2020 年度-. TOEIC Program. (オンライン) (引用日: 2020 年 12 月 22 日.) https://www.iibcglobal.org/toeic/official_data/univ_research.html.

3. Google. Google Play. (オンライン) (引用日: 2020 年 12 月 22 日.) https://play.google.com/store.

4. 久保田大輝, ほか. 英語の語彙能力向上を目的としたシリアスゲーム FishyFishy の開発. 出版地不明：情報処理学会, 2017 .
5. 矢澤崇史, ほか. 視線入力を用いて英文読解を支援するゲーミフィケーションの研究. 出版地不明：情報処理学会, 2015.

6. 魚住明生 , 山口裕加. フロー理論を基にした小学校生活科におけるものづくりと教材に関する研究. 出版地不明: 三重大学教育学部研究紀要, 2019.

7. GabrielaKiryakova, NadezhdaAngelova, LinaYordanova. GAMIFICATION IN EDUCATION. 2014.

8. ミハイ・チクセントミハイ著今村浩明訳. フロー体験喜びの現象学. 京都府：世界思想社, 1996.

9. 藤本徹. 効果的なデジタルゲーム利用教育のための考え方. 出版地不明 : コンピュータ\&エデュケーション, 2011.

10. アルク. レベル別語彙リスト SVL12000. (オンライン) (引用日: 2020 年 12 月 23 日.)

https://www.alc.co.jp/vocgram/article/svl/.


# Blockly を利用したタグ付きコーパス検索パタン構築ツール

岡田魁人
岡山大学大学院自然科学研究科
pdrj11bt@s.okayama-u.ac.jp

## 1 はじめに

本研究はブラウザ上でプログラムを組み立てることができる Blocklyを利用してタグ付きコーパスから目的とする表現を取り出すための言語パタンの構築を補助するツールについて記述する. 基本的な言語パタン抽出の応用としてコンコーダンサや質問応答などでの内部処理が挙げられる。まず，コンコーダンサについて説明する。 コンコーダンサとは，コーパスを分析するソフトのことである．自然言語処理の分野において，語の特徴や傾向性を明らかにするためにコーパスが利用される.コーパスを利用するには，大量の電子資料や専用マニュアルを読む必要があり，直接読むことは学習コストが高くなるなどの問題がある。 そこで，語の出現状況をわかりやすく示すコンコーダンサを使うことが一般的である. テキストコーパス内の文字列や単語を検索し, 検索単語を中心として, 前後の文脈とともに示される KWIC 形式のように表示するコンコーダンサは既に数多く存在する [1][2]. しかし既存のコンコーダンサでは，表層上の文字列や単語検索以外に, 例えば同義語や類義語, 同じ意味を示す文などの柔軟な検索に対応していない. コンコーダンサ以外に，日本語のタグ付きコーパスを柔軟に検索できるツールはほとんど存在しない [3][4]. 図 1 に「走る」を検索した場合の KWIC の例を示す。

図1「走る」を検索した場合の KWIC の例

一方，テキストに対して，意味役割付与システムから得られる解析結果を用いれば，述語の概念など

\author{
竹内孔一 \\ 岡山大学大学院自然科学研究科 \\ takeuc-k@okayama-u.ac.jp
}

意味タグをもとにした検索が実現できる. 例えば，竹内研では意味役割付与解析システム $\left(\mathrm{ASA}^{1)}\right)$ が構築されている. ASA の結果を用いて，「表情の出現」 という概念を持った動詞を検索をすると，図 2 のように述語の概念分類に沿った例文を取り出すことが可能である.

図 2 「表情の出現」という概念を検索した場合の提案システムの表示例

次に，質問応答システムにおいて言語パタンを利用する研究事例が挙げられる. IBM が開発した質問応答システム Watson では，あらかじめ質問に対する答えを構文のパタンとして構築している [5]. 意味役割が付与されたコーパスに対し，KWIC のみではなく，柔軟に検索できるツールがあれば，パタン構築を素早く仕上げることができる。

よって本研究では前節の背景を踏まえて，意味役割付与されたタグ付きコーパスに対し，柔軟な検索に対応し，コンコーダンサの機能を持ち，さらに質問応答システムに見られる前処理をも行えるような多機能ツールを構築する。本システムは 2 つモジュールから構成されており，1つがユーザインタフェースの部分，もう1つはパタンマッチの部分である。本論文では，前者のユーザインタフェースの構築について記述する。

## 2 関連研究

関連研究として,「茶器」[3] がある。「茶器」は,品詞，文節，係り受けといった統語情報などタグ付けされたコーパスを柔軟に検索することができ，関

1) http://www.cl.cs.okayama-u.ac.jp/study/project/asa/asa-scala/
係データベースを用いて検索システムとして実装したものがあり [6]，ドイツ語の Treebank を対象にした同様のものがある [7]. また，木構造のタグ付与データに対して検索するツールが提案されている [8]. 最終的には品詞，文節等のチャンク，係り受け等の統語情報を含むタグ付けコーパスに対して，柔軟な検索機能を備えるだけでなく, 各種統計解析機能や辞書とコーパスの連携，タグ付けエラーの修正などの機能を持ったタグ付きコーパスの検索/管理システムを目指しているものである [9].

## 3 言語パタンマッチシステム

本提案システムは，ユーザインタフェース部分に Blockly2)を採用して，言語パタン構築モジュールを実装する. Blocklyを採用することで，言語パタンをより直感的に組むことができる.

## 3.1 項構造ベースの言語パタンマッチ

$
\begin{aligned}
& \text { ・X は Y の「著者」だ } \\
& \text { =>X は Y を「書いた」 } \\
& \text { ・Xの「親」は Y } \\
& \text { =>X は Y の「子供」だ } \\
& \text { ・Y はXの「店員」だ } \\
& \text { =>Y はXで「働いて」いる }
\end{aligned}
$

図 3 項構造と動詞への言い換え例

本提案システムにおける言語パタンマッチについて説明する. 前提として, ASAにより意味役割付与されたコーパスを検索の対象とする．語には，語そのものに関係性を表すようなものがある [10]. 例えば図 3 のような構文パタンがある.

この例からわかるように，ある一文から作者と作品名を抜き出すことや，係り受けの関連を取り出すこと，また，単純に文字列や単語そのものも含めてユーザが構築した言語パタンをもとに対応したパタンマッチ処理を実行することを本論文では言語パタンマッチと定義する.

## 3.2 言語パタンマッチシステムの機能

本提案システムには様々な機能が必要となる.様々な視点からコーパスの検索が可能であること，

および検索結果の表示や再加工を行えるよう適切なデータやプログラムに変換する処理を行う必要が生じる．検索要求は，単語の経りそのもの，単語の一部，単語の原形，品詞などの文法情報，意味タグが付与された構文構造 (prolog の木に分解) [11], 係り受けの関係，およびそれらを組み合わせたものであり，以下言語パタンと述べる際にはこれらを含めたものとする。下記に，システムに求める機能について記述して整理する。

## 検索

ユーザが構築した言語パタンに応じた適切な検索が行える。

## 言語パタンの構築

視覚的に言語パタンを組むことができる。ユー ザが必要とする言語パタンを組み合わせて実現できるような多種の検索要素を提供でき，単語や品詞だけでなく，ASAにより付与される概念フレームなど意味的なタグについても検索できる検索要素も提供できることが好ましい.

## 言語パタンの保存

上記の機能で構築した言語パタンを保存できる. 保存した言語パタンは txt ファイルとしてダウンロードができるため，ユーザ間で共有することができる.

## 言語パタンの読み込み

ユーザが組み立てた言語パタンを読み込む。これにより他の人が作成した言語パタンも利用できる.

## 検索結果の出力

検索結果を表示するだけでなく，検索結果を例えば二次加工がしやすい json 形式や csv 形式のファイルに書き込み，ダウンロードができる。

## 3.3 言語パタンマッチの全体像

提案システムの実装には，npm (Node Package Manager）を用いる3)．ここで，システムの処理の流れを視覚化するためフローチャートを図 4 に示す.以下ではフロントエンドとバックエンドの各処理について説明する。

## 3.3.1 フロントエンド: ユーザによる操作の処理

ユーザの操作項目についての説明をする．最初に解析対象とするテキストデータを読み込ませる。

3) https://www.npmjs.com/

図 4 提案システムのフローチャート

解析対象は複数のファイルを登録することができ， チェックボックスで切り替えることができる. 次に，クエリ作成を行う．クエリとは，検索要求を組み合わせて構築する言語パタンのことである. クエリはデータ読み込みから作成することもできる．実行ボタンを押すことで言語パタンマッチから表示に必要なデータ加工までの処理が実行される.

## 3.3.2 バックエンド: タグ付与と検索処理

本論文ではテキストを解析するシステムとして意味役割付与システム ASAを利用する。ユーザがまず最初に検索したいテキストをシステムに入力した場合，ASAによる解析を行った後，係り受け，形態素，述語の概念フレーム，意味役割をすべて Prolog 形式の探索木に変更する [11]. 次にフロントエンド側で言語パタンが構築され, 検索要求がだされたときに，検索言語を受け取り prolog の機能を利用して，マッチしたテキスト部分をフロント側に送る.検索の際，文，係り受けのチャンク，形態素の単位で探索木を構成しているが，今のところ，検索結果の単位は文の集合を返している。

## 3.4 言語パタンマッチシステムの拡張性

今回実装するシステムの言語パタン構築部分は, バックエンドで処理する言語処理ツール用にカスタマイズしている.よって，他の言語処理ツールを適用する場合にはそれに合わせたタグ体系に合わせることで，複雑な解析も Blocly を利用することで手軽に行えるようになる。

## 4 動作確認実験

本提案システムについて，以下で示すデータセッ卜を用いて動作実験を行う. 動作実験の目標として, 図 3 の例として述べた著者と作品の組み合わせを抜き出すこととする。

## 4.1 検索対象例文

検索対象例分として図 5 に示すように，著者と作品名を文で表した例文を 10 文用意した。例にもあるように「図書館戦争を書いた有川浩」など連体修飾の例も入れている。また，パタンにマッチしない文も入れている.

泥棒に財布を盗まれる。有川浩が図書館戦争を書いた。昨日、友達と喧嘩した。今日、新しいコンピュータを買うつもりだ。羅生門は芥川龍之介の小説だ。親に好きな靴を捨てられた。明日、学校で誕生日パーティーが開かれる。大学の隣に、新しいスーパーが建つ。初めて先生に褒められた。図書館戦争を書いた有川浩

図 5 検索対象例文

## 4.2 言語パタン

Blocklyを用いて実現した Prolog で構築した言語パタンを図 6 に示す. author ブロックとして author(_author,_work) という述語を宣言し，緑のブロックで囲われているエリアに述語の定義を記述する。_author と_work は項であり，検索結果が入る. author ブロック内では author を取り出す具体的な構造が各ブロックで記述されている。例えば 「type (X0, verb)」は品詞のタイプとして verb のものを探索木から取り出し，その要素を変数 X0 にセットする。また， semantic は概念フレーム， main は主辞，role は意味役割を表す.ここで定義した author ブロックを利用して，さらに他の言語パターンを取り出す際に利用することができる.

図 6 著者作品を抽出するための Prolog 言語パタン

## 4.3 動作結果

上記のデータセットに対してパタンマッチした結果の例を図 6 に示す. 図 6 では，検索にマッチした文を表示していて「書く」や「〜の小説だ」といったパタンにマッチした文が取り出されている。単に文が取り出されているわけでなく内部が項構造として構築されているため，変数である_author には「有川浩」「芥川龍之介」，_work には「図書館戦争」「羅生門」が取り出されており，必要であれば，その部分だけをとりだすこともできる.

く/>結果
有川浩が図書館戦争を書いた。
羅生門は芥川龍之介の小説だ。
図書館戦争を書いた有川浩

図 7 動作実験のスナップショット

## 5 おわりに

本論文では意味役割や概念フレームなどがテキス卜に探索木として付与されている場合にユーザが構築した言語パタンをブロックベースのプログラムとして組むことが出来るシステムについて記述した。実装として Blockly のライブラリを用いてブラウザベースの Web アプリケーションとしてシステムを構成した. 実装に際して，言語処理の分野でよく利用される次の 2 つの機能の実現を目標とした. 1 つ
はコンコーダンサの機能，そしてもう 1 つは質問応答システムに見られるような構文パタンを検索，処理を行うツールとしての機能である。実際に活用されるツールにするために，上記機能を満たすだけでなく，アプリケーションとして改善していく必要があるだろう．今後は，機能追加に加え，既存機能の改良，英語版対応および UI/UX の最適化を検討している。

## 謝辞

本研究の遂行にあたって JSPS 科研費 19K00552 の支援を受けた。

## 参考文献

[1] 小木曽智信, 中村壮範. 通時コーパス用『中納言』:Webベースの古典語コンコーダンサー.

[2] 中條清美, 西垣知佳子アントニ・ローレンス. フリーウェア WebParaNews オンライン・コンコーダンサーの英語授業における活用. 日本大学生産工学部研究報告 B (文系), Vol. 47, pp. 49-63, 2014.

[3] 松本裕治, 高岡一馬, 浅原正幸, 乾健太郎, 橋本喜代太, 投野由紀夫, 大谷朗, 森田敏生ほか. タグ付きコー パスの格納/検索ツール「茶器」. 言語処理学会第 10 回年次大会発表論文集, pp. 405-408, 2004.

[4] 田中良. 多言語対応コンコーダンサー『HASHI』:日本語と日本語教育と社会言語学の研究を中心に. 2015.

[5] Adam Lally, John M Prager, Michael C McCord, Branimir K Boguraev, Siddharth Patwardhan, James Fan, Paul Fodor, and Jennifer Chu-Carroll. Question analysis: How Watson reads a clue. IBM Journal of Research and Development, Vol. 56, No. 3.4, pp. 2-1, 2012.

[6] 工藤拓, 松本裕治. Rdb を利用したタグ付きコーパス検索支援環境の構築. 情報処理学会自然言語処理研究会 2001-NL-144, pp. 135-142, 2001.

[7] Laura Kallmeyer. A query tool for syntactically annotated corpora. In Proceedings of the 2000 Joint SIGDAT conference on Empirical methods in natural language processing and very large corpora: held in conjunction with the 38th Annual Meeting of the Association for Coтputational Linguistics-Volume 13, pp. 190-198. Association for Computational Linguistics, 2000.

[8] Kohsuke Yanai, Misa Sato, Toshihiko Yanase, Kenzo Kurotsuchi, Yuta Koreeda, and Yoshiki Niwa. Struap: A tool for bundling linguistic trees through structure-based abstract pattern. In Proceedings of the 2017 EMNLP System Demonstrations, pp. 31-36, 2017.

[9] 浅原正幸, 米田隆一, 山下亜希子, 伝康晴, 松本裕治.語長変換を考慮したコーパス管理システム. 情報処理学会論文誌 Vol.43,No.7, pp. 2091-2097, 2002.

[10] 西山佑司. ひつじ書房, 2003.

[11] 小笠原崇, 竹内孔一. 意味役割付与テキストに対する prolog ベースの探索木による言語パタンマッチシステム構築. 言語処理学会第 27 回年次大会, 2021.


# 英語学習者のための解説文生成手法の調査

塙一晃 ${ }^{\dagger, \ldots, 1}$ 永田亮 $8,+, \pi, 2$ 乾健太郎 ${ }^{+, \dagger, 3}$
†東北大学 理化学研究所 $\S$ 甲南大学 $\mathbb{I} J S T$ さきがけ
${ }^{1}$ kazuaki.hanawa@riken.jp $\quad{ }^{2}$ nagata-nlp2021@ml.hyogo-u.ac.jp $\quad{ }^{3}$ inui@tohoku.ac.jp

## 1 はじめに

解説文生成とは，与えられた文章に対してライティングに関するヒントや説明を生成するタスクのことである。例えば，*We reached to the station.の下線部に対して，

(1)reach は他動詞ですので、目的語の前には前置詞は必要ありません。

のような解説を生成するタスクである。文献 [1]で，英語学習者が書いた文章に対して，前置詞に関する解説とより一般的な解説の二種類を付与したコーパスが構築，公開されている。このデータセットにより，様々な機械学習による解説文生成が可能となっている。例えば，本タスクは，解説対象文章と解説箇所を入力とする言語生成問題であるので，各種のニューラル言語生成モデルが適用可能である.

このような状況にもかかららず，解説文生成手法について分かっていることはとても少ない. 存在する知見は，前置詞解説文では検索に基づいた手法が有効である [2] ぐらいである. ニューラル言語生成モデルには，幅広い選択肢があるが，研究例は非常に少ない. 文献 [3] では, 検索結果に基づいて, ニューラル言語生成モデルで生成を行うが，他のモデルとの比較は行われていない。また，これらの研究は前置詞解説文をのみを対象にしており，一般解説文に対する知見は皆無である．後者のほうが解説の種類が多くより難しい問題であるため，手法の振る舞いが大きく変わる可能性がある.

そこで，本稿では，解説文生成の研究が今後進むべき方向性を模索することを目的として，各種手法の性能比較と生成結果の詳細な分析を行う. 具体的には，検索に基づく手法，単純な Encoder-decoder 言語生成モデル，両者を組み合わせた検索編集手法 (以下，それぞれ， Retrieval， Simple Generation, Retrieve \& Edit と表記）について比較を行う. 前置詞解説文に加えて，今まで研究例がない一般解説文
も対象とする。

各手法の性能は次のように予想される．Retrieval は，検索した解説文をそのまま出力するため柔軟性に久け，最も性能が低い. Simple generation は，言語生成モデルであるので柔軟性が高く，より性能が高い Retrieve \& Edit は, Retrieval と Simple Generation を組み合わせたような手法であるので，最も性能が高い，以上をまとめると，性能順は， Retrieval < Simple Generation < Retrieve \& Edit と予想される.

興味深いことに，実際に性能を評価したところ上の予想とは全く異なる結果が得られた. 更に，前置詞解説文と一般解説文では，異なる性能順位となることも明らかになった。具体的には，前置詞解説文では， Retrieve \& Edit < Retrieval < Simple Generation，一方，一般解説文では Simple Generation < Retrieve \& Edit < Retrieval となった.

生成結果を詳細に分析したところ，いくつかの要因が明らかになった. 結果は次のように要約される. 第一に, Retrieve \& Edit では, “不要な生成” (over-editing と呼ぶ) が頻繁に発生する. Over-editing は，言語生成モデルの柔軟性を上回り，性能低下を招く。その結果, Retrieval よりも低い性能となる.第二に，Simple Generation では，複数の解説内容を混ぜて生成するような現象（mutant と呼ぶ）が起こる. 複数の解説内容を混ぜたものは，当然，適切な解説文とはならない. 相対的に解説の種類が少ない前置詞解説文では mutant は発生しにくく, Simple generation の性能が最も良くなる。また，Retrieve \& Editでは，検索結果を利用するため mutant は起こりにくい，以上のことに基づき，性能向上のためのアイデアも議論する。

## 2 関連研究

解説文生成研究のためのデータセットが少しずつ増えてきている。文献 [2] で，前置詞の用法を対象にした解説文データセットが公開された. その後,文献 [1]で，その他の文法誤り，構成，語彙選択を含
表 1 各生成手法の全体の正解率.

む一般解説文のデータが公開された. 本稿では，この前置詞解説文と一般解説文のデータを利用する. そのほか，文献 [4] では， linking word の用法に着目した解説文を含む学習者コーパスが公開された.

データの公開と共に，解説文生成手法の数も増えつつある. 人手で作成した規則に基づいて解説文を生成する手法 $[5,6,7]$, テンプレートに基づいて解説文を作成する手法 [8], 検索に基づいた手法 [2] などが知られている.これらの手法は広い範囲の誤りに柔軟に対応することが困難である。

より一般的には，解説文生成は，解説対象文と解説箇所を入力とした言語生成問題と捉えることができる. したがって，各種のニューラル言語生成モデルが本タスクに効果的であると予想される. そのような研究に文献 [3] がある. しかしながら，解説文生成において，各種ニューラル言語生成モデルの性能比較を行った研究は我々が知る限り存在しない.

## 3 解説文生成手法

## 3.1 タスク定義と表記

文献 [2] に基づきタスクを定義する。 入力は，解説対象文と解説文の対象となるトークン位置 (以下，解説位置と表記）である。一方，出力は解説位置に対する解説文である.

形式的にタスクを定義するため，次の記号を導入する. 解説対象文，その長さ (トークン数), $i$ 番目のトークンをそれぞれ $S, N, w_{i}$ と表記する. すなわち， $S=w_{1}, \cdots, w_{i}, \cdots, w_{N}$ である. また，解説位置を $o$ と表記する. 更に,$S$ とoを組にしたものを $x$ と表記する. すなわち, $x$ は入力である.これに対応させ，出力となる解説文を $\boldsymbol{y}$ と表記する。一方，生成（予測）された解説文は $\hat{y}$ のように^をつけて表す.トークン $w_{i}$ に対応する隠れべクトルは $\boldsymbol{h}_{i}$ と表記する. また, $\boldsymbol{x}=(S, o)$ をエンコードしたベクトルを $\boldsymbol{c}$ と表記する.

Retrieval と Retrieve \& Edit では次の記号も使用する. 入力 $\boldsymbol{x}$ に対する検索事例を $\boldsymbol{x}^{\prime}$ と表記する。また， $x^{\prime}$ に紐づいた解説文を $y^{\prime}$ と表記する。

## 3.2 Simple Generation

例 (1) のように $S$ 中の単語は $\boldsymbol{y}$ 中にもしばしば出現する. したがって生成手法は $S$ 中の単語をコピーできる機構をもっていることが望ましい.そのため，我々は pointer-generator network [9] を Encoder-Decoder として採用する.このネットワー クは大力文中の単語のコピーと語彙からの単語の生成を $p_{\text {gen }}$ の値に応じて制御する.

文献 [9] と違う点として, 本タスクでは解説位置 $o$ の情報を $\boldsymbol{c}$ に含める必要がある．具体的には，まず Bi-LSTM によって $S$ 中の各トークン $w_{i}$ を隠れべクトル $\boldsymbol{h}_{i}$ に変換する. 次に $o$ 番目の隠れべクトル $\boldsymbol{h}_{o}$ を文脈ベクトル $\boldsymbol{c}$ として使用する. $\boldsymbol{c}$ はデコーダへの初期入力として用いられる.

## 3.3 Retrieval

この手法はニューラルネットワークを用いた検索に基づく．具体的には，まず入力 $x$ と最も類似した $x^{\prime}$ をそれに対応する $y^{\prime}$ とともに訓練データから検索する. そして，検索した $y^{\prime} を \hat{y}$ として出力する. $x$ と $x^{\prime}$ の類似度はそれぞれに対応する文脈ベクトル $\boldsymbol{c}, \boldsymbol{c}^{\prime}$ の余弦類似度によって計算される.

$\boldsymbol{x}$ をにエンコードするためのネットワークとして Simple Generation と同様なアーキテクチャを用いる. ただし， $\boldsymbol{x}$ の情報を全て $\boldsymbol{c}$ に含めるために，アテンション機構は用いない.

## 3.4 Retrieve \& Edit

本手法は文献 [10] で提案された手法に基づく. 1 節で述べたように Retrieve \& Edit は Retrieval と Simple Generation を組み合わせたような手法である.本手法は Retriever と Editor と呼ばれる二つの独立したネットワークからなる. Retrieval と全く同じネットワークを Retrieverとして使用する. ただし，訓練時には， $x$ 自身を除いて最も類似した事例を検索結果とする。また Simple Generation と概ね同じネットワークを Editorとして使用する. Simple Generation との違いは検索した事例を考慮する必要がある点である. すなわち, Editor は Simple Generation の入力 $x$ に加えて, Retrieverにより検索された $x^{\prime} ， y^{\prime}$ を入力として生成を行う. これは，(1) $x, x^{\prime} ， y^{\prime}$ をれぞれ別のネットワークで文脈ベクトルに変換し，(2) これらの三つのべクトルを結合し，(3)それをデコー ダへの入力として用いる，という工程によって行

図 1 Retrieve \& Editにおける生成とコピーの確率の可視化.

われる。より詳細には， $\boldsymbol{x}$ と $\boldsymbol{x}^{\prime}$ は Simple Generation と同じ方法でエンコードし， $y^{\prime}$ のエンコードには Bi-LSTM の最終状態を用いる.

また Editor は一つのアテンション機構を持ち， $\boldsymbol{x}$, $\boldsymbol{x}^{\prime}, \boldsymbol{y}^{\prime}$ の全体に対して同時にアテンションを計算する.これにより, Editor は $x, x^{\prime}, y^{\prime}$ のいずれからもコピーを行うことができる.

## 4 実験

本実験では，前置詞解説文および一般解説文を収録したデータセット [1]を用いる.このデータセットは学習者が書いたエッセイからなる。各エッセイは，トピック“アルバイト”（PTJ）と“喫煙”（SMK） のいずれかである．本実験では，トピック別に各手法の性能評価を行う．データセットの統計值を付録 A に示す。また，訓練時の設定は付録 B に示す。

評価尺度は生成正解率 (解説箇所数に対する適切な生成結果の割合）とした. 適切, 不適切の判断は，英語指導（2 年間）と英語統語アノテーション （10 年以上），両方に経験がある作業者に依頼した。

表 1 に，PTJと SMKをまとめた生成正解率を示す (個別の結果は付録 C に示す). 表 1 の生成性能は,前置詞解説文でも一般解説文でも，当初の予想とことなる。具体的には，Retrieve \& Edit は，その名の通り，手法の中に，Retrievalを含むにもかかわらず， Retrieval の性能を超えられていない。また，前置詞解説文では最も性能がよい Simple Generation が，一般解説文では最も性能が悪い.このような結果が得られた理由を 5.2 で考察する。

## 5 考察

## 5.1 なぜ Retrieve \& Edit の性能は低いのか

Retrieve \& Edit の出力結果を分析すると，不必要な編集をしてしまう現象（以下，over-editing と呼ぶ）が確認できた。ここで， over-editing とは，解説文の適切さには影響しない単語の編集（生成）のことをさす。訓練時に，検索された解説文と目的の解説文が同一内容であっても，表層が異なると，そのような不必要な編集が学習される。言い換えれば， over-editing は，解説文における表層バリエーションの多さに起因するといえる。次の例を考える：

(2)動詞 agree は that 節を目的語にとりうる動詞なので、目的語の前に前置詞 with は不要です。

(3)動詞 agree が同意する内容が節で書かれている場合は前置詞 with は不要です。

この二つの解説文は，同じ文法規則についての解説であるが表層は大きく異なる。解説文は自然言語で記述されるため，このような表層的なバリエーションは避けられない。例 (2) に対して例 (3) が検索された場合には，そのまま出力すれば十分であるにも関わらず，例 (2) のように書き換えるように訓練が行われる。以上の例では二つの解説文のみを考えているが，実際の訓練データでは，表層は異なるが同種の誤りに対する解説文が多数存在しうる [2]. そのような場合， over-editing はより顕著となる。

実際に over-editing を観察するために，Retrieve \& Edit における生成とコピーを制御する確率值 $p_{\text {gen }}$ を用いて生成結果の可視化を行った（図 1)，図 1 では $p_{\text {gen }}$ の値が大きいほど，すなわち生成の確率が高い単語ほど濃い赤となっている. 全体的に $p_{\text {gen }}$ の値が大きく，検索してきた事例からコピーを行わず，語彙からの生成を行っている様子が観察できる。例えば，図 1(1) は，検索された解説文の conclusion を reasons 書き換えるだけで適切な解説文となる例である。それにもかかわらず，Retrieve \& Editでは，単語のコピーはほとんど行わず，多くの単語を生成している。その結果，誤生成となっている。また，図 1(2) では，生成された解説文は正しいが，多くの単語を生成してしまっている．理想的には，検索結果の少数の単語だけを置き換えることが好ましいが， over-editing により妨げられている.

どのような方法で，over-editing を抑制できるだろうか. Over-editingを抑制し，少数の単語だけを生成するモデルにするためには，少数の単語だけが置き換わる訓練事例を Editor に与えるべきである。その実現方法の一つに，解説文間の表層類似度を用いる方法がある。訓練時に Retrieve \& Edit で用いている隠れ状態の類似度（余弦類似度）に加えて，解説文

(a) 前置詞/Simple Generation

(c) 前置詞/Retrieval

(b) 一般/Simple Generation

(d) 一般/Retrieval図 2 各手法が出力した解説文と同一の解説文の訓練デー タ中の数. 横軸: 同一の解説文の訓練データの数. 縦軸: テストデータにおける頻度.

間の表層類似度を考慮して検索を行えば，表層の差異が少ない事例が Editor の訓練に用いられる．そうすることで，検索結果を生かしつつ，少数の書き換え規則のみが学習されやすくなると期待できる.

## 5.2 Simple Generation の順位の入れ替わり

Simple Generation の生成結果を分析すると，前置詞解説文と一般解説文では異なる振る舞いが見られた. 前者では訓練データと表層的に非常に類似した解説文を生成することが多い。一方，後者では，複数の解説内容を融合したような生成結果が頻繁に観測された（以下，この現象を mutant と呼ぶ）。例えば, “* ... this activity is will not disturb their ...”に対して，次のような mutant が生成された：

(4)主語に合わせて動詞を適切な形で用いましょう。be 動詞は必要か確認しましょう。

一文目は主語と動詞の一致についての解説, 二文目は be 動詞と一般動詞の併記に関する解説である. $\mathrm{Be}$ 動詞が解説位置である場合，この二種類の解説がなされることが多いことに起因すると分析できる.

この現象は, Encoder-Decoderによる生成を次のようなプロセスだと捉えると説明できる：(1) 入力 $\boldsymbol{x}$ により，ベクトル空間のある点が指定される，(2) その点に近い訓練事例があれば，それに対応した $\boldsymbol{y}$ が生成される，(3) ただし，その点に近い（解説内容が異なる）訓練事例が複数あると，混合されて $\hat{y}$ に映される. 解説内容の種類が相対的に少ない前置詞解説文では，（3）の状況が起こりにくい. 相対的に種類数が多い一般解説文では例 (4) のような別種の事例が $\boldsymbol{x}$ 周辺に配置されるため mutant ができやすい， mutant は基本的に全て誤生成となる. 一方, Retrieval では複数事例の何れかを出力す
るため，一定の確率で生成に成功する. この点で， Simple generation は, Retrieve より性能が低くなる. では，なぜ前置詞解説文において Simple generation は最も高い性能を示すのだろうか. 一つの理由としては，Simple generation の柔軟性を挙げることができる. Retrieval で生成に失敗した事例のうち，数単語を書き換えたら正しくなるものは，それなりの数存在する（解説位置の $6 \%$ が該当する）。これらの失敗は，完全に一致する事例が訓練データに存在しないことに起因する。一方，Simple generation ではそのような事例にも対応可能である.

別の理由として，Simple Generation は解説文の条件付き生成確率を学習するため，頻度の高い解説文を好むことを挙げることができる．正解率をあげるという観点では，解説の種類が認識できていない場合には，より頻度の高い解説文を出力することが良い戦略である。このことに起因して Simple Generation の性能が高くなったと予想できる.

このことを確認するために，生成した解説文と同一の解説文が訓練データ中にどれだけ存在するかを調べた。ただし，同一の解説文かどうかを人手で判定することは容易ではないので，正規化した編集距離が 0.1 未満の場合に同一の解説文だと疑似的にみなした. その結果を図 2 に示す. 図 $2 \mathrm{a}, 2 \mathrm{c}$ を見ると， Retrieval は訓練データ中で頻度 1 の解説文を出力することが多いが，Simple Generation では頻度 2 以上の解説文を出力することが多くなるのがわかる.このことから Simple Generation は頻度の低い解説文を生成しにくく，それが正解率の向上に寄与したと考えられる。一方で，図 $2 \mathrm{~b} ， 2 \mathrm{~d}$ を見ると一般解説文では同様の傾向は見られない。逆に，一般誤解説文では，Simple Generation は，訓練データに一度も出現しない解説文を生成することが多いこともわかる. この中に，上で述べた mutant も含まれるであろう。

## 6 おわりに

本稿では英語学習のための解説文生成タスクにおける生成手法について比較を行った. 直感に反し Retrieve \& Edit の性能が低いことや，タスクによって生成手法の良し悪しに変化があることを示し，その原因について考察を行った. 以上のことから，(1) 特定の項目に対する解説文生成では，Simple generation の拡張が有効である；(2)一般解説文生成では, Retrieve \& Edit で over-editing を低減させることが，性能向上につながると予想される.

## 参考文献

[1] Ryo Nagata, Kentaro Inui, and Shin' ichiro Ishikawa. Creating Corpora for Research in Feedback Comment Generation. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 340-345, 2020.

[2] Ryo Nagata. Toward a Task of Feedback Comment Generation for Writing Learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3206-3215, 2019.

[3] 一晃塙, 亮永田, 健太郎乾. 高信頼度な文法誤り解説生成のための生成制御手法. 2020 年度人工知能学会全国大会（第 34 回）, 2020.

[4] Ildiko Pilan, John Lee, Chak Yan Yeung, and Jonathan Webster. A Dataset for Investigating the Impact of Feedback on Student Revision Outcome. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 332-339, 2020.

[5] Kathleen F Mccoy and Christopher A Pennington. English error correction: A syntactic user model based on principled mal-rule scoring. In In Proceedings of the Fifth International Conference on User Modeling, pp. 59-66, 1996.

[6] Jun'ichi Kakegawa, Hisayuki Kanda, Eitaro Fujioka, Makoto Itami, and Kohji Itoh. Diagnostic Processing of Japanese for Computer-Assisted Second Language Learning. In Proceedings of the 38th Annual Meeting of the Association for Computational Linguistics, pp. 537-546, 2000.

[7] Ryo Nagata, Mikko Vilenius, and Edward Whittaker. Correcting Preposition Errors in Learner English Using Error Case Frames and Feedback Messages. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 754-764, 2014.

[8] Yi-Huei Lai and Jason Chang. TellMeWhy: Learning to Explain Corrective Feedback for Second Language Learners. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing: System Demonstrations, pp. 235-240, 2019.

[9] Abigail See, Peter J Liu, and Christopher D Manning. Get To The Point: Summarization with Pointer-Generator Networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 10731083, 2017.

[10] Tatsunori B Hashimoto, Kelvin Guu, Yonatan Oren, and Percy S Liang. A Retrieve-and-Edit Framework for Predicting Structured Outputs. In $S$ Bengio, $H$ Wallach, H Larochelle, K Grauman, N Cesa-Bianchi, and R Garnett, editors, Advances in Neural Information Processing Systems 31, pp. 10052-10062, 2018.

[11] Shinichiro Ishikawa. The ICNALE and sophisticated contrastive interlanguage analysis of Asian learners of English. Learner corpus studies in Asia and the world, Vol. 1, pp. 91-118, 2013.
表 2 使用したデータセットの統計量.

表 3 PTJと SMKにおける生成手法の正解率.

## A データセットの統計

実験に使用したデータセットの統計は表 2 の通りである.

## B 使用したハイパーパラメータ

実験に使用したハイパーパラメータは以下の通りである. 全ての解説文生成手法中の LSTM は一層で中間層の次元は 300 である. 単語の分散表現の次元数は 200 で, ICNALE[11] で事前学習したものを用いる。訓練は学習率 0.001 の Adam を用いて 50 epoch 行う. 別のランダムシードを用いて五回ずつ訓練を行い開発セット上で BLEU が最大になったものを採用する。

## C 全ての評価結果

PTJとSMK それぞれの評価結果は表 3 の通りである.