# 疑似参照訳文ベクトルの重心に基づく 高速なニューラル最小ベイズリスク復号

出口祥之 坂井優介 上垣外 英剛 渡辺太郎
奈良先端科学技術大学院大学
}

\{deguchi.hiroyuki.db0, sakai.yusuke.sr9, kamigaito.h, taro\}@is.naist.jp
## 概要

翻訳品質の人手評価スコアを予測する COMET モデルを用いた最小ベイズリスク復号法の COMETMBR が，従来のビーム探索等を用いた最大事後確率復号と比較して，翻訳品質の人手評価における最高性能を達成している。しかし，典型的な最小べイズリスク復号では，ある仮説文のベイズリスクは全仮説文との間のスコアの期待值計算によって求められるため，翻訳仮説の文数を $N$ とすると $O\left(N^{2}\right)$ の計算時間を要する. 本研究では, COMET-MBR の復号速度を改善するため，COMET モデルが計算する翻訳候補集合の文ベクトルをクラスタリングし，各クラスタの重心表現を用いてスコアを計算することで，期待值計算を近似する。WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow$ 中の 6 言語方向の翻訳実験を行ったところ，従来の MBR 復号より，同等の COMET スコアを維持しながら， べイズリスクの計算時間が 13.6 倍，うち期待値計算が 26.2 倍高速化することを確認した。

## 1 はじめに

最小ベイズリスク（minimum Bayes risk; MBR）復号による機械翻訳は，複数文からなる翻訳仮説集合全体から計算されるベイズリスクを最小化する出力文を選択することで，頑健かつ品質の高い翻訳を実現する $[14,5,16]$. 特に近年では, 翻訳品質の人手評価スコアを予測する COMET モデル $[19,18]$ を MBR で用いた COMET-MBR が，ビーム探索を用いた従来の最大事後確率復号と比較して, 翻訳品質の人手評価における最高性能を達成している [8]. COMET モデルは原文，仮説文，参照訳文をそれぞれ独立に文ベクトルに符号化し，それら 3 つの文ベクトルを用いてスコアを計算する.

しかし，MBR 復号では，ある仮説文のベイズリ

疑似参照訳文ベクトル

図 1 疑似参照訳文数 $N=5$, クラスタ数 $k=3$ における,従来法（MBR）と提案法（CBMBR）の概要図. 緑色の背景箇所がベイズリスクの期待值計算を表す.

スクが各参照訳との間で計算されるスコアの期待値計算によって求められ，仮説文集合自身を擬似的に参照訳集合とみなす典型的な MBR 復号は，翻訳仮説の数を $N$ とすると $O\left(N^{2}\right)$ の計算時間を要する. $N$ は多い時で 1000 を超えることもあり [9]，二乗オー ダーの計算時間は MBR 復号の大きな課題となっている.これまでに，MBR の復号速度を改善するため，仮説文を枝刈りする手法が提案されており，軽量な代替評価尺度 [6] や $N$-best リランカ [8] を用いる手法などが提案されている。ただし，代替評価尺度の種類を適切に選択する必要が生じたり, リランカモデルの訓練・推論コスト等が生じたりする。

ここで，COMET モデルは仮説文と参照訳文が意味的に近いときに高いスコアを出力するように学習されていることから，文べクトル間の距離が文間の類似度を表現できるのではないかと考えた. 本研究では，COMET-MBR において，翻訳候補集合中の近い文べクトル同士を 1 つにまとめてスコアを算出することで MBR の期待値計算を近似し，復号速度を改善する。提案法では，翻訳候補の文べクトルを $k \ll N$ 個のクラスタにクラスタリングし， $N$ 個の文ベクトルの代わりに各クラスタの $k$ 個の重心べクトルを用いて COMET スコアを算出することで，復号
時のスコア計算回数を $N^{2}$ 回から $N k$ 回に削減する. WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow 中 ~$ の 6 言語方向の翻訳実験より, 従来の MBR 復号と比較して，同等の COMET スコアを維持しながら， ベイズリスクの計算時間が 13.6 倍，うち期待値計算が 26.2 倍速くなることを確認した.

## 2 背景: COMET-MBR

最小ベイズリスク復号とりうる入力文と出力文の全体集合をそれぞれ $x, y$ とする。このとき，最大事後確率 (maximum-a-posteriori; MAP) 復号による出力文 $y_{\mathrm{MAP}}^{*} \in \mathcal{y}$ は次のように求められる:

$
y_{\mathrm{MAP}}^{*}=\underset{y \in \mathcal{Y}}{\operatorname{argmax}} p_{\theta}(y \mid x)
$

なお， $\theta$ は大力文 $x \in X$ が与えられたときに $y$ が出力される尤度を計算する翻訳モデルを表す. とりうる全ての $y \in \mathcal{y}$ について確率を計算することは困難であるため, 通常, ビーム探索などによって枝刈りを行い, 近似解を求める。一方, 最小ベイズリスク（minimum Bayes risk; MBR）復号による出力文 $y_{\mathrm{MBR}}^{*} \in \mathcal{y}$ は, 次のように効用関数 $u: y \times y \rightarrow \mathbb{R}$ の期待値（期待効用）を最大化する仮説が選択される:

$
\begin{aligned}
y_{\mathrm{MBR}}^{*} & =\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \sim P(y \mid x)}{\mathbb{E}}[u(h, \hat{y})] \\
& \approx \underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \in \hat{y}}{\mathbb{E}}[u(h, \hat{y})] .
\end{aligned}
$

ただし, $\mathscr{H}=\left.\{h_{1}, \ldots, h_{|\mathscr{H}|}\right.\} \subset \mathscr{y}$ は翻訳仮説集合, $P(y \mid x)$ は大力文 $x \in X$ が与えられたときに $y$ に翻訳される確率であり，一般には，式 3 のようにサンプリングされた参照訳 $\hat{y}=\left.\{\hat{y}_{1}, \ldots, \hat{y}_{|\hat{y}|}\right.\} \subset y$ を用いて近似される。翻訳時は未知の文に対する参照訳集合を手に入れるのが困難であるため，典型的な MBR 復号では機械翻訳による翻訳候補を擬似的な参照訳集合とみなし, $\hat{y}:=\mathscr{H}$ とされる.ここで, $N:=|\mathscr{H}|$ とおくと, $\mathrm{MBR}$ 復号の時間計算量は $\mathcal{O}\left(N^{2}\right)$ となる.

COMET COMET は, 翻訳品質の直接評価 (Direct Assesment; DA）スコアを予測するニューラルモデルを用いた, 人手評価との相関係数が高い評価尺度である [19,18]. 原文 $x \in \mathcal{X}$, 仮説文 $h \in \mathcal{Y}$,参照訳文 $\hat{y} \in y$ の 3 つ組文のそれぞれの文を XLM-RoBERTa (XLM-R) [4] によって $D$ 次元文べクトルに符号化した後, それらの文べクトルを出力層に入力することにより, スコアが計算される. $f: X \cup Y \rightarrow \mathbb{R}^{D}$ を XLM-R による文べクトルへの符号化関数， $s: \mathbb{R}^{D} \times \mathbb{R}^{D} \times \mathbb{R}^{D} \rightarrow \mathbb{R}$ を出力層とすると, COMET スコアは次式のように定式化される。

$
\operatorname{COMET}(x, h, \hat{y})=s(f(x), f(h), f(\hat{y}))
$

COMETを用いた MBR 復号（COMET-MBR）では，式 3 の効用関数 $u$ が $\operatorname{COMET}(\cdot, \cdot, \cdot)$ に置き換えられ,仮説文集合を擬似的に参照訳文集合とみなした上で次のように計算される:

$
y_{\text {COMET-MBR }}^{*}=\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\hat{y} \in \hat{y}}{\mathbb{E}}[s(f(x), f(h), f(\hat{y}))] .
$

このとき， $\hat{y}=\mathscr{H}$ のような, 典型的な MBR 復号の場合，はじめに一度だけ仮説文の文ベクトル集合 $\left.\{f\left(h_{1}\right), \ldots, f\left(h_{\mid \mathscr{H}}\right)\right.\}$ を計算し，その中からぺアを取り出して関数 $s$ を適用することで, 出力層 $s$ のみの $N^{2}$ 回の計算で全ての仮説文に対するベイズリスクが求まる。

## 3 提案法: Centroid-Based MBR

提案法 Centroid-Based MBR (CBMBR) は, COMET 内部の文ベクトル空間に着目し, 近い文ベクトルから計算されるスコアの期待值を，それらの重心から計算する近似により, 復号速度の改善を狙う. 提案法は (1) 文符号化, (2) クラスタリング, (3) 期待効用計算の順に従ってべイズリスクを計算することで復号する。

(1) 文符号化はじめに, 従来の COMET-MBR と同様に，原文 $x$ の文べクトル $f(x) \in \mathbb{R}^{D}$ と各疑似参照訳文の文べクトル $\left.\{f\left(\hat{y}_{1}\right), \ldots, f\left(\hat{y}_{|\hat{y}|}\right)\right.\} \subset \mathbb{R}^{D}$ を計算する。なお， $\hat{y}=\mathscr{H}$ である。

(2) クラスタリング次に，疑似参照訳文ベクトルを $k \ll N$ 個のクラスタにクラスタリングし，各クラスタの重心べクトル $\left.\{\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{k}\right.\} \subset \mathbb{R}^{D}$ を求める.ここで，クラスタリングは推論時に行われるため, 復号速度の観点から, 提案法では収束の早いクラスタリング法である $k$-means++ [1] を採用する. $k$-means++は，はじめに，次のような手順に従って重心の初期値を獲得する。
1. $\left.\{f\left(\hat{y}_{1}\right), \ldots, f\left(\hat{y}_{|\hat{y}|}\right)\right.\}$ からランダムに 1 つ文べクトルを選択し，1つめの重心とする。

2. 各文ベクトル $f\left(\hat{y}_{i}\right)$ とそれらの最近傍重心 $\boldsymbol{c}^{*}=\operatorname{argmin}_{\boldsymbol{c} \in\left.\{\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{k}\right.\}}\left.\|f\left(\hat{y}_{i}\right)-\boldsymbol{c}\right.\|_{2}$ との間の二乗ユークリッド距離 $d^{2}\left(\hat{y}_{i}\right)=\left.\|f\left(\hat{y}_{i}\right)-\boldsymbol{c}^{*}\right.\|_{2}^{2}$ を求める.

3. 各文ベクトル $f\left(\hat{y}_{i}\right)$ に対して重み $\frac{d^{2}\left(\hat{y}_{i}\right)}{\sum_{j=1}^{|\dot{q}|} d^{2}\left(\hat{y}_{j}\right)}$ を求め, 求めた重みを確率分布とみなして $\hat{y}$ か

ら文ベクトルをサンプリングすることで，新たな重心を 1 つ得る.

4. 重心が $k$ 個得られるまで手順 2,3 を繰り返す.

続いて，獲得した初期値から，一般的な $k$-means によるクラスタリングを行う，具体的には，次の 1) と 2) を反復的に計算する: 1) 各文べクトルの所属を，最近傍の重心を代表べクトルとするクラスタに割り当て，2) 各クラスタに割り当てられた文べクトルの重心を求めてクラスタ重心を更新する.

(3) 期待効用計算最後に，式 5 の $f(\hat{y}) \in \mathbb{R}^{D}$ をクラスタ重心 $\boldsymbol{c} \in \mathbb{R}^{D}$ に置き換えて期待効用を計算する:

$
y_{\mathrm{CBMBR}}^{*}=\underset{h \in \mathscr{H}}{\operatorname{argmax}} \underset{\boldsymbol{c} \in\left.\{\boldsymbol{c}_{i}\right.\}_{i=1}^{k}}{\mathbb{E}}[s(f(x), f(h), \boldsymbol{c})] .
$

従来法では，全ての仮説文の期待効用を計算するために $O\left(N^{2}\right)$ の時間計算量を要していたのに対し，提案法は $O(N k)$ で計算される。

## 4 実験

実験設定提案法 CBMBR の有効性を検証するため, 英 $\leftrightarrow$ 日, 英 $\leftrightarrow$ 独, 英 $\leftrightarrow$ 中の 6 言語方向の翻訳実験を行った. 評価セットに WMT’22 翻訳タスク [13] を用い，COMET スコアを用いて翻訳品質を評価した。翻訳文の生成には訓練済み多言語翻訳モデルの M2M100を用いた. MAP 復号にはビーム探索を用い，ビーム幅は 100 とした. MBR 復号にはビーム探索と top- $p$ サンプリング $(p=0.9)$ を用い, それぞれビーム幅を 100 として 100-best 翻訳を生成し，計 200 文を翻訳仮説とした．比較のため，参照訳を用いない品質推定モデルによるリランキング ( $\mathrm{QE})$ ， QE によって 10 候補に枝刈りした後に MBR 復号する $\mathrm{QE} \rightarrow \mathrm{MBR}[8] ，$ また，参照訳を用いて最大スコアの仮説を選択する品質上限（Oracle）の翻訳品質を評価した。 QE モデルには COMET-QE [20] を用いた。提案法の CBMBR について，GPU を用いた他の復号法と速度を比較するため, $k$-means++は PyTorch で実装した. $k$-means の反復回数は最大 3 回とし, $k=8$ とした. 文符号化と品質推定については全てバッチサイズ 128 文でミニバッチ化して計算した。復号時間については，全実験の復号時間を処理単位で計測し，処理ごとに 1 文あたりの平均処理時間（ミリ秒）を算出した。

翻訳品質はじめに，翻訳品質の比較結果を表 1 に示す. 表中の平均スコアより, MAP 復号と比較して, MBR 復号および提案法の CBMBR 復号表 1 WMT'22 翻訳タスクにおける各復号法の翻訳品質の比較 (COMET\%).

が COMET スコアを $+4.3 \%$ 改善し, Oracle との差

$\mathrm{QE}$ モデルによるリランキングと翻訳品質を比較すると，CBMBR のほうが $0.5 \%$ スコアが高い. $\mathrm{QE} \rightarrow \mathrm{MBR}$ と CBMBR を比較すると，言語方向によって最適な手法が入れ替わるものの，平均的に $0.1 \%$ 以内の差で収まっている。なお，CBMBR は COMET モデルのみで計算するのに対し, $\mathrm{QE} \rightarrow \mathrm{MBR}$ は COMET モデルに加えて COMET-QE モデルを必要とするため，実行時のメモリ使用量が増加する点に注意されたい。

復号速度次に，各復号法の復号時間の比較を表 2 に示す. 表より，復号全体の処理時間は CBMBR が従来の MBR よりも 1.4 倍速いことがわかる. 特に， $O\left(N^{2}\right)$ の計算量を要していたべイズリスクの計算においては， $k$-means++まで含めて 13.6 倍，期待効用計算のみで比較すると 26.2 倍高速化した。また, $\mathrm{QE}$ や $\mathrm{QE} \rightarrow \mathrm{MBR}$ において , 品質推定の時間計算量は $O(N)$ にもかかわらず実際の処理時間が長いが，これは COMET-QE [20] モデルが COMET モデルとは異なり，原文と仮説文の 2 文を結合して符号化するため, 品質推定モデルの入力系列長が COMET モデルよりも長いためであると考えられる。

以上より，実験結果をまとめると，CBMBR は従来の MBR と比較して，メモリ使用量が増加することなく, 同程度の翻訳品質を維持しながら, ベイズリスクの計算時間を 13.6 倍，うち期待値の計算が 26.2 倍高速化することを確認した。

## 5 考察

## 5.1 クラスタ数 $k$ と翻訳品質

クラスタ数 $k$ と翻訳品質の関係を調べるため, $k \in\{1,4,8,12\}$ を変化させたときの翻訳品質を COMET スコアによって評価した. 表 3 は開発セット WMT'21 翻訳タスクにおける実験結果を示す。
表 2 WMT'22 翻訳タスクにおける各復号法の 1 文あたりの平均処理時間 (ミリ秒).

表 3 開発セット WMT'21 翻訳タスクにおけるクラスタ数 $k$ と翻訳品質の比較.

$k=1$ のときは時間計算量が $\mathcal{O}(N)$ となる一方で, $k=4$ のときと比べて COMET スコアが $0.7 \%$ 低い. また， $k$ を $4,8,12$ と増やすにつれ品質も改善しているが， $k=8$ から $k=12$ への増加では品質にほとんど差がないことがわかる。一方で，CBMBR の時間計算量は $O(N k)$ であるため， $k$ を大きくするにつれ $\tau$ ，復号時間は線形に増加する．そのため，4 節の翻訳実験では $k=8$ を採用した。

## 5.2 類似文間の文ベクトル距離

提案法が成り立つための条件である，“COMET の文ベクトル空間では類似文同士のべクトル間距離が近くなる”という仮定を確かめるため，文間意味的類似度（Semantic Textual Similarity; STS）タスクを用いて，類似文間の文べクトル距離を分析した。

評価データには STS-Benchmark (STS-B) [2] を用い，正解類似度との Pearson の相関係数 $r$ を算出した. 実験結果を表 4 に示す。表中の “Pearson $r \times 100$ ” は相関係数 $r$ を 100 倍したスコアを示す. 表より， COMET は，文ベクトル空間に対して対照学習のような教師あり学習を行っていないにもかかわらず，73.6と強い相関を示している。また，COMET は XLM-RoBERTa (XLM-R) [4] に対して翻訳品質を予測するよう追加学習したモデルであるが, XLM-R のスコア 31.6 と比較すると, COMET の追加学習によって間接的に，意味的類似文を近いべクトルに写像するよう学習していることがわかる. さらに，対訳文間の文ベクトル類似度を高める学習を行った [7]より $0.9 \%$ スコアが高いことも確認した。表 4 文間意味的類似度タスク STS-B の開発セットと評価セットにおける評価結果.

以上より，COMET は文ベクトル空間に対して対照学習のような明示的な学習を加えていないにもかかわらず，STS-B タスクにおいて正解類似度と強い正の相関を示し, 翻訳品質を予測する学習を通して, 副次的に類似文のベクトル間距離を近づけるように学習していることが確認できた。

## 6 関連研究

MBR 復号は統計的自動音声認識 [10] や統計的機械翻訳 [14] などで有効性が示され，近年ではニュー ラル機械翻訳への応用が進んでいる $[5,16]$. また，今後，ブラックボックスなテキスト生成システムが増えた場合，複数システムからよりよい生成文を選択するという設定において特に MBR が有用であるといえる [11]. ただし，MBR の復号速度については依然として課題である. 復号速度を改善するために翻訳仮説を枝刈りする手法がいくつか提案されており，翻訳仮説の軽量な代替評価尺度を用いた枝刈り [6], QE モデルによる枝刈り [8], 少量の疑似参照訳から始めて仮説を枝刈りしながら段階的に疑似参照訳を増やしていく手法 [3] が挙げられる. 本研究は先行研究と異なり, 仮説側を枝刈りすることなく，疑似参照訳側を枝刈りした手法とみなせる.

## 7 おわりに

本研究では，COMET モデルを用いた最小ベイズリスク復号 COMET-MBR において, 全ての疑似参照訳を用いる代わりに，疑似参照訳の文べクトルのクラスタ重心表現のみを用いてベイズリスクを計算することにより，復号速度を改善した。実験より，WMT'22 翻訳タスクの英 $\leftrightarrow$ 日，英 $\leftrightarrow$ 独，英 $\leftrightarrow$中の 6 言語方向の翻訳において，従来の MBR 復号と比較して, COMET スコアが低下することなく, ベイズリスクの計算時間が 13.6 倍，うち期待值の計算が 26.2 倍速くなることを確認した. 今後は, ニューラルモデルを用いた他の品質評価尺度である BLUERT [21] 等に向けて提案法を適用したい.

## 謝辞

本研究の一部は JSPS 科研費 JP22J11279, JP22KJ2286 の助成を受けたものである.ここに謝意を表する。

## 参考文献

[1] David Arthur and Sergei Vassilvitskii. K-means++: The advantages of careful seeding. In Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA '07, p. 1027 1035, USA, 2007. Society for Industrial and Applied Mathematics

[2] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Julius Cheng and Andreas Vlachos. Faster minimum Bayes risk decoding with confidence-based pruning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 12473-12480, Singapore, December 2023. Association for Computational Linguistics.

[4] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[5] Bryan Eikema and Wilker Aziz. Is MAP decoding all you need? the inadequacy of the mode in neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4506-4520, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] Bryan Eikema and Wilker Aziz. Sampling-based approximations to minimum Bayes risk decoding for neural machine translation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 10978-10993, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[7] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Patrick Fernandes, António Farinhas, Ricardo Rei, José G. C. de Souza, Perez Ogayo, Graham Neubig, and Andre Martins. Qualityaware decoding for neural machine translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1396-1412, Seattle, United States, July 2022. Association for Computational Linguistics.

[9] Markus Freitag, Behrooz Ghorbani, and Patrick Fernandes. Epsilon sampling rocks: Investigating sampling strategies for minimum Bayes risk decoding for machine translation. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 9198-9209, Singapore, December 2023. Association for Computational Linguistics.

[10] Vaibhava Goel and William J Byrne. Minimum bayes-risk automatic speech recognition. Computer Speech \& Language, Vol. 14, No. 2, pp. 115-135, 2000.

[11] Ikumi Ito, Takumi Ito, Jun Suzuki, and Kentaro Inui. Investigating the effectiveness of multiple expert models collaboration. In Findings of the Association for Computational Linguistics:
EMNLP 2023, pp. 14393-14404, Singapore, December 2023. Association for Computational Linguistics.

[12] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 427-431, Valencia, Spain, April 2017. Association for Computational Linguistics.

[13] Tom Kocmi, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Novák, Martin Popel, and Maja Popović. Findings of the 2022 conference on machine translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 1-45, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[14] Shankar Kumar and William Byrne. Minimum Bayes-risk decoding for statistical machine translation. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 169-176, Boston, Massachusetts, USA, May 2 - May 7 2004. Association for Computational Linguistics.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[16] Mathias Müller and Rico Sennrich. Understanding the properties of minimum Bayes risk decoding in neural machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 259-272, Online, August 2021. Association for Computational Linguistics.

[17] Matteo Pagliardini, Prakhar Gupta, and Martin Jaggi. Unsupervised learning of sentence embeddings using compositional n-gram features. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 528-540, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[18] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André F. T. Martins. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578-585, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[19] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[20] Ricardo Rei, Marcos Treviso, Nuno M. Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José G. C. de Souza, Taisiya Glushkova, Duarte Alves, Luisa Coheur, Alon Lavie, and André F. T. Martins. CometKiwi: IST-unbabel 2022 submission for the quality estimation shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 634-645, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[21] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics

[22] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text embeddings by weakly-supervised contrastive pre-training, 2022.

## A 参考情報

図 2 COMET モデルの概要図.

表 5 実験設定の詳細.

 &  \\
COMET-QE & \\
演算 & NVIDIA A6000 1 基 \\
GPU & 単精度 \\
浮動小数点精度 \\
その他 & 表 4 および9において, 文符号化 \\
文符号化 & 方法が明示的に定義されていな \\
& いXLM-R [4]などのモデルでは, \\
& COMETに合わせて, 最終層の中 \\
& 間表現の平均べクトルを文べクト \\
& ルとした.

表 6 開発セット WMT’21 翻訳タスクにおける翻訳品質 (COMET スコア) の比較.

1) https://dl.fbaipublicfiles.com/flores101/ pretrained_models/flores101_mm100_615M.tar.gz表 7 開発セット WMT'21 翻訳タスクにおける 1 文あたりの平均処理時間の比較 (ミリ秒).

表 8 開発セット WMT'21 翻訳タスクにおける，クラス夕数と反復回数を変化させたときの 1 文あたりの平均クラスタリング時間 (ミリ秒).

表 9 文間意味的類似度タスクSTS-B の開発セットと評価セットにおける評価結果. 表 4 に加えて単言語モデルの評価結果を含めた. なお，“多言語モデル”は“、”が付いているモデルが多言語に対応していることを示す.

参考情報として，COMET モデル $[19,18]$ の概要図を図 2 に示す。また，実験設定の詳細（表 5)，開発セット WMT'21 翻訳タスクにおける翻訳品質と復号速度の詳細な比較（表 $6,7,8$ ）および，単言語モデルまで含めた文間意味的類似度タスクの比較結果 （表9）をそれぞれ記す。


# 対訳データを用いた継続事前訓練による 大規模言語モデルの翻訳精度評価

近藤海夏斗 ${ }^{1}$ 宇津呂武仁 ${ }^{1}$ 森下睦 ${ }^{2}$ 永田昌明 ${ }^{2}$
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
s2320743_a_u.tsukuba.ac.jp utsuro_@_iit.tsukuba.ac.jp
\{makoto.morishita, masaaki.nagata\}_@_ntt.com

## 概要

大規模言語モデルが，多くの自然言語処理タスクで成果を収めている。しかし, パラメーター数が 100 億前後の大規模言語モデルでは，既存手法である Encoder-Decoder モデルより，翻訳精度が大きく劣ることが報告されている。そこで本論文では，対訳データを用いた継続事前訓練を提案する。対訳デー タで大規模言語モデルを継続事前訓練した後，少量の人手データで Supervised Fine-Tuning し, WMT22 のテストデータをはじめとする 12 種のテストセットで評価した.その結果，提案手法を適用したモデルは，対訳データで訓練された Encoder-Decoder モデルより BLEU・COMET の両方で統計的に有意な差が示された。

## 1 はじめに

機械翻訳では，2017 年に Google から Transformer [1] が提案されて以降, Transformer ベースの Encoder と Decoder で構成されたモデルが使用されている.一方で，GPT [2,3]をはじめとする大規模言語モデルは, Transformer の Decoder のみで構成されている. そして, XGLM [4], PaLM [5], そして LLaMA-2 [6] など多言語で事前訓練された大規模言語モデルが提案された. しかし, パラメーター数が 100 億前後の大規模言語モデルの翻訳精度は，既存手法である Encoder-Decoder モデルに大きく劣ることが報告されている。例えば，日英翻訳において XGLM-7.5B の 8-shot は，対訳データで訓練された Encoder-Decoder モデルである NLLB-1.7B と比較すると，BLEUで 25 ポイント以上, COMET で 34 ポイント以上低いスコアであることが報告されている [7].

この問題に対し本論文では，対訳データを用いた継続事前訓練を提案する．大規模言語モデルを対訳データで継続事前訓練し, 少量の人手データで Supervised Fine-Tuning(以下 SFT という)を行ったモデルを，WMT22 [8] のテストデータをはじめとする 12 種のテストセットで評価した結果，対訳デー タで訓練された Encoder-Decoder モデルより BLEU・ COMET の両方で統計的に有意な差が示された.

## 2 関連研究

Briakou ら [9] は, 翻訳例などの偶発的な bilingual データが，大規模言語モデルの翻訳性能に与える影響を調査した。具体的には，パラメーター数が 10 億および 80 億の大規模言語モデルに対し，事前訓練データにおける bilingual データの有無による翻訳性能の影響について調査した. その結果, bilingual データが存在することで，大規模言語モデルの翻訳性能が向上することが明らかとなった.

また，Xu ら [10] は，LLaMA-2 に対して 2 段階の fine-tuning を行う ALMA という手法を提案した. ALMA は第 1 段階目に単言語データを用いた fine-tuning, そして第 2 段階目に少量の高品質な対訳データで fine-tuning を行う。この ALMAにより， SoTA モデルに匹敵する翻訳精度を達成した。

そして, Zhou ら [11] は，大規模言語モデルのほぼ全ての知識は事前訓練中に学習され，モデルから高品質の出力を得るために必要なのは限られた instruction tuning データのみであるという仮説を提唱した。この仮説を検証するため，LLaMA-2を人手で作成された 1,000 件のデータのみで instruction tuning した LIMA というモデルを提案した. LIMA はたった 1,000 件のデータで訓練されたのにもかかわらず，RLHF で訓練されたモデルより優れた性能を示した。

本論文ではこれらの報告に着目し，対訳データを用いた継続事前訓練を提案する。

## 3 対訳データを用いた継続事前訓練

事前訓練済みの大規模言語モデルをそのまま対訳データで SFT すると, 既存の翻訳モデルより翻訳精度が劣ることが報告されている [10]. 本論文でも予備実験を行った結果，同様の現象が確認された. ${ }^{1)}$ この現象の原因として，Zhou らが提唱した仮説をもとに，単言語データで事前訓練された大規模言語モデルは，翻訳に必要な知識を有していないという仮説を提唱する。

この仮説をもとに本論文では，対訳データを用いて継続事前訓練することを提案する。この継続事前訓練により，大規模言語モデルが翻訳に必要な知識を獲得することを期待する．そして，継続事前訓練したモデルに対して SFTを行うことで，対訳データで訓練された Encoder-Decoder モデルを凌駕したことを報告する。

## 4 評価手順

## 4.1 概要

今回の評価実験では, 単言語データで事前訓練された大規模言語モデルとして rinna/bilingual-gpt-neox-4b ${ }^{2}$ ) (以下 rinna-4b という)を使用した.このモデルに対して，対訳デー タを用いた継続事前訓練を行った後，SFTを行った際の翻訳性能を評価した。また, baselineとして, JParaCrawl v3.0で訓練された transformer モデル [12]を使用した. さらに，rinna-4bをそのまま SFT した場合についても評価を行った。なお，SFT では full fine-tuning と LoRA [13] チューニングの両方とも評価を行った。推論時は，開発データの誤差が最小となるモデルを用いて greedy decoding で生成した.

## 4.2 データセット

## 4.2.1継続事前訓練

継続事前訓練のデータとして，JParaCrawl v3.0 [12], 開発データとして，WMT20 [14]の開発，テストデータ，および WMT21 [15] のテストデータを使用した。なお，継続事前訓練で使用する JParaCrawl v3.0 は，LEALLA-large ${ }^{3)}$ [16] で取得した文埋め込み

1）詳細は付録 $\mathrm{A}$ を参照.

2) https://huggingface.co/rinna/bilingual-gpt-neox-4b

3) https://huggingface.co/setu4993/LEALLA-large
ベクトルのコサイン類似度をもとに，2,080万文対をサンプリングした. ${ }^{4)}$

本論文では，対訳データを用いた継続事前訓練の最適なデータ形式を調査するため, 以下 5 通りの継続事前訓練を行った。

1. monolingual: 対訳データを日本語と英語の単言語データとみなす。

2. En-Ja: 英文 1 サンプルの直後に，和訳文を結合する。すなわち，英日方向のみ対訳となる。

3. Ja-En: 和文 1 サンプルの直後に，英訳文を結合する。すなわち，日英方向のみ対訳となる.

4. mix: 2.および3. で作成したデータから, 重複しないよう $50 \%$ ずつランダムサンプリングする.

5. En-Ja2mix: 2. の形式で継続事前訓練したモデルを，3. のデータを $99 \% ， 2$. のデータを $1 \%$ 重複しないようランダムサンプリングしたデータでさらに継続事前訓練する. ${ }^{5)}$

## 4.2.2 SFT

SFT の訓練データは，WMT20 および Flores200 [18] の開発，テストデータ，そして KFTT [19]の訓練データから作成した. ${ }^{6)}$ なお， KFTT の訓練デー タは，全データから 10,000 件をランダムサンプリングした。作成した訓練データの数は，英日と日英それぞれ約 15,000 件ずつとなった．また，SFT の開発データは WMT21 のテストデータを使用した. これらのデータに対し，ALMA の実装7）を参考に以下のプロンプトを適用した。本論文では，プロンプトを原言語文側の言語とし，プロンプト部分の誤差は除外して訓練を行った. そしてテストセットの推論時にも同じプロンプトを使用した。

## 英日翻訳のプロンプト

Translate this from English to Japanese:

English: $\{$ 原言語文 $\}$

Japanese: $\{$ 目的言語文 $\}$

## 日英翻訳のプロンプト

これを日本語から英語に翻訳してください:

英語: $\{$ 原言語文 $\}$

日本語: $\{$ 目的言語文 $\}$

4）サンプリングの詳細は付録 B を参照.

5） 2. のデータを $1 \%$ 含めた理由は破壊的忘却を防ぐためであり, $1 \%$ という割合は既存研究 [17] を参考にした.

6）SFT では，データの品質が重要であることが報告されている $[10,11]$.そのため，現存する対訳コーパスの中でも，人手で翻訳された高品質なデータを選択した.

7) https://github.com/fe1ixxu/ALMA
表 1 英日翻訳の評価結果 (BLEU / COMET)．5つの継続事前訓練済みモデルの詳細は 4.2.1 節を参照. 各データで最高スコアを太字，baselineを上回るスコアを下線で示す。*は baseline と有意差あり $(p<0.05)$.

## 4.2.3 テストセット

SFT を行ったモデルの翻訳性能を評価するため, JParaCrawl v3.0の評価で用いられたテストセットを使用した。なお，WMT20 および WMT21 のテストデータは，継続事前訓練およびSFT の訓練・開発データに含まれるため除外し, WMT22 のテストデータを追加した. これにより，テストセットは全 12 種となった. ${ }^{8)}$

## 4.3 ハイパーパラメータ

以下にハイパーパラメータを一部抜粋して示す. より詳細な設定は付録 C に示す.

## 4.3.1継続事前訓練

継続事前訓練では， optimizer として AdamW [20] を使用した. そして, 通常の事前訓練と同様に固定長 2,048 トークンをモデルへ入力し, 次単語を予
$ を参照.
}

測するよう訓練を行った。また，エポック数を 1 ， バッチサイズを 256 とした.

## 4.3.2 SFT

SFT も継続事前訓練と同様に，optimizer として AdamW を使用した. また，エポック数を 5，バッチサイズを 64 とした. また, LoRAチューニングでは，学習可能パラメータは約 640 万となり，オリジナルモデルのパラメータ数の約 $0.17 \%$ となった.

## 4.4 評価指標

評価指標として，BLEU [21] および COMET $^{9 ）}$ [22] を使用した．BLEU は sacreBLEU ${ }^{10)}$ [23]を用いて計測した. COMET のモデルは wmt22-comet-daを使用した.

表 2 日英翻訳の評価結果 (BLEU / COMET).

## 5 評価結果

表 1 ，表 2 にそれぞれ英日方向，日英方向の BLEU および COMET を示す. まず，オリジナルのモデルと，対訳データを単言語データとみなして継続事前訓練したモデルをそれぞれ SFT した場合，両者に翻訳精度の違いは見られなかった。一方で，英日方向もしくは日英方向のみ対訳となるように継続事前訓練したモデルは，継続事前訓練した言語方向のみ baseline と同等もしくはそれ以上のスコアとなった. しかし，継続事前訓練で対訳になっていない言語方向については，オリジナルのモデルをそのまま SFT した場合と翻訳精度に違いは見られなかった. そして, 英日・日英方向の両方とも継続事前訓練したモデルは，英日 -日英の両方向とも baseline と同等もしくはそれ以上のスコアとなった.

以上のことから，対訳データを用いた継続事前訓練によって，大規模言語モデルに対して翻訳に必要な知識を学習させることが可能であることが示唆さ
れた。そして，継続事前訓練によって翻訳能力を得たモデルに対し, 少量の人手データで SFTを行うことで，対訳データで訓練された Encoder-Decoder モデルを凌駕することが明らかとなった．また，継続事前訓練によって大規模言語モデルが獲得する翻訳能力は，対訳文対を結合する際の言語方向に依存することも明らかとなった。

## 6 おわりに

本論文では，大規模言語モデルをそのままSFTしても，対訳データで訓練された Encoder-Decoder モデルより翻訳精度が劣るという問題に対し，対訳データを用いた継続事前訓練を提案した.この提案手法の効果を検証するため，継続事前訓練を行ったモデルを SFT し，WMT22 のテストデータをはじめとする 12 種のテストデータで評価した. その結果,提案手法を適用したモデルは，対訳データで訓練された Encoder-Decoder モデルより BLEU・COMET の両方で統計的に有意に有意な差が示された.

## 参考文献

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS, pp. 5998-6008, 2017.

[2] T. Brown, et al. Language models are few-shot learners. In Proc. 33rd NIPS, pp. 1877-1901, 2020.

[3] OpenAI. GPT-4 technical report. arXiv:2303.08774, 2023.

[4] X. Lin, et al. Few-shot learning with multilingual generative language models. In Proc. EMNLP, pp. 9019-9052, 2022.

[5] A. Chowdhery, et al. PaLM: Scaling language modeling with pathways. arXiv:2204.02311, 2022.

[6] H. Touvron, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv:2307.09288, 2023.

[7] W. Zhu, H. Liu, Q. Dong, J. Xu, S. Huang, L. Kong, J. Chen, and L. Li. Multilingual machine translation with large language models: Empirical results and analysis. arXiv:2304.04675, 2023.

[8] T. Kocmi, et al. Findings of the 2022 conference on machine translation (WMT22). In Proc. 7th WMT, pp. 1-45, 2022.

[9] E. Briakou, C. Cherry, and G. Foster. Searching for needles in a haystack: On the role of incidental bilingualism in PaLM's translation capability. In Proc. 61st ACL, pp. 9432-9452, 2023.

[10] H. Xu, Y. Kim, A. Sharaf, and H. Awadalla. A paradigm shift in machine translation: Boosting translation performance of large language models. arXiv:2309.11674, 2023.

[11] C. Zhou, et al. LIMA: Less is more for alignment. In Proc. 37th NIPS, 2023.

[12] M. Morishita, K. Chousa, J. Suzuki, and M. Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proc. 13th LREC, pp. 6704-6710, 2022.

[13] E. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen. LoRA: Low-rank adaptation of large language models. In Proc. 10th ICLR, 2022.

[14] L. Barrault, et al. Findings of the 2020 conference on machine translation (WMT20). In Proc. 5th WMT, pp. 1-55, 2020.

[15] F. Akhbardeh, et al. Findings of the 2021 conference on machine translation (WMT21). In Proc. of the 6th WMT, pp. 1-88, 2021.

[16] Z. Mao and T. Nakagawa. LEALLA: Learning lightweight language-agnostic sentence embeddings with knowledge distillation. In Proc. 17th EACL, pp. 1886-1894, 2023.

[17] T. Scialom, T. Chakrabarty, and S. Muresan. Fine-tuned language models are continual learners. In Proc. EMNLP, pp. 6107-6122, 2022.

[18] NLLB Team, et al. No language left behind: Scaling humancentered machine translation. arXiv:2207.04672, 2022.

[19] G. Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[20] I. Loshchilov and F. Hutter. Decoupled weight decay regularization. In Proc. 7th ICLR, 2019.

[21] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.

[22] R. Rei, J. C. de Souza, D. Alves, C. Zerva, A. Farinha, T. Glushkova, A. Lavie, L. Coheur, and A. Martins. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proc. 7th WMT, pp. 578-585, 2022.

[23] M. Post. A call for clarity in reporting BLEU scores. In Proc. 3rd WMT, pp. 186-191, 2018.

[24] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC, pp. 2204-2208, 2016.

[25] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: JapaneseEnglish subtitle corpus. In Proc. 11th LREC, 2018.

[26] M. Cettolo, C. Girardi, and M. Federico. WIT3: Web inventory of transcribed and translated talks. In Proc. 16th EAMT, pp. 261268, 2012.
[27] M. Rikters, R. Ri, T. Li, and T. Nakazawa. Designing the business conversation corpus. In Proc. 6th WAT, pp. 54-61, 2019.

[28] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proc. 4th WMT, pp. 91-102, 2019.

[29] L. Specia, Z. Li, J. Pino, V. Chaudhary, F. Guzmán, G. Neubig, N. Durrani, Y. Belinkov, P. Koehn, H. Sajjad, P. Michel, and X. Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proc. 5th WMT, pp. 76-91, 2020.

[30] A. Anastasopoulos, et al. FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proc. 18th IWSLT, pp. 1-29, 2021.

## A 予備実験の詳細

JParaCrawl v3.0 で LoRA チューニングによる SFT を行った rinna-4bを，WMT22 のテストデータで評価した. エポック数は 1 とし, 使用した JParaCrawl v3.0 は LEALLA-large で取得した文埋め込みべクトルのコサイン類似度が 0.76 以上 0.95 未満の 1,000 万文対をサンプリングし，訓練を行った。開発データは WMT20 および 21 の開発，テストデータとし，開発データの誤差が最小となるモデルで greedy decoding による推論を行った. また，rinna-4bは，英日・日英の両方向をそれぞれ別々に訓練を行い，学習可能パラメータは 1,680 万である.その結果を表 3 に示す. rinna-4b は単言語データで事前訓練されており，かつ 1,000万文対で LoRAチューニングを行ったのにもかかわらず，BLEU と COMET ともに baseline に劣る結果となった.

## B JParaCrawl v3.0 のサンプリング

継続事前訓練に用いる JParaCrawl v3.0 は，LEALLA-large で取得した文埋め込みべクトルのコサイン類似度が 0.4 以上 0.95 未満の文対をサンプリングした. 類似度が 0.4 未満のサンプルは，和文と英文とで文章の長さが不相応というような，不適切なサンプルが目視で散見されたため除外した．また，類似度が 0.95 以上の文対は，和文と英文がほぼ同一の文章となっているサンプルがほとんどであったため除外した. このサンプリングにより，継続事前訓練の総トークン数は rinna-4b の tokenizer で約 18 億となった.

## C ハイパーパラメータの詳細

継続事前訓練で用いる AdamW は, $\beta_{1}=0.9, \beta_{2}=0.95, \epsilon=10^{-8}$ とした. そして, weight decayを 0.1 , gradient clipping を 1.0 とした. また, 最大の学習率を $1.5 \times 10^{-4}$ とし, warmup ratio を $1 \%$ の cosine scheduler とした.

SFT では，継続事前訓練で用いた AdamW のパラメータのうち， $\beta_{2}=0.999$ に変更した. そして， weight decay と gradient clipping は継続事前訓練と同じ値とした. 最大の学習率を full fine-tuning では $3.0 \times 10^{-5}$, LoRA チューニングでは $2.0 \times 10^{-4}$ とし, warmup ratio を $1 \%$ の inverse square scheduler とした. LoRAでは, $r=16, \alpha=32$, dropoutを 0.05 とし, multi-head attention に存在する Query, Key, Valueの Linear 層に適用した.

## Dテストセットの詳細

表 4 テストセット各データの分野および対訳文数

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ニューラル機械翻訳モデルにおける構成的汎化能力の評価

九門涼真 松岡 大樹 谷中瞳
東京大学
\{kumoryo9, daiki.matsuoka, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

構成性は，複合的な表現の意味がその部分の意味と全体の構造をもとに定まるという言語の性質である. ニューラルモデルの構成的汎化能力の評価は主に上流タスクで行われており，機械翻訳のような下流タスクにおける評価は十分でなく，特に文の構造に関する汎化についての研究は少ない. そこで本研究では，様々な種類の構成的汎化能力を問う翻訳データセットを構築し，機械翻訳タスクにおけるニューラルモデルの構成的汎化能力を評価する．結果から，ニューラルモデルの構成的汎化能力には改善の余地があることを明らかにした。

## 1 はじめに

構成性は，全体の意味は部分の意味とその統語的な組み合わせ方により定まるという，言語の重要な性質の一つである [1]. 見たことのない複合表現を既知の単語や統語構造から理解し, 生成することができるという構成的汎化能力は，言語理解において重要な能力の一つである [2].

近年，ニューラルモデルが様々な自然言語処理タスクを高い精度で解く能力を持つことが示されているが，構成的汎化能力を持つかどうかに関しては盛んに議論がされている。これまでに，様々な種類の構成的汎化の評価のためのベンチマークや評価手法が複数提案されている $[3,4,5]$. ニューラルモデルの構成的汎化能力に関するこれらの既存の研究は,主に意味解析のような上流タスクで行われており，上流タスクに限らない多角的な評価のために，機械翻訳をはじめとする下流タスクにおける評価手法が求められている。一方で，既存の機械翻訳タスクを用いた構成的汎化の評価手法のほとんどは，既知の単語の未知の組み合わせ方に関する汎化である，語彙的汎化のみに注目している $[6,7,8]$. そのため,既知の統語構造の未知の組み合わせ方に関する汎化
である，構造的汎化を必要とする文を機械翻訳モデルがどの程度正しく翻訳できるかは明確でない。

そこで本研究では，語彙や文の構造をコントロー ルした上，構造的汎化を中心に様々な種類の構成的汎化能力を問う日英対訳データセットを構築する. ${ }^{1)}$ また，構築したデータセットを用いて，ニュー ラル機械翻訳モデルの構成的汎化能力を評価する.評価結果から，機械翻訳における構成的汎化は現在のニューラルモデルには難しいことを示す.

## 2 関連研究

ニューラルモデルの構成的汎化能力の研究の多くは，主に意味解析タスクで行われてきた. Lake と Baroni [3] は，限られた文法で生成された文章を行動の指示の単語列に変換するタスクを対象とする SCAN というデータセットを用いて構成的汎化を評価した. Kim と Linzen [4] は，SCANよりも広範囲の語彙と統語構造をカバーした文章を意味表現に変換するタスクを対象とする COGS というデータセッ卜を提案した．COGSでは，意味解析タスクにおける語彙的汎化と構造的汎化を評価したが，LSTM [9] と Transformer [10] の両方とも構造的汎化の精度は低かった。また，COGS の構造的汎化パターンの拡張 [5]，データセットの構築手法 [11] や実験設定 [12] の改善に取り組んだ研究も存在する。

一方で，複数の研究が機械翻訳タスクで構成的汎化を評価を行っている．Li ら [6] は，学習データ中に含まれる語彙からなる未知の組み合わせが含まれる文の翻訳精度を調べた．Dankers ら [7] は，文の要素の入れ替えや文同士を連結したものの翻訳精度を調べることで，モデルの体系的汎化能力を評価した.また，Dankers らはテンプレートで合成的に構築したデータセットでの評価に加え，自然言語に含まれる語彙や統語構造の多様さを反映するために， コーパスを用いた評価も行った．Moisio ら [8] は，

1）データセットは後日研究利用可能な形で公開する予定である.

Dankers らと同様に，実世界の自然言語のデータでの評価のために，分布外評価データの翻訳に構成的汎化を必要とするような翻訳コーパスの学習データと分布外評価データへの分割を，単語の組み合わせの出現分布を制御して行った. しかし, これらの研究は, ニューラルモデルの語彙的な汎化能力のみを評価しており，COGS や SLOG [5] に見られるような統語構造に関する汎化，すなわち構造的汎化を調べていない．また，構造的汎化を評価する上では，学習データに含める語彙や統語構造の厳密なコントロールが必要であるため，分布に基づくコーパスの分割は適していない. そのため, 本研究では形式文法を用いた手法（詳細は次節）でデータセットを構築する。

## 3 提案手法

ニューラルモデルの機械翻訳タスクにおける構成的汎化能力の評価のために, 英語および日本語の対訳からなるデータセットを構築する。データセットは，学習データ，検証データ，分布内評価データ，分布外評価データの 4 つからなる. 分布外評価デー タには, 学習データ, 検証データ, 分布内評価デー タに含まれない語彙や統語構造を持つ文が含まれ，学習データ中の語彙や統語構造からの構成的汎化によってのみ, 正しい翻訳が得られる. モデルの学習後に，検証データを用いたバリデーションで最も高い性能を示したチェックポイントに関して，分布内評価データと分布外評価データのそれぞれで性能を評価し，比較する。

例えば，表 1 の「主語 $\rightarrow$ 目的語（普通名詞）」に注目する。学習データでは, goat は主語にのみ出現し, 分布外評価データに goatを目的語に持つ文が含まれる.このとき，目的語に goatを持つ文を正しく翻訳できるかを調べることで，既知の単語が未知の文中の文法関係を持つ場合の汎化を評価できる.

データセットの構築は, 汎化パターンの定義 (3.1 項), 確率文脈自由文法 (Probabilistic Context-Free Grammar; PCFG）を用いた英語文生成 (3.2 項)，ルー ルベース機械翻訳による対訳の作成 (3.3 項)により行った.また，PCFGを用いて文を生成する際に，文の一部に関して選択制約を考慮する (3.4 項).

## 3.1 汎化のパターン

COGS や SLOG が意味解析タスクで用いたものを参考に，翻訳タスクで評価対象とする汎化パターン
を 76 種類設計した. 本研究で評価対象とする汎化のパターンの一部を表 1 に示す. また，既存研究にない汎化パターンとして, 形容詞の再帰の深さに関する汎化と 2 種類の時制に関する汎化を評価対象に加える。形容詞の再帰の深さに関する汎化は，文中の形容詞の反復回数が学習データと異なる文への汎化である。時制に関する汎化の一つ目は，特定の動詞の過去形から現在形への汎化である。学習データに異なる動詞の現在形が含まれるため, 動詞の接尾辞に関する汎化が要求される。二つ目は，特定の動詞の過去形と，異なる文型における現在形から，特定の文型での現在形への汎化である。学習データに該当の動詞の現在形が含まれるため,一つ目の種類より易しいが，文型に関する汎化が要求される。

また，ReCOGS [11]に従い，一部の汎化のパター ンをより公平に評価するために，学習データに 2 つの変更を加える。一つ目は，学習データにおいて，直接目的語を修飾する前置詞句または関係詞節を含む文の $5 \%$ 主題化する.これは修飾句・節が先頭に出現する文を学習データに含めるためである.二つ目は，学習データから，連結することで分布外評価データの最も長い文より長くなるような文を 2 つランダムに取り出し, 連結したものを 1000 件追加する. これは学習した文より長い文が分布外評価データに含まれると，モデルは長さに関する汎化を必要とするので，構成的汎化のみに関する正確な評価ができないためである.

## 3.2 PCFG を用いた英語文生成

データセット中の英語の文は, COGS や SLOG と同様に，PCFG を用いて生成する. PCFG を用いることで，あらかじめ定めた生成規則と語彙のみから文が生成されるため，データセットに出現する文の統語構造や語彙をコントロールすることができる。

我々のデータセットでは，語彙と生成規則は， COGS と SLOG で用いられているものに，新たに評価の対象とする汎化パターンに対応する語彙と生成規則を追加し，誤った用法がなされている語を削除した.また，分布外評価データ中の文の翻訳に構造的汎化を要求するために, 分布内データと分布外評価データで異なる生成規則を用いる.

## 3.3 翻訳データの生成

データセット中の日本語の対訳は, PCFG で生成した英語の文をルールベースで機械翻訳すること
表 1 本研究の評価対象の汎化パターンの一部

 & The book beside the ladder fell. \\

で生成する.ルールベースの機械翻訳は，Wang と Hershcovich [13] の手法を用いる. 英語の文の生成に用いた PCFG を反映したルールベースの翻訳により, 汎化パターンに応じて語彙や統語構造をコントロールした日本語の対訳を得ることができる.

Wang と Hershcovich の手法では，原言語（翻訳前の言語）の生成規則，原言語の各生成規則から目的言語（翻訳語の言語）の生成規則への変換規則，そして原言語の語彙に対応する辞書を用いて，翻訳する. 例えば，The teacher ate an apple. の翻訳を考える。言語間の生成規則の変換規則は，以下のように定められ，「先生がリンゴを食べた.」と訳される.

$
\begin{aligned}
& \text { } \cdot \text { } \mathrm{S} \rightarrow \mathrm{NP} \mathrm{VP}: \mathrm{S} \rightarrow \mathrm{NP} \text { が VP } \\
& \text { } \cdot \text { } \mathrm{VP} \rightarrow \mathrm{V} \mathrm{NP}: \mathrm{VP} \rightarrow \mathrm{NP} \text { を } \mathrm{V}
\end{aligned}
$

我々のデータセットでは，原言語の生成規則は， 3.2 項で定義した生成規則を用い，言語間の生成規則の変換規則と辞書に関しては，新たに作成する。

## 3.4 語彙項目の選定

PCFG では語彙項目同士の関係を考慮していないため，自然言語では出現しない不自然な文が生成される. そこで PCFG で生成された文を選択制約を考慮してより自然なものへと変換する。

我々のデータセットでは，無生物主語と動詞，動詞と直接目的語の組のみに関して選択制約を考慮する. 選択制約を満たさない組が存在する場合には，選択制約を満たすように，無生物主語または目的語の名詞を入れ替える．また，選択制約を満たす語彙の組み合わせは，京都大学格フレーム辞書 [14] から日本語の動詞と名詞のペアを抽出することによって作成する．抽出する際，格はそれぞれの動詞に関して適切なものを選択する。

## 4 実験

## 4.1 実験設定

モデル評価の対象とするモデルは, Vanilla Transformer と事前学習済みモデルである Llama2 [15] とする. Transformer は OpenNMT-py [16] を用いてスクラッチから学習を行う。また, 日本語の単語ごとの分割に Sudachi [17]を用いる. Llama2 は meta-llama/Llama-2-7b-hf ${ }^{2)}$ を LoRA [18] でファインチューニングをしたモデルを用いる.また， Transformer, Llama2 ともにランダムに選んだシードで学習を 5 回行う．学習のハイパーパラメータは付録 A に示す。

データ各データに含まれる文の数は，学習デー タに 43240 個，検証データに 5280 個，分布内評価

表 2 データセット全体の評価結果. Exact は完全一致 (\%)を意味する。

データに 5280 個, 分布外評価データは各汎化パターンごとに 1000 個で合計 76000 個である.

評価指標モデルの翻訳の評価には，3つの指標を用いる，一つ目は，モデルの翻訳文のうち，ルー ルベース翻訳文と完全一致する割合である. 二つ目は，BLEUであり，これを SacreBLEU [19]を用いて求める. 三つ目は，一部の汎化のパターンのみを対象とする評価で，翻訳文中の汎化対象の部分がルー ルベースの翻訳文中の該当部分と一致する割合（部分一致）である。この指標では，該当部分の文字列が一致しているだけでなく，汎化部分の文中の文法関係の一致も求められる. 文中の文法関係の一致は，GiNZA [20]を用いた句構造解析を基に調べた。 また， that 節補文の汎化のように，文全体が汎化の対象のときには，部分一致の評価は行わない．まとめると，完全一致と BLEU は，翻訳文の全体の精度を評価するための指標で，部分一致は，汎化の精度を評価するための指標である。

## 4.2 結果と分析

データセット全体の評価結果を表 2 に示す. Transformer と Llama2 ともに，完全一致と BLEU の両方で分布内評価データの方が分布外評価データよりも高い精度となった. これらの結果は，ニューラルモデルの機械翻訳における構成的汎化の性能に改善の余地があることを示す. また，分布外評価デー タでの性能では, Llama2 が Transformerを上回った. しかし，Kimら [21]が指摘したように，事前学習モデルの学習に用いられたデータは語彙や統語構造がコントロールされたものではない. そのため，分布外評価データにおいて，Llama2 の方が Transformer より高い精度を出しているが，この結果から必ずしも Llama2 の方が構成的汎化能力が高いという結論には至らない. さらに，評価指標ごとの違いとして，BLEU における Transformer と Llama2 との差は完全一致における差よりも小さく，BLEU は構造の一致を反映できていないためと考えられる。表 3 汎化パターンごとの評価結果の一部. CP recursion は that 節補文の再帰の深さ，PP recursion は前置詞句の再帰の深さ，Adj recursion は形容詞の再帰の深さを意味する. Exact は完全一致 $(\%)$, Partial は部分一致 $(\%)$ を意味する.

また，再帰の深さの汎化パターンの評価結果を表 3 に示す. ${ }^{3)}$ that 節補文，前置詞句，形容詞の再帰の深さに関する汎化のうち，最も精度が高かったパターンは形容詞で，次に前置詞句が高かった. 最も精度が低かったパターンは， that 節補文の再帰の深さの汎化だった。このように，再帰が深くなるにつれて文がより長くなるパターンほど，精度が低い傾向が見られた. 似た傾向は意味解析タスクにおいて SLOG でも確認されている。一方で，新たに追加した形容詞の再帰の深さの汎化では，他のパターンと異なり，深さが増加するパターンでも精度が高かった.これは形容詞の再帰は語数が少ないことに加え，英語と日本語の翻訳の語順が一致するためと考えられる。これらの結果は，ニューラルモデルは任意の深さの汎化能力が欠けているわけではなく，汎化の度合いは再帰の種類に依存することを示す。

## 5 おわりに

本稿では，構造的汎化を中心に様々な構成的汎化を要求する翻訳データセットを構築し，機械翻訳タスクにおいてニューラルモデルの構成的汎化能力を評価した. 実験結果から，ニューラルモデルの構成的汎化能力に改善の余地があることが示唆された. また，意味解析タスクでは見られなかった，モデルの汎化の傾向を見ることができた. 今後は，英日翻訳以外の別の言語間でどのような現象が観察されるかについて調べ，機械翻訳タスクにおけるニューラルモデルの構成的汎化能力を改善する手法を研究する予定である.

## 謝辞

本研究は JST さきがけ JPMJPR21C8，JSPS 科研費 JP20K19868 の支援を受けたものである.

## 参考文献

[1] Barbara Partee, et al. Compositionality. Varieties of formal semantics, Vol. 3, pp. 281-311, 1984.

[2] Jerry A Fodor and Zenon W Pylyshyn. Connectionism and cognitive architecture: A critical analysis. Cognition, Vol. 28, No. 1-2, pp. 3-71, 1988.

[3] Brenden Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks. In Jennifer Dy and Andreas Krause, editors, 35th International Conference on Machine Learning, ICML 2018, pp. 4487-4499. International Machine Learning Society (IMLS), 2018.

[4] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9087-9105, Online, 2020. Association for Computational Linguistics.

[5] Bingzhi Li, Lucia Donatelli, Alexander Koller, Tal Linzen, Yuekun Yao, and Najoung Kim. SLOG: A structural generalization benchmark for semantic parsing. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the $\mathbf{2 0 2 3}$ Conference on Empirical Methods in Natural Language Processing, pp. 32133232, Singapore, December 2023. Association for Computational Linguistics.

[6] Yafu Li, Yongjing Yin, Yulong Chen, and Yue Zhang. On compositional generalization of neural machine translation. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4767-4780, Online, August 2021. Association for Computational Linguistics.

[7] Verna Dankers, Elia Bruni, and Dieuwke Hupkes. The paradox of the compositionality of natural language: A neural machine translation case study. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4154-4175, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Anssi Moisio, Mathias Creutz, and Mikko Kurimo. On using distribution-based compositionality assessment to evaluate compositional generalisation in machine translation. In Dieuwke Hupkes, Verna Dankers, Khuyagbaatar Batsuren, Koustuv Sinha, Amirhossein Kazemnejad, Christos Christodoulopoulos, Ryan Cotterell, and Elia Bruni, editors, Proceedings of the 1st GenBench Workshop on (Benchmarking) Generalisation in NLP, pp. 204-213, Singapore, December 2023. Association for Computational Linguistics.

[9] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS'17, p. 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[11] Zhengxuan Wu, Christopher D. Manning, and Christopher Potts. ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. 2023.
[12] Róbert Csordás, Kazuki Irie, and Juergen Schmidhuber. The devil is in the detail: Simple tricks improve systematic generalization of transformers. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 619-634, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Zi Wang and Daniel Hershcovich. On evaluating multilingual compositional generalization with translated datasets. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1669-1687, Toronto, Canada, July 2023. Association for Computational Linguistics.

[14] 河原大輔, 黒橋禎夫ほか. 高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 1 (2006-NL-171), pp. 67-73, 2006.

[15] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[16] Guillaume Klein, Yoon Kim, Yuntian Deng, Vincent Nguyen, Jean Senellart, and Alexander M. Rush. Opennmt: Neural machine translation toolkit, 2018.

[17] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[18] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations (ICLR), 2022

[19] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[20] Hiroshi Matsuda, Mai Omura, and Masayuki Asahara. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会, 2019

[21] Najoung Kim, Tal Linzen, and Paul Smolensky. Uncontrolled lexical exposure leads to overestimation of compositional generalization in pretrained models, 2022.

[22] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015.
表 4 その他の汎化パターンの評価結果（that 節内に汎化対象を入れた汎化パターンは除く). Exact は完全一致 (\%), Partial は部分一致 $(\%)$ を意味する.

## A 学習のハイパーパラメータ

Transformer Transformer は 6 層のエンコーダー，6 層のデコーダーと 8 個の注意機構ヘッドを持つモデルを用いる。さらに，Csorda ら [12] に従い，相対位置埋め込みを入れた Transformer を用い， early stopping と label smoothing は用いない. 最適化手法として Adam [22]を採用し, 学習のハイパーパラメータは, 学習率を 1e-4，バッチサイズを 256 ，学習ステップ数を 70000 とする.

Llama2 Llama2 のファインチューニングのハイパーパラメータは，学習率を 1e-4，LoRA ランクを $8 ， \alpha$ を32，ドロップアウトを 0.1 ，エポック数を 8 とする.

## B 結果

4 節に示したパターン以外の評価結果は表 4 に示す.


# NMT での学習データの単語数制約による翻訳精度の向上

細川楓 1 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部
${ }^{1}$ b20t2096x@edu.tottori-u.ac.jp ${ }^{2}$ murakami@tottori-u.ac.jp

## 1 概要

ニューラルネットワーク翻訳 (Neural Machine Translation：以下，NMT)に関する研究はこれまでに多数行われている [1]. しかし，極端に単語数の多いテスト文の翻訳は困難である。この原因として，学習文とテスト文の単語数の差に着目した. 機械翻訳を回帰分析と考えると，入力に対して学習文を基に出力の予測を行っている．そのため，学習データ中に入力と同じ単語数の学習文が多いほど，より正確な出力の予測ができると考えた.

本論文では，テスト文の単語数と学習文の単語数を揃えて機械翻訳を行う。そして，テスト文に対する学習文の単語数による影響を調査する. 実験の結果，提案手法による翻訳精度の向上が確認できた.

## 2 encoder-decoder モデル

NMT は基本的に encoder-decoder モデル [2]を利用している. encoder は入力文から単語を抽出し、 decoder はそれを入力として翻訳を出力する。また，先頭から単語が出力されていくが，2 単語目以降, decoder は過去の出力も入力として受け取る.

## 3 回帰分析

回帰分析 [3] は出力と入力の関係を説明するモデルを導くことを目的としている. 回帰分析モデルは入力を独立変数 $\mathrm{x}$, 出力を従属変数 $\mathrm{y}$ として, 以下の独立変数 $\mathrm{x}$ の $\mathrm{n}$ 次多項式

$
y=a_{0}+a_{1} x+a_{2} x^{2}+a_{3} x^{3}+\cdots+a_{n} x^{n}+\epsilon
$

として表される。ここで $\mathrm{a}, \mathrm{b}$ は回帰係数， $\epsilon$ は正規分布に従う誤差である.

## 4 回帰次数

回帰分析では回帰次数を決定する方法が問題となる. 機械翻訳においては入力文の単語数を回帰次数だと考えることが出来る [4]. encoderによって抽出
された入力文中の単語から, decoderによって翻訳が生成されるという encoder-decoder モデルの考え方より，入力文中の単語が独立変数に対応するとみなせる. このことから，入力文と同一の単語数の学習文で学習を行うことが妥当である.

## 5 先行研究

Kenton Murray と David Chiang[5] は，翻訳モデルに文レベルの修正を導入することで翻訳精度の向上を試みた。NMT は短すぎる翻訳を生成する傾向がある. この問題に対し，長さ補正として標準のモデルスコアに出力シーケンスの長さと調整された単語報酬と呼ばれる值から計算される定数単語報酬の追加を行うことで対処している.

出力文の単語数に着目したこの研究では, 長さ補正を行った場合，補正を行わない場合と比べて翻訳精度が向上したことが示されている.このことから，単語数という要素が翻訳精度に影響を与えているのではないかと考えられる。

## 6 提案手法

テスト文の単語数に学習文の単語数を揃えて機械翻訳を行う。

本研究では，以下の手法を提案する。

1. 単語数を揃えたテスト文のコーパスを作成

2. テスト文と同じ単語数の学習文のコーパスを作成

3. 作成した学習文のコーパスをNMT で学習

4. 学習した NMT でテスト文を翻訳

## 7 実験

本実験では，OpenNMT-py[6] を用いて翻訳実験を行う. 手法ごとに異なる条件の学習文を学習させる。そして，翻訳結果を比較する。

## 7.1 実験データ

実験には，電子辞書などの例文より抽出したコー パス [7] から単語数ごとに文を抽出して用いる. コーパス内のデータは単文となっている．学習デー タとして，コーパス内から手法ごとに条件に合致した対訳学習文を 2 万 4269 文選んで用いる. また, テストデータとして日本語のテスト文を 2302 文選んで用いる。コーパス中で単語数 9 の文が最も多かったため, 実験では単語数 9 の文をテストデータとする.

提案手法では，単語数 9 の文だけで学習を行う. しかし, 現実的にはテスト文と同一の単語数の学習文だけを集めるのは難しい. そこで，テスト文の単語数に近い範囲の単語数の学習文だけで学習を行う. 範囲はテスト文の単語数の $2 / 3$ から $3 / 2$ とする. テスト文の単語数が 9 単語なので，学習文の範囲は 6 単語から 13 単語にする。

表 1 に本実験で行う 5 種類の手法と用いる学習データを示す.

表 1 本実験で行う 5 種類の手法と用いる学習データ

表 2，3 に学習文 (単語数 9)，テスト文の例文を載せる.

表 2 単文対訳学習文の例文

1 か月で仕事がずいぶん溜まった。

In just one month a lot of work has piled up .

表 3 単文テスト文 (単語数 9) の例文

このビルは通りに面している。

彼は大学に在学している。

## 8 実験結果

## 8.1 自動評価結果

単語数 9 の単文テスト文 2302 文の翻訳結果の出力文に対して自動評価指標 BLEU[8], METEOR[9],
TER[10]，RIBES[11] による自動評価を行った. 表 4 に自動評価の結果を示す.

表 4 学習文 24,269 文でのテスト文 2302 文の自動評価の結果

表 4 より, 学習文の単語数がテスト文の単語数に近づくほど精度は向上していくことがわかる.

## 8.2 人手評価結果

単語数 9 の単文テスト文 2302 文を翻訳した結果から 100 文を抽出し, 人手による対比較評価を行った. 評価者は 1 名である. 表 5 に対比較評価の結果を示す.

表 5 対比較評価の結果

表 5 より，提案手法の方がベースラインより良い結果となっている.

## 8.3 出力結果の例文

表 6 に翻訳例を示す.
表 6 翻訳例

 \\

## 8.4 実験のまとめ

実験結果より，学習文の単語数がテスト文の単語数に近いほど翻訳の精度が向上することがわかる.

## 9 考察

## 9.1 ベースラインと比較した提案手法の翻訳精度

表 4，5 より，提案手法は自動評価と対比較評価においてべースラインよりも良い結果を出している. 以下の表 7 に提案手法の方が良かった翻訳例を示す.表 7 提案手法の方が良かった翻訳例

 \\

しかし，対比較評価では提案手法のほうが良い結果が出ているものの, 得られた正しい翻訳の数は少なかった. 翻訳例 100 例のうち 58 例が提案手法とベースラインの両方で間違っていると評価された. この原因として，学習文の数が少なかったことを考えている，今回の実験では，提案手法のためにテス卜文と同じ単語数の学習文を集めた。しかし，特定の単語数の学習文を大量に集めることは難しかった. そのため，学習文の不足により提案手法とべー スラインの翻訳精度が十分でなかったために翻訳をうまく行えなかった文が多くなったとみている.

## 9.2 幅制限, ベースラインの学習データ中 の単語数分布

幅制限とベースラインはどちらも単語数がバラバラな文を学習している。しかし，表 4 より，幅制限はベースラインよりも良い結果を出している。幅制限はベースラインと比較して，学習文をテスト文の単語数に近い単語数に限定して学習を行っている. そのため, 原因として幅制限，ベースラインの学習データ中の単語数分布に違いがあることが考えられる。

図 1 に幅制限，図 2 にベースラインの学習データ中の単語数分布を示す.

図 1 幅制限の学習データ中の単語数分布

図 2

ベースラインの学習データ中の単語数分布

上図より，幅制限，ベースラインの学習データ中の単語数分布は似た形をとっていることがわかる. しかし，ベースラインでは幅制限よりも含まれるデータの範囲が広い，このことから，ベースラインでは幅制限よりも大きい, または小さい単語数の学習文がノイズとなったために，翻訳精度が低下したとみている。

## 9.3 上カットと下カットの評価結果

表 4 より，上カットと下カットの自動評価結果はベースラインとあまり変わらない結果となっている. 幅制限ではベースラインよりも良い結果が出ていることから，上カット，下カットのどちらかだけでは翻訳精度は向上しないことがわかる. テスト文の単語数と比較して，上カットには単語数の小さすぎる学習文、下カットには単語数の大きすぎる学習文が含まれている. 表 8 に上カットでの単語数の小さすぎる単文対訳学習文の例文，表 9 に下カットでの単語数の大きすぎる単文対訳学習文の例文を載せる.このことから単語数の大小にかかわらず，テスト文の単語数に対して極端に単語数の差がある学習文が翻訳の際にノイズになっていると考えている。表 8 上カットでの単語数の小さすぎる単文対訳学習文の例文

表 9 下カットでの単語数の大きすぎる単文対訳学習文の例文

 \\

## 10 おわりに

本研究では，NMT による機械翻訳においてテスト文と同じ単語数の学習文を学習させて翻訳を行った. その結果，以下のことがわかった.

・テスト文と学習文の単語数を揃えることで翻訳精度が向上する

・学習文の単語数をテスト文の単語数に近い単語数に限定した場合でも翻訳精度は向上する

・テスト文の単語数と極端に差がある学習文は,単語数の大小にかかわらず翻訳精度が低下する原因となる

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. arXiv preprint arXiv:1706.03872, 2017.

[2] 中澤敏明. 機械翻訳の新しいパラダイム:ニュー ラル機械翻訳の原理. 情報管理, Vol. 60, No. 5, pp. 299-306, 2017.

[3] 岩崎学. 統計的因果推論の視点による重回帰分析.日本統計学会誌, Vol. 50, No. 2, pp. 363-379, 2021.

[4] 村上仁一. 多数決による自己回帰モデルに基づく機械翻訳. 2024.2024 年度言語処理学会発表予定.

[5] Kenton Murray and David Chiang. Correcting length bias in neural machine translation. arXiv preprint arXiv:1808.10006, 2018.

[6] Opennmt - open-source neural machine translation, 2017. https://opennmt.net/.

[7] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[10] Gregor Leusch, Nicola Ueffing, and Hermann Ney. A novel string-to-string distance measure with applications to machine translation evaluation. In Proceedings of Machine Translation Summit IX: Papers, 2003.

[11] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法. 言語処理学会第 17 年次大会発表論文集, pp. 1111-1114, 2011.


# 中間言語を利用したデータ多様化とアンサンブル学習に基づく ゼロリソース機械翻訳

Bui Tuan Thanh 秋葉友良 塚田元
豊橋技術科学大学大学院
\{bui.tuan.thanh.mg, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本研究では、対訳データのない（ゼロリソース）言語対のニューラル機械翻訳システムを対象として、中間言語を介して擬似対訳データを構築する手法を提案する。提案手法はソース言語・中間言語と中間言語・ターゲット言語の 2 つの対訳コーパスを利用し、多様性のあるかつ品質の高いソース・ター ゲットの擬似対訳データを構築する。本稿では、中間言語の単言語データを利用することの効果も調べる。実験では、4つの翻訳タスクを用い、提案手法が有効であることを示した。ピボット翻訳手法と比較すると、翻訳性能 (BLEU スコア) は+1.27〜+6.09 向上した。

## 1 はじめに

ニューラル機械翻訳 (Neural machine translation: NMT)[1,2] は大規模な対訳データを用い、非常に高い性能を実現している。しかし、大規模な対訳デー 夕を入手するのは高いコストがかかる。翻訳システムの需要が増えているが、十分な対訳データが揃わない言語対は多くあり、ニューラル機械翻訳の低資源言語問題と呼ばれる。この問題を解決するために、順・逆翻訳で構築できる擬似対訳データを利用してデータを拡張する手法 $[3,4]$ が提案されている。 Nguyen らは擬似対訳データの多様性を高めるために、Data Diversification 手法を提案した [5]。しかし、 それらの手法は目的の言語対の対訳データを必要とする。本研究では対訳データのない（ゼロリソー ス）言語対の翻訳システムを対象とする。

ゼロリソース機械翻訳システムを構築するためのアプローチとして、多言語機械翻訳 $[6,7]$ とピボットベース手法 $[8,9]$ の 2 つがある。多言語機械翻訳アプローチは複数の言語対の対訳コーパスで学習される多言語機械翻訳モデルを用い、学習データに出現していない翻訳方向（ゼロショット翻訳）を行う。このアプローチは直接対訳データを用いなくても翻訳を実現できるが、多くの言語対の翻訳データを必要とする。また、ゼロショット翻訳の精度は高くない。ピボットベース手法は第 3 言語を中間言語として利用する。このアプローチの代表的な手法はピボット翻訳 [8] である。ピボット翻訳は 2 つのモデルを用いて 2 段階で翻訳を行う。この手法は翻訳時間がかかり、エラー伝播の問題がある。そのため、1つのモデルで翻訳できることが望ましい。そこで、中間言語を利用して目的言語対の擬似対訳データを構築する手法が提案されいる。[8, 9]。

本研究では、ピボットベースのアプローチに基づき、中間言語を介した 2 つの対訳データを利用して目的言語対の擬似対訳データを構築する。擬似対訳データの多様性を高めるために、Data Diversification 手法を適用する。また、より良い擬似対訳データを作成するために、モデルのアンサンブルを適用する。それらの 2 つ手法の利点を共に活かすために、2つの手法を組み合わせる手法を提案する。さらに中間言語の単言語データを利用する手法も検討する。実験では英語を中間言語として、タイ語 $\rightarrow$ ベトナム語、ベトナム語 $\rightarrow$ タイ語、日本語 $\rightarrow$ ベトナム語とべトナム語 $\rightarrow$ 日本語の 4 つの翻訳タスクを用いる。実験結果により、提案手法が有効であることを示す。

## 2 関連研究

## 2.1 ピボット翻訳

ピボット翻訳は中間言語を利用する最も単純な手法であり、統計的機械翻訳でよく使用されていた。 ソース言語・ターゲット言語の対訳データがないが、中間言語を介したソース言語・中間言語と中間言語・ターゲット言語の 2 つ対訳コーパスがある場
合に適用可能である。ピボット翻訳はその 2 つの対訳コーパスを用い、(ソース言語 $\rightarrow$ 中間言語) 翻訳モデルと (中間言語 $\rightarrow$ ターゲット言語) 翻訳モデルを学習し、2 段階で翻訳を行う。この手法は第 1 段階目の翻訳が失敗すると、第 2 段階の翻訳は誤った入力を受け取ることになり、エラーが増幅する。エラー伝播の問題を避けるために、1つのモデルで翻訳できることが望ましい。

## 2.2 Data Diversification

を用いて複数の擬似データを構築し、そのデータとオリジナルデータを結合して新たな学習データを構築する手法を提案した。この手法は学習データの多様性を高めることで、翻訳性能を改善できた。本研究では、擬似データの多様性を高めるために、この手法を活用する。

## 2.3 アンサンブル学習

モデルのアンサンブルは、複数のモデルで予測値を計算する [10]。Wang ら [11] は複数のモデルのアンサンブルの出力を用いるデュアル学習フレームワークを提案した。このフレームワークでは学習時に複数の (ソース言語 $\rightarrow$ ターゲット言語) モデルのアンサンブルでソースデータをターゲット言語に翻

ルのアンサンブルで生成したターゲットデータを介してソースデータを復元できる確率を最大化する。我々は擬似データの生成にモデルのアンサンブルを適用する。

## 3 提案手法

本研究では、豊富なデータがある英語を介した 2

ト））を活用し、ソース・ターゲットの擬似対訳デー タを構築する手法を提案する。そして、構築した擬似対訳データを用いてモデルを学習する。さらに、中間言語の英語の単言語データも利用する。

ベース手法先行研究 $[8,9]$ ではソース言語の擬似データのみまたはターゲット言語の擬似データのみを使用しているのに対し、本研究はその 2 つの擬似データを使用する。2つの言語対（src, en）と

言語) と en2tgt(英語 $\rightarrow$ ターゲット言語) の翻訳モデルを学習する。en2src モデルで (en, tgt) の英語デー タをソース言語に翻訳し、ソースの擬似データ src' を生成する。src'はターゲットの tgt データに対応しているため、( src', tgt) の擬似対訳データを構築できる。同様に en2tgt モデルを用いて（src, tgt'）の対訳データを構築する。そのような順・逆翻訳で構築できた擬似対訳データを構築できる（付録. 図 1)。そのデータでソース $\rightarrow$ ターゲットモデルを学習する。英語の単言語データを用いる際、en2src と en2tgt モデルを使用して擬似データ $\mathrm{src}^{\prime \prime} と \mathrm{tgt}$ 'を生成し、( $\mathrm{src}^{\prime}, \mathrm{tgt}^{\prime}$ ）の対訳データを構築する。対訳データで構築できた擬似対訳データと単言語データで構築できた擬似対訳データを区別するために、タグを使用する。翻訳する際、対訳データで構築できたデータを示すタグを用いる。

ベース+DD(Data Diversification) Data Diversification 手法を適用することで、擬似対訳データの多様性を高めることができると考える。異なる $\mathrm{N}$ 個の en2src モデルと N 個の en2tgt モデルを学習する。ここではモデルのパラメータの初期値をランダムに設定することで、異なるモデルを学習する。それらのモデルを用いて、順・逆翻訳で複数の擬似対訳デー タを構築できる（付録. 図 2 )。構築したすべての擬似データを用いて翻訳モデルを学習する。本研究の実験では $\mathrm{N}=3$ とする。英語の単言語のデータを利用する際、複数の (en2src, en2tgt) モデルの組み合わせで擬似対訳データを構築する。

ベース+アンサンブルモデルのアンサンブルを使用することで、多くのモデルの力でより良い擬似データを作成することができると考える。ここでは異なる N 個の en2src モデルと N 個の en2tgt モデルを活用する。すべての en2src モデルのアンサンブルで (en, tgt) の英語データをソース言語に翻訳し、 ソースの擬似データ src'を生成して擬似対訳デー タを構築する。同様に、すべての en2tgt モデルのアンサンプルで擬似対訳データを構築する（付録. 図 3 )。この手法は多くのモデルを使用するが、構築される擬似対訳データのサイズはベース手法と同じである。英語の単言語データを用いる際には、すべての en2src モデルのアンサンブルでソース言語に翻訳し、すべての en2tgt モデルのアンサンブルでター ゲット言語に翻訳する。

ベース+DD+アンサンブル : 本研究は Data Diversification 手法とアンサンブル手法の利点を同時に活用するために、その 2 つの手法を組み合わせる手法

を提案する。 $\mathrm{N}$ 個の en2src モデルから $\left(\begin{array}{c}N \\ N-1\end{array}\right)=\mathrm{N}$ 通りの組み合わせ、 $\mathrm{N}$ 個の en2tgt モデルから $\left(\begin{array}{c}N \\ N-1\end{array}\right)=$ $\mathrm{N}$ 通りの組み合わせを作る。それらの組み合わせのアンサンブルを用い、順・逆翻訳で複数の擬似対訳データを構築する（付録. 図 4 )。実験では $\mathrm{N}=3$ とする。英語の単言語のデータを利用する際、複数の (en2src のアンサンブル, en2tgt のアンサンブル) の組み合わせで擬似対訳データを構築する。

## 4 実験

## 4.1 実験設定

データ本実験では（タイ語 (th)、ベトナム語 (vi)）と（日本語 (ja)、ベトナム語 (vi)）を対訳文のない言語対とし、英語を中間言語とした。提案手法を th2vi(タイ語 $\rightarrow$ ベトナム語)、vi2th(ベトナム語 $\rightarrow$ タイ語)、 ja2vi(日本語 $\rightarrow$ ベトナム語)、(ベトナム語 $\rightarrow$ 日本語）という４つの翻訳タスクで評価した。 International Workshop on Spoken Language Translation (IWSLT) の英語・ベトナム語(IWSLT2015)、英語・日本語 (IWSLT2017)、日本語・ベトナム語 (IWSLT2012)、 タイ語・英語（TED2020）とタイ語・ベトナム語 （TED2020）の対訳コーパスを用いた。英語・ベトナム語は tst2012を開発データとし、tst2013をテストデータとする。英語・日本語に対しては $\operatorname{dev} 2010$ を開発データとし、tst2015をテストデータとして使用した。日本語・ベトナム語に対しては、 $\operatorname{dev} 2010$ を開発データとし、tst2010をテストデータとして使用する。タイ語・ベトナム語のデータは TED2020 の 1500 対訳文を開発データとし、2000 対訳文をテストデータとした。英語の単言語データは OPUS サイトの TED2013 から入手した。使用しているデー タのサイズを表 1 に示す。

前処理英語文は Moses ツールキットで、ベトナム語文は pyvi ライブラリーの ViTokenizer で、日本語は Mecab[12] でトークン化した。英語文とベトナ
ム語文は Moses の truecaser で処理した。各言語の文は Byte Pair Encoding(BPE) で 16000 サブワードに分割した。

ハイパーパラメータ本実験は FAIRSEQ[13]を使用した。Transformerアーキテクチャ[14]を用いて機械翻訳モデルを学習した。すべてのモデルは同じ八イパーパラメータで学習した。ハイパーパラメータの設定は学習率が $1 \times 10^{-8}$ 、ウォームアップが 4000 ステップ、学習率減衰が逆平方根、ラベル平滑化が $0.1 、$ ドロップアウトが 0.3 、重み減衰が 0.0001 、損失関数がラベル平滑化クロスエントロピーとした。 Adam の最適化アルゴリズムは $\beta_{1}=0.9, \beta_{2}=0.98$ を使用した。モデル学習は 30 エポックで行われた。

## 4.2 手法比較

本実験で提案手法の有効性を検証するために、以下の手法と比較して評価した。

ピボット翻訳：ソース $\rightarrow$ 英語モデル、英語 $\rightarrow$ ターゲットモデルを用いて翻訳を行う。各モデルは提案手法と同じ対訳データから学習した。

多言語機械翻訳のゼロショット翻訳：第 3 言語のみ使える条件を設定するため、多言語機械翻訳モデルをソース言語↔ 英語、英語↔ターゲット言語の対訳データのみで学習される。実験で使用する多言語機械翻訳モデルは (ソース $\rightarrow$ 英語、英語 $\rightarrow$ ターゲット）の 2 つの翻訳を行う MNMT-2 方向モデル、(ソース $\rightarrow$ 英語、英語 $\rightarrow$ ソース、ターゲット $\rightarrow$ 英語、英語 $\rightarrow$ ターゲット）の４つの翻訳を行う MNMT-4 方向モデルの 2 種類を構築した。

また、英語の単言語データを使用することの効果を調べるために、次の 3 つの設定を使用した。

・ Parallel：擬似対訳データを構築する際、英語を介した 2 つの対訳データの英語文のみ使用する。
- Monolingual：擬似対訳データを構築する際、英語の単言語データのみ使用する。
- Parallel + Monolingual：擬似対訳データを構築する際、英語を介した 2 つの対訳データの英語文と英語の単言語データを使用する。

## 4.3 実験結果

実験結果を表 2 に示す。本実験での多言語機械翻訳モデルではゼロショット翻訳は全く機能しなかった。その原因は言語対の数が少ないこと、デー 夕量が不足していることが考えられる。提案手法のベース手法で構築した擬似データで学習したモ
表 2 実験結果

デルの翻訳はピボット翻訳より精度が高かったが、 ベトナム語 $\rightarrow$ タイ語の方向ではピボット翻訳の方が良かった。単言語データを用いない際、Data Diversification とモデルのアンサンブルを適用することで、ベース手法より良いモデルを学習できた。 Data Diversification とモデルのアンサンブルを組み合わせると、翻訳性能が向上した。ただし日本語 $\rightarrow$ ベトナム語については、モデルのアンサンブルは翻訳性能を少し低下させた。

単言語データのみで擬似データを構築 (Monolingual)すると、データサイズは（Parallel）の約 2 倍になったが、性能は低かった。ソースとターゲットの両側のデータが全て擬似データであるため、翻訳品質が低いと思われる。また、Data Diversification に関しては、2つの翻訳方向で、Data Diversification とモデルのアンサンブルを組み合わせたものの性能が一番高かった。

(Parallel+Monolingual) では Data Diversification とモデルのアンサンブルを組み合わせたものが、 3 つの翻訳方向で一番優れた性能を達成した。ベトナム語 $\rightarrow$ タイ語モデルのみアンサンブル学習だけ用いる方が性能が高った。

これらの結果から、提案手法の有効性は翻訳方向と言語に依存することと考えられるものの、Data Diversification とモデルのアンサンブルを組み合わせる提案手法は一貫して全ての翻訳方向で精度を向上させることがわかった。また、単言語データで構築した対訳データの両側が擬似データであっても、翻訳性能を改善することに利用できることがわかった。

## 5 おわりに

本論文では対訳文のない言語対の機械翻訳のために、中間言語を介した 2 つの対訳データを用いてより良い擬似対訳データを構築する手法を提案した。 データの多様性を高める Data Diversification 手法とモデルのアンサンブルを組み合わせる提案手法は一貫して全ての翻訳方向の精度を向上させらことを示した。この手法は翻訳モデル自体に複雑な変更を必要とせず、追加のデータも利用しやすい。また、中間言語の単言語データで構築された擬似対訳データを用いてデータを拡張することで性能を改善できた。本研究では 4 つの翻訳方向で評価したが、今後より多くの翻訳タスクで提案手法を検証したい。実験では 50 万文の単言語データを用いたが、サイズがまだ小さいと考える。単言語データの規模がどのように影響するかも調査したい。また、学習済み多言語機械翻訳を利用することも検討したい。

## 謝辞

本研究は JSPS 科研費 23K11118 の助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[2] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation, 2015.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Alexandra Birch, Andrew Finch, Thang Luong, Graham Neubig, and Yusuke Oda, editors, Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[5] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui, and Ai Ti Aw. Data diversification: A simple strategy for neural machine translation, 2020.

[6] Orhan Firat, Baskaran Sankaran, Yaser Al-onaizan, Fatos T. Yarman Vural, and Kyunghyun Cho. Zeroresource translation with multi-lingual neural machine translation. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 268-277, Austin, Texas, November 2016. Association for Computational Linguistics.

[7] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation, 2017.

[8] A. Gispert and José B. Mariño. Catalan-english statistical machine translation without parallel corpus: Bridging through spanish. 2006.

[9] Nicola Bertoldi, Madalina Barbaiani, Marcello Federico, and Roldano Cattoni. Phrase-based statistical machine translation with pivot languages. In Proceedings of the 5th International Workshop on Spoken Language Translation: Papers, pp. 143-149, Waikiki, Hawaii, October 20-21 2008.

[10] Michael Perrone and Leon Cooper. When networks disagree: Ensemble methods for hybrid neural networks. Neural networks for speech and image processing, 081993.

[11] Yiren Wang, Yingce Xia, Tianyu He, Fei Tian, Tao Qin, ChengXiang Zhai, and Tie-Yan Liu. Multi-agent dual learning. In International Conference on Learning Representations, 2019.

[12] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphologi- cal analysis. In Dekang Lin and Dekai Wu, editors, Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need, 2023.

図 1 ベース手法

図 2 ベース+Data Diversification 手法

## A 付録 (Appendix)

この付録では、3. 提案手法で説明した手法の図を提供する。ベース手法を図 1 に示す。( src, en-1) はソース・中間言語対訳データであり、(en-2, tgt) は中間言語・ターゲット対訳データである。Data Diversification を適用する手法を図 2 に示す。図 2 には、中間言語のデータ en-2 を複数の en2src モデルでソースに翻訳し、複数のソース言語の擬似データ src'を作成する。モデルのアンサンブルを適用する手法を図 3 に示す。複数のモデルを四角形で囲んだところはモデルのアンサンブルを示す。

図 3 ベース+アンサンブル手法

図 4 ベース+ Data Diversification +アンサンブル手法


# Estimating Japanese Essay Grading Scores with Large Language Models

Boago Okgetheng ${ }^{1}$ Koichi Takeuchi ${ }^{1}$
${ }^{1}$ Graduate School of Environmental, Life, Natural Science and Technology
pcqm1k3t@s.okayama-u.ac.jp takeuc-k@okayama-u.ac.jp
}

\begin{abstract}
In Natural Language Processing (NLP), the role of Large Language Models (LLMs) has been transformative, particularly in automatic essay scoring. However, their application for Japanese essay scoring remains under-researched. This study investigates the effectiveness of the Open-Calm LLM family in grading Japanese essays, using a dataset of about 300 essays annotated by native Japanese educators, spanning four thematic categories with three types of prompts.
\end{abstract}

Our evaluation focused on two key metrics: Quadratic Weighted Kappa (QWK) and accuracy. The results highlighted the Open-Calm Large model as the standout performer, achieving an accuracy of $59 \%$ and a QWK score of 0.52. In contrast, the Open-Calm Small model showed lower efficacy, with 54\% accuracy and a QWK of 0.32 . Notably, essays from the 'Global' category received the highest accuracy rate of $63 \%$. Performance also varied across different prompts, with Prompt 1 showing the highest accuracy at $62 \%$, while Prompt 3 lagged at 50\%.

These findings demonstrate the significant potential of LLMs in automated Japanese essay grading, emphasizing the importance of model choice based on essay type and category. This study contributes to the understanding of LLMs in educational assessment tools, showcasing their promising application in diverse linguistic contexts.
## 1 Introduction

The advancement of Large Language Models (LLMs) has significantly transformed the field of natural language processing (NLP), particularly in tasks like automatic essay scoring. While a multitude of models for English essay grading exist (e.g., $[1,2,3]$ ) leveraging datasets like ASAP $[4]^{1)}$, the exploration of LLMs for Japanese essays has been limited. This is notable given the complexity of Japanese language, with its intricate grammar and unique idiomatic expressions, which poses substantial challenges not fully addressed by existing models such as BERT.

Our study addresses this gap by evaluating the OpenCalm series of LLMs $^{2}$, including variants such as OpenCalm Small, Medium, Large, and 7b, for their effectiveness in Japanese essay grading. Utilizing a dataset [5] of about 300 Japanese essays covering a diverse range of topics and writing styles, this research aims to understand how well these models handle the nuances of Japanese essay scoring.

The key findings of our study indicate that the OpenCalm Large model shows superior performance with an accuracy of 59\% and a Quadratic Weighted Kappa score of 0.52 , outperforming the Open-Calm Small model which achieved $54 \%$ accuracy. These results reveal the strengths and limitations of LLMs in processing Japanese essays, contributing valuable insights to the field of automated essay grading. The study concludes with a discussion on the implications of these findings and future research directions, emphasizing the potential of LLMs in educational assessments for a variety of languages.

## 2 Essay Grading Models

The field of automated essay grading has evolved significantly over the past decades, marked by a transition from regression-based systems (like e-rator [6]) to more deep neural network models $[1,2,7,8,3]$.

In early research of neural network models for essay grading task, the structure of neural networks is intensively studied (e.g., LSTM [1] and CNN [2]), recently, attention

has been aimed at how to effectively apply pre-trained large language models to essay grading. The several studies have proposed essay grading models employing BERT for Japanese essay $[8,5]$ as well as English essay grading $[7,3]$, however, the performance are competitive among the other models $[5,7,3]$. On the other hand, with the recent success of GPT (generative pretrained transformer) [9] in NLP, language models with quite large parameter pre-trained on massive amount of text data are provided. Since the proposed GPTs are much larger than BERT in the parameter size ${ }^{3)}$, GPT can be expected to be effective for tasks with little data such as essay grading.

Open-Calm is one of the prevously published Japanese pre-trained models. The varying sizes of the Open-Calm models (Small, Medium, Large, and 7b) offer an array of computational approaches, ranging from less resourceintensive to more complex systems. This versatility could be key in addressing the nuanced requirements of Japanese essay grading. The existing literature indicates that while significant strides have been made in automated essay scoring, there is a clear necessity for further exploration and development of models that can more accurately interpret and evaluate non-English languages, particularly for educational purposes.

## 3 Experiment

## 3.1 Dataset

We use the Japaense Written Essay Data ${ }^{4)}$ as an experimental dataset. Our study utilized a dataset comprising 300 Japanese essays, which served as the foundation for evaluating the effectiveness of the Open-Calm models. These essays were categorized into four distinct themes: criticize, easia, global, and science. Each category was further divided into three types of prompts, labeled as q1, $\mathrm{q} 2$, and $\mathrm{q} 3$, providing a diverse range of topics and styles for comprehensive model evaluation. This variety was crucial in assessing the models' ability to adapt and accurately grade essays across different subject matters and writing complexities.
$ weights that is an equivalent to OpenCalm Small.

4) GSK2021-B is provieded from GSK https://www.gsk.or.jp/catalog/gsk2021-b/.
}

## 3.2 Evaluation Metric

## F1 Score

In the domain of essay grading, a high F1 Score is indicative of a model's balanced grading capability, a crucial attribute for educational assessment tools.

## Quadratic Weighted Kappa(QWK)

QWK measures the agreement between two ratings. For our study, it assesses the consistency between the model's scores and the scores assigned by human educators, considering the ordered nature of the grading scale. In the realm of essay grading, the $\mathrm{QWK}(\kappa)$ serves as a critical metric for evaluating the agreement between the scores assigned by automated grading models and those given by human educators.

## Accuracy

In the context of automated essay grading, accuracy serves as a critical indicator of a model's grading performance. It quantifies the proportion of essays that are graded correctly, providing a straightforward measure of the model's effectiveness in aligning with human grading standards.

## 3.3 Experimental Setting

## Early stopping

In our experimental setup, we implemented early stopping as a regularization technique to prevent overfitting. This method monitors the model's performance on the evaluation dataset. If the model's performance does not improve for a pre-determined number of epochs, the training is halted. This approach ensures that the model retains generalizability and does not learn the training data's idiosyncrasies too closely.

## Mini Batch Size

Our model training employed a mini-batch size approach. We set the batch size to 8 , using gradient accumulation to effectively simulate a batch size of 16 . This method allows for more efficient memory usage while still reaping the benefits of training with larger batch sizes, which is particularly useful for stabilizing the learning process in large models.

## Architecture

The architecture of the Open-Calm models is pivotal to their function. These models are based on a transformer architecture, renowned for its effectiveness in handling se-
quential data and its ability to capture long-range dependencies in text.

Figure 1 GPT-NeoX Model Architecture

The above diagram illustrates the basic structure of the Open-Calm model. At its core, the model comprises several layers of transformer blocks, each consisting of multihead self-attention mechanisms and feed-forward neural networks. These components work in tandem to process input text, understand its context, and generate appropriate scores for the essays.

The unique aspect of the Open-Calm architecture is its adaptability and scalability, allowing it to handle various complexities within the Japanese language. Additionally, the use of the Lora Adapter and GPTNeox frameworks within this architecture enhances its language processing capabilities, making it well-suited for the task of essay grading.

## Soft Labeling Method

In our study, essays are scored on a five- point scale, 1 to 5, treated as ordered classes. We employ ordered regression with a soft labeling approach [10]. Soft labels are assigned to the target outputs in the loss function, based on the following formula.

$
d_{k}=\frac{\exp \left(-\left|k-k^{\prime}\right|\right)}{\sum_{i=1}^{K} \exp (-|k-i|)}
$

where $d_{k}$ is the soft label for class $k, K$ is the total number of classes, and $k^{\prime}$ is a given class. The comparison of scores with and without soft labels is shown in the table below:

Table 1 Target Output for each score

## 3.4 Experimental Results

## General Performance Across Models

This section interprets the performance metrics of the different models based on the F1 score, Quadratic Weighted Kappa (QWK), and accuracy, with and without soft labels. The comparison focuses on the Calm Small, Calm Medium, Calm Large, and Calm 7b Stable models.
- Calm Small: Exhibits the lowest overall performance among the four models. Notably, it has the highest accuracy without soft labels at $58.2 \%$, but its F1 and QWK scores are relatively lower compared to other models.
- Calm Medium: Shows a noticeable improvement in performance over Calm Small, particularly in QWK scores. Its accuracy (59.7\% with soft labels and $59.6 \%$ without) and F1 scores are better than Calm Small, indicating a more balanced performance.
- Calm Large: This model achieves the best QWK scores, both with (0.490) and without (0.532) soft labels, indicating superior grading consistency. The accuracy is slightly better than Calm Medium, with both soft label and non-soft label scores hovering around $59.7 \%$.
- Calm 7b Stable: Although it doesn't reach the high QWK scores of Calm Large, Calm 7b Stable shows robust performance, particularly in QWK with soft labels (0.479). However, its accuracy is lower compared to Calm Large, at $58.2 \%$ with soft labels and $56.9 \%$ without.

Table 2 Average Performance Metrics Across Models

Analysis of Results: The data indicates a trend where increasing model complexity (from Calm Small to Calm $7 \mathrm{~b}$ Stable) generally leads to improved accuracy and consistency in essay grading. The larger models, especially Calm Large, demonstrate a stronger capability in handling the nuances of Japanese essay grading, as shown by their higher QWK scores. However, the Calm 7b Stable model, despite its sophistication, does not outperform Calm Large in certain metrics, highlighting that increased complexity does not always translate to superior performance.

## Performance by Category
- Criticize Category: All models performed comparably, with the Calm Large model slightly leading in accuracy. This suggests that while larger models may have a slight edge, the difference is not profound within this category.
- Easia Category: The Calm Medium model showed the highest accuracy, especially without soft labels. This indicates that the model's features are well-suited for essays within this theme.
- Global Category: The Calm Medium model again outperformed others in accuracy, particularly with soft labels, suggesting a robust capability in understanding and grading essays with global content.
- Science Category: The Calm Large model exhibited the highest accuracy, particularly with soft labels. It seems that the complexity of the Science category may benefit from the more extensive learning capacities of the larger models.

Table 3 Performance of Open-Calm models across different categories with and without soft labels (WL and WO respectively)

Model Name Criticize Easia Global Science

$\begin{array}{lllllllll} & 0.59 & 0.515 & 0.525 & 0.617 & 0.579 & 0.620 & 0.535 & 0.577\end{array}$ $\begin{array}{lllllllll}\text { Calm Medium } & 0.540 & 0.538 & \mathbf{0 . 6 2 1} & \mathbf{0 . 6 3 0} & \mathbf{0 . 6 5 4} & \mathbf{0 . 6 3 3} & 0.577 & \mathbf{0 . 5 8 4}\end{array}$

$\begin{array}{lllllllll}\text { Calm Large } & \mathbf{0 . 5 5 2} & \mathbf{0 . 5 7 3} & 0.613 & 0.603 & 0.633 & 0.628 & \mathbf{0 . 6 2 7} & \mathbf{0 . 5 8 4}\end{array}$

Overall Performance: The Calm Medium and Calm Large models consistently showed high accuracy across categories, suggesting these models strike a good balance between computational complexity and grading performance.

## Performance by Prompt
- Prompt 1: Calm 7b excels with the highest WL accuracy (66.11\%), but Calm Large leads in WO accuracy $(64.40 \%)$. Calm Small, although lower in WL accuracy, is competitive in WO accuracy.
- Prompt 2: Calm Medium dominates with the highest accuracies in both WL $(62.87 \%)$ and WO (63.82\%). Calm 7b's performance drops compared to its lead in Prompt 1.
- Prompt 3: Calm Large and Calm 7b show close WO accuracies, with Calm Large slightly ahead. Calm Small lags in WL accuracy but improves in WO accuracy.

Overall Observations: Calm Large consistently performs
Table 4 Performance of Open-Calm models by prompt with and without soft labels (WL and WO respectively)

well across all prompts. Calm Medium and Calm $7 \mathrm{~b}$ show strong results in particular contexts but lack overall consistency. Calm Small, less effective in WL accuracy, fares better in WO accuracy, suggesting its suitability for definitive categorizations. The choice of using soft labels significantly affects model performance, with certain models like Calm Small performing better without soft labels. Calm Large stands out for its stable performance, emphasizing the importance of model selection based on the nature of prompts and scoring methodology.

## 4 Conclusion

Our research has affirmed the Open-Calm series' effectiveness in automated Japanese essay scoring, with the Open-Calm Large model standing out for its superior performance. Discrepancies in accuracy across different prompts and essay categories highlighted the importance of context in model selection. Despite these promising results, the study acknowledges limitations, such as the dataset's scope. For future work, we aim to compare the Open-Calm models with other formidable LLMs like Calm2, Swallow, etc., which possess even greater size and parameter complexity. This next step will provide a clearer understanding of how model scale correlates with grading proficiency. Advancing this research will contribute to the refinement and practical application of LLMs in the realm of educational assessments.

## Acknowledgement

Part of this study was supported by JSPS KAKENHI Grandt Number 22K00530.

## References

[1] Kaveh Taghipour and Hwee Tou Ng. A Neural Approach to Automated Essay Scoring. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1882-1891, 2016.

[2] Fei Dong, Yue Zhang, and Jie Yang. Attention based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning, pages

153-162, 2017.

[3] Yongjie Wang, Chuang Wang, Ruobing Li, and Hui Lin. On the use of bert for automated essay scoring: Joint learning of multi-scale essay representation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 3416-3425, 2022.

[4] Ben Hamner, Jaison Morgan, lynnvandev, Mark Shermis, and Tom Vander Ark. The hewlett foundation: Automated essay scoring. Technical report, Kaggle, 2012.

[5] Koichi Takeuchi, Masayuki Ohno, Kouta Motojin, Masahiro Taguchi, Yoshihiko Inada, Masaya Iizuka, Tatsuhiko Abo, and Hitoshi Ueda. Development of Essay Scoring Methods Based on Reference Texts with Construction of Research-Available Japanese Essay Data. In IPSJ Journal Vol. 62 No.9, pages 1586-1604, 2021. (in Japanese).

[6] Yigal Attali and Jill Burstein. Automated Essay Scoring with e-rater V.2. The Journal of Technology, Learning, and Assessment, 4(3):1-30, 2006.

[7] Elijah Mayfield and Alan W Black. Should you finetune bert for automated essay scoring? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pages 151-162, 2020.

[8] Reo Hirao, Mio Arai, Hiroki Shimanaka, Satoru Katsumata, and Mamoru Komachi. Automated essay scoring system for nonnative japanese learners. In Proceedings of the 12th Conference on Language Resources and Evaluation, pages 1250-1257, 2020.

[9] OpenAI. GPT-4 Techinical Report. Technical report, 2024.

[10] Raul Diaz and Amit Marathe. Soft Labels for Ordinal Regression. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.