# Non-literal Neural Machine Translation by Exploiting Non-literal Bitext

Lianhao $\mathrm{Yu}^{1} \quad$ Naoki Yoshinaga ${ }^{2}$ Masato Neishi $^{1} \quad$ Yuma Tsuta $^{1}$
${ }^{1}$ The University of Tokyo $\quad{ }^{2}$ Institute of Industrial Science, The University of Tokyo
\{yu-l, ynaga, neishi, tsuta\}@tkl.iis.u-tokyo.ac.jp

## Abstract

To avoid unnatural-sounding translations produced by existing neural machine translation (NMT) systems, we propose training an NMT model for non-literal translations by exploiting possibly non-literal translations in training data. Specifically, we split the training bitext into two sets in terms of non-literalness and applied domain adaptation techniques to acquire an NMT model adapted to non-literal translations. Our best-performing model achieved a BLEU score of 25.20 and a COMET score of 0.7932 in producing non-literal translations.

## 1 Introduction

Neural machine translation (NMT) utilizes a single large neural network to directly transform the source sentence into the target sentence $[1,2,3]$, which brought great improvements in terms of the translation quality. NMT systems have already been developed and deployed for various practical uses. For example, Google Translate is a service that enables to translate sentences, documents, and websites among over 100 languages, and helps its users to overcome the obstacle of unknown languages and access a wide range of information and resources.

Although the translations produced by NMT systems are mostly correct, they are sometimes unnatural for native speakers and thus not quite understandable due to the existing differences between languages and cultures [4]. For comparison, human translations of the same source sentences are sometimes non-literal but more natural for native speakers, and thus more appropriate, as shown in Table 1. Considering the relatively common occurrences of non-literal translations, it is natural and promising to exploit such translations in existing parallel corpora to improve the performances of NMT models in terms of fidelity, adequacy, and fluency of translations $[5,6,4]$.
Table 1 Examples of English-Chinese non-literal translations.

EN: In his hand, it became buoyant, in sync with the
motion of the waves that he made with his arms.
ZH: 它在他的手中浮动, 随着他用手臂模仿的波浪一
同沉浮。
("It floated in his hand, rising and falling with the waves
he mimicked with his arm." )

EN: Success is in the doing, and failures are celebrated and analyzed.

$\mathrm{ZH}$ : 成功就在过程中。我们庆祝和分析失败。

( "Success is in the process. We celebrate and analyze failure.” )

In this paper, we propose to train an NMT model for nonliteral translations from existing bitext. We obtain training data specialized in non-literal translations by ranking parallel sentences in the bitext in terms of non-literalness and splitting them into two sets in which one set is likely to be more non-literal than the other. Regarding the nonliteralness as a kind of domain, we then apply domain adaptation techniques to train an NMT model specialized for non-literal translations using the training data. Specifically, we utilize multi-domain learning [7] and curriculum learning [8] for training. The former is to add domain signals for non-literal and literal sets of the training data and mix them to fine-tune a pre-trained language model. The latter is to fine-tune a pre-trained model first on the literal set and next on the non-literal set.

We evaluate our method on English-to-Chinese translation using OpenSubtitles and TED2020 datasets. To evaluate our method, we build a specialized evaluation dataset by manually extracting non-literal translations to find that our methods achieved even better results when we forced the models to generate non-literal translations. Experimental results on this specialized dataset show that the models trained by our methods perform better than the baseline in generating translations that are natural for native speakers.

## 2 Related Work

Non-literal translations have been long studied by translation theorists and linguists $[9,6]$. Several studies have been done with different motivations to detect non-literal translations in existing corpora. Chen et al. [5] aims to mine lexical and phrasal non-literal translations for human translators' reference and to inspire improvements in machine translation. The authors designed an algorithm based on attention scores for searching possible non-literal translations in a bilingual corpus of Chinese and English. Several studies have been done for automatically detecting non-literal translations in existing corpora $[10,6,4]$ for non-literal translations can bring difficulties for automatic word alignment, and the training of NMT systems [11]. For example, Zhai et al. [4] first annotated parallel corpora with categories of non-literal translations and then conducted experiments on the detection of phrasal non-literal translations. These studies focus on detecting non-literal translations, whereas our study focuses on generating nonliteral translations.

## 3 Proposed Methods

In this section, we first describe our methods of finding possibly non-literal translations from existing bitext. We then use these possibly non-literal translations as the targetdomain training data to perform multi-domain learning [7] or curriculum learning [8].

## 3.1 Ranking Translation Pairs

To begin with, we propose unsupervised and semisupervised methods of ranking translation pairs of existing parallel corpora. We use the resulting rankings to obtain possibly non-literal and literal translations while changing their proportion as a hyperparameter.

Alignment-based score Since non-literal translations can bring difficulties for automatic sentential alignment $[11,4]$, we assume that parallel sentences with low alignment scores are more non-literal translations. Given a translation pair $\langle e, f\rangle$, we use Vecalign [12] to compute the alignment cost vecalign $(e, f)$ to extract possibly nonliteral translations with high cost values. However, such translations can also be noises or low-quality translations. To reduce such cases, we design an additional score to give higher ranks to parallel sentences with low alignment scores surrounded by ones with high alignment scores. Specifically, given a translation pair $\langle e, f\rangle$ and its previous and next translations $\left.\langle e_{\text {prev }}, f_{\text {prev }}\right.\rangle$, and $\left.\langle e_{\text {next }}, f_{\text {next }}\right.\rangle$, we used the value of

$
\frac{\operatorname{vecalign}(e, f)}{\operatorname{vecalign}\left(e_{\text {prev }}, f_{\text {prev }}\right)+\operatorname{vecalign}\left(e_{\text {next }}, f_{\text {next }}\right)}
$

for ranking.

NMT-based score As NMT models are likely to generate literal translations, the outputs of an off-the-shelf NMT model ${ }^{1)}$ can be used to find possibly non-literal translations. We assume that non-literal translations are semantically similar but superficially dissimilar to literal translations. Therefore, we computed and combined different evaluation metrics as scores to rank translation pairs. Specifically, given a parallel sentence, a pair of source sentence $e$ and target sentence $f$, and a translation obtained by the off-the-shelf NMT model, $\hat{f}$, we computed BERTScore [13] and chrF [14] and used the value of

$
-\frac{\operatorname{chrF}(\mathrm{f}, \hat{\mathrm{f}})}{\operatorname{BERTScore}(\mathrm{f}, \hat{\mathrm{f}})}
$

for ranking.

## 3.2 Training NMT Models

We design two strategies to train a non-literal NMT model using the obtained possibly non-literal and literal translations. We adopt a pre-trained $m T 5[15,16]$ as a backbone of our NMT models.

Multi-domain Learning (MDL) We regard non-literal and literal translations as data from two domains and perform multi-domain learning (MDL) using all the data. Specifically, we adopt domain-token mixing [7], which predicts a domain token (here, <NLT> and <LT> for nonliteral and literal translations), before decoding a target sentence. This enables us to train the model to predict the type of translations (non-literal or literal) and generate a translation conditioned on the prediction.

Curriculum Learning Another idea is to regard nonliteral translations as translations that are more difficult to produce than literal ones. Then, following the idea of curriculum learning $[8,17,18]$ to mimic the human education process, we first finetune the model to generate literal translations using the possibly literal translations and then to generate non-literal translations using the possibly non-literal translations.

1) https://huggingface.co/K024/mt5-zh-ja-en-trimmed

## 4 Experiments

We apply our methods to English-to-Chinese translation using OpenSubtitles and TED2020 datasets. We evaluate the ranking methods for non-literal translations and the proposed non-literal NMT models obtained by our ranking and training methods.

## 4.1 Settings

Data We train and evaluate our methods on the whole dataset of TED2020 on the English-Chinese language pair. We prepare the data by first doing some simple noise filtering and then splitting the dataset by the ratio of $90: 5: 5$ for training, validation, and test, respectively. As a result, we obtained about $246 k, 14 k$, and $14 k$ sentence pairs for the three parts, respectively.

As for the training data, we utilize the ranking methods introduced in $\S 3.1$ to sort the translation pairs and take the top $X \%$ of data as the non-literal part and the rest as the literal part where $X$ is a hyperparameter.

As for the test data, we additionally manually annotated part of the translation pairs and picked out actual non-literal ones to form a specialized test set to evaluate the ability to generate non-literal translations of the NMT models trained by the proposed methods. Currently, this specialized test set contains 222 non-literal translation pairs, which will be further expanded in the future.

To evaluate ranking methods of translation pairs, due to limited time and labor for manual annotation for evaluation, we only took the first $10 \%$ data of both datasets, which results in about $1.2 \mathrm{M}$ sentence pairs of OpenSubtitles and $46 k$ of TED2020.

Models We finetune $m T 5[15,16]$ to obtain different NMT models for non-literal translations using combinations of ranking and training methods described in $\S 3.1$ and $\S$ 3.2. For each ranking method, we take top- $X \%$ of data as the non-literal part and the rest as the literal part and use the data for different training methods. For mixed fine-tuning, we set the value of $X$ to $1,5,10,20$, and 40 to train different models, while for curriculum learning we only set the value to 30 at the moment. As for baselines, we finetuned a pre-trained mT5 model on the training data we prepared.

Evaluation metrics As for ranking translation pairs, we take the top-200 pairs of ranked translations from the

Figure 1 Top-N Precision of non-literal translations on OpenSubtitles.

Figure 2 Top-N precision of non-literal translations on TED2020.

$10 \%$ of entire data and manually annotate non-literal ones among them. We then compute top- $N$ precision $P_{N}$ of non-literal translations as below.

$
P_{N}=\frac{\text { \#non-literal at rank } N}{N}
$

As for non-literal NMT models, we adopt BLEU [19] and COMET-22-DA $[20,21]$ scores. We utilize SacreBLEU [22] to compute BLEU scores with reference translations and predicted translations as inputs. As for COMET scores, we use "Unbabel/wmt22-comet-da"2) model with inputs of source sentences, reference translations, and predicted translations.

Training details We choose the $m T 5$-small model as the base model and implement different models by the Transformers library of Huggingface [23]. We set the training epoch to 8 and save the best model checkpoints for final evaluation, which have the lowest training loss. As for models trained by curriculum learning, we additionally choose the best model trained on the literal part of data before training on the non-literal part. As for other hyperparameters and settings, we keep them by default.

## 4.2 Results and Analysis

Results of Ranking Translations Figure 1 and 2 show the results of evaluating ranking methods for non-

Table 2 Evaluation results of NMT models on the specialized test set of non-literal translations. " $X \%$ " indicates that the top- $X \%$ of translation pairs are used as the non-literal translations and the rest as the literal ones in training.

literal translations. As for the baseline, we randomly sample 200 sentence pairs, manually annotate non-literal ones, and compute the ratio of non-literal translations as the overall precision, which resulted in $6.5 \%$ and $10.5 \%$ (shown as a horizontal dotted line in the figures) for OpenSubtitles and TED2020, respectively. We can see from the results that the proposed methods outperform the baseline on both datasets, which proves our hypothesis that top-ranked translation pairs are more likely to be non-literal.

Results of Non-literal NMT Models As for training non-literal translators, we get results by evaluating models on the specialized non-literal test set and the overall test set. The latter is shown in Table 2 while the former can be found in the Appendix. In addition, we force models trained by multi-domain learning to generate non-literal translations by using <NLT> at the start of decoding when evaluated on the specialized test set. We report this part of the results in Table 3. We can see from the results in Table 2 and 3 that the MDL, $\mathbf{2 0 \%}$ and MDL, $\mathbf{1 0 \%}$ models perform better than other models. In addition, when forced to generate non-literal translations, they perform even better, which proves the effectiveness of our methods for training NMT models for non-literal translations.

Examples of Generated Translations We present some generated samples of non-literal translators as shown in Table 4. We can see from the examples that the generated translations have common features of non-literal translations in that they are fluent and natural but have some semantic divergences with the source sentences.
Table 3 Evaluation results of NMT models on the specialized test set when forced to generate non-literal translations.

Table 4 Generated non-literal translations by the MDL, 20\% and the MDL, 10\% model. The English sentences are the source sentences while the Chinese sentences are the forcedly generated non-literal translations.

From MDL, 20\%, non-literal by alignment-based scores

EN: It's very expensive to drive that much, and as we've seen, the middle class is struggling to hold on. $\mathrm{ZH}$ : 开车非常昂贵, 正如我们所看到的, 中产阶级挣扎不堪。

( "Driving is very expensive, and as we've seen, the middle class is struggling unbearably.” )

From MDL, 10\%, non-literal by NMT-based scores

EN: But the suggestion I want to put to you today is that there's something fundamentally wrong with this model. $\mathrm{ZH}$ : 但是我今天想告诉你们的是, 这个模型根本上是错误的。 ( "But what I want to tell you today is that this model is fundamentally wrong.” )

## 5 Conclusions

In this paper, we propose to train an NMT model for producing non-literal translations by exploiting translations that are possibly non-literal in existing corpora. We first rank translation pairs by different scores and extract translation pairs that are possibly non-literal. We then adopt two domain adaptation techniques. One is to add domain signals to the non-literal and literal parts of the data and train the model by multi-domain learning. The other is to first train the model on the literal part of data and second on the non-literal part by curriculum learning. The results show that our methods effectively improve the NMT model for non-literal translations.

As for future work, we plan to conduct further experiments with improved methods and on other parallel corpora, such as OpenSubtitles.

## Acknowledgement

This work was partially supported by the special fund of Institute of Industrial Science, The University of Tokyo, by JSPS KAKENHI Grant Number JP21H03494.

## References

[1] Kyunghyun Cho, Bart Van Merriënboer, Dzmitry Bahdanau, and Yoshua Bengio. On the properties of neural machine translation: Encoder-decoder approaches. arXiv preprint arXiv:1409.1259, 2014.

[2] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, Vol. 27, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.

[4] Yuming Zhai, Gabriel Illouz, and Anne Vilnat. Detecting non-literal translations by fine-tuning cross-lingual pretrained language models. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5944-5956, 2020.

[5] Qi Chen, Olivia OY Kwong, and Jingbo Zhu. Detecting free translation in parallel corpora from attention scores. In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, 2018.

[6] Yuming Zhai, Lufei Liu, Xinyi Zhong, Gbariel Illouz, and Anne Vilnat. Building an English-Chinese parallel corpus annotated with sub-sentential translation techniques. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4024-4033, 2020.

[7] Denny Britz, Quoc Le, and Reid Pryzant. Effective domain mixing for neural machine translation. In Proceedings of the Second Conference on Machine Translation, pp. 118-126, 2017.

[8] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason Weston. Curriculum learning. In Proceedings of the 26th annual international conference on machine learning, pp. 41-48, 2009.

[9] Lucía Molina and Amparo Hurtado Albir. Translation techniques revisited: A dynamic and functionalist approach. Meta, Vol. 47, No. 4, pp. 498-512, 2002.

[10] Yuming Zhai, Pooyan Safari, Gabriel Illouz, Alexandre Allauzen, and Anne Vilnat. Towards recognizing phrase translation processes: Experiments on english-french. arXiv preprint arXiv:1904.12213, 2019.

[11] Dun Deng and Nianwen Xue. Translation divergences in chinese-english machine translation: An empirical investigation. Computational Linguistics, Vol. 43, No. 3, pp. 521-565, 2017.

[12] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of the 2019 conference on empirical methods in natural language processing and the 9th international joint conference on natural language processing (EMNLP-IJCNLP), pp. 1342-1348, 2019.
[13] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675, 2019.

[14] Maja Popović. chrf: character n-gram f-score for automatic $\mathrm{mt}$ evaluation. In Proceedings of the tenth workshop on statistical machine translation, pp. 392-395, 2015.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, pp. 54855551, 2020.

[16] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mt5: A massively multilingual pre-trained textto-text transformer. arXiv preprint arXiv:2010.11934, 2020.

[17] Xin Wang, Yudong Chen, and Wenwu Zhu. A survey on curriculum learning. arXiv preprint arXiv:2010.13166, 2020.

[18] Petru Soviany, Radu Tudor Ionescu, Paolo Rota, and Nicu Sebe. Curriculum learning: A survey. International Journal of Computer Vision, Vol. 130, No. 6, pp. 1526-1565, 2022.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[20] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. Comet: A neural framework for mt evaluation. arXiv preprint arXiv:2009.09025, 2020.

[21] Ricardo Rei, José GC De Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. Comet-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578-585, 2022.

[22] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[23] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

Table 5 Evaluation results of NMT models on the overall test set.

## A Appendix

## A. 1 Results on Overall Test Set

The results of evaluating non-literal translators on the overall test set are shown in Table 5. As for proposed models, the MDL, $\mathbf{4 0 \%}$ model performs relatively the best, which is different from the results on the specialized test set. This difference may indicate that the non-literal neural machine translation can be considered as an individual and important direction besides other sub-tasks of neural machine translation.


# 多数決による自己回帰モデルに基づく機械翻訳

村上仁一 1
1 鳥取大学工学部 murakami@tottori-u.ac.jp

## 概要

ニューラルネットワーク機械翻訳 (以後 NMT) は,現在の機械翻訳において主流である．NMT は , encoder-decoder モデルに基づいている．この encoder-decoder モデルは , 自己回帰モデル (以後 AR モデル) に極めて類似している.光こで，NMT において AR モデルを仮定し，この仮定の下で , 機械翻訳システムを構築した. 具体的には , 従来の NMT において，AR モデルを想定して，多数決で翻訳文を選択した．また，入力文ごとに少数の類似文を用いた再学習をおこなった. 光の結果, 少量の学習データにも関わらず，現在の google に接近した，高い翻訳性能が得られた。

## 1 はじめに

ニューラルネットワーク翻訳（以後 NMT）は，基本的には , encoder-decoder モデル [1] を利用している. 基本的な考え方は, 入力文を $j_{1} j_{2} j_{3}$ として, 出力文を $e_{1} e_{2} e_{3}$ とする. そのとき, 入力文を条件として, 出力文の確率を最大にするモデルのパラメータを求める.

$\operatorname{MaxP}\left(e_{1} e_{2} e_{3} \mid j_{1} j_{2} j_{3}\right)$

一方 AR モデル [2],[3] は , 古くから制御理論などで用いられてきたモデルである．このモデルは，現在のデータは , 過去のデータの重みに雑音が重畳していると仮定している。

$X(n)=X(n-1) * a_{1}+X(n-2) * a_{2}+\ldots+X(n-m) * a_{m}+\varepsilon$

このモデルを encoder-decoder モデルの変形と考える.光のとき, 入力データは, 初期の過去データとみなすことができる.

$\operatorname{MaxP}\left(e_{1} e_{2} e_{3}\right)$ ただし過去データは $j_{1} j_{2} j_{3}$

つまり，入力文を過去データとし，出力文の生成確率を最大にするモデルを求めることになる．

以上の考察から，本論文では，AR モデルに基づく機械翻訳を行うと仮定する. 光の仮定に基づいたときに，翻訳文は , 尤度最大の基準で決めるのではなく. 多数決で決定することを提案する．また，入力 1 文毎にモデルの最適化を行う.このとき, 入力 1 文の単語数を AR モデルの回帰次数に相当すると仮定する. 以上の点を考慮して翻訳実験を行う．

## 2 AR モデルと encoder-decoder モデル

入力文を過去のデータとみなし，出力文を AR モデルで生成すると考えれば， encoder-decoder モデルは AR モデルの 1 形態とみなすことが可能である.このモデルを図 1 にしめす.

この図では， $j_{1} j_{2} j_{3}$ は，過去のデータとみなす．光して $e_{1} e_{2} e_{3}$ を AR モデルで生成すると仮定する.

この図のように考察することで , 従来の encoder-decoder モデルの学習方法において, 新しい着目点が出てくる．

図 1 自己回帰モデルに基づく機械翻訳の概念図 (ARMT)

## 3 AR モデルに基づく機械翻訳

本研究において, encoder-decoder モデルは, 入力文を過去データとする，AR モデルとして扱う.この提案方法を”AR モデルに基づく機械翻訳 (Auto Regressive Machine Translation (ARMA)) ” と呼ぶ．以下に提案手法の基本的な着目点について述べる。

## 3.1 多数決

AR モデルは , 現在のデータは , 過去のデータの重みに雑音が重畳していると仮定している. 光のため, 得られた尤度に信頼がない. 光のため, 出力文を尤度で選択する妥当性がない。

光こで，本研究では，複数の候補文における多数決を基本とする．複数のモデルを作成し，入力文に対して，複数の候補文を出力し，多数決で出力文を選択する。

3.2 未知語処理 (追加データ)

AR モデルは , 雑音に非常に弱いことが知られている．翻訳モデルにおいて AR モデルを想定した場合 , 未知語が杂雑音に相当する.つまり，文中に未知語があつた場合，翻訳精度が大幅に減少する。

そこで，本研究では，入力文において，未知語が無いように学習文を追加する. 具体的には , 他の大量の対訳文から，入力文において存在する単語を含む対訳文を選択し，学習データに追加する。

## 3.3 入力文 1 文毎の再学習と回帰次数

$\mathrm{AR}$ モデルでは, 回帰次数が常に問題になる.この回帰次数は, AIC[4] や BIC[5] が提案されているが，明確に妥当性のある方法がない．しかし，機械翻訳では，入力文の単語数を, 回帰次数と想定できる.つまり, 学習データの単語数が，入力文の単語数と同一であることに妥当性がある。光こで, 入力文 1 文毎に，翻訳モデルを作成する。

## 4 提案方法

以下に本論文で提案する翻訳方法の概略を示す.

## 4.1 複数の候補文

提案手法では, 1 つの入力文から, 複数の候補文を出力する. 光して，最終的に，多数決で，出力文を選択する。複数の候補文を得るため, 本研究において採用する方法

を以下に述べる。

1. 通常 or 反転入力 or 出力計 4 モデル

通常の NMT では, 順方向の入力文と, 順方向の出力文が想定されている.しかし, 入力文の単語の順序と, 出力文の単語の順序には, 順方向と逆方向の組み合わせで，合計 4 つのモデルがある．以下に光れどれのモデルを日英翻訳を前提に例を示す。

(a) 通常入力, 通常出力 (JE)

例：春が来たSpring has come

(b) 反転入力, 通常出力 $(\mathrm{jE})$

例：来たが春 Spring has come

(c) 反転入力, 反転出力 (je)

例：来たが春 come has Spring

(d) 通常入力, 反転出力 ( $\mathrm{Je})$

例：春が来た come has Spring

2. 複数候補 $\mathrm{N}$-best

1 つのシステムにおいて複数の出力 (N-best) を利

用する

3. 複数システム M-system (初期乱数) AR モデルでは，常に while noize が重畳していると仮定している. 光のため, 初期値によって結果がことなる.光こで複数の初期值において, 同一のシステムを , 複数構築する。

4. 入力文 1 文毎の再学習のための類似文の種類 L-corpus 本研究では , 全体のモデルを構築したあと，入力 1 文毎に，類似文を大規模な対訳データから検索して，再学習をおこなう . 類似文の検索の方法の違いと，検索量から，類似文が異なるシステムを，4 種類を作成する。

## 4.2 未知語 (追加学習)

$\mathrm{AR}$ モデルは , 非常に高い周波数分解能を持つ．龸の反面 , 雑音に非常に弱いことが知られている. 翻訳においては, 未知語が杂隹音に相当する.未知語がない汎用的なモデルの学習は，実際には困難である.光こで , 本研究では , 入力文において , 未知語が無いように他の大量の対訳文から文を収集する、ただし，文長には有意する (4.3 章 1 節).

## 4.3 入力文 1 文毎の再学習

本研究では，入力 1 文毎に，NMT のモデルを学習する。 この方式を直接行うと，計算コストが莫大になる。光こで再学習をすることで, 問題の軽減をおこなう．初めに，基本学習データを利用して，基本モデルを作成する．次に入力文 1 単位に入力文の類似文を利用して基本モデルの再学習をおこなう．龸のときに考慮する点を以下に示す．

1. 回帰次数と , 入力文と類似文の文長

機械翻訳において AR モデルを適応したとき，回帰次数が問題になる.この回帰次数は, 明確に決定する方法がない．しかし，入力文 1 文毎に，モデルを作成することを仮定した場合，入力文の単語数が，回帰次数と想定できる。つまり，学習データの単語数が，入力文の単語数と同一であることに妥当性がある. 実際には , 入力文と単語数が完全に同一である学習文は , 少ないため, ある幅をもたせる．

2. 類似文検索の方法

大量の対訳文から，入力文に類似した文を選択す
る. 類似文の検索には, 単語類似度, Levenshtein 距離 , TFIDFなどがある。

## 5 実験条件

本実験では, 1 つの入力文に対し 256 文の候補文 $(4 \times 4 \times 4 \times 4)$ を生成する. 光して, 多数決によって出力文を選択する．以下に詳細を示す．

## 5.1 複数システム

1. 翻訳順序 4

提案手法では , 4 つの入力出力正逆順序のモデルをつかう . (1 節)

2. 複数候補 4-best

1 システムの入力 1 文につき , 4 文の候補を出力する.

3. 初期乱数 4-system 初期値が異なる乱数を 4 システム作成する．

4. 入力 1 文毎の学習 4-corpus

入力文の類似文は , 4 種類作成する. 詳細は 5.3 章において述べる。

5.2 学習データ

1. 基本学習データ

基本学習データは，電子辞書などから抜き出した，単文および重複文データである [6] .

2. 未知語処理 (追加学習) のデータ

未知語処理のための追加データは，基本的には， JPARACRAWL[7] から抽出する . 条件を以下に示す .

(a) 入力文 1 文毎の類似度

入力文に対して，類似度を計算し，上位 1024 まで選択する．TFで計算する。

(b) 入力文 1 文毎の 1 単語毎の類似度

学習データにおいて, 入力文に未知語が存在させない目的で, 入力文の各単語毎に, 各単語を含む文の類似度を計算し，上位 32 文を選択する。

(c) 文の長さ

すべての類似文は，入力文の長さの，2/3から 3/2までとする.

学習データ量を表 1 にまとめる.

なお, 日本語の総語彙数は 83629 単語で, 英語の総語彙数は 92584 単語である.

## 5.3 入力文 1 文毎の再学習

本研究では, 基本学習データを利用して, 基本モデルを作成する．次に入力文 1 毎に基本モデルの再学習をおこなう. 再学習には JPARACRAWL[7] から入力文毎に類似文を抽出する．類似文検索には，多くの方法があるが，本研究では，最も単純な TF と，TFIDF の 2 種類を用いる. また , 類似文として上位 4 文と上位 1024 文を用いる. 合計，4 種類を作成する．なお，文長には有意する (4.3 章 1 節).

## 5.4 学習回数

提案手法では , 全体のモデルを構築したあと, 入力文 1 毎に再学習をおこなう. 各学習における学習回数を表 2 に示す.

## 5.5 テストデータ

テストデータは，電子辞書などから抜き出した，重複文データ [6] とする. 基本学習データと, 完全にopenなデー タである. 評価は， 100 文で行う .

## 5.6 最終判断

提案システムは，合計 256 文から 1 文を多数決で選択する. 具体的には , 複数のシステムから, 同一の文の数が最も高い文を選択する．なお，同一文が複数あった場合，尤度で選択する。

## 5.7 翻訳システム

提案したシステムを評価するために以下の 5 システムを作成し．比較および評価を行う．以下に概要を示す．

1. ベースライン

学習データは, 基本学習データ (単文と重複文) (1

節) に, 未知語処理 (追加学習) のデータ (入力 100 文の類似文 5.2 章 2 節) を加える. 学習データ総数は，386589 文対である。
2. 1 文毎再学習

追加システムにおいて作成したモデルに , 入力 1 文毎に，再学習をおこなう．再学習の学習データは，入力 1 文毎に類似文 (5.2 章 2 節) を利用する.

3. 多数決 (提案システム)

提案システムである. 1 つの再学習システムにおいて 4 候補, 再学習システムを 4 組 , さらに入出力反転で4 組，文単位の学習データ 4 種類, 合計 256 候補文において，多数決 (5.6章) で決定する。

4. google 翻訳

比較および評価のため，2023 年 8 月における， google 翻訳の出力を利用する.

## 6 実験結果

## 6.1 自動評価

自動評価による実験結果を表 3 に示す.評価文は 100 文である

以上の結果より, 自動評価において, 提案手法の高い性能がわかる. 特に多数決をもちいたとき, 翻訳の精度向上が著しい. 光して google の翻訳性能を超えている。

## 6.2 人手評価 (提案手法とベースライン)

提案手法とベースラインの対比較評価を行った．対象は約 100 文である . 評価者は学生 6 名である . 結果の平均を表 4 に示す。

以上の結果より, 人手評価でも，提案手法はベースラインを大幅に超えていることがわかる．

## 6.3 出力例

翻訳例を表 5 に示す.

## 7 考察

## 7.1 翻訳失敗の原因

翻訳が誤った文を調査した。光の結果，多くの文は，未知語と類似文の問題であった . 例をあげて述べる

1. 未知語

学習文に存在しない単語が出現する。

例”村人に危険を知らせるために早鐘をついた“

“早鐘”が学習データに存在しない。

2. 類似文なし

例“みだりに干涉しては有害無益だ”

この例では , 類似する文が存在しなかった . 最も

類似した文は以下の文であった

”緊張してはいけません。”"Do not be nervous . “

3. 類似文あり . 単語の類似文なし

例“私は針のむしろに座る心地がした“

類似文は存在している

“針のむしろに座っているような心境だった”

"I felt as if I were sitting on thorns ."

しかし，“心地“を含む学習データが存在しない． JPARACRAWL では “心地”を含む対訳文対は，存在している.しかし，いずれも入力文に類似していないため，追加学習から削除されている。

“冷たい空気がほろ酔いの頬に触れる時の感覚も心地良い”

"I like the feeling of cold air touching my cheeks when I'm tipsy

“遊ぶだけ遊ばないと飽き足らぬ心地がする”

"If you do not take your fill of pleasure, you have an unsatisfied
feeling . “

緾めると，翻訳が誤る原因は，以下の 2 つの条件の and 条件であった .

1. 類似文がない.

2. 未知語がある.

逆に, この 2 点がない文は, 基本的には正しい翻訳が得られた .これらの問題の解決方法は, 学習データを増加するしかないと考えている．

## 7.2 最終判断の方法

提案システムは，合計 256 文から 1 文を選択する.この選択方法は , 以下の 3 種類がある。

1. 多数決

複数のシステムから，多数決で選択する．候補文が複数存在した場合, 尤度の総和で選択する。

2. 尤度加算

複数システムにおいて同じ候補があった場合，光の尤度を加算する.光のため, 多数決に近い候補が選択される。

3. 尤度最大

複数のシステムから尤度最大の候補文を選択する．結果を以下に示す.

以上の結果から, 多数決が最も良いことがわかる. 光して, 従来の尤度最大基準は, 翻訳精度が低いことがわかる.

## 7.31 文毎の再学習の効果

本研究では , 全体のモデルを構築したあと, 入力 1 文毎に，入力文に対する類似文を大規模な対訳データから検索して，再学習をおこなう. 光れ光れの 1 文毎の学習文数と検索方法と，多数決処理を行ったあとの翻訳性能を表 7 に示す.

表 71 文毎の学習における類似文の数と翻訳率の変化

 &  & BLEU & meteor & TER & RIBES &  \\

TF & 4 & 0.3026 & 0.5661 & 0.5179 & 0.8172 & 100 \\
TF & 64 & 0.2965 & 0.5626 & 0.5179 & 0.8060 & 100 \\
TF & 1024 & 0.2887 & 0.5792 & 0.5127 & 0.8282 & 1000 \\

この表をみると，類似文が 4 文でも，高い翻訳精度を得ていることがわかる．また，検索方法には，大きな差がないこともわかる.これは, 1 文毎の再学習が高い翻訳精度を得られることも示している。なお，これは類推に基づく翻訳 [8]によく似た形になっている。

## 7.4 人手評価 (提案手法と google)

提案手法と google の対比較評価を行った. 対象は約 100 文である . 評価者は学生 8 名である . 結果の平均を表 8 に示す.

以上の結果より, 人手評価では , 提案手法は google に及ばないことがわかる。

7.5 ReLU と線形回帰分析とニューラルネットワーク

AR モデルは，本来，線形回帰モデルである．また， “ReLU"は，閾値をもつ線形関数とみなせる．したがって “ReLU”は，AR モデルに親和性が高い．ニューラルネットワークの学習には, 従来 Sigmoid 関数や tanh 関数が使われてきた．しかし，“ReLU”を利用した学習は, ニュー ラルネットワークと言えるのだろうか? 著者は従来の古典的な線形回帰分析と考えている.

8 おわりに

本研究では，自己回帰モデルに基づく機械翻訳 (ARMT) を提案した.このモデルでは，入力文を過去データとみなし，出力文 (翻訳文) を生成するモデルになる. 光して，選択基準として, 尤度の代わりに，多数決を利用した . また, 入力文の単語数を回帰次数と仮定し, 入力文の類似文を利用して，入力文毎に NMT のモデルを再学習する．また，線形回帰分析を基本概念とした。

光の結果, ベースラインと比較して大幅な性能向上が見られた．また，約 50 万文対の学習データにも関わらず，自動評価では google 翻訳を超えた・ただし人手評価では google 翻訳に及ばない．翻訳精度が低い文を調査すると，原因は, 未知語と入力文の類似文の不足にあることが示された.この結果は, 多数決による候補文の選択と, 文単位での学習の有効性を示している. 光して，自己回帰モデルに基づく機械翻訳の有効性を示している．

今後，人手評価においても，google 翻訳を超える性能を目指したい，なお，入力データを過去データとし，翻訳文を自己回帰モデルの出力データとする考え方は, 対話や言い換えや要約などの多くの自然言語の分野に応用できる.今後 , これらの応用も追求していきたい.

謝辞

人手評価に参加した以下の方々に感謝します. 柳原弘哉, 三木謙志,名村太一, 丸山京祐, 松本武尊, 宮本步, 細川偑, 駿河樹

## 参考文献

[1] Sequence to sequence learning with neural networks. Computation and Language.

[2] G. Udny Yule. On a method of investigating periodicities in disturbed series, with special reference to wolfer's sunspot numbers

[3] Gilbert Walker. On periodicity in series of related terms.

[4] H. Akaike. Information theory and an extension of the maximum likelihood principle. Proceedings of the 2nd International Symposium on Information Theory, pp. 267-281, 1973.

[5] Gideon E. Schwarz. Estimating the dimension of a model. Annals of Statistics, Vol. 6, p. 461-464, 1978.

[6] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察第一回コーパス日本語学ワークショップ,pp. 119-130, 2012.

[7] 森下他. Jparacrawl v3.0: 大規模日英対訳コーパス. 言語処理学会第 28 回年次大会, 2022.

[8] 村上仁一. 相対的意味論と機械翻訳の応用. 言語処理学会第 24 回年次大会, No. E5-3, pp. 924-927, 2021.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 双方向翻訳モデルの相互学習におけるデータ多様化の適用

紺谷優志 秋葉友良 塚田元
豊橋技術科学大学
\{kontani.yushi.qu, akiba.tomoyoshi.tk, tsukada. hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳では大量の学習データが必要となるが,十分な量のデータを用意できないドメインにおいては高性能なモデルを作ることは難しい.この問題に対し, 単言語コーパスで学習データを拡張する Back Translation (BT) や, BTを 2 方向のモデルで相互に繰り返す Itarative Back Translation (IBT) が提案されている. 本研究では, 複数のモデルによる出力文を用いた学習とアンサンブル翻訳により, 通常のIBT の効果を更に向上させる手法を提案する.英日・英独コーパスの実験を通して, 通常のIBT と比較して提案手法がより高い BLEU スコアを達成することを確認した.

## 1 はじめに

近年ニューラル機械翻訳 (NMT) が広く浸透している. NMT モデルの学習には大量の対訳コーパスが必要であるが, ドメインによっては十分な量の学習データを集めることが難しく, その場合品質が高い翻訳モデルを作ることは困難である.これに対し, 単言語コーパスを追加の学習リソースとして利用する Back Translation(BT) [1] 手法や, BT を順方向・逆方向のモデルで相互に反復することで, 両方向のモデルを複数回に渡って改善する Iterative Back Translation(IBT) [2, 3, 4] 手法が提案されている. BT や IBT はデータ拡張により翻訳モデルの精度を向上できるほか [1] , 単言語コーパスのドメインにモデルを適用させるという面でも高い効果を発揮することが報告されている $[5,6,7]$. 一方, 追加の学習リソー スを用いずに複数のモデルで多様な疑似対訳文を生成するデータ拡張手法も存在する [11].

本研究では, IBT に対し複数のモデルによる出力文を用いた学習を行うことで従来の IBT 手法の効果を更に向上させる手法を提案する. 具体的には, 順方向・逆方向のモデルを初期パラメータの値を変えた上で複数用意し，それぞれのモデルで翻訳文を出力
することで, 複数の疑似対訳文を生成する. 複数個のモデルによる異なる出力を混合して再学習のための学習データとして使うことで, 通常の IBT より高い精度でモデルを学習することできる. また, 複数個のモデルを利用してアンサンブル翻訳を行うことで，更に翻訳精度を高めることもできる。

英日コーパスと英独コーパスでの実験を通して，提案手法が通常の IBT と比較してより高い BLEU スコアを達成することを確認した。

## 1.1 関連研究

Sennrich ら [1] は NMT において Back Translation (BT) によりターゲット言語側の単言語コーパスをソース側言語に翻訳することで疑似的な対訳文を作り,データを拡張した上でモデルを再学習する手法を提案した. Hoang ら [2] や Zhang ら [3], 森田ら [4] は, Back Translationを順方向と逆方向のモデルで相互に繰り返し適用することで両モデルの翻訳精度を向上させる IBT 手法により BT を上回る BLEU を達成したことを報告した. 藤澤ら [5], Jin ら [6], 森田ら [7] は IBT 手法がドメイン適応の面でも効果的であることを示した. Nguyen ら [11] が提案した Data Diversification (DD) 手法では, 対訳コーパスから順方向・逆方向のモデルをパラメータの初期値を変更して $\mathrm{k}$ 個ずつ学習し, 学習に使った対訳コーパスの文を翻訳することで計 $2 \mathrm{k}$ 個の疑似データを得て，それらを学習データに追加することでモデルの翻訳精度を向上させている

## 2 提案手法

提案手法の具体的な流れについて説明する。また，図 1 に図解したものを示す.ソース側言語を X, ター ゲット言語を $\mathrm{Y}$ とする. 対訳コーパスである $P_{X}$ と $P_{Y}$, 対訳関係にない単言語コーパス $M_{X}$ と $M_{Y}$ をそれぞれ用意し,以下の操作を行う。
1. $\left(P_{X}, P_{Y}\right)$ から, それぞれ異なるパラメータで初

図 1: 提案手法の流れ ( $\mathrm{k}=2$ の場合 $)$

期化した上で, $\mathrm{X}-\mathrm{Y}$ 方向のモデルを $\mathrm{k}$ 個ずつ $\left(\right.$ Model $_{X-Y, 0}^{1}, \cdots$, Model $_{X-Y, 0}^{k}$ ) と Y-X 方向のモデルを k 個ずつ $\left(\right.$ Model $_{Y-X, 0}^{1}, \cdots$, Model $\left._{Y-X, 0}^{k}\right)$ 学習する.
2. $i \leftarrow 0$ とする.
3. $M_{Y}$ を $\left(\right.$ Model $_{Y-X, i}^{1}, \cdots$, Model $\left._{Y-X, i}^{k}\right)$ で翻訳することで $\left(M_{X, i}^{\prime 1}, \cdots, M_{X, i}^{\prime k}\right)$ を生成し, 疑似対訳文 $\left(\left(M_{X, i}^{\prime}{ }_{1}, M_{Y}\right), \cdots,\left(M_{X, i}^{\prime}, M_{Y}\right)\right)$ を得る.

4. ステップ 3 と同様の処理を逆方向で行い, 疑似対訳文 $\left(\left(M_{Y, i}^{\prime 1}, M_{X}\right), \cdots,\left(M_{Y, i}^{\prime k}, M_{X}\right)\right)$ を得る.
5. $\left(P_{X}, P_{Y}\right)$ と $\left(\left(M_{X, i}^{\prime}, M_{Y}\right), \cdots,\left(M_{X, i}^{\prime k}, M_{Y}\right)\right)$ を混合した対訳コーパスを用い, $\left(\right.$ Model $_{X-Y, i}^{1}, \cdots$, $\left.\operatorname{Model}_{X-Y, i}^{k}\right)$ のパラメータを引き継いで学習することで, $\left(\right.$ Model $_{X-Y, i+1}^{1}, \cdots$, Model $\left._{X-Y, i+1}^{k}\right)$ を得る。

6. ステップ 5 と同様の処理を逆方向で行い, $\left(\right.$ Model $_{Y-X, i+1}^{1}, \cdots$, Model $\left._{Y-X, i+1}^{k}\right)$ を得る.
7. $i \leftarrow i+1$ とし, ステップ 3 に戻る.

上記の流れで $\mathrm{k}=1$ とおいた場合が通常の IBT の流れに相当する. 異なるパラメータで初期化した複数個のモデルを用いることで, 同じ翻訳元の文から異なる表現の文が出力される. よって, 1 翻訳方向に付き $\mathrm{k}$ 個のモデルを用いることで通常の $2 \mathrm{k}$ 倍の疑似対訳文を学習に用いることができる. 上記の流れを繰り返すことで, 計 $2 \mathrm{k}$ 個のモデルが互いを改善しあうため, 通常の IBT と比較してさらなるモデルの精度向上が期待できる。

また, 複数の翻訳モデルの出力分布を平均して推論するアンサンブル翻訳を行うことで, 単独のモデルより高い精度で翻訳ができることが知られている [12]. 提案手法では同一の翻訳方向で常に $\mathrm{k}$ 個のモデルが存在するため, 提案手法で作成されたモデルの効果をより引き上げることが可能である.

## 3 実験

## 3.1 データセット

2つの翻訳タスクにおいて提案手法の効果を実証するための実験を行った. いずれの実験でも dev/test データは単言語コーパス側のデータセット内のものを使用した. 1 つ目の英日実験では, 対訳コーパスとして京都に関する Wikipedia 記事から構成される KFTT[13] を, 単言語コーパスには科学技術論文の抄録から構成される ASPEC[14]を用いた. KFTT は英語側の文に日本語の文字が含まれている対訳ぺアを除外した. ASPEC データセット内の対訳コーパス 100 万文を前半 50 万文と後半 50 万文に分割し,前半の英語文と後半の日本語文をそれぞれ文の内容が異なる単言語コーパスとして使用した. 2 つ目は英独実験で, 対訳コーパスとしてニュース記事の文章から構成される News Commentary v12[15] を, 単言語コーパスには欧州議会議事録から構成される Europarl v7[15] を用いた. 英日実験と同様, Europarl データセット内の対訳コーパス約 190 万文を 2 分割し, 前半の英語文と後半のドイツ語文をそれぞれ単言語コーパスとして使用した. devデータと test デー タには Europarl データセット内に含まれる $\operatorname{dev} 2006$ と test2008を使用した. 表 1 に各データの文数を示す.

表 1: 各言語対の文数

前処理として, 日本語文には NFKC 変換, それ以外の言語の文には加えて True-casing, Moses tokenizer によるトークナイズを行い, 最終的に全ての文を Sentence Piece[16] を用いて語彙数 16,000 でサブワー
表 2: 英日実験の結果 (英日方向)

 &  \\

モデル B & 6.89 & - & - & 33.19 & 33.33 \\
モデル C & 6.78 & - & - & - & 33.50 \\

表 3: 英日実験の結果 (日英方向)

 &  \\

モデル B & 7.73 & - & - & 22.79 & 22.44 \\
モデル C & 7.62 & - & - & - & 22.56 \\

ド分割した. サブワード分割モデルの学習にはそれぞれのタスクで各言語ごとに対訳コーパスと単言語コーパスを結合した文を用いた. BLEU の計測は翻訳した文をデトークナイズした後単語単位に分割した上で行った. 日本語文に関しては $\mathrm{MeCab}[17]$ の分かち書きを使用した。

## 3.2 実験条件

翻訳モデルの構築には OpenNMT-py を使用する. アーキテクチャとして Transformer を用い, Encoder, Decoder ともに 6 層とし, 隠れ層の次元には 512 を指定した. IBT の学習をする際, 対訳コーパスと疑似対訳文から取得するサンプルの比率が常に 1:1 になるように調整した. 学習の際モデルのチェックポイントから dev データの accuracyを毎回計算し, 最もスコアが高いモデルを採用した. 最終的なモデルの性能評価には BLEU[18]を用いた.

BT では, 翻訳タスクごとに, 単言語コーパスの翻訳時のデコード方法に beam searchを用いる場合と random sampling(各時刻の出力分布を下にランダムに語彙を選択する)を用いる場合とで, 最終的な精度向上の効果に差があることが知られている $[8,9,10]$.本実験では事前に BT の効果がより大きい方法を調べた上で, 英日実験には beam search (beam size $=5$ ), 英独実験には random sampling を用いた.

## 3.3 IBT 実験の構成

本稿では (1) baseline (通常のIBT), (2) 提案手法 $(\mathrm{k}=2)$, (3) 提案手法 $(\mathrm{k}=3)$ の 3 種類の IBT 実験を行い,性能を比較する.ここで $\mathrm{k}$ は翻訳方向ごとのモデルの数を表す. 通常の IBT は $\mathrm{k}=1$ の提案手法に相当する. 各翻訳タスクにおいて, 翻訳方向ごとに初期パラ表 4: 英独実験の結果 (英独方向)

 &  \\

モデル B & 17.25 & - & - & 23.52 & 23.58 \\
モデル C & 17.28 & - & - & - & 23.38 \\

表 5: 英独実験の結果 (独英方向)

 &  \\

モデル B & 18.43 & - & - & 29.44 & 29.70 \\
モデル C & 18.34 & - & - & - & 29.62 \\

メータの値を変えた上で 3 種類ずつのモデルを作成し，以降それぞれモデル $\mathrm{A}$, モデル $\mathrm{B}$, モデル $\mathrm{C}$ と呼称する. (1)ではモデル $\mathrm{A} を,(2)$ ではモデル $\mathrm{A} \sim \mathrm{B}$ を, (3) ではモデル $\mathrm{A} \sim \mathrm{C}$ をれぞれ初期モデルとして IBT 実験を行った.

## 3.4 結果

表 2〜3 に英日実験の結果を, 表 4 5 5英独実験の結果を示す. 英日実験は IBT の更新を 12 回まで，英独実験は 6 回まで行い, 最も dev データでの BLEU が高いモデルでの結果を示している. 結果を見ると，全ての実験において通常の IBT と比べ提案手法の方がより高い BLEUを記録している. 更に, 提案手法における複数のモデルでアンサンブル翻訳を行ったところ, 単一のモデルよりも更に精度が向上することが確かめられた。

図 2 と図 3 に英日実験・日英実験におけるモデル A の BLEU 推移を示す. また, 各更新段階におけるモデルのアンサンブル翻訳の BLEU も示している.図中の" $\mathrm{k}=2$ "は提案手法 ( $\mathrm{k}=2$ ) のモデル, " $\mathrm{k}=2$ (+Ens.)" は提案手法 $(\mathrm{k}=2$ ) の各モデルのアンサンブル翻訳の BLEU である. 通常 IBT と比較して, 提案手法は一貫して高い BLEU で推移しており,アンサンブル翻訳の結果は一番高く推移している. また, 提案手法によりモデルの数を増やすほど最終的に BLEU がより高い値に収束する傾向にあることがわかる。

## 3.5 比較実験

## 3.5.1 単一モデルでの比較実験

提案手法で作成したモデルが通常の IBT よりも高い BLEU を記録することが確かめられたが, モデル

図 2: 英日実験のモデルの BLEU 推移

図 3: 日英実験のモデルの BLEU 推移

の数を増やしたことに意味があるわけではなく, 単純に疑似対訳文の量が増加したことで精度が向上したにすぎないということも考えられる. よって, 通常のIBT においてモデル 1 つにつき 3 対ずつの疑似対訳文を生成させて学習データのサイズを揃え，提案手法 $(\mathrm{k}=3)$ とのモデルの精度を比較する実験を行った. 実験は英日・英独コーパスで行った. 3.2 節における baseline での設定に翻訳を 2 種類追加し, 疑似対訳文の量を増やした. 追加分の翻訳では単一のモデルから表現の異なる文を出力するため, random sampling でデコードを行う. 更新は 6 回まで行い, 提案手法 ( $k=3$ )での 6 回目までの最大値と比較した ${ }^{1)}$.

表 6７亿結果を示す.いずれも提案手法 $(\mathrm{k}=3)$ が比較手法より高い BLEUを記録している.これにより, 提案手法が複数のモデルの出力を組み合わせて使うことで精度を向上させていることが示された.

## 3.5.2 通常 IBT でのアンサンブル翻訳実験

提案手法では, ある翻訳方向のモデル $\mathrm{k}$ 個に対して同一の単言語コーパスを入力することで $\mathrm{k}$ 種類の疑似対訳文を生成し, それらを混合した対訳文を逆方向のモデル更新時に学習データとして使用するという流れを繰り返す. しかし, 先述の通り複数個のモデルがあればアンサンブル翻訳によりそれぞれのモデルの知識を平均化した翻訳を行うことができるた

1）更新回数が違うため表 2～5 の提案手法の BLEU と値が異なることに注意.
め, モデルの学習段階で複数モデルの出力を組み合わせて使わなくとも事足りる可能性もある. そこで本節では, 複数モデルの出力をまとめて逆方向のモデル更新に使用することが実際にモデルの改善に寄与しているのかを調べる実験を行った. 方法としてはモデル $\mathrm{A} \sim \mathrm{C}$ を初期モデルとして通常の IBT 実験を独立して 3 種類実施し, 各更新段階において 3 種類のモデルをアンサンブル翻訳した際の BLEU スコアを算出し, 提案手法 $(\mathrm{k}=3$ ) によるモデル 3 種類のアンサンブル翻訳の BLEU スコアと比較する. IBT の更新は 6 回まで行った.

表 8 に比較した結果を示す. 通常のIBT3 種のアンサンブル翻訳を baseline(+Ens.), 提案手法 (k=3)のアンサンブル翻訳を提案手法 (+Ens.) として示している. 両者を比較すると, 提案手法の方が BLEU が高いことがわかる.よって, 提案手法において学習の段階で複数モデルの出力をまとめて逆方向のモデル更新に使用することによる有効性が示された。

表 6: 単一モデルでの比較実験の結果 (英日)

 &  \\

日英 & 20.81 & $\mathbf{2 1 . 5 6}$ \\

表 7: 単一モデルでの比較実験の結果 (英独)

 &  \\

独英 & 29.30 & $\mathbf{2 9 . 8 4}$ \\

表 8: 通常の IBT+Ens. との比較実験の結果

 &  \\

日英 & 21.90 & $\mathbf{2 2 . 2 5}$ \\

## 4 おわりに

本研究では, Itarative Back Translation 手法において複数のモデルによる出力文を用いた学習とアンサンブル翻訳により精度を向上する手法を提案した. 具体的には, 初期パラメータが異なる順方向・逆方向のモデルを複数用意し，それぞれのモデルで翻訳文を出力することで, 複数のモデルが互いを改善し合う. 英日実験・英独実験の結果から, DDにより通常のIBT を大きく改善できること,さらに, 複数のモデルによるアンサンブル翻訳を組み合わせることで，更に翻訳精度を向上させられることを確かめた.

## 謝辞

本研究は JSPS 科研費 JP23K11118 の助成を受けたものです.

## 参考文献

[1] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany. August 2016. Association for Computational Linguistics.

[2] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, Melbourne, Australia. July 2018. Association for Computational Linguistics.

[3] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data, In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[4] 森田知熙, 秋葉友良, 塚田元. 双方向ニューラル機械翻訳の反復的な教師なし適応の検討. 言語処理学会第 25 回年次大会発表論文集, pp. 1451-1454, 2019.

[5] 藤澤兼太, 秋葉友良, 塚田元. ニューラル機械翻訳における双方向反復的教師なし適応の改善. 言語処理学会第 26 回年次大会発表論文集, pp. 744-747, 2020.

[6] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. A simple baseline to semi-supervised domain adaptation for machine translation, CoRR, abs/2001.08140. 2020.

[7] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用したニューラル機械翻訳の教師なし適応の検討. 言語処理学会第 25 回年次大会発表論文集, pp. 1451-1454, 2019.

[8] 今村賢治, 藤田篤, 隅田英一郎. サンプリング生成に基づく複数逆翻訳を用いたニューラル機械翻訳.人工知能学会論文誌, Vol. 35, No. 3, pp. A-JA9_1-9, 2020.

[9] Sergey Edunov, Myle Ott, Michael Auli, and David Grangier. Understanding back-translation at scale. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 489-500, 2018. Brussels, Belgium. October-November 2018. Association for Computational Linguistics.

[10] Jiahao Xu, Yubin Ruan, Wei Bi, Guoping Huang, Shuming Shi, Lihui Chen, and Lemao Liu. On Synthetic Data for Back Translation. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp 419-430, Seattle, United States. 2022. Association for Computational Linguistics.

[11] Xuan-Phi Nguyen, Shafiq Joty, Wu Kui , Ai Ti Aw. Data Diversification: A Simple Strategy For Neural Machine Translation. Advances in Neural Information Processing Systems, 33:10018-10029. 2020.
[12] 今村賢治, 隅田英一郎. 双方向リランキングとアンサンブルを併用したニューラル機械翻訳における複数モデルの利用法. 情報処理学会研究報告, 2017-NL-233, No.9, 2017.

[13] Graham Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[14] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[15] Jörg Tiedemann. Parallel Data, Tools and Interfaces in OPUS. In Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp.2214-2218, Istanbul, Turkey. 2012. European Language Resources Association (ELRA).

[16] Taku Kudo, John Richardson, SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[17] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# 字幕機械翻訳における自動訳抜け検出の試みとその分析

石川隆太 ${ }^{1}$ 須藤克仁 ${ }^{1}$ 松島朝子 ${ }^{2}$ 中村哲 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 日本映像翻訳アカデミー株式会社
\{ishikawa.ryuta.il7,sudoh,s-nakamura\}@is.naist.jp
subit@jvtacademy.com

## 概要

本研究では、英語から日本語への字幕翻訳を題材として、機械翻訳結果における訳抜けの自動検出を試み、その結果の分析を行う。字幕翻訳では字幕表示の制約により省略や言い換えを通じて訳出が短くなる傾向にあり、そうした事例を学習した機械翻訳は訳抜けをしやすく、自動訳抜け検出により翻訳後編集の効率向上が期待される。映像字幕データに対する実験では、自動訳抜け検出は一定の効果が認められるものの、字幕翻訳の特性に起因する訳抜けの過剩検出が目立ち、省略と訳抜けのトレードオフ解消の難しさが示唆される結果が得られた。

## 1 はじめに

字幕翻訳は映像素材に付与された原言語の台詞や挿入テキストを目的言語に翻訳するタスクであり、 その対象は映画に留まらずドラマやドキュメンタリーのような各種映像作品に及ぶ。字幕翻訳では、素材に適し、かつ映像への重畳表示を踏まえた翻訳を行うための様々な戦略が存在する [1]。著者らは字幕翻訳を対象とする機械翻訳について、英語から日本語への翻訳を対象に検討を行っている。字幕翻訳のデータを用いたニューラル機械翻訳 (NMT) モデルの学習、様々な素材に対する機械翻訳結果と日本語字幕と比較しての自動評価、映像翻訳者による評価・分析を通じて、字幕機械翻訳における様々な課題が明らかになってきており、特に訳抜け (omission あるいは under-translation) が顕著である。機械翻訳と翻訳後編集 (post-editing; PE) による翻訳ワークフローにおいて、訳抜けは翻訳の効率に大きな影響を及ぼすため、その抑制が強く求められる。 しかしながら、NMT は仕組み上訳抜けを完全に防ぐことが難しい上、限られた文字数で情報を伝えるための意訳や省略がしばしば行われる字幕翻訳の事例を学習した NMT では訳抜けがより生じやすく
なっていると考えられる。

そこで本研究では、翻訳後編集の際に訳抜けが疑われる箇所を強調表示する等のユーザインタフェー スを提供することを念頭に、字幕機械翻訳に対して既存の自動訳抜け検出手法を適用し、その評価と結果の分析を行った。訳抜け検出の Precision は平均で $20 \%$ 強、Recall は平均で $40 \%$ 程度で課題が残る結果となったが、分析により訳抜けの検出漏れや過剰検出で特徵的ないくつかのパターンが明らかになった。本研究で得られた結果は、原文の情報をできるだけ忠実に訳出するタイプの翻訳と比べ、字幕機械翻訳における望ましい省略と望ましくない訳抜けのトレードオフ解消の難しさを示唆するものである。

## 2 関連研究

自動訳抜け検出の既存研究 [2] では NMT モデルのみを利用した手法を提案している。次節で述べる通り、本研究ではこの手法を用いて字幕機械翻訳における訳抜け検出を試みる。それ以前の研究では訳抜けや余分な訳の評価が試みられていた $[3,4]$ が、そのために参照訳を要するという点で問題が異なる。

自動訳抜け検出と関係する課題として、単語レべルの機械翻訳の品質推定 [5] が挙げられる。機械翻訳の品質推定は機械翻訳結果中の誤訳の程度や箇所を参照訳を用いずに推定するタスクであり、特に単語レベルでの品質推定では、訳文中の各単語に対する正誤判定と、訳文中で抜けが生じている箇所の予測を行っている。近年の共通タスク [6] は MQM [7] に基づく訳文中の誤りスパンを予測するもので本研究で扱う問題と一見類似するが、品質推定タスクでは訳文中の誤り箇所を同定するのに対し、自動訳抜け検出では原文中で訳出されなかった箇所を同定するという違いがあり、単語レベル品質推定の既存データやモデルはそのままでは適用できない。

また、字幕翻訳に関しては、TED Talks の字幕を利用した $\mathrm{WIT}^{3}$ [8] や MuST-C [9] が音声翻訳の研究

## 【原文と訳文】

原文 $X=$ Please call me when you arrive

訳文 $Y=$ 電話してください

【部分単語列に対する翻訳スコアの計算】

Score $(Y \mid$ Please call me when you arrive. $)=0.42$

Score $(Y \mid$ Please call me when you arrive. $)=0.29$

Score $(Y \mid$ Please call when you arrive. $)=0.41$

Score $(Y \mid$ Please call me you artive. $)=\mathbf{0 . 6 7}$

【訳抜け箇所の同定】

Please call me <omit>when you arrive</omit>.

図 1 自動訳抜け検出 [2] の概略

で広く用いられてきた他、多くの言語をカバーする OpenSubtitles [10] や、日英の言語対に特化した JESC [11] も公開されている。これらのデータを用いた英日翻訳の実験結果では BLEU [12] で 10 程度のスコアであることが多く、訳出の多様性による評価の難しさは考慮するとしても、機械翻訳の対象として依然難しいことが窥われる。本研究は、様々な分野の素材を含む独自の字幕翻訳の英日対訳データを利用し、訳抜けの問題に焦点を当てて自動検出を試み、問題点を明らかにすることを狙うものである。

## 3 自動訳抜け検出

Vamvas ら [2] は統語構造上の部分木をランダムに削除した大力文を用いた自動訳抜け検出手法を提案している。この手法では Contrastive Conditioning [13] と呼ばれる、機械翻訳の入力側に小さな変更を加え、所与の翻訳出力を teacher forcing によって得た場合に生じるスコアの違いを翻訳誤りの推定に用いる手法を応用している。

Vamvas らの自動訳抜け検出手法の概略を図 1 に示す。部分単語列は依存構造木中の部分木を削除することによって得られる。もし元の原文 $X$ よりもその部分単語列 $X^{\prime}$ を用いたほうが高い翻訳スコアが得られるのであれば、 $X^{\prime}$ を得る際に削除した部分木に相当する箇所 $X^{d e l}$ (図 1 中で取り消し線が付された箇所）は訳文 $Y$ への翻訳において不要である、すなわち、訳文 $Y$ には該当する内容が訳出されていない訳抜け箇所であると判断できる。本手法は直感的であるとともに、機械翻訳のスコアのみで判断を行うため、機械翻訳の内部機構に依存せず適用可能である点で有益である。したがって、この手法を本研究の訳抜け検出に利用する。表 1 評価・分析に用いた字幕数、NMTによる翻訳結果で訳抜けと判定された字幕数、および参照訳に対する BLEU と長さ比 (LR)

## 4 実験

Vamvas らの訳抜け検出手法によって字幕機械翻訳における訳抜けがどの程度検出できるかを調査するため、実際の字幕機械翻訳のデータを用いた以下の訳抜け検出実験を行った。

## 4.1 実験設定

字幕機械翻訳には fairseq $^{1}$ 1) [14] により構築された Transformerによる NMT を用いた。学習データは字幕翻訳の英日対訳データ約 550 万対と、その他 WWW からクローリングを通じて抽出した英日対訳データ約 1,500 万対である。

自動訳抜け検出には Vamvas らの実装2)用いた。なお、当該実装では与えた原言語字幕中の先頭の文のみを対象に削除する部分木を選択しており、しばしば 2 文以上の短い文が含まれる字幕のデータの処理に問題があった。そこで、本実験では 2 文以上の入力に対してすべての文から削除する部分木が選択されるように修正を加えて実験に利用した。依存構造解析には当該実装の標準設定に基づき $\mathrm{Stanza}^{3}$ ）[15] の英語モデルを用いた。また、翻訳スコアの計算を行うための NMT モデルは、原論文で用いられている Huggingface の

英日対訳データ約 550 万対を用いてファインチュー ニングしたものを用いた。

評価および分析にはファインチューニングに用いたものとは別の映像翻訳字幕の英日対訳データを用いた。映像素材のジャンルの違いによる傾向の差を分析するため、ドラマ、リアリティショー、ビジネス系講演、ドキュメンタリーの 4 ジャンルの素材

1) https://github.com/facebookresearch/fairseq

2) https://github.com/ZurichNLP/ coverage-contrastive-conditioning

3) https://github.com/stanfordnlp/stanza

4) https://huggingface.co/facebook/ mbart-large-50-one-to-many-mmt
表 2 自動訳抜け検出の正解・検出漏れ・過剩検出の数および Precision $(\mathrm{P})$ 、Recall (R)

を用いた。なお、ファインチューニングに用いた対訳データにもこれらのジャンルのものは含まれていた。ジャンル毎の字幕数や、字幕翻訳者によって判定された NMT 結果の訳抜けを含む字幕数、および参照訳に対する BLEU の情報を表 1 に示す。ジャンルにより訳抜け数や BLEU、NMT 訳と参照訳の長さ比には違いがあり、特に長さ比についてはリアリティショージャンルでは参照訳より $15 \%$ 程度長く、ビジネス講演ジャンルでは $26 \%$ 短かった。また、BLEU の值は 10 前後であり、 2 節でも述べた従来研究における BLEU の値と同等と言える。

## 4.2 実験結果

表 2 に自動訳抜け検出の結果を示す。評価は字幕 1 枚を単位として正解、検出漏れ、過剰検出 ${ }^{5}$ に分類する形で行った。自動訳抜け検出された箇所が字幕翻訳者による訳抜け判定箇所と一致した場合を正解とし、訳抜け箇所が存在するにもかかわらず一切訳抜けが検出されなかった場合は検出漏れ、その他無関係な箇所での検出は過剩検出として計上した6)。

実験の結果、過剩検出が明らかに多く、Precision （=正解字幕数/訳抜け自動検出字幕数）は $20 \%$ 前後であり、全体として訳抜けを過剰に検出していることが分かった。一方、Recall (=正解字幕数/訳抜け判定字幕数）は全体で $40 \%$ やや下回る程度で、ビジネス講演ジャンルでは他ジャンルと比べて見落としが多いことが分かった。表 1 に示した訳抜け数や長さ比 (LR) からも分かる通り、ビジネス講演ジャンルでは訳抜けの指摘数が多く、自動訳抜け検出でも他ジャンルに比べて性能が劣ることが明らかになった。より詳細な分析については次節で述べる。

5）本研究では字幕翻訳者によって問題のある訳抜けを判定していることから、実際には訳出されているものを自動訳抜け検出が誤って検出した誤検出に加え、字幕翻訳者が問題視しなかった訳抜けを検出した場合も含める形で、誤検出ではなく過剩検出と呼ぶこととする。

6）つまり、字幕翻訳者による訳抜け指摘と異なる箇所で訳抜けが自動検出された場合には検出漏れではなく過剩検出と計上されている。したがって、表 2 において正解数と検出漏れ数の和は表 1 の訳抜け数と一致するとは限らない。

## 5 分析

訳抜け検出の性能についてより詳細に調査するため、訳抜け検出結果の詳細な分析を行った。分析により判明した訳抜け検出の漏れ・誤りの傾向について以下詳しく述べる。

## 5.1 検出漏れ

訳抜けの検出漏れは副詞節として働く従属節や、目的語として that 節を取っている主節においてよく見られた。これらは文の意味上の焦点からやや外れていることもあり、字幕翻訳においては文脈から内容が明らかな場合に省略されたり、短い表現への意訳や言い換えが行われることがある。そのため、字幕翻訳データによって学習された NMT モデルはこれらの直接的な訳出に抑制的になり、訳抜けに繋がると考えられる。同様に、字幕翻訳用 NMT モデルを訳抜け検出に用いた場合、そうした表現の有無がスコアに大きな変化をもたらさないと考えられる。

他にも、特に検出漏れの多かったビジネス講演ジャンルにおいては、主節であっても代名詞が主語や目的語に含まれている箇所での訳抜けの検出漏れが多く見られた。主節の訳抜けも前段と同様の字幕翻訳の特性に起因するものと考えられるが、内容理解の妨げとなり、訳質の観点ではより深刻な問題である。そうした訳抜け検出が強く期待される箇所での検出性能に課題を残す結果であったと言える。

## 5.2 過剩検出

訳抜けの過剰検出については多くの要素で起こっていたため、特徴的な 5 種について述べる。

副詞的役割を持つ要素訳抜けの過剰検出において顕著だったものは、副詞・副詞句・副詞節である。特に程度を表す副詞である very や so 等は字幕翻訳においては直接的に訳出されない傾向が強く、形容詞や選択の工夫により文字数の削減に寄与しているものと考えられる。そのため字幕翻訳データによって学習された NMT モデルを用いた機械翻訳においては訳出されづらい。一方で今回の分析を通じ、自動訳抜け検出は very や so の直接的訳出がないことの検出力が高いことが判明した。これは、字幕翻訳用の NMT モデルは翻訳時に直接的な訳出をもたらすほどの強い変化はもたらさないが、Contrastive Conditioning による翻訳スコアの変化には寄与しうることを示唆している。なお、その他の一般の副詞
や、副詞句・副詞節については、very や so ほど強い傾向は見られないものの、他の種類の要素と比べて訳抜けとして検出される傾向が強かった。

弱い関係の接続詞・感動詞・「つなぎ」の表現次に顕著だった要素として、so や then のような弱い関係を表す接続詞、wow や oh 等の感動詞、you know 等の「つなぎ」の表現が挙げられる。これらは会話や台詞等で頻繁に用いられるが、程度を表す副詞と同様、字幕翻訳において直接的に訳されることは少ない。前段の結果も含め、Contrastive Conditioning はこうした要素を敏感に検出していると言える。

誤訳された要素本実験では各字幕をそれぞれ独立に翻訳しており周辺文脈を参照していないこと、 また素材毎の用語対訳集等も与えていないことから、翻訳に必要な情報の不足による誤訳が多く生じていた。そのように誤訳された原文の箇所が訳抜けとして検出された事例、特にハイコンテクストな訳出が求められる箇所、稀少語や固有名詞等で多く見られた。特に周辺文脈の問題に関しては、映像字幕において文字数の制約により 1 文を複数の字幕ペー ジに分割する傾向も考慮し、NMT、自動訳抜け検出の双方で周辺の字幕ページを文脈情報として参照することが有益であろうと考えられる。

並列・反復表現において複数回出現する要素出現数は多くなかったものの注目すべき事例として、並列や反復表現において同一の単語や句が用いられていた場合に自動訳抜け検出で訳抜けでない箇所を検出するものがあった。Contrastive Conditioning の性質上、並列 -反復表現で複数回出現する単語の一方を削除しても、残った単語から NMT が補完可能であれば訳抜けと検出される可能性がある。この点は本実験における訳抜け検出手法の本質的な問題であり、異なるアプローチが必要であろう。

字幕中の余剩文字列複数の出演者が存在する素材においては、字幕に話者を表す文字列が挿入されることがあり、字幕の内容本体と区別されずに機械翻訳を行うとそれが翻訳に悪影響を与えてしまう場合がある。本実験においても、ドラマおよびリアリティーショーの素材で各字幕の先頭に話者名を表す文字列が挿入されている箇所では、翻訳時に話者情報が削除された場合その箇所が訳抜けしていると検出されるという問題が生じていた。話者情報は字幕に付随する情報として重要でもあるため、字幕の内容本体と区別した上での利用が有効と期待される。

## 6 議論

ここまでで示した通り、実験における自動訳抜け検出の性能はまだ十分とは言えず、様々な要素で検出漏れや過剩検出が生じていた。

字幕翻訳においては限られた時間で情報を伝達しなければならないため、文脈も踏まえた情報の取捨選択や、表現の言い換えや意訳等を通じた文字数の削減が行われる（原音 1 秒あたり日本語 4 文字、 1 行あたりの文字数は $14 \sim 16$ 文字、等の目安が存在する [1])。今回字幕翻訳に用いた NMT モデルはそうした高度なプロセスを経た字幕翻訳の事例を学習に用いているものの、実際に翻訳を行う際には学習事例の統計的な傾向をもとに省略や言い換えを行うに過ぎない。その結果が時に有用であることもあるが、字幕翻訳者と同様の思考プロセスを経たものではなく、適切な訳出に繋がらず訳抜けや冗長な訳出をもたらすことは否定できない。

さらに、訳抜け検出に使う NMT モデルも翻訳に用いたモデルと本質的には同様の問題を持つ。 Contrastive Conditioning による効果は一部認められるものの、原文の要素の訳出要否の判断に原文以外の情報が利用できないことによる限界は存在する。 この点は単語レベルの機械翻訳品質推定 [5] と同様であるが、一般的な翻訳と比べて字幕翻訳では情報の取捨選択が与える影響が大きく、意図的に訳出を抑制する省略と、意図せず起こる訳抜けの区別の重要性の面でより難しい問題であると言える。

## 7 おわりに

本研究では、字幕翻訳において機械翻訳と翻訳後編集を活用するワークフローの効率化を見据え自動訳抜け検出手法を適用し、その結果の分析を行った。Vamvas らの Contrastive Conditioning に基づく自動訳抜け検出により $40 \%$ 程度の Recall で訳抜けの検出ができた一方で Precision は 20\%程度に留まり、訳抜けの過利検出が目立つ結果となった。これは依然課題が残る結果と言えるが、訳抜けの検出漏れや過剰検出は省略や意訳の多い字幕翻訳から学習された NMT モデルにとってはトレードオフの関係となっていると考えられ、この解決には更なる工夫、例えば文脈情報を活用した NMT および訳抜け検出等が求められるだろう。

## 参考文献

[1] 日本映像翻訳アカデミー. 字幕翻訳とは何か 1 枚の字幕に込められた技能と理論. 2018.

[2] Jannis Vamvas and Rico Sennrich. As little as possible, as much as necessary: Detecting over- and undertranslations with contrastive conditioning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 490-500, Dublin, Ireland, May 2022.

[3] Jing Yang, Biao Zhang, Yue Qin, Xiangwen Zhang, Qian Lin, and Jinsong Su. Otem\&utem: Over- and undertranslation evaluation metric for nmt. In Natural Language Processing and Chinese Computing, pp. 291302, Cham, 2018.

[4] Xiang Kong, Zhaopeng Tu, Shuming Shi, Eduard Hovy, and Tong Zhang. Neural machine translation with adequacy-oriented learning. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2019), pp. 6618-6625, Jul. 2019.

[5] Erick Fonseca, Lisa Yankovskaya, André F. T. Martins, Mark Fishel, and Christian Federmann. Findings of the WMT 2019 shared tasks on quality estimation. In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pp. 1-10, Florence, Italy, August 2019. Association for Computational Linguistics.

[6] Chrysoula Zerva, Frédéric Blain, Ricardo Rei, Piyawat Lertvittayakumjorn, José G. C. de Souza, Steffen Eger, Diptesh Kanojia, Duarte Alves, Constantin Orăsan, Marina Fomicheva, André F. T. Martins, and Lucia Specia. Findings of the WMT 2022 shared task on quality estimation. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 69-99, Abu Dhabi, United Arab Emirates (Hybrid), December 2022.

[7] Arle Lommel, Hans. Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM) : A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica, No. 12, pp. 455-463, 2014.

[8] Mauro Cettolo, Christian Girardi, and Marcello Federico. WIT3: Web inventory of transcribed and translated talks. In Proceedings of the 16th Annual Conference of the European Association for Machine Translation, pp. 261-268, Trento, Italy, May 28-30 2012.

[9] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2012-2017, Minneapolis, Minnesota, June 2019.

[10] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016.

[11] Reid Pryzant, Youngjoo Chung, Dan Jurafsky, and Denny
Britz. JESC: Japanese-English subtitle corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002 .

[13] Jannis Vamvas and Rico Sennrich. Contrastive conditioning for assessing disambiguation in MT: A case study of distilled bias. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10246-10265, Online and Punta Cana, Dominican Republic, November 2021.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019.

[15] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online, July 2020.


# 視写課題の自動採点へ向けた 子供らしい文字の自動生成による OCR 精度の向上

関 歩実 滕昱璇 野坂 瞭太 大井淳司松崎拓也
東京理科大学 理学部第一部 応用数学科
$\{1423518,1420068,1420078,1420020\} @ e d . t u s . a c . j p$ matuzaki@rs.tus.ac.jp

## 概要

本研究では，児童による文章の視写結果の自動採点へ向けた基礎技術開発を行った. 自動採点の前提として，お手本の文字列と視写結果の文字画像列を正確にアラインし，視写の誤りを検知する必要がある.そして，正確なアラインメントのためには，児童の手書き文字に対する OCR の精度を向上させることが必要である．そこで本研究では，文字のスタイル変換手法を利用して，児童の手書き文字を大量に生成し, OCR の訓練データとして利用することを試みた. 結果として，大人の手書き文字のみを訓練データとした場合と比べて，児童の手書き文字の認識精度が向上し，これに伴ってお手本と視写結果のアラインメント精度も向上した1).

## 1 はじめに

小学校において板書を書き写す作業が授業時間内に終わらない児童が一定数存在する。故に，小学校から大学までを通じ，穴埋めプリントやスライドを用いた授業形式が増えている．結果として，板書を写す速度が一層遅くなっていると考えられる。

我々は，視写課題の実施をサポートするシステムを開発することで，書き写す能力の向上を狙う．システムは，視写対象の教科書テキストと視写結果の文字画像を大力とし，誤字・脱字等についてフィー ドバックを返すものを想定している。視写の効果に関しては，これまでに以下のような報告がある。江川 [1] は，大学院生を調査対象に，視写課題を行うことで作文能力の向上を示した. Askov と Greff [2] は, 幼稚園児と小学 2 年生を調査対象に，速記に用いる文字の視写またはなぞり書きの練習を行った結果，なぞり書きよりも視写がより文字の再現性に効果があると示した. 中島 [3] は，母語が日本語では

1）第 1 第 3 著者は同等の貢献をした.
ない日本語学習者を調査対象に, 視写課題によって 1 分あたり正しく書き写せる文字数が向上することを示した．以上の研究結果から，教科書の文章を書き写す課題を課すことで児童たちが板書の視写に要する時間が短縮され，授業時間内により高い学習効果を得られると期待できる。

視写結果に関するフィードバックのために，お手本テキストと視写結果の各文字の正確なアラインメントをとる必要があり，その前提として，OCR （光学文字認識）の精度を高めることが必要である. ディープラーニングによる現在の OCR は，活字の認識に関しては実用レベルの精度に至っている。一方，手書き文字に対しても認識精度は高いものの，字形の特徵によっては識別できない場合が存在する [4]. 児童の書く文字は字形が多様である上に，児童の手書き文字のデータを大量に用意することは難しい，そこで本研究では，児童の字を自動生成して学習データとして用いることで，OCR の精度向上を試みる。類似の試みとして Kitagawa ら [5] の研究があるが，児童の手書き文字らしさに注目したスタイル変換の応用は新しい試みである。

## 2 手法

## 2.1 自動文字画像生成

文字画像生成に関し拡散モデルに基づく手法と GANに基づく手法を比較した。順に説明する。

## 2.1.1 拡散モデルと部品埋め込みを用いた文字生成

この項で説明する手法は Nikolaidou らの拡散モデルによる英単語画像生成手法をべースにした [6]. Nikolaidou らのモデルは英字の埋め込みの列とスタイルの埋め込みを入力とし，潜在空間上の拡散モデルによって指定したスタイルによる英単語画像を生成する. 我々はこのモデルを用いて英単語の代わり

に日本語一文字を生成する。

文字埋め込みは次の 2 種類を比較する。

文字単位の文字埋め込みすべての文字に異なる埋め込みを与える。

部品単位の文字埋め込み漢字には部首のように共通する形を持つものがある. この特性から，漢字を適切に分解して埋め込み表現を作ると, 異なる漢字の訓練データから共通部分を抽出するように学習でき，より正しい字形で高品質な生成が可能になると考えられる. この分解を KanjiVG [7] を用いて行う. KanjiVG は各漢字のストローク集合を部分－全体関係を表す木構造で格納している2).まず木構造の各頂点の子孫のストロークからなる部分を画像として出力し，この画像を基に漢字を一定の大きさ以上の部品列に分解する. また，画像を K-Means 法でクラスタリングする．部品の種類の埋め込みとクラスター番号の埋め込みを結合して部品の埋め込みを作り，部品の埋め込みの列を漢字の埋め込みとする. この方式では Nikolaidou らの設定における英単語に漢字が，英字に部品が対応する．学習時には，部品の埋め込みが正確にその部品を表現できるよう，部品のみの画像も訓練データに加える。

Nikolaidou らは書き手の筆跡を真似た英単語画像の生成を目的としており，それぞれの書き手の ID を個別の「スタイル」とみなしている. これに対し，OCR の訓練にはできるだけ多様な画像を用意できることが望ましいので，本研究では訓練データを分類し「大人の手書き」「児童の手書き」「活字」の 3つの IDを「スタイル」とみなす. 拡散モデルは生成過程で確率分布からのサンプリングを多数行うため，「児童の手書き」のように粗い分類に対応するスタイルを指定することで様々な画像が生成できると期待できる。

## 2.1.2 GAN と「部首」データを用いた文字生成

この項では Kong ら [8] の文字生成手法を基にした手書き文字生成に関して説明する. この生成手法では，入力された 2 つの文字画像 $\mathrm{C}$ および $\mathrm{S}$ に対し， C に書かれた文字を $\mathrm{S}$ のスタイルで書いたような文字画像を生成する，訓練時には，生成された文字か否かの real/fake 識別やスタイルの分類による生成器へのフィードバックに加え，漢字構成記述文字列 (IDS) に従って分解された各文字の構成要素に

対しても識別 (real/fake 識別) やスタイルの分類を行う。例えば，「作」という字は IDS によって「イ」+「乍」に分解される。単純に GAN を用いたモデルと比較して，文字の細部についても識別器からのフィードバックを受けることでより高品質な文字画像の生成が可能となる。

「部首」データの作成日本語の漢字の分解に関しては，IDS データ [9]を使用する。 さらに本研究では，ひらがな間のループ部分の形状の類似性を捉えるため，ひらがなに対しても分解データを作成し，訓練に使用する。これは，予備的な検討においてループ部分を上手く表現できない現象が観察されたためである.

ひらがなの分解に関しては，以下の通りに行う。

・濁点を記号「”」，半濁点を「。」で表し，「べ

$\cdot$「す」や「む」のように上から入り下へ抜けるループを含む文字：ループ部分を「。」で表し，

状の共通性を表す.

$\cdot$「め」と「ぬ」，「れ」と「ね」，「ろ」と「る」:それぞれ付加されるループ部分を「 $a 」$ 「。」で表し，ぬ $\rightarrow+a ， ね \rightarrow れ+a ， る \rightarrow ろ+。 の$ ように分解する.

・「は」「ほ」「ま」のように上から入り右へ抜けて終わるループを含む文字：ループ部分を「メ」 で表し，「ほヤほ＋メ」のように表す。

## 2.2 生成文字画像を加えた OCR の訓練

## 2.2.1OCR モデルと訓練データの水増し

日本語の文字認識に関する Tsai の報告 [4] を参考にして，OCR モデルを作成した. 具体的には論文 [4] で M7_1 と呼ばれているモデルを使用した. これは，4 層の畳み込みネットワークに，全字種 (3088 種) に対するスコアを出力する 3 層の全結合層を付加したモデルである.

OCR モデルの精度向上のため，各文字の画像のバリエーションを増やとともに，文字ごとの訓練データのサンプル数の偏りを解消し，文字認識のバランスを改善する．具体的には，画像をランダムに $0.5 \sim 1.5$ 倍に拡大縮小し， $-30 \sim 30$ 度で回転させることによりデータの水増しを行う。
表 1 : 訓練データとテストデータ

## 2.3 OCR を用いたお手本と視写結果のア ラインメント

お手本のテキストと視写結果の文字画像の列のアラインメントを自動的に行う方法を説明する. まず，お手本の視写結果に OCR を適用し, 視写結果の各文字がお手本の各文字クラスである確率を得る.

次に，「お手本の文字列」と「視写結果の各文字画像列」の間の編集距離を最小にするアラインメントを求める。一般的な編集距離は，与えられた 2 つの文字列のうち一方に対して「文字の挿入」「文字の削除」「文字の置換」の操作を何回繰り返すことで他方の文字列と一致するかを測ったものである．本研究では，視写結果中のある文字画像 $i$ をお手本中の文字 $c$ に置換するコストを，OCR モデルによる画像 $i$ に対する文字クラス $c$ の確率 $p(c \mid i)$ の対数としている.「文字画像の插入」「お手本の文字の削除」 のコストは，いずれも $\log 10^{-3}$ とした.

## 3 実験

本節では，拡散モデルと GANで生成した文字画像を使用し，FIDを用いて児童の手書きスタイルの表現を評価する。また，OCR の精度と，お手本と視写結果のアラインメントの精度を評価する。

## 3.1 使用データ

データセットとして小 1 から小 6 まで計 338 人の視写結果と，大人の手書き文字として ETL 文字データベース $[10]^{3}$ )を使用した. 画像の大きさは $64 \times 64$ とした. 訓練データとテストデータへの分割は表 1 の通りである.

## 3.2 文字画像の生成例

文字単位拡散モデルは訓練データから ETL の漢字データを 133,281 枚までに制限したもので訓練し，「児童の手書き」スタイルで各文字 500 枚生成した. GAN では，ひらがな，カタカナ，漢字をそれぞれ

3）9つのコーパスのうち，ひらがなに ETL8G，カタカナに ETL5，漢字に ETL9G を使用した。

図 1: 文字単位拡散モデル (上)と GAN (中) の「は」「サ」「数」の生成例，及び児童の視写結果の例 (下)

図 2: 文字単位拡散モデル (左) と部品単位拡散モデル (右)の「類」の生成例.「類」はETLに含まれるが児童の視写結果に含まれない

分けて訓練を行った．漢字に関しては，ETLの漢字データ 133,281 枚と児童の漢字データを訓練に使用した。ひらがな，漢字の生成では，訓練に使用した児童の手書き文字を書き手ごとに各 2 3 枚スタイルとして計 500 枚使用し, 各文字 500 枚生成した. カタカナの生成では，児童の訓練データ 214 枚をスタイルとして使用し，各文字 500 枚生成した. これらの生成例を図 1 に示す。また，GAN のひらがなの生成において分解データを使用しない場合と使用した場合の生成例を図 3 に示す。

部品単位拡散モデルは文字単位拡散モデルで使用した漢字の訓練データと KanjiVG の部品画像 39,856 枚で訓練し，「児童の手書き」スタイルで各漢字 500 枚生成した. 文字単位拡散モデルに比べて字形を保って生成できているものが見られる (図 2).

## 3.3 生成結果の FID による評価

画像の分布間の距離を測る指標 Fréchet Inception Distance (FID) [11] を用いて生成モデルの品質を評価した。前節で生成した各手法の結果と児童の視写結果のテストデータとの間で計測した FIDを表 2 に示す. 小さいほど児童が書いたような字が生成されたと考えられる。ひらがなに関しては，ETLの訓練データと比較して GAN の生成した文字画像が最も児童の手書き文字に近いといえる。

## 3.4 OCR 及びアラインメント精度

OCR モデルの訓練には，まずETL と 3.2 節の生成結果を使用した。生成した結果は，各文字を 500 枚を生成し，550 枚まで水増した，各データの延べサンプル数を表 3 に示す。訓練データを以下の 5 つの

図 3: GAN の分解データなし (左) と分解データあり (右)の「ざ」「ね」「は」の生成例

表 2: 児童の視写結果のテストデータとの FID

パターンで組み合わせ，OCR モデルを訓練した：

A. ETL

B. ETL + 生成した児童の字 (文字単位拡散モデル)

C. ETL + 生成した児童の字 (部品単位拡散モデル)

D. ETL + 生成した児童の字 (ひらがな\&カタカナ：文字単位拡散モデル，漢字: 部品単位拡散モデル)

E. ETL + 生成した児童の字 (GAN)

更に，A〜Eのそれぞれに児童の手書き文字 (本物)延べ 17,987 画像を加え，モデル A'〜E'を訓練した.

訓練データに含まれない児童の字に対する OCR 及び視写結果のアラインメント精度を表 4 に示す. また，文字種類別の OCR の F1 スコアは表 5 に示す. 比較として，大人の字のみ使用しているモデル A は，訓練データに含まれない大人の字に対する正解率が 99.05, F1-Score が 99.13 である. これは大人の字と児童の字の特徴がかなり異なり，訓練データに児童の字を含めることの重要性を示している.

大人の手書き文字のみで訓練したモデル A と比較すると，拡散モデルで生成した児童の文字画像も訓練データに含めたモデル D は，F1 スコアが 8.64 ポイント向上した. また，大人の文字に少量の児童の文字を加えることで $\mathrm{F} 1$ スコアは約 12 ポイント向上している $\left(\mathrm{A} \rightarrow \mathrm{A}^{\prime}\right)$ が，そこに拡散モデルによる生成結果を加えることで，さらにF1 スコアが約 7.5 ポイント向上している $\left(\mathrm{A}^{\prime} \rightarrow \mathrm{B}^{\prime}\right)$. 以上から，スタイル変換により生成された文字画像を訓練データに含めることで，OCR の精度が向上することを確認できた。

アラインメントの評価方法について説明する。お手本と視写結果の各文字を人手でアラインしたものを正解として，アルゴリズムの出力を評価した. 具体的には，アラインメント結果において「文字の置換」によって対応づけられているお手本の文字と画表 3: OCR の訓練データ

表 4: 児童の手書き文字に対する OCR 及び視写結果のアラインメント精度

表 5: 児童の手書き文字に対する OCR の文字種類別の $\mathrm{F} 1$ スコア

像のペアに関する適合率と再現率から F1 值を計算した. 置換による対応づけの内，お手本における空白文字と視写結果における空白画像のペアは，評価から除外している.

表 4 より，児童の文字データを OCR 訓練に使った場合・使わない場合それぞれにおいて，生成した文字画像を訓練データに加えることで最も OCR 精度が向上したモデル (D および B')を用いた際のアラインメント精度が最も高いことが分かる。従って，生成文字画像による OCR の質向上は確かにアラインメント精度を高めたと言える。

## 4 おわりに

本研究では，視写課題の自動評価に向け，OCR の精度向上に取り組んだ。結果として，児童の手書き文字画像を生成し，OCR の訓練データに含めることで OCR 及びアラインメントの精度が向上したことが示された. アラインメントアルゴリズムにおけるコスト，特に「文字の挿入」と「文字の削除」のコストについては，パラメータの最適化により，より出力の精度を高めることが今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP21H04416 の支援を受けたものである.

## 参考文献

[1] 江川克弘. 視写による作文学習の効果の検証 - 大学院生を対象とした事例研究を通して -. 鳴門教育大学学校教育研究紀要, Vol. 32, pp. 209-217, 2018.

[2] Eunice N. Askov and Kasper N. Greff. Handwriting: Copying versus tracing as the most effective type of practice. The Journal of Educational Research, Vol. 69, No. 3, pp. 96-98, 1975.

[3] 中島由季子. 日本語学習における視写の効果. 国文目白, No. 59, pp. 16-32, 2020.

[4] Charlie Tsai. Recognizing handwritten japanese characters using deep convolutional neural networks. arXiv 2016.

[5] Tomoki Kitagawa, Chee Siang Leow, and Hiromitsu Nishizaki. Handwritten character generation using Yautoencoder for character recognition model training. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 7344-7351, Marseille, France, June 2022. European Language Resources Association.

[6] Konstantina Nikolaidou, George Retsinas, Vincent Christlein, Mathias Seuret, Giorgos Sfikas, Elisa Barney Smith, Hamam Mokayed, and Marcus Liwicki. WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models. arXiv preprint arXiv:2303.16576, 2023.

[7] Ulrich Apel and Julien Quint. Building a graphetic dictionary for japanese kanji: Character look up based on brush strokes or stroke groups, and the display of kanji as path data. In Proceedings of the Workshop on Enhancing and Using Electronic Dictionaries, ElectricDict '04, pp. 36-39, USA, 2004. Association for Computational Linguistics.

[8] Yuxin Kong, Canjie Luo, Weihong Ma, Qiyuan Zhu, Shenggao Zhu, Nicholas Yuan, and Lianwen Jin. Look closer to supervise better: One-shot font generation via component-based discriminator. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 13482-13491, June 2022.

[9] CHISE 漢字構造情報データベース，（2023-10 閲覧）. https://www.chise.org/ids/index.ja.html.

[10] 独立行政法人産業技術総合研究所. Etl 文字データベース,（2023-11 閲覧）.

[11] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a local nash equilibrium, 2018.


# Large-scale Vision Language Model による芸術作品 に対する説明の生成

林和樹 1 坂井優介 ${ }^{1}$ 上垣外英剛 ${ }^{1}$ 林克彦 ${ }^{2}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 2 北海道大学
\{hayashi.kazuki.hl4, sakai.yusuke.sr9, kamigaito.h, taro\}@is.naist.jp

## 概要

Large-scale vision-language models (LVLMs) は, ユー ザーから入力された画像と指示に基づき文章を生成する巨大言語モデルである. これらのモデルを画像の創作支援に利用する際には，画像の構図や工夫，他作品との比較，歴史的背景，深い芸術的な知識に基づく説明の生成が要求される. しかし LVLMが芸術作品の説明に必要な知識，及び複雑な知識間の関連をどの程度理解し，それらを統合して説明に応用できるかは，明らかにされていない，本研究では，芸術作品に関する深い知識の理解と利用を定量的に評価するための新たなタスク，データセット及び評価尺度を提案し，さらに LVLM が芸術に関する知識を伴う説明を学習するための訓練データセットも公開する。このタスクは, 芸術作品の画像とタイトルからの説明生成，及び画像のみを使用した説明生成の二つで構成され，LVLM の言語に基づく知識と視覚に基づく知識の両方を評価する．検証の結果， LVLM は元の LLM と同等の言語に基づく知識を保持しているものの，視覚に基づく知識の獲得は限定的であることが判明した。

## 1 はじめに

Vision \& Language (V\&L) では，大規模言語モデル (LLMs ; Large Language models) [1, 2,3] に，視覚エンコーダを組み合わせ学習し，視覚と言語を統合した Large scale vision language models (LVLMs) [4, 5, 6, 7] が V \& L のベンチマーク $[8,9,10,11]$ において成功を収めている。これらのモデルは，図 1 にあるように絵画や写真などの創作支援に応用された際、芸術作品の主題，その歴史的な背景，関連する他の作品や芸術の流れなどの知識を体系的に活用して説明を生成する必要があり，知識を単に個別に認識するだけでは不十分である.このように創作支援において

図 1 LVLM を用いた創作支援の具体例

は芸術に関する知識の相互関係を深く理解し，それらを総合的に説明に結びつける能力が重要となる.

既存研究として VQA[12] の枠組みで芸術作品を対象とした知識を問うタスク $[13,14, ?]$ が存在するが，これらはいずれも独立した知識を扱うものに限られ，知識を組み合わせて説明を生成する能力を評価するための新たなタスクと評価指標が求められる。

上記の問題を解決するために本研究では，LVLM の芸術作品に関する説明生成能力を測定する新しいタスクと評価尺度を提案する。提案タスクにおいて LVLM は入力された芸術作品の画像とそのタイトルに対し，与えられた指示に従う説明を生成しなければならない。我々は提案タスクを遂行するために英語版 Wikipedia $の$ artwork に該当する infobox を持つ記事 1 万件からデータセットを構築し，LVLM が芸術的な知識を伴う説明を学習するための訓練データセットも公開する。 さらに，現在様々な V \& L のべンチマークにおいて最高精度を達成している 3 つの LVLMを用いて検証を行った。検証の結果，LVLM は元となった LLM が保持する芸術に関する知識を保持していることが判明した. その一方で，芸術に

図 2 LVLM の構成. Vision Encoder と LLM を追加学習により統合する.

関する知識が視覚から与えられる情報と適切に対応づいていないということも明らかとなった.

## 2 LVLMs

本研究の対象となる LVLMs $[4,5,6,7]$ は図 2 にあるように対照学習によって学習された視覚に関する情報を司る Vision Encoder [4] と既存の LLM [1, 2, 3] を結合して視覚と言語の統合を目的とした追加学習を行うことで実現されている。これにより、パラメータが十倍以上の事前学習モデル $[15,16]$ と比較しても優れた性能が得られ，大規模なデータセットによる事前学習の必要性が再考されることとなった. 一方でこの結合は部分的なネットワークの追加によって行われるため，LLM で獲得された知識と Vision Encoder が獲得された知識とが適切に対応づけられているかは定かではない. 特に本研究が対象とする芸術に関する知識を伴う説明の生成には Vision Encoder 中の知識と LLM 中の知識を体系的に対応づけて運用する必要があり, 既存の LVLMs では対処が難しいことが予想される.

## 3 提案タスクと評価指標

本節では芸術作品に対する LVLM の説明文生成能力を検証するタスクの設定 (\$3.1)とそれに付随して提案する評価尺度 (§3.2)について説明する。

## 3.1 提案タスク

提案タスクにおいて LVLM は画像やタイトルを参照しながら与えられた指示に従う説明を生成しなければならない. 表 1 に使用する指示文の例を示す. この例のように各指示文は 3 種類の詳細度 (Section, Subsection, Sub subsection) に分けられ，これらは指示文と対応する説明が Wikipedia 記事中のどの階層から抽出されたかにより決定される。提案タスクは表 1 提案タスクにおける指示文の例. 青は指示文に対応する説明が抽出された記事のタイトルを，赤はその説明に対応する記事中の節名を表す。

 \\

このようなプロンプトを用いてタイトルの有無により異なる次の設定を扱う：

タイトルあり LVLMが創作支援をする際に，タイトルにはその作品に対する筆者の意図が含まれており，その意図も考慮しながら説明を生成することが望ましい。この設定では画像と共にそのタイトルを入力とすることで，LVLM が言語に基づく情報と視覚に基づく情報を踏まえて適切な説明の生成が可能であるかを検証する.

タイトルなし図 1 にあるように，制作過程などではタイトルが存在しないケースが存在する。そのような場合でも，画像からの視覚に基づく情報のみを用いて適切な生成が可能であるか検証する設定である。またタイトルの有無に基づく精度の差分を通じて、LVLM の純粋な視覚に基づく知識を分析することが可能である.

上記に加え，LVLM の汎化性能をより詳細に検証するため: (1) 訓練に含まれた画像を対象にした評価 (seen); (2) 訓練に含まれない画像を対象とした評価 (unseen); の両設定についての比較も行う.

## 3.2 評価尺度

評価にはモデルが生成した文章が参照とする説明にどれほど近いかを測るため，自然言語生成夕スクの評価に広く用いられている BLUE, ROUGE, BERTScore [17] を利用する. さらに芸術作品の説明生成能力に焦点を絞り評価を行うために次の三つの評価尺度を提案する ${ }^{1)}$ :

Entity Coverage 生成された文章が参照説明中の芸術作品に関するエンティティをどれだけ正確に含んでいるかを、完全一致と部分一致 [18] の二つの設定で評価する。さらに、BLEU スコアで使用されるブレビティペナルティ [19]を適用し、適切な長さでの知識の正確性を検証する。
$ に記載.
}

図 3 データ作成の概要図.

Entity F1 生成された説明と参照とする説明中に含まれる芸術作品に関するエンティティの出現頻度を評価する. ROUGE を参考にして生成された説明または参照とする説明中に含まれるエンティティのいずれかの出現頻度のうち最大のものを出現頻度の上限とし, 再現率と適合率を計算することで、エンティティの適切な使用頻度を評価する。

Entity Cooccurrence この尺度は, 独立したエンティティのカバー率だけでなく，それらの間の関連性を文脈的にどのように組み合わせて全体の説明を形成しているかを評価する．具体的には、ある文のエンティティと前後 $\mathrm{n}$ 文中で出現するエンティティとを共起したとみなし，その共起のカバー率を評価することで，モデルが知識の関連性をどの程度理解し統合しているかを明らかにする． $\mathrm{n}$ の值を生成された説明中の文の数以上に設定することで，文章全体にわたるエンティティのペアの共起を考慮することが可能になる．なお，説明が長くなることによるカバー率の上昇を防ぐために, Entity Coverage と同様にブレビティペナルティを導入した.

## 4 データセットの作成

図 3 にデータ作成の概要を示す. データ作成の各ステップは次のように行われる:
STEP1 英語版 Wikipedia の artwork に該当する infobox を持つ記事全て（約 10,000）を収集し，節ごとに分割して説明文を作成した。さらに記事中でハイパーリンクになっている文字列を芸術に関するエンティティとして抽出した. 各説明文は対応するタイトル，含まれていた節の階層情報 (Section， Subsection, Sub subsection), 画像, 上記のエンティティの四つの情報を伴う.

STEP2 芸術に関する説明とは無関係な節，画像のない記事，固有の芸術作品でない記事に含まれる説明を除外した。

STEP3 芸術作品が LVLM の学習データに含まれるなどの知名度によって生じる偏りを防ぐため, データの並び替えを実施した．まず，ページ閲覧数, リンク数, 編集回数, 参照数, 言語版数, 記事の長さの六つの指標でデータをランク付けし，これらの平均ランキングが維持されるよう，テスト，開発，トレーニングデータを $1: 1: 8$ の比率で均等に分割した。

STEP4 分割されたデータをさらに第 3.1 節で紹介したような指示文に変換した．変換に際して訓練データには多様性を確保するため，7つの異なるテンプレートを用意した.
表 2 LVLM におけるタイトルあり設定とタイトルなし設定の検証結果

表 3 LLM における検証結果 (unseen) なお，LLM は視覚情報を扱わないためタイトルあり設定にて実施.

## 5 実験

設定検証には mPLUG-Owl2 [7], LLaVA-1.5 [5], Qwen-VL [6] の三つのモデル，および Qwen-VLを本研究で作成したデータで追加学習したモデル Qwen-VL (FT) を使用した. 実験設定の詳細については付録 Dに記載した。

結果表 2 に結果を示す. BLUE, ROUGE, BERTScore, Entity Coverage においては, Qwen-VL が一貫して最も高い性能を達成している. モデル間やタスク設定による大きな差が見られない. このことより本タスクにおける提案尺度の有効性を読み取ることができる. また Qwen-VL (FT) が全ての尺度で最高精度を達成していることから我々が作成したデータの有効性が確認された. さらに、タイトルの有無を比較した場合、全てのモデルでタイトルが無い場合の方が精度が低く，LVLMs は画像情報のみから知識を活用することが難しく，テキストから獲得される知識に頼っていることが示唆される.
この点について我々はさらなる検証を実施した。表 3 は各 LVLM の元となる LLM においてタイトル有り設定で説明を生成した際の結果を示す。これにより、視覚と言語の統合学習によってどの程度 LLM の知識が継承されているかを分析することができる。表 3 からは、芸術作品に関する知識において、Llama2 と Vicuna の性能が良く、Qwen の性能が低いことが分かる. 本研究の提案する尺度に注目して LLM と LVLMを比較すると, mPLUG-Owl2 と LLaVA-1.5 では視覚と言語の統合学習によって芸術に関する知識が損なわれていることが分かる。一方で，Qwen-VLでは統合によりタイトル有り設定で $10 \% も$ 性能が向上しており，視覚と言語の間の知識の統合がうまく行われていることが分かる.これは，Qwen-VL がタイトル無し設定で他モデルより優れていることとも符合する。

## 6 まとめ

本研究では，芸術作品に関する深い知識の理解と利用を定量的に評価するためのタスクとデータセッ卜及び評価尺度を提案した. 芸術作品の画像とタイトルからの説明生成，及び画像のみからの説明生成の二つで構成される提案タスクにより LVLMを検証した結果，LVLM は元の LLM が持つ芸術に関する知識を保持しているが，視覚に基づく芸術に関する知識の獲得は限定的であることが判明した.

## 謝辞

本研究は JSPS 科研費 JP23H03458 の助成を受けたものです.

## 参考文献

[1] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[2] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with $90 \% *$ chatgpt quality. 2023. arXiv:2309.16609.

[3] Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, and Tianhang Zhu. Qwen technical report. 2023. arXiv:2309.16609.

[4] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint arXiv:2301.12597, 2023.

[5] Haotian Liu, Chunyuan Li, Yuheng Li, and Yong Jae Lee. Improved baselines with visual instruction tuning. arXiv preprint arXiv:2310.03744, 2023.

[6] Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, and Jingren Zhou. Qwen-vl: A frontier large vision-language model with versatile abilities. arXiv preprint arXiv:2308.12966, 2023.

[7] Qinghao Ye, Haiyang Xu, Jiabo Ye, Ming Yan, Haowei Liu, Qi Qian, Ji Zhang, Fei Huang, and Jingren Zhou. mplug-owl2: Revolutionizing multi-modal large language model with modality collaboration. arXiv preprint arXiv:2311.04257, 2023.

[8] Shuai Bai, Shusheng Yang, Jinze Bai, Peng Wang, Xingxuan Zhang, Junyang Lin, Xinggang Wang, Chang Zhou, and Jingren Zhou. Touchstone: Evaluating visionlanguage models by language models, 2023.

[9] Bohao Li, Rui Wang, Guangzhi Wang, Yuying Ge, Yixiao Ge, and Ying Shan. Seed-bench: Benchmarking multimodal $1 \mathrm{lms}$ with generative comprehension. arXiv preprint arXiv:2307.16125, 2023.

[10] Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Jinrui Yang, Xiawu Zheng, $\mathrm{Ke} \mathrm{Li}$, Xing Sun, et al. Mme: A comprehensive evaluation benchmark for multimodal large language models.
arXiv preprint arXiv:2306.13394, 2023.

[11] Yuan Liu, Haodong Duan, Yuanhan Zhang, Bo Li, Songyang Zhang, Wangbo Zhao, Yike Yuan, Jiaqi Wang, Conghui He, Ziwei Liu, et al. Mmbench: Is your multimodal model an all-around player? arXiv preprint arXiv:2307.06281, 2023.

[12] Ahmed Frikha Yezi Yang Denis Krompass Gengyuan Zhang Jindong Gu Volker Tresp Yao Zhang, Haokun Chen. Cl-crossvqa: A continual learning benchmark for crossdomain visual question answering. Vol. 2211.10567, , 2022. Computer Vision and Pattern Recognition (cs.CV).

[13] Noa Garcia, Chentao Ye, Zihua Liu, Qingtao Hu, Mayu Otani, Chenhui Chu, Yuta Nakashima, and Teruko Mitamura. A dataset and baselines for visual question answering on art. In Computer Vision - ECCV 2020 Workshops: Glasgow, UK, August 23-28, 2020, Proceedings, Part II, Vol. 16, pp. 92-108. Springer, 2020.

[14] Eva Cetinic. Towards generating and evaluating iconographic image captions of artworks. J. Imaging, 2021. To be published in Proceedings of the European Conference in Computer Vision Workshops 2020.

[15] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. Advances in Neural Information Processing Systems, Vol. 35, pp. 23716-23736, 2022.

[16] Danny Driess, Fei Xia, Mehdi SM Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, et al. Palm-e: An embodied multimodal language model. arXiv preprint arXiv:2303.03378, 2023.

[17] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[18] Haonan Li, Martin Tomko, Maria Vasardani, and Timothy Baldwin. MultiSpanQA: A Dataset for Multi-Span Question Answering. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1250-1260, 2022.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 評価尺度の数式

下記に §3.2で提案した評価尺度の詳細について数式を用いて説明する. なお，下記説明では生成された $\mathrm{n}$ 文からなる説明を $G=\left.\{g_{1}, \cdots, g_{n}\right.\}, \mathrm{m}$ 文からなる参照説明を $R=\left.\{r_{1}, \cdots, r_{n}\right.\}$ とする. また入力されたテキストに含まれるエンティティを抽出して返す関数をEntity ( $\cdot)$ として定義する。なお， $|G|$ は生成された説明に含まれる全トークン数を， $|R|$ は参照説明に含まれる全トークン数をそれぞれ表す。

Entity Coverage $(E C)$ は次にように計算される:

$
\begin{aligned}
& E C(G, R)=B P(G, R) \times \operatorname{Cov}(G, R) \\
& B P(G, R)=\exp (\max (0.0,|G| /|R|-1))
\end{aligned}
$

ここで $\operatorname{Cov}(G, R)$ は $\mathrm{R}$ 中のエンティティが $\mathrm{G}$ によカバーされた割合を返す関数である。なお部分一致を行う際には Lowest Common Subsequence (LCS) を用いて参照エンティティの長さに対して生成された説明中で一致する最長の長さの割合を一致率とした.

Entity F1 $\left(E F_{1}\right)$ は次のように計算される:

$
\begin{aligned}
E F_{1} & =\frac{2 \times P \times R}{P+R} \\
P & =\frac{\sum_{e_{i} \in G} \operatorname{Count}_{\text {clip }}\left(e_{i}, G, R\right)}{\sum_{e_{j} \in G} \#\left(e_{j}, G\right)} \\
R & =\frac{\sum_{e_{i} \in R} \operatorname{Count}_{\text {clip }}\left(e_{i}, G, R\right)}{\sum_{e_{j} \in R} \#\left(e_{j}, R\right)},
\end{aligned}
$

ここで $\#\left(e_{j}, G\right), \#\left(e_{j}, R\right)$ はそれぞれエンティティ $e_{j}$ が $G$ 及び $R$ において何回出現したかを表す関数であり, $\operatorname{Count}_{\mathrm{clip}}\left(e_{i}, G, R\right)$ は $e_{i}$ の Gまた Rにおける少ない方の出現頻度を返す関数である.

Entity Cooccurrence (ECooc) は式 (2)の BPを用いて次のように計算される:

$E \operatorname{Cooc}(G, R)=B P(G, R) \times \operatorname{Cov}(\operatorname{Co}(G), \operatorname{Co}(R))$, (6)

ここで関数 $C o(\cdot)$ はある文とその前後 $\mathrm{n}$ 文のコンテキスト窓において共起したエンティティの組みを返却する. 文への分割には nltk の文分割器を用いた.

## B タイトル生成の精度

表 4 image 情報からの title 生成の精度

本研究で提案するタスクでは，タイトルあり設定とタイトルなし設定の差を分析の基盤としてい
る.そのため，どちらの設定においても，エンティティに芸術作品のタイトルが含まれないようにしている.しかし、タイトルは芸術作品において最も直感的な知識の一つである. したがって, 芸術作品の画像とプロンプトに”Please answer the title of this artwork" と与えた際に，モデルがどの程度純䊀な画像情報のみからその芸術作品のタイトルを生成できるかの追加検証を行った。

表 4 のように、画像情報からタイトルを生成することは可能であるものの、テストセットにおける生成精度は約 1 \%前後にとどまっている.これは、 LVLMs（Language-Vision Latent Models）において画像と知識の結びつきが弱いことを示唆している.この結果から, 改めて LVLMs が画像から知識生成する過程において、まだ改善の余地があると考えられる。

## C 作成したデータセットの詳細

表 5 作成データセットの画像とデータの数

## D 実験設定の詳細

mPlug-Owl2，Llava-v-1.5，Qwen-VL は性能比較が実装の違いにより不公平にならないように，実験は全て RTX $6000 \mathrm{Ada}$ の 1GPU で生成させた. 生成 token を統一させるために max_token_length を 1024 で統一した. Fine tunning は RTX 6000 Adaを用いて， ハイパラメータは公開されている

表 6 実験に使用したハイパーパラメータ. 記載していないパラメータについては初期設定を用いている. $[4,5,6,7]$


# Vision Language Model が持つ画像批評能力の評価手法の提案

$\dagger$ 齊藤成輝 1 †林和樹 2 †井手佑翼 ${ }^{2}$ 坂井優介 ${ }^{2}$
鈴木刀磨 ${ }^{2}$ 郷原聖士 ${ }^{2}$ 大西雄真 1
士上垣外英剛 2 林克彦 1 渡辺太郎 2
1 北海道大学 2 奈良先端科学技術大学院大学
‡kamigaito.h@is.naist.jp

## 概要

Large-scale vision language models（LVLMs）は，画像を基に文章を生成する LLM である。本研究では LVLMs の応用として，画像の良い点や悪い点を批評するタスクを考えるが，LVLMs がそのような能力をどの程度備えているのかは明らかとなっていない.そのため, 本研究では LVLMs の画像批評能力を評価する手法を提案し，人間のアノテータによって付けられた批評文の優劣と LVLMs によって判断される批評文の優劣にどの程度の相関が見られるか調査した。提案手法で作られた評価用データセットに対して，一般に性能が高いとされている LVLM ほど人間との間に正の相関が見られ，評価手法として一定の妥当性が確認された。

## 1 はじめに

大規模言語モデル（LLMs; Large Language Models） [1] は，視覚基盤モデル [2]との統合により，入力された画像を基に文章を生成する能力を獲得した.このように視覚と言語の融合（V\&L）を実現した Large-scale vision language models (LVLMs) [3, 4, 5, 6, 7, 8, 9] は，V\&L のベンチマークにおいて大きな成功を収めており，更なる応用への可能性が期待されている.

こうした応用の可能性の一つとして，LVLMを使った画像への批評が挙げられる。例えば，写真や絵画などの画像コンテストでは専門家の批評に基づいて優れた画像が選ばれるが，批評は高度で複雑な作業となる. そのため, LVLM を用いた画像批評を実現できれば，画像コンテストを自動化し，それを日常的に開催することも可能となる. 画像作品に対する批評が気軽に得られることで，ユーザは作品の良い点や悪い点を簡単に知ることができ，画像制作技術の向上にも繋がる.

朝焼けの空に映し出される大
きなアンテナと微細な月が組
み合わされて美しいコントラ
ストを生み出しています。
しかし、アンテナの下部はや
や暗く、詳細が吥明瞭になっ
ているため-明るさの調整が
必要かもしれません。

図 1 批評文の例：画像の情報と整合性が取れており，できる限り客観的な視点から良い点と悪い点に言及.

画像への批評では, 基本的に, 画像の内容と一致する情報を捉えた上で，その良い点と悪い点をできる限り客観的な視点から説明する必要がある（図 1). 従って，まずは，これら二つの基本的な能力

・画像の内容と整合性の取れた情報を捉える能力

・できる限り客観的な視点で批評する能力

を考えることで，LVLMs が画像の批評能力をどの程度備えているのか評価する。本研究で提案する手法は，同一の画像に対して，強力な LVLM（本研究では GPT-4Vを使用）によって生成された 5 種類の批評文を，画像との整合性，客観性，文章の流暢性に基づいて人間のアノテータが順位付けする。 また，他の LVLMを用いて，画像・批評文生成用 prompt ・生成された批評文の三つ組から Perplexity を計算し，それに基づいて， 5 種類の批評文の順位を計算する。この結果と人間がアノテーションした結果の順位相関からモデルの性能を評価する。

実験では，様々なジャンルの良質な画像が掲載されている英語版 Wikipedia の「Featured pictures」項目から 207 枚の画像を取得した. 取得した画像と, それに対応する 5 種類の批評文，及び人間による順位付け評価結果を，LVLM の批評能力の評価用デー タセットとする。データセットは英語と日本語版の 2 種類を作成した.アノテーション結果から日英共

図 2 提案手法の概略：LVLM が持つ画像の批評能力を評価するための手法.

に，100 枚を超える画像に対して，2 名のアノテー タ間で平均として 0.7 を超える強い相関が確認された。また，評価用データセット上で，三つの LVLMs に対して，Perplexity に基づく順位を計算し，人間のアノテーション結果と順位相関を計測したところ，一般に性能が高いとされている LVLM ほど人間との間に正の相関があることが明らかとなった.

データセットや各種プログラムは公開してお $り^{1)}$ ，今後更なる発展が期待される LVLMs の画像批評能力の検証などに利用できる.

## 2 関連研究

## 2.1 LVLM

近年，LLM は顕著な成功を収めており，言語だけでなく画像や音楽など，多様な入力形式との統合が進んでいる. 本研究では，特に画像入力を統合した LLM である LVLM に焦点を当てる. 初期段階の研究である Flamingo [3] は, 現在の基本となる Visual Encoder と LLM の結合の可能性を示した. これは少数またはゼロショットでの Visual Question Answering（VQA）において優れた性能を発揮した.後続の研究では, 画像を用いた Instruction Tuning で少量のデータでも高い性能を示した LLaVa [5, 6], Visual Encoderを再学習して画像との整合性を高めた mPLUG-Owl $[7,8]$, 位置関係を認識する Vision Language Adapterを組み込み，キャプション生成など幅広い視覚中心の V\&L タスクにおいて最高精度を達成した Qwen-VL [9] などが提案されてきた.

## 2.2 LVLM の評価

初期段階の LVLM の研究では，多様なサブタスク $[10,11]$ における評価が主に行われていた。しかし，LVLM の進展に伴ってその応用範囲は広がり， LVLM が持つ知覚や認知などの高度な能力に焦点を当てた手法での評価へと遷移した $[12,13,14]$. 最近では，評価対象の～LVLM が互いに評価し合う手法や，評価者や評価の補助として強力な LVLM（例えば GPT-4V）を活用する手法など，LVLM 自体を活用する手法が増えている. 本研究のように，データ作成に GPT-4V を利用する方法も模索されている $[15,16,17,13,14]$.

## 3 提案手法

本節では LVLMs が持つ批評能力を評価するための提案手法について説明する。提案手法は, 図 2 に示す通り, 以下の 3 つのステップから構成される.
- 5 種類の批評文の生成

-人間と LVLMによる順位付け
- 順位相関の計測

次節以降では，各ステップの詳細を説明する。

## 3.15 種類の批評文の生成

まず，画像を複数ジャンルからバランス良く収集し，各画像ごとに 5 種類の批評文を生成する。

画像の取得英語版 Wikipedia の「Featured pictures」項目から画像を取得する。「Featured pictures」項目は，Wikipedia に掲載されている写真，イラスト，図表の中で，特に優れたものをユーザの投票に

より選出した項目である。この項目には，美術作品, 自然景観, 歴史的出来事, 科学など多様なジャンルの良質な画像が掲載されている。このように，画像コンテストと類する場面で選出され, 主題が明瞭で良質な画像で構成されている特徴を踏まえ，「Featured pictures」項目を画像の取得元に選んだ。

批評文の生成批評文の生成には，GPT-4V を使用する. 研究目的を考慮すると，批評対象となる幅広い種類の画像に対して，深い知識を持つ専門家が，批評文を人手で作成することが理想的である。 しかし，実際には，そのような幅広い専門家を集めることは現実的ではない。また，非専門家が外部知識を参照しつつ批評文を作成する方法も考えられるが，これには膨大な時間と労力が必要となる.

我々の事前調査から，GPT-4Vにより生成される批評文は，非専門家が作成するものと比較して高品質であり，研究目的を満たすのに十分な品質であることが確認された. この調査結果に基づき, 本研究では GPT-4Vを使用して批評文を生成した.

GPT-4V で簡易に温度パラメータを変化させて異なる批評文を生成した場合，文章の品質にほとんど差がなく，人間による順位付けが困難となる。そのため，下記に示すように prompt を工夫して，異なる 5 種類の批評文を生成する. prompt の赤字の箇所で

Please describe five different review texts about the good points and room for improvement of the image, following the constraints below:

I. Each review text should have different content.

2. The length of each review text should be almost the same.

3. Do not include bullet points within the review texts.

4. The review texts should be described in the following order "Objective and reasonable," "Subjective but reasonable,

"Objective but unreasonable," "Subjective and unreasonable," and "Subjective and containing an error."

5. Each review text should describe both the good points and room for improvement of the image.

6. If the image has no room for improvement, explicitly state that within the review text.

は，整合性（reasonable で誤りを極力含まない）・客観性（Objective）という点を重視し，5 種類の指定を記述した. 整合性が reasonable となっているのは, prompt エンジニアリングの結果である。一般に，批評は主観性を伴うものであるが，画像コンテスト等での利用を考えると，整合性を前提として，客観性をできるだけ重視する必要がある．そのため，生成される 5 種類の批評文は前から順に質の高いものが生成されることを仮定する．実験では，この順位 （prompt 順位）とアノテートされた順位との相関を計測することで，この仮定の妥当性を裏付ける。
また，生成した批評文には「Note: This review contains an error as the stars are not blurred in the image provided」のような批評文自体を否定する一見矛盾した表現が末尾に含まれる場合がある.これは ChatGPT が強化学習による人間のフィードバック （RLHF）[18] に基づいて出力を制御しているために生じる現象と考えられる。このような表現は，人手によるチェックを行い，該当する文を削除した。

## 3.2 順位付け

次に，取得した各画像に対する 5 種類の批評文をアノテータとLVLMによって順位付けする。

アノテータ本研究では日本語と英語の批評文を作成する。順位付け作業を行う前に，下記に示される詳細な説明と指示を行い，評価の一貫性を確保した. 以下は英語の説明と指示であり，日本語データのアノテータにはこれを日本語にしたものを与える (付録 A. 1 参照)，概要として，画像に含まれる情報

Below are the images and their review texts. Please rank the review
text of each image from I to 5 , in order of appropriateness. Please
note that the numbers from I to 5 are not scores but rankings, and
the smaller the number, the more appropriate it is. There should be
no ties, and each rank from I to 5 should always appear once.
Please judge the appropriateness by the following aspects in the
following order. That is, first, rank the texts by truthfulness. If
there are equally truthful texts, rank them by consistency. Similarly,
if they are equal also in consistency, rank them by informativeness;
if they are equal also in it, rank them by objectivity; if they are
equal also in it, rank them by fluency.
1. Truthfulness: Is it free of false information?
2. Consistency: Does it correspond to the image?
3. Informativeness: Does it describe detailed information or
features of the image?
4. Objectivity: Is it an objective description?
5. Fluency: Is it grammatically correct?
If the text contains unfamiliar information, you may use a dictionary
or search engine. However, please do not use a generative AI such
as ChatGPT or image search.

と整合性があり，客観的で流暢性の高い批評を重視する指示となっている． 5 つの批評文は，提示する順序から質を推測できてしまう状況を避けるため, シャッフルしたうえでアノテータに提示する.

LVLM LVLMによる順位付けには，Perplexityを使用する. Perplexity は，あるサンプルの文章がモデルに与えられたとき，モデルがその文章をどの程度予測できるかを示し，サンプルの文章に対するモデルの不確実性を表す。本研究では，「Please describe a review text about the good points and room for improvement of the image」という prompt，画像及び批評文を，評価対象の LVLM に与え Perplexityを計測する。ここで，Perplexity が低いほど，LVLM の鑑賞文に対する不確実性が低い，つまり，その LVLM
日本語

英語

同一画像に対してのアノテータ間相関の閾値

図 3 画像枚数と各種相関の変化: 棒グラフは閾値を超える画像枚数，折れ線グラフは各種相関を表す。

にとって予測可能性が高い批評文と考えられる。

## 3.3 順位相関の計測

最後に，人間のアノテータと LVLM の順位付けの結果から，両者の順位相関を測定し，平均する. この測定には，スピアマンの順位相関係数を使用する.この係数は， -1 から 1 の範囲の值をとり， -1 は完全な逆順を，1 は完全な同順を示す. 順位相関が高い場合，つまり係数が 1 に近い場合，人間のアノテータが「優れている」と判断した批評文は， LVLM にとって予測可能性が高く，また「劣っている」と判断した批評文は，予測可能性が低いと言える。従って，人間との順位相関が高い LVLM ほど，批評文の評価能力は高いと考える. 本研究では，各画像について測定した順位相関の平均を報告する。

## 4 検証

画像データの取得本研究では，Wikipedia の 「Featured pictures」における 15 のジャンルから合計で 207 枚の画像を取得した.ジャンルは Animals,

表 1 LVLM・アノテータ間の相関。

Artwork など多岐に渡る（詳細は付録 A. 2 を参照）。

人手アノテーション日本語データへのアノテー ションは，2 名の日本語母語話者が行った. 英語データのアノテーションは，ネイティブ及びそれに準ずる英語リテラシを持つアノテータ 2 名を採用した. 人手によるアノテーションの結果，一部の画像ではアノテータ間で評価が大きくバラついていることが確認された。そのため，アノテータ間の相関に閾値を設けて，画像のフィルタを行った。図 3 は残る画像枚数・prompt 順位と各アノテータの相関・アノテータ間の相関の三つを示している.この結果より，閾値を 0.4 とした場合，日・英両方で平均として 0.7 を超える強い相関が確認され，更に，100 枚以上の画像が基準を満たすことが確認できた.

また，整合性及び客観性を重視する批評文生成において，本研究の prompt では，前から順に質の高いものが生成されることを仮定していたが，図 3 に示される prompt 順位と各アノテータの強い正の相関より，この仮定にはある程度の妥当性があることが確認された。

結果評価対象の LVLMs としては，mPLUGOwl [7]，mPLUG-Owl2 [8]，Qwen-VL [8]の3つを採用した. LVLM とアノテータの間で順位付けがどれほど一致するか測るため，順位相関係数を計算した。各 LVLM について，2 人のアノテータそれぞれとの相関を計算し，その平均を LVLM・アノテータ間相関とした．結果を，表 1 に示す。検証の結果，日英両言語で，Qwen-VL，mPLUG-Owl2，mPLUG-Owl の順にアノテータとの相関が高くなった.

## 5 まとめ

本研究では，LVLMs の応用として画像批評タスクを考え，基本的な批評能力と考える，画像と整合性のある情報を捉える能力，できる限り客観的な視点から分析する能力を明らかにするための新しい手法を提案する。 3 種類の LVLMs にて検証した結果，一般に性能が高いとされている LVLM ほど人間との間に正の相関が見られ，評価手法として一定の妥当性が確認された。本研究で作成した評価用のデータセットは公開予定である.

## 謝辞

本研究は JSPS 科研費 JP23H03458 の助成を受けたものです.

## 参考文献

[1] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

[3] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. Advances in Neural Information Processing Systems, Vol. 35, pp. 23716-23736, 2022.

[4] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint arXiv:2301.12597, 2023.

[5] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning, 2023.

[6] Haotian Liu, Chunyuan Li, Yuheng Li, and Yong Jae Lee. Improved baselines with visual instruction tuning. arXiv preprint arXiv:2310.03744, 2023.

[7] Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, et al. mplug-owl: Modularization empowers large language models with multimodality. arXiv preprint arXiv:2304.14178, 2023.

[8] Qinghao Ye, Haiyang Xu, Jiabo Ye, Ming Yan, Haowei Liu, Qi Qian, Ji Zhang, Fei Huang, and Jingren Zhou. mplug-owl2: Revolutionizing multi-modal large language model with modality collaboration. arXiv preprint arXiv:2311.04257, 2023.

[9] Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, and Jingren Zhou. Qwen-vl: A frontier large vision-language model with versatile abilities. arXiv preprint arXiv:2308.12966, 2023.

[10] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In International Conference on Computer Vision (ICCV), 2015.

[11] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pp. 740-755.
Springer, 2014.

[12] Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Jinrui Yang, Xiawu Zheng, $\mathrm{Ke} \mathrm{Li}$, Xing Sun, et al. Mme: A comprehensive evaluation benchmark for multimodal large language models. arXiv preprint arXiv:2306.13394, 2023.

[13] Bohao Li, Rui Wang, Guangzhi Wang, Yuying Ge, Yixiao Ge, and Ying Shan. Seed-bench: Benchmarking multimodal $1 \mathrm{lms}$ with generative comprehension. arXiv preprint arXiv:2307.16125, 2023.

[14] Shuai Bai, Shusheng Yang, Jinze Bai, Peng Wang, Xingxuan Zhang, Junyang Lin, Xinggang Wang, Chang Zhou, and Jingren Zhou. Touchstone: Evaluating visionlanguage models by language models, 2023.

[15] Peng Xu, Wenqi Shao, Kaipeng Zhang, Peng Gao, Shuo Liu, Meng Lei, Fanqing Meng, Siyuan Huang, Yu Qiao, and Ping Luo. Lvlm-ehub: A comprehensive evaluation benchmark for large vision-language models. arXiv preprint arXiv:2306.09265, 2023.

[16] Yuan Liu, Haodong Duan, Yuanhan Zhang, Bo Li, Songyang Zhang, Wangbo Zhao, Yike Yuan, Jiaqi Wang, Conghui He, Ziwei Liu, et al. Mmbench: Is your multimodal model an all-around player? arXiv preprint arXiv:2307.06281, 2023.

[17] Yonatan Bitton, Hritik Bansal, Jack Hessel, Rulin Shao, Wanrong Zhu, Anas Awadalla, Josh Gardner, Rohan Taori, and Ludwig Schimdt. Visit-bench: A benchmark for vision-language instruction following inspired by realworld use. arXiv preprint arXiv:2308.06595, 2023.

[18] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744. Curran Associates, Inc., 2022.

## A 参考情報

## A. 1 日本語データの作成

日本語データの作成に使用した prompt と，アノテータへの指示文を以下に載せる。

## A. 2 画像データのジャンル内訳

下記に取得した画像データにおける 15 のジャンルとその内訳を示す. () 内は取得した画像数を表す.

Animals (17) / Artwork (17) / Culture, entertainment, and lifestyle (16) / Currency (15) / Diagrams, drawings, and maps (15) / Engineering and technology (17) / Natural phenomena (15) / People (14) / Places (17) / Plants (16) / Sciences (15) / Space (15) / Vehicles (5) / Other lifeforms (3) / Other (10)

## A. 3 GPT-4V の評価

GPT-4V に対しても順位付けによる評価を行った。 なお，GPT-4V は Perplexityを算出できないため，アノテータと同様に, 画像・指示文・批評文の三つ組みから順位付けを行った。順位付けの結果から人間のアノテータとの順位相関係数を算出し, 同一画像に対するアノテータ間相関に閾值を設け，その值に対応する順位相関係数の結果を図 4 にまとめた. 与えた指示文は以下に載せる。

図 $4 \mathrm{GPT}-4 \mathrm{~V}$ の評価.