# Recurrent Memory Transformer for Incremental Summarisation of extremely long text

Kaifan Li $\quad$ Shuntaro Yada Eiji Aramaki
Nara Institute of Science and Technology
\{li.kaifan. ln9, s-yada, aramaki\}@is.naist.jp
}

\begin{abstract}
Pupular transformer-based language models are often constrained with a limited number of input length, resulting in subpar performance on the task of long-text summarisation. Prior work has attempted to alter the model's internal architecture to accommodate longer inputs. Even if a model supports longer input texts, limited RAMs in university laboratories and edge devices prohibit us from unleashing that input length. We, thus, explore the task of long-text summarisation based on Recurrent Memory Transformer (RMT) which provides an external memory for the transformer-based models without modifying the internal structure, and further proposed RMT-Summ. To demonstrate the validity of RMT-Summ, we introduce an incremental summarisation task, and built a dedicated dataset from PubMed medical articles containing structured abstracts. Our experimental results show that an RMT-Summ powered BART model performed better than the baseline original BART by 1.24 points in ROUGE-1.
\end{abstract
## 1 Introduction

Large language Models (LLMs) play a pivotal role in NLP. Self-attention, as the foundation of LLMs, suffers from limitation of the input length due to the quadratic computational complexity. Pupular transformer-based language models are often constrained with a limited number of input tokens, such as around $1 \mathrm{~K}$ to $4 \mathrm{~K}$. Since this constraint harms long-text processing tasks (e.g. summarisation and complex dialogue), previous work has attempted modifications to the self-attention mechanism to accommodate longer inputs. Despite the model's support for longer text inputs, the increased length places a burden on RAM, making the utilization of the model less feasible for typical university laboratories and edge devices.

Figure 1 Overview of Incremental summarisation task: The source text is firstly segmented based on its discourse structure. Subsequently, each segment is fed into the summarizer to generate a summary that encapsulates all previously mentioned content.

Figure 2 Overview of RMT-Summ structure for Incremental Summarisation task.

To address the former constraint, Recurrent Memory Transformer (RMT) [1, 2] was proposed, which is simple yet effective external memory mechanism for the models suffering from limited input length, by directly incorporating randomly initialized special tokens into the prefix of the input embeddings. Despite the excellent performance of RMT in Natural Language Understanding tasks such as enwik8 and WikiText-103, its effectiveness in Natural Language Generation remains to be validated. Hence, we apply the idea of RMT into an encoder-decoder architecture, aligning better with the sequence-to-sequence task. Furthermore, we refine the training objective in this context, referring to this variant as RMT-Summ. Specificlly, for an extremely long text, we initially segment it and then process each segment in turn. During this process,
the memory tokens of RMT-Summ are inserted into the embeddings of the input to preserve the memory of previous segment through the depth propagation, and facilitate memory transmission between segments. RMT and RMTSumm does not alter the internal structure of the model; therefore, in a plug-and-play manner, RMT-Summ can effectively integrates with various transformer-based models and other additional technologies.

To validate the effectiveness of RMT-Summ, we introduce a novel incremental summarisation task shown in Figure 1: a long text is inputted per segment; the model must output summarisations of the current segment along with all the past segments so far. Notably, this summarisation task deviates from just summation or cumulation of segmented summaries because it should occasionally modify (edit) the past summary, where the model must memorise the past segments.

Based on this definition, we created a sub dataset from the PubMed that contains structured abstracts for experiments. The experimental results showed a substantial enhancement in the performance of the RMT-Summ powered BART compared to the baseline original BART.

## 2 Related Work

The most straightforward approach to address the longtext summarisation is by directly truncating the input text, often achieved by directly extracting the initial segment up to the maximum input length of the PLMs. However, this method is significantly impacted by lead bias [3].

To minimize the information loss, it's essential to extend the length constraints of the PLMs while controlling computational resource consumption. Previous research has primarily attempted breakthroughs from two perspectives: Effective Attention (Sec. 2.1) and the Divide \& Conquer strategy (Sec. 2.2).

## 2.1 Effective Attention

A popular method is to replace full-attention mechanism with fixed-patterns to achieve more effecient model inference. Longformer [4], as a seminal work, introduced a hybrid attention mechanism that utilizes a form of local attention known as slidng window attention. This alteration allowed Longformer to extend its maximum sequence length up to 16,384 tokens. BigBird [5] introduced random attention on top of Longformer, allowing each token to randomly access several tokens from other positions.

The fusion of BigBird and Pegasus [6] at that time resulted in a significant improvement and achieved the stateof-the-art (SOTA) performance across long-text summarisation datasets. LongT5 [7], upon the local attention, introduced Transient Global Attention, which avoids token selection or adding extra tokens for global attention. Instead, it dynamically constructs global tokens before selfattention at each step.

However, since these models reconstructed selfattention, retraining on large-scale corpora is required, which introduced additional computational overhead. Our RMT-Summ, as a plug-and-play approach, efficiently leverages pre-trained models and requires only limited computational resources for fine-tuning.

## 2.2 Divide \& Conquer

Traditional text summarisation tasks often involve generating a single summary for an entire text. However, with the increase in text length, such as in scientific papers datasets [8], long texts are often structured by sections or chapters.

Multiple prior works attempted to decompose the task of long text summarisation into a multi-step process. DANCER [9] is a representative work, which initially divides long text into multiple non-overlapping segments based on semantic structures. Subsequently, each segment is individually modeled and processed. Finally, the generated summaries for each segment are concatenated together. $\operatorname{SUMM}^{N}$ [10] adopts a similar approach by initially segmenting documents into multiple sections. It generates coarse-grained summaries for each segment and subsequently integrates these coarse-grained summaries to produce finer-grained summaries.

Unlike prior research, we introduce an extra memory prefix that pass salient information throught a segmentlevel recurrence. This memory prefix efficiently transfers crucial information between different sections, enhancing the generation of more precise summaries.

## 3 Methods

## 3.1 Recurrent Memory Transformer

Since our proposed method RMT-Summ (Sec. 3.2) is highly based on the seminal work, Rucurrent Memory

Transformer (RMT) [1,2], we introduce its foundation first. Compare to a prior long-text model called Transformer-XL [11], RMT utilizes a set of global tokens as memory units instead of directly caching the hidden states of the entire segment. RMT adopted a decoder-only architecture in their first work [1]. Due to the unidirectional nature of the decoder, within RMT, the memory unit is divided into read and write modules. The read cell in the prefix part serves as the continuation of memory from the previous segment, while the write cell acts as the storage for the memory of the current segment. Specifically, for time step $\tau$ and segment hidden representations $H_{\tau}^{0}$, the segmentlevel recurrence implementation in RMT is realized by the following equations:

$
\begin{gathered}
\tilde{H}_{\tau}^{0}=\left[H_{\tau}^{\text {mem }} \circ H_{\tau}^{0} \circ H_{\tau}^{\text {mem }}\right] \\
\bar{H}_{\tau}^{N}=\text { Transformer }\left(\tilde{H}_{\tau}^{0}\right) \\
{\left[H_{\tau}^{\text {read }} \circ H_{\tau}^{0} \circ H_{\tau}^{\text {write }}\right]:=\bar{H}_{\tau}^{N}}
\end{gathered}
$

Here $N$ represents the number of transformer layers, while $\circ$ represente the concatenate operation.

In the model's embedding layer, the prefix and postfix memory cells are concatenated with the input text's embeddings. Subsequently, they undergo a vertical passage through the transformer. During this process, the write tokens from the postfix progressively retain the memory of the current segment as the network passes through to achieve the depth-level propagation. Subsequently, to achieve segment-level recurrence, the write tokens of the current segment are passed on to the next segment:

$
H_{\tau+1}^{\text {mem }}:=H_{\tau}^{\text {write }}, \tilde{H}_{\tau+1}^{0}=\left[H_{\tau+1}^{\text {mem }} \circ H_{\tau+1}^{0} \circ H_{\tau+1}^{\text {mem }}\right]
$

## 3.2 RMT-Summ

Text summarisation, as a sequence-to-sequence task, is more suitable for application to a sequence-to-sequence model rather than encoder-only or decoder-only structures [12]. In an encoder-decoder architecture, the sentence representation is encoded in the encoder and the target sentence is generated in the decoder. Due to the bidirectional nature of the encoder, a single memory cell can simultaneously serve both read and write functions. Based on the aforementioned concept, we only insert memory prefix into the encoder following the latest work of RMT [2], to retain the memory of the current segment and circulate between segments, while we utilize an addtion decoder for summary generation. Specifically, in the context of an encoder-decoder architecture, the update of memory and the propagation of our RMT-Summ occur as follows:

$
\begin{gathered}
\tilde{H}_{\tau}^{0}=\left[H_{\tau}^{\text {mem }} \circ H_{\tau}^{0}\right] \\
\bar{H}_{\tau}^{N}=\operatorname{Encoder}\left(\tilde{H}_{\tau}^{0}\right) \\
{\left[\bar{H}_{\tau}^{\text {mem }} \circ H_{\tau}^{0}\right]:=\bar{H}_{\tau}^{N}} \\
\tilde{T}_{\tau}=\operatorname{Decoder}\left(\bar{H}_{\tau}^{N}, T_{\tau}\right) \\
H_{\tau+1}^{m e m}:=\bar{H}_{\tau}^{\text {mem }}, \tilde{H}_{\tau+1}^{0}=\left[H_{\tau+1}^{m e m} \circ H_{\tau+1}^{0}\right]
\end{gathered}
$

Notably, in contrast to the traditional summarization task, our optimization objective is tailored for the incremental summarization task, as elaborated in Section 4.

## 4 Incremental Summarisation

To align RMT-Summ with summarisation task, in this work, we propose the concept of incremental summarisation. Specifically, given an input document $D$ comprising multiple segments $S=\left.\{S_{1}, S_{2}, \ldots, S_{N}\right.\}$, the corresponding summary $y$ can also be segmented into multiple parts $y=\left.\{y_{1}, y_{2}, \ldots, y_{N}\right.\}$. For each input segment $S_{\tau}$, our training target should be $T_{\tau}=\operatorname{edit}\left(\operatorname{concat}\left(y_{1}, y_{2}, \ldots, y_{\tau}\right)\right)$. It is important to emphasize here that the function edit implies that in practical scenarios, our summaries may not simply be a straightforward concatenation of segment summaries but a reintegration process as shown in Figure 1.

## 5 Experiment Setup

## 5.1 Data

PubMed [13] is a large scale long scientific dataset collected from PubMed.com, which encompassing a wealth of biomedical and life science literature and journals. Moreover, due to the presence of structured abstracts within certain papers in PubMed, it is well-suited for validating our incremental summarisation task. We applied specific preprocessing to this dataset and filtered out a subset, which we named PubMed-IncreSumm.

Specifically, following the methodology outlined in this work [14], we extracted the main sections from the body text and segmented it into four parts based on the section headings. Additionally, for some literature, the abstract sections could be explicitly categorized into "Introduction", "Methods", "Results", and "Conclusion" through

Table 1 Keywords used to match the corresponding sections. If a section heading is not found in this keyword list, we disregard it. Additionally, we performed the same grouping operation for the abstract sections.

keyword matching, as specified in Table 1. We filtered out such articles accordingly.

From PubMed's train, test, and valid sets, we acquired 24,843, 1,399, and 1,431 data entries, respectively as PubMed-IncreSumm. We employed the NLTK [15] tokenizer to conduct text length statistics for all datasets. The average length of the source text was 2,736.26, while the final abstracts had an average length of 298.68 .

## 5.2 Model \& Implementation settings

We opted to employ BART [16] (i.e. 'facebook/bartbase' available on Hugging Face) as the backbone model because of its excellent performance in short text summarisation tasks. The sample counts for the training set, validation set, and test set were 24,843, 1,399, and 1,431, respectively. We set the learning rate to $5.0 \times 10^{-5}$, beam search width to 4 , and the maximum text length for each section's main text to 512 , with a maximum generation length of 300. We utilized the F1-score of ROUGE-1, ROUGE-2, and ROUGE-L as evaluation metrics, invoking the evaluation package provided by HuggingFace. Here, we computed the results for the generated output of each segment, rather than solely focusing on the output of the final segment. We utilized two Quadro RTX 8000 GPUs, each with 48GiB memory, alongside one Quadro P6000 GPU with 24GiB memory.

## 6 Results and Discussion

Our experiments primarily aimed to validate the impact of different sizes of memory prefix in contrast to baseline results. As shown in Table 2, under the settings of incremental summarisation, the BART model performs strongly even without any additional mechanism in the PubMed-Incremental dataset. This is to some extent reliant on BART's powerful language modeling capabilities. On the other hand, scientific papers often have substan-

Table 2 ROUGE scores on PubMed-IncreSumm. The number of tokens represents the length of the memory prefix for RMTSumm. We denote the optimal results with bold font and the second-best results with an underline.

tial overlaps between various sections, which we believe might contribute to the model's sustained strong performance. Furthermore, we observed that an increase in the number of memory tokens exhibits a certain positive correlation with the ROUGE scores. The performance reaches its peak at around 200 tokens, with the ROUGE- 1 score reaching 50.59, surpassing the baseline by 1.24 points. Subsequently, after further increasing the token count to 256, the rouge scores remained almost unchanged. However, the number of memory tokens around 200 appears to be excessive for a practical situation, suggesting room for improvement of our approach.

## 7 Conclusions

For long document summarisation, we proposed a variant of plug-and-play RMT termed RMT-Summ, which incorporates memory prefixes into the encoder-decoder architecture. To verify the effectiveness of the RMT-Summ, we introduced a new optimisation objective, incremental summarisation, and created a dedicated dataset from PubMed articles, i.e. PubMed-IncreSumm datasets. The experimental results show that when the token length of the memory prefix is around 200, the metric of ROUGE scores outperforms the baseline. Since carefully designing a task and training dataset could enable models to generate memory-encoded vectors that are useful for long-text processing, we will continue exploring our approach by evaluating it on diverse models and tasks.

## Acknowledgement

This work was supported by JST CREST (Grant Number: JPMJCR22N1), Japan.

## References

[1] Aydar Bulatov, Yury Kuratov, and Mikhail Burtsev. Recurrent Memory Transformer. Advances in Neural Information Processing Systems, Vol. 35, pp. 1107911091, 2022.

[2] Aydar Bulatov, Yuri Kuratov, and Mikhail S Burtsev. Scaling transformer to $1 \mathrm{~m}$ tokens and beyond with RMT. arXiv preprint arXiv:2304.11062, 2023.

[3] Zican Dong, Tianyi Tang, Lunyi Li, and Wayne Xin Zhao. A survey on long text modeling with transformers. arXiv preprint arXiv:2302.14502, 2023.

[4] Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020

[5] Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big bird: Transformers for longer sequences. Advances in neural information processing systems, Vol. 33, pp. 17283-17297, 2020.

[6] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter Liu. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In International Conference on Machine Learning, pp. 11328-11339. PMLR, 2020.

[7] Mandy Guo, Joshua Ainslie, David C Uthus, Santiago Ontanon, Jianmo Ni, Yun-Hsuan Sung, and Yinfei Yang. Longt5: Efficient text-to-text transformer for long sequences. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 724-736, 2022.

[8] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: $\mathrm{Hu}-$ man Language Technologies, Volume 2 (Short Papers), 2018

[9] Alexios Gidiotis and Grigorios Tsoumakas. A divide-andconquer approach to the summarization of long documents. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 28, pp. 3029-3040, 2020.

[10] Yusen Zhang, Ansong Ni, Ziming Mao, Chen Henry Wu, Chenguang Zhu, Budhaditya Deb, Ahmed Awadallah, Dragomir Radev, and Rui Zhang. Summn: A multi-stage summarization framework for long input dialogues and documents: A multi-stage summarization framework for long input dialogues and documents. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1592-1604, 2022.

[11] Zihang Dai, Zhilin Yang, Yiming Yang, Jaime G Carbonell, Quoc Le, and Ruslan Salakhutdinov. Transformer- xl: Attentive language models beyond a fixed-length context. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2978-2988, 2019.

[12] Huan Yee Koh, Jiaxin Ju, Ming Liu, and Shirui Pan. An empirical survey on long document summarization: Datasets, models, and metrics. ACM computing surveys, Vol. 55, No. 8, pp. 1-35, 2022.

[13] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, 2018.

[14] Luyang Huang, Shuyang Cao, Nikolaus Parulian, Heng Ji, and $\mathrm{Lu}$ Wang. Efficient attentions for long document summarization. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1419-1436, 2021.

[15] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. "O'Reilly Media, Inc.", 2009.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.


# 特許請求の範囲の自動書き換え生成モデルのための 大規模データセットの構築

河野 誠也 ${ }^{1,2}$, 野中 尋史 ${ }^{3}$, 吉野 幸一郎 1,2
1 理化学研究所ガーディアンロボットプロジェクト
2 奈良先端科学技術大学院大学 3 愛知工業大学
\{seiya.kawano, koichiro.yoshino\}@riken.jp, hnonaka@aitech.ac.jp

## 概要

本研究では，特許文書における特許請求の範囲の書き換えを自動生成することを目的とした書き換え生成モデルの基礎的検討を実施する。本研究では, このようなモデルを学習・評価するためのベンチマークとして，特定の特許出願に紐づけられた公開特許公報, 特許公報からの情報の差分を取り込むことで，特許請求の範囲の書き換え事例を大量に収録したデータセットを構築した。次に，構築したデー タセットを用いて大規模言語モデルに基づいた特許請求の範囲の自動書き換え生成モデルを構築し，その性能と限界について議論した。

## 1 はじめに

特許請求の範囲とは，特許を受けようとする発明を特定するための特許文書中の項目であり，一つ又は複数の「請求項」から構成される。請求項は, 当該の発明が特許査定を受けるためや，既存の特許と比較してより強い権利を得るために，その記載内容を効果的に推敲することが重要である。しかなしながら, 一般に, 請求項の推敲は多くの時間と労力を要する作業となることが多いため, 効果的な請求項の推敲支援ツールが求められている。これまでに，特許検索やパテントマップ生成などの基本的な特許情報処理のタスクに関する研究 $[1,2]$ や, 特許請求の範囲の読解支援に関する研究 [3] は実施されている一方で，与えた特許請求の範囲を様々な観点からより良く書き換えるような書き換え生成モデルに関する実質的な研究は不十分である [4]。また，そのような書き換え生成モデルを学習・評価するためのデータセットも存在しない。

そこで，本研究では，特許請求の範囲（一つ以上の請求項で構成）の書き換えを自動生成することを目的とした書き換え生成モデルの基礎的検討を実施する。具体的には，与えられた特許請求の範囲から，より良い特許請求の範囲の書き換えを生成する書き換え生成モデルを大規模言語モデルに基づいて構築する。本研究では，このようなモデルを学習・評価するためのベンチマークとして, 特定の特許出願に紐づけられた公開特許公報, 特許公報からの情報の差分を取り込むことで，特許請求項の書き換え事例を大量に収録したデータセットを構築した。次に，構築したデータセットを用いて大規模言語モデルに基づいた特許請求の範囲の自動書き換えモデルを構築し，その性能と限界について議論する。

## 2 書き換えデータセット

特許請求の範囲の自動書き換えを目的とした書き換え生成モデルを学習・評価するためには，特許請求の範囲の書き換え事例（書き換え前の特許請求の範囲と書き換え後の特許請求の範囲のペア）を教師データとして大量に収録したデータセットが必要である。本研究では，このようなデータセットを構築するための書き換えの事例として，実際の特許出願に紐づけられた公開特許公報（特許登録の有無に関わらず一定期間後に公開される出願時の特許文書),特許公報（登録査定された特許文書）の特許請求の範囲のペアに着目した。一般に，多くの特許出願は一度拒絶された後に必要な修正（補正）を適用したのち登録査定される（図 1)。また，拒絶の有無に関わらず，手続き上必要な軽微な軽微な修正も実施される。特許制度の性質上，特許公報における特許請求の範囲は, 特許を受けるために出願時の特許文書 （特許公開公報がこれに対応）から必要な修正が適用されたものである。したがって，特許制度の観点においては，特許公報の特許請求の範囲は特許公開公報のものと比較して「より良い書き換え」の結果

として利用できる。

## 2.1 データセットの構築

本研究では，特許庁が提供する特許情報バルクデータ（過去分）をデータセット構築に用いた。具体的には，2004 年から 2022 年に特許庁のシステムを通じて公開された特許公開公報情報 (A)，特許公報情報（B9）の集合から，同一の特許出願番号を持つ公開公報 (A)，特許公報（B9）の特許請求の範囲のペアを抽出した。ここで，特許庁が配布する公報データは実際には $\mathrm{xml}$ 形式で提供されており，生成モデルの学習には適さない。したがって, 公報 $\mathrm{xml}$ ファイルに XSLT 変換を適用し， J-PlatPat ${ }^{1)}$ 上での HTML view とほぼ等価なプレインテキスト形式に事前に変換した。さらに，特許出願番号に基づいて，特許庁が提供する特許情報標準データ（審査経過情報等)，拒絶理由条文コード情報（特許審査官によって特許が拒絶される際にその根拠として引用された条文のコード情報)，IIP パテントデータベー ス [5] と紐づけすることで，特許情報処理研究に利用可能な統合的なデータベースを整備した。実際には，特許請求の範囲だけではなく, 発明の詳細内容の書き換えペアもデータセットに収録をしており今後の研究に利用可能である。

## 2.2 データセットの分析

データセットに収録されている特許公開公報（A） と特許公報（B9）の特許請求の範囲の有効なぺア (両者に差分がある場合，ない場合)，特許許公開公報（A）のうち未登録（未審査，拒絶，審査中など） であり対応する特許公報が存在しないものの内訳を表 1 に示す。ここで，XSLT 変換のエラーや元公報ファイルが破損しているような事例は除外していることに注意されたい。平均トークン数 ${ }^{2}$, 平均請求項数は，特許公報（B9）の特許請求の範囲のものであり，括弧は書き換え前の特許公開公報（A）からの異なり率を示している。未登録の場合は，公開公報（A）の統計を示している。

表 1 から，データセットには，合計で 4,856,533 件の特許出願に関する特許公開公報と特許公報のテキストペアが収録されている。ここで，特許公開公報（A）と特許公報（B9）のペア 2,245,640 件のうち，特許請求の範囲のテキストに差分がある場合

表 1 構築したデータセットの内訳

 & $1,839,880$ & $739.83(-5.8 \%)$ & $6.67(-21.7 \%)$ \\

が $1,839,880$ 件 $(81.9 \%)$, 両者に差分がない場合が 405,760 件 $(18.1 \%$ ）存在した。ここで，未登録の特許と比較して，登録された特許の方が平均トークン数と平均請求項数が減少する傾向が確認できた。請求項数は $21.7 \%$ 程度（2 件程度）が減少している一方で，特許請求の範囲のテキストのトークン数は $5.8 \%$ 程度しか減少していないことが確認できる。

また，A，B9ペア [差分あり]の集合のうち，出願審査中に拒絶理由が発送された履歴があるものを対象とした平均編集距離（レーベンシュタイン距離）を表 3（付録を参照）に示す。ここで， line-dist, word-dist は編集距離を求める際の編集操作の単位として行単位，単語単位を用いた場合に相当する。。結果は，拒絶理由毎に編集距離の大きさが異なる傾向が確認できる。例えば，新規事項を追加する補正 (第 17 条の 2 第 3 項)，発明の単一性（第 37 条）のような拒絶理由において，特許公開公報と特許公報の間には大きな編集距離が存在している。一方で言い換えれば，出願人は出願した特許が特許査定を受けるために大幅な書き換えを適用したとみなすことができる3)。これらの結果は，特許請求の範囲の書き換えの目的に応じた書き換えを実現することの重要性を示唆している。

## 3 書き換え生成モデル

本節では，特許請求の範囲の書き換え生成タスクを定義し，大規模言語モデルに基づいた特許請求の範囲の書き換え生成モデルの学習方法について述べる。

## 3.1 タスク設定

本研究が扱う特許請求の範囲の書き換え生成タスクは書き換え前の特許請求の範囲 $c$ のテキストを入力として与えたときに，与えた特許請求の範囲をより良く書き換えた特許請求の範囲 $c^{\prime}$ のテキストを出力として生成することである。このような書き換え生成モデルを学習するためには，以下の目的関数を最小化する必要がある。

$
L=-\sum_{\left(c, c^{\prime}\right) \in C} \log P\left(c^{\prime} \mid c ; \theta\right)
$

ここで， $C$ は書き換え前の特許請求の範囲 $\mathrm{c}$ と書き換え後の特許請求の範囲 $c^{\prime}$ のペアの集合（学習データ), $\theta$ は書き換え生成モデルの学習可能なパラメタ集合である。さらに，想定される特許の拒絶理由などを, 書き換え前の特許請求の範囲 $\mathrm{c}$ の付加情報として与えてもよい。3 節でも述べたように，このような書き換え生成モデルを学習するためのデー タは, 特許公開公報と特許公報の特許請求の範囲のペアを書き換えの事例として用いることで構築されている。

## 3.2 事前学習済み言語モデルの微調整

本研究では，特許請求の範囲の書き換え生成モデルを事前学習済みの大規模言語モデル $[6,7]$ を微調整することで実現する。本研究では, 特に, 日本語 GPT モデルを特許請求の範囲書き換え生成モデルの学習に用いる。より具体的には，言語モデルのパラメタ $\theta$ を 4.1 節の目的関数を最小化するように構築したデータセットを用いて微調整する。本研究が扱う特許請求の範囲の書き換えタスクは, 本質的には系列変換タスク（要約，翻訳，質問応答, etc.）に相当する。ここで, 特許出願時の特許請求の範囲は生成の際に最初に利用されるコンテキスト情報であり，モデルに対する先行入力 (Prompting) として与えて, 後続のテキスト（特許公報の特許請求の範囲）を生成するように学習する。

## 4 評価実験設定

本節では，大規模言語モデルに基づいた特許請求の範囲の書き換え生成モデルの学習・評価に用いたデータセット, 比較に用いたモデルの概要と学習設定，評価方法について述べる。

## 4.1 学習・検証・評価用データセット

3 節で構築したデータセットから，公開特許公報/特許公報の特許請求の範囲が変化している場合 （誤字などの軽微な修正も含む）の全てのペアを抽出し, 言語モデルの学習用 $(1,142,640$ 件 $)$ ・検証用 ( 1,000 件) ・評価用（ 1,000 件）データとして用いた。 ここで，評価実験に用いる言語モデルが想定する最大トークン長には制約があるため，特許公開公報と特許の特許請求の範囲がそれぞれ 800 トークン長以内に収まるデータのみを用いていた。

## 4.2 比較モデル

本研究では，ヒューリスティックなベースラインモデルと，大規模言語モデルとして日本語 GPT モデルに基づいた書き換え生成モデルの性能を検証した。検証に用いたモデルは以下の通りである。
- Copy: 特許請求の範囲を書き換えない場合。
- RDC (Random delete of claims): 請求項 1 を除く請求項をランダムに一つ削除する場合。ここで，削除した請求項に従属する請求項も全て除外する。
- DMMC (Delete of multi-multi claims): マルチマルチクレームを全て除外する場合。ここで，削除したマルチマルチクレームに従属する請求項も全て除外する。

$\cdot$Open-calm-medium: 日本語 GPT モデル (400M パラメタサイズ）の微調整。
- Open-calm-large: 日本語 GPT モデル（830M パラメタサイズ）の微調整。

ここで, RDC は特許の登録査定時の請求項数が出願時と比較して減少する傾向があるという知見に基づいている（3 節）。DMMC は日本国を含む各国特許庁におけるマルチマルチクレームの制限に対する動きを反映したモデルである。open-calm-*はサイバーエージェント社が公開の日本語 GPT モデルである。これらのモデルは, huggingface のレポジトリ4)にアップロードされているモデルを用いた。言語モデルのパラメタサイズ $|\theta|$ については，学習コスト，推論速度の観点から扱いやすいパラメタサイズが 10 億（1B）程度までのモデルを用いた。ここで，7B，13B 相当のモデルであったとしても，元の言語モデルのパラメタ行列の低ランク近似を用いた QLoRA のような手法 [8] を導入することで学習の実施は可能であるが，目標タスクの適応においては元の言語モデルそのものの性能や事前学習に用いられたデータのドメインに非常に強く依存するため，本研究では除外した。

## 4.3 評価指標

特許法第 17 条において定められる特許の補正要件規定を鑑みると，BLEU のような評価指標では，特許請求の範囲を仮に書き換えないでそのままコ

ピーして出力するような保守的なモデルであったとしてもスコアが過大に評価される可能性がある [9]。特許請求の範囲の補正には，請求項の削除や追加，内的付加，外的付加のような補正形態がある。これらの補正形態に基づいた特許請求項の書き換え操作には，基本的には，元の特許請求の範囲の文からのコピー，追加，削除，変更のような異なる種類の書き換え操作が含まれる。こうした，異なる種類の書き換え操作を考慮したモデル出力（書き換え結果） な評価をするためには単純な BLEU スコアの適用は望ましくない。そこで，本研究では 3 節での分析と同様に，異なる編集単位に基づいた編集距離（レー ヴェンシュタイン距離）に基づいて参照文と生成文の非類似度（距離）を評価する。用いたスコアは以下のとおりである。

・ line-dist: 行単位の編集操作を適用した場合の参照文と生成文の編集距離の平均。
- word-dist: 単語単位の編集操作を適用した場合の参照文と生成文の編集距離の平均。

ここで，各スコアを計算する際に用いた書き換え生成モデルの出力には，ランダムサンプリング （top_k=50, top_p=0.95）による 50 個の生成候補からスコアが最も最大となる生成文をそれぞれ選択した。

表 2 各特許請求の範囲の書き換え生成モデルの評価セッ卜における性能

## 5 評価実験結果

各特許請求の範囲の書き換え生成モデルの評価セットにおける性能（line-dist，word-dist）を表 2 に示す。結果は，元の特許請求の範囲元からそのまま文をコピーするような保守的なモデルである Copy の書き換え性能が，元の特許請求の範囲から請求項を削除するようなモデルである RDC，DMMC を上回る結果となった。請求項の削除は, 特許請求の範囲の補正方法として比較的一般的である一方で，ランダム削除や一括削除による基隼では，本来削除するべきでない請求項の情報が欠落した可能性がある。ただし，マルチマルチクレームのみを除去する DMMC はRDC よりも高い性能を示しており, 請求項の妥当性を明確な基準を用いて考慮することの重要性を示唆している。大規模言語モデルの微調整に基づいた書き換え生成モデルについについては， パラメタサイズによらずヒューリスティックなべースラインモデルを上回ることが確認できた。特に，単語単位の編集操作に基づいた word-dist で顕著な改善が確認できた。また，言語モデルのパラメタサイズを大きくすることで，特許請求の範囲の書き換え性能が向上することが示された。しかしながら，特許請求の範囲の全文のペアを生成するように学習を行う現状のモデルは，モデルのパラメタサイズの増大によりモデルの学習に必要となる計算リソースも飛躍的に増大するという制約がある。

## 6 まとめと今後の課題

本研究では，特許請求の範囲の書き換えを自動生成することを目的とした書き換え生成モデルの基礎的検討を実施した。具体的には，特許請求の範囲の書き換えタスクの定義，書き換え生成モデルの学習・評価のためのデータセット構築，大規模言語モデルに基づいた提案モデルの性能とその限界を調査した。評価実験では，大規模言語モデルに基づいた提案モデルがヒューリスティックなベースラインモデルを凌駕する性能を示した。また，事前学習モデルのパラメタサイズがモデルの書き換え性能に影響を与えることが示唆された。今後の課題としては，提案モデルの性能をさらに向上するために，より大規模な言語モデルを本研究タスクで微調整や，書き換え対象の特許請求の範囲だけではなく，先行特許の情報や予想される特許の拒絶理由等を書き換えモデルに対する追加の入力情報として用いることを検討する。また，自動評価だけではなく人間の専門家による人手評価を実施する。

## 謝辞

本研究は, JST 戦略的創造研究推進事業 ACT-X (JPMJAX22A4)，ムーンショット型開発支援事業 （JPMJMS2236），JSPP 科研費基盤 C（19K12116）の支援により実施された。

## 参考文献

[1] Mihai Lupu, Katja Mayer, Noriko Kando, and Anthony J Trippe. Current challenges in patent information retrieval, Vol. 37. Springer, 2017.

[2] Atsushi Fujii, Makoto Iwayama, and Noriko Kando. Overview of the patent retrieval task at the ntcir-6 workshop. In NTCIR, 2007.

[3] Akihiro Shinmori, Manabu Okumura, Yuzo Marukawa, and Makoto Iwayama. Patent claim processing for readability-structure analysis and term explanation. In Proc. of the ACL-2003 workshop on Patent corpus processing, pp. 56-65, 2003.

[4] 新森昭宏, 大屋由香里, 谷川英和ほか. 特許請求項における多重多数項引用の検出と書き換え. 情報処理学会論文誌, Vol. 49, No. 7, pp. 2692-2702, 2008.

[5] Akira Goto and Kazuyuki Motohashi. Construction of a japanese patent database and a first look at japanese patenting activities. Research Policy, Vol. 36, No. 9, pp. 1431-1442, 2007

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[7] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[8] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized llms. arXiv preprint arXiv:2305.14314, 2023.

[9] 河野誠也, 野中尋史, 吉野幸一郎. 大規模言語モデルに基づいた特許請求の範囲の自動書き換え生成モデル. 研究報告自然言語処理 (NL), Vol. 2023-NL-258, No. 24, pp. 1-6, 2023.

[10] Jieh-Sheng Lee and Jieh Hsiang. Patent claim generation by fine-tuning openai gpt-2. World Patent Information, Vol. 62, p. 101983, 2020

[11] Jieh-Sheng Lee. Evaluating generative patent language models. World Patent Information, Vol. 72, p. 102173, 2023 .

## A 付録

## A. 1 関連研究

Transformer 言語モデルに基づいた大規模言語モデルの登場により，文章要約，質問応答，機械翻訳，文法誤り訂正といった，様々な自然言語処理のタスクで，大規模言語モデルを活用した手法が最先端の性能を示している [6]。大規模言語モデルの性能向上に伴いこうした応用タスクの性能も進化を続けている一方で，一般のコーパスとは語彙が異なる特許ドメイン（特に米国特許）に特化した特許言語モデルの開発と特許ドメインにおける様々なタスクへの応用が進んでいる $[10,11]$ 。こうした特許言語モデルの性能評価では，しばしば特許請求項の自動生成タスクに焦点があてられるが，与えられた請求項に対する実用的な書き換えを生成するようなタスクも存在する [4]。請求項の書き換えタスクでは，単純な生成タスクとは異なり，元々の請求項の意味内容を概ね保持しつつ，その品質を向上させた書き換えを生成する必要がある。ここで，書き換えの品質は，単に言語モデル的に自然であるということではなく，特許が拒絶されない，より強い権利範囲を持つ，といった特許制度上の観点から決定されることに注意されたい。請求項の書き換えタスクに関しては，ルールベース手法に基づいた多重多数項引用の請求項（マルチマルチクレーム）を複数の請求項に分解して書き換えるような研究が存在するが，非常に限定された目的のみでの書き換え支援にとどまっている [4]。また，単一の請求項だけでなく特許請求の範囲全体の構造を考慮した一貫的な書き換えを自動生成するような研究は存在しない。また，そのような書き換え生成モデルを学習・評価するためのデータセットも存在しない。そこで，本研究では多目的に対応した特許請求の範囲の書き換えを自動生成するモデルを実現するためのデータセットの構築と大規模言語モデルの応用可能性を検討する。

## A. 2 特許出願における公報発行プロセス

図 1 特許出願における特許公開公報と特許公報の発行までのプロセス

## A. 3 実際の書き換え事例

特許請求の範囲の書き換え事例5) を以下に示す。この書き換えの例では, 請求項 1 の記載を減縮し, 請求項 3 の記載においては, 訂正前の請求項 1 の記載を組み込んで，請求項 1 の記載を引用しないものとし，独立形式請求項として改めている。また, 請求項 4 の記載においては, 請求項 2 の記載と同様に独立形式請求項へ改めるとともに，請求項 4 の記載を減縮した事例である。

## 【変更前】

5）特許庁「訂正審判請求書及び訂正請求書の記載例」より引用

【変更後】

## A. 4 拒絶理由毎の平均編集距離

表 3 は，特許出願中に発送された拒絶理由毎に書き換えぺア間の平均編集距離を計算した結果である。ここで， line-dist，word-dist はそれぞれ編集操作に行単位と単語単位を用いる場合に相当する。また，表 3 に用いた書き換えぺアは，構築したデータセットのサブセットであり， 2021 年に出願され，2022 年までに特許査定を受けたものうち拒絶理由（2021 年に改訂された拒絶理由条文コードに基づく）の発送履歴があるものに限定していることに注意されたい。

 & 19.87 & 319.55 \\

## A. 5 学習設定

言語モデルの学習には RTX A6000を 4 枚用いた。さらに，学習に用いる言語モデルのサイズに応じて，各 GPU デバイスにおけるバッチサイズ, gradient accumulation steps を実質的な学習バッチサイズが 512 以上となるように設定した。モデルの Optimizer には，学習率 5e-5 の AdamW を設定した。モデルの学習エポック数は最大 1 として， 0.1 エポック毎にチェックポイントを設定した。また，学習・推論時においては，浮動小数点スケール（bfloat16）に基づいた量子化を適用した。モデルの評価には検証セットにおいて最も低い Perplexity を示したチェックポイントを用いた。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 用語制約が多い翻訳に対する手法の提案

加藤 優吾 1 小川泰弘 ${ }^{2}$ 外山 勝彦 1
1 名古屋大学大学院情報学研究科 2 名古屋市立大学データサイエンス学部
kato.yugo.c4@s.mail.nagoya-u.ac.jp ogawa@ds.nagoya-cu.ac.jp
toyama@is.nagoya-u.ac.jp

## 概要

翻訳における訳語の摇れは混乱や誤解を招く可能性があるため，決められた訳語に従った翻訳が必要となる。すなわち，用語制約のある翻訳が求められる.そのための手法として入力拡張 [1] などが提案されている。しかし，学習に使用する対訳文が用語制約に従っているとは限らず，それらの対訳文が学習においてノイズとなる可能性がある。そこで，本研究では学習データを選別する手法を導入し， 入力拡張と組み合わせる手法を提案する. さらに，日本法令の対訳データセットを用いて実験し，提案手法が有効であることを示す.

## 1 はじめに

ニューラル機械翻訳 (NMT) モデルは，同じ意味を表す 1 つの用語（単語・熟語など）を異なる訳語で翻訳するときがあり，訳語に摇れが生じる可能性がある．製品マニュアルや契約書，法令などの翻訳では訳語の摇れが混乱や誤解を招く原因となる。そのため，1つの用語に対して同じ訳語を使用するべきである.そこで，いくつかの用語の訳語をあらかじめ決めておき，それに準拠して翻訳するシステムが求められる. 本研究において, 訳語が定められた用語とその訳語のペアの集合を「用語制約」と呼ぶ.

本研究では，用語制約がある法令翻訳に取り組む。その理由は，用語制約がある翻訳が法令翻訳において必要な技術であることに加えて，対訳文と用語制約のデータが公開されていて，容易に入手できるためである。実際，対訳文として日本法令外国語訳データベースシステム ${ }^{1)}(\mathrm{JLT})$ が，また，用語制約として「法令用語日英標準対訳辞書 ${ }^{2}$ )」(以下「対訳辞書」という）が公開されている。対訳文と対訳辞書の例をそれぞれ表 1 ，表 2 に示す. JLT で公開さ

1) https://www.japaneselawtranslation.go.jp/ja/

2) https://www.japaneselawtranslation.go.jp/ja/dicts表 1 JLT の対訳文の例

表 2 対訳辞書 (ver. 15)の一部

れている訳文は対訳辞書を参考に人手で作成されているが，完全には準拠していない，例えば，対訳辞書における「労働組合」の訳語は「labor union」であるが，表 1 の例では「trade union」となっている.

用語制約に準拠して翻訳するために入力拡張 [1] などの手法が提案されている。しかし，本研究における実験を通じて，日本法令の翻訳においてはその効果がわずかであることが判明した。その原因は，対訳辞書に準拠していない対訳文が学習データに含まれるためと考えられる。そこで，本研究では学習データを選別する手法を導入し，入力拡張と組み合わせる．また，実験によりその有効性を示す。

## 2 日本法令外国語訳データベースシ ステム

本節では JLT で公開されているデータについて，本研究と関連する事柄を記す。なお，2022/11/25 時点で公開されていたデータを実験（第 5 節）に使用したため，本節でもその時点での情報を示す。

## 2.1 対訳辞書

1 つの用語に対して 1 つの訳語を使用するのが理想である。しかし，用語とその訳語が一対一で対応するとは必ずしも限らず，表 2 の例 2 のように訳語が複数存在する用語が存在する。そのため， 1 つの
用語に対する訳語の集合を「訳語候補」とする．訳語候補のうちどの訳語を使用するべきかは文脈などから判断するべきである. そのため, 用途や例文が記載されている語が存在する。例えば，「労働者」 の訳語は一般的には「worker」であるが，民法の雇用関係に関する場合は「employee」とされている.

対訳辞書はバージョンが約 1 年ごとに更新されており，現在，ver. 15 まで公開されている.

## 2.2 対訳データ

JLT では日本の法令の英訳文が公開されている.訳文は対訳辞書を参考にして人手で作成されており，ネイティブや法律の専門家などによる検査を経ている. しかし, 第 1 節で述べたように対訳辞書に必ずしも準拠していない.

また，対訳辞書のバージョン更新に合わせてすべての訳文を修正するのは現実的でない. ゆえに，法令によって異なるバージョンの対訳辞書を用いて翻訳されている. 本稿では，それを「翻訳に使用した対訳辞書」という.

## 3 先行研究

用語制約に準拠して翻訳する手法は，大きく分けてハードな語彙制約手法とソフトな語彙制約手法の 2 種類が存在する.

ハードな語彙制約手法として，デコード時のビー ムサーチにおいて用語制約を満たすように探索する手法が提案されている $[2,3]$. この手法は，与えられた用語制約をすべて満たすことが保証される.しかし, 似たフレーズが繰り返し出力されるなどの問題があり，翻訳性能が低下する可能性がある.

ソフトな語彙制約手法として, 入力に変更や情報を加えて学習する手法が提案されている $[1,4,5]$. これらの手法は，ハードな語彙制約手法より翻訳性能は高くなりやすいが，用語制約が満たされない可能性がある.

ソフトな語彙制約手法の 1 つに Ailem らが提案した大力拡張 [5] がある. それに対して, Wang ら [1] は 1 つの用語に複数の訳語がある場合にも対応できるよう改良した. 本研究では，Wang らの手法を入力拡張と呼び，これを使用する。

入力拡張では，原文中において用語制約のある用語の後にくT>タグで囲んだ訳語を追加し, その用語と訳語の全体を $<\mathrm{S}>$ タグで囲む. 訳語が複数あるときには<SEP>タグで区切る. 例を表 3 に示す. 入力表 3 入力拧張の例

入力拡張後

... $<$ S $>$ 労働者 $<\mathbf{T}>$ worker $<$ SEP> employee $</ \mathbf{T}>$ $<\mathbf{S}>$ の過半数で組織する $<\mathbf{S}>$ 労働組合 $<\mathbf{T}>$ labor union $</ \mathbf{T}></ \mathbf{S}>$ との間における...

拡張の目的は，くT>タグ内の訳語を出力に含めるようモデルに学習させることである.

## 4 提案手法

本研究では，用語制約のある法令翻訳において入力拡張を使用する手法を提案する。しかし，本研究における実験を通じて，その効果がわずかであることが判明した. その原因は，対訳辞書に準拠していない対訳文が学習のノイズとなるためであると考えられる。そこで，対訳文の対訳辞書に対する「準拠率」を定義し，準拠率が高い文のみで学習を行う 「データ選別」を導入する。

## 4.1 入力拡張

第 3 節で述べた入力拡張を手法 1 とする. 入力拡張は検証データとテストデータにも適用する。

ある用語と別の用語が共通文字列を持つことがある.この場合, 最長一致した用語にのみタグ・訳語を追加する．例えば，表 3 の例のように「労働組合」に含まれる「組合」にはタグ・訳語を追加しない.また，各対訳文において翻訳に使用した対訳辞書を用いて入力拡張をする.

## 4.2 準拠率の定義

原文 $s$ とその訳文 $t$ のペアである対訳文の対訳辞書 $D(t)$ に対する準拠率を式 (1) で定義する。

準拠率 $=$

$
\frac{\sum_{\left(p_{s}, P_{t}\right) \in D(t)} \min \left(\operatorname{count}\left(p_{s}, s\right), \sum_{p_{t} \in P_{t}} \operatorname{count}\left(p_{t}, t\right)\right)}{\sum_{\left(p_{s}, P_{t}\right) \in D(t)} \operatorname{count}\left(p_{s}, s\right)}
$

ここで， $D(t)$ とは，訳文 $t$ の翻訳に使用した対訳辞書を表す. 対訳辞書は用語 $p_{s}$ と訳語候補 $P_{t}$ のペアからなる集合であり, 訳語候補は訳語の集合である. $\operatorname{count}\left(s_{1}, s_{2}\right)$ は文字列 $s_{2}$ における文字列 $s_{1}$ の出現回数を示す.

対訳文の原文に用語が 1 つも含まれないとき，式 (1) の分母は 0 となるため計算できない. このと

き，その対訳文の準拠率は未定義とする。

訳語が複数あるとき， 2.1 節で述べたように用途等が記載されることがある。そのため，用途に沿っているかどうかも考慮することが望ましい。しかし，それは容易でないため，訳語候補のいずれかを使用していれば辞書に準拠していることとする. ある用語の出現回数よりその訳語の出現回数の方が多くなる可能性がある．例えば，原文で省略された主語が訳文で補われている場合などである。そこで，式 (1)において， min 関数を用いて分子の値を分母の値以下にする．すなわち，準拠率が $100 \% を$ 超えないよう制限する。

## 4.3 データ選別

学習データにおいて「準拠率が間値 $\theta$ 以上」，「準拠率が未定義」のいずれかの条件を満たす対訳文を抽出する。本稿では，これを「データ選別」と呼ぶ. データ選別により, 準拠率が低い対訳文を学習データから除くことができる. なお，一般的に学習データは多い方が望ましいため, 準拠率が未定義の文を抽出対象に含める. このデータ選別を手法 2 とする。

準拠率の計算には原文と訳文（参照訳）が必要となる.しかし，検証データ・テストデータにおいて参照訳を用いた前処理を行うのは望ましくない。ゆえに，検証データ・テストデータに対してはデータ選別を行わない。

さらに，データ選別と入力拡張を組み合わせる手法を手法 3 とする.

## 5 実験

評価実験を行い，提案手法の有効性を検証した。

## 5.1 実験設定

手法 1〜3を用いてそれぞれ実験した. ベースラインとしてデータ選別も入力拡張も用いない実験を行った. データ選別に使用する閾值は， $\theta=0,50$, 60，70，80，90，100の 7 種類を試した. なお， $\theta=$ 0 とはデータ選別を使用しないことと同義であり， ベースラインと手法 1 が $\theta=0$ となる.

データセット 2022/11/25 の時点で JLT に公開されていたデータを使用した.

コーパスは，XML 形式で入手した。＜ParagraphSentence>の子要素にある $<$ Sentence $>$ 要素を 1 文として扱った. 入手したデータを法令単位で分割し, 学表 4 閾値による学習データ数の変化

習データ 406 法令 (75,776 文)，検証データ 56 法令 (8,423 文)，テストデータ 51 法令（11,053 文）を得た. また, データ選別の閾値によって学習データ数が変化するため，それぞれのデータ数を表 4 に示す. 検証データ・テストデータに対してはデータ選別を行わないため，データ数は全実験において同一である.

対訳辞書は， ver. 3 から ver. 15 のデータを CSV 形式で入手した. ver. 1 と ver. 2 は PDF 形式のみで公開されているため，本実験では使用しなかった。

評価方法評価には，BLEU [6] と平均準拠率を用いる. 平均準拠率とは，4.3 節で定義した準拠率のマイクロ平均であり，式 (2) で計算される．4.3節で述べたように準拠率が未定義の文が存在するため, マクロ平均ではなく, マイクロ平均を用いる.

平均準拠率 $=$

$
\frac{\sum_{(s, t) \in C} \sum_{\left(p_{s}, P_{t}\right) \in D(t)} \min \left(\operatorname{count}\left(p_{s}, s\right), \sum_{p_{t} \in P_{t}} \operatorname{count}\left(p_{t}, t\right)\right)}{\sum_{(s, t) \in C} \sum_{\left(p_{s}, P_{t}\right) \in D(t)} \operatorname{count}\left(p_{s}, s\right)}
$

翻訳モデル翻訳モデルとして，事前学習済み mT5 [7] のベースサイズモデル3)を使用した.

## 5.2 結果

実験結果を表 5 に示す.

まず，ベースラインと各手法を比較する。手法 1 は，BLEU と平均準拠率ともにわずかにべースラインを上回った. 手法 2 と手法 3 は間値によって BLEU と平均準拠率が向上する場合もあるが，変化しない場合や低下する場合もある. 特に， $\theta=$ 90，100では BLEU が低下した. 次に，手法 2 と手法 3 を同じ閾値で比較すると，後者の方が全体的に BLEU，平均準拠率ともに高い. 最後に，手法 1

3) https://huggingface.co/google/mt5-base
表 5 各手法を用いた実験結果

と手法 3 を比較する. 手法 3 の $\theta=50 \sim 70$ において BLEU, 平均準拠率がともに向上した. 一方で, $\theta=90 ， 100$ では平均準拠率は向上しているものの， BLEU が大幅に低下した。

出力された翻訳例を付録 $\mathrm{A}$ に示す.

## 5.3 考察

すべての手法において，表７の例 3 のように，参照訳は用語制約を満たしていないが，モデルの出力は用語制約を満たしているケースが見られる.このとき, 出力が適切な訳文であっても BLEU が低下する. すなわち，参照訳が用語制約を満たしていないために BLEU が低下したと考えられる。

手法 1 は，ベースラインをわずかに上回ったのみであり，入力拡張の効果はわずかであった. 入力拡張の目的は，第 3 節で述べたように<T>タグ内の訳語を出力に含めるようモデルに学習させることである.しかし，対訳辞書に準拠していない文がノイズとなり，その学習が十分にできなかったと考えられる.

手法 3 において，閾値が高いほど BLEU や平均準拠率が向上するわけではなかった. その原因は, 閾値を上げれば学習データ数が減少するためと考えられる. 表 4 に示したように $\theta=100$ における学習データ数は 10,080 文であり, 元データの約 $13 \%$ しかない.

また， $\theta=100$ の学習データは，似ている原文が多い. 表 6 に 2 つの正規表現と，それにマッチした文表 6 正規表現とそれぞれにマッチした文数・学習データに占める割合

数・割合を示す. 2 つとも $\theta=70$ より $\theta=100$ の方が学習データに占める割合が高くなっており，似た文が多いことを示している．原文が似ている場合，訳文も似ることが予想される。すなわち， $\theta=90,100$ では学習データの数が少ないうえに，似た対訳文が多いため，翻訳性能が低下したと考えられる。

以上により，間値を適切に設定したとき，データ選別と入力拡張を組み合わせる手法 3 が，それぞれ単体で使用する手法 1 や手法 2 よりも有効であることを確認した。

データ選別は， 1 文に用語制約が多く含まれる場合に特に有効であると考える。仮に 1 文に含まれる用語制約が高々 1 つであるとすると，各対訳文の準拠率は $0 \%, 100 \%$ ，未定義の 3 通りとなる.このとき，間値を $\theta=100$ 以外に設定しても，結果は変化しないので，意味をなさない，一方で，用語制約が多いときには準拠率が多くの値をとるため，間値の変更に伴って結果も変化し, 適切な閾値を探索することが可能となる. JLT の対訳データは 1 文あたり 11.4 個の用語制約が含まれる. このような用語制約が多い翻訳において，データ選別は特に有効であると考えられる。

## 6 まとめ

本研究では用語制約のある法令翻訳に取り組んだ. JLT の対訳文には，対訳辞書に準拠していない訳文が存在するため, 入力拡張の効果はわずかであった. そこで，準拠率が高い対訳文のみを抽出するデータ選別を提案した. 閾値を適切に設定した場合, データ選別と入力拡張を組み合わせた手法が入力拡張単体より有効であることを実験により示した.

しかし，閾値は高いほどよいということではないため, 適切な閾値の探索が必要であり, それにはコストがかかる. そこで， $\theta=100$ の場合でもよい結果が得られるように，学習データを拡張することは今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP21H03772，JP22H03901 の助成を受けたものです.

## 参考文献

[1] Ke Wang, Shuqin Gu, Boxing Chen, Yu Zhao, Weihua Luo, and Yuqi Zhang. TermMind: Alibaba's WMT21 Machine Translation Using Terminologies Task Submission. Proceedings of the Sixth Conference on Machine Translation, pp. 851-856, 2021.

[2] Chris Hokamp and Qun Liu. Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1535-1546, 2017.

[3] Matt Post and David Vilar. Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324, 2018.

[4] Elise Michon, Josep Crego, and Jean Senellart. Integrating Domain Terminology into Neural Machine Translation. Proceedings of the 28th International Conference on Computational Linguistics, pp. 3925-3937, 2020.

[5] Melissa Ailem, Jingshu Liu, and Raheel Qader. Encouraging Neural Machine Translation to Satisfy Terminology Constraints. Findings of the Association for Computational Linguistics:ACL-IJCNP2021, pp. 1450-1455, 2021.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 311-318, 2002 .

[7] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A Massively Multilingual Pre-trained Text-toText Transformer. Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, 2021.

 \\

## A 生成された翻訳の例

手法 3 （データ選別+入力拡張）において， $\theta=70$ のとき BLEU，平均準拠率ともに比較的高い. そのため,手法 3 の $\theta=70$ における出力例を表 7 に示す. それぞれの 1 行目には注目する用語制約を記載しており, その内容を表 8 に示す. 表 7 の例 1 では，「秘密」の訳について参照訳は準拠しているが，出力は準拠していない. また，「役員」の訳は参照訳・出力ともに準拠している. 例 2 の出力では，「施行の日」の訳語である $「$ the date on which the Act comes into effect」に習って出力の最後に「comes into effect」が追加されている. ただし，訳語の途中に別の単語が含まれるため，対訳辞書に準拠していないと判定される．例 3 では，「執行官」 の訳が参照訳は準拠していないが，出力では準拠している.


# Post-Editing with Error Annotation for Machine Translation: Dataset Construction using GPT-4

Youyuan $\operatorname{Lin}^{1}$ Masaaki Nagata ${ }^{2}$ Chenhui Chu $^{1}$
${ }^{1}$ Kyoto University ${ }^{2} \mathrm{NTT}$
youyuan@nlp.ist.i.kyoto-u.ac.jp masaaki.nagata@ntt.com chu@i.kyoto-u.ac.jp
}

\begin{abstract}
Despite advancements in Large Language Models (LLMs) and their state-of-the-art Machine Translation (MT) performance, fine-grained Automatic Post Editing (APE) remains useful for MT by aiding in error detection, especially when applied to specific domains. To train such APE systems that incorporate error detection capabilities, APE datasets with error annotation are essential. However, most APE datasets are lack of error annotations. We aim to construct error-annotated APE datasets that improve the error-based editing proficiency of APE systems. We leverage GPT-4, expand post-editing into error-annotated MT datasets. By employing a Chain-of-Thought (CoT) setting that applies an error annotation-based analysis step before post-editing, we ensure the post-editing corrects the errors while maintaining the phraseology. Our experiments on a Japanese-English medical MT dataset reveal that GPT-4, coupled with CoT and error annotations, excels in generating high-quality, annotation-informed post-edits.
\end{abstract
## 1 Introduction

Machine Translation (MT) models, particularly those trained on web-derived parallel corpora, are reported to suffer from reliability issues despite their high average performance, especially when meeting the specific lexicon and stylistic requirements of certain application domains [1]. Automatic Post-Editing (APE) is a post-processing task in a Machine Translation workflow, aiming to automatically identify and correct errors in MT outputs [1]. An APE system is usually acquired by training on datasets comprising triplets of three texts: source $(s r c)$, machine-translation $(m t)$ of $s r c$, and post-edited sentence (pe) of $m t$.

With the remarkable strides made in MT systems, particularly the evolution of Large Language Models (LLMs) in the past two years, we have witnessed a dramatic enhancement in the capabilities of state-of-the-art MT systems [2]. This technological leap brings to the forefront a compelling query: Why not solely rely on these more advanced MT systems for high-quality translations instead of engaging in post-editing?

In response to this question, we contend that the value of post-editing transcends mere improvement in translation quality. A fine-grained APE encompasses the critical functions of detecting, elucidating and rectifying errors within the translations. The post-editing generated by an APE system should based on the error annotations. This process not only refines the output but also contributes to the ongoing improvement and understanding of MT systems.

To achieve such a fine-grained APE process, we argue that the APE dataset needs to come forth with accurate error annotations ( $\mathrm{err}$ ). On this issue, Multidimensional Quality Metrics (MQM) [3] provides the span and category for errors as the error annotations. It is considered as the most reliable human evaluation framework for MT [4]. There have been many datasets annotated based on MQM or MQM-like framework [4, 5]. Then, the challenge lies in using MQM-annotated ( $s r c, m t, e r r$ ) triplets to generate accurate post-edited translations ( $p e$ ), requiring not just error correction but a nuanced understanding of the errors to maintain the integrity and style of the source while enhancing translation quality.

In this work, we explore the efficacy of GPT-4 on the task of construction of APE datasets with error annotations in a Chain-of-Thought (CoT) setting, i.e., applying an error analysis step to the translations before post-editing. We evaluate our method APE on a Japanese-to-English medical MT dataset and extend this dataset with fine-grained post-editings. We show that GPT-4 produces meaningful human-judgment-aligned $p e$ that also leads to general
quality improvements. Also, we find GPT-4 is capable of accurately using specialized terminology based on reference. The results demonstrate that $\mathrm{CoT}$ with error annotation is critical in constraining the pe to be close to the initial translation while fixing the errors.

## 2 The Automatic Post-Editing Task

In most settings (e.g., the WMT task on MT Automatic Post-Editing, ${ }^{1)}$ ) the post-editing task is formalized as follows: given $s r c$ and $m t$, generate the most likely pe, i.e.:

$
p e=\underset{\hat{p e}}{\operatorname{argmax}} P(\hat{p e} \mid s r c, m t)
$

In which $P(\hat{p e} \mid s r c, m t)$ denotes the probability of a postediting $\hat{p e}$ given $s r c$ and $m t$. Compared to the vanilla MT task, the distinction of the APE task is that the $m t$ is also entered as the input. It is conceivable that, in extreme cases, a powerful enough system could generate accurate $p e$ based only on the $s r c$ without referring to the $m t$. In such case, the new translation may not qualify as an "edited text" but is simply a "better quality translation." The whole task remains a vanilla MT task.

## 3 Method

Instead, we want the APE system to be based on the $m t$ to correct errors while retaining the phraseology as much as possible. In other words, we believe that compared to the MT system, the APE system, while outputting better quality translations, should also correct errors in initial translations while preserving other correct expressions. Thus, the APE system should identify errors in the translation before editing the translation. Then, the task should be formalized as follows:

$
p e, e r r=\underset{\hat{p} e, e \hat{r} r}{\operatorname{argmax}} P(\hat{p e}, e \hat{r} r \mid s r c, m t)
$

During the APE process, the APE system is tasked with concurrently identifying errors in the translated text. The objective is to preserve the original diction and grammatical structure, correcting only the identified errors.

To train a system accomplishes the above task, we need to include datasets with quaternions ( $s r c, m t, e r r, p e$ ). Many studies have shown that LLMs can perform a series of complex tasks through In-Context-Learning (ICL) [6] and CoT [7]. We propose to constructing the APE dataset with the above quaternions according to LLMs.

1) http://www2.statmt.org/wmt23/ape-task.html
Given a MT dataset annotated under MQM framework[3], comprising triplet ( $s r c, m t, e r r)$, we generate and expand $p e$ into this dataset. For ICL, multiple demonstrations are provided, each using ( $s r c, m t, e r r)$ as input. We meticulously craft error-annotation based $p e$ outputs for these demonstrations, with the quality of $p e$ being validated by native speakers. In our prompts, we implement CoT, structuring the model's task into two phases: initially generating a detailed description of $e r r$, followed by editing the $m t$ based on this description. This two-step approach ensures a thorough understanding and accurate correction of errors, enhancing the overall quality and reliability of the post-edited output.

APE systems are frequently employed in domainspecific environments [1] to rectify inaccuracies generated by MT systems trained on general corpora. In such specialized contexts, maintaining the terminological precision of the constructed dataset is paramount. To make the terminology output by an MT model accurate, a common approach is to fine-tune the MT model for domain adaptation [8]. It usually takes extra time and computation resources. During the dataset construction phase, we enhance terminological accuracy by utilizing human-annotated references ( $r e f$ ) when available. Note that $r e f$ may not serve as a qualified $p e$ to the $m t$, due to its lack of direct reference to the $m t$. Specifically, We use the $r e f$ also as an input, provide a task description in the propmt and instruct the model to refer to the terminology that occurs in the $r e f$. Demonstrations are provided to show how the same terminology as $r e f$ is used in pe without replicate the ref.

## 4 Experimental Settings

Dataset: We experiment with an English-to-Japanese Medical MT dataset (EJMMT) published by Arase et al. [5], which is annotated with error spans and error types. The annotation identified 4, 492 errors on 1, 903 translation output, each with at least one error. Table 1 shows a few samples from the dataset, covering all the error types. All errors fall into a customized error typology containing the following five types:
- Addition: The target text includes text not present in the source.
- Omission: Content is missing from the translation that is present in the source.
- Mistranslation: The target content does not accurately

 &  \\

Table 1 Selected examples in the EJMMT dataset. Colored texts indicate the annotated error spans, and the type corresponds to the following: Addition, Omission, Mistranslation, Grammar, Terminology.

represent the source content.
- Grammar: Syntax or function words are presented incorrectly.
- Terminology: The target text is not suitable in terms of the domain of the document.

Note that 1,697 errors fall in "Terminology" catagory inside 4, 492 errors. MT translations are output half by Google's neural MT system [9] and half by NICT's neural MT system [10]. For each source sentence, a corresponding Japanese translation is available as the reference, prepared by human translators with a professional review.

To compare the methods under various settings, we randomly selected 64 samples from the dataset as the test set and did experiments on them. We then used the optimal setting on the experiments for the entire dataset.

Prompt: We experiment with gpt (gpt-4-turbo) in our experiments. We experiment under four prompt settings:
- (i) gpt: We use a prompt that describes the system's role as a translator.
- (ii) gpt $+m t$ : We use a prompt that describes the system's role as a post-editor.
- (iii) gpt + mt + CoT: We use a prompt that describes the system's role as a post-editor and under the CoT setting.
- (iv) gpt $+m t+$ CoT + ref: We use a prompt that describes the system's role as a post-editor, and under the CoT setting, the system can refer to the $r e f$ for terminologies.

For each setting, we provide 8 demonstrations covering all the error types in the EJMMT dataset. All used prompts are shown in appendix A.1.

Metrics and Evaluation: For quality evaluation, we use two reference-free Quality Estimation (QE) models: COMET-22 (wmt-22-cometkiwi-da) [11] and COMET-23 (wmt-23-cometkiwi-da-xl) [12]. Higher scores represent higher quality. We use COMET-* to denote both COMET-

Table 2 Results on the randomly selected samples $(N=64)$. A situation with a higher BLEU score but a lower TER with $m t$ indicates a better result. Bold items stand for the optimal results.

Table 3 Results on the whole dataset $(\mathrm{N}=1,903)$. A situation with a higher BLEU score but a lower TER with $m t$ indicates a better result. Bold items stand for the optimal results.

22 and COMET-23 below. To measure the similarity with $m t$, we use the average Translation Edit Rate (TER) [13] implementation from PyTER ${ }^{2}$. Texts with lower TER need fewer edits to make the text the same as the $m t$, indicating that the text is closer to $m t$ regarding phraseology.

## 5 Results

Translation Quality improvement Table 5 shows the results on the randomly selected 64 samples. Throughout, we find that: First, all settings' COMET-* scores exceeded the ref human translators gave, showing that the edited text has a higher translation quality with these settings. Meanwhile, their TERs are also lower than the $r e f$, which means that the words and phrases of the edited text are stylistically closer to the machine-translated text. These indicators provide evidence for the high quality of the dataset constructed based on GPT-4. Second, comparing setting

 &  &  &  &  \\

Table 4 Selected examples of the post-editings. Bold texts denote a accurate medical terminology. Colored text denote an inaccurate medical terminology.

Figure 1 The COMET-23 scores before and after editing the entire dataset. The $\mathrm{X}$-axis is the score of $m t$, and the $\mathrm{Y}$-axis is the score of $p e$. pe stands for the gpt $+m t+\mathrm{CoT}+r e f$ setting. Each point denotes a sentence in the dataset. The solid line represents the line $y=x$. The dotted line indicates the average score. $74.35 \%$ of the sentences get improved in score after editing.

(ii) with setting (i), the inclusion of $m t$ did not increase the COMET-* score; it even lowered it. TER is slightly lower. Both settings behave similarly. This result suggests that the mere inclusion of $m t$ allows GPT-4 to treat the task as MT rather than APE. Third, according to the results of settings (iii) and (iv), CoT dramatically influences the way GPT-4 performs its tasks. The TER was considerably reduced. At the same time, the COMET-* score maintains the original GPT4 level. These results lead us to believe that GPT-4 can provide high-quality translated text, and CoT is an effective method to constrain GPT-4 to perform APE tasks rather than MT tasks.

We constructed the post-editing dataset using setting (iv) on the entire dataset. Table 5 shows the results. Similar to the results obtained in tests using small samples, the quality of GPT-4 translations exceeds that of the ref supplied by human experts. With CoT, the newly generated translations are closer to $m t$ while improving quality. Figure 1 shows the COMET-23 scores before and after editing the entire dataset in detail. In this figure, $74.35 \%$ of the translations are improved after post-editing.

## Accurate Use of Terminology

Table 5 presents a curated selection of examples illustrating this aspect. These instances reveal that while GPT-4 translations exhibit proficiency, they are not immune to occasional inaccuracies in terminological choices. However, the incorporation of ref enhances GPT-4's capability in picking terminology. It adeptly extracts and applies accurate medical terminology from $r e f$, demonstrating its utility in bridging the gap between automated translations and the exactitude required in medical contexts.

## 6 Summary

This study has demonstrated the remarkable potential of leveraging LLMs for APE in domain-specific machine translation. Our experimental results convincingly show that GPT-4 can perform high-quality translation postediting in the English-to-Japanese medical domain. This improvement is evident even when compared to the humancrafted reference translations. It's also shown that incorporating a CoT approach with error annotation proved crucial in steering GPT-4's capabilities toward effective APE. This methodology ensures that the post-edited translations adhere closely to the original texts regarding phraseology while simultaneously correcting errors.

We expand the EJMMT dataset with post-editings and error annotation in natural language. In the next step, we will try to train an APE model with the same high performance and smaller size using the expanded dataset.

## Acknowledgement

This work was supported by NTT.

## References

[1] Pushpak Bhattacharyya, Rajen Chatterjee, Markus Freitag, Diptesh Kanojia, Matteo Negri, and Marco Turchi. Findings of the wmt 2023 shared task on automatic postediting. In Proceedings of the Eighth Conference on Machine Translation, pp. 672-681, 2023.

[2] Wenhao Zhu, Hongyi Liu, Qingxiu Dong, Jingjing Xu, Lingpeng Kong, Jiajun Chen, Lei Li, and Shujian Huang. Multilingual machine translation with large language models: Empirical results and analysis. arXiv preprint arXiv:2304.04675, 2023.

[3] Valerie R Mariana. The Multidimensional Quality Metric (MQM) framework: A new framework for translation quality assessment. Brigham Young University, 2014.

[4] Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan, and Wolfgang Macherey. Experts, errors, and context: A large-scale study of human evaluation for machine translation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1460-1474, 2021.

[5] Takeshi Hayakawa and Yuki Arase. Fine-grained error analysis on english-to-japanese machine translation in the medical domain. In Proceedings of the 22nd Annual Conference of the European Association for Machine Translation, pp. 155-164, 2020.

[6] Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Zhiyong Wu, Baobao Chang, Xu Sun, Jingjing Xu, and Zhifang Sui. A survey for in-context learning. arXiv preprint arXiv:2301.00234, 2022.

[7] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.

[8] Chenhui Chu and Rui Wang. A survey of domain adaptation for neural machine translation. arXiv preprint arXiv:1806.00258, 2018

[9] Melvin Johnson, Mike Schuster, Quoc V Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, et al. Google' s multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[10] Rui Wang, Masao Utiyama, Andrew Finch, Lemao Liu, Kehai Chen, and Eiichiro Sumita. Sentence selection and weighting for neural machine translation domain adaptation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1727-1741, 2018.

[11] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti,
José GC De Souza, Taisiya Glushkova, Duarte M Alves, Alon Lavie, et al. Cometkiwi: Ist-unbabel 2022 submission for the quality estimation shared task. arXiv preprint arXiv:2209.06243, 2022.

[12] Ricardo Rei, Nuno M Guerreiro, José Pombal, Daan van Stigt, Marcos Treviso, Luisa Coheur, José GC de Souza, and André FT Martins. Scaling up cometkiwi: Unbabelist 2023 submission for the quality estimation shared task. arXiv preprint arXiv:2309.11925, 2023.

[13] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, 2006.

[14] Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V Le, Denny Zhou, and Xinyun Chen. Large language models as optimizers. arXiv preprint arXiv:2309.03409, 2023.

## A Appendix

## A. 1 The Prompt

Following recent work on automatic prompt engineer [14], the prompt used for generating post-editing has been revised by GPT-4 iteratively five turns. We pick up a prompt that generates post-editing with the highest COMET-23 score in randomly picked 64 samples as the final prompt. The prompts are shown in Table A.1.

System: As an expert in medical translation from English to Japanese, your task is to analyze the provided text pairs and identify discrepancies that affect the translation's accuracy and clarity. For each English source and Japanese translation pair, consider the following error types:

1. mis-translation: Note instances where the Japanese translation fails to capture the precise or contextual meaning of the English text.

2. syntax error: Identify any structural issues in the Japanese sentences that lead to grammatical errors or disrupt the natural flow of reading.

3. lexical choice: Point out where the choice of words in Japanese does not suit the medical context, is too general, or too ambiguous.

4. under-generation: Detect omissions in the Japanese text where essential information or terms from the English source are missing.

5. over-generation: Highlight any additional information or terms in the Japanese translation that are not present in the English source.

For each identified error, provide a concise explanation and suggest a more accurate or appropriate translation. Focus on ensuring that the Japanese translation accurately reflects the medical terminology, context, and intent of the English source while maintaining a professional and reader-friendly tone. Utilize the reference for accurate terminology. Your goal is to enhance the translation to be as precise and clear as possible, making it a reliable medical resource.

User: $\quad$ English source: Regular exercise can improve both of these qualities.

Japanese translation: 通常の運動は、これらの性質を改善することができる。

Hints: 1. “通常の”: mis-translation; 2. “both of": under-generation

Reference: 定期的な運動によってその両方を向上させることができます。

Assistance: Errors:

1. The word “通常の” in Japanese doesn't accurately convey the English meaning of "Regular".

2. The Japanese translation omits the specific emphasis on "both" of the qualities, making it less precise.

Post-edited translation: 定期的な運動は、両方の性質を改善することができます。

(... more 7 demonstrations...)

User: $\quad$ English source: $\{s r c\}$

Japanese translation: $\{m t\}$

Hints: $\{$ Spans of $e r r\}$

Reference: $\{$ ref $\}$

Table 5 The prompt of gpt $+m t+$ CoT $+r e f$ setting.


# 日本語 $\longrightarrow$ 琉球諸語翻訳モデルの構築に向けて

當間愛晃 ${ }^{1}$ 狩俣繁久 ${ }^{2}$ 岡嵪威生 ${ }^{1}$
${ }^{1}$ 琉球大学 工学部工学科知能情報コース
${ }^{2}$ 琉球大学 戦略的研究プロジェクトセンター 産学官連携研究員
tnal@ie.u-ryukyu.ac.jp karimata@11.u-ryukyu. ac.jp
okazaki@ie. u-ryukyu. ac. jp

## 概要

消滅の危機に瀕している琉球諸語の記録，記述や復興への一助のため, 日本語を琉球諸語へ機械翻訳するモデル構築に向けた 3 つの検証を行った. 実験結果から, 対象言語を含まない翻訳学習を一度行い, その上で日琉翻訳学習を行うことが翻訳品質の向上に寄与することを確認した. 品質改善に向けては,本ドメインに特化した評価指標の構築，ルールベー ス翻訳した中間言語を介した翻訳，検証用・テスト用コーパスの構築，新規トークン埋め込みベクトルの検討が寄与すると考えられる。

## 1 はじめに

グローバル化が進む中, 世界中で約 2,500 の言語 （日本では 8 つの言語）が近いうちに消滅する危険性があると指摘されており, 危機言語や危機方言に関する記録・記述・復興といった研究が取り組まれている [1].

危機言語の一つに琉球諸語がある. 琉球列島の人口や面積は日本全体の約 $1 \%$ に過ぎないが，広い海域に点在しているために琉球諸語内部の方言差は非常に大きく, シマ (琉球諸語の最小単位としての島や集落のこと）が違うと何を言っているのか理解できないことがあるほど多様である。琉球は日本国内にあってマイノリティだが，琉球内部にもマジョリティとマイノリティがあり，小さなシマはマイノリティの中のマイノリティとして二重, 三重の圧力を受けている. 復興に向けた取り組みは重要だが，子供の立場からすると何故方言教育が必要なのか，方言教育を通して何を学ばせ，どんな人間になってもらいたいのか等の議論は不十分 [2] である.

我々は, 消滅の危機に瀕している琉球諸語の記録,記述や復興への一助のため, 日本語を琉球諸語へ翻訳（以降日琉翻訳と呼ぶ）するモデルの構築を目指
している．著者の一人である狩俣は琉球諸語における 28 の方言についての文法記述 [3] を初めとし,琉球諸語の記録・記述・復興に向けた取り組みを数多く行っている. これらの研究で蓄積されたデータを元に翻訳コーパスを構築し，日琉翻訳モデルの構築を行うことを目指す.コーパスは最終的には数十万文規模の対訳文（日琉対訳コーパス）で構成されることを想定しているが，元データの大部分は方言辞典であり，対訳文そのもの以外にも利用可能なデ一夕（例えば単語そのもの）が含まれている。これらをどこまで, どのように利用するかについては議論の余地がある.

本研究では小規模の対訳コーパスを用いた日琉対訳モデル構築を行い，今後の方向性を検討するための予備実験を行った.データは「動詞活用調査票読谷村儀間」から約 200 件の対訳文を用意した．翻訳モデルは日本語を含む多言語事前学習済みモデルである google/mt5-base [4] をべースとし，以下の 3 つのパターンでファインチューニング（以降学習と呼ぶ）を行った。基本的にはそれぞれ処理を追加することでBLEUスコアの改善を確認することができたが，単語トークンの追加についてはまだ検討を要する結果となった。

- ケース 1 : 日琉対訳コーパスのみで学習.

- ケース 2 : 日本語を含む別の対訳コーパス (Asian Language Treebank; ALT [5]) で学習後,日琉対訳コーパスで学習.

- ケース 3 : 一部単語をトークン設定後, ケース 2 にて学習.

## 2 実験設計

## 2.1 日琉対訳コーパスの構築

狩俣から提供を受けた対訳コーパスの例を表 1 の元文に示す. 基本的には方言辞典に掲載している例
文抜粋であり，多くは chat ドメインに近い．ただし対話文とはなっておらず，単語を用いた話し言葉の例となっている。大半は単文だが，例示したように複数文が含まれることもある。また，「弟がこそ食ベよったんだ」という言い回しからはやや古い言い回しが用いられている印象を受ける。

表記上の特徴としては, 日本語文・琉球諸語文のどちらにも句に準ずる箇所で区切り文字(スペース) が挿入されている.これにより句単位のマッチングについては対応関係を観察しやすいコーパスとなっているが，区切り文字の挿入誤り（表 1 では琉球諸語文の 2 文目冒頭に挿入がない)も見られた.一方，日本語文 $\rightarrow$ 琉球諸語文への翻訳への入力文として考えた場合，ユーザに適切なスペース挿入を要求することは難しいと考えられるため, 日本語文においてはスペースを削除することとした。

表 1 日琉対訳文の例（スペースを—に変換して掲載）

表 2 特殊表記の例

 & 例文 & 備考 \\

スペース以外にも表 2 のように記号を用いた表記があり，事前処理が必要な例文も存在することを確認している.これらについては仮処理として「/を含む文を除外し，残りについてはそのまま用いることとした。これにより合計 211 件の日琉対訳コーパスを構築した。

## 2. 2 実験手順詳細

google/mt5-base を用いた 3 種類の検証を行った。 ケース 1３亿共通する前処理を以下に列挙する.

日英翻訳，英日翻訳，日琉翻訳それぞれに対応

する合計 3 個の専用トークンを追加した.

一日琉対訳コーパスをシード值により固定した上

で train : val : test $=8: 1: 1$ で分割して利用した.

一検証データに対する損失が 3 エポック連続で更新されない場合には EarlyStopping により停止させた. テストデータによる評価は停止時点でのモデルにより行った.

初期学習率を $\mathrm{lr}=5 \mathrm{e}-4$ とし，

get_linear_schedule_with_warmup を用いて

num_warmup_steps $=\operatorname{int}($ total_steps * 0.01) によ

り減衰させた。

- 最大トークン数を 50 とし, 超える場合には打ち切り処理をした。（該当サンプルを除外することはしていない)

## 2.2. 1 ケース 1 : 日琉対訳コーパスのみで 学習

ケース 1 では，最も素朴に日琉翻訳をファインチユーニングにより学習させた.

## 2. 2.2 ケース 2 : ALT で学習後, 日琉対訳コ 一パスで学習

ケース 2 では， 2 段階のファインチューニングを行った.

1 段階目の学習では, ALT の学習用データから約 1.8 万件の日英・英日対訳コーパスを用い，1 エポックのみ学習させた。学習時にはランダムに日英・英日いずれかを選ばせたため, 大凡 9 千件ずつ学習を行ったことになる.この時点では日英翻訳, 英日翻訳の専用トークンのみを用いており，日琉翻訳の専用トークンを用いていないが，日琉翻訳を包含する 「翻訳タスク」を一度学習させることで 2 段階目の学習がより効率良く行われることを期待して実施した.

2 段階目の学習では，ケース 1 の日琉翻訳を学習させた. なおこの際の学習率については再び初期値 （5e-4）から行った.

## 2.2. 3 ケース 3: 一部単語をトークン設定後, ケース 2 で学習

事前学習済みモデルで用いられているトークナイザはそこで用いられたコーパスで最適となるように設計されていることから，本来であれば専用のコー パスで設計し直すことが望ましい。一方で事前学習をするだけの大規模コーパスを用意することは難しい. 折東案として，今回は方言辞典が元となっていることを踏まえ，一部の単語を通常トークンとして新規追加することの影響を観察することとした。

表 3 に追加した琉球諸語単語を示す. すべての単語が方言辞典の項目として掲載されているとは限らないため, 今回は一部の名詞を登録候補とした。このうち細字の 3 つの単語（ワン，ヤー，チュー）については既存トークナイザに登録されていたため登録除外し, 太字の 6 つの単語（イヤー，ワッター, ナチ, メーナチ, ゴーヤー, ヒティ)を追加した. これにより表 4 のように新規トークンを用いてトー クナイズされることを確認した。

表 3 登録候補と追加した単語一覧（太字が実際に追加した単語)

表 4 トークン追加により期待する効果

なお，新規追加した 6 つのトークンの埋め込みベクトルは初期状態であり，このままでは翻訳学習がスムーズに行われない可能性が高い。そこで今回は 「該当する日本語単語トークン列の埋め込みベクトルから求めた平均ベクトル」を新規トークンの埋め込みベクトルとして設定した。

新規トークンの追加とそれらの埋め込みベクトルを設定し終えた後は，ケース 2 の 2 段階のファインチューニングを行った.

## 2. 3 評価指標

機械翻訳系の論文でよく見かける指標である BLEU [6], ROUGE (ROUGE-1, ROUGE-2, ROUGE-L), TER [7] により評価を行った. なお, ROUGE については「トークン n-gram の一致率」として利用するため，独自実装した。

## 3 実験結果と考察

## 3.1 損失推移の観察

図 1 にケース 1 とケース 2 (2 段階目) の学習中における損失推移を示す. ケース 1 では初期損失が 10 前後から減り始めるのに対し, ケース 2 の 2 段階目では 1 前後からのスタートとなっている。図には掲載していないが，ケース 3 もケース 2 と同様の傾向であった。これらのことから，対象言語を含まなくとも，原言語を含む日英・英日翻訳を行うことで対象言語翻訳の学習を効果的に進めることが可能であることが分かる.

図 1 損失推移（左: ケース 1 , 右: ケース 2 )

## 3.2 評価指標の観察

表 5 に評価指標に基づくスコアを示す. 2 段階フアインチューニングを行ったケース 2 とケース 3 は BLEU スコアを 2 桁改善, ROUGE スコアを 3 倍強に改善, TERを 25 ポイント改善することができた.殆どの指標においてケース 3 がベストであったが， ROUGE-2 スコアにおいては新規トークンを追加しないケース 2 の方が上回る結果となった.

ケース 3 で ROUGE-2 スコアが下がった要因は，新規トークンを追加したこととそれらの埋め込みべクトル初期值を平均ベクトルとして設定したことの影響だと思われる。しかしながら，テストデータにおいて新規トークンは原言語，目的言語いずれにも出現していなかった. 現時点ではこれ以上の分析は行えていない.

## 表 5 評価指標に基づくスコア

## 4 議論

翻訳モデルの性能検証に用いられることの多い代表的な指標は，複数指標を組み合わせたとしても目安として機能するに留まり，今後どのような改善をしていくべきかを検討するにはドメインに応じた個別指標の検討が必要であることがわかった。

今回の日琉翻訳タスクにおいては，文例が句に準ずる形で区分けされていることと，文例以外の情報源として単語訳が利用可能である可能性が高い。これらを活用することで，名詞のように活用することのない体言を主体とした名詞句抽出に基づいた細かな評価指標の設計を検討中である。なお，琉球諸語に限った話ではないが，名詞には複数候補があり得ることから多対多を踏まえた評価指標の検討も必要だと思われる。

もし, 名詞句に基づく分析を高品質で行えるならば，ここで用いたルールに合致する範囲で部分翻訳した中間言語文を作成し，「日本語↔中間言語」を
ルールベース翻訳で行い，「中間言語 $\rightarrow$ 琉球諸語」 を機械翻訳対象とすることでルール化困難な部分に焦点を当てて学習させることがしやすくなると思われる。

一定程度の翻訳品質を確保できた後は逆翻訳

$[8,9]$ による疑似コーパス生成により頑健性向上を

検討したい。しかし今回の設定では，日本語文からは区切り文字を除去し，琉球諸語文からは区切り文字を残したまま扱っていることの影響（区切り文字を含まない琉球諸語文を扱うことの影響）を検討できていない。まずは日琉コーパスのみで琉日翻訳するところから取り組みたい.

新規追加したトークンの初期埋め込みベクトルについては単純に平均ベクトルとして設定したが，これがベストであるかは議論の余地がある。また既に登録されていたトークンについては琉球諸語と異なる語彙として学習されている可能性が高い。語彙分析や異なる語彙の共存方法等を検討する必要があるだろう。

これらに加えて，検証用・テスト用コーパスの設計が必要だと思われる。文例が方言辞典における例文であることから，全ての単語を学習させるにはすべての例文を学習させる必要がある.このためには，

（分量はさておき）均衡コーパス [10] のように全体像を把握できるような複数観点からの例文を含む形で検証用・テスト用コーパスを構築することが望ましいだろう。

## 5 まとめと今後の課題

琉球諸語辞典に含まれる対訳文を前提とした日琉翻訳モデルの構築に向けた検証を行った. 実験結果から小規模対訳コーパスであったとしても，原言語を含む異なる対象言語（英語）に対する翻訳学習を行っておくことが、本来の対象言語（琉球諸語）に対する翻訳品質向上に寄与することを確認した。今後は名詞句分析を中心とした評価指標構築，ルールベース翻訳した中間言語を介した翻訳、検証用・テスト用コーパスの設計を検討していきたい.

## 参考文献

[1] 一. 危機言語・危機方言の記録と記述と復興. 国立国語研究所. (オンライン) (引用日 : 2023 年 12 月 18 日.)

https://www2.ninjal.ac.jp/openhouse/2020/pdf/b-03.pdf.

[2] 消滅危機言語の教育可能性を考える一多様な琉球諸語は継承できるか一。狩俣繁久，島嶼地域の新たな展望一自然・文化・社会の融合体としての島々，九州大学出版会, 2014 年, 263-279.

[3] -. 消滅危機言語としての琉球諸語・八丈語の文法記述に関する基礎的研究. 基盤研究(A), 研究代表者: 狩俣繁久. (オンライン) (引用日 : 2023 年 12 月 18 日.)

https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-2424 2014/.

[4] mT5: A massively multilingual pre-trained text-to-text transformer. Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021, 483-498.

[5] Introduction of the asian language treebank. iza, Hammam and Purwoadi, Michael and Uliniansyah, Teduh and Ti, Aw Ai and Aljunied, Sharifah Mahani and Mai, Luong Chi and Thang, Vu Tat and Thai, Nguyen Phuong and Chea, Vichet and Sam, Sethserey and others. IEEE, 2016 Conference of The Oriental Chapter of International Committee for Coordination and Standardization of Speech Databases and Assessment Techniques (O-COCOSDA), 2016, 1-6.

[6] BLEU: a Method for Automatic Evaluation of Machine Translation. Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), 2002, 311-318.

[7] A Study of Translation Edit Rate with Targeted

Human Annotation. Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, John Makhoul. Proceedings of the 7th Conference of the Association for
Machine Translation in the Americas: Technical Papers. 2006, 223-231.

[8] Improving Neural Machine Translation Models with Monolingual Data. Rico Sennrich, Barry Haddow, Alexandra Birch. Proc. 54th Annual Meeting of the Association for Computational Linguistics, Vol. 1, Long Papers, 2016, 86-96.

[9] サンプリング生成に基づく複数逆翻訳を用いたニューラル機械翻訳. 今村賢治，藤田篤，隅田英一郎. 人工知能学会論文誌, 2020,35 巻, 3 号, p. A-JA9_1-9.

[10] KOTONOHA『現代日本語書き言葉均衡コーパス』の開発(特集>資料研究の現在). 日本語の研究, 2008, 4 巻, 1 号, 82-95.

## A 翻訳例

ケース 1３のモデルを用いて，テストデータを与えた際の翻訳例を表 6 に示す. 太字は対象言語と一致していると思われる箇所である（目視確認）. 1 文のみ完全一致した生成文（no. 9 の 2 文目）があり，初めて覚えた文は「俺じゃないよ（ワンネーアランドー）」であった。ただしこれは学習データにも含まれていた文例であった。ケース 3 は最後に句読点を複数書くことが多いようだ.

表 6 翻訳例

 &  &  &  &  \\

## B 計算機資源を踏まえた見積もり

今回の検証は M1 MacBookAir 16GB で行った。日琉対訳コーパス 211 件を train:val:test=8:1:1 で分割することで，学習データ 168 件を学習時に用いた. 1 エポックあたりにかかった実行時間は 2 分弱であり，大凡データ 100 件あたり 50 秒程度である．最終的にコーパスを 50 万件用意することができたとすると，同環境では 1 エポックあたり約 69 時間（約 2.8 日），10 エポックならば約 28 日かかることとなる. GPU 環境下で 10 倍程度に高速化できたとすると 10 エポックを約 2.8 日にて終了できそうだ。


# 重文・複文翻訳における Transfomer の性質

丸山京祐 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院持続性社会創生科学研究科
2 鳥取大学工学部
${ }^{1}$ m23j4056b@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

本論文では，重文・複文の翻訳において対訳単文を学習することが精度に与える影響を Transformer とRNNを比較し調査した. 光の結果，自動評価指標では Transformer は RNNよりも対訳単文が翻訳精度向上に貢献することが分かった.しかし, 人手評価でTransformer と RNN を比較した結果，自動評価指標の数値から期待されるほどの高い翻訳精度が得られなかったことを示す.

## 1 はじめに

近年，機械翻訳の分野において Transfomer が高く評価されている [1] . Transfomer はアテンション機構を持ち , 単語同士の依存関係を学習できる。

乥こで，重文・複文の翻訳について考えた．重文・複文の翻訳は複杂倠な文構造を翻訳することが重要である.文構造を翻訳するためには句や係り受けといった単語の依存関係を捉えることが必要になる.光のため, アテンション機構により単語の依存関係を適切に捉えることが翻訳精度向上に堑がる.また, 単語の依存関係を学習するために対訳単文の学習を考えた . 単文は単純な構造を持つため，単語の依存関係を学習しやすい．したがって， Transformer の学習コーパスに対訳単文が多く含まれることにより文構造を理解しやすくなる. 光して，重文・複文の翻訳精度向上に繋がると推測できる。

本論文では，対訳単文を変化させながら学習することで重文・複文の翻訳精度に与える影響を Transformerと RNN を比較し調査した。

## 2 先行研究

本研究で考察する翻訳モデルについて説明する。

## 2.1 再帰的ニューラルネットワーク (RNN)

2014 年にニューラルネットワークを使った機械翻訳は提案された. 特に再帰的ニューラルネットワーク (RNN) を用いて単語の語順を学習する seq2seq モデルが注目された [2] .

## 2.2 Transformer

Transformer は Vaswani らによって提案された [3] .従来の RNN の考え方に基づく機械翻訳モデルは長い文や複雑な文を処理することが難しい，光の解決策として，アテンション機構を組み込んだ手法が導入されていた [4] . 光れに対して，Vaswani らはRNN に基づく手法では根本的な解決には限界があると考えた．光こで，アテンション機構のみに依存する手法としては提案された。

## 3 実験

本実験は，以下の手順で行う．

1. 重文・複文のみの対訳コーパスに対訳単文を少しずつ加えていき，複数のコーパスを作成する

2. 各々のコーパスを Transformer モデルと RNN モデルで学習し翻訳モデルを作成する
3. 2 で作成した全ての翻訳モデルで重文・複文のテスト文を翻訳する

行う

## 3.1 実験条件

本実験の実験条件を示す . 日本語の分かち書きには mecab-python3 1.0.6を使用する. 辞書は unidic 1.1.0を使用する. NMT の学習・翻訳には OpenNMTpy 2.3.0 を使用する. 基本的に翻訳モデルのパラメータは Vaswani らの研究 [3]，RNN は Luong らの
研究 [4] に従う．ただし， Luong らの RNN はアテンションベース RNN モデルである .

## 3.2 コーパス

使用するコーパスは電子辞書などから抽出した対訳文から作成された日英対訳単文コーパスと日英対訳重文・複文コーパスである [5] . 表 2 に使用したコーパスの情報を示す.また，表 3,4 にコーパスの一部を示す.

表 3 日英対訳単文コーパスの例文 1 ドル紙幣を崩した。 $\begin{aligned} & \text { She broke a dollar bill into } \\ & \text { change. }\end{aligned}$

あかりがー晚中ついて The lights have been burning いる。 all night.

表 4 日英対訳重文・複文コーパスの例文毎日自転車に乗って通 I ride my bicycle to and from 学しています。 I ride my bicycle to 毎日タイプライターで Adaily stint at the typewriter 決まつた分量だけの仕 is excellent discipline for a 事をするということは writer.文筆家には優れた修業法だ。

表 5 に実験で作成した学習用コーパスにおける，対訳単文と対訳重文・複文の数を光れ光れ示す。

## 4 実験結果

## 4.1 自動評価

本実験では,自動評価指標として BLEU[6], METEOR[7], TER[8], RIBES[9] を使用した . Trans- former で学習した結果を表 6 に示す．また，RNNモデルで学習した結果を表 7 に示す. テストデータは重文・複文コーパスのテスト文 9,243 文である。

表 6 Transformer モデルの自動評価

表 7 RNN モデルの自動評価

表 6,7 より, RNN モデルの単文 163,188 文の BLEU 值を除き, 対訳単文の増加に従い精度が向上している. Transformer と RNN の結果を比較すると，対訳単文を学習しないときは RNN がより高い精度を示す.しかし，対訳単文の量が増加するにつれて Transformer の精度の上昇がより大きくなっている。特に, 重文・複文 92,427 文 + 単文 163,188 文の結果では Transformer は RNN より BLEU 値で 0.041 大きい値を示している。

## 4.2 人手評価

Transformer とRNNを比較した際，自動評価で特に大きい差があった重文・複文 92,427 文 + 単文 163,188 文で学習した結果の人手評価を行った.テスト文から 100 文を抽出し，著者を含む 5 人で対比較評価を実施した . kappa 值は 0.55 であった . 評価基準を表 8 に示す. 評価結果を表 9 に示す.

表 8 評価基準

表 $9 より$, 人手評価においては transformer と RNN の精度は同等か RNN の方がわずかに精度が高い。

## 4.3 出力結果の例文

表 10,11,12,13,14 に出力結果の一部を示す.
表 9 重文・複文 92,427 文 + 単文 163,188 文で学習した時の Transformer と RNN の対比較評価

 \\

表 10 では , Transformer の出力は誤訳とは言えない. 光れに対して，RNN の出力は「直面する」を意味する動詞の「face」が名詞のような用法で 2 回出現し「冷静」は翻訳されていない。

 \\

表 11 では , RNN の出力は参照文と比較すると主語が異なる.しかし，テスト文の情報では主語が $\ulcorner\mathrm{we}($ 私達)」とも解釈できるため正しい翻訳であると判断した. 光れに対して, Transformer の出力は全く意味の異なる疑問文である。

表 12 両方良い例

 \\

表 12 では，どちらも正しく翻訳できている.「as soon as 〜」の節の位置が異なるがどちらも文法は正しい.表 13 両方悪い例

 \\

表 13 では , Transformer の出力は「〜でのデモ」がとても小さくなるという反対の意味になっている． それに対し，RNN の出力は前回のデモより大きくなるという意味になっている．また，RNN の出力は 「protest」が連続して出現し文法か誤っている.これらの理由から同じ程度の翻訳間違いだと評価した。

表 14 評価が分かれた例

 \\

表 14 は評価者によって評価が分かれた例である． Transformer の出力は「つきまとう」を「visit（訪れる)」，「売る」を「do away with（処理する，廃棄する)」と翻訳している．似た状況を表す言葉ではあるが，誤つた翻訳になっている。光れに対して， RNN の出力は「売る」を「buy（買う）」と翻訳しており，反対の意味になっている. 判断が分かれた理由は，RNN の出力において反対の意味の部分がとても近いと判断した評価者と全く異なると判断した評価者がいた事である。

## 5 考察

## 5.1 実験結果の考察

Transformer はアテンション機構により単語の依存関係を学習できる。光こで，複杂倠な文の翻訳において単語同士の関係か理解しやすい単文を学習することが翻訳精度向上に重要であると仮定した。

表 6,7より，自動評価では transformer は RNN に比へ対訳単文の量の増加による精度の向上がかなり大きいことが分かった．しかし，表 9 の人手評価では同程度か RNN の方が少し良い結果となった。

以上より，Transformer は対訳単文の学習により単語同士の依存関係を学習し句のレベルで正しく翻訳

しやすくなり自動評価の数値は向上する．しかし，表 11 からもわかるように「you know」や「we insist that the automobile industry」といった句単位で翻訳ができても，文全体の文構造が間違っていれば正しい翻訳ができなくなる.つまり，単語同士の依存関係を学習し句単位の翻訳が強化されたことによって複雑な文構造の翻訳は精度が低下したと考えられる。

## 5.2 単語単位の翻訳による誤訳

本研究では, 句単位の翻訳が強化されたことが複雑な文構造の翻訳に悪影響を及ぼしたと考察した。翻訳タスクにおいて, 単語単位の翻訳により文全体では誤訳する問題が指摘されてきた。例えば，「彼は冗談が過ぎた .」の正しい翻訳は「His joke went too far.」である.觉れに対して，単語単位で翻訳すると 「He passed joke.」となり，元の文とは異なる意味になってしまう .

本研究の結果より, Transformer は単語単位の翻訳による誤訳に近い問題が発生しやすくなると考えられる。

## 5.3 単文翻訳

本研究では, 重文・複文の翻訳精度を調査する実験を行った. 光こで, 実験の結果が文構造の複雑さに影響されているのか調べるために，単文の翻訳実験も実施した。

この実験では表 2 の対訳単文コーパスのテスト文 9,243 文を 3 章と同じモデルで翻訳した . 表 15,16 に自動評価の結果を示す.また, 重文・複文と同樣に学習データが重文・複文 92,427 文 + 単文 163,188 文の RNN と Transformer の結果の人手評価を表 17 に示す. kappa 值は 0.50 であった .

表 16 RNN モデルで単文翻訳の自動評価

表 15,16 より,自動評価指標では複文と同様に Transformer は RNN よりも単文を学習するほど精度の向上が大きい，光して，学習データが重文・複文 92,427 文 + 単文 163,188 文の数值は Transformer の方が高い.さらに，人手評価では重文・複文テスト文の結果と同様に Transformer が RNN と比べて精度が低いことがわかる. 光のため, 単純な文構造であっても一部が正しく全体が間違った翻訳が出力されてしまうことがわかる .

## 5.4 低資源の学習による影響

Google 翻訳や DeepL などの一般的に使用される機械翻訳ツールは大規模なコーパスで学習される。 しかし，本実験は約 9 万文対，約 16 万文対と比較的小規模なコーパスを使用した. 表 6,7 からわかるように，RNN とは異なり Transformer は対訳単文を 8 万文対から 16 万文対に増加させたときでも自動評価指標の値に増加傾向が見られる. 光のため，大規模なコーパスで学習していないことでTransformer のモデルの性質を検証しきれなかった可能性が考えられる。

## 6 おわりに

本論文では，Transformerに着目して実験を行った . 複文の翻訳は複雑な文構造を翻訳することが重要である.光のため，アテンション機構により単語の依存関係を適切に捉えることが翻訳精度向上に繋がる.本研究では構造が単純な単文は単語の依存関係を理解しやすいため, Transformer の学習コーパスに含まれる対訳単文が複文の翻訳精度に大きく貢献すると仮説を立てた。

実験の結果，自動評価指標では RNN よりも精度が向上することが分かった.しかし, 人手評価では期待する成果が得られなかった．理由としては，アテンション機構によって句レベルの翻訳精度が向上したことで句レべルの翻訳が優先され，文全体の構造が誤ることが原因であると推測される。

## 謝辞

人手評価に参加した以下の学生に感謝します.名村太一, 松本武尊, 柳原弘哉, 駿河樹

## 参考文献

[1] Tianyang Lin, Yuxin Wang, Xiangyang Liu, and Xipeng Qiu. A survey of transformers, 2021.

[2] Nal Kalchbrenner and Phil Blunsom. Recurrent continuous translation models. In David Yarowsky, Timothy Baldwin, Anna Korhonen, Karen Livescu, and Steven Bethard, editors, Proceedings of the $\mathbf{2 0 1 3}$ Conference on Empirical Methods in Natural Language Processing, pp. 1700-1709, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[4] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Effective approaches to attention-based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.

[5] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[7] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 6572,2005 .

[8] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, 2006.

[9] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法. 言語処理学会第 17 年次大会発表論文集, pp. 1111-1114, 2011.


# 多言語モデルを用いた日英対訳文集合 のフィルタリング手法の分析

酒井大樹 1 宇津呂武仁 1 永田昌明 2
1 筑波大学大学院 システム情報工学研究群 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
s2220746_@u.tsukuba.ac.jp utsuro_@iit.tsukuba.ac.jp masaaki.nagata_@ntt.com

## 概要

本論文では，ウェブクロールコーパスである JParaCrawl-v3 に含まれる不適切な文対を，多言語モデルによるスコアを用いてフィルタリングすることを目指した。事前に異なる文の断片を含む文対応誤りデータを擬似的に作成し，その誤りの検出する様子を 4 つの言語モデルの間で調査した. その結果, Bicleaner-AI と marian-scorer の方が LEALLA, GPT-2 よりも正しく誤りを検出する度合いが大きかった。 その後，各モデルを用いて JParaCrawl-v3 のフィルタリングを実行した結果，Bicleaner-AI と marian-scorer は，フィルタリングにおいても英日方向に有意差を出すことがわかった.

## 1 はじめに

ニューラルモデルによる機械翻訳において，モデルの訓練に使用されるデータの品質はモデルが出力する翻訳文の品質に大きな影響を与える. しかしながら，訓練に使用する対訳文集合はウェブクロー ルによって収集された対訳文集合を使用する場合が多く，これは自動収集という性質上，ノイズとなるデータを一定割合含むために，事前に処理を行うことでその品質を向上させることが必要である. この問題を解決することを目的として，WMT2018 から WMT2020 までの Parallel Corpus Filtering Task, WMT2023 の Parallel Data Curation Task が開催されるなど，対訳文集合の品質保証は課題となっている.対訳文集合のフィルタリングにおいて，最も用いられるスコア付け手法の一つは，多言語文埋め込みモデル LASER [1] であり，これは，WMT2020, 2023 のベースラインとしても使用されている.

本論文では, WAT2022で実施された Parallel Corpus Filtering Task ${ }^{1)}$ の条件に沿って，日英間で最大規模

の対訳文集合である JParaCrawl-v3 をフィルタリングすることを目指す。これは多様なドメインデータを含む対訳文集合であるので，ドメイン非依存のモデルを用いて JParaCrawl-v3 をフィルタリングすることを最終目的とする。まず文対応に関する擬似的な誤りデータを作成し，それに対する反応の様子から Bicleaner-AI, marian-scorer, LEALLA, GPT-2 スコアの性能を評価した。その結果，Bicleaner-AI, marian-scorer の 2 手法が正しく誤りを検出する度合いが大きかった. その後，前処理を行った JParaCrawl-v3 の各文に 4 種スコアを与え，それに基づくフィルタリングを行い，フィルタリング後対訳文集合を獲得した。これを用いて評価用機械翻訳モデルを訓練し，テストデータに対する BLEU 值をもとにフィルタリング手法を評価すると，日英方向において Bicleaner-AI と marian-scorer は有意差を示した. 4 種スコアを組み合わせた合成スコアに関しても，類似した傾向を示した。

## 2 JParaCrawl-v3: ウェブから収集 された日英対訳文対集合

Morishita ら [2] は，CommonCrawl を分析して収集した対訳 Web サイト候補と，クラウドソーシングを使って収集した対訳 Web サイト候補から JParaCrawl-v3 を構築した. この文集合は次の 3 段階に分けて構築され，対訳文集合として公開されている.

1. CommonCrawl 内のデータのうち, $\mathrm{CLD}^{2)}$ を用いて日本語，英語が同程度含まれるドメインを特定し，対訳文抽出の候補サイトとする。

2. HTTrack ${ }^{3)}$ を用いてさらにウェブサイトを収集し，候補サイトに追加した。

3. Bitextor toolkit ${ }^{4)}$ を用いて，対訳文対を抽出する.

本論文では，上記の方法で構成された，2,500 万文からなる JParaCrawl-v3 に対し, 複数の前処理を施し 1,600 万文まで削減した JParaCrawl-v3 を用いる.前処理の詳細は付録に記載する。

## 3 言語モデルを用いたスコア付け

## 3.1 Bicleaner-Al

Bicleaner-AI ${ }^{5)}$ は公開されている日英翻訳モデルであり，原言語文 $x$ から目的言語文 $y$ に翻訳される確率を与えるモデルである。この確率をもとに日英文対にスコアを与える。

## 3.2 marian-scorer

本論文では Marian [3] を用いてニューラル翻訳モデル 6)を構築し， JParaCrawl-v3 のデータを用いてモデルの訓練を行った. 訓練データとして JParaCrawl-v3 より無作為に抽出した日英 100 万文対を利用する. Junczys-Dowmunt [4] の方法に従い,日英と英日の双方向で Transformer ベースの翻訳モデルを訓練し，このモデルを用いて文対のスコア付けを行った。具体的には，言語対 $(x, y)$ があるとき，次の式により dual conditional cross-entropy を計算する。

$
\left|H_{A}(y \mid x)-H_{B}(x \mid y)\right|+\frac{1}{2}\left(H_{A}(y \mid x)+H_{B}(x \mid y)\right)
$

ただし， $A ， B$ はそれぞれ日英とその逆方向の翻訳モデルであることを示している. $H_{M}(\cdot \mid \cdot)$ はモデル $\mathrm{M}$ に関する確率分布 $P_{M}(\cdot \mid \cdot)$ による正規化済みの単語の conditional cross-entropy であり，次の式のように表される， $x, y$ が逆の場合も同様である.

$
\begin{aligned}
H_{M}(y \mid x) & =-\frac{1}{|y|} \log P_{M}(y \mid x) \\
& =-\frac{1}{|y|} \sum_{t=1}^{|y|} \log P_{M}\left(y_{t} \mid y_{<t}, x\right)
\end{aligned}
$

このスコアは, cross-entropy の絶対値の差を調べる部分 $\left|H_{A}(y \mid x)-H_{B}(x \mid y)\right|$ と, 低い cross-entropy に対するペナルティ部分 $\frac{1}{2}\left(H_{A}(y \mid x)+H_{B}(x \mid y)\right)$ の 2 つからなる. さらに以下の式変形を施してスコア $\operatorname{adq}(x, y)$ を得る.これにより值域が $[0,1]$ に収まる。

$
\begin{array}{r}
\operatorname{adq}(x, y)=\exp \left(-\left(\left|H_{A}(y \mid x)-H_{B}(x \mid y)\right|\right.\right. \\
\left.\left.+\frac{1}{2}\left(H_{A}(y \mid x)+H_{B}(x \mid y)\right)\right)\right)
\end{array}
$

## 3.3 LEALLA

本論文では，最大 2,000 万文対に対してスコア付けを行うにあたり，より短時間で実験を行うために多言語文埋め込みモデル LaBSE [1] の軽量実装版である setu4993/LEALLA-large 7)を用いて文埋め込みベクトルを取得した。このベクトルを $L 2$ 正規化して余弦類似度を計算し、対訳スコアとする。

## 3.4 GPT-2

GPT-2 による文スコアとして，言語モデルから得られる Perplexityを用いた. 日本語モデルとしては rinna/japanese-gpt-1b ${ }^{8)}$ ，英語モデルとして gpt2-large 9)を用いた.

## 3.5 合成スコア

原言語文 $x$ ，目的言語文 $y$ がある時， 3.1 節， 3.2 節， 3.3 節， 3.4 節のモデルを通して得られるスコアの和を用いる. すなわち，モデル $x$ のスコアを score (x)，モデル y のスコアをscore(y) としたとき， その合成スコアを $S=\operatorname{score}(x)+\operatorname{score}(y)$ と計算し、 $S$ をもとにフィルタリングする．ただし， GPT-2 のスコアは値域が異なるため，標準化を行い，平均値 0 ，分散 1 としてある.

## 4 誤訳を混入した擬似データに対す る言語モデルの特性の分析

本節では，誤訳のうち文の対応が誤っている例を想定して擬似的に誤訳データを作成する方法を示し，それらに対する各言語モデルの反応を分析する. 正しい対訳では文 $x_{1}$, 文 $x_{2}$ が翻訳として対応していることが期待されるが，自動的に対訳データを収集する際， $x_{1} ， x_{2}$ のいずれかの前方または後方に無関係な文の一部が混入してしまうことがある. この誤りを本論文では文対応誤りと呼び，これを持つ擬似データを作成する。

## 4.1 擬似データ作成手順

翻訳として対応する言語 $A$, 言語 $B$ の文対 $x=\left(x_{A}\right.$ ,$\left.x_{B}\right), y=\left(y_{A}, y_{B}\right)$ を定義する。続いて，文 $y_{A}$ ，文 $y_{B}$ から誤り混入用断片 yhead $_{A}$, ytail $_{A}$, yhead $\mathrm{ytail}_{B}$ を作成する. この時，誤り混入用断片は全て

7) https://huggingface.co/setu4993/LEALLA-large

8) https://huggingface.co/rinna/japanese-gpt-1b

9) https://huggingface.co/gpt2-large

(a) 言語モデルのスコア (marian-scorer) 差・Perplexity のスコア (GPT-2) 差の分布

(b) 言語モデルのスコア (Bicleaner-AI，LEALLA) 差の分布

図 1 言語モデルのスコア (GPT2 以外) 差・Perplexity のスコア (GPT-2) 差の分布

表 1 各言語モデルによるフィルタリング性能の比較 (すべて前処理適用済みの 1,600万文に対するフィルタリング. *は，無作為抽出 100 万文で訓練したべースライン翻訳モデルとの間で BLEU 値の有意差 $(p<0.05)$ があることを示す. )

文字長 10 で固定されていて，文 $y_{A}$, 文 $y_{B}$ の文頭および末尾から切り取ったものである. この時, 文対応誤りを含む擬似データの作成手順は以下である.

1. 文 $x_{A}$ の文頭に tail $_{A}$ を付加し文 $x_{-}$headerror ${ }_{A}$ を作成. 同様に文 $x_{B}$ の文頭に tail $_{B}$ を付加し

2. 文 $x_{A}$ の末尾に yhead $_{A}$ を付加し文 x_tailerror ${ }_{A}$ を作成，同様に文 $x_{B}$ の末尾に yhead $_{B}$ を付加し文 $x_{\text {_tailerror }}^{B}$ を作成する.

以上より，誤りを含む文対

$
\begin{gathered}
x_{-} \text {headerror }=\left(x_{-} \text {headerror }{ }_{A}, x_{-} \text {headerror }{ }_{B}\right) \\
x_{\_} \text {tailerror }=\left(x_{\_} \text {tailerror }{ }_{A}, x_{-} \text {tailerror }{ }_{B}\right)
\end{gathered}
$

の 2 例を作成した。本論文では，JParaCrawl-v3 から無作為抽出し人手で適切と判定した文対を使用する． $x$ を 100 文対，yを 100 文対用意し，合計 20,000 文対の擬似データを作成した。

## 4.2 言語モデルの適用手順および分析結果

3 節で示した 4 つの言語モデルが， 4.1 節で作成された擬似データに対し与えるスコアを調べた。誤りを作成する元となった文対 $x=\left(x_{A}, x_{B}\right)$ に対し，擬似データは 200 文対作成される。この 200 文対のスコアが文対 $x$ のスコアに対しどれほど変化したのかを調べ，結果を図 1 に記載した。

これによると Bicleaner-AI， marian-scorer は，元の文のスコアが高い場合の文対応誤りに対して反応し，スコアが下落している様子が見られる。一方で，GPT-2 では，元の文の Perplexity が高い場合に文対応誤りに対して反応し, Perplexity が上昇している様子が見られる．また，GPT-2 の日本語，英語を比較すると，全体的に英語の方が Perplexity の上昇幅が大きく，英語の方が日本語より誤りへの反応がやや鋭いと言える. LEALLA はいずれの傾向も強く現れることがなかった. スコアが低い文対は元々

フィルタリングによる除去対象であるため，スコアが高い場合に対して反応が見られる Bicleaner-AI, marian-scorer の 2 手法は, 文対応誤りの観点から適切なフィルタリングができていると言える.

## 5 フィルタリング評価

## 5.1 評価方法

JParaCrawl-v3 の各文に各言語モデルのスコア付けを行い，上位 100 万文を取り出すことでフィルタリング済み対訳文集合を獲得する。このフィルタリングの評価のために，同集合を用いて評価用翻訳モデルを訓練し，テストデータに対する BLEU 値で評価する。また，ベースライン翻訳モデルとして，無作為抽出した 100 万文で訓練した翻訳モデルによる機械翻訳文との間で翻訳精度の有意差検定を行なった。この検定においては mteval ツール 10）を用いブートストラップ法によって行った.

評価のため, Fairseq ライブラリを用いて Transformer ベースのニューラル機械翻訳モデルを作成した. パラメータはWAT2022に従うが，訓練時間の都合上，一部調整している. 詳細は付録に記載する.フィルタリング済みの 100 万対訳文対を用いてこのモデルの訓練を行い, ASPEC [5] テストデータ， WMT22 テストデータを対象として，BLEU 值を算出して日英・英日翻訳の翻訳精度の評価を行った.

## 5.2 評価結果

表 1 より，全体としてフィルタリングにより有意差が現れるのが英日方向の場合に限定されているのは, JParaCrawl-v3 に元々含まれる日本語文の品質が低く，無作為抽出した文集合を用いて訓練した翻訳モデルが生成する日本語文の品質が低いためだと考えられる. WMT-2023 の official results における SKIM チームの日英翻訳 (2 位) と英日翻訳 (5 位)の順位の差も JParaCrawl-v3 から作成した翻訳モデルは日本語を生成する能力が低いことを示唆している [6]. 従って, 英日翻訳では, 本論文で有意差があると示された Bicleaner-AI や marian-scorer を用いて JParaCrawl-v3をフィルタリングすることによって，翻訳精度が改善する可能性がある。

また，英日方向で単独でも有意差が現れるのは Bicleaner-AI, marian-scorer であった. 合成スコアに関しては，有意差が現れる場合と現れない場合があ
り，明確な結論を述べることができない. 今後 4 種類のスコアの内の 2 種類の組み合わせ全 6 通りの内,残りの Bicleaner-AI と marian-scorer, Bicleaner-AI と LEALLA, LEALLA と GPT-2, marian-scorer と GPT-2 の組を実験する必要がある.

## 6 関連研究

Bane ら [7] は, Wikipedia から収集した CCMatrix データセットを対象として，対訳文のエラーを 10 種類に分類することで各種フィルタリングモデルによるフィルタリング効果を調査した. この調査では, marian-scorer[3] ツールを用いた Dual conditional cross-entropy[4] による手法が最も優れていると指摘されている。一方で，この手法は訳抜けの誤訳に対応することができず，そのような誤訳を許容してしまうフィルタリングをするとも指摘されている．同時に, 多言語モデルによるフィルタリングでは訳抜けが防がれているという指摘もなされた. 本論文では，これらフィルタリングモデルを組み合わせることの有意性を示しており，日英言語対において各手法の欠点を相補できたといえる。

また，WAT2022 の Parallel Corpus Filtering Task では, Feature Decay Algorithm が日英間でべスト [8] であったが，本論文ではドメイン非依存手法を用いる目的があり, 同論文の手法は比較しなかった.

## 7 おわりに

本論文では JParaCrawl-v3 に対して，翻訳モデル，言語モデルを用いることで品質の悪い文対をフィルタリングすることを提案した。擬似誤り分析によって良い傾向が発見された手法は, 後のフィルタリングでも，無作為抽出した場合と比べて BLEU 值による評価で有意差が観測された．また，擬似誤り分析で良い傾向であった手法同士の合成スコアによるフィルタリングでも有意差が観測された. 今後は,擬似誤りデータによる分析範囲を数値誤り，固有名詞誤りなどに拡大して，フィルタリング結果との相関を調べていくことになると思われる.

10) https://github.com/odashi/mteval

## 参考文献

[1] F. Feng, Y. Yang, D. Cer, N. Arivazhagan, and W. Wang. Language-agnostic BERT sentence embedding. In Proc. 60th ACL, pp. 878-891, 2022.

[2] M. Morishita, J. Suzuki, and M. Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proc. 12th LREC, pp. 3603-3609, 2020.

[3] M. Junczys-Dowmunt, R. Grundkiewicz, T. Dwojak, H. Hoang, K. Heafield, T. Neckermann, F. Seide, U. Germann, A. F. Aji, N. Bogoychev, A. F. T. Martins, and A. Birch. Marian: Fast neural machine translation in C++. In Proc. 56th ACL, System Demonstrations, pp. 116121, 2018.

[4] M. Junczys-Dowmunt. Dual conditional cross-entropy filtering of noisy parallel corpora. In Proc. 3rd WMT, pp. 888-895, 2018

[5] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama, E. Sumita, S. Kurohashi, and H. Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proc. 10th LREC, pp. 2204-2208, 2016.

[6] Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie, Christof Monz, Makoto Morishita, Kenton Murray, Makoto Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović, and Mariya Shmatova. Findings of the 2023 conference on machine translation (WMT23): LLMs are here but not quite there yet. In Philipp Koehn, Barry Haddow, Tom Kocmi, and Christof Monz, editors, Proceedings of the Eighth Conference on Machine Translation, pp. 1-42, Singapore, December 2023. Association for Computational Linguistics.

[7] F. Bane, C. S. Uguet, W. Stribiżew, and A. Zaretskaya. A comparison of data filtering methods for neural machine translation. In Proc. 15th AMTA (Vol. 2: Users and Providers Track and Government Track), pp. 313-325, 2022.

[8] A. Poncelas, J. Effendi, O. Htun, S. Yadav, D. Wang, and S. Jain. Rakuten's participation in WAT 2022: Parallel dataset filtering by leveraging vocabulary heterogeneity. In Proc. 9th WAT, pp. 68-72, Gyeongju, Republic of Korea, 2022.

## A 前処理

本付録では，JParaCrawl-v3 に対し，取り除く理由が明らかな文対をフィルタリングする方法について述べる. JParaCrawl-v3を母集団 $A$ とした時, 文対 $n(n \in A)$ は全て日本語文 $j a$, 英語文 $e n$ の日英文対からなり，次のように表現される。

$
n \in A, n=(e n, j a)
$

## A. 1 言語 ID

言語 ID とは，fasttext ${ }^{11)}$ の言語判定モデル ${ }^{12)} を$ 用いて推定される文の言語の種類によるフィルタリングを言う. JParaCrawl-v3 は英語文, 日本語文の順序で配置されているので，この構造を利用して英日それぞれの言語 IDが合っていない文対を取り除く.

## A. 2 トークン数の上限

語彙サイズを 32,000，JParaCrawl-v3 全体を学習データとして訓練を行った sentencepiece ${ }^{13)}$ により，日本語文、英語文のトークン分割を行う。この時、集合 $A$ の各要素 $n$ に対し，各文を sentencepiece でトークン分割した時, en，jaいずれかに含まれるトークン数が 150 以上である文対を取り除く。

## A. 3 数字の不一致

ある文対 $n=(e n, j a)$ それぞれからアラビア数字を抽出し，ソートしたものを比較し，それが一致する文対のみを採用する。一致条件として, Python プログラム上で同じ数字として扱われることで判定をする。

## A. 4 重複文対

集合 $A$ の各要素 $n$ に対し, $n_{1}=\left(e n_{1}, j a_{1}\right), n_{2}=\left(e n_{2}\right.$ ,$\left.j a_{2}\right)\left(n_{1}, n_{2} \in A\right)$ なる文対を 2 組取り出した時, $j a_{1}=j a_{2}$ となるような文対であれば $n_{2}$ を取り除く.

## B 擬似データの具体例

誤りを含まないべース文対として，

The cones are covered with

英語

thyroid flakesthat

hide plant seeds.

日本語コーンは植物の種を隠す甲状腺フレークで覆われています。

がある時，誤り断片を追加した文対応誤り文は以下が作成される. まずベース文対の前方に誤りが付加された x_headerror ${ }_{B}$ の例として，

apid pace. The cones are

英語 covered with thyroid flakes that hide plant seeds.高を増加させました。コーンは

日本語植物の種を隠す甲状腺フレークで覆われています。

次に，ベース文対の後方に誤りが付加された $x^{\text {_tailerror }}{ }_{B}$ の例として,

The cones are covered with

英語 thyroid flakes that hide plant seeds. Foreign re コーンは植物の種を隠す

日本語甲状腺フレークで覆われています。その上で、速いペースこの様に作成され，1つのベース文対から 2 種類の文対応誤りを含む日英文対を作成される.

## C 評価用モデルのパラメータ

基本的には WAT2022 の設定 ${ }^{14)}$ に従うが，warm-up updates，max-update を変更している

14) https://github.com/MorinoseiMorizo/ wat2022-filtering/blob/main/train_model_big_enja.sh