# JParaCrawl v4.0: クラウドソーシングを併用した 大規模対訳コーパスの構築

森下 睦, 帖佐 克己, 永田 昌明
${ }^{1}$ NTTコミュニケーション科学基礎研究所
makoto.morishita@ntt.com

## 概要

現在の機械翻訳モデルは主に対訳コーパスを用いて学習されており、その翻訳精度は対訳コーパスの質と量に大きく依存している。本稿では、新たにウェブをクロールし日英対訳文を抽出することで大規模日英対訳コーパスを構築し、翻訳精度の底上げを狙う。なおこの際クラウドソーシングを活用して対訳文が存在するウェブサイトを発見することで、効率的な対訳文収集を目指す。今回ウェブから収集した対訳文と以前作成した日英対訳コーパス JParaCrawl v3.0 を合わせることで、合計 4400 万文を超える日英最大規模の対訳コーパスを作成することに成功した。実験により、新たな対訳コーパスを用いて学習した翻訳モデルが様々な分野で高い翻訳精度を発揮することを示す。なお、今回作成した対訳コーパスを JParaCrawl v4.0と名付け、我々のウェブサイト上で研究目的利用に限り無償公開する予定である。1)

## 1 はじめに

現在のニューラル機械翻訳モデルは、主に対訳コーパスを用いた教師ありの手法 $[2,3,4,5]$ で学習されている。また大規模言語モデル (LLM) の事前学習時に対訳コーパスを使用することで、多言語文の理解・生成性能が向上することが知られており [6]、対訳コーパスの重要性はさらに増している。これらのモデル学習時、対訳コーパスの質と量が翻訳・言語理解性能に大きな影響を与えること知られているが、大規模対訳コーパスが一般に公開されている言語対は限られている。例えば、独英などの言語対ではすでに数億文の対訳文が公開されているものの、日英ではまだ同程度のものは存在せず、モデル学習時に大きな問題となっている。そのため、本

1）本稿は JParaCrawl v3.0 発表時の原稿 [1] をもとに加筆修正したものである。稿ではさらに大規模なウェブベースの日英対訳コー パスを構築する。現在、日英で最大規模の対訳コー パスの 1 つは約 2100 万文の対訳文を含む JParaCrawl v3.0 [7] であり、これはウェブを大規模にクロールし対訳文を自動的に抽出することで構築されている。本コーパスは欧州言語対と比較すると小規模であり、2022 年を最後に更新が止まっているため、最新の情報を含んでいない。そのため、本研究ではウェブを全面的に再クロールし、対訳文を抽出することで JParaCrawl コーパスを拡大/更新する。本研究では、この際クラウドワーカーから日英対訳文が存在するウェブサイトの報告を受けることで、より効率良く対訳文を抽出することを目指す。また、新たに作成した対訳コーパスを用いて、英日および日英の機械翻訳の精度がどのように向上するかを実験的に示す。本研究で作成した対訳コーパスは JParaCrawl v4.0 と名付け、今後の研究のために我々のウェブサイト2)で公開する予定である。

## 2 関連研究

対訳コーパスは様々な文書から対訳文を抽出することで作成されることが多い。例えば、欧州議会の議事録から作成された Europarl [8]、国連の翻訳文書から作成された UN 対訳コーパス [9] などがある。 これらの文書は、通常プロの翻訳者が翻訳しており、文書 ID などのメタデータを持っていることもあるので、容易に対訳文を抽出することができる。 しかし、一般にメタデータが整った状態で公開されている対訳文書は多くない。

近年では、ウェブから対訳文を抽出する手法も多く提案されている。ウェブ上には 2 言語以上で書かれたウェブサイトが多数存在し、こういったウェブサイトから対訳文を抽出する。ウェブ上には、様々な言語や分野の対訳文が存在しており、大規模な対

表 1 JParaCrawl コーパスに含まれる重複を取り除いた対訳文数および英語側単語数

表 2 収集対象ウェブサイト数および対訳文抽出成功ウェブサイト数

訳コーパスを作成するための有望な情報源である。 ウェブから対訳文を抽出する初期の研究としては、大規模な分散システムを構築し対訳文を抽出したもの [10]、Common $\mathrm{Crawl}^{3}$ )から対訳文を抽出したもの [11] などがある。また、多言語文埋め込みを用いた対訳文対応手法を用いて、Wikipedia や Common Crawl から大規模な多言語対訳コーパスを作成する研究も報告されている $[12,13]$ 。

また、ParaCrawl プロジェクトはヨーロッパ言語の大規模な対訳コーパスをウェブから継続的に作成している [14]。我々は以前この活動にヒントを得て、大規模な対訳コーパスが存在しない日英向けの大規模な対訳コーパスを作成した $[15,7]$ 。このコー パスは JParaCrawl と名付けられ、2100万文を超える対訳文を含む日英における最大規模の対訳コーパスとなっている。しかし、JParaCrawl コーパスは、独英などの欧州言語対と比較するとまだ小規模であり、これをもとにした翻訳モデルの精度も欧州言語対と比較すると低精度である。ゆえに、さらに大きな日英対訳コーパスの作成が求められている。本研究では、ウェブを新たにクロールし対訳文をさらに抽出することで、JParaCrawl コーパスをさらに拡張することを目指す。

## 3 JParaCrawl v4.0

本研究では、ウェブから対訳文を抽出することで大規模な対訳コーパスを構築する。この際の基本的な収集作業は以下の 4 ステップとなる。

## 3.1 対訳文を含むウェブサイトの発見

本研究ではまず対訳文が存在すると思われるウェブサイト (対訳ウェブサイト)をリストアップし、これらのサイトから対訳文を抽出することを考える。本工程は成果物となる対訳コーパスの質と量に大きく影響する。そのため、JParaCrawl v3.0 以前で使用していた CommonCrawl 解析による手法に加え、クラウドソーシングを活用した手法、既存対訳コーパスの解析による手法を併用して対訳ウェブサイトリストを作成した。各手法により列挙されたクロール対象ドメイン数を表 2 に示す。

CommonCrawl 解析 CommonCrawl 上のテキストデータを言語判定ツール $\mathrm{CLD} 2^{4}$ によって解析し、各ドメインの言語別データ量を得る。その後、英語と日本語が同量程度含まれるウェブサイトには対訳文が存在する可能性があるという仮説に基づき、 クロール対象ウェブサイトを列挙する。本研究では、2021 年 9 月から 2023 年 6 月までに公開された Common Crawl のテキストアーカイブデータ 12 セット (合計 104TB) を分析対象とし、ウェブサイトの規模が大きく、英語と日本語の文章が同程度であるウェブサイトを列挙した。2021 年 8 月以前に公開されたデータについては、JParaCrawl v3.0 作成時に既に分析済みであるため除外した。なお、本手順には ParaCrawl プロジェクトが提供する extractor5)を使用した。JParaCrawl v2.0 までは本手法のみを使用した。JParaCrawl v3.0では本手法を主力とし、試験的に一部次項のクラウドソーシングを実施した。

クラウドソーシングの活用 Morishita ら [16] は、 クラウドワーカーはこれまでの経験をもとに対訳ウェブサイトを手動で効率的に列挙できるという仮説を立て、ドメイン適応のための対訳文収集時にクラウドソーシングを活用する手法を提案した。 また、JParaCrawl v3.0 作成時は、試験的にクラウドソーシング由来の対訳ウェブサイトを少量クロールし、CommonCrawl 由来のウェブサイトより対訳文抽出効率が高いことを確認した [7]。上記の結果を受け今回の対訳コーパス構築時も、より大規模にクラウドソーシングを活用することで効率的に対訳文を抽出できると考えた。本研究では、対象ドメインを絞らずクラウドワーカーに日英対訳が存在するウェブサイトの報告を依頼し、列挙されたウェブサ

4) https://github.com/CLD2Owners/cld2

5) https://github.com/paracrawl/extractor

イトをクロール対象とした。6)

既存対訳コーパスの解析本研究では、これまで対訳文が大量に抽出できたウェブサイトは、時間の経過により有用な対訳文が増加している可能性があるという仮説を立てた。前回作成した JParaCrawl v3.0には、各対訳文がどのドメインから得られたものかがメタデータとして付与されている。そのため、JParaCrawl v3.0 から多く対訳文が抽出できた上位ドメインを列挙し、再クロール対象した。

## 3.2 ウェブサイトのクロール

次に、前節で列挙されたウェブサイト全体をクロールする。本研究では、Heritrix7) を用いて、各ウェブサイトに対して最大 48 時間のクローリングを行った。この際 JParaCrawl v3.0 にならい、プレーンテキストに加え、Word、PDFファイルについてもクロール対象とした。

## 3.3 対訳文抽出

次に、クロールされたウェブサイトから対訳文を抽出する。本手順には、ParaCrawl プロジェクトが提供するBitextor8)を日本語に対応させ使用した。対訳文書と対訳文の対応付けには、機械翻訳を用いた対応付けツールbleualign [17]を使用した。このツールでは、まず機械翻訳を用いて日本語文を英文に翻訳し、BLEU スコアを最大化する日英の文ペアを発見する。この際、日英翻訳には JParaCrawl v3.0 で学習した Transformer ベースのニューラル機械翻訳（NMT）モデルを使用した。

## 3.4 ノイズ除去

最後の手順として、正しく対応付けられていない、翻訳が不正確など、学習時のノイズとなる文対をフィルタリングする。本手順には、 Bicleaner9) [18] を使用した。

## 3.5 作成結果

上記手順により得られたクリーンな対訳文と JParaCrawl v3.0を結合し、重複文を削除した。これにより 4400 万文以上を含む新しい大規模日英対

訳コーパス JParaCrawl v4.0 の構築に成功した。表 1 に、これまでの JParaCrawl および今回作成した $\mathrm{v} 4.0$ の重複を削除した対訳文数および英語側単語数を示す。また、表 2 に、クリーンな対訳文を 1 文以上含んでいた対訳ウェブサイト数 (抽出成功数)を示す。CommonCrawl 由来の収集対象と比較して、クラウドソーシングにより列挙された対訳ウェブサイトは、対訳文抽出の成功率が高くより効率的にクロールできていることがわかる。なお、クラウドソーシングにより列挙されたウェブサイトのうち、 CommonCrawl により得られたサイトと重複していたものは約 6\%であり、ほとんどが CommonCrawl からは発見できない対訳ウェブサイトであったことも特筆に值する。

## 4 実験

本節では、新たに作成した JParaCrawl v4.0 の翻訳精度への影響を確認するために、NMT モデルを学習し様々なテストセットでその精度を評価した。以降では、使用したテストセットの詳細およびモデル学習時の設定について述べる。

## 4.1 実験設定

## 4.1.1 テストセット

様々な分野で NMT モデルの精度を評価するために、19 種類のテストセットでモデルを評価する。付録表 4 に使用するテストセットの分野および統計情報を示す。これらには、以前の JParaCrawl 発表時に報告した ASPEC [19] (科学技術論文), JESC [20] (映画字幕), KFTT [21] (Wikipedia 記事), TED (tst2015) [22] (講演) などが含まれる。さらに本実験では、WMT22、WMT23 の General 翻訳夕スク $[23,24]$ で使用されたテストセットを追加した。 これらは、汎用的な機械翻訳精度を測ることを目的として設計され、ニュース文、対話文、SNS 上の文書、インターネット通販サイトの文書等が含まれている。なおシェアードタスク用テストセットの中には、特定の翻訳方向 (英 $\rightarrow$ 日など) で使用することを前提としたものもあるが、参考までに英日、日英の両方向で評価した。また付録表 5 に示すように、いくつかのコーパスには学習データが付属しているものがある。比較のため、これらの学習データで分野別モデルを学習した際のスコアを付録の表 6 に示す。
表 3 JParaCrawl で学習した翻訳モデルの自動評価値 (BLEU / COMET)。JParaCrawl モデルのうち最高スコアのものを太字で示す。E-J は英日、J-E は日英翻訳を想定して作成されたテストセットであることを示す。

## 4.1.2 学習設定

翻訳モデルの学習には fairseq [25]を用い、 small、base、bigの 3 つの異なる大きさの Transformer [5] モデルを学習した。付録表 7 に詳細な学習設定を示す。以前の JParaCrawl の報告に基づき、 TED (tst2015) では small モデルを、KFTT では base モデルを、その他のテストセットでは big モデルを使用した。自動評価値として sacreBLEU [26] を用いた BLEU スコア [27]、Unbabel/wmt22-comet-da モデルを用いた COMET スコア [28] を報告する。なお、以前の実験との整合性を保つために、すべてのテストセットを NFKC 正規化した。詳細な実験設定については付録 Aに示す。

## 4.2 実験結果

表 3 に様々なテストセットにおける BLEU スコアおよび COMET スコアを示す。以降では BLEU スコアより人手評価との相関が高いとされる COMET スコアを中心に議論する [29]。JParaCrawl v4.0で学習したモデルは、19 のテストセットのうち英日では 16、日英では 17 のテストセットで以前の JParaCrawl を上回る精度を達成した。科学技術論文、ニュース、SNS などの様々な分野において、新しい JParaCrawl が NMT モデルの精度を押し上げている。WMT20、21ニュース翻訳タスクの精度向上ついては、以前報告されているように、ウェブペー ジから近年のニュース文に関連した対訳文を抽出
できたことによるものだと考えられる。[7]。また、 WMT22、23 General 翻訳タスクについても精度が向上している。複数領域の対訳文から構成されている General 翻訳タスクテストセットと様々な領域を含むウェブデータの相性が良いことが要因の一つとして考えられる。

## 5 おわりに

本研究では、これまでの大規模日英対訳コーパス JParaCrawl をさらに拡張した JParaCrawl v4.0を作成した。本対訳コーパスは、従来の CommonCrawl 解析に加え、クラウドソーシングの活用および既存対訳コーパスの解析を行い、対象となったウェブサイトをクロール、対訳文抽出を行うことで作成した。新たな JParaCrawl v4.0は 4400 万以上の対訳文を含んでおり、これは JParaCrawl v3.0 の倍以上の大きさである。本対訳コーパスを用いることで、様々な分野の翻訳精度が向上することを実験的に確認した。今後の課題としては、継続的な JParaCrawl の更新や、より優れた対訳ウェブサイト検出方法/対訳文抽出手法/フィルタリング手法の提案などが挙げられる。また、より大規模な対訳モデルで本コーパスを学習した際の翻訳精度や、LLM で本コーパスを活用した際の効果は計測できておらず、今後取り組んでいきたいと考えている。なお、本研究で作成した JParaCrawl v4.0 は我々のウェブサイトで研究目的に限り無償で公開する予定である。

## 参考文献

[1] 森下睦, 帖佐克己, 鈴木潤, 永田昌明. JParaCrawl v3.0: 大規模日英対訳コーパス. 言語処理学会第 28 回年次大会 (NLP2022), 2022.

[2] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 3104-3112, 2014.

[3] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

4] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1412-1421, 2015.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 6000-6010, 2017.

[6] Rohan Anil, et al. Palm 2 technical report. arXiv preprint arXiv:2305.10403, 2023.

[7] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, 2022

[8] Philipp Koehn. Europarl: A parallel corpus for statistical machine translation. In Proceedings of the Machine Translation Summit X, pp. 79-86, 2005.

[9] Micha 1 Ziemski, Marcin Junczys-Dowmunt, and Bruno Pouliquen. The united nations parallel corpus v1.0. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), pp. 3530-3534, 2016.

[10] Jakob Uszkoreit, Jay M. Ponte, Ashok C. Popat, and Moshe Dubiner. Large scale parallel document mining for machine translation. In Proceedings of the 23rd International Conference on Computational Linguistics (COLING), pp. 1101-1109,2010.

[11] Jason R Smith, Herve Saint-Amand, M Plamada, P Koehn, C Callison-Burch, and Adam Lopez. Dirt cheap web-scale parallel text from the common crawl. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1374-1383, 2013.

[12] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining $135 \mathrm{~m}$ parallel sentences in 1620 language pairs from Wikipedia. arXiv preprint arXiv:1907.05791, 2019.

[13] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, and Armand Joulin. CCMatrix: Mining billions of high-quality parallel sentences on the web. arXiv preprint arXiv:1911.04944, 2019.

[14] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamirezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for corpora. In Proceedings of the 58th Annual Meeting of

[15] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC), pp. 3603-3609, 2020

[16] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. Domain adaptation of machine translation with crowdworkers. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track, pp. 606-618, 2022.

[17] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA), pp. 175-182, 2011

[18] Víctor M. Sánchez-Cartagena, Marta Bañón, Sergio Ortiz-Rojas, and Gema Ramírez-Sánchez. Prompsit's submission to WMT 2018 parallel corpus filtering shared task. In Proceedings of the 3rd Conference on Machine

[19] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC), 2016.

[20] R. Pryzant, Y. Chung, D. Jurafsky, and D. Britz. JESC: Japanese-English Subtitle Corpus. arXiv preprint arXiv:1710.10639, 2017.

[21] Graham Neubig. The Kyoto free translation task. http://www. phontron.com/kftt, 2011.

[22] Mauro Cettolo, Christian Girardi, and Marcello Federico. WIT3: web inventory of transcribed and translated talks. In Proceedings of the 16th Annual Conference of the European Association for Machine Translation (EAMT), pp. 261-268, 2012.

[23] Tom Kocmi, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Rebecca Knowles, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Michal Novák, Martin Popel, and Maja Popović. Findings of the 2022 conference on machine translation (WMT22). In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. $1-45,2022$.

[24] Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie, Christof Monz, Makoto Morishita, Kenton Murray, Makoto Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović, and Mariya Shmatova. Findings of the 2023 conference on machine translation (WMT23): LLMs are here but not quite there yet. In Proceedings of the Eighth Conference on Machine Translation, pp. 1-42, 2023.
[25] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan $\mathrm{Ng}$, David Grangier, and Michael Auli. fairseq: A fast, extensible toolki for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53, 2019.

[26] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 186-191, 2018.

[27] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002

[28] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-

[29] Markus Freitag, Nitika Mathur, Chi-kiu Lo, Eleftherios Avramidis, Ricardo Rei, Brian Thompson, Tom Kocmi, Frederic Blain, Daniel Deutsch, Craig Stewart, Chrysoula Zerva, Sheila Castilho, Alon Lavie, and George Foster Results of WMT23 metrics shared task: Metrics might be guilty but references are not innocent. In Proceedings of the Eighth Conference on Machine Translation, pp. 578-628, 2023 .

[30] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 54-61, 2019.

[31] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 1-55, 2020

[32] Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondře Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena AmponsahKaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Findings of the 2021 conference on machine translation (WMT21). In Proceedings of the 6th Conference on Machine Translation (WMT), pp. 1-93, 2021.

[33] Xian Li, Paul Michel, Antonios Anastasopoulos, Yonatan Belinkov, Nadir K Durrani, Orhan Firat, Philipp Koehn, Graham Neubig, Juan M. Pino, and Hassan Sajjad. Findings of the first shared task on machine translation robustness. In Proceedings of the 4th Conference on Machine Translation (WMT), 2019.

[34] Lucia Specia, Zhenhao Li, Juan Pino, Vishrav Chaudhary, Francisco Guzmán, Graham Neubig, Nadir Durrani, Yonatan Belinkov, Philipp Koehn, Hassan Sajjad, Paul Michel, and Xian Li. Findings of the WMT 2020 shared task on machine translation robustness. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 76-91, 2020.

[35] Antonios Anastasopoulos, Ondřej Bojar, Jacob Bremerman, Roldano Cattoni, Maha Elbayad, Marcello Federico, Xutai Ma, Satoshi Nakamura, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Alexander Waibel, Changhan Wang, and Matthew Wiesner FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT), pp. 1-29, 202

[36] Graham Neubig. Forest-to-string SMT for asian language translation: NAIST at WAT2014. In Proceedings of the 1st Workshop on Asian Translation (WAT), pp. 20-25, 2014

[37] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR), 2015.

[38] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, pp. 1929$1958,2014$.

[39] Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio. On the difficulty of training recurrent neural networks. In Proceedings of the 30th International

40] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbig niew Wojna. Rethinking the Inception Architecture for Computer Vision. In Proceedings of CVPR, pp. 2818-2826, 2016.

[41] Myle Ott, Sergey Edunov, David Grangier, and Michael Auli. Scaling neural machine translation. In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9, 2018.

[42] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint

[43] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 66-71, 2018.
表 4 テストセットに含まれる分野、対訳文数および英語側単語数

表 5 分野別学習データに含まれる文数および英語側単語数。ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [36]。

表 6 分野別コーパスのみで学習した翻訳モデルの自動評価値 (BLEU / COMET)

## A 詳細な実験設定

表 4 にテストセットに含まれる分野、対訳文数および英語側単語数を示す。また、表 5 に分野別学習データに含まれる文数および英語側単語数を示す。 なお、ASPEC は本来約 300 万文の学習データを含んでいるが、先行研究に基づき先頭 200 万文のみを学習に使用した [36]。分野別学習データのみで学習した翻訳モデルの自動評価値を表 6 に示す。

JParaCrawl v4.0を用いた翻訳モデル学習時の前処理として、対訳コーパスを sentencepiece [43]を用いて unigram 確率をもとにサブワード単位に分割した。この際、語彙数は 64,000、character coverage は 0.9999 とした ${ }^{10)}$ 。また、未知文字については

10） JParaCrawl v3.0 作成時は語彙数を 32,000 としたが、コー パスの拡張に伴い各単語埋め込みの学習が十分に行われると考え語彙数を増加させた。表 7 ハイパーパラメータの一覧

 & Transformer [5] \\

Byte-fallback により UTF-8 のバイト列の組み合わせによる表現を行った。翻訳モデルを学習する際の詳細なハイパーパラメータを表 7 に示す。


# 単語難易度を考慮した反復的な翻訳文の平易化

大鹿雅史 ${ }^{1}$ 森下睦 ${ }^{2}$ 平尾努 ${ }^{2}$ 笹野遼平 ${ }^{1}$ 武田浩一 ${ }^{1}$
1 名古屋大学大学院情報学研究科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
oshika.masashi.f6@s.mail.nagoya-u.ac.jp
\{makoto.morishita, tsutomu.hirao\}@ntt.com
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

近年，機械翻訳の精度は大幅に向上しており，機械翻訳の利用が広まっている。しかし，利用者の年齢によっては，機械翻訳によって出力された文章の語彙の難易度が高く出力文の意味を適切に理解するのが困難な場合がある. そこで，本研究では単語の難しさを語彙の獲得年齢 (Age of Acquisition) [1] と定義し，修正すべき単語を指定した翻訳文の平易化手法を提案する。実験を通して，提案手法が文章の意味を保持したまま平易化を行うことができることを示す. また，本手法を反復的に利用することでょり平易化が可能であることを示す.

## 1 はじめに

近年, ニューラル機械翻訳技術の発展により多くの人々が機械翻訳を利用できるようになってきた。 しかし, 現在用いられている機械翻訳には出力される翻訳文の難易度を制御する仕組みが存在していない.そのため, 利用者の年齢層に合わせた翻訳を生成することができず，特に子供が利用した際，翻訳文の意味を適切に理解できない可能性がある.

翻訳文の意味を適切记理解できない要因の一つとして，難易度の高い単語が使用されていることがある. 単語の難しさを示す指標として語彙の獲得年齢 (Age of Acquisition, 以下 AoA) がある. AoA に従って単語をより平易なものに置換することで，翻訳文を年齢に適した難易度に平易化することが可能である.しかし, 単純に単語を置き換えるだけでは, 翻訳文の意味を損なう恐れがある。また，単語以外の修正ができず，文全体の平易化に繫がらない可能性がある.

そこで，本研究では原言語文と機械翻訳の出力に対し大規模言語モデル (LLM)を用いて翻訳文中の AoA の高い語を反復的に指定する平易化を行う手法を提案する。図 1 亿本研究の概要図を示す. LLM を利用することにより，指定した単語だけでなく，周囲の単語も文脈沈じて置き換えることができ，文意を保持した平易化が可能となる。また，翻訳文内に修正すべき単語が複数存在した場合や出力された平易文纪再び AoA の高い単語が含まれていた場合, 反復的に適用することで全ての単語を平易化できる。また, 本手法は AoA を用いて単語の難易度を決定するため, 子供のための翻訳器や非母語話者の言語学習支援など教育目的への応用が可能であると考えられる。

Simple-English-Wikipediaをもと作成したデータセットのでの実験を通じて，MUSS[2]を利用した平易化手法や語彙を制限した生成手法に比べ高い翻訳性能を維持したまま平易化を達成した。

## 2 関連研究

## 2.1 平易化と後編集

テキスト平易化や後編集の手法は翻訳文をより理解しやすい文へと変換するため広く用いられている. テキスト平易化には深層強化学習を利用した平易化 [3] 队統計的機械翻訳を平易化に応用する手法 [4] などが存在する。また，後編集には翻訳文を反復的に修正することで翻訳の品質を高める手法 [5] や，削除や置き換えなどのタグを利用して後編集を行う手法 [6] などが存在している。しかし，翻訳文に対して後編集を利用した平易化は取り組まれておらず，本研究では翻訳文の品質を維持したままの後編集を利用した平易化を目的とする。

## 2.2 難易度を考慮した機械翻訳

近年，文章の難易度や複雑さを制御する手法が提案されている. Agrawal ら [7] や Tani ら [8] は機械翻訳モデルから出力される文章の複雑さを制御する多

図 1 提案手法の概要図. 原言語文 $(x)$, 機械翻訳文 $(y)$, 修正単語の三つ組を LLM に入力し平易文 $(\hat{y})$ を出力する. 修正単語は機械翻訳文のうち最も AoA の高い単語と定義し，その AoAを示す.

段階難易度制御翻訳に取り組んでいる。また，谷ら [9] は異なる難易度の参照文を利用した学習を行うことで出力文の難易度を制御した機械翻訳の手法を提案している。これらの手法では文全体の難易度を考慮しているが，単語単位での難易度を考慮しておらず，個々の単語の難易度を制御することができない.

## 3 反復的な翻訳文の平易化

## 3.1 提案手法

本研究では，修正すべき単語を指定した上で翻訳文を平易化する手法を提案する。機械翻訳文 $(y)$,原言語文 $(x)$, 修正単語の三つ組を LLM に入力することで平易文 ( $\hat{y}$ )を出力するモデルの構築を行う (図 1). 修正単語の同定には AoA を利用し，機械翻訳文の修正すべき単語をく編集 > タグで囲みモデルへ入力する. 本手法は語彙の獲得年齢をもとに修正単語の定義を行うため，機械翻訳の利用者に合わせ対象の年齢を指定することが可能である. すなわち， $n$ 歳向けの機械翻訳を実現する際には AoA が $n$ 以上である単語を修正単語と定義することで AoA が $n$以上の単語を出力しない翻訳器を構築する.

本手法は反復的に利用可能なことから，機械翻訳文に複数の修正すべき単語が含まれていた場合，繰り返し単語を指定することで，全ての単語を編集することができるという特徴がある. 加えて，一回の平易化で十分に AoA が下がらなかった場合 $y^{\prime}$ にも,再び修正単語を指定し平易化をすることで，AoAを満たすまで修正することが可能である.

## 3.2 データセットの構築

提案手法の評価に適したデータセットが存在しないため, 本研究では単言語データを元に逆翻訳を適用することでデータセットの作成を行う. 図 2 亿作成の手順を示す. 単言語データに対して逆翻訳を適用することで，原文，中間翻訳文，逆翻訳文の三つ組を得る.この三つ組のうち，原文と逆翻訳文の各

図 2 データセットの作成手順を示した図

文に含まれる語の最大 AoA の差が 0.5 以上である文ペアを抽出する。修正単語は逆翻訳文のうち, 最も AoA の高い単語とし, 原文, 中間翻訳文, 逆翻訳文，修正単語の四つ組のデータセットを構築する。

また, $n$ 歳向けの機械翻訳を実現するために生成時には対象となる年齢 $n$ を指定してデータセットの選別を行う。すなわち，逆翻訳文に含まれる最大 AoA が $n$ 以上，かつ，原文に含まれる最大 AoA が $n$未満である文のみを利用して生成を行う.

データセットのうち, 実際の生成時には中間翻訳文が図 1 内 $x$ ，逆翻訳文が図 1 内 $y$ ，原文が図 1 内 $\hat{y}$ に相当する。

## 4 実験

## 4.1 実験設定

大規模言語モデルとして Hugging Face が公開しているライブラリである Transformers から事前学習済みの $\mathrm{GPT}-\mathrm{Neo} \mathrm{X}^{1)}$ を利用した. また，モデルのファインチューニングには LoRA[10]を用いる.2)

本研究では 3.2 節で述べた手法を用いてデータセットの作成を行った. 単言語データには SimpleEnglish-Wikipedia ${ }^{3)}$ 利用した.データセットには見出しなどの非文が含まれていたため，これらを取り除く前処理を行い実験に利用した。逆翻訳には JParaCrawl v3.0を用いて学習されたニューラル機械翻訳モデル [11]を利用して，英 $\rightarrow$ 日 $\rightarrow$ 英と機械翻訳を適用することでデータセットを作成した。

表 1 各手法の生成文を評価した際の実験結果. 「生成した文数」は提案手法を反復した際に AoA が 10 未満にならず再度生成した際の文数を示す. なお，評価の際は 6,194 文全体を用いて評価を行っている.

 & 0.00 & 0.69 & 0.90 & 0.83 & 0.82 & 0.91 & 0.94 & 0.96 & 0.97 \\

作成したデータセットは 169,672 文からなり，訓練データ $:$ 検証データ：テストデータ $=8: 1: 1$ に分割して実験を行った. ファインチューニング時には一つのモデルで全ての年齢を対象として平易化が可能になるように訓練データのすべてのデータを利用した. また, 本研究では生成時の対象の年齢を 10 歳として生成を行なった. すなわち，テストデータでは逆翻訳文に含まれる最大 AoA が 10 以上かつ原文に含まれる最大 AoA が 10 未満であるデー タのみを利用して生成を行った. 生成したデータは全 6,194 文であった。

## 4.2 評価指標

評価指標には機械翻訳の評価指標，テキスト平易化の評価指標，平均最大 AoA，平易化の成功割合を用いて評価を行う。機械翻訳としての評価には $n$-gram の一致度を元に評価を行う BLEU [12] と類似度ベースに評価を行う COMET [13] を利用する. ${ }^{4)}$ テキスト平易化の評価指標として単語の言い換えなどを元に評価を行う SARI [14]，一文あたりの単語数や単語あたりの音節数から評価を行う FKGL [15] を利用する. 平易化の成功割合についてはテストセットのうち，文章内の最も高い AoA が対象の年齢より低くなった文数の割合を示す.

## 4.3 比較手法

提案手法の有用性を検証するために三つの比較手法で実験を行った。一つ目はテキスト平易化の手法として事前学習済みの教師なしモデルである MUSS[2]を利用して平易化を行う．テストセットの逆翻訳文を入力とし平易文を出力する手法である.二つ目はデコード時に語彙を制限する翻訳手法である (制約付き生成). この手法ではデータセットの
 た.翻訳文を日英翻訳で英語に翻訳する際に，AoA が 10 以上の単語が出力されないように語彙を制限して翻訳を行う．具体的には，生成時の各時刻で仮説に AoA が 10 以上の単語が含まれている場合，その仮説のスコアを $-\infty$ とする. 生成時のビーム幅は 6 で生成を行い，探索に失敗した文については逆翻訳文を出力する設定とする．三つ目は一回の平易化で複数の単語を指定する手法である。この手法は提案手法の派生型として考えることができる.ファインチューニング時には原文の最大 AoA よりも高い AoA を持つ逆翻訳文に含まれる単語を修正単語として指定し，生成時には AoA が 10 以上の単語をすべて修正単語と指定して平易化を行う。この手法により反復的に平易化を行う利点を示す.

## 4.4 実験結果

表 1 に実験結果を示す. MUSS を用いた平易化では逆翻訳文に比べ BLEU や COMET の機械翻訳の評価が著しく低下しているのが確認できる。これによって単純に平易化を行うだけでは翻訳文の意味が損なわれてることがわかる．次に，提案手法の 1 回目の生成では逆翻訳文に比べ全ての評価指標において性能が向上していることがわかる. これにより提案手法では翻訳文の文意を維持したまま平易化が可能であり，提案手法の有効性が確認できる。また，提案手法の 1 回目と制約付き生成を比較すると平均 AoA 及び AoA が 10 未満になった割合は劣るものの，その他の指標で高い值を示していることが確認できる．最後に複数単語指定との比較では翻訳性能は同程度であり，平易化の指標についてはわずかに提案手法が上回っている。一方で，平均 AoA や AoA が 10 未満になった割合については複数単語指定が上回っており，複数の単語を指定することで一回の平易化でより多くの単語を修正することが可能であることがわかる.
表 2 各モデルにおける実際の生成例. 一番右の列は文中で最も AoA の高い単語とその AoAを表す.

次に，AoAが基準値を超えていた文に対して反復的に提案法を適用した際の比較を行う。提案手法内の比較では反復を行うことで全ての指標が同程度に維持または改善されていることがわかる.これより，反復的に平易化を行うことで翻訳文の意味を維持したままより AoA の低い単語を利用した翻訳文へと平易化することが可能になっていると言える. また，制約付き生成や複数単語指定との比較では 2 回目の反復で AoA が 10 未満になった割合を上回っており，その際，機械翻訳の手法ではわずかに劣るものの平易化の指標において提案手法が高い性能を示している。なお，5 回目の反復時には COMET 以外の全ての指標において比較手法のスコアを上回る結果となった.

最後に，図 3 に横軸に各文における最大 AoA，縦軸に文数を示したグラフを示す. 図 3 より提案手法の一回目の生成では AoA が 10 以上の単語が多く使われているが，反復を行うことで低 AoA の単語に平易化されていることが確認できる. 制約付き生成は低 AoA の単語を利用しているものの，生成に失敗する例があることによって AoA が 10 以上の文が生成されており，MUSS を用いた平易化の手法についても AoA の高い単語が多く使われている。

## 4.5 分析

表 1 において MUSS を用いた平易化は FKGL について大幅なスコアの改善が確認できる. MUSS では一文を複数の文に分割する平易化が多く行われていた. FKGL は一文あたりの単語数を考慮する評価指標であり，文の分割によって一文あたりの単語数が減少するため，スコアが改善したと考えられる。

提案手法において平易化に失敗している例の中には反復を行うことで一度修正された単語が再び生成されてしまう例が存在した. また, 反復を繰り返すことで平均 AoA が下がっているのに対して BLEU の値は収束している.これは反復によって平易化に

図 3 各手法の生成文の最大 AoA の統計を表したグラフ

は成功しているものの，テストセット全体の文数に対して平易化した文数の割合が少ないため，全体で評価した際に値に変化が見られないと考えられる.

## 4.6 生成例

表 2 に実際の生成例を示す. MUSS による平易化では最大AoAが下がっていないのに加え，文意が損なわれていることが確認できる。一方で，提案手法の 1 回目の反復では AoA が下がりきってはいないが，文意を保持した平易化に成功しており，また， 2 回目の反復で AoA が 10 未満の単語への平易化が成功していることが確認できる．制約付き生成では原文に最も近い生成を行なっており，生成時に語彙を制限する手法も一定の有効性を示している。

## 5 おわりに

本研究では修正すべき単語を指定し，反復的な翻訳文の平易化を行なった. 実験の結果より提案手法により AoA の高い単語を指定しながら平易化を行うことで翻訳性能を維持したまま平易化を行うことが可能であることを示した．本研究では日英翻訳についてのみ実験を行ったが，英日翻訳や他の言語対に関しても実験を行いたい。

## 参考文献

[1] Victor Kuperman, Hans Stadthagen-González, and Marc Brysbaert. Age-of-acquisition ratings for 30,000 english words. Behavior Research Methods, Vol. 44, pp. 978990, 2012.

[2] Louis Martin, Angela Fan, Éric de la Clergerie, Antoine Bordes, and Benoît Sagot. MUSS: Multilingual unsupervised sentence simplification by mining paraphrases. In Proceedings of the Thirteenth Language Resources and Evaluation Conference (LREC), pp. 1651-1664, 2022.

[3] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 584594, 2017.

[4] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 401-415, 2016.

[5] Pinzhen Chen, Zhicheng Guo, Barry Haddow, and Kenneth Heafield. Iterative translation refinement with large language models, 2023.

[6] Prabhakar Gupta, Anil Nelakanti, Grant M. Berry, and Abhishek Sharma. Interactive post-editing for verbosity controlled translation. In Proceedings of the 29th International Conference on Computational Linguistic (COLING), pp. 5119-5128, 2022.

[7] Sweta Agrawal and Marine Carpuat. Controlling text complexity in neural machine translation. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1549-1564, 2019.

[8] Kazuki Tani, Ryoya Yuasa, Kazuki Takikawa, Akihiro Tamura, Tomoyuki Kajiwara, Takashi Ninomiya, and Tsuneo Kato. A benchmark dataset for multi-level complexitycontrollable machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference (LREC), pp. 6744-6752, 2022.

[9] 谷和樹, 湯浅亮也, 田村晃裕, 梶原智之, 二宮崇, 加藤恒夫. 異なる難易度の参照文を用いる多段階難易度制御翻訳. 言語処理学会第 29 回年次大会, 2023.

[10] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. In The Tenth International Conference on Learning Representations (ICLR), 2022.

[11] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference (LREC), pp. 6704-6710, 2022.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[13] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, 2020.

[14] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics (TACL), Vol. 4, pp. 401-415, 2016.

[15] Peter Kincaid, Robert P. Fishburne, Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel. 1975.
表 3 実験に利用したプロンプト

指示:く編集 > で囲まれた単語を使わないで仮説文を元に次の日本語を翻訳してください. \#\#\# 日本語: 紙幣発祥の地.

\#\#\# 仮説文:The birthplace of $<$ 編集 $>$ banknotes $<$ 編集 $>$.

\#\#\# 翻訳:

表 4 平易化に失敗した際の生成例

表 5 反復 1 回で平易化に成功した例

## A 学習設定

LoRA は全ての線形層に対して適用し学習されたパラメータ数は $25,952,256$ で全体の $0.68 \%$ のパラメータについてファインチューニングを行なった。 また，ハイパーパラメータは $r$ を $16 ， \alpha を 32$ と設定した. ファインチューニングを行う際のパラメー タは初期の学習率を 1e-5 とし線形に減衰させ, バッチサイズを 16 , エポック数を 5 とし, 最適化手法に AdamWを利用した。また，実験に利用したプロンプトの例を表 3 に示す. 日本語が中間翻訳文 (図 1 内 $x$ ), 仮説文が逆翻訳文 (図 1 内 $y$ ), <編集 > で区切られた単語が修正単語としてモデルに入力される。

## B 平易化に失敗している例

表 4 に平易化に失敗した際の例を示す。機械翻訳文に存在する institution という単語は反復 2 回目で agency という AoA の高い単語へと修正されていることが確認できる.この agency を修正単語と指定して平易化を行うことで，3回目の反復で再び institution に修正されているが，4 回目の反復で agency が再度生成されていることが確認できる.このように反復を行うことで一度平易化された単語が再び生成されてしまうような例が存在した。これは現在のモデルが変更履歴を考慮できないことが原因の一つとして考えられ，今後の課題である.

## C 平易化に成功している例

表 5 に反復をすることなく平易化に成功した例を示す. MUSS を利用した平易化では平易化には成功しているものの，やや文意を損なった平易文が生成されていることが確認できる。 また，制約付き生成においては AoA が 10 未満の単語のみでの生成ができず，平易化に失敗している。一方で，提案手法の生成では反復をすることなく一回の平易化で文意を保持したまま AoA の低い単語への修正に成功している.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 文内コンテキストを利用した分割統治ニューラル機械翻訳

石川隆太 加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{ishikawa.ryuta.il7, kano.yasumasa.kw4, sudoh,s-nakamura\}@is.naist.jp

## 概要

長文の翻訳は、ニューラル機械翻訳（NMT）における顕著な課題の一つである。我々は、分割統治アプローチに基づいてこの課題に取り組む。提案手法では、(1) 入力文を等位接続詞を基準に節単位に分割し、(2) 分割された各節を、文内コンテキストを考慮できる形で、節翻訳モデルを使用して翻訳し、 (3) 翻訳された節を集約して、別の Seq2Seq モデルを用いて最終的な翻訳を得る。ASPEC を用いた英日翻訳の実験結果から、41 単語以上の長い入力文において、mBART をファインチューニングしたベー スラインよりも優れた BLEUを実現することが示された。

## 1 はじめに

近年、NMT の翻訳品質は飛躍的に向上し、より自然で文脈に沿った翻訳が可能となった。しかし、 NMT にはいくつかの課題がある $[1]$ 。その課題の一つが長文の翻訳である。長文の翻訳精度低下の課題に対して、統計的機械翻訳では、長文を短いセグメントに分割して翻訳し、並べ替えて結合する分割統治的手法が提案されている [2]。NMT においては、 Pouget ら [3] が、長文を分割し、分割された各セグメントを翻訳した後に前から順に結合する手法を提案している。しかし、[3] の手法は分割したセグメントを翻訳した後にそれぞれ前から単純に連結するため、英語と日本語のような語順が大きく異なる言語対を翻訳する際に、出力文が不自然な文になってしまう懸念がある。この語順が不自然になるケースに対応するため Kano ら [4] は NMT における長文のための分割統治的手法を提案している。[4] の手法による翻訳プロセスは大きく 2 つの段階に分かれており、各プロセスはそれぞれ別の Seq2Seq モデルで実施される。1 段階目は文を節単位のセグメントに分割し、分割後の各節の翻訳を行う。2 段階目は翻訳後の各節の連結部分を自然な表現に書き換えた
り、必要に応じて節の順番を並び替えることで、最終的な出力文が自然な訳出になるように調整を行う。Kano ら [4] の手法において、二つの課題が挙げられている。一つは節分割の際のセグメンテーション単位の課題、もう一つは節分割後の節の翻訳精度の課題である。

本研究では、上記二つの課題に注目し、英日翻訳における長文の翻訳精度の向上を試みる。具体的に、等位接続詞を基準とした新しい英文の節の分割単位及び、分割後の節翻訳において文内コンテキストを参照して翻訳を行うモデルの学習手法を提案する。

## 2 分割統治型 NMT とその課題

分割統治型ニューラル機械翻訳の概要とその課題を説明する。

## 2.1 分割統治型 NMT の概要

Kano ら [4] の手法は主に 4 つの Step からなる。 Pouget ら [3] はセグメント翻訳のための最適な分割の境界を見つけるため、文のセグメンテーションに翻訳モデルの出力確率を利用していた。しかし、彼らの手法は文法的に適切な境界で文を分割する保証がない。それに対し、[4] の手法は節という、統語構造上自然な単位に基づくセグメンテーションを採用している。Step1 で入力文を構文解析し、Step2で文を節単位でセグメントに分割する。節の中に節を含む場合も、すべての節境界で分割が実施される。 その後、Step3 で分割された各節は、文単位の対訳コーパスで学習された翻訳モデルによって翻訳される。最後の Step4 で翻訳モデルとは別の Seq2Seq モデルを用いて、最終的な訳出を生成する。Step4 における入力はソース側の各節と翻訳された各節を特殊トークンを使用して結合し、その後、各節同士を別の特殊トークンで結合したものである。分割されたことにより、翻訳された各セグメント同士が、互いに文脈的にどのような関係を持つのかという情報

が失われているため、このようにソース側の情報を付与する必要があるとされている。

## 2.2 分割統治型 NMT の課題

彼らの手法では、Step3 における節単位の翻訳精度が問題とされている。この節の翻訳精度は、翻訳の最終的な品質に大きな影響を与えるとされる。節翻訳の精度における課題には、次の 3 つの要因が考えられる。

セグメンテーションの単位すべての節境界で分割を行うため、分割後の節が短くなり過ぎたり、節と節の間を繋ぐ短いセグメントが生じることがある。

文レベルの NMT モデルの利用節翻訳の後にソース側の情報を翻訳後の各節に付与しているが、節の翻訳は文単位のコーパスで学習されたモデルで行なっているため、トレーニングと推論の間の入力文の不整合により、望ましくない追加や省略を引き起こす可能性がある。

分割された節をそれぞれ独立に翻訳 Step3 の節翻訳の際に各節はそれぞれ独立に翻訳されるため、文中の文脈情報が活用できず、不適切で一貫性のない単語選択を引き起こす可能性がある。

## 3 提案手法

本研究では上記の 3 つの課題を考慮して Kano ら [4] の手法を基盤とし、新しい分割統治ニューラル機械翻訳手法を提案する。

## 3.1 等位接続詞を基準とした節のセグメン テーション

[4]の手法ではすべての節境界で分割を行うため、分割の際に [2] の手法のように階層構造を考慮していない。本研究では、節と節を連結する等位接続詞を基準として、その前後に $\mathrm{s}$ 構造を持つ文にのみ分割の単位を限定することで、この問題に対処する。 この節分割単位に限定することで節の中に節を含む場合の分割は行われない。したがって、節の階層構造を考慮せずに、分割された節が短くなり過ぎることが防げる。節分割のルールの詳細を実例を用いて示す。次の 2 つの文があるとき、

1. I like football and baseball.

2. She wants to travel the world, but her job keeps her busy, and her savings are not enough for the trip.

これらに構文解析を適用して、次の表現を得る。
1. (S (S She wants to travel the world),

2. (CC but) ( $S$ her job keeps her busy), (CC and) (S her savings are not enough for the trip).)

最初の文には、2つの名詞を接続する and が含まれているが、これはセグメンテーションの条件を満たしていない。2 番目の文を接続詞を基準にセグメント化すると、 3 つの節と 2 つの接続詞が導き出される。

-(s She wants to travel the world,)
- (CC but)

-(S her job keeps her busy,)
- (CC and)
- (S her savings are not enough for the trip.)

我々のセグメンテーションルールは、入力文全体がＳを形成する場合、結果として生じるセグメントがS またはCCであることを保証する。

## 3.2 節単位の対訳データのアライメント

節翻訳に文レベルの NMT モデルを利用することによって生じる可能性のある問題を軽減するために、節の対訳データを使用して節翻訳のための NMT モデルが作成できることが望ましい。本研究では、節レベルの対訳データを作成し、このデー タに基づいて mBART を節翻訳用にファインチュー ニングした。我々は、Kano ら [5] の手法を参考にした、文レベルの対訳データから節レベルのアライメントを得る手法を提案する。この手法は主に以下の 3 つのプロセスから構成されている。

対訳コーパスのソース側の構文解析ソース側の文を構文解析し、接続詞の前後に節 S を持つ文を特定し、接続詞の位置に基づいて節に分割する。

ソース側の各節の翻訳分割された各ソース節をベースラインの翻訳モデルを使用して翻訳し、ター ゲット側の節としてぺアにすることで、節レベルで擬似的な対訳データを構築する。

節アライメントの獲得疑似的な節単位の対訳データのターゲット節はベースラインによって翻訳されたものである。しかし、ソース側の各節は独立して翻訳されるため、翻訳後のターゲット側の各節は分割前の元のソース文から一部の文脈情報を失う。したがって、翻訳されたターゲット側の各節を並べ替えて繋げ直してたとしても、元のターゲット文を再現できる保証はない。したがって、節のアライメントは元の対訳データから獲得する。このプロ

<<<En-sentencel >>> + En-sentence2 --- Ja-sentence 1

En-sentence $1+<<<$ En-sentence2 >>> --- Ja-sentence2

<<<En-sentence2 >>> + En-sentence3 --- Ja-sentence2

En-sentence $2+$ <<<En-sentence 3 >>> --- Ja-sentence3
<<<En-clause1>>> + En-clause2 + En-clause3 --- Ja-clause1

<<<En-clause2>>>+ En-clause3 --- Ja-clause2

En-clause $1+$ En-clause $2+<<<$ En-clause3>>> --- Ja-clause3

図 1: 文レベルのコンテキストを考慮した対訳データ (左) と節レベルのコンテキストを考慮した対訳データ (右) の形式（タグで囲われた部分のみを翻訳するようにモデルを微調整する）

図 2: 提案手法による翻訳処理の概要

セスは以下の 4 つの Step で行われる。（付録の図 3 に節アライメント獲得のプロセスを示す。)

1. mBART のトークナイザーを使用して、分割されたソース文に対応するターゲット文をトー クン化する。このとき、最後のトークンから始め、最初のトークンに向かって、一つずつトー クンを連結しながら、分割されたソース節とのアライメント候補を作成する。

2. 翻訳された文の最後の節から最初の節に向かって順序を追いながら、Step1 で作成したアライメント候補（最後から順に連結されたトークン化されたターゲット文）に対して BERTscore （F1）を測定する。そして、最も高いスコアを持つアライメント候補をソース側の節とアライメントする。

3. ターゲット側のアライメントされた文字列を元のターゲット文から削除する。

4. ソース側のアライメントされていない節が残り 1 つのみの場合は、それを残りのターゲット文とアライメントし、操作を終了する。2つ以上のソース節が残っている場合は、削除された文字列を除いた文を新しいターゲット文として扱い、Step1 に戻る。

この手法を使用することで、ソース側のセグメント化された各節とターゲット側の文との間の対応が確立され、擬似的な対訳データを使用せずに節レべルでのアライメントが獲得される。その結果、節単位の対訳データの品質が向上することが期待でき
る。Step1 において、[5] の手法のように、ターゲット文の最初からトークンを連結し、アライメント候補を作成することも試みたが、後方からの連結と比較してアライメントの精度が低かったため、後者のアプローチを採用した。

## 3.3 文内コンテキストを利用した節単位翻訳モデル \\ 節翻訳モデルのデータ形式 文内コンテキストを利用した節翻訳モデルは複数の節が組み合わされた 入力から、タグ《く 》》で囲まれた節のみを翻訳す るようにファインチューニングされる。図 1 は、文 レベルおよび節レベルの文脈を考慮できる形の対訳 データの形式を示している。このデータ形式を採用 することにより、[6] の手法のように入力の文脈情報が拡張される。その結果、タグに囲まれた部分の 外側の文脈情報を参照しながら、タグで指定された 部分のみを翻訳するモデルを作成することが可能に なる。

節翻訳モデルのファインチューニング節翻訳モデルは次の二段階でファインチューニングされる。

・文レベルのコンテキストを考慮した対訳データを用いて、mBART の初期のファインチューニングを行う。

・節レベルでのコンテキストを考慮した対訳デー タを使用して、節翻訳に特化するための二段階目のファインチューニングを行う。

節レベルのコンテキストだけでなく、文レベルのコンテキストを考慮した対訳データを使用して段階的にファインチューニングを行う理由は、節レベルのコンテキストを考慮した対訳データの量が比較的少ない (300K) ためである。これを補うために、今回の実験では、文レベルのコンテキストを考慮した対訳データも使用して、節翻訳モデルのファインチュー ニングを行った。

通常、対訳コーパスに含まれる文が互いに文脈的なつながりを持つ保証はない。しかし、文書 ID と文 ID の情報があれば、元の文書を再構築できる可能性がある。本研究では、そのようなコーパスが利

表 1: 単語長ごとのテストデータの文数

表 2: テストセット全体の BLEU

用可能であると仮定する。まず、対訳コーパスのソース側の文書 ID と文 ID を使用して、ソース側コーパス内の元の文書を再構築する。次に、各文書内で、文脈を維持しながら文を 2 つずつ組み合わせる。この際に組み合わされた文の一方に、単一の文単位を示すタグ《く 》>が追加し、タグ付きの文に対応するターゲット側の文がぺアになる。

2 文の文脈を考慮する対訳データと同様に、アライメントされたソースとターゲットの節を基に、節の文脈を考慮した対訳データを作成する。これにより、各セグメントされた節を、その節の前後の文脈を参照して翻訳することが可能になる。その結果、

Kano ら [4] の手法と比較して、より効果的な節しべルの翻訳が期待される。図 2 は、提案された手法による翻訳プロセスの概要を示すもので、文脈を考慮できる形の節翻訳の実装を例示している。

## 4 実験

提案方法の有効性を調査するため、我々は長文の翻訳に焦点を当てた以下の実験を実施した。

## 4.1 実験設定

我々は、文書と文の順序情報が利用可能で、我々の提案手法が適応可能なバイリンガルコーパスである ASPEC [7] を基に、英日翻訳の実験を行った。評価指標は、BLEU、BLEURT、COMETを用いた。日本語のトークン化には ja-mecab [8]を使用し、 sacrebleu [9]を用いて計算した。文の長さの影響を調べるために、テストセットを英文の単語数に基づいて 4つビン (1-20、21-40、41-60、61 以上) に分割した。提案手法は、入力英語文が等位接続詞を持ち、その前後に S 構造を持つ文にのみ働き、それ以外の場合にはベースラインが使用される。そのためテストセット全ての文に提案手法が適応されるわけ

表 3: 入力単語数ごとの BLEU(分割が行われた文のみ)

ではない。表 1 は、テストセット全体と提案手法が適応される文の数をそれぞれ示している。

## 4.2 結果

表 2 はテストセット全体のベースラインと提案手法の入力単語数ごとの BLEU スコアを比較している。全体的な結果から、提案手法はべースラインに対し、 0.1 ポイント高い結果となった。単語長 41-60、61 以上の範囲においてはそれぞれべースラインと比較して、 0.7 ポイント、 1.3 ポイント BLEU の改善が確認できた。

表 3 はベースラインと提案手法における構文解析の結果、分割が行われた文のみを対象とした場合の入力単語数ごとの BLEUを比較している。これは、 ベースラインと提案手法の性能差を明確に示すための結果である。提案手法はベースラインに対し、 1-20 単語長以外の全ての範囲において、高い BLEU を示している。特筆すべきは単語長 41-60、61 以上の区分において、提案手法はベースラインよりもそれぞれ 2.4 ポイント、 1.1 ポイント高い BLEUを達成していることである。これは提案手法が長文の翻訳において特に効果的であることを示唆している。より詳細な分析については付録で述べる。

## 5 おわりに

本研究では、長文の翻訳品質の向上を目指し、 NMT において分割統治手法を基盤とした、新たな文のセグメンテーション単位及び、文内コンテキス卜を利用した節翻訳モデルの学習方法を提案した。実施した実験により、提案された手法は単語数 41 以上の長文の翻訳において BLEU スコアを向上させることが確認された。

提案手法が適応される文の割合を増やすことによるテストセット全体としての翻訳品質のさらなる向上が期待できる。そのため、等位接続詞以外での新しい節分割パターンの追加などを行い、接続詞を持たない長文にも対応できるように提案手法を拡張することを今後の課題とする。

## 謝辞

本研究の一部は科研費 $21 \mathrm{H} 03500$ と $21 \mathrm{H} 05054$ の助成を受けたものです。

## 参考文献

[1]Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, Vancouver, August 2017. Association for Computational Linguistics.

[2]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and Met- ricsMATR(SMT '10), p. 418-427, 2010.

[3]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrien-boer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78-85, 2014.

[4]加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラル機械翻訳. 言語処理学会第 27 回年次大会発表論文集., 2021.

[5]Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (inperson and online), May 2022. Association for Computational Linguistics.

[6]Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Bonnie Webber, Andrei Popescu-Belis, and Jörg Tiedemann, editors, Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko
Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[8]Taku Kudo. Mecab : Yet another part-of-speech and morpho- logical analyzer., 2006. https://taku910. github.io/mecab/.

[9] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A 付録

表 4: 入力単語数ごとの BLEURT(分割が行われた文のみ)

表 5: 入力単語数ごとの COMET(分割が行われた文のみ)

表 6: テストデータの節と文の平均単語数

表 4、表 5 から BLEURT、COMET での評価では、全体として BLEU と同様に提案手法がベースラインを上回っていることが確認できた。しかし、 BLEURT においては単語長 61 以上の範囲ではベー スラインを下回る結果となった。今回の実験において全テストデータ 1812 文の内提案手法が適応されている文は 259 文で、割合としては約 $14 \%$ と非常に少ないため、テストセット全体としての BLEU の向上は 0.1 ポイントに留まったと考えられる。単語数 41-60、61-の範囲で提案手法の BLEU が改善した原因として、節単位のセグメンテーションによって長文の入力と出力の長さが翻訳モデルにとって扱いやすい単位になったことが考えられる。図 4 は単語数ビンごとの文数を示している。学習データにおける文の長さの平均値、中央値はそれぞれ 22.8、21であり、単語数 10-30 の範囲に学習データが集中していることが分かる。このことから、単語数 10-30 の範囲が翻訳モデルにとって扱いやすい文長であることが考えられる。表 6 はテストデータのそれぞれの単語長の範囲における節と文の平均単語数を示している。単語数 41-60、61 以上の範囲の節の平均単語数に注目すると、どちらも単語数 10-30 の範囲に収まっている。このことから長文の翻訳において入力文を翻訳モデルが扱いやすい単位に文を分割して扱
うことでより効率的に入力文の情報を処理することができ、結果的に翻訳の精度が向上したことが考えられる。

図 3: 提案手法による分割された英語文節と対応する日本語文節のアライメントを得る処理の概要

図 4: ASPEC コーパスの単語数ビンごとの文数


# 言い換え文を用いた機械翻訳の学習データの増加

松本武尊 1 村上仁一 2
1 鳥取大学大学院持続性社会創生学科学研究科
2 鳥取大学工学部
m23j4054m@edu.tottori-u.ac.jp
murakami@tottori-u.ac.jp

## 概要

NMT において，言い換え文を利用して，学習文を増加する手法がある．本論文では，外部コーパスを利用せずに言い換え文を生成する。乥して，生成された言い換え文を用いて学習データを増加させ，機械翻訳の精度向上を試みた。光の結果, 自動評価結果では, わずかに精度が向上した.しかし, 人手評価結果では学習文に言い換え文を追加しても精度に変化が見られなかった。

## 1 はじめに

ニューラル機械翻訳の精度を向上させるためには, 大量の学習データが必要となる.しかし, 大量の学習データを収集するには，大きなコストがかかる.乥こで，言い換え文を用いて学習データを増加させる手法がある．

本研究では，外部コーパスを利用せずに，折り返し翻訳を用いて言い換え文を生成し，学習データを増加させる. 先行研究 [1] と同樣に折り返し翻訳を行い元の文と折り返し翻訳をされた文を比較する。光して，2 の文が一致した場合のみ言い換え生成を行う．このことにより，翻訳誤りが減少し，高い精度の疑似データを作成することができると考えられる.光して，生成された言い換え文を用いて学習文を増加させ，機械翻訳の精度を調査する．

## 2 関連研究

## 2.1 言い換え生成

学習データを増幅させるために，言い換え生成を行う. 言い換え生成には樣々な手法がある. 先行研究 [1] では, 日本語の言い換え生成を行った.NMT を用いて折り返し翻訳を行い, 翻訳結果が一致した場合のみ言い換え生成をした．また，言い換えの取得数を増加させるために出力候補数を 4 候補にした 4Best , 乱数による出力の違いを考慮した 4 システムで実験を行った．表 1 に生成された言い換え文とランダムに選択された言い換え文 100 文に対する人手評価の結果を示す。

2.2 単言語コーパスを用いた学習データの増加

学習データを増幅させるために単言語コーパスを用いる手法がある. Sennrich[2] らは，ターゲット言語の単一言語コーパスはフレーズベースの統計的機械翻訳の流暢性を高めるための重要な役割を果たしていることから，NMT でも単言語コーパスを利用した.

単一言語コーパスを逆翻訳と組み合わせることにより，追加の並列学習データとして扱った。光の結果，機械翻訳の精度の大幅な改善が見られた。

## 3 提案手法

本研究では，日英翻訳を基本としている。提案手法として，学習データにターゲット言語の言い換え文を追加した翻訳モデルとする．つまり，英語の言い換え文を追加する．また，ベースラインは言い換え文を学習データに追加していない翻訳モデルとする.表 2 に学習データの追加例を示す.

なお, 言い換え生成には, ベースラインの学習データを用いている。光のため，外部コーパスを利用していない.
表 2 学習文の追加例

 &  \\

## 4 実験

## 4.1 実験手順

## 本研究では以下の手順で実験を行う

1. ベースラインとして，言い換え文を利用しない翻訳モデルを作成する。

2. 提案手法として, 英語の言い換え文を学習デー タに追加し，翻訳モデルを作成する．
3. 1,2 で作成した翻訳モデルを用いてテストデー タで翻訳を行い自動評価を行う。

## 4.2 実験条件

本実験の実験条件を示す．NMT の学習・翻訳には OpenNMT-py[3] のバージョン3.1.1を用いて，デフォルトの設定で実験を行う．

## 4.3 対訳コーパス

本研究では, 電子辞書などから抽出した日英単文対訳コーパスを用いる [4] . 表 3 に日英対訳コーパスの一部を示す.また，追加する英語の言い換え文の一部を表 4 に示し，表 5 に生成された言い換え文とランダムに選択された言い換え文 10 文に対する人手評価結果を示す.

表 3 日英対訳コーパスの例

 &  \\

表 4 英語の言い換え文の例

 &  \\

## 5 結果

## 5.1 ターゲット言語の学習データの追加量

本実験では，言い換え文の量を3つに変化させて実験を行った．表 6 に日英翻訳におけるターゲット言語である英語の言い換え文を追加したときの学習データの数を示す.

表 6 日英翻訳における学習データの量

## 5.2 自動翻訳結果

表 7 にテストデータ 16,328 文における BLEU による自動評価結果を示す。

表 7 日英翻訳における自動評価結果

表 7 より，英語の言い換え文を追加することにより BLEU 值は少し増加した．しかし，追加する言い換え文の量を増加させても BLEU 值の変化がわずかであることが確認できる．

## 5.3 人手評価結果

表 8 に英語の言い換え文 14,818 文を追加したときと , ベースラインをランダムに選択された 100 文で人手で比較を行った結果を示す。
表 8 ベースラインとの比較結果

表 8 より,ベースラインと英語の言い換え文 14,818 文を追加した場合を比較すると差がないことが確認できる .

## 5.4 出力例

表 9 に人手評価で提案手法のほうが良い例を示す.また，表 10 に言い換え文を追加したほうが良い例を示す.

 \\

表 9 より, 言い換え文を追加することにより, 間違って翻訳されていた単語が正しい単語に置き換わっていることが確認できる .表 10 ベースラインが良かった出力例

 \\

表 10 より，言い換え文を追加することにより， ベースラインでは正しく翻訳されていた単語が別の単語へ置き換わっていたり, 不要な単語が増加していることが確認できる．

## 6 考察

## 6.1 ソース言語の言い換えの追加

表 7 より, ターゲットである英語の言い換え文を追加しても，BLEU 値は，あまり増加しなかった． そこで，ソース言語である日本語の言い換え文を追加したときの日英翻訳の精度を調査する．

## 6.1.1 ソース言語の学習データの追加量

表 11 に日英翻訳におけるソース言語である日本語の言い換え文を追加したときの学習データの量を示す.

表 11 日本語の言い換え文を追加した学習データ量

## 6.1.2 自動評価結果

表 12 にテストデータ 16,328 文における自動評価結果を示す。

表 12 より, 日本語の言い換え文を追加すると，
表 12 日本語の言い換え文を追加した自動評価結果 BLEU METEOR TER RIBES

BLEU 值がわずかに減少したことが確認できる．

## 6.1.3 出力例

表 13 に出力例を示す.

表 13 ソース言語の言い換えを追加したときの出力例

 \\

## 6.2 精度が向上しない原因

表 7 と 12 より, 日本語, 英語の言い換え文を追加しても機械翻訳の精度にはあまり差がなかった。以下に精度が向上しなかった原因として考えられることを示す.

## 6.2.1 末知語

本研究では，外部コーパスを利用していない，光のため, ベースラインと比較すると, 学習データにおける単語の出現回数は変化する.しかし, 単語の種類は増加しない.よって, ベースラインで未知語
となっている単語は言い換え文を追加しても未知語のままである．例として，表 13 の入力文 2 ではベースラインで未知語として出力されている部分は，言い換え文を追加しても未知語として出力されていたり，不適切な単語に置き換わっている。

## 6.2.2 不適切な言い換え文

学習文に追加した言い換え文には，不適切な言い換え文が含まれている．觉のため，ベースラインで翻訳が成功していた文が，不適切な言い換え文が追加することにより翻訳が失敗する場合がある．例として，表 10 の入力文 2 では，言い換え文を追加すると” parked“ の目的語が不適切な単語になっている.

## 6.3 今後の課題

本研究では，外部コーパスを用いていないため，翻訳の情報量は増加していない，炎のため，精度が向上していないと考える. 光こで今後として, 単語の情報量を増加させるために，外部の単一コーパスを用いて言い換え文を作成して，学習データに追加することを検討したい．

## 7 おわりに

本研究では，学習データに言い換え文を追加することにより，学習データを増加させ，機械翻訳の精度向上を試みた．結果より，ターゲット言語である英語の言い換え文を追加した場合では，BLEU 值はわずかに向上した .

精度がわずかしか向上しなかった大きな原因として, 未知語が影響していると考えられる. 光こで今後として，外部の単一コーパスを用いることにより，機械翻訳の精度の調査を行いたい。

## 参考文献

[1] 松本武尊, 村上仁一. 折り返し翻訳を利用した言い換え生成. 言語処理学会第 29 回年次大会, 2023.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. arXiv preprint arXiv:1511.06709, 2015.

[3] OpenNMT. https://opennmt.net/OpenNMT-py/.

[4] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, pp. 119-130, 2012.

[5] 田中慎太郎, 飯間ほか. 往復翻訳を教師とした言い換え生成モデルによる高速テキストデータ拡張. 人工知能学会全国大会論文集第 37 回 (2023), pp. 2E5GS604-2E5GS604. 一般社団法人人工知能学会, 2023.

[6] Jianing Zhou and Suma Bhat. Paraphrase generation: A survey of the state of the art. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5075-5086, 2021.

[7] 杉山普, 吉永直樹ほか. 逆翻訳によるデータ拡張に基づく文脈考慮型ニューラル機械翻訳. 研究報告自然言語処理 (NL), Vol. 2019, No. 14, pp. 1-5, 2019.

[8] 矢野貴大, 村上仁一. ニューラル機械翻訳に乱数が与える影響. 言語処理学会第 27 回年次大会, 2021.

[9] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Effective approaches to attention-based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.


# TED 講演音声の機械翻訳のためのデータ拡張法の比較

増田健人山本一公中川聖一
中部大学工学部
}

\{tp22021-6334@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu.ac.jp
## 概要

本稿では Transformer を用いた翻訳モデルの性能改善の為に英日・日英を対象とした単一方向翻訳モデル及び双方向翻訳モデルの比較、種々のデータ拡張法の比較を行った。拡張手法では先行研究の手法 [1]に加え、翻訳モデルにオートエンコーダ部分を追加した手法、オートエンコーダによる生成文を疑似コーパスとして用いた方法、英韓のパラレルデー タを併用したマルチリンガルでの翻訳モデルの学習を行い、テキスト翻訳と音声翻訳の有効性を報告する。

## 1 はじめに

TED 講演音声に関して、英語の音声認識は IWSLT(International Workshop on Spoken Language Translation) での発表が多いが、英日翻訳に関しては少ない。2021 年には英日の瞬時テキスト翻訳 [7] が、2022 年には英日の瞬時音声翻訳がタスクに加えられている [8]。

TED の英日音声翻訳に関しては、2022 年度の IWSLT で最も良かった結果は、大規模な外部音声資源・言語資源を使用した USTC(中国科学技術大学) のシステムで、音声認識誤り率 (単語誤り率) 約 $5 \%$, アンサンブル翻訳ではテキスト入力で 22 , 音声入力・オフライン方式では約 19 の BLEU 值を報告している [11]。2023 年度の IWSLT では、オフライン音声翻訳と瞬時音声翻訳、新しい TED のテストデータが評価対象となり、ACL の発表音声もテストに加えられた [9]。今回も音声認識と機械翻訳の力スケード方式が end-to-end 方式の性能を上回った。 TED 講演のオフライン英日音声翻訳には 3 チームが参加し、BLEU の值は 10.6, 16.5, 18.7 であった。一番良かった HW-TSC(Huawei 翻訳サービスセンター)の手法は、音声認識は Whisper(conformer) を fine-tuning
したもので、翻訳モデルは Deep-Transformer の 1 対多言語 (1 対 3) モデルである [9]。

学習に用いるパラレルデータの不足を補うために単言語コーパスによるデータ拡張手法がある [12]。 これは単言語コーパスを機械翻訳することで疑似的なパラレルコーパスを作成し、ベースとなるパラレルコーパスと混合して学習に用いる手法である。山岸らは本手法の単言語コーパスとして、日本語話し言葉コーパス CSJ(Corpus of Spontaneous Japanese) の学会講演の書き起こしデータ等を使用した $[13,14]$ 。

また、ベースとなるパラレルコーパスをある規則に基づいて変換して疑似コーパスを作成し、ベースコーパスを数倍に増やすことで学習データを得る拡張法がある (パラフレーズモデル)[15]。Bao らは品質の良い疑似コーパスを得るためにソース文のキーワード等も付加して複数文の翻訳文を生成し、用いている [16]。オートエンコーダを使用する方法も種々ある。Cheng らは、モノリンガルデータと英中、中英翻訳モデルを用いて英語文 $\rightarrow$ 中国語文 $\rightarrow$ 英語文，中国語文 $\rightarrow$ 英語文 $\rightarrow$ 中国語文，とソース文を翻訳し、ソース文とターゲット文が同一になるように学習して単なる逆翻訳手法よりも高い効果を得ている [17]。

我々が試みた方法は、ソース側文とターゲット側文が同一になるように学習するもので、Currey らと同じ手法である [19]。但し、Currey らは Transformer や双方向モデルでは評価していない。また、オートエンコーダで生成された文を用いた疑似コーパスとの比較も行っていない。

## 2 翻訳モデル

## 2.1 Transformer[6]

Transformer モデルはエンコーダ層とデコーダ層からなる。エンコーダは同じ構成のエンコーダの積み
重ねにより構成され、一つのエンコーダは自己注意機構とフィードフォワードネットワーク（FFNN） により構成される。デコーダも同じ構成のデコーダの積み重ねにより構成される。

## 2.2 エンコーダ-デコーダの層数

標準的な Transformer のモデルはエンコーダ 6 層、 デコーダ 6 層であるが、最適な設定は学習データ量によって異なる。先行研究の予備実験 [1] では、エンコーダ-デコーダ層数が 6 層-6 層で $0.80 、 3$ 層- 3 層で 13.22 の BLEU 值であった。本実験では異なるエンコーダ-デコーダ層数での各データ拡張手法の比較を行った。

## 2.3 単一方向翻訳と双方向翻訳モデル

単一方向翻訳モデルでは、ソース言語とターゲット言語のペアで学習することで翻訳モデルを作成する。双方向翻訳モデルの場合は、ソース言語とター ゲット言語のペアと、ターゲット言語とソース言語を入れ替えたペアからなるデータセットによって翻訳モデルを作成する。1つの双方向翻訳モデルで英日翻訳、日英翻訳の両方を行う。

## 3 データ拡張法

## 3.1 単言語コーパスの順方向/逆方向翻訳 によるデータ拡張

(a) ベースコーパス以外からの利用

本実験で使用する TED 講演の IWSLT のベー スコーパスには英語と日本語のパラレルコーパスが少ないため、英語または日本語の単言語コーパスをベースモデルで順/逆方向に翻訳することで英語と日本語の疑似パラレルコーパスを作成し、データ拡張を行う [1]。単言語コー パスには IWSLT2018 英語-スペイン語のパラレルコーパスの英語側と、CSJ 日本語コーパスの模擬講演を用いた。

(b) ベースコーパスからの利用

ベースコーパスの英語または日本語側を、先行研究 [1] で最も翻訳精度の高かったモデルを用いて順/逆方向に機械翻訳することでべースコーパスのペアの片方と合わせて疑似対訳コー パスとして作成し、データ拡張を行った。

## 3.2 オートエンコーダによるデータ拡張

英日、日英のパラレルコーパスに加えて、英-英、日一日のパラレルコーパスを加えて学習する(オートエンコーダ [19])。この際、ソース言語側に言語対タグを付けた。

(c)ソース文とターゲット文を同一にしたパラレルコーパス

ベースコーパスに対して、ソース文とター ゲット文を同一にしたオートエンコーダ部分を追加して学習を行った。英日単一方向翻訳モデルの場合は英語を日本語に翻訳するように学習すると同時に英語文と同じ英語文に、日本語文を同じ日本語文に翻訳する部分のどちらか、もしくは両方を追加して学習する。英日/日英双方向翻訳モデルの場合は英語と日本語の双方向翻訳の学習に加えて、英英及び日日のオートエンコーダ機能を学習する。

(d) オートエンコーダにより生成された疑似ソース文を利用

ベースコーパスのソース文とターゲット文を同一にして学習したオートエンコーダを用いて、疑似パラレルコーパスを作成しデータ拡張に用いた。（生成文を英，日，と記す）。

(e) ベースコーパス以外の単言語コーパスによるオートエンコーダ部分の追加

(c) の方法と同じであるが、ベースコーパス以外の単言語コーパスを使用する。

## 3.3 英韓パラレルデータによるデータ拡張

(f) マルチリンガルモデルが少資源学習データに対して有効なことから [14]、日本語と類似する文法を持つとされる韓国語と英語のパラレルコー パスをベースコーパスと合わせて学習することで英日、日英翻訳タスクに適用した。

## 3.4 ASPEC コーパスモデルからの転移学習

(g) TEDのような話し言葉でなく書き言葉であるが大規模な 100 万文のペアからなる ASPEC コー パスにより単一方向モデル、双方向モデルを学習し、そのパラメータを初期値としてベースコーパスである IWSLT およびデータ拡張したデータセットで翻訳モデルを学習する。なお ASPEC コーパスによる翻訳モデル学習の際に

は TED の話し言葉の語彙に合わせた [1]。

## 4 実験結果

## 4.1 使用したデータ

本研究では IWSLT2016 英語-日本語パラレルコー パスをベースコーパスとして使用した。データ拡張用の単言語コーパスとして IWSLT2018 英語-スペイン語パラレルコーパスの英語側と、日本語の単言語コーパスである日本語話し言葉コーパス CSJ を、マルチリンガルモデル用の英韓対訳コーパスに IWSLT2016 英語-韓国語パラレルコーパス用いた。表 1 に学習文数、開発文数、テスト文数を示す。

表 1: 使用データセット

(a) ベースコーパス () 内は講演数

(b) データ拡張用データ () 内は講演数・分野数

(c) 翻訳テストデータの総文数 () 内は講演数

 \\

## 4.2 音声認識手法と認識結果

音声翻訳に使用する TED 講演音声のテキスト書き起こしは、先行研究 [2] で Kaldi を用いて学習した音声認識モデルによるものである [2]。これは Kaldi の TEDLIUMv3 亿対応したレシピで学習した認識システムで、DNN-HMMを用いて学習した隠れ層 13 層、ユニット数 1024 のネットワークである。出力層のユニット数はトライフォン HMM のの共有状態数に対応している。ネットワークへの入力特徴量は MFCC (メル周波数ケプストラム) 40 次元である。テストデータは 12 講演のうち 10 講演である (2 講演は音声要約の実験に不適切であったため除外 [2])。
このモデルを TED 講演音声約 450 時間の学習デー タで学習を行い、得られた平均単語正解精度 87.6 \%(話者・講演により 70～90\% [3]) の音声認識結果を用いて音声入力による翻訳を行った。

## 4.3 翻訳結果

Transformer モデルの学習には fairseq[23] Version 0.12.0を使用した。エンコーダとデコーダの層数は 3 層と 6 層のモデルを単一方向と双方向それぞれ学習し評価した。学習の最適化は Adam, 学習率は 0.0005、学習は 20 epoch まで行った。翻訳モデルの性能評価には BLEU を用い、本研究では 4-gram までの値を用いた。

英日音声翻訳実験は音声認識した 10 講演で行い、 テキスト翻訳もこの 10 講演に合わせた。 12 講演の英日、日英のテキスト翻訳結果は付録に示す。また、翻訳業者 2 社による人手による英日翻訳を 2 講演に対して行ってもらい [1]、オリジナルなリファレンスと合わせてリファレンスを 3 つにした翻訳評価を付録に示す。

表 2 に種々のデータ拡張手法の翻訳評価結果を示す。 3.1 節 (a) の手法は 12 講演に対してのみ行い (付録参照)、10 講演に対する結果をまとめてないので省いた。双方向翻訳モデルの fine-tuning とは、 モデルの学習後、ベースパラレルコーパスで追加学習したモデルのことである。べースラインとは IWSLT2016 の英日ベースパラレルコーパスを単一方向翻訳モデル及び双方向翻訳モデルで学習したものである。十疑似英語はべースパラレルコーパスの日本語部分をを 3.1 節 (b) の手法で機械翻訳し、疑似パラレルコーパスとして学習に使用することを指す。十疑似日本語も同様である。単言語コーパスとして用いている IWSLT2018 の英語部分を新英、CSJ を新日として示す。

ベースラインの結果は単一方向モデルで 13.78 , 双方向モデルで 14.40 の BLEU 値であった。

(b) のベースコーパスの機械翻訳による疑似コー パスを作成して用いた手法では、疑似英語、疑似日本語どちらを利用した場合でもべースラインの BLEU 値を上回った。単一方向翻訳モデルでは BLEU 値が+2.74 改善された。双方向翻訳モデルでも fine-tuning を行うことで更なる翻訳精度向上が見られ、双方向のベースラインと比較すると BLEU 値が+1.83 改善している。また、音声翻訳では BLEU が 13.00 を越え、音声認識誤りに対してもある程度
表 2: TED 講演の英日翻訳評価実験結果 (10 講演, BLEU) () 内は fine-tuning モデル

頑健であると言える。

(c) のベースパラレルコーパスに対してソース文とターゲット文を同一にしたオートエンコーダ部分を追加する拡張手法では、6 層の fine-tuning を行ったモデル全てで翻訳精度が高く、テキスト翻訳で BLEU 值 16.00 以上、音声翻訳で BLEU 值 13.00 以上となっている。このことから翻訳モデルが追加したオートエンコーダ部分によって頑健な内部表現を得ることが出来たと考えられる。

(d) のオートエンコーダを利用して生成した文を疑似パラレルコーパスとして利用する手法では、 ベースラインとの大きな差異は見られない。これは学習文とテスト文を同一に用いたためオートエンコーダの性能が良過ぎ、生成された疑似パラレルコーパスとベースパラレルコーパスの類似度が高く(英':BLEU=99.47, 日'=BLEU=98.84)、汎化性が得られなかったためと考えられる。

(e) のベースコーパス以外の単言語コーパスをオートエンコーダ部分として追加する手法では、 IWSLT2018 の英語部分と CSJ の両方を追加したモデルの評価が高かったものの、ベースパラレルコー パスをオートエンコーダ部分として追加したモデルに比べると翻訳精度改善の度合いは低い。

(f) の英韓パラレルコーパスの利用では日本語と類似する文法を持つ韓国語と英語のパラレルコーパスを追加したマルチリンガルモデルによって英日翻訳の精度の向上が見られた。

最後に種々の組み合わせとして 3.1 節 (a) の単言語コーパスによる疑似パラレルコーパスの追加と 3.3 節 ( $\mathrm{g}$ )の ASPEC コーパスモデルによる初期パラメータを組み合わせた先行研究 [1] のモデル (h-1) と、先行研究での最良モデルに対して (b) のベースコーパス内の疑似コーパス利用手法、および (c) のベースコーパスのオートエンコーダ部分の追加手法を用いてデータ拡張を行ったモデルの翻訳評価結果を表 2 の h-2 に示す。翻訳精度改善の効果が高かった今回の提案手法を h-1 の先行研究 [1] での最良モデルに対して組み合わせることで、テキスト翻訳で BLEU16.77, 音声翻訳で BLEU14.32 という高い評価結果を得られた。

## 5 まとめ

TED 講演の英日 22 万文ペアに対しオートエンコーダ部分の拡張とべースコーパスに対する機械翻訳での疑似コーパス拡張で単一方向モデル、双方向モデル共に翻訳性能が向上した。10 講演に対して最も良かったデータ拡張法では英日テキスト翻訳でベースラインの $\mathrm{BLEU}=14.40$ から 16.77 に、音声翻訳でベースラインの BLEU=12.03 から 14.32 に向上した。また、12 講演の英日テキスト翻訳に対しては、ベースラインの 14.25 から 16.18 に向上した（付録)。日英翻訳ではベースラインの 13.01 から 16.90 に向上した (付録)。オリジナルなリファレンスは話し言葉の意訳に近く、機械翻訳で BLEU 值を上げる限界がある。そこでリファレンスをマルチ（3つ） にすると BLEU 值は大幅に向上した（付録）。

## 謝辞

本研究の一部は JSPS 科研費 $18 \mathrm{H} 01062,19 K 12027$, 22K12084 の助成を受けた。

## 参考文献

[1] 坂野, 桜井, 足立, 山本, 中川:TED 講演音声の音声認識・音声翻訳・音声要約の検討, 言語処理学会, 第 29 回年次大会, pp.1417-1422, 2023.

[2]足立, 山本, 中川:TED 講演の英日翻訳と日英翻訳の検討, 言語処理学会, 第 29 回年次大会, pp.2489-2494, 2023.

[3] 中川, 足立, 桜井, 坂野, 山本:TED 講演音声の音声認識性能と音声翻訳および重要文抽出要約の性能の関係, 日本音響学会, 第 150 回研究発表会, pp.1097-1100, 2023

[4] 後藤,山本, 中川: 音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討, 言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[5] 佐橋, 秋葉, 中川: 科学技術論文抄録と講義の英日機械翻訳のリスコアリングの検討, 言語処理学会第 25 回年次大会, pp.1165-1168, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob, Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin: Attention is all you need, Conference on Neural Information Processing Systems (NIPS2017), 30, 2017

[7] A. Anastasopoulos, O. Bojar, et al. : Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021

[8] A. Anastasopoulos, L. Barrault, et al. : Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[9] M. Agarwal, et al. : Findings of the IWSLT 2023 Evaluation campaign, Proc. IWSLT-2023, pp. 1-61, 2023.

[10] R. Fukuda, Y. Ko, Y. Kano, et al. : NAIST simultaneous speech-to-text translation for IWSLT 2022, Proc. IWSLT 2022, pp.286-292, 2022.

[11] W. Zhang, Z. Ye, et al. : The USTC-NELSLIP offline speech translation systems for IWSLT 2022, Proc. IWSLT, pp.198-207, 2022

[12] Rico Sennrich, Barry Haddow, Alexandra Birch: Improving neural machine translation models with monolingual data, Proc. ACL, pp. 86-96, 2016.

[13] 山岸勇輝, 秋葉友良, 塚田元: 逆翻訳を用いたデー 夕拡張と転移学習を利用した英日講演字幕翻訳の改善, 言語処理学会第 26 回年次大会, pp.1277-1280, 2020

[14] 山岸勇輝, 秋葉友良, 塚田元: 入力側単言語資源と転移学習を利用による講演字幕を対象とした英日ニューラル機械翻訳の改善, 言語処理学会第 28 回全国大会, pp.1317-1321, 2022

[15] J.E. Hu, et al. : Improved Lexically Constrained Decoding for Translation and Monolingual Rewriting, Proc. Conf. NAACL, pp839-850, 2019.

[16] Guangsheng Bao, Zhiyang Teng, Zhang, Yue: Target-Side Augmentation for Document-Level Machine Translation, Proc. ACL, pp. 10725-10742, 2023.

[17] Y. Cheng, et al. : Semi-Supervised Learning for Neural Machine Translation, Proc. ACL, pp. 1965-1974, 2016

[18] 紺谷優志, 秋葉友良, 塚田元：ラウンドトリップ翻訳を用いたニューラル機械翻訳のデータ拡張, 言語処理学会第 28 回年次大会 pp. 360-364, 2022.

[19] A. Currey, et al. : Copied Monolingual Data Improves Low-Resource Neural Machine Translation, Proc. ACL, pp.148-156, 2017.

[20] Raj Dabre, Chenhui Chu, Anoop Kunchukuttan: A survey of multilingual neural machine translation, ACM Computer Surveys, vol.53, no.3, 2020.

[21] Liang Ding,Di Wu, Dachen Tao: Improving neural machine translation by bidirectional training, arXiv:2109.07780, 2021.

[22] Bui Tuan Thanh, 秋葉友良, 塚田元: 双方向翻訳モデルと反復逆翻訳を用いた低資源言語に対するニュー ラル機械翻訳の性能向上, 言語処理学会第 28 回全国大会, pp. 1756-1760, 2022.

[23] Facebook AI Research Sequence-to-Sequence Toolkit written in Python, 2024 年 1 月 12 日, https://github.com/facebookresearch/fairseq.

## A 付録

表 A: TED 12 講演の英日-日英翻訳評価実験結果 (BLEU) () 内は fine-tuning モデル

表 B: TED 2 講演のマルチリファレンスによる翻訳評価結果 (BLEU)（）内は fine-tuning モデル


# Exploring the Potential of Prompt-Based Method for Kanji-Kana Conversion in Japanese Braille Translation

Micah Kitsunai ${ }^{1}$ Deborah Watty ${ }^{1}$ Shu-Kai Hsieh ${ }^{1}$
${ }^{1}$ Graduate Institute of Linguistics, National Taiwan University, Taipei, Taiwan
\{r11142010, r11142012, shukaihsieh\}@ntu.edu.tw
}

\begin{abstract}
This study focuses on the challenge of polyphone disambiguation in the automatic translation process of Japanese into Japanese Braille and explores the applicability of Large Language Models (LLM) to this task. We propose a method that includes additional information obtained by employing a morphological analysis tool when prompting the LLM. The results indicate that this combined approach enhances accuracy beyond the predictive capabilities of morphological analysis tools alone and also surpasses the standalone use of the LLM.
\end{abstract
## 1 Introduction

Even though text-to-speech applications are very widespread, Braille is still an important communication tool for people with visual impairments. With every new publication, there is a need for Braille translation, and this demand continues to grow.

Braille functions with 6 dots forming a single cell, allowing for 64 different combinations based on whether each dot is raised or not. Since the number of possible characters is limited, more than one Braille cell is sometimes used to represent a single print symbol [1, 2]. A Japanese Braille character typically corresponds one-to-one with a single Kana character ${ }^{1)}$ (see Table 1). Therefore, it is necessary to convert Kanji into Kana for Braille translation. While there is Braille Kanji (漢点字) that uses 8 dots, it is not widely used and does not require Kana conversion, so it is not considered in this study.

Japanese is commonly written in a combination of Kanji and Kana. Kanji characters have multiple readings (examples are shown in Table 2), known as On'yomi (Chinesederived reading) and Kun'yomi (original Japanese read-

ing). Additionally, there are polyphones, which are words with the same spelling but different readings [3]. When the wrong reading is chosen for a word during Braille conversion, it is up to the reader to identify this mistake, slowing down the reading process.

Despite the development and utilization of numerous automatic Braille translation tools, their accuracy is not perfect, necessitating manual corrections. The primary objective of this study is to propose a method for applying Large Language Models (henceforth referred to as LLMs) to automatic Braille translation that does not require finetuning and can be implemented at a low cost.

## 1.1 Literature Review

A key challenge in Braille translation is accurately predicting the appropriate readings of Kanji. Rule-based methods, such as Liblouis [4], exist but require the continuous addition of new rules. Alternative approaches involve using Neural Machine Translation Technology [5, 6] or BERT for polyphone disambiguation [7]. There are also studies using pre-trained language models for polyphone disambiguation in text-to-speech [8], but they require extensive Braille data and training. Additionally, research using corpora with Kana annotations [6] and their validations [9] have been conducted.

With the advent of large language models, prompt engineering is an emerging approach to a variety of problems $[10,11,12]$. For the purpose of Braille translation, Reference [13] used a prompt-based method for the disam-

Table 2 Classification of Multiple Readings in Japanese

biguation of polyphone characters in Taiwanese Mandarin.

The study employed syntactic analysis results and external dictionary data as part of the prompt given to an LLM, recording a higher accuracy rate than generic rule-based methods.

## 2 Proposed Method

In this paper, we adapt the method used in [13] to the use case of Japanese Braille translation. Figure 1 illustrates the pipeline of the proposed method. In the following section each step in the pipeline is explained in more detail and Table 3 summarizes the various problems that need to be solved for Braille conversion and which part of the pipeline addresses each problem.

## 2.1 Morphological Analysis

Initially, texts containing a mix of Kanji and Kana are analyzed using the open-source morphological analysis engine Mecab [14], employing its standard IPA dictionary. This analysis yields a range of linguistic information for each morpheme, including Part of Speech (POS), reading, and phonetic notation (phonetics). The process of converting to kana encompasses two distinct types: "Kana as written form" and "Kana as spoken form." In Braille translation, the latter principle is applied and the sounds are transcribed exactly as heard. As illustrated in Table 2, a characteristic of this method is the representation of “は" (ha) as “わ” (wa). Mecab's phonetics information, readily usable and also employed in other studies [5], forms the basis of our system. Differences in On'yomi and Kun'yomi readings, as shown in Table 2, are often correctly predicted through this analysis. However, since the determination of readings for homographs is not perfect, subsequent methods are needed to enhance the accuracy.

## 2.2 Dictionary Entries

Dictionary entries for words are obtained using the JishoAPI [15], an API that provides results from Jisho, $\left.{ }^{2}\right)$ an online Japanese-English dictionary. Since most Kana and some Kanji readings are unique, it is not necessary to add this information to all words. To identify words with unclear readings, we focus on words containing Kanji after morphological analysis, extracting only those with multiple readings or multiple entries in the dictionary. The acquired dictionary data can be seen as an example in the prompt illustrated in Figure 3.

## 2.3 Prompt Design

In this proposed method, the library Langchain [16] was used, which facilitates application development utilizing Large Language Models. For words with unclear readings, the meanings and possible readings obtained from JishoAPI were inserted into the prompt, as shown in Figure 3. This prompt is processed by the LLM to predict the correct readings of the Kanji.

## 2.4 Conversion to Braille

The readings obtained from the prompt and from the dictionary entries are then combined. Since Kana and Braille characters are almost exclusively associated as oneto-one pairs, the conversion is straightforward from here on out. The results are displayed as shown in Figure 3.3)

## 3 Evaluation and Results

For verification, we used the polyphones included in the test data as keys and counted whether their readings were correctly predicted when using each method.

## 3.1 Test Data

We constructed a dataset of 67 short sentences, each containing one polyphone (from a list of 18 different polyphone characters), from the Balanced Corpus of Contemporary Written Japanese [17]. To ensure that the context around the target word could be referenced, 20 words before and after each polyphone were extracted. The target words were selected based on [9]

Table 3 Strategies in the Proposed Method of This Study

Figure 1 Pipeline of the Proposed Method

Figure 2 An Example of a Prompt

## 3.2 Evaluation Method

Table 5 presents the results by morphological analysis alone, GPT-3.5 and GPT-4 alone, as well as GPT-3.5 and GPT-4 paired with morphological analysis.

## 3.2.1 Mecab

Mecab allows for the prediction of readings for each morpheme, so its usability as a morphological analysis tool was tested. Instances were observed where the context-based judgment was insufficient. For some characters, the tool selected the same reading for all example sentences. Additionally, errors were noted where, despite being technically correct, uncommon readings were chosen.

Figure 3 An Example of the Results

## 3.2.2 OpenAl Models

Using OpenAI's API, attempts were made to obtain Kanji readings using GPT-3.5 and the latest GPT-4 models. We adopted a zero-shot-prompting method, providing prompts that simply instruct the text to be converted to Katakana. The OpenAI models used were gpt-3.5-turbo and gpt-4. With both the GPT-3.5 and GPT-4 models, there were instances of seemingly random combinations of On'yomi and Kun'yomi, or entirely random, non-existent readings.

## 3.2.3 Mecab + OpenAl Models

Finally, we combined the morphological analysis with Mecab with prompting the LLM as described in the previous section. We tested the same models as in our zero-shot approach. In the experiments conducted, the GPT models used were all set with a Temperature of 0 for the purpose of reproducibility.

The accuracy improved with this method. Specifically, referencing Mecab and dictionaries helped prevent the generation of non-existent readings by GPT.

## 4 Discussion

The low accuracy rate of the method using only prompting with GPT-3.5 is likely due to a shortage of data on

Table 4 Improvements gained from the Proposed Method

 \\
私 watashi & *watakushi & watashi & watashi &  \\

Table 5 Comparison of Scores and Accuracy for Each Model

pairs of Kanji characters and their readings in such language models. However, the significant improvement in results with GPT-4 suggests that the ability to predict readings using only prompts greatly depends on the quality and quantity of the data.

In the methodology employed in this study, the risk of generating non-existent words is low due to the use of reading information and dictionary data based on Mecab's morphological analysis, as demonstrated in Table 4. Furthermore, it was observed that more accurate reading predictions become possible by performing context-based corrections using LLMs after the selection of readings by Mecab. This approach effectively combines the strengths of both systems: Mecab's precise morphological analysis capabilities and the complex contextual understanding of LLMs. Thus, it compensates for the shortcomings of each system and offers a more balanced approach.

However, it was observed that the accuracy rate for synonyms with different readings is still low. This could be due to the semantic categorization used not adequately addressing these specific cases. Initially, it was thought that the system had flexible response capabilities, but the effect on synonyms turned out to be limited. Nonetheless, in Braille conversion, since there is little change in meaning, it is unlikely to be a significant burden for users.

## 5 Conclusion

In this study, we explored the potential of using LLMs for Kanji-to-Kana conversion in the context of automatic Japanese Braille translation. Compared to the standalone use of morphological analysis tools like Mecab and lan-
Table 6 Examples and Classification of Errors

 & Error & Category & Method \\

私 watashi & *watakushi  & Mecab \\
人気 hitoke & *jinnke &  & LLM \\
人事 jinnji & *ninnji &  & LLM \\
昨日 kinou & *sakujitsu & synonym & all \\

guage models such as GPT, the method proposed in this research - incorporating dictionary search results for polyphones into prompts and then inputting these into an LLM - demonstrated higher accuracy. The improvement in the accuracy of automatic Kana assignment for Kanji, as explored in this study, is expected to contribute not only to Braille translation but also to assist children and Japanese language learners who are not yet proficient in Kanji, as well as to enhance text-to-speech accuracy.

In the future, there is potential in expanding the dictionary database and incorporating comprehensive textual context and word usage examples into the prompts. The current methodology is confined to single-sentence analysis due to LLM token limits, but an essential objective moving forward would be to extend this approach to full-text analysis and improvements in translation speed while maintaining the accuracy of analysis.

## References

[1] 日本点字委員会. 日本点字表記法 2018 年版. 社, 2018.

[2] 特定非営利活動法人全国視覚障害者情報提供施設協会. 点訳のてびき第 4 版. 社, 2019.

[3] 西山浩気, 山本和英, 中嶋秀治. 読み曖昧性解消のためのデータセット構築手法. 人工知能学会全国大会論文集第 32 回 (2018), pp. 4Pin152-4Pin152. 一般社団法人人工知能学会, 2018.

[4] Christian Egli. Liblouis-a universal solution for braille transcription services. In Proceedings of Daisy 2009 Conference, 2009.

[5] Yuko Shimomura, Hiroyuki Kawabe, Hidetaka Nambo, and Shuichi Seto. Braille Translation System Us-
ing Neural Machine Translation Technology I - Code Conversion, p. 335345. Springer International Publishing, June 2019.

[6] Hiroyuki Kawabe, Yuko Shimomura, and Shuichi Seto. Braille translation system using neural machine translation technology II - code conversion of kana-kanji mixed sentences. In Proceedings of the Fifteenth International Conference on Management Science and Engineering Management: Volume 115, pp. 417-426. Springer, 2021.

[7] 佐藤文一, 喜連川優ほか. 事前学習済み bert の単語埋め込みべクトルによる同形異音語の読み誤りの改善. 研究報告アクセシビリティ (AAC), Vol. 2020, pp. $1-5,2020$.

[8] Rem Hida, Masaki Hamada, Chie Kamada, Emiru Tsunoo, Toshiyuki Sekiya, and Toshiyuki Kumakura. Polyphone disambiguation and accent prediction using pre-trained language models in japanese tts front-end, 2022.

[9] 喜連川優佐藤文一. 大規模振り仮名注釈付きコーパスを用いた同形異音語の読み分類. 言語処理学会第 28 回年次大会 (NLP2022), pp. 1878-1883, 2022.

[10] Bertalan Meskó. Prompt engineering as an important emerging skill for medical professionals: tutorial. Journal of Medical Internet Research, Vol. 25, p. e50638, 2023.

[11] Vivian Liu and Lydia B Chilton. Design guidelines for prompt engineering text-to-image generative models. In Proceedings of the $2022 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, pp. 1-23, 2022.

[12] Unggi Lee, Haewon Jung, Younghoon Jeon, Younghoon Sohn, Wonhee Hwang, Jewoong Moon, and Hyeoncheol Kim. Few-shot is enough: exploring chatgpt prompt engineering method for automatic question generation in english education. Education and Information Technologies, pp. 1-33, 2023.

[13] Deborah Watty, Micah Kitsunai, and Shu-Kai Hsieh. Prompt-based translation of chinese into taiwanese mandarin braille. In 2023 International Conference on Asian Language Processing (IALP), pp. 56-61. IEEE, 2023.

[14] MeCab MeCab. Yet another part-of-speech and morphological analyzer, 2006.

[15] jisho-api. https://github.com/pedroallenrevez/ jisho-api/, 2004. Accessed: 2023-01-12.

[16] Harrison Chase. Langchain. https://github.com/ langchain-ai/langchain, 2022. Accessed: 2023-0112.

[17] 前川喜久雄. Kotonoha 『現代日本語書き言葉均衡コーパス』の開発 (i 特集 $i$ 資料研究の現在). 日本語の研究, Vol. 4, No. 1, pp. 82-95, 2008.


# 対訳関係にノイズのある対訳文からの新しい翻訳知識の学習

後藤功雄 衣川和卉 美野秀弥 河合吉彦 山田一郎
NHK 放送技術研究所
\{goto.i-es, kinugawa.k-jg, mino.h-gq, kawai.y-lk, yamada.i-hy\}@nhk.or.jp

## 概要

ニュースでは新しい語彙や表現が出現するため, ニュースの機械翻訳では新しい語彙や表現の翻訳知識を学習していく必要がある. 英語ニュースは日本語ニュースの単純な翻訳ではないため，日英ニュー ス記事から抽出できる対訳文は，対訳関係にノイズがある場合が多い。対訳関係にノイズがあるデータから翻訳を学習すると，ノイズも学習してしまうという課題がある。また，新しい表現は頻度が少ない場合が多く，低頻度の表現の学習は難しいという課題もある。そこで，ノイズの学習を抑え，低頻度の表現を学習しやすくすることを目指したNMT の手法として，学習したい表現部分と後続文脈の一部のみから誤差逆伝播で学習する手法を提案する.

## 1 はじめに

NHKでは，日本語ニュースを基にして英語ニュー スを制作しており，この制作支援に日英機械翻訳システムを活用している.ニュースは新しい話題を報道するため，新しい語や名前，表現がしばしば出現する. 機械翻訳システムは構成的に翻訳できない表現に関しては，学習していないものは基本的には翻訳できない，情報発信のための英語ニュース制作では，正確な表現であることが重要であることから，新しい語や表現の訳は, 最初はニュースライターが正確な訳を調べて英語ニュースを制作する．過去の英語ニュースに既に出現している語や表現は，機械翻訳システムがそこから翻訳知識を自動的に学習して翻訳できるようになることが期待されている1). しかし, 英語ニュースの制作は日本語ニュースの単なる翻訳ではない [1] ため，同じニュースを伝える日英の記事対から抽出した対訳文対は，対訳関係に

ノイズが多いデータとなる．また，出稿する記事数は限りがあり，多くの話題の頻度は低い。すなわち，ノイズを含む対訳データから低頻度の新しい語や表現の翻訳知識の学習が必要となっている。

ニューラル機械翻訳（NMT）で対訳関係にノイズを含む対訳文を追加学習した場合，対訳関係のノイズを学習してしまうという課題と，低頻度の新しい語や表現は学習しても出力されにくいという課題がある.

訓練データの対訳文に含まれる対訳関係のノイズの影響を低減する NMT の手法がある [2]. この手法は単語対応の情報を利用する．単語対応の推定は難しいため推定誤りが発生し，それが NMT の学習におけるノイズの影響の低減効果に影響してしまうという課題がある．また，データ固有のアンカートー クンを入力文に追加することで対訳ノイズの影響を低減する NMT の手法もある [3]. しかし，アンカー トークンが低頻度の新しい語や表現の翻訳元として学習されてしまう恐れがあるため，この手法は，低頻度の新しい語や表現の学習には不向きと考えられる。

本稿では，これらの課題に向けた対策手法を提案する。対訳関係にノイズを含む対訳文をニューラル機械翻訳 (NMT) で追加学習する際に，学習したい表現と後続文脈の一部のみから誤差逆伝播させる.これによって，訳抜けなどの対訳関係のノイズを学習してしまうことが低減される効果と，対象の表現を集中的に学習することで，学習されやすくなる効果が期待される。単語対応の情報を利用しないため，単語対応推定の誤りの影響を受けない．NHK のニュース文を用いた日英翻訳の実験を実施した.追加学習により翻訳品質が下がってしまう課題は, この方法では効果が見られなかったが，対象の表現が出力されやすくなる効果が確認された。

## 2 提案手法

例えば，下記に示す，日英記事（2021/4/4 NHK ニュース）中の文対から，“スエズ運河庁：SCA”の翻訳知識を学習したい場合を想定する。

・エジプトのスエズ運河では先月 23 日、愛媛県の正栄汽船が所有し、台湾の会社が運航する大型コンテナ船が座礁して運河が塞がれ、6日後の 29 日にコンテナ船の離礁に成功し、運河の通航が再開されました。運河を管理するスエズ運河庁は、待機を余儀なくされた 422 隻の船舶すべてが 3 日、運河を通過したと発表しました。
- The SCA said on Saturday that all 422 ships stranded by the Japanese-owned, Taiwanese-operated Ever Given had passed through the canal by the end of the day.

青文字が学習したい対象部分であるが，低頻度データでは対訳部分を正確に推定して抽出することは困難である。赤文字は対応先がない部分を表しており，この文対では，日本語側に対応していない部分が多く存在する。この文対を NMT でそのまま学習すると，赤文字部分の訳抜けを学習してしまい，翻訳品質が下がってしまう.

そこで，提案手法では，NMT の訓練時に，訓練データに出現していないもしくは低頻度などで翻訳知識を学習したい目的言語表現部分と後続文脈の一部（ $n$ トークン）にのみ誤差逆伝播する対象を制限する。例えば，後続文脈の長さを 1 トークン $(n=1)$ とした場合で, “SCA" が BPE などによるサブワード分割で 3 トークン $(\mathrm{S} @ @, \mathrm{C} @ @, \mathrm{~A})^{2)}$ で表される場合，この文対の目的言語文“The S@@ C@@ A said on Saturday that ...”のうち, 誤差逆伝播させる出力トークンを 2 番目から 5 番目のトークン，すなわち，S@@，C@@，A，saidの４トークンのみとする.このように学習したい表現部分を中心に部分的に学習することで，学習を必要としていない部分を学習することで訳抜けなどの対訳関係のノイズを学習してしまうことを抑制し, 対象の表現の学習に集中することで対象の表現が出力されやすくなることが期待できる。後続文脈の一部も誤差逆伝播させる理由は，NMT のデコーダーは言語モデルの機能を持っており, 新しい表現は学習していない

2）ここでは@@はサブワード分割された分割点の左側を表している.文脈となり，その後続のトークンの推定性能が低くなることが想定され，新しい表現に続くトークンも学習するためである.

誤差逆伝播を制限する実装方法はいくつか考えられるが，本研究ではマスキングを用いる．誤差逆伝播させる直前の各出力トークンの龙度に対して、誤差逆伝播させたくないトークンの尤度に 0 を掛け,誤差逆伝播させたいトークンの尤度には 1 を掛ける. すなわち，出力トークン列に対応する 0 と 1 からなるべクトル（マスクベクトル）を出力トークンの尤度のベクトルに要素ごとに掛けて（アダマール積）から誤差逆伝播する。

## 3 評価実験

提案手法の効果を検証するために，NHK のニュー スデータを用いた実験を行った。

## 3.1 評価用データセットの構築

ベースとなる NMT モデルの構築用のデータには，日本語側もしくは英語側が NHKニュース文でその対訳を人手で構築した高品質な日英対訳 $1 \mathrm{M}$ 文対 （日英ニュース1）と開発データを用いた。この訓練データには 2020 年までのニュースを用いた.

次に，2021 年 1 月から 2022 年 10 月までの NHK 英語ニュース（英語ニュース 2）に含まれる英単語のうち，2017 年 6 月から 2020 年 12 月までの NHK 英語ニュース（英語ニュース 1）と日英ニュース 1 の英語に含まれない英単語のリスト（新英単語リス卜)を取得.

英語ニュース 2 の各記事と対応する日本語ニュー ス記事から，対訳文を抽出し，新英単語リストの英単語を含む対訳文を選択. さらに，この対訳文の日本語側で新英単語リストの英単語に対応する日本語表現が存在する対訳文を選択. この対訳文をノイズあり対訳と呼ぶ．新英単語リストの英単語と対応する日本語表現のペア（新英単語\&日本語表現ペア） に対応するノイズあり対訳は，各ペアあたり 1 文対から最大で 3 文対である.

2021 年以降のニュースの高品質な日英対訳文対で，新英単語\&日本語表現ぺアを含む対訳文対を抽出. これをテストデータ 2 \&参照訳 2 (426文対) とする。テストデータ 2 \&参照訳 2 に含まれる新英単語 \&日本語表現ペア（25 ペア）を含むノイズあり対訳は全てノイズあり訓練データ 2（65 文対）とする. 残りの新英単語 \& 日本語表現ペア（137ペア）

を含むノイズあり対訳は，各ぺアあたり 1 つしかノイズあり対訳がないものを除外し，各ぺアあたり 2 つまたは 3 つのノイズあり対訳文対のうち，1つの日本語文をテストデータ 1 (137 文)，それ以外の 1 つもしくは 2 つの対訳文をノイズあり訓練データ 1 （全体で 219 文対）とした.

追加学習には，ノイズあり訓練データ 1（219文対）とノイズあり訓練データ 2 （65 文対）を合わせたデータ（284 文対）を用いた.

## 3.2 実験設定

日本語の単語分割には Mecab（IPA 辞書）を使い，数字は 1 トークンにまとめた. 英語のトークナイザには Moses 付属のトークナイザを用いた． NMT のモデル構造には，Transformer[4]を用い，実装は独自開発で，設定值には Sockeye[5] の標準設定を用いた. その設定值は 6 層, dropout=0.1, label smoothing $=0.1$ などである．ただし，NHK のニュース文は文長が長いため, 学習に利用する最大文長は 200 トークンに設定した。

最適化手法には adam を用いた。ベースとなる NMT モデルは, 最大エポック数 100 で学習し, 開発データでモデル選択を行なった。翻訳時はビーム幅 5 でビームサーチした.

追加学習は, 10 エポック学習した.

## 3.3 実験結果

テストデータ 1 を翻訳した際に，新英単語\&日本語表現ペアの新英単語が訳出される率を調べた. 結果を表 1 に示す.「追加学習なし」がベースとなる NMT の出力, 「通常追加学習」がベースモデルに対して、ノイズあり対訳提案追加手法の数字 $n$ は後続文脈として利用するトークン数である．カッコ内の数値は件数を表している。追加訓練データが 1 文のみの場合， 55 件のテストデータの内，訳出できたのは「追加学習なし」および「通常追加学習」で $1.8 \%$,提案手法は最大で，後続文脈なし $(0)$ の $12.7 \% て ゙ ，$ 提案手法は改善しているが大半は訳出できていない.追加訓練データが 2 文の場合， 82 件のテストデータの内, 訳出できたのは「追加学習なし」が $0 \%$ おび 「通常追加学習」で 9.8\%, 提案手法は最大で, 後続文脈なし (1) の $50.0 \%$ で，提案手法は通常学習に比べて改善が見られ，半数が訳出されている。なお， テストデータ 1 には高品質な参照役が存在しないため，BLEU スコアは算出していない.表 1 テストデータ 1 における追加データ数毎の訳出率

} & & 1.8 & $(1 / 55)$ & 0.0 & $(0 / 82)$ \\

テストデータ 2 を翻訳した際の BLEU スコアと，新英単語 \&日本語表現ぺアの新英単語が訳出される率を調べた。結果を表 2 に示す。

追加学習なしのベースモデルのスコアに比べて、追加学習したモデルはいずれも BLEU スコアが低下した.この主な原因は, 追加学習で過学習してしまったためと考えられる。この結果からは，対訳関係にノイズがあるデータから学習する際にノイズの影響を抑える効果は確認できなかった。一方で，訳出率は，「追加学習なし」では $0 \%$, 「通常追加学習」 では, $2.1 \%$ に対して, 提案手法では, 最大 $61.5 \%$ (後続文脈 1 トークンの場合）に向上している.

表 2 テストデータ 2 における翻訳品質

## 4 おわりに

ニュース翻訳に向けて，ノイズのある対訳データから低頻度の新しい語や表現を学習する手法を提案した. 評価実験では，低頻度の新しい語が訳出される率の向上が確認された。一方で, 追加学習により全体の翻訳品質が低下した. 今後, 過学習を抑える対策を取り入れることで，この問題の改善に取り組んでいく予定である.

## 謝辞

本研究成果の一部は、国立研究開発法人情報通信研究機構の委託研究 (課題 225) により得られたものです。

## 参考文献

[1] 後藤功雄. ニュースを対象とした日英機械翻訳システムの研究開発. AAMT ジャーナル, No. 77, pp. 4-10, 2022.

[2] 後藤功雄, 美野秀弥, 山田一郎. 訳抜けを含む訓練デー タと訳抜けのない出力とのギャップを埋めるニュー ラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[3] 根石将人, 吉永直樹. ニューラル機械翻訳のためのノイズ寛容なアンカー学習. 言語処理学会第 29 回年次大会, 2023 .

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of NeurIPS, pp. 5998-6008. 2017.

[5] Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, and Marcello Federico. Sockeye 3: Fast neural machine translation with pytorch, 2022.


# GPT を用いた標準語から方言への翻訳

山崎祐 ${ }^{1}$ 坂野遼平 ${ }^{1}$
${ }^{1}$ 工学院大学情報学部 情報通信工学科
j020297@ns.kogakuin.ac.jp

## 概要

現在日本では方言は当該地域における日常会話等にとどまらず，様々な形で活用されている. その方言を支える職業として方言指導講師がある. しかし若者の方言離れなどによる問題から方言指導講師の減少が縣念されている．指導できる人が減少すると舞台の原稿作成や方言の翻訳などが困難になってしまう．そこで本研究では，GPT を利用した標準語から津軽弁へのテキスト翻訳を行う．具体的には標準語と津軽弁の対訳データを Fine-tuning し，津軽弁への翻訳を指示する prompt を与える. 実験の結果，学習前よりも Fine-tuning をした後のほうが BLEU スコアが高くなることが分かった。

## 1 はじめに

方言とはある言語が地域によって別々な発達をし，文法・イントネーション・語彙などの上で相違のあるいくつかの言語圏に分かれたとみなされた時のそれぞれの地域の言語体系のことである. 東條操の方言区画論 [1] では，日本語の方言は本土方言と琉球方言に大別される．本土方言は東部方言，西部方言，九州方言の 3 つに分類される. これらはさらに，北海道で話される北海道方言や，鹿児島県や宮崎県で話される薩隅方言といった方言で細分化されている. また琉球方言は沖縄や奄美大島, 宮古島で話される。本土方言は 13 , 琉球方言は 3 の計 16 の方言が日本には存在する. 日本では異なる各地方独特の語彙や言い回しあるいはイントネーションや発音の違い，いわゆるなまりを指す場合が多い.

現在日本では方言は当該地域における日常会話等にとどまらず，様々な形で活用されている．例として地域資源として観光誘致に活用されるケースがある. 具体的には空港や駅など公共交通機関や観光客が集まる土産物屋には歓迎を表すあいさつ方言が使われている. また劇団四季のライオンキングの舞台
では地域講演に合わせ，セリフをそれぞれの土地に合った方言に変えるという演出がある [2]. このように観光誘致や多様な作品表現には方言が欠かせない。それを支える職業として方言指導講師がある。方言指導講師とはドラマや映画，舞台など俳優に方言を指導する専門家である．俳優が方言を習得できるように，練習の原稿を作成したり，方言のイントネーションや発音を指導する。このような専門家によって多様な方言の活用が支えられている.

しかし, 方言指導講師の減少が懸念されている.一因として方言の標準語化が進んでいることがあげられる。これは，標準語に触れる機会が増えることで，方言に替わって標準語が多く用いられるようになる現象を指す。背景として 2011 年の国立国語研究所の調査 [3] によると, 戦前以来の標準語教育や都市部への就職，マスメディアの発達が挙げられている.こういった背景に伴い, 若者が地方から都市に移り，方言指導講師の担い手の減少が懸念される. それにより方言を指導できる人が減少すると舞台の原稿作成やイントネーションの指導が困難になってしまう。

本研究では津軽弁に着目し, Generative Pre-trained Transformer（GPT）を利用した機械翻訳でテキストベースの標準語から津軽弁への翻訳を行う．津軽弁とは青森県津軽地方で話される日本語の方言である. 青森県内の方言はこの津軽弁と南部地方の南部方言に大きく分かれる. 本研究では前者の津軽弁を扱う。研究目的は GPT を用いた言語モデルで原稿を作成することで方言指導講師の負担を軽减することである.

## 2 関連研究

今井の研究ではディープラーニングフレームワー ク Chainer を用いて津軽弁と共通語双方向の音声・文字情報変換システムの開発を行った [4]. 津軽弁テキストを入力として形態素解析を行うシステム

図 1 提案システム

と，人工知能により翻訳を行うシステムにより構成されている. 形態素解析には京都大学情報学研究科と NTTコミュニケーション科学基礎研究所による共同研究ユニットプロジェクトを通して開発されたオープンソース $\mathrm{MeCab}$ (和布無)を使用している.形態素解析エンジンは独自のライブラリを追加できるため，方言情報を用いたライブラリを作成することができる. 今井の研究では $\mathrm{MeCab}$ 使用して, 津軽弁ライブラリを作成し形態素解析を行った. しかし分割精度は $62 \%$ \%だったため, 正しく分割できない例があった. 本研究では GPT を用いることで標準語から津軽弁への翻訳を行い，精度を検証する。

尾崎らの研究では大規模言語モデルである GPT-3 の反論文生成品質を人手により評価・検証することに加え, 収集した反論とそれを元に生成した生成反論の文章一致率を算出・評価を行った. 反論生成は GPT-3 の prompt に議題と立論とそれに対する反論の回答例をあたえ，それをもとに反論を出力するようにした.この研究では prompt のクエリ部（「反論を生成せよ」という指示）が反論文生成に大きく寄与していることが分かった [5].

## 3 提案手法

図 1 に提案システムの動作の流れを示す.

本研究では GPT に標準語から津軽弁の翻訳を行わせる. 初めに GPT に方言データを学習させる。方言データは標準語と津軽弁の対訳のデータである. 具体的な候補として，国立国語研究所の全国方言データ [6] や，先行研究の今井の研究 [4] で用いられている標準語と津軽弁の対訳文章などが挙げられる. 前者の方言データは標準語と津軽弁単語単位の対訳に対して, 後者は文章データとなっている. 本研究では後者の文章データを学習させる. なぜなら GPT は transformer をもとに作られている. transformer は前後の文脈から，次にどの単語が来るべきかを予測するように訓練する。そのため単語ではわからない前後関係を，文章で学習させることができる.

学習を行った GPT に入力として標準語を与える. ここで GPT に対しての prompt を設定する. prompt は「(標準語文)を津軽弁に翻訳してください.」とした. 方言に特化した GPT がその入力を翻訳する. そうすることで津軽弁に翻訳されたものが出力される。

## 3.1 GPT

GPT とは，自然言語の生成や応答，会話のモデリングに特化して開発された言語モデルである.これらのモデルは訓練データとしてニュース記事や Web ページ，書籍，会話ログなど莫大なテキストデータが使用されている. GPTをある目的に特化させるための手段として Fine-tuning と prompt が挙げられる.

## 3.1.1 Fine-tuning

Fine-tuning とは追加のデータを用意してモデル自体をさらに学習させる方法である. GPT は事前学習された汎用モデルであり, 特定のタスクに対して最適化されていないことがある. そこで自分の行いたいタスクに特化させるために，追加のデータを学習させることでモデルのパラメータを調整する.

OpenAI によると Fine-tuning をすることで prompt よりも高品質な応答が可能なことや prompt の短縮による処理時間の短縮が期待できる [7].

## 3.1.2 prompt

prompt とは言語モデルに対しての指示や命令のことである. promptを適切に設定することで，言語モデルの出力が良質なものになる. 基本的な prompt のパターンとして zero-shot prompting および few-shot prompting がある．前者の「zero-shot prompting」は例を与えず，直接質問を与える promptの型である. すでに多くのデータが学習されているモデルであれば正しい回答が得られるが，間違った回答が出力される場合がある。一方後者の「few-shot prompting」ははじめにいくつか指示とその回答のセットを与え，学習させる prompt の型である.このセットの数が多ければ，適切な回答が得られる。

## 4 評価手法

本研究では翻訳した生成文と正解訳を評価するために BLEU スコアと人手評価を用いる.

## 4.1 BLEU スコア

BLEU スコアとは翻訳したフレーズと正解訳に含まれているフレーズが比較され，そのフレーズの一致数をカウントするスコアである。機械翻訳の性能を評価するための自動的な尺度で，0１の範囲であらわされ, 正解訳に近いほど数値が高くなる.このフレーズは N-gram で分割したテキストである. $\mathrm{N}$-gram とは任意の文字列や文書を連続した $\mathrm{n}$ 個の文字で分割するテキスト分割方法である。例えば 「今日は暑いですね」を単語単位 1-gram で分割すると，「今日，は，暑い，です，ね」となる。このように分割したフレーズ同士を比較し，一致している数で評価する．算出式は以下のようになっている

$
B L E U=e^{(1-r / c)} \exp \left(\sum_{i=1}^{n} w_{n} \log p_{n}\right)
$

$r$ は人間が翻訳した文章の長さを表し，正解訳の意味で reference の頭文字をとっている. $c$ は機械が翻訳した文章の長さを表し，機械が翻訳した文の候補の意味で candidates の頭文字をとっている.

$
\begin{aligned}
& w_{n}=1 / N \\
& p_{n}=\frac{\Sigma_{C \in \text { Candidates }} \Sigma_{n-\text { gram } \in C} \operatorname{Count}_{\text {clip }}(n-\text { gram })}{\Sigma_{C^{\prime} \in \text { Candidates }} \Sigma_{n-\text { gram }} \in C^{\prime} \text { Count }\left(n-\text { gram }^{\prime}\right)}
\end{aligned}
$

と定義される。一般的に $\mathrm{N}=4$ と定義されることが多い.

count $_{\text {clip }}(n-$ gram は $\mathrm{n}$-gram のときに，機械が翻訳した文章 (candidates) と人間が翻訳した文章 (candidates) の一致している数である [8].

BLEU スコアには弱点がある。 それは文章の意味を考慮していないことである．BLEU スコアは字面しか見ていないため，同義語でも完全に文字が一致しなければ，評価されない。そのため翻訳を正しく評価するためには BLEU スコアのみでは不十分である。そこで人手評価で文章の意味や表現の評価を補う.

## 4.2 人手評価

人手評価は評価型国際ワークショップ IWSLT（International Workshop on Spoken Language Translation[9] で採用された基準を用いる。今回は流暢さに着目する. 流暢さとはある言語として自然な表現であるかを示す。つまり津軽弁の文章として自然な文章であ gpt-3.5-turbo と提案手法の BLEU スコア

るかどうかを見てもらう．今回は流暢さを 15 の 5 段階で評価してもらう.

## 5 実験

今回使用したモデルは gpt-3.5-turbo である．方言データは今井の研究 [4] や津軽弁をまとめたホームページ [10] から収集した文章 207 文を使用した。そのデータを学習データとテストデータで $8: 2$ に分けた。学習データ 165 文を gpt-3.5-turbo に Fine-tuning をした。そのモデルには「(標準語文)を津軽弁に翻訳してください.」という promptを指定した. そうすることで GPT で翻訳をすることができる。そしてテストデータ 42 文を用いて翻訳した生成文と正解訳を BLEU スコアで評価した. BLEU スコアは N-gram で分割するため単語で分かれている必要がある。そのため評価をする前に，生成文を津軽弁の辞書を用いた janome で形態素解析を行った. さらに人手評価を行った. 津軽地方出身の 4 人の評価者に行ってもらった. Fine-tuning する前とした後の 42 文をそれぞれ 1～5 で評価してもらい，それを平均したもので比較した。

## 5.1 評価結果

Fine-tuning する前の gpt-3.5-turbo と提案手法のモデルで BLEU スコアを用いて評価した結果を表 1 に示す.また提案手法の成功例と失敗例の出力結果の例を表 2 と表 3 に示す. Fine-tuning をする前の BLEU スコアと比べ，Fine-tuning を行った提案手法は倍以上の値となった。一般的に Fine-tuning を行うことで，あるタスクの性能が上がる。この実験により，方言の翻訳でも BLEU スコアが上がることが分かった。しかし BLEU スコアは 0.4 以上の値になると高品質な翻訳といわれているため，高品質な翻訳とは言えない。

次に人手評価の結果を表 4 に示す. 表 4 は 1 5 段階で評価してもらったものを平均し, Fine-tuning 前の 42 文の平均值と, Fine-tuning 後の平均値で比較した結果である. Fine-tuning 後のほうが平均值は低くなっている， 42 文のうち，Fine-tuning 前のほうが高い評価となったものは 25 文, Fine-tuning 後のほう
表 2 出力結果 (成功例)

表 3 出力結果 (失敗例)

表 4 人手評価の平均值

が高い評価となったものは 12 文あり，同一評価が 5 文であった.

## 5.2 考察

BLEUスコアに関しては, Fine-tuning 前よりも後のほうがスコアが高くなっていることが分かった. しかし人手評価での流暢さの評価は Fine-tuning 前よりも後のほうが低くなっていることが分かった。なぜなら BLEU スコアはフレーズの一致率を見るため，意味については考慮されない。そのため Fine-tuning したことで単語は方言らしくなったが,実際津軽弁の文章としての意味はおかしくなってしまった。

## 6 おわりに

方言を支える職業として方言指導講師がある.しかし，言葉の標準化により，方言話者は減り，さらに彼ら/彼女らの高齢化も問題となっている. そこで大規模言語モデルである GPTを利用して，標準語から方言の翻訳を行った. GPTを方言に特化させるモデルにするために, Fine-tuning を行った. 結果としては Fine-tuning を行うことで標準語から津軽弁への翻訳の BLEU スコアが上がることが確認できた. しかし一般に高品質と言われる BLEU スコアには達しておらず，十分な翻訳精度とは言えない。また人手評価により Fine-tuning する前よりもした後のほうが流暢さが低くなっていることが分かった.

今後の課題として翻訳精度と形態素解析の精度を高めるためにさらに津軽弁文章を収集する必要がある. また方言の機械翻訳の prompt による効果で zero-shot-prompting と few-shot-prompting $の$ 精度比較を行っていきたい.

## 参考文献

[1] 東條操. 日本方言学. Technical report, 吉川弘文館, 1954.

[2] 劇団四季. https://www.shiki.jp/applause/ lionking/learn_more/more_lk_2.html(accessed August. 1 2023).

[3] 木部暢子. 方言の多様性から見る日本語の将来. 学術の動向, Vol. 16, No. 5, pp. 5 108-5 112, 2011.

[4] 今井雅. 特別講演「あなたの津軽弁を共通語に一一弘大 $\times$ ai $\times$ 津軽弁の取り組み一一」.日本放射線看護学会誌, Vol. 10, No. 1, pp. 9-12, 2022.

[5] 尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史. 大規模言語モデルが生成した反論文の品質評価. In The 37th Annual Conference of the Japanese Society for Artificial Intelligence, p. 4, 2023.

[6] 国立国語研究所. https://www2.ninjal.ac.jp/ hogen/dp/fpjd/fpjd_index.html(accessed January. 4, 2024).

[7] OpenAI. https://platform.openai.com/docs/ guides/fine-tuning(accessed December. 20, 2023).

[8] Kishore Papineni, Salim Roukos Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, pp. 313-315, 2002.

[9] Yasuhiro Akiba, Marcello Federico, Noriko Kando, Hiromi Nakaiwa, Michael Paul, Jun' ichiTsujii. Overview of the iwslt04 evaluation campaign. In IWSLT 2004, p. 3, 2004.

[10] Moritaka Ogasawara. https://www2d.biglobe.ne.jp/ oga/tsugaru/ben. html (accessed January. 4, 2024).


# JaParaPat: 大規模日英特許対訳コーパス

永田昌明森下睦 帖佐克己 安田宜仁
NTT コミュニケーション科学基礎研究所
\{masaaki.nagata, makoto.morishita, katsuki.chousa, norihito.yasuda\}@ntt.com

## 概要

2000 年から 2021 年に日本特許庁 $(J P O)$ と米国特許商標庁 (USPTO) から公開された特許出願から約 3 億文対の日英対訳コーパスを作成した。欧州特許庁 (EPO) が管理する書誌データベース DOCDB からパテントファミリーに基づいて対訳文書対を抽出し、機械翻訳に基づく文対応を用いて対訳文対を抽出した。Web から収集した約 2000 万文対の対訳データ JParaCrawl に対して、特許出願から収集した約 3 億文対の対訳データを追加することにより、日英特許翻訳の精度が約 20BLEU ポイント向上した。

## 1 はじめに

国際特許出願は非常に数が多いが有限であり、一定の期間を経てすべて公開される。本研究では、日本と米国の国際特許出願から得られる日英特許対訳データの量と質、およびそれらを用いて達成可能な翻訳精度を明らかにすることを目的とする。なお、日本における国際特許出願の翻訳業務の多くは日本語から英語への翻訳であるため、ここでは日英翻訳のみを評価対象とする。

日英特許対訳コーパスを作成する歴史は 20 年近くに及ぶ。内山ら [1] は、日英新聞記事のコンパラブルコーパスから対訳文を抽出する手法 [2] を使って、2007 年に NTCIR-6 特許検索タスクのために約 200 万文対の日英特許対訳コーパスを作成した。これは公開された最初の大規模な日英特許コーパスであり、2008 年に日本語と英語の間の機械翻訳に関する最初の共通タスクである NTCIR-7 特許翻訳タスクで使用された。[3].

特許庁と情報通信研究機構 (NICT) は、日米の特許出願公開公報からパテントファミリーに基づいて約 3.5 億文対の JPO-NICT 英日対訳コーパスを作成した1)。このコーパスは、高度言語情報融合フォー ラム (ALAGIN) の会員に無償で提供されている。ま
た特許庁は、100 万文対の日英特許対訳 JPO Patent Corpus $^{2}$ を作成し、2015 年に初めて開催されたアジア翻訳ワークショップ (WAT) において特許翻訳の共通タスクに提供した。

JPO-NICT や JPO の特許対訳コーパスは 2015 年頃に対訳辞書に基づく文対応手法 [2] を用いて作成された。一般論として hunalign[4] のような対訳辞書に基づく文対応よりも、Bleualign[5] のような機械翻訳に基づく文対応の方が精度が高いので、最先端の文対応手法を使えば日英特許対訳コーパスの品質を向上できる可能性がある。

近年、海外では大規模な特許対訳コーパスを作成する様々な試みが行われている。COPPA[6] は PCT 出願の抄録から対訳を抽出した。ParaPat[7] は Google Patentsの抄録から対訳を抽出した。 EuroPat[8] は、USPTO と EPO の特許査定を受けた特許文書から対訳を抽出した。EuroPat は、ParaCrawl プロジェクト [9] で実績がある機械翻訳に基づく文対応を用いている。

我々のアプローチは EuroPat に似ているが、特許査定を受けた特許ではなく未審査の特許出願を使用し、欧州言語間ではなく日英間の対応を付与した。国際特許出願には、パリルートと PCT ルートの 2 つの方法がある。我々の知る限り、本研究は、両ルー トの特許出願を広範囲に調査し、タイトル、要約、明細書、特許請求の範囲を含む特許文書のすべての部分に対応を付与する初めての試みである。

## 2 特許出願データ

## 2.1 国際特許出願制度

外国で特許を取得する方法には、パリ条約 (Paris Convention）に基づいて直接その国へ出願する方法 (パリルート) と、特許協力条約 (Patent Cooperation Treaty, PCT) に基づく国際出願をその国へ移行する方法 (PCT ルート) がある。

2) http://lotus.kuee.kyoto-u.ac.jp/WAT/patent/

パリ条約ルートでは、ある国で国内出願をした後、パリ条約に基づく優先権を主張して 1 年以内に別の国に出願する。PCT 出願では、PCT 受理官庁 (receiving office) に単一の言語および形式で一つの PCT 出願を行えば、すべての PCT 加盟国で出願日に優先権を確保できる。しかし、ある国で特許権を取得するためには、その国に対して優先日から 30 力月以内に PCT 出願の国内移行 (national phase application)の手続きを行い、その国の国内法に従って特許審査を受ける必要がある。その際にその国の特許庁が受理する言語へ特許出願を翻訳しなければならない。例えば、日本企業が日本語で書いた PCT 出願を世界知的所有権機関 (World Intellectual Property Organization, WIPO) へ提出した場合、日本への国内移行後に日本特許庁 $(\mathrm{JPO})$ は日本語の特許を公開し、米国への国内移行後に米国特許商標庁 (USPTO) は英語の特許を公開する。

## 2.2 日本特許庁の特許データ

日本特許庁 (JPO) は特許情報の一括ダウンロードサービスを提供している 3$)$ 。企業が利用する場合には会社の登記簿の提出を求められるが、ハードディスクを特許庁に送れば、必要な特許情報を入れて返送してもらえる。

日本の特許公報では、PCT に関する特許出願には通常の国内出願とは別の名前が与えられている。公開特許公報 (published pattent application) は、日本語で書かれた通常の国内特許である。これがパリ条約に基づく優先権主張の探索対象となる。公表特許公報 (Japanese translation of PCT international patent application) は、JPO 以外を受理官庁とする国際特許出願を、日本へ国内移行する際に提出された日本語への翻訳である。

再公開特許 (domestic re-publication of PCT international patent application) は JPO を受理官庁とする日本語で書かれた国際特許出願である。JPO は、再公開特許を公開する制度を、2021 年 12 月 23 日に廃止した。この日以降、最初に日本へ日本語で出願された PCT 出願は、一定の補正を経て特許と査定された場合にのみ利用可能となる。そのため本研究の対象期間は 2021 年までとした。

我々は、対訳データを作成するために、発明の久イトル、要約、明細書、請求項に対応する XML 要

素の $\mathrm{p}$ タグで囲まれたテキストを抽出した。すなわち、請求項番号、段落番号、数式、図などは抽出していない。日本の特許出願は 2004 年 1 月から XML 形式になっているが、2004 年以前は SGML 形式であった。SGML 形式のデータは、基本的に XML 形式と抽出対象が同じになるようにした。

## 2.3 米国特許商標庁の特許データ

米国特許商標庁 (USPTO) は、特許出願の全文デー タを提供している。4）説明書と文書型定義 DTD は USPTO の Web ページにある。 ${ }^{5)}$ USPTO は、2001 年 3 月 15 日から特許出願の全文データを提供している。対応する特許出願は、米国で公開される 1 年前に日本で公開されている可能性があるため、本研究の対象期間は 2000 年からとしている。

USPTO の PCT 特許出願には、JPO の公表特許公報と再公開特許のような区別がないので、 PCT/JP2005/003817 のように文書番号が PCT で始まる場合を PCT 出願とみなした。

## 2.4 欧州特許庁の書誌データ

欧州特許庁 (EPO) は、全世界の特許書誌データ (DOCDB) を有償で提供している。DOCDB のサンプル6) とマニュアル7) は EPO の Web サイトからダウンロードできる。

我々は、パテントファミリーの情報を取得するために DOCDB を入手した。パテントファミリーとは、一つの発明を保護するために様々な国で取得された特許の集合である。パテントファミリーは、 DOCDB の優先権主張のデータを解析することにより得られる。DOCDB の XML では、優先権主張の対象となっている文書の kind-code から通常の特許 (A) と PCT 出願 $(\mathrm{W})$ を区別できる。

## 3 手法

## 3.1 文書対応

EPO の DOCDB から得られるパテントファミリー に基づいて、JPO と USPTO から公開された特許

出願を対応づける。元データはすべて XML であり、Python 標準ライブラリの xml.etree.ElementTree モジュールを使用して以下に記述する文書対応の手順を実装した。同じパテントファミリーに所属する日本語と英語の特許出願の対の中で一番古いものを互いに対訳である文書対とみなす。

特許対訳文書対の探し方は、パリルートと PCT ルートで若干異なっている。パリルートの場合、基本は、一方が他方を優先権主張の対象とする場合である。本研究では、日本に出願した特許を優先権主張の対象とする米国の特許との対を 'jp-us'、米国に出願した特許を優先権主張とする日本の特許との対を 'us-jp'と呼ぶ。さらに例えば最初に中国で出願した特許を日本と米国へ出願する場合のように、共通の特許を優先権主張の対象とする日本の特許と米国の特許の対も抽出対象とし 'jp-x-us' と呼ぶ。

PCT ルートの場合、日本 (JPO) は再公表特許と公表特許公報の出願番号を求め、米国 (USPTO) は文書番号が PCT で始まるものを求める。両方が DOCDB に存在し、かつ、一致した場合、日本の特許出願と米国の特許出願を互いに翻訳な文書対とみなす。

## 3.2 文対応

日本の特許出願と米国の特許出願は、タイトル、要約、明細書、請求項に分割し、それぞれのセクションごとに文対応を行った。文分割は、日本語、英語ともに moses の split-sentences.perl ${ }^{8}$ を用いた。

まず対訳辞書に基づく文対応 [2] を用いて最初の特許対訳データを作成した。次にこの特許対訳データと Web から収集した大規模日英対訳対デー タ JParaCrawl[10] を用いて日本語から英語への翻訳モデルを作成した。そして機械翻訳に基づく文対応 [5] を用いてもう一度特許対訳データを作成した。対訳辞書に基づく文対応は、日本語文と英語文の対において、対訳辞書に収録されている対訳語句がそれぞれに出現する割合をこの文対の類似度の尺度とする。対訳辞書としては、EDR 対訳辞書9)を使用した。日英対訳語句対の数は $1,690,174$ 件である。日本語の単語分割には mecab-unidic ${ }^{10)}$ 、英語のトー クナイズには TreeTagger ${ }^{11)}$ を用いた。機械翻訳に

基づく文対応には Bleualign ${ }^{12)}$ 、機械翻訳には fairseq [11] を用いた。日本語文書を英語へ翻訳し、BLEU を文の類似度の尺度として動的計画法により文対応を求めた。

## 4 実験

## 4.1 特許対訳データ

表 5 に日本の特許出願の公開年に基づいて 2000 年から 2021 年まで年別に収集された対訳文書対と対訳文対の数を示す。合計で約 140 万の対訳文書対から約 3.5 億の対訳文対を収集した。jp-us, jp-x-us, us-jp, pct は 3.1 節に述べた出願ルートと最初の出願国に基づく分類である。

表 2 テストデータの文数と英語側の単語数

表 3 文対応手法の比較

## 4.2 実験条件

日英特許対訳コーパス JaParaPat の品質を確認するため、日本語から英語への翻訳実験を行った。 2000 年から 2021 年の前半までの対訳データを訓練データとした。表 1 に訓練データの文書数、文数、英語側の単語数を示す。

表 2 にテストデータの文数と英語側の単語数を示す。開発データとテストデータは、2021 年の後半 (second half) のパリルートと PCT ルートからそれぞ

12) https://github.com/rsennrich/Bleualign
$\begin{array}{llllll}\text { 表 } 4 & \text { 様々な訓練データに対する日英翻訳の精度 } & & \\ \text { PCT test } 1 \text { test2 文対数 } & \text { 更新数 }\end{array}$

れ 2000 文と 1000 文をランダムに選択した。さらに 2022 年以降に公開予定の社内の日本語 PCT 出願を特許翻訳を専門とする二つの翻訳会社が英語へ翻訳したものをテストデータとして用意した。対象領域は情報通信 (ICT) に関するもので、ハードウェアからソフトウェアまで幅広い内容を含んでいる。また特許対訳データの科学技術論文への適用可能性を調べるために、ASPEC[12] のテスト文も使用した。 WAT-2023 の特許翻訳に関する共通タスクで使用されている JPO Patent Corpus のテストセットは最も新しいものでも公開年が 2019-2020であり、収集期間に含まれているので使用しなかった。

機械翻訳ソフトウェアは fairseq [11] を使用し、翻訳モデルは Transformer big [13] を使用した。 Transformer のハイパーパラメタを表 6 に示す。訓練データおよびテストデータのトークナイズは、 sentencepiece [14] を使用した。特許対訳データから $7 \mathrm{M}$ 文対、 $\mathrm{JParaCrawl}$ から $3 \mathrm{M}$ 文対をランダムにサンプリングして、sentencepiece のモデルを訓練した。語彙数は、日本語と英語ともに $32 \mathrm{~K}$ である。翻訳の精度は sacreBLEU $[15,16]$ と COMET(wmt22-cometda) [17] で評価した。特許翻訳では専門用語を正しく訳出できることが重要なので、本研究では BLEU を主たる評価尺度とする。

## 4.3 文対応法の比較

最初に二つの文対応手法について評価した。Web から対訳データを収集する研究では、対訳辞書を用いた文対応よりも翻訳器を用いる文対応の方が高品質な対訳文が得られると報告されている。 $[9,10]$

まず 2000 年から 2013 年のパリルートの日英対訳文書対から、対訳辞書に基づく文対応で約 34M 文対の対訳データ (2000-2013Paris_dict)を作成した。次にこの対訳文対と JParaCrawl(20002013Paris_dict+JPC) から翻訳モデルを作成し、機械翻訳に基づく方法で約 43M 文対の対訳データ (2000-2013Paris_trans) を作成した。それぞれの翻訳モデルについて、特許テスト文に対する翻訳精度を表 3 に示す。13)

テストセットによる翻訳精度の違いはさておき、表 3 からは、Web から収集した対訳データよりも、特許出願から収集した対訳データを使用する方が翻訳精度が大幅に高いこと、特許出願から収集した対訳データと Web から収集した対訳データを合わせると、特許翻訳の精度が少し向上すること、対訳辞書に基づく文対応よりも機械翻訳に基づく文対応の方が多くの対訳データを収集できること $(34 \mathrm{M}$ から 43M)、そして翻訳精度から判断すると機械翻訳に基づく文対応により得られる対訳データの方が高品質であることが分かる。

## 4.4 日英翻訳精度

2000 年から 2021 年のパリルート (182M 文対) と PCT ルート (155M 文対) およびJParaCrawl(22M 文対) から訓練した翻訳モデルの翻訳精度を表 4 に示す。 Web 対訳データである JParaCrawl と比較すると、特許対訳データを使用することにより、特許テスト文の翻訳精度は大幅に向上する。パリルートと PCT ルートを比較すると、パリルートのテスト文はパリルートの対訳データの方が翻訳精度が高く、PCT ルートのテスト文は PCT ルートの対訳データの方が精度が高い。JParaCrawl とパリルートと PCT ルー トを合わせる (JPC+Paris+PCT) と、JParaCrawl だけ (JPC) に比べて日本語から英語への特許翻訳の精度が約 20BLEU ポイント向上した。

## 5 おわりに

2000-2021 年の日本と米国の特許出願から網羅的に特許対訳データを収集し、約 $350 \mathrm{M}$ 文対の特許対訳コーパス JaParaPatを作成した。訓練データの量が Transformer big モデルで学習できる限界に達している可能性があるので、今後は機械翻訳のスケール則に関する研究 $[18,19]$ を参考にして、モデルのパラメタを増やす検討が必要である。

## 参考文献

[1] Masao Utiyama and Hitoshi Isahara. A Japanese-English patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[2] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning Japanese-English news articles and sentences. In Proceedings of the 41 st Annual Meeting of the Association for Computational Linguistics, pp. 72-79, Sapporo, Japan, July 2003. Association for Computational Linguistics.

[3] Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, and Takehito Utsuro. Overview of the patent translation task at the ntcir-7 workshop. In Proceedings of NTCIR-7 Workshop Meeting, pp. 389-400, 2008.

[4] Dániel Varga, Péter Halácsy, András Kornai, Viktor Nagy, László Németh, and Viktor Trón. Parallel corpora for medium density languages. In Proceedings of the RANLP2005, pp. 590-596, 2005.

[5] Rico Sennrich and Martin Volk. MT-based sentence alignment for OCR-generated parallel texts. In Proceedings of the 9th Conference of the Association for Machine Translation in the Americas: Research Papers, Denver, Colorado, USA, October 31-November 4 2010. Association for Machine Translation in the Americas.

[6] Marcin Junczys-Dowmunt, Bruno Pouliquen, and Christophe MazencAndrew. Coppa v2.0: Corpus of parallel patent applications building large parallel corpora with gnu make. In Proceedings of the 4th Workshop on Challenges in the Management of Large Corpora Workshop Programme, pp. 15-19, 2016.

[7] Felipe Soares, Mark Stevenson, Diego Bartolome, and Anna Zaretskaya. ParaPat: The multi-million sentences parallel corpus of patents abstracts. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3769-3774, Marseille, France, May 2020. European Language Resources Association.

[8] Kenneth Heafield, Elaine Farrow, Jelmer van der Linde, Gema Ramírez-Sánchez, and Dion Wiggins. The EuroPat corpus: A parallel corpus of European patent data. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 732-740, Marseille, France, June 2022. European Language Resources Association.

[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[10] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European
Language Resources Association.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NeurIPS 2017, pp. 5998-6008, 2017.

[14] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[17] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[18] Mitchell A Gordon, Kevin Duh, and Jared Kaplan. Data and parameter scaling laws for neural machine translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5915-5922, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[19] Yamini Bansal, Behrooz Ghorbani, Ankush Garg, Biao Zhang, Colin Cherry, Behnam Neyshabur, and Orhan Firat. Data scaling laws in nmt: The effect of noise and architecture. In Proceedings of the 39th International Conference on Machine Learning, pp. 1466-1482, 2022.

## A 年別の対訳文書対と対訳文対の数

表 5 抽出された対訳文書対と対訳文対の数 (2000 年から 2021 年)

 &  & $160,758,864$ & 244,356 &  &  & 542,968 \\

B翻訳モデルのハイパーパラメ夕

表 6 Transformer のハイパーパラメタ