# バイリンガルサブワード分割のための EM アルゴリズム

松井 大樹 1 二宮崇 ${ }^{2}$ 田村 晃裕 ${ }^{3}$
1 愛媛大学 2 愛媛大学大学院理工学研究科 3 同志社大学
matsui@ai.cs.ehime-u.ac.jp
ninomiya@cs.ehime-u.ac.jp
aktamura@mail.doshisha.ac.jp

## 概要

本論文ではニューラル機械翻訳のための EM アルゴリズムを用いたバイリンガルサブワード分割法を提案する。機械翻訳记おける一般的なサブワード分割では対訳関係を考慮せずに各言語ごとにサブワー ド分割を学習するため，機械翻訳タスクに適したサブワード分割になるとは限らない. 本研究は対訳コーパスを用い，原言語文と目的言語文の対訳関係を考慮したサブワード分割のための EMアルゴリズムを提案する。提案手法は対訳情報を用いるため， より機械翻訳タスクに適したサブワードが得られると考えられる. 従来法と提案手法を用いて翻訳性能を比較したところ，WAT ASPEC 英日・日英タスクにおいて, Transformer NMT モデルの性能が最大で 0.6 ポイント改善した.

## 1 はじめに

ニューラル機械翻訳（Neural Machine Translation,以下 NMT） [1,2,3]では，予め指定した語彙氾基づいて計算を行うため, 翻訳時の原言語文に低頻度語や未知語が表れると翻訳性能が低下する。このような語彙の問題に対処するため, バイトペア符号化 (Byte Pair Encoding, 以下 BPE)（Sennrich et al. 2016) [4] やユニグラム言語モデル（Kudo 2018） [5] などによるサブワード分割が現在広く用いられている。 BPE によるサブワード分割は事前トークナイズを要すのに対し，SentencePiece（Kudo 2018）[6] によるユニグラム言語モデルは生文からサブワード列に直接分割するため, 日本語や中国語といった分かち書きされていない言語においても形態素解析器を必要としない.

しかしながら，これらの分割法は対訳関係を考慮せず，各言語ごとにサブワード分割を学習するため，機械翻訳タスクに適したサブワード分割に
なるとは限らない。例として，日英翻訳において， “nonextended”と“延長されなかった”という対訳対があるとする。この場合，“nonextended” は “no next end ed" などよりも “non extend ed" のほうが優れた分割であり，“延長されなかった”は“延長されなかった”などよりも“延長されなかった” のほうが優れた分割である。これは NMT が各サブワードの対訳関係 “non”と“されな”, “extend”と“延長”, “ed”と“かった”を対応付けて学習できるためである。これらの問題を解決するために，対訳関係を考慮したバイリンガルサブワード分割 $[7,8]$ が提案されている. しかし, 出口ら [7] のバイリンガルサブワード分割は原言語サブワード列と目的言語サブワード列のトークン長をそろえるものであり， トークン長が近いとはいえ各トークンがアライメン卜関係にあるとは必ずしも言えない. Hiraoka ら [8] のバイリンガルサブワード分割は NMT モデルとサブワード分割モデルが一体化しており，利用する場合には同時に NMT モデルの学習が必要となり, サブワード分割および機械翻訳モデルの学習に大きなコストを要する。

本論文では，対訳情報からサブワード列を得る新たなサブワード分割法を提案する. 提案手法は，分かち書きされない言語を含む翻訳性能を改善するため, SentencePiece によるユニグラム言語モデル分割に基づいたサブワード列を得る. バイリンガルサブワード分割のための確率モデルを新た淀義し, 原言語のサブワードと目的言語のサブワードが対となる確率を EMアルゴリズムを用いて求める。具体的に，提案手法は，ユニグラム言語モデルによって得られる原言語文と目的言語文それぞれの分割候補の組み合わせを求め, 各対のサブワードのアライメン卜関係を取得し, ユニグラム言語モデルによる生起確率とアライメント確率を掛け合わせ，確率が最も大きくなるサブワード列対を選択する。提案手法を
用いることで，原言語文と目的言語文のトークンの対訳関係が整うことになり，言語間でトークンが 1 対 1 に対応付けされやすくなる。 そのため，従来のサブワード分割法より NMT に適した分割が得られることが期待される.

本手法は原言語文と目的言語文の対訳アライメン卜関係を利用して分割するため，対訳コーパスが与えられる訓練時には問題は起きないが，原言語文しか与えられない翻訳時にはそのままではサブワード分割ができない. そこで提案手法では，EMアルゴリズムによって求められたアライメント確率の周辺化を行い，ユニグラム言語モデルによる生起確率と各原言語文サブワードの周辺確率を掛け合わせ，確率が最も大きくなるサブワード分割候補を選択する.

WAT Asian Scientific Paper Excerpt Corpus (以下, ASPEC）[9] 英日・日英タスクにおいて，従来法と提案手法を用いた翻訳性能を比較したところ， Transformer NMT モデルの性能が改善した.

## 2 従来法

本節では提案手法の基礎となるユニグラム言語モデルに基づいたサブワード分割法（Kudo 2018）について説明する. ユニグラム言語モデルでは，各サブワードが独立に生起すると仮定し，サブワード列の生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ を次式により表す.

$
\begin{aligned}
& P_{\mathrm{U}}(\boldsymbol{x})=\prod_{i=1}^{I} P\left(x_{i}\right) \\
& \forall i \quad x_{i} \in V, \quad \sum_{x \in V} P(x)=1
\end{aligned}
$

ただし， $\boldsymbol{x}=\left(x_{1}, x_{2}, \ldots, x_{I}\right)$ はサブワード列であり， $V$ は語彙集合（サブワード辞書）である．各サブワー ドの生起確率 $P\left(x_{i}\right)$ は EM アルゴリズムによって周辺尤度 $L_{l m}$ を最大化することにより推定される.

$
\begin{aligned}
L_{l m} & =\sum_{s=1}^{|D|} \log \left(P\left(X_{S}\right)\right) \\
& =\sum_{s=1}^{|D|} \log \left(\sum_{\boldsymbol{x} \in S\left(X_{S}\right)} P_{\mathrm{U}}(\boldsymbol{x})\right)
\end{aligned}
$

ただし， $D$ は対訳コーパスであり， $X_{s}$ は $D$ の中の $s$番目の原言語文または目的言語文であり， $S\left(X_{S}\right)$ は $X_{S}$ の分割候補集合である.

生起確率が最大となるサブワード列（最尤解）は次式によって得られる。

$
\boldsymbol{x}^{*}=\underset{\boldsymbol{x} \in S(X)}{\arg \max } P_{\mathrm{U}}(\boldsymbol{x})
$

ただし， $X$ は原言語文または目的言語文である。また， $k$-best 分割候補も $X$ に対するユニグラム言語モデルによって計算される確率 $P_{\mathrm{U}}(\boldsymbol{x})$ に基づいて得ることが出来る．ただし，サブワード列の生起確率は各サブワードの尤度の積の形で表されるため，系列長の短い（トークン数の少ない）サブワード列が高い確率を持つ傾向がある.

SentencePiece におけるユニグラム言語モデルを用いたサブワード分割は生文から直接学習できるため, 日本語や中国語といった分かち書きされない言語においても単語分割器や形態素解析器を必要とせずに分割できるという特徴がある.

## 3 提案手法

本節では，提案手法となるバイリンガルサブワー ド分割のための EM アルゴリズムについて説明する. まず，サブワード文対の確率モデルの定義を与え，その後，EMアルゴリズムによるパラメータ更新式の導出，対訳コーパスのサブワード分割を行う手法，翻訳時のサブワード分割を行う手法について説明する．提案手法は NMT モデルや訓練法を修正する必要はなく，従来のサブワード分割法を置き換えるだけで適用可能である。

確率モデルは，ユニグラム言語モデルが出力するサブワード列の生起確率と原言語サブワードと目的言語サブワードのアライメント確率の積で与えられる. ただし，各原言語サブワード列と目的言語サブワード列及びそれらのアライメントは明示的に与えられておらず，隠れ状態となっている。 そのため，潜在変数付き確率モデルの学習として有名な EMアルゴリズムを用いて，アライメント確率を学習する. 次に, 最も確率の高いサブワード列のアライメントを選択することで，訓練コーパスのサブワード分割を行う。

NMT の訓練時には対訳コーパスを利用できるが，翻訳時には対訳文が存在しない。そこで，原言語側サブワードのみを参照する周辺確率を求めることで，原言語文のサブワード分割を行う。

## 3.1 提案手法の確率モデル

原言語文 $X$ と目的言語文 $Y$ が与えられたとき，提案手法における確率モデルを次のように定義する.

$
\begin{aligned}
P(X, Y) & =\sum_{\boldsymbol{x} \in S(X)} \sum_{\boldsymbol{y} \in S(Y)} P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y}) \\
& \approx \sum_{k=1}^{K} \sum_{l=1}^{L} P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
\end{aligned}
$

ただし， $X$ に対するサブワード分割候補 $S(X)$ のうち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{x})$ が高い top- $K$ 個をそれぞれ $\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(k)}, \ldots, \boldsymbol{x}^{(K)}, Y$ に対するサブワード分割候補 $S(Y)$ のうち, サブワード生起確率 $P_{\mathrm{U}}(\boldsymbol{y})$ が高い top- $L$ 個をそれぞれ $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(l)}, \ldots, \boldsymbol{y}^{(L)}$ とする.また， $P_{\mathrm{M}}$ は原言語文のサブワード列 $\boldsymbol{x}$ と目的言語文のサブワード列 $\boldsymbol{y}$ に対する確率モデルであり，次式で定義する.

$
P_{\mathrm{M}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}
$

ただし, $A(\boldsymbol{x}, \boldsymbol{y})$ は原言語のサブワード列 $\boldsymbol{x}$ と目的言語のサブワード列 $\boldsymbol{y}$ の間のアライメントを返す関数であり，アライメントは対応するサブワード対の集合とする. また， $\alpha_{u v}$ は原言語側サブワード $u$ と目的言語側サブワード $v$ が対応する確率である.

## 3.2 アライメント確率 $\alpha_{u v$ の算出}

ユニグラム言語モデル $P_{\mathrm{U}}$ とアライメントを返す関数 $A$ は所与のものとして，EM アルゴリズムを用いてアライメント確率 $\alpha_{u v}$ を求める.

$
\begin{gathered}
P_{\mathrm{M}}^{\mathrm{old}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\mathrm{old}} \\
P_{\mathrm{M}}^{\mathrm{new}}(\boldsymbol{x}, \boldsymbol{y})=P_{\mathrm{U}}(\boldsymbol{x}) P_{\mathrm{U}}(\boldsymbol{y}) \prod_{u, v \in A(\boldsymbol{x}, \boldsymbol{y})} \alpha_{u v}^{\text {new }} \\
Q=\sum_{n} \sum_{k} \sum_{l}\left(\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right) \log P_{\mathrm{M}}^{\mathrm{new}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)}\right)
\end{gathered}
$

$\alpha_{u v}^{\text {new }}$ に関して $\mathrm{Q}$ 関数を最大化することにより， $\alpha_{u v}^{\text {new }}$ の更新式を得る.

$
\begin{gathered}
\alpha_{u v}^{\text {new }}=\frac{\sum_{n} \sum_{k} \sum_{l} E_{n k l u v}}{\sum_{u^{\prime \prime}} \sum_{v^{\prime \prime}} \sum_{n} \sum_{k} \sum_{l} E_{n k l u^{\prime \prime} v^{\prime \prime}}} \\
E_{n k l u v}=\frac{P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{(k)}, \boldsymbol{y}_{n}^{(l)}\right)}{\sum_{k^{\prime}} \sum_{l^{\prime}} P_{\mathrm{M}}^{\mathrm{old}}\left(\boldsymbol{x}_{n}^{\left(k^{\prime}\right)}, \boldsymbol{y}_{n}^{\left(l^{\prime}\right)}\right)} C_{n k l u v}
\end{gathered}
$

ただし， $C_{n k l u v}$ は， $n$ 番目の文対における原言語のサブワード列 $\boldsymbol{x}_{n}^{(k)}$ と目的言語のサブワード列 $\boldsymbol{y}_{n}^{(l)}$ に対し，サブワード $u$ と $v$ がアライメント関係となっている回数である.

## 3.3 訓練データのサブワード分割

訓練データ $D$ の各文対 $X, Y$ に対して，次式に従ってサブワード列 $\boldsymbol{x}^{(\hat{k})}, \boldsymbol{y}^{(\hat{\imath})}$ を求め, サブワード文対として採用する。

$
\hat{k}, \hat{l}=\underset{k, l}{\arg \max } P_{\mathrm{M}}\left(\boldsymbol{x}^{(k)}, \boldsymbol{y}^{(l)}\right)
$

## 3.4 翻訳時のサブワード分割

翻訳時におけるサブワード分割では，アライメント確率を目的言語側サブワードで周辺化することによって原言語側サブワードの確率を求める. テストデータの各文 $X$ に対して，次式に従ってサブワード列 $\boldsymbol{x}^{(\hat{k})}$ を求め，サブワード文として採用する.

$
\begin{gathered}
\alpha_{u}^{\prime}=\sum_{v \in V_{\text {target }}} \alpha_{u v} \\
\hat{k}=\underset{k}{\arg \max } P_{\mathrm{M}^{\prime}}\left(\boldsymbol{x}^{(k)}\right) \\
P_{\mathrm{M}^{\prime}}(\boldsymbol{x})=P_{\mathrm{U}}(\boldsymbol{x}) \prod_{u \in \boldsymbol{x}} \alpha_{u}^{\prime}
\end{gathered}
$

ただし， $V_{\text {target }}$ は目的言語側のサブワード集合である.

## 4 実験

## 4.1 実験設定

提案手法と従来法 (ユニグラム言語モデル) の翻訳性能を比較した. ユニグラム言語モデルによるサブワード列候補集合を得るために， SentencePiece ${ }^{1)}$ 利用した. 原言語側サブワードと目的言語側サブワードのアライメントを得るために， fast_align ${ }^{2)}[10]$ を利用した．NMT には Fairseq [11] 使用し, Transformer base (Vaswani et al. 2017）[12] モデルを利用した。翻訳性能を評価するために，sacreBLEUを利用した。 sacreBLEU [13] の日本語のトークナイズには ja-mecab [14] を，英語のトークナイズには $13 \mathrm{a}$ を利用した.

## 4.2 データセットとハイパーパラメータ

データセットには WAT ASPEC 英日・日英翻訳タスク3)を用いた．NMT の訓練には訓練データのうち，100万文対 (train-1.txt) を利用した. 開発データ

表 1 ASPEC 英-日における翻訳性能の比較（BLEU（\%)）

 &  \\

表 2 提案手法の良い例

とテストデータのデータ数はそれぞれ $1,790,1,812$文対であった. ユニグラム言語モデルの学習は，原言語側と目的言語側で独立して行い，辞書サイズはどちらも 16,000に設定した. 候補数は原言語側と目的言語側それぞれユニグラム言語モデルによるサブワード生起確率が高い上位 10 通り（top- $k=$ top- $l=10 ）$ とした. すべての Transformer base モデルにおいて， パラメータの最適化には adam（Kingma and Ba 2014） [15]，学習率は 1e-4，バッチサイズは 128 とし，その他のパラメータは Fairseq のデフォルトのままとした. 学習は 30 エポックで終了させ，各エポックのモデルのうち，開発データ上で最も性能のよかったものを利用してテストデータの翻訳を行った. 実験はランダムシードを変えて 2 度行い，その平均を実験結果とした.

## 4.3 実験結果

実験結果の BLEU [16] スコアを表 1 に示す。表 1 から分かる通り，バイリンガルサブワード分割は英日，日英翻訳の両言語方向において，ユニグラム言語モデルより性能が改善されている．バイリンガルサブワード分割を用いることでユニグラム言語モデルに対し，英日・日英翻訳においてそれぞれ 0.4， 0.6BLEU ポイントの性能改善が確認された.

## 4.4 考察

提案手法によるサブワード分割について考察する. バイリンガルサブワード分割を用いることで良く翻訳できた例を表 2 に示す。提案手法は従来手法よりも原言語サブワードが出力結果に対応するように分割されていることから，正確に翻訳できたと

 &  \\

表 3 提案手法の悪い例

考えられる，バイリンガルサブワード分割を用いることで悪くなった例を表 3 に示す. 提案手法は従来手法よりも細かく分割されており，“express”と“急行”，“way”と “路”を関連付けるよう学習していることから，“express way”を “急行路”と不正確に翻訳したと考えられる。

## 5 まとめ

本論文では，確率モデルと EM アルゴリズムを用いたニューラル機械翻訳のための新たなサブワード分割法を提案した。アライメント確率を導入したバイリンガルサブワード分割のための確率モデルの定義を与え，そのアライメント確率を求める EM アルゴリズムを導出した．訓練コーパスに対するサブワード分割は，提案する確率モデルを用いて，最も確率の高いサブワード列対を選択することで実現した。翻訳時には，目的言語側のサブワード列が得られないため直接提案モデルを適用することはできないが，アライメント確率を周辺化することで，原言語側だけで定義される確率モデルを与えた．実験の結果，WAT ASPEC 英日・日英翻訳タスクにおいて， Transformer NMT モデルの性能が改善し，提案手法の有効性を確認した。

今後の課題として，条件付き確率を導入することでアライメントの方向性を考慮した確率モデルに拡張することや，英日以外の言語対での実験等が挙げられる。

## 謝辞

本研究は国立研究開発法人情報通信研究機構の委託研究（課題番号：225）による助成および JSPS 科研費 JP21K12031による助成を受けたものです.

## 参考文献

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate, 2014.

[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] 出口祥之, 内山将夫, 田村晃裕, 二宮崇, 隅田英一郎. ニューラル機械翻訳のためのバイリンガルなサブワード分割. 自然言語処理, Vol. 28 , No. 2, pp. 632-650, 2021.

[8] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Joint optimization of tokenization and downstream model. In Findings of the Association for Computational Linguistics: ACLIJCNLP 2021, pp. 244-255, Online, August 2021. Association for Computational Linguistics.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[10] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2.
In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[12] Sufeng Duan and Hai Zhao. Attention is all you need for Chinese word segmentation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3862-3872, Online, November 2020. Association for Computational Linguistics.

[13] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization, 2014.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.


# 多言語事前学習モデルのための
SentencePiece トークナイザーへのサブワード追加

今村賢治隅田英一郎
国立研究開発法人 情報通信研究機構
\{kenji.imamura, eiichiro.sumita\}@nict.go.jp

## 概要

多言語事前学習モデルは、トークナイザーが確定した上で事前学習されているため、多言語事前学習モデルを新規言語に拡張する際は、トークナイザー も同時に修正する必要がある。本稿では、多言語事前学習モデルを新規言語（本稿ではイヌイット語） に対応させるため、SentencePiece トークナイザーに新規サブワードを追加する。我々の実験では、既存言語のサブワード分割を変更せずに、イヌイット語のサブワード分割が可能となり、mBART-50 事前学習モデルを英語・イヌイット語翻訳に適用することができた。

## 1 はじめに

近年、さまざまな事前学習モデルがリリースされている。その中でも、mBERT [1], XLM-RoBERTa [2], mBART [3, 4], mT5 [5] などの多言語モデルは、複数の言語を一つのモデルで学習されているため、言語横断分類や機械翻訳に有効である。しかし、これらの事前学習モデルは、語彙が事前学習時に決定されている。事前学習モデル自体の語彙は、追加するだけなら、単語埋込テーブルを拡張することで可能である [6]。しかし、一般的には、事前学習モデルはトークナイザー（とそのモデル）を確定した上で事前学習されているため、事前学習モデルの語彙を変更する場合、同時にトークナイザーも修正する必要がある。

たとえ新規言語であっても、トークナイザーがサポートしている文字を使用する言語の場合は、(たとえ最適でないとしても）既存モデルが流用可能である。一方、トークナイザーがサポートしていない文字が使われている言語の場合、未知語となってしまうため、何らかの対処が必要となる。

本稿では、多言語事前学習モデルのトークナイ
ザーに焦点を当てる。具体的には、mBART-50 [7] を新規言語に対応させるため、SentencePiece トークナイザー $[8,9]$ に新規サブワードを追加する。タスクは、国際会議 WMT-20 [10] のニュース翻訳タスクで対象となったイヌイット語・英語翻訳である。 mBART-50 も、それに付随する SentencePiece も、モデルにはイヌイット語を含んでいない。

われわれの目標は、新規言語に事前学習モデルを適用するために、既存言語のトークナイズ結果を極力変えないようにしながら、新規言語に対してサブワード化方法を提供することである。既存言語の解析結果を変えないことによって、事前学習モデルの効果を最大限活用できる。

## 2 SentencePiece トークナイザー

SentencePiece は入力文字列をそのままサブワード分割できるトークナイザーである（無損失符号化と呼ばれている)。英語のように単語区切りがスペー ス文字によって明示されている言語と、日本語、中国語のように単語間に区切り文字がない言語を混在して扱うことができるため、多言語事前学習モデルのトークナイザーとして採用されている。

SentencePiece は、バイトペア符号化 [11] などのサブワード方式もサポートしているが、本稿では、 mBART-50 で使用され、SentencePiece のデフォルトとなっているユニグラムモデルについて考える。

## 2.1 解析方式/サブワード符号化

SentencePiece では、無損失符号化を実現するため、前処理でスペースを特殊文字（デフォルトはユニコードの U+2581）に置換して単語区切りがない文字列にしたのちに、以下の方法でサブワード列に分割する（図 1）[12]。ちなみにこの方法は、日本語の形態素解析方法（たとえば MeCab [13]）と同じである。
入力文字列: SentencePiece はは分解する。

図 1 SentencePiece ユニグラムモデルによるサブワード符号化の例。'บ'はスペース文字 $(U+0020)$ を表す。ラティスの各サブワードの上の値はユニグラム対数尤度、赤線はビタビパスを表す。

1. 入力テキストとユニグラムモデル (形態素解析における辞書相当）のサブワードを照合し、すべてのサブワード候補を取得、ラティス構造に配置する。

2. ラティスに対してビタビ探索を行い、最も尤度の高いパスを探索する。最尤パス上のサブワー ド列を出力する。

## 2.2 ユニグラムモデルの学習

ユニグラムモデルの学習は、隠れマルコフモデル (HMM) の教師なし学習 [12] を応用したものである。以下の手順で行う。基本的に、初期モデルのサブワードを削除することで所定の語彙サイズを得る方式であるので、最終モデルの語彙は、初期モデルの語彙のサブセットとなる。

1. 訓練コーパスから初期モデルを作成する。

(a) 接尾辞配列 (suffix array) でコーパスの部分文字列を獲得し、サブワード候補とする。

(b) 各サブワードには、訓練コーパスの相対頻度を尤度として付与する。

2. モデルの語彙が所定の語彙サイズになるまで、以下を繰り返す。

(a) EM アルゴリズムでモデルの尤度を更新する。 (2 回ループ)

i. Eステップ: コーパスの文を現モデルで解析し、前向き後ろ向きアルゴリズムで各サブワードの尤度を算出。

ii. Mステップ: コーパス全体でサブワードの尤度を集計し、モデルを更新。

(b) 低尤度のサブワードをモデルから削除する（たとえば全体の 20\%)

## 3 既存モデルヘのサブワード追加

新規言語が未知の文字を使用している場合、無損失符号化では、文全体が未知語になってしまい、事前学習モデルで扱うべき語彙がわからない。対策として、文字をトークンとして扱う方法があるが、その方法ではトークン列が長くなり、翻訳などの下流タスクには不利になる。本稿ではサブワードを使うことで、語彙を適切に制限しつつ、トークン列の長さも長くしすぎないようにする。

今回は、既存コーパスの解析結果を変更せずに、新規言語のみ適切にサブワード列に符号化するため、既存モデルでは未知となる「文字」を含むサブワードだけを追加する。SentencePiece の追加学習と通常のユニグラムモデル学習との差異は、以下の 2 点である（詳細は付録参照）。

1.(a)訓練コーパスから初期モデルを作成する際、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補とする。

2.(a)EM アルゴリズムでモデルの尤度を更新する際、 コーパスを既存モデルと追加モデルの統合語彙で解析する。尤度の更新は追加モデルのみに対して行い、既存モデルは更新しない。

## 4 イヌイット語翻訳実験

本稿では、WMT-20 [10] のニュース翻訳タスクで実施された英語 (En)・イヌイット語 (Iu) 翻訳で評価する。イヌイット語の例を表 1 に示す。イヌイット語は、ユニコードの「統合カナダ先住民音節 (U+1400 - U+167F)」で記述されている。

一方、本稿で対象としている mBART-50 の SentencePiece モデルは、100 言語のコーパスから学習されたサブワード 25 万語から成り立っているが、これには統合カナダ先住民音節を含んでいない。そのため、イヌイット語をこのモデルで解析すると、ほとんどが未知語となり、サブワード化されない1)。

1） SentencePiece は、未知文字が連続すると、それらをまとめて1トークンとして出力する仕様となっている。そのため、 イヌイット語を解析すると、結果的にスペース区切りと同じ出力となる。
表 1 英語・イヌイット語対訳文の例

 \\

## 4.1 実験設定

コーパス WMT-20 共有タスクで使用された対訳コーパスは、訓練セットが約 131 万文、開発セットが 5,173 文、テストセットが 2,971 文である。

トークナイザー設定本実験では、対訳コーパスのイヌイット語側約 131 万文から、追加サブワード $\{2000$ (2K), 4000 (4K), 8000 (8K)\}を学習する。

既存のユニグラムモデルは、spm_export_vocab コマンドでテキストモデルにして使用、2.1 節、 2.2 節を Python で実装し、3 節の変更を行った。なお、入力文字列の正規化（スペース置換を含む）は spm_normalize コマンドで行った。

ベースライン本実験では、 3 種類のベースラインのトークナイズ法を設定する。
- mBART-50 分割モデル: mBART-50 付属の SentencePiece モデルをそのまま用いる場合。

・イヌイット文字分解: mBART-50 分割モデルでトークナイズ後、イヌイット文字を含む単語を文字に分解する場合。

・共有語彙 $32 \mathrm{~K}$ モデル:対訳コーパスから新規に両者の共有語彙を SentencePiece で学習する場合。語彙サイズは 3 万 2 千語とする。

翻訳器/モデル本稿では、翻訳器として FairSeq [14] を使用する。

ベースとした事前学習モデル mBART-50 はエンコーダー・デコーダー型のモデルであり、対訳コー パスでファインチューニングすると翻訳器として利用できる。mBART-50 自体は多言語モデルであるので、 1 回のファインチューニングで、En $\rightarrow \mathrm{Iu}$ と Iu $\rightarrow$ En の双方向モデルを学習・使用する。

mBART-50 自体の新規言語への拡張は、単語埋込を拡張する[6] の方法を使用した。具体的には、 mBART-50 でイヌイット語翻訳を実現するため、エンコーダーおよびデコーダーの単語埋込を以下の 2 点に関して拡張する。

・mBART-50 は、原言語と目的言語に言語タグを付加して学習・翻訳を行っているので、イヌイット語の言語タグ (iu_CA)を単語埋込に追加する。 ・トークナイザーで追加したサブワードを単語埋込に追加する。

拡張部分はランダム初期化し、ファインチューニング時に他のパラメータとまとめて学習する。

なお、ベースラインとして、共有語彙 $32 \mathrm{~K}$ モデルでトークナイズした対訳コーパスだけを用いて学習した、Transformer Big の双方向モデルを用いた。

学習/テストハイパーパラメータの詳細は付録に示す。

## 4.2 トークナイズ結果

表 2 は、対訳テストセットのイヌイット語をトー クナイズした結果である。テストセット 1 文あたりのトークン数と、mBART-50 モデルの語彙（単語埋込）からみた未知語率を示す。すべてのトークナイザーにおいて、高い未知語率を示しているが、これは mBART-50に語彙を追加することで低くすることができる。表 2 の「未知語をなくすための追加語彙数」は、ゼロにするために追加する語彙数である。

ニューラルモデルでは、 1 文あたりのトークン数が少ない方が解析や翻訳精度が高い場合が多いが、最も少ないのは mBART-50 分割モデルである。これは、SentencePiece が未知文字に遭遇し、スペース区切りでトークナイズしたためで、全トークンの $40 \%$以上が未知語となる。もし、このトークナイザーで翻訳モデルを学習しようとすると、150万語以上を追加しなければならず、学習は非現実的である。

共有語彙 $32 \mathrm{~K}$ モデルも、 1 文あたりのトークン数が少ないが、この語彙は mBART-50 事前学習モデルの語彙と異なるため、事前学習モデルに適用するためには、 3 万 2 千語のうち、約 2 万 7 千語を追加しなければならない。

イヌイット語文字分割モデルは 141 語を追加するだけで良いが、1 文あたりのトークン数が 80 になり、入出力が長くなる。

一方、本稿の方式は、 1 文あたりのトークン数は mBART-50 分割モデルや共有語彙 $32 \mathrm{~K}$ モデルより長くなっているが、イヌイット文字分解の半分程度にすることができた。本稿の提案方式は、追加語数を制御しながら未知語をなくすことができる。

## 4.3 翻訳実験結果

次に翻訳実験の結果を表 3 に示す。ベースラインとしては、Transformer Big モデル [15] を使用した。

 &  &  \\

& イヌイット文分解 & 80.0 & $85.1 \%$ & 141 \\
& 共有語彙 $32 \mathrm{~K}$ モデル & 22.0 & $82.7 \%$ & 26,657 \\

& 語彙追加 $4 \mathrm{~K}$ & 34.6 & $65.7 \%$ & 4,001 \\
& 語彙追加 $8 \mathrm{~K}$ & 31.8 & $62.8 \%$ & 8,001 \\

表 3 英語・イヌイット語間翻訳 BLEU スコア。

ボールド数値は、各翻訳方向での BLEU 最高値を表す。(+) は Transformer Big モデル（共有語彙 $32 \mathrm{~K}$ モデル）に比ベて有意に高く、(-) は有意に低いことを表す。(†)は mBART-50 モデル（イヌイット文字分解）に比べて有意に高いことを表す。

mBART-50 モデルは、追加埋込数の単語埋込を拡張してからファインチューニングしている。未知語率は単語埋込拡張後のテストセット未知語率である。 BLEU [16] の評価には sacreBLEU [17] を使用した。有意差検定はブートストラップ再サンプリングを用い、危険率 $5 \%$ とした $(p<0.05)$ 。

まず、mBART-50 モデルを適用することにより、 Transformer Big モデルに比べて、En-Iu, Iu-En どちらも、BLEU スコアを有意に向上させることができた (mBART-50 分割モデルを除く)。mBART-50にはイヌイット語が含まれていないにもかかわらず、事前学習は有効であった。

mBART-50 翻訳モデル内の各トークナイザーに着目すると、mBART-50 分割モデルは、未知語率が高く、意味のある翻訳はできなかった。共有語彙 $32 \mathrm{~K}$ の場合は、Transformer Big モデルより BLEU が向上したが、イヌイット語文字分解よりは低かった。イヌイット語文字分解は、ベースライントークナイザーの中では、最も BLEU スコアが高かった。

イヌイット語文字分解と比較すると、我々のトー クナイザーでは En-Iu の語彙追加 $2 \mathrm{~K}$ 以外では BLEU スコアに有意な差はなかった。また、サブワード数が少ない方が BLEU スコアが高い傾向は得られた。
これは、ファインチューニングがうまくトークナイザーの差を吸収したためと考えている。

まとめると、サブワード数による翻訳品質に対する明確な優位性は得られなかったが、イヌイット語をサブワード分割することで mBART-50 が翻訳に適用でき、事前学習モデルの効果が得られることを確認した。

## 5 まとめ

本稿では、多言語事前学習モデルを新規言語に対応させるため、SentencePiece トークナイザーに新規のサブワードを追加した。提案方法は、既存のモデルを変更せずに、未知の文字を含むサブワードをその尤度とともに追加した。

実験はイヌイット語に対して行い、新規言語のサブワード分割が可能になることを確認した。サブワード数は制御可能である。また、イヌイット語翻訳に事前学習モデル mBART-50を適用し、多言語事前学習モデルを用いることで、新規言語でも BLEU スコアが向上することを確認した。

本稿の追加サブワード学習の実装は GitHub で公開している。2)

2) https://github.com/kenji-imamura/sentpiece_mimic

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロジェクト (JPMI00316)」における「多言語翻訳技術の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv e-Print, 1911.02116, 2020.

[3] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 726-742, 2020.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained textto-text transformer. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498, Online, June 2021. Association for Computational Linguistics.

[6] Zihan Wang, Karthikeyan K, Stephen Mayhew, and Dan Roth. Extending multilingual BERT to low-resource languages. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2649-2656, Online, November 2020. Association for Computational Linguistics.

[7] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual translation with extensible multilingual pretraining and finetuning. arXiv e-Print, 2008.00401, 2020.

[8] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the
2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[10] Loïc Barrault, Ondřej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R. Costa-jussà, Christian Federmann, Mark Fishel, Alexander Fraser, Yvette Graham, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, André Martins, Makoto Morishita, Christof Monz, Masaaki Nagata, Toshiaki Nakazawa, and Matteo Negri, editors. Proceedings of the Fifth Conference on Machine Translation, Online, November 2020. Association for Computational Linguistics.

[11] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[12] Christopher D. Manning and Hinrich Schütze. Foundations of Statistial Natural Language Processing. The MIT Press, 1999.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

## A サブワード追加アルゴリズム

本稿のサブワード追加モデルの学習アルゴリズムをアルゴリズム 1 に示す。このアルゴリズムは元モデル $M_{\text {org }}$ に含まれないサブワードを集めた追加モデル $M$ を学習する。

・行 1 では、GenerateInitModeL 関数 (line 8 - 15) で初期モデルを作成する。初期モデルには、コー パス $C$ に含まれる部分文字列がサブワード候補として含まれる。

SentencePiece の通常のユニグラムモデルの学習では、すべての部分文字列を対象としていたが、追加学習では、既存モデルには含まれない文字から始まる部分文字列のみをサブワード候補とする。

・行 2 - 行 6 がメインループで、追加モデルの尤度だけを EM アルゴリズムで 2 回更新 （UPDATELIKELiHOOD 関数）する。なお、解析は既存モデルと追加モデルの統合語彙で行う。そして、所定の語彙サイズになるまで低尤度のサブワードを削除する。本稿では尤度の下位 $20 \%$ 。表 4 学習/テスト時の設定一覧

削除した。

B ハイパーパラメータ

表 4 は、翻訳モデル学習 (ファインチューニング)時、およびテスト時のハイパーパラメータ設定の一覧である。トークナイザーによって訓練データの総トークン数が変わるため、warmup は約 1 エポックで統一した。

なお、Transformer big モデル学習時の設定は、 $\mathrm{LR}=0.0004$ 、warmup=約 5 エポックにした以外は、 mBART-50 モデルファインチューニング時と同じである。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# GCP 同時通訳コーパスの構築

東山翔平 今村賢治 内山将夫 隅田英一郎
情報通信研究機構
}

\{shohei.higashiyama, kenji.imamura, mutiyama, eiichiro.sumita\}@nict.go.jp
## 概要

同時翻訳システムの学習・評価のための GCP 同時通訳コーパスを構築した．本コーパスは，日・英各 100 万単語以上の原発話テキストと英・日への順送りの訳文テキストからなり，原発話・訳文中のチャンク境界の情報と，訳文中の省略可能な表現の情報を含む．本コーパスの構築方法と，チャンクと省略の観点から行った分析について報告する。

## 1 はじめに

即時性の高い多言語コミュニケーションが求められる状況において，人間の通訳者による同時通訳のように，原発話と同時並行的に翻訳を行う同時機械翻訳（同時翻訳） $[1,2]$ の実用化が期待されている.

同時通訳では，同時性の制約を克服するため，原発話をチャンクと呼ばれる意味的なまとまりに区切りながら，前のチャンクから順に訳出を行う「順送り」の方略が用いられる. 同時通訳と同様に遅延の少ない同時翻訳を実現するには，順送り形式の対訳を基に翻訳システムを構築することが必要となる。 そこで我々は，同時翻訳システムの学習・評価のための多言語の GCP 同時通訳コーパス ${ }^{1)}$ を構築している. 本稿では，そのうち日英・英日方向のコーパスについて報告する。

既存の日英・英日の同時通訳コーパスには，主に以下の三つがある。 Tohyama ら [4] は，模擬講演・対話とその同時通訳音声を収録し，CIAIR 同時通訳データベース（SIDB）を構築した。松下ら [5] は，逐次または同時通訳付きの会見動画を書き起こし，英日・日英通訳データベース（JNPC）を構築した. Doi ら [6] は，既存の講演・会見音声を聴きながらの模擬的な同時通訳を実施・収録し，NAIST-SIC （NSIC）を構築した。上記コーパスと本コーパスの原言語データサイズ（時間数 $N_{\text {hour }}$ ，発話数 $N_{\text {utter }}$,単語数 $N_{\text {word }}$ ）を表 1 に示す.

1）GCP は「グローバルコミュニケーション計画」[3]を指す。表 1 同時通訳コーパスの原言語データサイズ

これら既存の同時通訳コーパスと比較すると，本コーパスには主に次の特徴がある。(1) 音声を介さずにテキストを翻訳することで作成した対訳で，原発話テキストと順送りの訳文テキストの双方にチャンク境界を付与している。 (2) 日本語原発話 150 万単語，英語原発話 119 万単語からなり，テキスト量での規模が大きい2)

以降， §2-\$4 にて，本コーパスの設計・構築方法と，本コーパスの性質の分析について報告する.

## 2 コーパス設計方針

書き言葉の逐次翻訳と比べて，同時翻訳システムに求められる要件として以下が挙げられる。

1. 原発話のスタイルへの対処：非流暢でくだけた話し言葉の表現に対して適切な翻訳を行う。

2. 訳文のスタイルの制御：同時通訳と同様の順送りによる低遅延の訳出を行う。

3. 訳出する情報の制御：読み手・聞き手の負担削減と，読み上げ音声の出力時間削減のため，原発話中の冗長な表現や重要性の低い表現を除いた訳出を可能とする。

これらを満たすコーパスの構築方法として，原発話と同時通訳の音声を収録する方法が考えられる。 しかし，通常の同時通訳では作業負荷の大きさから 15〜20 分程度で通訳者が交替するのが一般的 [7] であり，大規模な対訳テキストを確保するには多大な時間や費用を要する．そこで本研究では，作業効率性を重視し，プロの同時通訳者により，原発話テキ

2）本コーパス及び JNPC の単語数計測には $\S 4$ で述べる方法を用いた. SIDB の単語数は文献 [4] に記載の値から計算した.
表 2 日本語原発話データの内訳

表 3 英語原発話データの内訳

ストを目視しながら順送りの訳文テキストを作成する方法を採用した。

要件 1 への対応として, 講演・会議音声の書き起こしテキストやロ語調で作成された業務会話のシナリオテキストを用いた. 要件 2 への対応として，順送りの訳文を作成し，原発話及び訳文中にチャンク境界を付与した. 要件 3 への対応として，原発話の内容全体を訳出した訳文と，重要性の低い内容を省いた訳文との 2 段階の訳文を作成した。

本方法は，主に音声を介さない点と明示的な時間的制約がない点が通常の同時通訳と異なる. しかし，上述の要件を満たすことで，同時翻訳システムのためのコーパスとして機能すると想定している.

## 3 コーパス構築方法

## 3.1 原発話データ

作業データのドメインとして，講演，会議，業務会話を対象とした。日本語原発話テキストには，日本語話し言葉コーパス (CSJ) [8] の一部と, Business Scene Dialogue Corpus（BSD）[9], SIDB，JNPC の一部を使用した. 英語原発話テキストには，BSD， AMI Meeting Parallel Corpus (AMI) [10], IWSLT 2017 Evaluation Campaign データセット（TED）[11]の一部と，ウェブで公開されている英語講演動画を書き起こしたテキスト（Web Presentation Video; WPV）を使用した。使用した原発話データのサイズを表 2 及び表 3 に示す（ $N_{\text {char }}$ は文字数を表す）。

## 3.2 作業体制・方法

2020～2022 年の間の延べ 11 か月の期間で，日英または英日の同時通訳実務経験 2 年以上を有する通訳者（延べ 63 名）に，以下の作業を依頼した.表 4 原発話 U の訳文 $\mathrm{ST} 1, \mathrm{ST} 2$ と逐次翻訳文 CT の例

U 先日ご紹介した商品同様、 120 年未満の積立期間だと、|途中解約した場合、|戻ってくるお金は積立金の 0.8 倍になります。

ST1 Same as the product I introduced the other day, if the funding term is less than 20 years, , and if you cancel it before the full term, $80 \%$ of your funds will be returned.

ST2 Same as the product I introduced, if the funding term is less than 20 years, $\mid$ and if you cancel it before the full term, $\mid 80 \%$ will be returned.

CT If you cancel your plan before reaching the 20 year saving stage you'll be reimbursed only $80 \%$ of your saving, same as the product I showed you the other day.

1. 原発話テキストを，同時通訳において訳出の単位とする意味的なまとまり（チャンク）に分割し，チャンク境界を挿入する。

2. チャンクごとに，原発話を目的言語へ訳した順送りの訳文テキスト ST1と ST2を作成する ${ }^{3}$ ).

・ST1 : 原発話の内容全体を訳出する.

-ST2 : 原発話の意図の理解に支障がないような重要性の低い語句を省略し，原発話の内容のうち概ね 60～80\%以上を訳出する。

3. 原発話チャンク境界と対応する各訳文中の位置にチャンク境界を挿入する。

表 4 に，BSDja データの原発話 U と，通訳者により作成された同時翻訳文 ST1 及び ST2 の例を示す.原発話と各訳文に挿入されたチャンク境界を「|」, ST2 で省略された ST1 中の表現を波線で表した. 参考に BSD 原データに含まれている逐次翻訳文 CT も示した.ST1 及びST2 では先頭から順にチャンク単位で訳出されているのに対し，CT では冒頭の「先日」が末尾で訳されるなど構造の違いが見られる.

## 4 コーパス分析

システムの学習・評価に使用する上で，本コーパスがどのような性質・傾向を持つデータであるか, チャンク及び省略の観点から分析した.

原発話・訳文の単語数計測と, 本節の分析の前処理として，日本語形態素解析に unidic-cwj-3.1.04) [12] と MeCab ${ }^{5}$ [13] を使用し，英語品詞タグ付けに flair/upos-english-fast モデル6）を使用した.また，句読点・補助記号（と日本語では空白）を削除し，日本語文において連続する「名詞-数詞」及び 「記号-文字」の各単語列を 1 単語にまとめ上げた。

3） 2021 年度は ST1 $\rightarrow \mathrm{ST} 2$ の手順，前年度は逆の手順で作成.

4) https://clrd.ninjal.ac.jp/unidic/back_number.html

5) https://taku910.github.io/mecab/

6) https://huggingface.co/flair/upos-english-fast
表 5 チャンク境界付き原発話データの統計情報

図 1 日本語原発話長ごとの平均チャンク長（内容語数）

図 2 英語原発話長ごとの平均チャンク長（単語数）

## 4.1 チャンク長の分布

原発話のチャンク分割の細かさ／粗さは，訳文の構造の違いに影響するとともに，翻訳の遅延の大きさに直結する. そこで，原発話がどのような粒度でチャンクに分割されているかを分析した.

本分析には，システム評価セットを除いた表 5 の原発話データ（上段：日，下段: 英）を使用した. 表 5 には, 原発話の件数 $N_{\text {utter }}$ と長さ $L_{\text {utter }}$, 通訳者が付与した原発話側チャンクの総数 $N_{\mathrm{chunk}}$ と長さ $L_{\mathrm{chunk}}$ を示した。発話長とチャンク長は，日本語では内容語数, 英語では単語数で測 $り$, 平均 $\pm$ 標準偏差で示した. 発話長は, 日・英とも会話・会議（BSD， AMI）では短く, 講演では長く, また発話長が長いドメインほど平均チャンク長も長い傾向がある. そこで，原発話長ごとのグループに分けて，グループ内の平均チャンク長を計測した．結果を図 4 及び図 2 亿示す7). 日・英の原発話とも，各ドメイン共通の傾向として, 発話長が長くなるにつれて平均チャンク長も増加するものの, 日本語ではチャン

7）発話数が 5 件以上ある発話長のみ対象とした. BSD は短い発話が多く, BSDja では最大発話長 25, BSDen では 42 であった. 他のドメインの発話長 50 以上のデータはグラフから割愛したが，50 以下と比べて特に傾向の変化は見られなかった.表 6 チャンク境界の作業者間一致率（日英 20 通訳者ぺア，英日 19 通訳者ペアの F1 値）

ク長 $6 \sim 8$ 前後，英語では $8 \sim 11$ 前後で概ね飽和し， それ以降は顕著な増減が見られない。チャンク分割作業では，作業記憶上の制約がある同時通訳の状況を想定して境界を定める作業としたため，ある程度の長さでチャンク長が飽和することは直感的な結果である。また，これらのチャンク長は通訳者による同時通訳の遅延の上限に相当すると考えられ，本コーパスから構築したシステムで同時翻訳を行う際も，同程度の遅延に収まると期待できる。

## 4.2 チャンク境界の一致率

本コーパスの一部の原発話 (日本語 2,755 発話,英語 3,160 発話）について，通訳者 3 名によるチャンク分割・訳文作成を害施した. これを，同一の原発話集合（50 発話以上）を作業した通訳者 2 名のぺアごとのデータに分け，各ペアのチャンク境界の一致率を算出した ${ }^{8}$ ． ヘアアの一方の境界を正解とした際の他方の境界についての F1 值を求め, 双方向的な一致率の尺度として用いる.日英 20 ペア，英日 19 ペアについての F1 値を表 6 に左右方向に降順で示した. 日英・英日合計 39 ペアのうち, 約 7 割の 28 ペアについては $\mathrm{F} 1$ 値 48\%以上となり，ペアの一人目から二人目の境界を見た場合と，その逆の場合の両方向において，境界の概ね半数が被覆される状況と解釈できる。残り約 3 割のペアはそれを下回る低い一致率であった。

$\mathrm{F} 1$ 値の高低と，言語方向，原データ，作業発話数との関連は特に見られなかった ${ }^{9}$ ) 一方，表 6 で下線で示した F1 值は，日英，英日それぞれ作業者 ID 01，63を含むぺアに関するもので，両作業者は他の作業者と異なる位置で分割する傾向が大きいことが示唆され ${ }^{10)}$ ，ペアを構成する作業者の影響が大きいことを確認した．コーパス中に非典型的な境界／非境界が混在していると，同時翻訳システムのチャンク分割に関する安定性を損なうことが懸念されるため，それらを検出し，学習時の影響を低減するよう

8）空白・句読点の前後に挿入された境界は同一とみなした。

9）原データ及び作業発話数の情報は付録 §A. 1 に記す.

10）詳細は付録 §A. 1 に示す。
表 7 日英翻訳の 2 段階訳に関する統計情報

表 8 英日翻訳の 2 段階訳に関する統計情報

な方法が有効である可能性がある.

## 4.3 省略の傾向

\$4.1 と同一の原発話データとその訳文データを用いて, ST1 と ST2 の 2 段階の訳文の差について分析を行った. 2 種類の訳文とそれらの差分に関する統計情報を表 7 及び表 8 に示す.

全発話（All）のうち，ST1 と ST2で文字列上の差分があった発話（Diff）は日英で約 48\%，英日で約 $41 \%$ あり，省略または他の何らかの編集が行われていることがわかる．差分なしの発話（NoDiff）では発話あたり単語数 $N_{\text {word }} / N_{\text {utter }}$ が少なく, 省略の余地が小さかったことが窥える. 実際，短い発話に対して省略を行う必要性は低い. 差分ありの発話に限ると，英日で $78 \%$ ，日英で $85 \%$ の圧縮率 CR（ST2 の単語数合計 $\div \mathrm{ST} 1$ の単語数合計）であり，システムによる省略処理を行う際の圧縮率の目安ともみなせる．作業指示（60 80\%以上）に対してはやや高めの割合での訳出となった.

差分の大きさを定量化した指標として，ST2を参照訳としたときの ST1 の Translation Edit Rate（TER）

示すように日英・英日とも全発話（All）に関して $13 \%$ 程度であった. また, 同ツールにより各編集操作の適用回数も算出した. 作業指示として「抽象的な表現への言い換えではなく，主に語句を削ることで省略を行うこと」 ${ }^{12)}$ を推奨したことの表れとして，削除 Del が 80 90\%以上を占めたものの，他の編集操作（置換 Sub，挿入 Ins，シフト Shf）も検出された. 文法的に妥当な文とするために削除以外の編集が必要であった可能性などが考えられる.

削除された単語は，日本語訳では助詞，代名詞，

表 9 ST2 に対するST1の TER 及び編集操作内訳

名詞など，英語訳では verb，adverb，noun などが多かった. 詳細は付録 §A. 2 に示す。

## 5 関連研究

同時通訳者により原発話テキストにチャンク境界を付与した研究に, 丁ら [15], 清水ら [16] の研究がある。丁ら [15] は，SIDB の日本語対話文に，英語同時通訳文を参照しながらチャンク境界を付与し，自動付与した節境界との関係を分析した. 節境界のうちチャンク境界であるものは $51 \%$ ，チャンク境界のうち節境界であるものは $75 \%$ と，両者には，ずれがあることを報告している．清水ら [16] は，話し言葉の自動分割を目的とし，日本語講演文にチャンクに相当する「音声翻訳単位」境界を付与した. 作業者 3 名の多数決で正解境界を定め，作業者の $\mathrm{F}$ 值を平均 0.9 以上と報告している.

同時通訳における久落/脱落は，高負荷状況での訳出の失敗として生じる [17] 場合と，時間的制約の克服のための意図的な省略によって生じる場合がある. 蔡ら [18] は, 訳出の失敗として起こる語の欠落に注目し，SIDB を用いて，講演者話速の速さや訳出遅延時間の長さに応じて欠落率が高くなることや，副詞の欠落率が高いことを示した。遠山ら [19] は，訳出の発話量を減らす方略として短縮による訳出が行われることを挙げ，英語原発話中の「A think B」の主語などが省かれて「〜と思います」や「〜なんでしょう」と訳出される SIDB 中の事例を挙げた.

## 6 おわりに

本稿では， GCP 同時通訳コーパスについて報告した.コーパスの分析結果として，(1) 長い原発話に対してもチャンク長（訳出遅延）は一定程度で収まること，(2) チャンク境界の作業者間一致率の高低は作業者の組合せに依存すること，(3) 原発話の内容全体を訳した訳文について，その 10～20\%前後の語句が省略可能な非重要情報と判断されていること （圧縮率 80 90\%前後）を示した. 今後，本コーパスを用いた同時翻訳システムの構築と性能評価を行う予定である.

## 謝辞

本件は，総務省の「ICT 重点技術の研究開発プロジェクト（JPMI00316）」における「多言語翻訳技術の高度化に関する研究開発」による委託を受けて実施した研究開発による成果である.

本コーパスの作成に当たり，日本語話し言葉コー パス, Business Scene Dialogue Corpus, CIAIR 同時通訳データベース，英日・日英通訳データベース， AMI Meeting Parallel Corpus, IWSLT 2017 Evaluation Campaign データセットを利用した.

## 参考文献

[1] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua Wu, Haifeng Wang, Liang Huang, Qun Liu, Julia Ive, and Wolfgang Macherey. Findings of the third workshop on automatic simultaneous translation. In Proceedings of the Third Workshop on Automatic Simultaneous Translation, pp. 1-11, Online, July 2022. Association for Computational Linguistics.

[2] Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, Dávid Javorský, Věra Kloudová, Surafel Lakew, Xutai Ma, Prashant Mathur, Paul McNamee, Kenton Murray, Maria Nǎdejde, Satoshi Nakamura, Matteo Negri, Jan Niehues, Xing Niu, John Ortega, Juan Pino, Elizabeth Salesky, Jiatong Shi, Matthias Sperber, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Yogesh Virkar, Alexander Waibel, Changhan Wang, and Shinji Watanabe. Findings of the IWSLT 2022 evaluation campaign. In Proceedings of the 19th International Conference on Spoken Language Translation, pp. 98-157, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[3] 総務省.「グローバルコミュニケーション計画 2025」 の公表，(2023-01-12 閲覧）. https://www. soumu.go. jp/menu_news/s-news/01tsushin03_02000298.html.

[4] Hitomi Tohyama, Shigeki Matsubara, Koichiro Ryu, Nobuo Kawaguch, and Yasuyoshi Inagaki. CIAIR simultaneous interpretation corpus. In Proceedings of Oriental COCOSDA 2004, 2004.

[5] 松下佳世, 山田優, 石塚浩之. 英日・日英通訳データベース (JNPCコーパス) の概要. 通訳翻訳研究への招待, No. 22, pp. 87-94, 2020.

[6] Kosuke Doi, Katsuhito Sudoh, and Satoshi Nakamura. Large-scale English-Japanese simultaneous interpretation corpus: Construction and analyses with sentence-aligned data. In Proceedings of the 18th International Conference on Spoken Language Translation, pp. 226-235, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.
[7] 小松達也. 同時通訳. 応用言語学事典, pp. 396-397. 研究社, 2003.

[8] Kikuo Maekawa. Corpus of spontaneous Japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[9] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Designing the business conversation corpus. In Proceedings of the 6th Workshop on Asian Translation, pp. 54-61, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Matīss Rikters, Ryokan Ri, Tong Li, and Toshiaki Nakazawa. Document-aligned Japanese-English conversation parallel corpus. In Proceedings of the Fifth Conference on Machine Translation, pp. 639-645, Online, November 2020. Association for Computational Linguistics.

[11] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro Yoshino, and Christian Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Conference on Spoken Language Translation, pp. 2-14, Tokyo, Japan, December 14-15 2017. International Workshop on Spoken Language Translation.

[12] 伝康晴. 多様な目的に適した形態素解析システム用電子化辞書 (<特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 640-646, 2009.

[13] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[14] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, Cambridge, Massachusetts, USA, August 8-12 2006. Association for Machine Translation in the Americas.

[15] 丁, 笠浩一朗, 松原茂樹, 吉川正俊. 日本語対話文における同時通訳単位一音声対話コーパスを用いた分析 -. 言語処理学会第 12 回年次大会, 2006.

[16] 清水徹, 中村哲, 河原達也. 同時通訳者の知識と韻律情報を用いた講演文章のチャンキング. 情報処理学会研究報告音声言語情報処理, Vol. 2008-SLP-72, No. 68, pp. 81-86, July 2008.

[17] 水野的. 同時通訳の理論認知的制約と訳出方略. 朝日出版社, 2015.

[18] 蔡仲熙, 笠浩一朗, 松原茂樹. 同時通訳における語の欠落に影響を及ぼす要因の分析. 通訳翻訳研究, No. 18, pp. 13-18, 2018.

[19] 遠山仁美, 松原茂樹. 同時通訳コーパスを用いた通訳者の訳出パターンの分析. 信学技報, Vol. 103, No. 487, pp. 133-146, 2003.

## A 付録

## A. 1 チャンク境界の一致率の詳細評価

作業者間チャンク境界一致率の詳細を述べる。通訳者ペアごとの一致率を, 後述する MPRでも算出し，F1 値（表 6 と同一）とともに表 10 に示した.「X-P1-P2」の形式のペア ID は，作業データX（表 2 及び表 3 に示したドメイン名の 1 文字目）に対する通訳者 P1 と通訳者 $\mathrm{P} 2$ による作業結果であることを意味し， $N_{\text {utter }}$ は 2 名が作業した発話数を表す.

MPR について，ペアの一方の境界を正解とした際の他方の適合率 $\mathrm{P}$ 及び再現率 $\mathrm{R}$ のうち値の大きい方 $\max (\mathrm{P}, \mathrm{R})$ で定義する．MPR は，より粗く（細かく）分割する作業者の境界を正解とした際の細かく（粗く) 分割する作業者の境界の再現率 (適合率) と解釈でき，一方から見た他方への一方向的な一致率または被覆率とみなせる。日英・英日合計 39 ペアに関して，最も低い場合でも MPR 56\%で過半数の境界が一致し, 約 8 割の 32 ペアについては MPR $70 \%$ を超え，F1 值と比べて高い値となった.

また，表 6 と表 10 で下線で示した作業者 01 と 63 を含むぺアについて，低い F1 値となった要因を分析した. ペア内 2 名の分割回数の比 SR (分割回数が少ない作業者の回数を分子とする）を算出すると, 全 39 ペアの平均 $\mathrm{SR}=0.59$ に対し, 作業者 01 を含む 6 ペアでは $\mathrm{SR}=0.14 \sim 0.64$ で分布し，作業者 63 を含む 4 ペアでは $\mathrm{SR}=0.28 \sim 0.67$ で分布し，作業者 01 または 63 を含む 10 ペア中 7 ペアが SR 下位 $25 \%$ に位置した。つまり，作業者 01 はぺアの他方より少なく分割し，作業者 63 はペアの他方より多く分割する特徴が見られた。

## A. 22 段階の訳文で省略された表現の詳細

2 段階の訳文 ST1 と ST2 の差分のうち，削除 Del として検出された表現について，1 単語単位及び連続する複数単語単位で集計した。頻度上位 10 件の品詞（列）を，全品詞（列）の合計頻度に対する頻度の割合（Rate，\%）とともに，表 11 及び表 12 に示す (「代」は代名詞，「助」は助詞，「副」は副詞，「感」 は「感動詞」，「接」は接続詞，「名」は名詞，「形」は形容詞を表す). 複数単語単位（POS Seq）については，頻度上位 2〜3件の表層の例も示した.

頻繁に削除された表現には，談話標識にあたるような接続詞，副詞，感動詞（日本語訳・英語訳共表 10 チャンク境界の作業者間一致率（MPR，F1 値）

通)，「主語にあたる代名詞＋動詞」（英語訳）「代名詞十助詞」（日本語訳）などがあった.これらは，作業指示の結果，削除しやすい表現として選択された可能性があり，任意の編集による圧縮を許容した場合には，異なる傾向となることが考えられる.


# Average Token Delay: 同時翻訳の遅延評価尺度

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時翻訳は、話し手が話し終わる前に翻訳を開始するタスクである。大きな遅延を許容すれば、翻訳の質を向上させやすいが、会話など即時性が求められる場合には、翻訳の質をできるだけ下げずに遅延を抑える必要がある。この遅延を測る既存の指標は、翻訳の出力開始時に着目し、出力の終了時を十分に考慮していなかった。しかし、ある部分の翻訳の出力終了が遅れると、次の部分の翻訳の出力開始を遅らせることにもつながり、即時性が失われる。 そこで、本稿では、翻訳の終了時に着目した新しい遅延評価尺度である Average Token Delay (ATD) を提案する。同時機械翻訳の実験を行い、既存の遅延評価尺度と比較して、より様々な訳出タイミングの決め方の評価に適していることを確かめた。

## 1 はじめに

同時翻訳とは、話し手が話し終わる前に翻訳を始めるタスクである。図 1 は、二種類の基本的な同時機械翻訳戦略による入出力過程をステップごとに示したものである。SRC と TGT はそれぞれ、入出力の 1 トークンを示す。wait-k [1] は、最初に $k$ トークン待って、その後は 1 トークン入力を待ち、1トークン翻訳を出力するというのを繰り返す。chunk-k は、 $k$ トークン待って $k$ トークン出力するというのを繰り返す。近年の同時機械翻訳モデルの翻訳の遅延評価には Average Lagging (AL) [1] が用いられてきた。これは、各翻訳単語の出力に必要となる入力単語の数をもとに計算される。図 2 は、入出力を同時に、かつ 1 トークンの入出力を同じ時間で実行できると仮定した wait-k と chunk-k の訳出タイミングを示している。ここでは簡略化のために計算時間を省略している。この図からわかる通り、 wait-k と chunk-k は、この仮定の下では入出力のタイミングが完全に一致する。よって、これらの遅延は同一になるはずである。しかし、実際にこれら

図 1 step ごとの wait-3 と chunk-3

Wait-3

SRC SRC SRC / SRC / SRC / SRC / SRC / TGT / TGT / TGT / TGT / TGT TGT TGT

## Chunk-3

SRC SRC SRC / SRC SRC SRC / SRC TGT TGT TGT / TGT TGT TGT / TGT

$\begin{array}{llllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 7 & 8 & 9\end{array}$

図 2 time-synchronous な wait-3 $\succ$ chunk-3

の ALを実際に計算すると、wait-kの ALは、 $\frac{15}{5}=3$, chunk-k の AL は $\frac{13}{7} \approx 1.857$ で、chunk-k の方が大幅に遅延が小さいと評価される。このように、チャンク翻訳が長くなるほど、AL は遅延を小さく評価する傾向がある。しかし、実際には、前のチャンクの翻訳が出力し終わらないと次の翻訳が出力できないため、チャンク翻訳の長さは遅延につながる。そこで、本稿では、出力翻訳の終わるタイミングに着目した遅延尺度である Average Token Delay (ATD) ${ }^{1}$ を提案する。同時機械翻訳の実験を行い、複数のモデルを ALと ATD で比較し、ATD は wait-k のみでなく、チャンクベースのモデルの遅延もより適切に測れることが分かった。

## 2 関連研究

これまで AL 以外にも、いくつかの遅延尺度が提案されてきた。Consecutive Wait (CW) [2] は文の局所的な遅延を評価する。Average Proportion (AP) [3] は文全体の遅延を評価するが、入出力のタイミング決定戦略が同じでも、文の長さによって、遅延の値が

大きくことなってしまうという問題があった。AL は、理想的なタイミングとのズレをもとに計算することによって、その問題を改善した。ALは以下の式で定義され、

$
\begin{gathered}
A L_{g}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{\tau_{g}(|\boldsymbol{x}|)} \sum_{\tau=1}^{\tau_{g}(|x|)}\left(g(\tau)-\frac{\tau-1}{r}\right) . \\
\tau_{g}(|\boldsymbol{x}|)=\min \{\tau|g(\tau)=| \boldsymbol{x} \mid\}
\end{gathered}
$

$g(\tau)$ は単調増加関数で、 $\tau$ 番目の出力単語を出力するために読んだ入力単語の数を表す。 $\tau_{g}(|x|)$ は、最後の入力単語を読み終わった直後に出力した翻訳単語のインデックスを表す。 $\mathrm{r}$ は $|\boldsymbol{y}| /|\boldsymbol{x}|$ で定義される。

## 3 提案尺度

図 3 Step ごとの speech-to-speech 同時機械翻訳の例

本稿では、Average Token Delay という新しい指標を提案する。まずは、 speech-to-speech の翻訳において説明し、それを speech-to-text、text-to-textへの同時翻訳へと一般化する。

## 3.1 speech-to-speech の同時翻訳

図 3 は音声同時翻訳の音声や処理の継続長を考慮した処理時間を模式的に示したものである。白い部分は、固定長の音声セグメントを示し、青い部分は入力を待つか出力するかの決定する時間を示し、オレンジの部分は、翻訳デコード時間を示す。ステップ 1 から翻訳が始まり、ステップ8で翻訳を終え、 ステップ 8 における同じ色の点 (黒、赤、白) の時間差の平均として ATD は計算される。

大力文 $x$ と出力文 $y$ がそれぞれ、 $x=x^{1}, x^{2}, \ldots, x^{C}$ と $\boldsymbol{y}=\boldsymbol{y}^{1}, \boldsymbol{y}^{2}, \ldots, \boldsymbol{y}^{C}$ というチャンクに区切られるとする。それぞれのチャンクは、さらにサブセグメントに分かれる。テキストの場合は単語または文字がサブセグメントとなる。音声の場合は、 0.3 秒で 1 単語の発話があると仮定し、チャンクを 0.3 秒の長さのサブセグメントに分割し、余りも 1 つのサブセグメントとする。その結果、入力文と出力文はそれぞれ $\boldsymbol{x}=x_{1}, \ldots, x_{|\boldsymbol{x}|}, \boldsymbol{y}=y_{1}, \ldots, y_{|\boldsymbol{y}|}$ というサブセグメントの系列として表せる。ATD は以下の式で定義される。

$
\operatorname{ATD}(\boldsymbol{x}, \boldsymbol{y})=\frac{1}{|\boldsymbol{y}|} \sum_{t=1}^{|\boldsymbol{y}|}\left(T\left(y_{t}\right)-T\left(x_{S(t)}\right)\right)
$

ここで、

$
\begin{gathered}
S=t-\max \left(L_{a c c}\left(\boldsymbol{y}^{c(t)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(t)-1}\right), 0\right) \\
s(t)= \begin{cases}S & S \leq L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) \\
L_{a c c}\left(\boldsymbol{x}^{c(t)}\right) & \text { otherwise }\end{cases}
\end{gathered}
$

とする。 $L_{a c c}\left(\boldsymbol{x}^{c}\right)$ は $\mathrm{c}$ 番目のチャンクまでの累積長であり、 $\sum_{j=1}^{c}\left|\boldsymbol{x}^{j}\right|$ と表せる。 $c(t)$ は $y_{t}$ の属するチャンク番号 $c$ を表し、 $L_{a c c}\left(\boldsymbol{x}^{0}\right)=0 、 L_{a c c}\left(\boldsymbol{y}^{0}\right)=0$ とする。

$T(\cdot)$ はそれぞれのサブセグメントの終わるタイミングを示し、図3で色のついた点である。ATD は、出力サブセグメント $y_{t}$ と対応する入力サブセグメント $y_{s(t)}$ の時間差の平均として計算される。入出力のサブセグメントの対応は、特に語順の大きく異なる言語ついにおいては意味的に必ずしも正しくな

図 4 speech-to-text 同時翻訳の遅延測定概略図

図 5 text-to-text 同時翻訳の遅延測定概略図

図 6 non-computation aware text-to-text 同時翻訳の遅延測定概略図
いが、遅延の計算においては $\mathrm{AL}$ と同様に、このように単純化している。

表 1 は、(4) 式の max の中の例を表す。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=0 \leq 0$ の時は、 $y_{5}$ は $x_{5}$ に対応する。 $L_{a c c}\left(\boldsymbol{y}^{c(5)-1}\right)-L_{a c c}\left(\boldsymbol{x}^{c(5)-1}\right)=1>0$ の時は、 1 チャンク前までの部分翻訳が 1 チャンク前までの部分入力より 1 トークン長いため、 $S=5-1=4$ により、 $y_{5}$ は $x_{4}$ に対応する。このように、ATDでは前のチャンク翻訳の終了が遅くなると遅延が増える。

表 2 は、(5) 式の例を表す。 $S=3 \leq L_{a c c}\left(\boldsymbol{x}^{c(3)}\right)$ の時は、 $y_{3}$ は $x_{3}$ に対応する。 $S=4>L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)$ の時は、 $x_{4}$ が存在せず、最後の入力トークン $x_{3}$ に対応する翻訳が長めに出力していると捉える。そこで、 $L_{a c c}\left(\boldsymbol{x}^{c(4)}\right)=3$ により、 $y_{4}$ は $x_{3}$ に対応する。

## $3.2\{$ speech,text $\$-to-text $の$ 同時翻訳}

図 4 は speech-to-textへの同時翻訳を表している。字幕のように、テキストは同時に複数の単語を出力できるため、テキストのサブセグメント (単語) の長さは無視している。図 5 は text-to-text 同時翻訳を示している。この場合、入力のテキストは基本的に streaming ASR(自動音声認識) の結果として受け取るため、黄色の入力サブセグメントの長さは、ASR の処理時間となる。

## 3.3 Non-computation-aware ATD

コンピュータの性能や実装効率に依存せずに、同時翻訳モデルの遅延を図ることがある。そのような場合には、図 $3,4,5$, のオレンジ、青、黄色の部分を除去し、音声セグメントの長さのみを残して、 ATD の遅延を計算する。しかし、このままでは、 text-to-text の翻訳では、遅延が常に 0 になってしま

う。そこで、図 6 に示される通り、 $\mathrm{CW}$ や AP のように入出力の単語がそれぞれ $1 \mathrm{step}$ の時間を使うとして、ATDを計算する。また、ATD は、図 2 で示されるように、モデルが入出力を並列に行うことができると仮定して計算される。

## 4 シミュレーション

ATD による遅延計測の特性を示すためのシミュレーションの結果を以下に示す。

図 $7 \mathrm{AL}$ にる遅延測定

## 4.1 wait-k と chunk-k の比較

長さ 10 トークンの入力文を wait-k と chunk-k で、長さ 10 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 10 まで変化させて比較した。図 7,8 がその結果を示す。図 7 は 1 節で述べられたように、chunk-k と wait-k の AL に大きな差が出てしまうことを示している。その一方で、ATD は図 8 で示されている通り、 chunk-k と wait-kが一致している。また、ALでは、wait-9 と wait-10 は遅延の大きさが近いにも関わらず、ギャップが生まれてしまっている。付録にさらに大きな図を示す。このように、ATD は、wait-k のような 1 トークン読んで 1 トークン出力するというのを繰り返すモデルでも、複数トークンを一度に出力するチャンクベースのモデルでも、より適切な結果が得られると考えられる。

## 4.2 翻訳例

図 9 はチャンクベースの 3 つの異なるモデルによる同時翻訳例である。モデル 1 は入力文全体を待ってから、翻訳を始めているため、最も遅延が大きく、翻訳の質は高い。モデル 2 は、「I」の直後に区切って翻訳を始めているため、モデル 1 より遅延が小さいが、その分翻訳の質は落ちる。モデル 3 はモデル 2 に似ているが、チャンク翻訳の出力長が長く、その分翻訳の質が落ちている。

AL は、モデル 3 とモデル 2 の間に急激な差があり、モデル 3 が最も遅延が少ないと評価している

## Model 1

ATD:5.4, AL:5.0, Quality: 1st

I bought a pen . /

12 私はペンを買った。

## Model 2

ATD:3.4, AL:1.1, Quality: 2nd

I/ bought a pen. /

Model 3

ATD:4.1, AL:0.8, Quality: 3rd

I/ bought a pen . /

私でございます。/ペンを買った。

$\begin{array}{lllllllllll}1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11\end{array}$

図 9 翻訳例

が、これはこれまで述べてきた通り、直感に反している。その一方で、ATD は出力長の遅延を考慮しているため、翻訳が終わるのが遅いモデル 3 よりモデル 2 の方が遅延が小さいと評価することができている。

## 5 実験

遅延尺度の効果を確かめるため、text-to-text の英独同時機械翻訳の実験を行い、ALと ATD を比較した。

## 5.1 データ

IWSLT evaluation campaign のデータを用いた。 WMT 2014 training set (450万文) をトレーニングデー タとし、IWSLT 2017 training set (20.6万文)をファインチューニングのデータとして用いた。 $\operatorname{dev2010,}$ tst2010, tst2011 and tst2012 (合計 5,589 文) を開発デー タとし、tst2015 (1,080 文) で評価した。

加納ら [4]に従った実験設定で、wait- $k$ [1], Meaningful Unit (MU) [5], Incremental Constitute Label Prediction (ICLP) [6], そして Prefix Alignment (PA) [4] のモデルを比較した。翻訳の質と遅延の評価には、SimulEval を用いた。

## 5.2 結果

図 10,11 はその実験結果を示す。図 10 の AL に比べると、図 11 の ATD は各モデルの遅延の違いをより明確に示している。MU と ICLP は ATD において、遅延と精度のトレードオフが低下している。この原因は、図 12 の AL が小さい範囲で length ratio が 1.0 を超えているところにも現れている。ALが小

図 $10 \mathrm{AL}$ による遅延測定

図 11 ATD による遅延測定

図 12 Length ratio と $\mathrm{AL}$

さい部分では、翻訳が参照文に比べて長めに出力されてしまい、図 9 のモデル 3 と同様の現象が起こっている。MUは、ATDが大きくなっても、必ずしも BLEU [7] が向上していない。これは、本来より長く翻訳が出力されたことによって ATD が大きくなると同時に、翻訳の質も下がってしまったからである。

## 6 おわりに

同時機械翻訳における新しい遅延尺度を提案した。出力翻訳長を考慮した ATD は、ALではうまく測れないチャンクベースのモデルにも対応した。今後は、タイミング情報のみならず、入出力単語の意味の対応関係も考慮していくことが重要である。

## 謝辞

本研究の一部は科研費 $21 \mathrm{H} 05054$ の助成を受けた

ものである。

## 参考文献

[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics

[3] Kyunghyun Cho and Masha Esipova. Can neural machine translation do simultaneous translation? arXiv preprint arXiv:1606.02012., 2016.

[4] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[5] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, Hua $\mathrm{Wu}$, and Haifeng Wang. Learning adaptive segmentation policy for simultaneous translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2280-2289, Online, November 2020. Association for Computational Linguistics.

[6] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with constituent label prediction. In Proceedings of the Sixth Conference on Machine Translation, pp. 1124-1134, Online, November 2021. Association for Computational Linguistics.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

## A 付録

## A. 1 シミュレーション

図 $13 \mathrm{AL}$ にる遅延測定

図 14 ATDによる遅延測定

長さ 40 トークンの入力文を wait-k と chunk-kで、長さ 40 トークンの文へ翻訳する際に、 $\mathrm{k}$ を 1 から 40 まで変化させて比較した。本文の 10 トークンの場合に比べ、より chunk-k と wait-k のギャップが大きくなっている。


# TED 英語講演の音声認識 $\cdot$ 音声翻訳 ・ 音声要約の検討

坂野晴彦 桜井陽生 足立十一郎 山本一公 中川聖一
中部大学 工学部 情報工学科
}

\{ep19087-8458@sti, ep18051-1542@sti, ep19002-1545@sti, kazumasayamamoto@isc,

nakagawa@isc\}.chubu. ac. jp
## 概要

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行ってきた。英語講演音声をすべて翻訳し字幕にすると、読みが追い付かない・読み辛いなどの弊害が生じるため、要約システムが必要である。TED 講演音声の音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を得た。この書き起こし結果を Transform -erに基づくテキスト翻訳と BERTに基づく重要文抽出型テキスト要約に使用して、音声翻訳と音声要約を評価した。音声翻訳はテキスト翻訳に比べて、 BLEU 值が約 $14 \%$ 低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに頑健であった。

## 1 はじめに

我々は、以前から英語の講義や講演を自動音声認識し、要約して日本語で字幕表示する研究を行ってきた。英語講義・講演音声をすべて翻訳し字幕にすると、ユーザーの読みが追い付かない・読み辛いなどの弊害が生じるため、音声認識システムと翻訳システム以外に要約システムがあると便利である

## $[1]$ 。

音声認識に関しては、DNN-HMM 型のハイブリ

ッド方式と End-to-End 方式があり、後者の方が性能がよいという報告がみられるようになってきた $[2,3]$ 。TED 講演音声に関して、英語の音声認識は IWSLT での発表が多いが、英日翻訳に関しては少ない。2021 年には英日の瞬時テキスト翻訳[2]、 2022 年には英日の瞬時音声翻訳がタスクに加えられている[3]。上野らは 12 層の Conformer エンコー
ダ、Attention 付きの単方向 LSTM のデコーダを用いて、TED-LIUM2（211 時間分の学習データ） で、単語誤り率 $8.56 \%$ という報告をしている[4]。

音声翻訳に関しては、音声認識とテキスト翻訳の接続によるハイブリッド方式と End-to-end 方式があり、最近では後者の進展が目覚ましく、両者の差はなくなってきた $[3,5]$ 。我々は講義・講演の翻訳に対して、ハイブリッド方式を採用し、時代に合わせて統計的機械翻訳モデル[6]、RNN ニューラルネットワークの LSTM による系列変換モデル[7]、

Transformer モデル[8]を使用してきた。並行して、音声認識誤りに対処するために、 $\mathrm{N}$ ベストのリスコアリングの利用、認識誤りを含めた対訳ぺアによる学習などを試みてきた[6]。本稿では、Transformer にデータ拡張や転移学習を適用した結果を報告する。TEDの英日音声翻訳に関しては、福田らは、 オフライン方式で 11.6、オンライン・瞬時翻訳方式で10.6 の BLEU 値を報告している[9]。IWSLT-2022 で最も良かった結果は、大規模な外部音声資源・言語資源を使用した USTC（中国科学技術大学）のシステムで、音声認識誤り率（単語誤り率）約 5\%、 アンサンブル翻訳ではテキスト入力で 22 、音声入カ・オフライン方式で約 19 の BLEU 値を報告している[5]。

要約に関しては、抽出型要約と抽象型要約があり、従来は抽出型要約の方が優れていたが、最近はニューラルネットワークの抽象型要約技術が進展し、両者の性能差はなくなってきた $[10,11,12]$ 。ただし、人による要約結果の評価では抽出型要約の方がまだ評価が高い[12]。講義・講演を聴講しながら要約を字幕表示する場合は、万遍なく音声に同期した字幕表示が望ましい。そこで我々は、重要な箇所

だけ音声を再生するのにも適している重要文の抽出型要約を採用している。過去の重要文抽出の手法として、テキスト・音声要約で有効な手法として広く用いられる Maximal Marginal Relevance (MMR)[13] や、文の重要性を表す素性の抽出と抽出した素性に基づく分類からなる feature-based 法[14]などが提案されている。最近では、文の構文情報・意味表現として、文の分散表現が良いとされ、大規模な学習データによるニューラルネットワークを利用した重要文抽出の要約にも利用されている 15,16$]$ 。我々は、従来の要約システム MMR に Bidirectional Encoder Representations from Transformers ( BERT) [17]を併用する方法を提案してきた[18]。本稿では、本手法と最近の代表的な抽出型要約である BertSumExt 法[16]による音声要約を報告する。

## 2 TED 講演の音声認識

## 2.1 Kaldi ツールキットによる DNN-HMM

TED 講演音声をテキストに書き起こすための音声認識ツールキットとして、Kaldi[19]を用いた。 Kaldi では様々なコーパスに対応したレシピが公開されており、本稿では TEDLIUMv3 に対応したレシピを用いて音声認識を行った。Kaldi では認識システムとして DNN-HMM を用いており、これは隠れマルコフモデル(Hidden Markov Model)の状態から出力される音素の出力確率を DNN(Deep Neural Network)を用いて算出する手法である。

本稿では DNN の隠れ層の層数は 13 層とし、隠れ層の各ユニット数は 1024 とした。出力層のユニット数は共有トライフォン数に対応しており、

GMM-HMM 学習時の学習デー夕量に依存して自動決定される。活性化関数には ReLU 関数を用い、出力層のみ softmax 関数を用いた。また、損失関数にはクロスエントロピーを用いた。ネットワークへの入力特徴量は $\mathrm{MFCC}($ メル周波数ケプストラム係数) 40 次元である。また、特徵量の前処理として fMLLR, LDA,SAT を行い、不特定話者用の特徴抽出を行っている。

## 2.2 学習データ

(a) TED 講演データ

TEDLIUMv3[20]は、約 450 時間の TED 講演音声のコーパスである。学習データ、検証デー夕、評価データでセットが分かれており、それぞれ重複する講演は含まれていない。

(b) 大量読み上げ英語音声データ Librispeech

Librispeech[21]は約 1000 時間の読み上げ英語音声のコーパスである。学習データ、検証データ、評価データでセットが分かれており、それぞれ重複する発話は含まれていない。このうち学習データは約 960 時間である。

TED 講演は話し言葉であるのに対し、Librispeech は読み上げコーパスであるが大量のコーパスであることから、これらのコーパスを合わせて用いることで、より頑健なモデル構築が期待できる。

## 2.3 テストデータ

音声認識結果の算出には、表 1 に示す IWSLT2016 の 10 講演と TEDLiumv3 のテストセット 16 講演を使用し、それぞれのセットで認識率を求めた。学習データとテストデータの重複を防ぐためにこの計 26 講演は学習データから除外している。

表 1 : テストデータの詳細

 &  &  \\

## 2.4 TED の音声認識結果と後処理

以下(a), (b),(c)の三通りの手法でモデルを作成し、音声認識を行った際の認識率を比較した。

(a) TED 講演音声による単独モデル

TED 講演 450 時間の学習データで DNN-HMM を学習した。言語モデルは TED 講演 450 時間のテキストから作成し語彙サイズは 15 万語程である。

(b) Librispeechによる単独モデル

Librispeech960 時間の学習データで DNN-HMM を学習した。このモデルのみ、DNN の規模を、層数 17 層、隠孔層のユニット数は 1536 とした。言語モデルは Librispeech960 時間のテキストから作成し、語彙サイズは 20 万語程である。

(c) TED 講演音声と Librispeech の混合学習によるモデル

Librispeech960 時間の学習データと TED 講演 450 時間の計 1410 時間を用いて DNN-HMM を学習した。言語モデルは TED 講演 450 時間と

Librispeech960 時間を合わせたテキストから作成し、語彙サイズは 28 万語程である。

表 2 に各モデルでの認識率を示す。評価として以下の式で定義される単語正解精度を用いた。

単語正解精度 $=100-\frac{\text { 置換誤り数 }+ \text { 挿入誤り数 }+ \text { 脱落誤り数 }}{\text { 発声された入力文中の単語数 }}(1)$

表 2 に示すように、Librispeech 単独モデルでは TED 講演のような話し言葉の認識は難しいことが分かる。また、TED+Librispeech 混合モデルでの認識率は TED 単独モデルよりやや良いことが分かる。これは、Librispeech が朗読音声であるものの 960 時間と大量データであることによる効果である。Librispeech 単独モデルから TED データによる適応を行うとさらに良くなると思われる。なお、 (b)のモデルを用いた Librispeech テストデータでの認識実験では単語正解精度は $94.78 \%$ であった。以降、TED2016に対して一番認識率が高かった TED 単独モデルを用いて音声翻訳と音声要約を行う。このために、音声認識結果の数値の読み表現を数值表現に後処理した $($ 例 : thirteen $\rightarrow 13)$ 。なお、認識結果には句読点はないので、音声翻訳・音声要約の評価時の参照テキストも句読点を除去した。

表 2：各モデルでの単語正解精度 [\%]

## 3 TED の音声翻訳

## 3.1 Transformer 翻訳モデル[22]

Transformer モデルはエンコーダとデコーダからなり、再帰型ニューラルネットワークの様に時系列データを用いて学習を行う。出力を求める際は自己注意機構を用いる。エンコーダは同じ構成のエンコ ーダの積み重ねによって構成されており、それらのエンコーダは自己注意とフィードフォワードネットワーク (FFNN)により構成される。デコーダも同じ構成のデコーダが積み重ねられてできている。一つのデコーダは自己注意と FFNN に加えてその間に注意機構が入っている。標準モデルはエンコーダ 6 層、デコーダ 6 層であるが、最適な数は学習データ量に依存する。 22 万文の英日パラレルコーパスで学習した場合は、 6 層 -6 層で $0.80 、 3$ 層 -4 層で
13.66、 3 層一3 層で 13.22 の BLEU 值であった。本実験ではエンコーダとデコーダは共に 3 層とした。本実験で使用する TED 講演の IWSLT (International Workshop on Spoken Language Translation)のコーパスには英語と日本語の対訳コ一パスが 22 万文と少ないため、英語または日本語の単言語コーパスをベースモデルで翻訳/逆翻訳することで英語と日本語の疑似対訳コーパスを作成し、翻訳モデル学習の追加の学習データとすることでデータ拡張を行う。データ拡張には IWSLT2018 英語-スペイン語ペアの英語側コーパスと CSJ (Corpus of Spontaneous Japanese )日本語コーパスの模擬講演を用いた。

100 万文ペアからなる ASPEC (Asian Scientific Paper Excerpt Corpus )コーパスにより英日単/双方向翻訳モデルを学習し、そのパラメータを初期值として IWSLT+データ拡張したデータセットで学習した [8]。なお、ASPEC コーパスによる翻訳モデル学習の際には、TED 語彙に合わせて学習を行った。

## 3.2 音声翻訳結果

音声翻訳結果の BLEU 值を表 3 に示す。翻訳文の評価には BLUE 値を用いた。音声翻訳はテキス卜翻訳と比べて、約 $14 \%$ BLEU 值が低下した。 $10 \%$ 程度の低下に留まるためには、音声認識精度が $90 \%$ 以上必要と思われる。

表 3 : 音声翻訳結果 (TED2016テストセット)

 &  \\

## 4 TED の音声要約

## 4.1 MMR+BERT[18]

MMR は、ドキュメント全体との関連度と、情報の新規性に基づいて抽出する文を順に決定していくことで、全体としてドキュメントとの関連が高くかつ穴長性の低い文集合を抽出することを目指す手法である[13][23]。本稿では以下で定義されているものを使用する。最新のものでは文献[24]がある。

MMR の文抽出アルゴリズムでは、ドキュメント $D$ 、文 $i$ 、抽出文数 $R$ を用いて、文 $i$ に含まれる単語からなるベクトルSi を、単語の出現頻度 (Term Frequency)に基づいて求め、文のベクトルの集合 $S_{n r k}$ $=\left.\{S_{1}, S_{2}, \cdots, S_{N}\right.\}$ の $S_{i}$ に対して、 $S_{1}$ から順に以下の
式を計算し、求めた $S_{\text {max }}$ を重要文集合 $S_{r k}$ に加える。 これを繰り返し行うことで要約文を抽出する。

$S_{\max }=\operatorname{argmax}\left.\{\lambda(\operatorname{Sim}(S i, D))-(1-\lambda)\left(\operatorname{Sim}\left(S i, S_{r k}\right)\right)\right.\}$ $S i \in S_{n r k}$

$\operatorname{Sim} 2$ つのベクトル間の類似度を表し、本稿ではコサイン類似度を用いる。式の第一項は文とドキュメントの関連度を表し、第二項は文と重要文集合の類似度の負の値、すなわち情報の新規性を表す。このとき、入はドキュメントとの関連度と壳長性の間のトレードオフである。MMR のツールとして、

Text-Summarization-MMR[25]を使用し、本実験では $\lambda$ $=0.5$ と設定する。

我々は、文脈を学習させた事前学習(Pre-Training) された BERT モデルを利用し、文の分散表現ベクトルを $\mathrm{TF}$ に基づくベクトルの代わりに使用する。英語のドキュメントの文の分散表現を得る際は BERT-Large, Uncased (Whole Word Masking)の英語 1024 次元の分散表現を抽出した。また、BERT ゙゙クトルを入力として階層型ニューラルネットワークによる重要文/非重要文識別器を構成し、(3)式のように、 その出力の事後確率 $\mathrm{p}$ (重要文|入力)の対数値を(2)式に加えた。これを MMR+BERT と呼ぶ。識別器の学習には数千文程度あればよい。なお、同じく MMR+BERT と呼ぶ手法が文献[24]に紹介されているが詳細は不明である。

$\operatorname{Smax}=\operatorname{argmax}\left.\{\lambda\left(\operatorname{Sim}\left(S_{i}, D\right)\right)-(1-\lambda)\left(\operatorname{Sim}\left(S_{i}, S_{\mathrm{rk}}\right)\right)\right.$ $S_{i} \in \operatorname{Snrk}$

$+\alpha \times \log \mathrm{p}\left(\right.$ 重要文 $\left.\left.\mid S_{i}\right)\right.\}(3)$

## 4.2 BertSumExt[16]

BertSumExt 法は、複数文の文境界記号付き入力単語列（512 トークン以下の制限あり）に対して BERT によって文ベクトル列 $\left.\{T_{i}\right.\}$ を得て、これを Transformerに入力して、重要文/非重要文のラベル列を抽出する手法である。この手法は標準的な要約タスクである CNN/Daily Mail の重要文抽出要約に適用され、このタスクで標準的な性能を得ており、 ベースシステムとしてよく使用されている。MMR と同様に類似な文の抽出を避けるために trigram blocking という機能を取り入れている。本手法を TED 講演に利用するために、最大の入力長が 512 トークンという制限から、講演を 512 トー クン以下に分割し、それぞれで重要文抽出を行い、最後に講演全体で設定された重要文数なるようにスコアで選定した。また、オリジナルな BertSumExt は、CNN/Daily news 約 30 万記事の 1000 万文から、各記事から 3 文の重要文を抽出するように学習
されており、このモデル（CNN）と、MRR+BERT と同じくTED $の 51$ 講演の約 4500 文から学習したモデル(TED)、CNN のモデルから TED データで適応したモデル $(\mathbf{C N N} / \mathbf{T E D})$ を使用した。

## 4.3 音声要約結果

(a) テキスト要約

TED10 講演のテキストデータで行った要約実験の結果を表 4 に示す。重要文の割合は約 $46 \%$ である。TED データだけの学習では MMR+BERT が最も優れているが、BertSumExt $の$ CNN のモデルから TED データで適応した CNN/TED は、これを上回っている。

(b) 音声要約

BertSumExtのみで音声入力の要約実験を行った。講演音声の音声認識結果に対する要約結果を表 4 に示す。音声要約では抽出された文の認識結果に対応する原テキストデータを用いての評価も行い BLEU 值欄の一番右欄に示す。これは重要文箇所を音声で再生した場合は音声認識の誤りに関係なくテキスト内容が正しく聴講できるための尺度である。 テキスト入力と比べて音声入力では Rouge-3 で約 $20 \%$ の性能低下がみられた。しかし、重要文箇所の抽出の尺度では、低下はみられなかった。

表 4 : TED 講演の要約結果 (ROUGE-3)

\cline { 3 - 4 } & 認識結果 & 原文に変換 \\

## 5 まとめ

TED 英語講演音声の日本語字幕化のための音声認識、音声翻訳、音声要約の結果を述べた。音声認識では、DNN-HMM により約 $88 \%$ の単語正解精度を得た。この認識結果を Transformer に基づくテキスト翻訳と BERT に基づく重要文抽出型テキスト要約に使用した。音声翻訳はテキスト翻訳に比べて、BLEU 値が約 $14 \%$ 低下した。一方、音声要約はテキスト要約に比べて、重要文として抽出された区間はほぼ同一であり、音声認識誤りに対して頑健であった。

## 謝辞

本研究の一部は、JSPS 科研費 $18 \mathrm{H} 01062$ 、 19K12027、22K12084 の研究助成を受けた。

## 参考文献

[1] V.Ferdiansyah, S.Nakagawa : Captioning methods of lecture videos for learning in English, Proc. 25th ICCE, pp.902-907, 2017.

[2] A. Anastasopoulos, O. Bojar, et.al : Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021.

[3] A. Anastasopoulos, L. Barrault, et.al : Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[4] 上野, 李, 河原：音声認識のデータ拡張のための話者情報およびマスクを用いた合成音声の周波数スペクトログラム強調, 2022 年日本音響学会秋季講演論文集, pp.1149-1150, 2022.

[5] W. Zhang, Z. Ye, et al : The USTC-NELSLIP offline speech translation systems for IWSLT 2022, Proc. IWSLT, pp.198-207, 2022.

[6] 後藤, 山本, 中川：音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討, 言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[7] 佐橋, 秋葉, 中川：科学技術論文抄録と講義の英日機械翻訳のリスコアリングの検討，言語処理学会第 25 回年次大会, pp.1165-1168, 2019.

[8] 足立, 山本，中川：TED 講演の英日翻訳と日英翻訳の検討，言語処理学会第 29 回年次大会, 2023.

[9] R. Fukuda, Y. Ko, Y. Kano, et al : NAIST simultaneous speech-to-text translation for IWSLT 2022, Proc. IWSLT 2022, pp.286-292, 2022.

[10] T. Nguyen, A. T. Luu, T. Lu, T. Quan : Enriching and controlling global semantics for text suumarization, arXiv:2109.10616v1, 2021.

[11] A. See, P. J. Liu, C. D. Manning: Go to the point summarization with pointer-generative networks, arXiv:1704.04368, 2017.

[12] O. Ernst, A. Caciularu, et. al : Proposition-level clustering for multi-document summarization, Proc. NACACL, pp.1765-1779, 2022.
[13] J. Carbonell, J. Goldstein : The use of MMR, diversitybased reranking for reordering documents and producing summaries. Proc. ACM SIGIR, pp. 335-336, 1998.

[14] 小林，山口，中川：表層的言語情報と韻律情報を用いた講演音声の重要文抽出, 自然言語処理, Vol. 12, No. 6, pp. 3-24, 2005

[15] M. Kageback and D. Dubhashi, O. Mogren, N. Tahmasebi : Extractive summarization using continuous vector space models, Proc. 2nd Workshop on Continuous Vector Space Models and their Compositionality, CVSC, pp. 31-39, 2014.

[16] Yang Liu, Mirella Lapata ; Text summarization with pretrained encoders, Proc. conf. EMNLP, pp. 3730-3740, 2019.

[17] J. Devlin, M. Chang, K. Lee, K. Toutanova : BERT pretraining of deep bidirectional transformers for language understanding, arXiv:1810.04805, 2018.

[18] K. Masuda, Y. Hayakawa, K. Yamamoto, S. Nakagawa : Summarization of spoken lectures based on MMR method and important/unimportant sentence classification using BERT, Proc. GCCE, OS-SLP, 2022.

[19] D. Povey, A. Ghoshal, G. Boulianne, L. Burget, O. Glembek, N. Goel, M. Hannemann, P. Motlicek, Y. Qian, P. Cchwarz, J. Silovski, G. Stemmer and K. Veseh : The Kaldi speech recognition toolkit, Proc. ASRU, 2011.

[20] OpenSLR : TED-LIUM corpus release3, https://www.openslr.org/51/, 2022

[21] V. Panayotov, G. Chen, D. Povey and S. Khudanpur: Librispeech an ASR corpus based on public domain audio books, 2015 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), pp.5206-5210, 2015.

[22] I. Polosukhin, L. Kaiser : Attention is all you need, Conference on Neural Information Processing Systems, 2017

[23] G. Murray, S. Renal, and J. Carletta : Extractive summarization of meeting recordings, Proc. Interspeech, pp. 593-596, 2005.

[24] X. Liang, J. Li, S. Wu, M. Li, Z. Li : Improving unsupervised extractive summarization by jointly modeling facet and redundancy, IEEE Trans. ASLP, Vol.30, pp.15461556, 2022.

[25] GitHub : Text-Summarization,

https://github.com/fajri91/Text-Summarization-MMR, 2023.

## A 付録

表 : TED 講演音声の音声認識と翻訳の例

 \\


# 非流暢性タグを用いた目的言語テキストによる 自由発話の音声翻訳

胡尤佳 須藤克仁 中村哲
奈良先端科学技術大学院大学
$\{$ ko.yuka.kp2, sudoh, s-nakamura\}@is. naist.jp

## 概要

自由発話はフィラーや言い淀みなどの非流暢性を含むことがあるため，発話を目的言語のテキストや音声に翻訳する音声翻訳でもそれらの現象への対応が重要である．特に，非流暢性を含む音声から流暢なテキストへの翻訳は，翻訳時に非流暢性を除去する必要があり，非流暢性を含むテキストへの翻訳よりも難しい. 本研究では，非流暢性タグを含む目的言語テキストで学習したモデルを用い，流暢なテキストへの翻訳を学習する手法を提案する. 本研究で用いるタグは，多様な非流暢性を一つのタグで表し，非流暢性事象の位置情報を含む。実験から，提案手法による非流暢性を含む音声から流暢なテキストへの翻訳性能向上の効果が示された.

## 1 はじめに

人間の自然発話においてはフィラーや言い淀みといった非流暢性がしばしば含まれ，それらの現象を取り扱うことのできる音声認識 (ASR), 音声翻訳 (ST) が実用上求められている. 通常，発話に非流暢性が含まれていると，ASR の出力テキストも非流暢性を含み，機械翻訳 (MT) での翻訳が難しい．その結果，ASR とMTを繋ぎ合わせたパイプライン型音声翻訳での最終的な性能低下につながる. それを防ぐため, 非流暢性検出器により ASR の出力から検出された非流暢性を取り除いてから MT に入力する手法が主流である [1]. 近年の音声翻訳では，非流暢性を含む音声と非流暢性を含む目的言語テキスト [2]，もしくは流暢な目的言語テキスト [3] により構成される音声翻訳データにより, 明示的な非流暢性検出器を用いずに End-to-End 音声翻訳モデルを学習する手法が主流になりつつある [3].

本研究では，可読性が高い出力をより低遅延で得られる音声翻訳を想定し，非流暢性を含む音声から流暢なテキストへの翻訳の性能向上を目指す。非流暢性を含む音声翻訳での課題として，データが少量である上，特に非流暢な音声から流暢なテキストへの翻訳では，翻訳時に非流暢性を除去し，可読性が高く要約された出力を得る必要があるため，非流暢性を含むテキストへの翻訳と比較して難易度が高い.このような限られたデータを最大限に利用し，非流暢性を含むテキストへの翻訳モデルを作成し， そのモデルを用いて流暢なテキストへの翻訳を学習することで，流暢なテキストへの翻訳性能の向上が期待できる。しかし，非流暢性を含むテキストで学習したモデルを直接利用して流暢なテキストへの翻訳を学習した場合，非流暢性の表記が複数ある上， どの部分が非流暢性であるかという情報を含まないため，曖昧性が高く性能向上の妨げとなり得る.

Horii らは日本語音声認識において非流暢性をグループに分類し，それぞれの非流暢性を意味する非流暢性タグを用いて該当部分を置き換え学習することにより，音声認識の性能を向上させた [4]. この方法では，多様な非流暢性をタグにまとめることによりタスクを簡略化している．また，出力がタグ付きのテキストになるため非流暢性の位置の特定が可能であり，タグを取り除くことで流暢なテキストに近いテキストを生成することも可能である.

本研究は，非流暢性タグを音声翻訳データの目的言語テキストで取り入れ，タグを含む学習データを用いてモデルを学習する。その後，このデータで学習したモデルを用いて流暢なテキストへの翻訳を学習する. Horii らの研究では, 音声認識の性能向上を目的とし，原言語テキストに含まれる，あらかじめ人手で非流暢性とアノテーションされた部分を夕グで置き換えている. 本研究では，音声翻訳の性能向上を目的とし，目的言語テキストに含まれる非流暢性をタグで置き換えて学習し，その際に，目的言語テキストがアノテーションされた非流暢性の情報

を持たないことを想定し，非流暢性検出器で非流暢性と検出された部分をタグで置き換える手法を取り入れる. 実験により, 非流暢性タグを用いたデータを用いて学習したモデルにより, 非流暢性を含む音声から流暢なテキストへの翻訳での性能向上が期待できることが示された.

## 2 音声翻訳

$\mathbf{X}=\left(x_{1}, \ldots, x_{T}\right)$ を原言語の入力音声に対する音響特徴量の系列, $\mathbf{S}=\left(s_{1}, \ldots, s_{M}\right)$ を原言語テキストのトークン系列, $\mathbf{T}=\left(t_{1}, \ldots, t_{N}\right)$ を目的言語テキストのトークン系列とする. $v$ を語彙集合 $V$ の元とすると, $t_{i}$ の事後確率は以下の式で表される.

$
P_{\mathrm{ST}}\left(t_{i}=v\right)=p\left(v \mid \mathbf{X}, t_{<i}\right) .
$

ST の学習時の損失関数 $\mathscr{L}_{\mathrm{ST}}$ は, Cross-entropy loss を用いて以下の式で表される

$
\mathscr{L}_{\mathrm{ST}}=-\sum_{i=1}^{N} \sum_{v \in V}^{V} \delta\left(v, t_{i}\right) \log P_{\mathrm{ST}}\left(t_{i}=v\right)
$

$\delta\left(v, t_{i}\right)$ は， $v=t_{i}$ のとき 1 , そうでなければ 0 となる関数である.

## 3 非流暢性タグを用いたデータの生成と学習

提案手法で用いる非流暢性タグを用いたデータの生成過程を図 1 に示す. 提案手法では, 目的言語テキストのどの単語が非流暢性かという情報が明示的に付与されていない音声翻訳データを用いることを前提とし, Lou らによる, BERTを用いて事前学習された非流暢性検出器 $[5,6]$ を用いて非流暢性夕グを付与する. この非流暢性検出器は, 構文解析と非流暢性検出のタスクをマルチタスク学習により同時に学習することで得られたモデルであり, 本研究では, 本検出器により得られたタグ付きの音声翻訳データを学習データとして用いる. モデルの学習で利用するデータは，非流暢性検出器から得られた非流暢性の情報をもとに，以下二種類のものを作成する。

・D2D $D_{T a g}$ : 目的言語テキストの非流暢性をタグで置き換えたデータ

り除いたデータ

また，学習済みモデルに対して Fine-tuningをするためのデータとして，非流暢性が検出された文のみで構成されたデータ $\Delta D 2 D_{T a g}, \Delta D 2 D_{\text {NoTag }}$ も作成する。

図 1 非流暢性検出器を用いた非流暢性タグが付与された，もしくは除かれたデータ作成の概略図.

## 4 実験

非流暢性を含む音声から流暢なテキストへの翻訳で，提案手法である非流暢性タグを用いたデータで学習したモデルによる性能向上がみられるかを検証するため，以下の実験を行った。

## 4.1 データセット

本研究では音声翻訳データとして, Fisher Spanish Corpus (Spanish-English)を用いた $[2,3]$. 本研究における Fisher Spanish Corpus は，以下からなるデータで構成されたものを用いた.
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む目的言語テキスト
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語テキスト

モデルは Fairseq [7]を用いて実装し，Transformer [8] をべースに作成した. 音響特徴量は 80 次元のメルフィルタバンク特徴量を用い, 学習データでは SpecAugument [9]によるデータ拡張手法を用いた. Tokenizer は SentencePiece [10]を用い, 最大語彙数は 8000 とした. 提案手法においては, 非流暢性を扱うために新たに定義したく\# >を非流暢性ラべルとして定義し, それを含めた語彙数 8000 の辞書を作成した. 学習データからは, 文字数が 400 より大きく，フレーム数が 3000 より大きいぺアは取り

図 2 ベースラインと提案手法の学習過程の概略図.

表 1 学習に用いた Fisher Spanish Corpus の内訳. () 内はオリジナルでのデータサイズ.

除いた．学習データの内訳を表 1 に示す.

## 4.2 End-to-End 音声翻訳モデル

本研究では，ベースラインと提案手法として以下のモデルを用いた. ベースラインと提案手法モデルの学習過程を図 2 に示す.

## 4.2.1 ベースラインモデル

本実験では，以下モデルをベースラインとした。
- $D 2 D$ : 非流暢性を含む音声から非流暢性を含む目的言語テキストへの翻訳を学習したモデル
- $D 2 F$ : 非流暢性を含む音声から流暢な目的言語テキストへの翻訳を学習したモデル
- $D 2 D+D 2 F: D 2 D$ をもとに流暢な目的言語テキストへの翻訳を Fine-tuning で学習したモデル

## 4.2.2 提案手法モデル

提案手法では，図 1 で作成したデータを用いてモデルを作成した. 非流暢性を含む目的言語テキストから非流暢性検出器により検出されたタグの内訳を表 2 に示す. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ は，非流暢性を含む目的言語テキストと同じ数のデー タとなっており，学習されたモデルは，夕グ情報を用いていない非流暢性を含むテキストをもとにしたべースラインの $D 2 D$ モデルと比較できる. $D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}$ を用いたモデルとして， $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}, D 2 D_{\text {NoTag }}+D 2 F$表 2 目的言語テキストに含まれる非流暢性タグの割合.

を作成した。

また， $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いて， $D 2 D$ モデルで Fine-tuning したモデルを作成した. $\Delta D 2 D_{\text {Tag }}, \Delta D 2 D_{\text {NoTag }}$ データを用いたモデルとし $\tau, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{T a g}+D 2 F, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}, D 2 D+\Delta D 2 D_{\text {NoTag }}+D 2 F$ を作成した.

## 4.3 評価

本研究では，以下の評価データを用いて SacreBLEU [11] により評価した.

-D2F test : 非流暢性を含む音声から流暢な目的言語テキスト

暢性タグを除いた目的言語テキスト

-D2D Tag test : 非流暢性を含む音声から非流暢性タグを含む目的言語テキスト

の非流暢性タグは除去した。

## 5 実験結果と議論

ベースラインと提案手法の BLEU の結果を表 4 に示す. 実験結果から，提案手法による非流暢性タグの情報を用いたモデルを流暢なテキストで学習したモデルで， $D 2 D_{\text {Tag }}+D 2 F, D 2 D_{\text {NoTag }}+D 2 F, D 2 D+$ $\Delta D 2 F_{\text {NoTag }}+D 2 F$ が，いずれもベースラインと比較してD2F test での BLEU の向上が見られることがわかった。この結果から，非流暢性タグの情報を取り入れた非流暢性を含むテキストへの翻訳を学習した場合の方が，流暢な目的言語テキストへの翻訳において有効だと分かった。

一方で，流暢なテキストで Fine-tuningをしない場合の，非流暢性タグの情報を用いたモデル $D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}, D 2 D_{\text {NoTag }}, D 2 D+$ $\Delta D 2 D_{\text {NoTag }}$ では，D2F test での評価値がベースラインである $D 2 D+D 2 F$ の評価値を上回らなかった. このことから，非流暢性タグを付与した，もしくは除いて学習したモデルは，非流暢性部分が予測されるよう，もしくは除かれるよう学習されるものの，
表 3 D2F test で評価した際のベースラインと提案手法の例文.

表 4 ベースラインと提案手法の BLEU の結果 (下線はベースラインより評価値が向上したもの).

流暢な翻訳に最適化されていないことが分かった. D2D NoTag test での評価では，提案手法である $D 2 D_{\text {NoTag }}$ と $D 2 D+\Delta D 2 D_{\text {NoTag }}$ で，ベースラインである $D 2 D$ と比較して性能向上が見られており，非流暢性を除去したテキストへの翻訳をする上では，非流暢性を除去してから学習したモデルが最も最適化されていることが分かった. その一方で, $D 2 D_{T a g}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ のようなタグを含むテキストで学習したモデルで出力に含まれるタグを除

ンと比べて性能向上は見られなかった.

タグを含むデータで学習したモデルである $D 2 D_{\text {Tag }}$ と $D 2 D+\Delta D 2 D_{\text {Tag }}$ を $D 2 D_{\text {Tag }}$ test で評価した結果と，出力に含まれる非流暢性タグの割合

スラインの $D 2 D$ を含めほとんどのモデルでの

表 $5 \quad D 2 D_{\text {Tag }}, D 2 D+\Delta D 2 D_{\text {Tag }}$ モデルを $D 2 D_{\text {Tag }}$ test で評価した際の BLEU と出力に含まれる非流暢性タグの割合.

D2 $D_{\text {NoTag }}$ test での評価値と比較し低い值となっている. 出力に含まれる非流暢性タグの割合をみると，参照文である D2D Tag test では $4.5 \%$ のみタグが含まれているのに対し， $D 2 D+\Delta D 2 D_{T a g}$ では $38.0 \% ， D 2 D_{\text {Tag }}$ では $21.5 \%$ とより多くの非流暢性タグが含まれており，参照文中に含まれるタグと出力文に含まれるタグの数の差が大きいことが，評価値の低下の要因だと考えられる。

タグを付与したデータで学習したモデルは，このようなタグの過剩生成の傾向があるものの, $D 2 D_{T a g}+D 2 F$ では性能の向上が見られた. ベースラインと提案手法の一つである $D 2 D_{\text {Tag }}, D 2 D_{\text {Tag }}+D 2 F$ での出力文の例を表 3 に示す. $D 2 D_{\text {Tag }}$ の出力例では，非流暢性である連続した “that’s”の部分に，適切に非流暢性タグが付与されていることが分かる。また，その後流暢なテキストで Fine-tuning した $D 2 D_{T a g}+D 2 F$ では, ベースラインである $D 2 D+D 2 F$ で見られた “that's”の繰り返しを防げており, 提案手法の有効性が確認できた。

## 6 まとめと今後の課題

本研究では，目的言語テキストに対して非流暢性タグを付与したデータを用い，非流暢性を含む音声から流暢な目的言語テキストの翻訳を学習した. 実験により，流暢な目的言語テキストへの翻訳での性能向上が期待できることが分かった. 今後の課題として，出力文に含まれる非流暢性タグの数をコントロールできるような学習と, 出力位置の予測精度の向上を考えている.

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JST

SPRING プログラム JPMJSP2140 の助成を受けたも

のである.

## 参考文献

[1] Eunah Cho, Thanh-Le Ha, and Alex Waibel. Crf-based disfluency detection using semantic features for german to english spoken language translation. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6, 2013, 2013.

[2] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome Spanish-English speech translation corpus. In Proceedings of the 10th International Workshop on Spoken Language Translation: Papers, Heidelberg, Germany, December 5-6 2013.

[3] Elizabeth Salesky, Matthias Sperber, and Alexander Waibel. Fluent translations from disfluent speech in endto-end speech translation. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2786-2792, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, and Norihide Kitaoka. Endto-end spontaneous speech recognition using disfluency labeling. In Hanseok Ko and John H. L. Hansen, editors, Interspeech 2022, 23rd Annual Conference of the International Speech Communication Association, Incheon, Korea, 18-22 September 2022, pp. 4108-4112. ISCA, 2022.

[5] Paria Jamshid Lou, Yufei Wang, and Mark Johnson. Neural constituency parsing of speech transcripts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2756-2765, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Paria Jamshid Lou and Mark Johnson. Improving disfluency detection by self-training a self-attentive model. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3754-3763, Online, July 2020. Association for Computational Linguistics.

[7] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo- gies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Demonstrations, pp. 48-53. Association for Computational Linguistics, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp. 2613-2617. ISCA, 2019.

[10] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[11] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.


# 音声機械翻訳の時間効率と精度を改善するための連続音声分割

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 概要

連続発話音声の機械翻訳には、翻訳処理単位（セグメント）への音声の事前分割が必要である。既存の音声分割手法は、文より多くの情報を持つような長いセグメントを生成する傾向があり、音声機械翻訳（Speech Translation; ST）の時間効率や精度を低下させていた。本研究では、(1) 長さに関するヒュー リスティクスに頼らない分割アルゴリズムの提案、及び（2）転移学習による音声フレーム分類器の精度改善により上記の問題に取り組んだ。TED talks の音声翻訳コーパスを用いた実験により、提案手法が生成する平均長が短いセグメントは、音声機械翻訳の時間効率と精度を改善することを示した。

## 1 はじめに

ST は機械翻訳（Machine Translation; MT）の一種であり、その実用化には連続音声の自動分割が欠かせない。現在の MT は適切に翻訳できる入力長に上限があるため、長い入力は事前に分割する必要がある。テキストを入力とする通常の MT では、句点や終止符を境界とした文単位への分割が一般的である。一方で、ST の入力である連続発話音声には明示的な境界記号が存在せず、セグメントの境界は自明ではない。ST モデルの学習及び評価時には、音声翻訳コーパスが含むセグメント境界を利用できるが、実用の場面では自動的な音声分割処理が必要になる。

音声区間検出（Voice Activity Detection; VAD）を用いた無音区間に基づく分割 [1] は、一般的な音声分割手法として音声認識やST に広く用いられてきた。しかし、発話に含まれる無音は必ずしも意味的なまとまりの境界とは一致しないため、VAD はしばしば翻訳に適さないセグメントを生じさせる。近年の研究では、VADによる音声の過剰分割がST の精度を著しく低下させることが指摘されている [2]。 この問題を緩和するために、Gaido ら [3] と Inaguma
ら [4] は、ST モデルが処理しやすい長さまで VAD によるセグメントを連結して翻訳するヒューリスティクスを用いた。しかし、無音に基づく不適切な分割は依然として存在した。

近年では、音声翻訳コーパスのセグメント境界を予測する、コーパスに基づく音声分割手法 $[5,6,7,8]$ が提案されている。これらの手法は無音に基づく従来手法を大幅に上回り、中でも事前学習済みの自己教師あり音声モデル wav2vec 2.0 を用いた SHAS [7] は、人手で分割されたセグメントの翻訳精度を $95 \%$以上維持することが報告されている。

しかし、SHAS は 2、3文繋がったような長いセグメントを生成する傾向があり、より文に近い短いセグメントまで分割することで精度を改善できる可能性がある。また平均セグメント長が長いほど、並列処理できるサンプル数が減少し、かつトークンあたりの時間計算量が増加するため ST の時間効率が低下する。

そこで本研究では、翻訳に必要な情報を過不足なく持つセグメントを生成する音声分割を実現するために、SHAS に対して以下の工夫を取り入れた。

1. 長さに関するヒューリスティクスに頼らない分割アルゴリズムの提案

2. 転移学習による音声フレーム分類器の精度改善 TED talks の音声翻訳コーパス MuST-C を用いた実験により、提案手法が人手分割の約 $97 \%$ の翻訳精度を維持しつつ、ST の推論速度を約 $25 \%$ 高速化できることを示した。

## 2 従来手法 SHAS

SHAS（Supervised Hybrid Audio Segmentation） [7] は音声翻訳コーパスで学習された音声フレー 么分類器 (2.1 節) と確率的分割統治（probabilistic Divide-and-Conquer; pDAC）アルゴリズム（2.2節）を用いた最新の音声分割手法である。本節では SHAS の概要と課題について説明する。

図 1 SHAS の音声フレーム分類器。 $y=1$ は対応するフレームが音声翻訳コーパスのセグメントに含まれることを、 $y=0$ はセグメント境界の一部であることを示す。

## 2.1 音声フレーム分類器

SHAS では、入力音声の各フレームがセグメントに含まれるか、あるいはセグメント境界の一部であるかを予測する音声フレーム分類器を用いる。 その構造は図 1 のような、事前学習済みの自己教師あり音声モデル wav2vec 2.0 のエンコーダに 1 層の Transformer Encoder 層を繋げたニューラルネットワークモデルである。モデルは、音声翻訳コーパスが含む高品質な分割（Gold segmentation）を予測する、フレーム単位の系列ラベリング問題としてセグメント境界の予測を学習する。学習サンプルとして、ランダムな位置で抽出した 20 秒の音声と、それに対応づく $20 \mathrm{~ms}$ フレーム毎のラベル $y \in\{0,1\}$ の系列が用いられる。この時、 $y=1$ は対応するフレー ムが音声翻訳コーパスのセグメントに含まれることを、 $y=0$ はセグメント境界の一部であることを示す。学習時に wav2vec 2.0 のパラメータは固定とし、最終層の Transformer Encoder 層と出力層のパラメー タのみを更新する。

## 2.2 pDAC アルゴリズム

音声フレーム分類器が予測した、各フレームがセグメントに含まれる確率 $p \in[0,1]$ に基づき音声分割が行われる。pDAC は、音声を最も確率が低いフレームの位置で分割し、生成されたセグメントに対しても同様の分割を適用する再帰的なアルゴリズムである。セグメントの分割は、長さが事前に設定した値を下回るか、分割の確率が間値を上回るまで行われる。pDAC の利点は、事前に設定した値を下回るとただちに分割を終了することで、ST モデルが扱いやすい長さのセグメントへ音声を分割できることである。

## 3 提案手法

SHAS は、pDAC アルゴリズムで長さに関するヒューリスティクスを用いることで、安定して高い翻訳精度を達成した。一方で、SHAS が生成するセグメントは音声翻訳コーパスのセグメントと比べて長くなりやすい。音声翻訳コーパスのセグメント（Gold）の平均長が 5.79 秒であるのに対し、実験で pDAC は平均長 9.17 秒のセグメントを生成した (5 節)。付録 A. 4 にはセグメント長の分布を示す。以上から SHAS のセグメントは、精度を低下させずに更に細かく分割できる余地があると考えられる。過分な情報は翻訳結果に悪影響を及ぼす可能性があり、更にセグメント長が長いほど ST の時間効率が低下する。本研究では、上記の問題を改善するため、長さに関するヒューリスティクスに頼らない分割アルゴリズム pTHR (3.1 節)を提案する。 また音声フレーム分類器の精度を向上するために wav2vec 2.0 のパラメータを一部更新する転移学習を行う (3.2 節)。

## 3.1 pTHR アルゴリズム

pTHR は、事前に設定した確率の閾値 $t h r$ を下回る地点で分割する単純なアルゴリズムである。ただしセグメントが事前に設定した最小長 $\min$ より大きく、最大長 max 以下になることを保証する。また、隣り合う $n_{m a}$ フレームの確率の移動平均を取ることで予測の安定化を図っている。アルゴリズムの疑似コードを付録 A. 1 に示す。分割時にセグメントの長さを重視していた pDAC に比べ、pTHR は音声フレーム分類器の予測が結果に強く反映される。そのため過分な情報を持つセグメントが生成されにくい利点がある。また分割前に音声全体を読み込む必要がある pDAC に対し、pTHR は予測に音声全体を必要としない前向きアルゴリズムであるためオンライン STへも適用できる。

## 3.2 wav2vec 2.0 の転移学習

pTHR は結果が音声フレーム分類器の精度に左右されやすく、モデルの精度の改善による ST の向上が期待できる。SHAS では、wav2vec 2.0 のパラメータを固定して音声フレーム分類器を学習した。本研究では、wav2vec 2.0 の高い表現力を更に活用するために、一部パラメータの更新を行なう SHAS+FTPT を提案する（図 2)。具体的には、

図 2 wav2 $2 \mathrm{vec} 2.0$ の部分的な転移学習を行う SHAS+FTPT

wav2vec 2.0 から引き継いだエンコーダ $N_{\text {AllLayers }}$ 層の中で上 $N_{\text {FTLayers }}$ 層のパラメータを学習する。またメモリ効率を高めるため、Feed Forward 層のパラメータは常に固定として Parallel Adapter [9]を追加・学習した [10]。

## 4 実験設定

提案手法の有効性を検証するために音声翻訳の実験を行い、複数の音声分割手法を比較した。

## 4.1 データ

音声翻訳コーパス MuST-C に含まれる、約 408 時間の英語の講演音声と、それに対応付いた書き起こしテキスト、及びドイツ語の翻訳テキストを用いて英独音声翻訳の実験を行った。評価のために、学習データを用いて作成した音声フレーム分類器 (4.3.1 節) と分割アルゴリズム（4.3.2 節）で評価データの音声をセグメント化した。セグメント化された音声をST モデルで翻訳した後、編集距離に基づくテキスト整列アルゴリズムで評価データの参照訳と対応付けを行った後、BLEUを測定した [11]。

## 4.2 ST モデル

ST モデルとして、Fairseq で公開されているJoint Speech-to-Text [12] モデルを用いた1)。このモデルは MuST-C で学習された Transformer に基づく EncoderDecoder 型のニューラルネットワークであり、音声とテキストの両方を大力として受け取ることができる。翻訳時、Decoder はビーム幅 5 でビーム探索を行った。

1) https://github.com/pytorch/fairseq/blob/main/ examples/speech_text_joint_to_text/docs/ende-mustc.md表 1 BLEUによる分割手法の比較。括弧内の数字は Gold segmentationとの比率を示す。

## 4.3 音声分割手法

## 4.3.1 音声フレーム分類器

音声フレーム分類器の学習には、学習データからランダムな位置で抽出した 20 秒の音声とそれに対応づくラベル列を用いた。従来手法 SHAS の分類器として、wav2vec 2.0 XLS-R ${ }^{2}$ のエンコーダを下 16 層のみ用いる middle モデルと、 24 層全て用いる large モデルを作成した。また提案手法の分類器として以下に列挙する 6 つの SHAS+FTPT（3.2 節）を作成した。括弧の中に $N_{\text {FTLayers }} / N_{\text {AllLayers }}$ の形式でモデルの設定を示している。
- middle+quarter (4/16)
- middle+half (8/16)
- middle+all (16/16)
- large+quarter (6/24)
- large+half (12/24)
- large+all (24/24)

## 4.3.2 分割アルゴリズム

ベースラインアルゴリズムとして、pDAC (2.2 節) に加え、前向きアルゴリズム pSTRM [13] を用いた。ハイパラーパラメータは $t h r=0.5 、 \min =0.2$ とし、 $\max =[10,28]$ の範囲を開発データを用いて探索した中で、最良の設定で評価を行なった。提案手法である pTHR (3.1 節) のハイパーパラメー 夕は $\max =28 、 \min =0.2$ とし、 $t h r=[0.1,0.9]$ と $n \_m a=[0,1]$ の範囲を開発データを用いて探索した。このうち、移動平均を用いない $n \_m a=0$ の中で最良の設定で評価した結果を pTHR、移動平均を用いる $n \_m a>0$ の中で最良の設定で評価した結果を pTHR+MA として報告する。

## 5 実験結果

表 1 にSHAS と提案手法で生成したセグメントの翻訳精度を示す。ここでは SHAS は Tsiamas ら [7]

2) https://huggingface.co/facebook/wav2vec2-xls-r-300m

図 34 つの middle サイズモデルにおける分割アルゴリズムの比較。横軸はモデルの学習可能なパラメータの割合を、縦軸は翻訳精度を示す。

から引用した値を、提案手法は複数の音声フレーム分割器、分割アルゴリズム、及びハイパーパラメー タで実施した中で最も高い翻訳精度を得た条件による結果を示している。より詳細な結果を付録 A. 2 に示す。表 1 において、提案手法はSHAS の BLEU スコアを $0.63 \mathrm{pt}$ 上回り、また音声翻訳コーパスの高品質なセグメント（Gold）の翻訳精度を $97.4 \%$ 維持した。

## 5.1 分類器とアルゴリズムの組み合わせ

図 3 は 4 つの middle サイズモデル (middle、 +quarter、thalf、+all）における各分割アルゴリズムの比較である（large モデルの結果は付録 A. 3 に示す)。図の横軸はモデルのパラメータの中で学習可能なものの割合を、縦軸は翻訳精度を示している。 wav2vec 2.0 のパラメータを固定して学習した middle では、pTHR の結果が他の分割アルゴリズムと比べて大幅に低い。この結果は分類器の予測精度が不十分であることを示唆しており、そのような場合では、長さに関するヒューリスティクスを重視した従来の分割アルゴリズムが優位性を持っていた。一方で、モデルの学習パラメータ数の増加につれ、 pTHR の結果は従来の分割アルゴリズム pDAC 及び pSTRM より大きく向上した。分類器の性能が高いほど、セグメントの長さを重視する必要性が低下することが分かる。

また移動平均を用いた pTHR+MA が一貫して最も良い翻訳精度を得た。特に、middleでは pTHR を $2 \mathrm{pt}$ 以上上回っており、移動平均による安定化がモデルの予測精度の低さを補う効果を示した。

図 4 分割アルゴリズムによる ST の時間効率と翻訳精度のトレードオフ。横軸は 5 回行った ST の推論の平均害行時間を、縦軸は翻訳精度を示す。

## 5.2 ST の時間効率

図 4 は各分割アルゴリズムの時間効率と翻訳精度のトレードオフの比較である。ミニバッチあたりのトークン数を 100,000 に設定し、同一のマシンでRTX 3090 を用いて ST の推論を行なった。 また複数の点を打つために、各アルゴリズムを異なる条件で複数回実行した。pDAC とpSTRM では $\max =[2,28]$ の範囲で、pTHR と pTHR+MA では threshold $=[0.1,0.9]$ の範囲で条件を設定した。

提案アルゴリズム（pTHR、pTHR+MA）はベースラインアルゴリズム (pDAC、pSTRM) より優れた時間効率で、高い翻訳精度を達成した。特に pTHR が生成するセグメントは、人手分割の約 $97 \%$ の翻訳精度を維持しつつ、pDAC のセグメントと比べて約 $25 \%$ 高速に処理された。平均セグメント長が pDAC は9.17秒であるのに対して pTHR は5.67秒と短いことが高速化に繋がったと考えられる。付録 A. 4 に、 セグメント手法毎のセグメント長の分布を示す。

## 6 おわりに

本研究では、最新の連続音声分割手法 SHAS の問題点を示した上で、（1）長さに関するヒューリスティクスに頼らない分割アルゴリズムの提案、及び （2）既存手法で用いられた音声フレーム分類器の精度改善によりこの問題に取り組んだ。TED talks の音声翻訳コーパスを用いた実験により、提案手法が生成する平均長が短いセグメントは、音声機械翻訳の時間効率と精度を改善することを示した。

今後は提案手法を即時性の要求が高い同時音声機械翻訳に適用し、有効性の検証を行う。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JP21H03500、及び JST SPRING JPMJSP2140 の助成を受けたものである。

## 参考文献

[1] Jongseo Sohn, Nam Soo Kim, and Wonyong Sung. A statistical model-based voice activity detection. IEEE signal processing letters, Vol. 6, No. 1, pp. 1-3, 1999.

[2] David Wan, Chris Kedzie, Faisal Ladhak, Elsbeth Turcan, Petra Galuščáková, Elena Zotkina, Zheng Ping Jiang, Peter Bell, and Kathleen McKeown. Segmenting subtitles for correcting asr segmentation errors. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2842-2854, 2021.

[3] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. CoRR, Vol. abs/2104.11710, , 2021.

[4] Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo, Jiatong Shi, Kevin Duh, and Shinji Watanabe. ESPnet-ST IWSLT 2021 offline speech translation system. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021), pp. 100-109, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.

[5] Xiaolin Wang, Masao Utiyama, and Eiichiro Sumita. Online sentence segmentation for simultaneous interpretation using multi-shifted recurrent neural network. In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 1-11, 2019.

[6] Javier Iranzo-Sánchez, Adrià Giménez Pastor, Joan Albert Silvestre-Cerdà, Pau Baquero-Arnal, Jorge Civera Saiz, and Alfons Juan. Direct segmentation models for streaming speech translation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2599-2611, Online, November 2020. Association for Computational Linguistics.

[7] Ioannis Tsiamas, Gerard I. Gállego, José A. R. Fonollosa, and Marta R. Costa-jussà. SHAS: Approaching optimal Segmentation for End-to-End Speech Translation. In Proc. Interspeech 2022, pp. 106-110, 2022.

[8] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation. In Proc. Interspeech 2022, pp. 121-125, 2022.

[9] Junxian He, Chunting Zhou, Xuezhe Ma, Taylor BergKirkpatrick, and Graham Neubig. Towards a unified view of parameter-efficient transfer learning. In International Conference on Learning Representations, 2021.

[10] Ioannis Tsiamas, Gerard I. Gállego, Carlos Escolano, José Fonollosa, and Marta R. Costa-jussà. Pretrained speech encoders and efficient fine-tuning methods for speech translation: UPC at IWSLT 2022. In Proceedings of the 19th International Conference on Spoken Language
Translation (IWSLT 2022), pp. 265-276, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[11] Evgeny Matusov, Gregor Leusch, Oliver Bender, and Hermann Ney. Evaluating machine translation output with automatic sentence segmentation. In Proceedings of the Second International Workshop on Spoken Language Translation, 2005.

[12] Yun Tang, Juan Pino, Xian Li, Changhan Wang, and Dmitriy Genzel. Improving speech translation by understanding and learning from the auxiliary text translation task. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 4252-4261, Online, August 2021. Association for Computational Linguistics.

[13] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. In Proceedings of the Fourth International Conference on Natural Language and Speech Processing (ICNLSP 2021), pp. 55-62, Trento, Italy, 12-13 November 2021. Association for Computational Linguistics.

## A 付録

## A. 1 pTHR アルゴリズムの疑似コード

## A. 2 全ての音声フレーム分類器の結果

表 2 音声フレーム分類器 SHAS、SHAS+FTPT と、分割アルゴリズム pDAC、pSTRM、及び pTHR+MA を用いて生成したセグメントの翻訳精度。

## A. 3 large サイズモデルのパラメータBLEU 曲線

図 54 つの large サイズモデルにおける分割アルゴリズムの比較。横軸はモデルの学習可能なパラメータの割合を、縦軸は翻訳精度を示す。

## A. 4 セグメント長の分布

(a) Gold セグメント

(b) pDAC セグメント

(c) pTHR セグメント

図 6 セグメント手法毎のセグメント長の分布。(b)(c)では音声フレーム分類器として large+allを用いた。


# 文脈情報を考慮した高速な英日文アラインメント

福田りょう・, 帖佐 克己
- 奈良先端科学技術大学院大学 $`$ NTTコミュニケーション科学基礎研究所
fukuda.ryo.fo3@is.naist.jp katsuki.chousa.bg@hco.ntt.co.jp

## 概要

本論文では大規模対訳コーパスの作成に向けた高精度かつ高速な文アラインメント手法を提案する。従来手法では文外文脈およびトークン単位の情報を予測時に考慮することで高精度な文アラインメントを実現していたが，予測時の計算量が大きいことから大規模なデータへの適用が難しかった. 本論文では，両方の言語の文脈情報を考慮した文ベクトルを用いて対訳文書間の全てのアラインメントを同時に予測することで，小さい計算量で高精度な文アラインメントを獲得する手法を提案する。日英での新聞記事を用いた実験により，提案手法が予測速度を維持しながら高い精度でアラインメントを行えることを示した。

## 1 はじめに

文アラインメントは対訳となっている文書対から対訳文対を自動で抽出するタスクである。抽出された大量の対訳文対からなるデータセットは対訳コー パスといい，機械翻訳モデルを始めとした言語横断モデルの学習に用いられる. 特に, 高精度なニュー ラル機械翻訳（Neural Machine Translation; NMT）モデルの学習には高品質かつ大量の対訳文が不可欠であることが知られている [1]. そのため，Webからクロールするなどして得られる大量の対訳文書対から高精度な対訳文アラインメントを高速に抽出できる手法が必要とされている.

近年ではニューラルネットワークを用いたスコアリングに基づく文アラインメント手法が多数提案されている. Vecalign [2] は文ベクトルの類似度に基づくスコアを用いてアラインメントを行う手法である. この手法は比較的高速に文対応付けを計算できる一方で，精度が文べクトルに用いる多言語文埋め込み表現の精度に大きく影響されるため，英語やドイツ語に比べて低資源な日本語を含む言語対では精度が大きく減少してしまう. SpanAlign [3] は言語横断スパン予測モデルとその予測時に得られるスコアを基にアラインメントを行う手法である。このスパン予測モデルは文脈情報および言語横断でのアテンションを行うことが可能で，高精度な文アラインメントを抽出することができる。一方で，モデルに入力するトークン数が増えるに従って予測にかかる計算量が非常に大きくなってしまうため，大規模デー タに対して適用することが難しい。

本論文では, 先行研究の高速な予測速度を維持しながら高精度な文アラインメントの予測を行う手法を提案する。提案手法では，対訳文書の各文を事前学習済みの多言語モデルで文ベクトルにエンコードし，両方の言語の文脈情報を考慮した文ベクトルを求め，その文べクトルに基づいて対訳文書間の任意のアラインメント候補に対するスコアを一度に計算する。これにより，高精度な文アラインメントが高速に自動抽出できることが期待される．日英新聞記事を用いた実験で，高速な既存手法と比べて提案手法が予測速度を維持しながら精度を $\mathrm{F}$ 値で $0.032 \mathrm{pts}$向上することを確認した.

## 2 先行研究

文アラインメント手法は文同士の類似度を計算するスコア関数とその類似度に基づいてアラインメン卜を求めるアルゴリズムの 2 つのステップに大きく分解することができる. その内，スコア関数としては文脈情報を考慮しない手法 $[2,4,5,6,7]$ および文脈情報を考慮する手法 [3] が提案されている.

近年のスコア関数はニューラルネットワークに基づく手法が主流となっている. Vecalign [2] と呼ばれる手法は多言語文埋め込み表現の LASER [8] による文ベクトルの類似度に基づいて再帰的な DP マッチングを行うことで，独仏間の文アラインメントで最高精度を達成している. また，計算量も小さいことから世界で最も大きい対訳コーパスの 1 つである ParaCrawl コーパス [9] の作成にも利用されている.一方で，文埋め込みの精度に文アラインメントの精
度が大きく影響されてしまうため, 日英間では独仏間のような言語対と比べて精度が大幅に減少してしまうことが確認されている. SpanAlign [3] はある言語の文書中からもう一方の言語の文に対応する文のスパンの開始/終了位置を予測し, その予測から得られるスコアに基づいて ILPを行うことで文アラインメントを実現する.この言語横断スパン予測モデルは, 先行研究によって予測された文アラインメントの結果を学習データとして事前学習済み多言語言語モデルから作成することができ，文脈情報の利用および言語横断でのアテンションを行うことで，日英間の文アラインメントにおいて最高精度を達成している。一方で，モデルに同時に入力することができるトークン数の上限から，文書に含まれる文数が多くなると sliding window という方法で文書の一部に対する予測を組み合わせて文書全体に対する予測を行う必要があるため, 予測の際の計算量が非常に大きくなってしまう.

また，文アラインメントと似たタスクとして単語アラインメントタスクがある.このタスクでは対訳文間の単語の対応関係を抽出する。このタスクでも言語横断スパン予測モデルに基づく手法 [10] が複数の言語対で最高精度を達成している. さらに, Procopio ら [11] は，対訳文間のすべての単語べクト几同士の直積から得られる類似度行列を用いてアラインメントを抽出する手法を提案している。ここで用いられる単語ベクトルはスパン予測モデルと同様の方法で文脈情報および言語横断のアテンションに基づいて計算される. これにより，スパン予測に基づく手法と同等の精度をより高速に実現している.

## 3 提案手法

本論文では，先行研究の高速な予測速度を維持しながら高精度な文アラインメントの予測を行うために，高速かつ高精度にスコア関数を計算する手法を提案する. 図 1 に示す提案手法は，まず対訳文書の各文を事前学習済みの多言語モデルで同じ空間のべクトル表現へと変換し（3.1.1 節），次に言語内および他言語の文脈情報を考慮した文 n-gram ベクトルを計算し（3.1.2 節），最後に対訳文書間の任意の文アラインメントの候補に対するスコアを同時に計算する (3.1.3 節). 提案手法は, 文べクトルへダウンサンプリング，およびスコアの同時計算により高速な予測が可能である. 更に文脈情報を考慮したべクトルによる高精度な文アライメントが期待できる。

## 3.1 モデル

## 3.1.1 多言語モデルによる文ベクトル

異なる言語の文を同じ空間の埋め込み表現へと変換するために，本手法では LaBSE [12]を使用する. LaBSE は 109 言語以上に対応している多言語文埋め込みモデルで，対訳文検索（bitext retrieval）では非常に高い精度を実現することが報告されている。

LaBSE を用いて文書 $E$ の文べクトル行列 $H^{e} \in$ $\mathbb{R}^{|E| \times d}$ を以下のように求める.

$
\begin{aligned}
H^{e} & =\left[\mathbf{h}_{1}^{e}, \mathbf{h}_{2}^{e}, \ldots, \mathbf{h}_{|E|}^{e}\right] \\
\mathbf{h}_{i}^{e} & =\operatorname{LaBSE}\left(e_{i}\right), 1 \leq i \leq|E|
\end{aligned}
$

$\mathbf{h}_{i}^{e}$ は $e_{i}$ に対応する文べクトルであり,$d$ は文べクトルの次元数である. 文書 $F$ の文ベクトル行列 $H^{f} \in \mathbb{R}^{|F| \times d}$ も同様に求める.

## 3.1.2 文脈横断の文 n-gram ベクトル

次に，言語内およびもう一方の言語の文脈情報を考慮した文べクトルを，それぞれの文書の文べクトルを結合して self attention [13] を計算することで求める.

$
C_{1}^{e},{ }_{-}, C_{1}^{f}=\text { self_attn }\left(\left[H^{e} ; \mathbf{s} ; H^{f}\right]\right)
$

ここで，self_attn は $l$ 層の Transformer Encoder， s は2つの文書の区切りを表す学習可能パラメータ， $C_{1}^{e} \in \mathbb{R}^{|E| \times d}, C_{1}^{f} \in \mathbb{R}^{|F| \times d}$ はそれぞれ $H^{e}, H^{f}$ に対応する Transformer Encoder の出力を表す．続いて，多対多の文対応を抽出するために，文べクトルを文 n-gram ゙ククトルに拡張する。

$
\begin{aligned}
C_{1: N}^{e} & =\left[C_{1}^{e} ; \ldots ; C_{N}^{e}\right] \\
C_{n}^{e} & =\text { max_pooling }_{n}\left(C^{e}\right), 1 \leq n \leq N
\end{aligned}
$

ここで， $N$ は文 n-gram の最大文数を表すハイパーパラメータを, max_pooling $_{n}$ はカーネルサイズ $(n, 1)$, ストライド 1 の Max Pooling 層を表す. $C_{1: N}^{e} \in \mathbb{R}^{\left|E_{1: N}\right| \times d}$ は $C^{e}$ の文 n-gram への拡張である (ただし, $\left.\left|E_{1: N}\right|=\frac{N(2|E|-N+1)}{2}\right) . C^{f}$ の拡張 $C_{1: N}^{f}$ も同様に計算する.

## 3.1.3 スコア計算

最後に，対訳文書間の任意のアラインメント候補に対するスコア行列 $\hat{A} \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を，文 n-gram ベクトル同士の直積を MLP 層 mlp に入力すること

図 1 提案手法の概要

で求める.

$
\hat{A}=\operatorname{mlp}\left(C_{1: N}^{e} \otimes C_{1: N}^{f}\right)
$

(6) 式は一度で全てのアライメント候補のスコアを計算できるため，スパン予測モデル [3] のスコア計算と比べて非常に高速である.

## 3.2 損失関数

文アラインメントのためのスコア関数計算を，正解の文 n-gram 対応を表す行列 $A \in \mathbb{R}^{\left|E_{1: N}\right| \times\left|F_{1: N}\right|}$ を予測する問題としてモデルを学習する．ただし $A_{i j} \in\{0,1\}$ であり， $A_{i j}=1$ は $i$ に対応する文書 $E$ の文 n-gram と $j$ に対応する文書 $F$ の文 n-gram が対応関係にあることを示す. モデルの学習時，損失関数として Binary Cross Entropy（3.2.1 節）または Softmax Cross Entropy（3.2.2 節）を用いた.

## 3.2.1 Binary Cross Entropy (BCE) loss

文 n-gram の対応を，二值分類タスクとして学習する. 学習時の損失 $\mathscr{L}_{b c e}$ は予測されたスコア行列 $\hat{A}$ と, 正解の文 n-gram 対応 $A$ 間の交差エントロピー として (7) 式で定義される.

$
\begin{array}{r}
\mathscr{L}_{\text {bce }}=-\frac{1}{\left|E_{1: N}\right|\left|F_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|}\left.\{a_{i j} \log \sigma\left(\hat{a}_{i j}\right)\right. \\
\left.+\left(1-a_{i j}\right) \log \left(1-\sigma\left(\hat{a}_{i j}\right)\right)\right.\}
\end{array}
$

ここで， $\sigma$ はシグモイド関数であり，また $\sigma\left(\hat{a}_{i j}\right)(0 \leq$ $\left.\sigma\left(\hat{a}_{i j}\right) \leq 1\right)$ と $a_{i j} \in\{0,1\}$ はそれぞれ $\hat{A}$ と $A(i, j)$成分に対応する. $\mathscr{L}_{b c e}$ によって，モデルは多対多の対応付けを直接的に学習できる. また $A$ の各行及び各列に，値が 1 の要素は高々 1 つしか含まれないため, DP や ILP といったアライメントアルゴリズムの適用が容易である。一方で， $N$ が大きいほど行列がスパースになり，学習が難しくなる欠点がある.
モデルの予測時，(6) 式のスコアは $\hat{A}$ の各要素をシグモイド関数で正規化する.

## 3.2.2 Softmax Cross Entropy (SCE) loss

文n-gram の対応を, 多クラス分類タスクとして学習する。学習時の損失 $\mathscr{L}_{s c e}$ は [14] に従い, $E \rightarrow F$方向の対応付け損失 $\mathscr{L}_{E \rightarrow F}$ と $F \rightarrow E$ 方向の対応付け損失 $\mathscr{L}_{F \rightarrow E}$ の平均で定義する.

$
\begin{gathered}
\mathscr{L}_{\text {sce }}=\left(\mathscr{L}_{E \rightarrow F}+\mathscr{L}_{F \rightarrow E}\right) / 2 \\
\mathscr{L}_{E \rightarrow F}=-\frac{1}{\left|E_{1: N}\right|} \sum_{i=1}^{\left|E_{1: N}\right|} \sum_{j=1}^{\left|F_{1: N}\right|} \\
\left.\{a_{i, j} \log \frac{e^{\left(\hat{a}_{i, j}-m\right)}}{e^{\left(\hat{a}_{i, j}-m\right)}+\sum_{c=1, c \neq j}^{\left|F_{1: N}\right|} e^{\hat{a}_{i, c}}}\right.\}
\end{gathered}
$

ここで， $m$ は正例と負例のスコアの分離を促進するためのマージンである. $F \rightarrow E$ 方向の対応付け損失 $\mathscr{L}_{F \rightarrow E}$ も (9) 式と同様に計算する.

モデルの予測時，(6) 式のスコアは $\hat{A}$ に対して行方向と列方向にソフトマックス関数をかけて正規化した値の平均を用いる.

絶対的な対応付けスコア予測を学習する $\mathscr{L}_{b c e}$ とは対照的に， $\mathscr{L}_{\text {sce }}$ では相対的な対応付けスコアの予測を学習するため, 学習が容易になることが期待できる。

## 4 実験

提案手法の有効性を確認するため, 日本語と英語の実際の新聞記事の対訳データを用いて文アラインメントの精度と速度の評価を行った.

学習および開発, 評価のデータには読売新聞の記事とその翻訳となっている The Japan News の記事を使用した ${ }^{1)}$. 表 1 に各データの平均文数を示す. 学

1) https://database.yomiuri.co.jp/about/glossary/
表 1 データセットの平均文数

習データには，内山らの手法 [5] を用いて自動抽出した対訳文書 2,989 本とその文書内の文アラインメントを擬似正解データとして用いた。これらのデー タは，2012 年に発行された日本語記事 317,491 本と英語記事 3,878 本から抽出した. 開発および評価データには，2013 年に発行された記事から人手でアラインメントを行ったものをそれぞれ 15 本ずつ用いた。評価には，文アラインメントの評価尺度として一般的に用いられている，文アラインメント単位での $F_{1}$ スコアを用いた2).

ベースラインには, Vecalign [2] と SpanAlign [3] を用いた. Vecalign での文アラインメントには著者実装3)を用いた。アラインメントに含まれる最大文数は 8，文埋め込みべクトルを作成する際に結合する最大文数は 10 とした. また，多言語文埋め込みには LASER [8] を用いた. SpanAlign での文アラインメントについても著者実装4)を用いた。各種設定に関しては論文の設定に準拠した。

提案手法に含まれるLaBSE は，事前学習済みモデル゙)をパラメータを固定して用いた. Transformer Encoderは 1 層の encoder layer で構成し, multihead attention の head 数を 8，隠れ層の次元を 768， Feedforward 層の次元を 2048 とした. 文 n-gram の最大文数 $N=2$ とした. アラインメントアルゴリズムとして整数計画法を適用し，ソルバには IBM ILOG CPLEX 12.8.0.0を用いた.

表 2 に，各手法における英日文アライメントの精度と評価データの推論にかかった実行時間を示す. 提案手法の中で，SCE loss を用いたモデルは BCE loss を用いたモデルより高い F1 スコアを得た. 相対的なスコアの学習により，スパース性による学習の難しさが緩和されたことが示唆される. また Vecalign との比較では，提案手法による $0.32 \mathrm{pt}$ の F1 スコア向上が見られた. 文べクトル計算時の文脈情報の利用や，ILP による非単調な文対応の抽出が精度向上に寄与したと考えられる. 一方で，

2）次のスクリプトの strict スコアを使用した. https: //github.com/thompsonb/vecalign/blob/master/score.py

3) https://github.com/thompsonb/vecalign

4) https://github.com/nttcslab-nlp/spanalign

5) https://huggingface.co/sentence-transformers/LaBSE表 2 英日文アラインメントの精度と評価データの推論にかかった実行時間（秒)，および文べクトルの計算に文脈情報を用いない場合（w/o self_attn）の精度

SpanAlign との比較では, 提案手法が $0.48 \mathrm{pt}$ 下回った. SpanAlign はトークン単位の文脈情報を考慮することに対し，提案手法は文単位に圧縮された文脈情報を利用する。この文脈情報の粒度の違いが精度の差に繋がったと考えられる。評価データの推論にかかる実行時間は，提案手法が SpanAlign の $1 / 4$ 程度であった ${ }^{6)}$ ．以上の比較から，提案手法は実用レベルの精度を維持しつつ, 既存手法と比べて高速にアライメントを行えると結論づける。

文脈情報の有効性を検証するため，提案手法から self_attnを除いたモデル（w/o self_attn）を作成した. アライメントの精度を表 2 の下部に示す. self_attnを除き，文ベクトルの計算に文脈情報を用いないことで，大きく精度が低下した。このことから，両方の言語の文脈情報が精度向上に作用したことが示唆された。

## 5 まとめ

本研究では，大規模対訳コーパスの構築に向けた文対応付けの高速化を検討した. 提案手法は，文単位に圧縮された文脈情報を活用することで，高精度な既存手法である SpanAlign よりも高速な文対応付けが行える。また実験では，提案手法が高速な既存手法である Vecalign と比べて高精度に文アライメントを抽出できることを示した. 今後の課題として， スパース性の問題を解消して対応付け可能な最大文数を増やすことや，非連続な対応関係の抽出を可能にすることなどが挙げられる。

## 参考文献

[1] Huda Khayrallah and Philipp Koehn. On the impact of various types of noise on neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 74-83, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[2] Brian Thompson and Philipp Koehn. Vecalign: Improved sentence alignment in linear time and space. In Proceedings of EMNLP-2019, pp. 1342-1348, 2019.

[3] Katsuki Chousa, Masaaki Nagata, and Masaaki Nishino. SpanAlign: Sentence alignment method based on cross-language span prediction and ILP. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 47504761, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[4] William A. Gale and Kenneth W. Church. A program for aligning sentences in bilingual corpora. Computational Linguistics, Vol. 19, No. 1, pp. 75-102, 1993.

[5] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning japanese-english news articles and sentences. In Proceedings of the ACL-2003, pp. 72-79, 2003.

[6] D. Varga, L. Németh, P. Halácsy, A. Kornai, V. Trón, and V. Nagy. Parallel corpora for medium density languages. In Proceedings of the RANLP-2005, pp. 590-596, 2005.

[7] Rico Sennrich and Martin Volk. Iterative, MT-based sentence alignment of parallel texts. In Proceedings of the 18th Nordic Conference of Computational Linguistics (NODALIDA 2011), pp. 175182, Riga, Latvia, May 2011. Northern European Association for Language Technology (NEALT).

[8] Mikel Artetxe and Holger Schwenk. Margin-based parallel corpus mining with multilingual sentence embeddings. In Proceedings of the ACL-2019, pp. 3197-3203, 2019.

[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu,
Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema Ramírez-Sánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[10] Masaaki Nagata, Katsuki Chousa, and Masaaki Nishino. A supervised word alignment method based on cross-language span prediction using multilingual bert. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), Online, November 2020. Association for Computational Linguistics.

[11] Luigi Procopio, Edoardo Barba, Federico Martelli, and Roberto Navigli. Multimirror: Neural crosslingual word alignment for multilingual word sense disambiguation. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3915-3921. International Joint Conferences on Artificial Intelligence Organization, 8 2021. Main Track.

[12] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 878-891, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the NIPS 2017, pp. 5998-6008, 2017.

[14] Yinfei Yang, Gustavo Hernandez Abrego, Steve Yuan, Mandy Guo, Qinlan Shen, Daniel Cer, YunHsuan Sung, Brian Strope, and Ray Kurzweil. Improving multilingual sentence embedding using bidirectional dual encoder with additive margin softmax. arXiv preprint arXiv:1902.08564, 2019.