# 一人称視点映像を用いた マルチモーダル作業支援システム

梶村恵矢 ${ }^{1}$ 西村太一 ${ }^{2}$ 羽路悠斗 ${ }^{1}$ 山本航輝 ${ }^{1}$ 崔泰毓 ${ }^{1}$
龟甲博貴 ${ }^{3}$ 森信介 ${ }^{3}$
1 京都大学大学院 情報学研究科 ${ }^{2}$ LINE ヤフー株式会社
3 京都大学 学術情報メディアセンター
${ }^{1}\{$ kajimura.keiya.48x, haneji.yuto.58c\}@st.kyoto-u.ac.jp
${ }^{1}$ \{yamamoto.koki.76n, cui.taiyu.33c\}@st.kyoto-u.ac.jp ${ }^{2}$ tainishi@lycorp.co.jp
${ }^{3}\{$ kameko, forest $\} @ i . k y o t o-u . a c . j p$

## 概要

実験や料理など，作業者が手順書に従って作業を行う状況において，不安のある手順や不明瞭な手順を映像として確認できることは作業の再現性向上に有効に働くと考えられる。また，映像中の作業者の視線情報や手元の細かな動作を確認できる点において，実際の作業者が確認する映像として一人称視点動画を用いることはメリットがある．本研究では広く人手で行う作業の再現性向上を目的とし，テキス卜と音声による入力機能を持った一人称視点動画を用いたマルチモーダル作業支援システムを提案する. また，実験では作業負荷や作業完成度にシステムが与える影響を調べ，システムが負荷の軽減や完成度の向上に寄与するかを考察する。

## 1 はじめに

作業は連続した複数の手順で構成され，それらを自然言語で記述したものを手順書と呼ぶ，人間が行う作業には科学実験や工作，組み立て，料理などが挙げられる.これらの人手作業において，作業の再現性は記述された手順書に従って各手順を正確に実行することによって担保される. しかし，手順書を定めた場合でも再現性が保たれないことがある。 Bakerによると 5 割を超える科学者が自身の行った実験の再現に失敗したことがあり，7 割を超える科学者が他者が設定した実験の再現に失敗したことがあると報告されている [1].

人手作業において手順書を定めているにもかかわらず，作業の再現に失敗してしまう原因の 1 つとして，誤った動作を行うことや物体を取り違えること
などのヒューマンエラーが考えられる。手順書は作業に習熟している者にとっては作業内容を明瞭に示したものとなる。一方で，作業に十分に習熟していない者にとっては，見慣れない動作や物体がその中に出てくると，時に作業内容が不明瞭になってしまい，結果としてヒューマンエラーを引き起こしてしまう可能性がある。

手順内容を文字情報だけでなく，動作や物体の視覚的情報を含む映像で確認することができれば，不慣れな作業に対しても作業者は作業内容に対する理解度を高めることができ，作業中の誤りを減らすことが可能になると考えられる。また，映像として一人称視点の作業映像を扱うメリットとして手元の細かな作業や視線情報などを確認することが可能になることが挙げられる。三人称視点による作業映像は作業の全体の状況を客観的に捉えることが可能である. 対して，一人称視点の作業映像では映像中の作業者が行っている，より具体的（あるいは局所的） な動作について上述したような情報を通じて知ることが可能であり，さらに，それらの情報から映像中の作業者の意図を推測することが可能となる。これらのことから，作業の誤りを減らすことを目的とすれば，各動作，各手順の詳細が分かりやすい一人称視点の映像が三人称視点の映像と比べて有効であると考えられる。

以上を踏まえて，本稿では人手作業の誤りを減らし，再現性を高めることを目的としたマルチモーダル作業支援システムを提案する。また，2 種類の作業を 6 名の参加者にシステム有無で条件を変えた実験によってシステムが作業の実行時間，負荷，完成度にどのような影響を与えるかを検証する。

## 2 関連研究

## 2.1 一人称視点映像のデータセット

近年，様々な研究グループによって一人称視点映像のデータセットが公開されている. Grauman らによって公開されている Ego4D はその中でも最大規模のデータセットである [2]. このデータセットには世界 9 力国の参加者の日常活動とそれらに付随するアノテーションが収録されており，一人称視点の視覚的認知課題の究明に大きく寄与している.

西村らによって公開されている BioVL2 は生化学実験に特化した数少ない一人称視点映像データセットである [3]. このデータセットは生化学実験を一人称視点で撮影した動画と実験の手順書が紐付けられている. また，映像から手順書を生成する課題にも取り組んでいる。

## 2.2 作業支援システム

Chang らは How to Video に対してイベント検索を行うコマンドと時間的に映像を操作するコマンドが実装された作業支援システムを提案している。また，実験により，How to Video を参照して実行するタスクをより低いストレスで実行できることを示している [4]. 彼らの研究と我々の研究の差分は達成すべき目的にある. 彼らがよりストレスフリーなシステムを目的とする一方で, 我々の目的はシステムを介して作業の誤りを減らし, その再現性を高めることである. Scholl らはスマートグラス上に手順内容がテキストとして表示され, 音声認識により手順内容を切り替えることができるハンズフリーな実験支援システムを提案している [5]. このシステムを用いた実験の参加者全員がスマートグラス上に表示される情報だけで化学実験を成功させることができたことを報告している．彼らの提案するシステムと本稿で提案するシステムの最も大きな差異は利用者に提示する情報のモダリティである. 本稿で提案するシステムはテキストだけでなく, 実際の作業映像を提示する。

## 3 提案手法

## 3.1 システム概要

システムは Web アプリケーションとして実装した. ページ内には作業動画，手順内容，検索ボッ

図 1 利用者が操作するシステムの画面

図 2 システムの処理の流れ

クスが含まれている (図 1). システム利用者は検索ボックスにキーワードを入力するか，音声によってそれを伝えることでイベント検索を行う．また，各手順内容に対応するスキップボタンを用いることでも該当イベントの参照が可能である. 本稿の実験で扱う作業を用いて上記の処理の流れを図 2 に例示する.まず，最下段で入力を受け取る。次に，中断で入力されたテキストと各手順のコサイン類似度を計算する. 最後に最も類似度が高い手順内容が動画で再生される。この例では手順 2 が該当するので，手順 2 が始まる箇所から動画が再生される。

人手作業では作業者の両手が塞がっていて手を使ったシステムの操作が難しい場合が多々考えられる。提案システムは一人称視点の作業映像に対して，イベント検索を行うことで手順内容を映像で確認できるものであり, 両手が塞がっている状況においても音声入力によってハンズフリーで操作できるものである.

## 3.2 キーワードによるイベント検索

システムは音声あるいはテキストを入力として受け取る。 入力が音声の場合は Whisper [6] を用いた音声認識によってテキスト化する。こうして受け取った入力テキストと各手順内容のそれぞれに対して各単語ベクトルの平均値を計算し，それらのコサイン類似度を比較することでキーワードによるイベント検索が実現される。コサイン類似度の計算には $\mathrm{spaCy}$ [7] を用いた. 入力されたテキストは GiNZA [8] を用いて形態素解析され，トークン化される. その後, 各トークンには学習済みの単語ベクトルが付与される. このようにして付与された単語ベクトルの平均值を $t$ とし, 検索対象となる $n$ 個の手順内容を同様に処理したものをそれぞれ $\boldsymbol{p}_{1}, \boldsymbol{p}_{2}$, ..., $\boldsymbol{p}_{\boldsymbol{n}}$ とする. 検索結果となる手順 $\hat{\boldsymbol{p}}$ は以下の式で決定される。

$
\hat{\boldsymbol{p}}=\underset{\boldsymbol{p}_{\boldsymbol{i}}}{\operatorname{argmax}} \frac{\left.\langle\boldsymbol{t}, \boldsymbol{p}_{\boldsymbol{i}}\right.\rangle}{\|\boldsymbol{t}\|\left.\|\boldsymbol{p}_{\boldsymbol{i}}\right.\|}
$

ここで $\left.\langle t, p_{i}\right.\rangle$ は $t$ と $p_{i}$ の内積であり, $\|t\|$ は $t$ のノルムである.

## 4 実験

提案システムが作業の実行時間，負荷を減少させることができるか，完成度を向上させることができるかを測定するために，被験者実験を行った。実験では研究室内で作成したデータセットを用いた (付録 A).このデータセットに含まれる 5 種類の作業のうち比較的手順数が多く複雑さの高い以下の 2 種の作業を用いた，

作業 1 :金属のイオン化傾向を比較する化学実験

作業 2 :簡易的な電子回路を組む作業

作業 1 は中学生向けの化学実験キットを用いた作業であり，作業 2 は対象年齢 6 歳以上の知育玩具を用いた作業である．参加者はこの 2 種類の作業を実行した.

## 4.1 実験参加者

研究室内の学生を対象として実験協力者を募集し， 20 代男性 6 名が実験に参加した. 協力者を募集する上で，実験で行う作業内容を事前に知らないことを条件とし，その他の条件は設けなかった。参加者を作業 $1 ， 2$ に対して次のような各 3 名ずつのグループに無作為に分けて実験を行った。この振り分けにより，参加者は作業 $1 ， 2$ のいずれかで必ず提案システムを操作した

$\mathrm{A}$ : 作業 1 でシステムあり, 作業 2 でシステムなし

$\mathrm{B}$ : 作業 2 でシステムあり, 作業 1 でシステムなし

## 4.2 実験手順

それぞれの作業に対して，まず，参加者に対して作業概要の説明と手順書中に現れる物体名の確認を行った.この時被験者がシステムを用いながら作業を行う場合は，システムの機能と基本的な操作方法についても説明を行った. 次に，参加者に対して作業を実行する“速さよりも正確性を意識して作業を行う”ように教示を与え，参加者は事前に準備された手順書に従って各作業を遂行した。作業はこちらから指示したタイミングで開始し，参加者が全ての作業手順の完了を申告した時点で終了と判断した.

## 4.3 評価項目

評価項目は実行時間，NASA-TLX [9]，複数項目に対する 5 段階評価，自由回答によるフィードバックである．実行時間は作業開始時点から作業終了時点までの経過秒数を計測する。

NASA-TLX は作業に対する主観的な作業負荷を計測する指標である. 計測項目には知的・知覚的要求 (MD), 身体的要求 (PD)，タイムプレッシャー (TD)，作業成績 (OP)，努力（EF），フラストレー ション（FR）の6つである．作業者はこれらの6つの項目に対して点数をつけ， ${ }_{6} \mathrm{C}_{2}$ 通りで各項目同士を比較する. 各項目の点数と項目同士の比較によって決定した重みを用いた平均（WWL，付録 B）とを用いて作業負荷を計測する. 各項目の点数は高ければ高いほど作業負荷が大きいことを示す. 5 段階評価によるフィードバックでは作業難易度，作業完成度を評価した.グループ $\mathrm{A}$ につては，これに加えてシステムの利便性, システムの操作性も評価した. 自由記述によるフィードバックによって上述した評価項目で取りきれないフィードバックを取った。

## 5 結果と考察

表 1 に各参加者の実行時間を示す。この結果から作業 1 はシステムを用いた場合は実行時間が長くなっていることがわかる。作業 2 についてはシステムの有無による実行時間の変化は見られない. 作業 1 についてはシステムを利用する時間が実行時間に
表 1 各作業の実行時間.

$\mathrm{A}$ ：作業 1 でシステムあり，B：作業 2 でシステムあり

図 3 各条件における NASA-TLX の平均值

影響した結果，実行時間が長くなっていることがわかる. 図 3 に各条件における参加者の NASA-TLX の平均値を示す. 各作業について，システム有・無で結果を比較すると作業 1 ではシステムありの場合に 6 項目中 4 項目の得点がシステムなしの場合と比べ高くなっていることがわかる. WWL はシステムありの場合におよそ 5 点高くなっていることがわかる. 作業 2 ではシステムありの場合に 6 項目中 5 項目の得点がシステムなしの場合と比べ低くなっていることがわかり，WWL はシステムありの場合におよそ 20 点低くなっていることがわかる. この結果から，作業 2 についてシステムによって作業負荷が軽減しているといえる。

各作業に対するアンケート結果を図 $4 ， 5$ に示す. これらの結果から作業 1 についてはシステムを用いた場合の方が完成度の評価がまとまっており, 用いていない場合は評価がばらけていることがわかる。 また，難易度についてはシステムを用いる場合の方が高くなっていることがわかる. 作業 2 についてはシステムを用いた場合の方が完成度の評価が高く,難易度が低いことがわかる．システムに対する評価は作業 1 の場合, 操作性・利便性ともに平均でおよそ 3.5 であり, 作業 2 の場合, 操作性・利便性ともに平均で 3 ということがわかる. 以上の結果からシステムを用いる場合，自己評価としての作業完成度が高くなると考えられる。また，作業の種類によっ

図 4 作業 1 に関するアンケート結果

図 5 作業 2 に関するアンケート結果

てシステムの有無で作業難易度が変化することが考えられる。自由回答によるフィードバックで得た回答（付録 C）を一部抜粋して示す。“動画のサイズが若干小さいと感じた”, “テキスト情報と完成イラス卜との対応が直感的にわかりやすかった”（P1）

“音声入力は使えるタイミングがよくわからなかった”，“スキップボタンは反応が早く使いやすかった。”（P5）これらのフィードバックから，システムの利用は一長一短であることがわかる.

## 6 おわりに

本稿では人手作業における誤りを減らし，作業の再現性を高めることを目的としたマルチモーダルな作業支援システムを提案し，システムが作業の実行時間，負荷，完成度にどのように影響するかを調べるため，2 種類の作業を行う実験によりシステムを評価した。実験の結果から，作業 1 に関して，実行時間，作業負荷は共に増加し，作業 2 に関して，実行時間に変化はなく, 作業負荷は減少した. どちらの作業もシステムの利用によって作業完成度に対する自己評価は高まったことがわかった。これらの結果から作業種類によってはシステムの利用が誤りを減らすことができる可能性があると考えられる.

今後の課題として，実験のサンプル数を増やすこと，異なる作業に対して同様の実験を行うこと，システムの UI/UX の向上などが挙げられ，これらの解決に務めていきたい。

## 参考文献

[1] Monya Baker. 1,500 scientists lift the lid on reproducibility. Nature, Vol. 533, No. 7604, 2016.

[2] Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1899519012, 2022.

[3] 西村太一, 迫田航次郎, 牛久敦, 橋本敦史, 奥田奈津子,小野富三人, 亀甲博貴, 森信介. Biovl2 データセット:生化学分野における一人称視点の実験映像への言語アノテーション. 自然言語処理, Vol. 29 , No. 4, pp. 1106-1137, 2022.

[4] Minsuk Chang, Mina Huh, and Juho Kim. Rubyslippers: Supporting content-based voice navigation for how-to videos. In Proceedings of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, CHI '21, New York, NY, USA, 2021. Association for Computing Machinery.

[5] Philipp M Scholl, Matthias Wille, and Kristof Van Laerhoven. Wearables in the wet lab: a laboratory system for capturing and guiding experiments. In Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing, pp. 589-599, 2015.

[6] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In International Conference on Machine Learning, pp. 2849228518. PMLR, 2023

[7] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python. 2020.

[8]

[9] Sandra G Hart and Lowell E Staveland. Development of nasa-tlx (task load index): Results of empirical and theoretical research. In Advances in psychology, Vol. 52, pp. 139-183. Elsevier, 1988.

## A 実験に用いたデータセット

実験に用いたデータセットは研究室内で作成したものである。このデータセットは以下に示す 5 種類の作業についての各 10 本の映像とそれらと手順内容を紐づけたアノテーションからなる。映像の撮影には Panasonic HX-A500 一人称視点カメラを用いた。作業の選定にあたり，作業の領域，誤りの種類，映像の長さ，物体，動作の多様性を基準とした. 表 2 に各作業の内容，手順数，手順あたりの単語数を示す.

表 2 各作業内容，手順数，手順あたりの単語数

## B NASA-TLX における WWL の算出方法

まず，NASA-TLXの 6 つの評価項目に対して ${ }_{6} \mathrm{C}_{2}$ 通りの比較を行う．比較の中で各項目が選ばれた回数を重み $w_{i}$ （0５）とし, 各項目の素点を $v_{i}$ とすると WWL は以下の式で算出され，1１00 の値を取る. $w_{i}$ の総和は比較回数と同じ 15 である.

$
W W L=\frac{\sum_{i=1}^{6} w_{i} \times v_{i}}{\sum_{i=1}^{6} w_{i}}
$

この値も各項目の素点と同様、WWLが高ければ高いほど作業者にとって作業負荷が高いことを示す.

## C 自由回答によるフィードバック

“動画のサイズが若干小さいと感じた”，“テキスト情報と完成イラストとの対応が直感的にわかりやすかった”(P1)

（作業 1 に関して）“反応するかどうかがわからなかった”，“「スイッチ S2をモーターと電池ボックスを直列に繋ぐ」について、1) 文法的に理解し難かった、2) 完成図の把握に時間がかかった。”（P2）

“反応の有無を確かめるのが微妙に大変だった。”( 3 3)

“ワークシートのマイクロプレートを置く位置の上に書かれている「銅、亜鉛、マグネシウム」が、マイクロプレートの後ろに隠れて見えづらかった。”,“並列に繋ぐの意味が分からなかった。または先に S2 とランプを繋げると、正解のようにならないと思います。”(P4)

“適切な場所に滴下するのが難しかった。”, “音声入力は使えるタイミングがよくわからなかった。手を使う作業中なのでテキスト入力はしにくい。スキップボタンは反応が早く使いやすかった。”(P5)


# 大規模言語モデルを用いたニュース類似度の算出

井本稔也
Japan Digital Design 株式会社
toshiya.imoto@japan-d2.com

## 概要

意味的テキスト類似度 (Semantic Text Similarity) は，予め定めた基準に沿って 2 文書の類似度をスコア化するものである. 金融分野ではニューステキストへの応用が考えられるが，地理的情報・エンティティ・時間・トピックなど，複数基準を総合判断する必要があるため, 教師データセット作成の人的コストが高くなってしまう. 本稿では，大規模言語モデル（LLM）を用い，少数のアノテーション済みサンプルを利用したニュース類似度の算出を試みた。特に, Few-shot、手がかり・推論の中間生成手法, 自己整合性といったプロンプトエンジニアリング手法の有効性の検証を行い，SOTA の教師あり学習手法に迫る精度を達成した. 更なる精度向上を目指すべく、地理的情報など各基準の類似度から段階的に解くサブタスク推論アプローチを検証し，提案モデルは SOTA と同水準の精度を達成した。

## 1 はじめに

意味的テキスト類似度 (Semantic Text Similarity) は，予め定めた基準に沿って 2 文書の類似度をスコア化するものである [1][2][3][4]. 金融分野での主要なテキストの 1 つにニュースデータがある. ニュー ス分析はセンチメント分析 [5]，クラスタリング分析 [6]，金融資産との相関分析 [7]，ニュース推薦 [8] など多岐に渡る。ニュース類似度分析は，異なる 2 つのニュース記事について複数基準で類似度を測り，総合評価値を与えるタスクである [9]. クラスタリング分析やニュース推薦など，様々な用途に応用可能である. [9] では，各ニュース記事ぺアについて複数人のアノテーターが，複数個の基準での類似度と総合類似度を付与したデータセットを提供している。ニュース記事は文章長が比較的長い事，地理的情報・エンティティ・時間・トピックなどの類似度を各々評価する事，各評価を組み合わせて総合評価を行う必要がある事など，データセット作成コ
ストが高い事が課題である。

本稿では，ここ $1 ， 2$ 年で急速に発展・応用が進む大規模言語モデル（LLM）を用い，少数のアノテーション済みサンプルを利用してニュース類似度の算出をし，高精度の分類モデルが構築可能か検証した. 低資源下でのモデル構築を目指すため，学習データが必要な Fine-Tune は行わず，プロンプトエンジニアリングのみを利用した。実験データセット [9] は多言語ニュースから構成され，各ニュースの文脈を高度に理解する必要があるため，GPT-3.5 Turbo および GPT-4 Turbo (Azure OpenAI) を利用した。

精度の高いモデル構築を目指して，まず，入力テキストの工夫，CARPをベースにしたプロンプトエンジニア手法を実施した. 結果，比較対象としたコンペティション 1 位の HFL モデル [10](本稿で SOTA モデルとも呼ぶ) に迫る高精度を達成した。更なる精度向上を目指すべく，地理的情報など各基準の類似度から段階的に解くアプローチ（本稿でサブタスク推論と呼ぶ）を検証し，提案モデルは SOTA モデルと同水準の精度を達成した。

## 2 予備知識

## 2.1 データセットとタスク

本稿では，SemEval 2022 Shared task8[11]を実験データセットとして利用する. ${ }^{1)}$ 英語など 10 言語について，2020 年 1 月から 6 月までのニュース記事ペアを収集し，地理的情報 (GEO)，エンティティ （ENT），時間（TIME），ナラティブ（NAR），総合評価（OVERALL）の類似度を付与している2)。
- GEO: 地理的な近さ (場所、都市、国など)

・ENT: GEO で勘案した位置情報を除いた固有名詞 (人、会社、組織、商品、何かしらの生物)

表 1 検証データのニュース記事ペアの数，平均文章数と平均トークン数

- TIME: 記事、あるいは、記事の内容の時期的な近さ

-NAR: 物語のスキームの近さ

・OVERALL: 実質的に同じニュースストーリーを網羅しているか？(スタイル、トーンを除く)

各類似度は 4 種類のスコア，Vs(非常に似ている)， SS(いくらか似ている), SD(いくらか似ていない), VD(非常に似ていない) の何れかを取る。 なお, 複数のアノテーターの平均値を用いるため正解ラベルは小数になり得る. 表 1 に，検証データに含まれる言語ごとのニュース記事ぺアの数，平均文章数，平均トークン数を載せた ${ }^{31}$.

コンペティションに倣い OVERALL の予測タスクを実施し，VS,SS,SD,VDを各々 1,2,3,4 の数値に読み替え, 検証データセットでのピアソン相関係数による評価検証を行った。

## 2.2 比較モデル（HFL）

提案モデルとの比較に，[11] で 1 位を獲得した HFL モデル [10] を採用した. xlm-roberta-large[13] ベースのアーキテクチャーで，データ前処理に 2 つの特徴，データ水増し（Data Augmentation）と Head-Tail 入力がある. データ水増しは，利用せずとも論文精度相当の結果を再現できたため本研究では実施していない4). Head-Tail 入力は, モデルの入力トークン数制限のため全文を入力せず，冒頭 200，

末尾 56 トークンを結合したテキストをモデルに入力する方法である.

## 2.3 CARP

CARP[14] は，LLM 自身に手がかり（CLUE）と推論（REASONING）を生成させ，続けて主題の分類タスクを解かせるというプロンプトエンジニア手法である。自己整合性（Self-Consistency）[15] は，同一クエリーに対し LLM に複数個の返答を出力させ， その平均值や最頻値を最終的な返答とする手法である. [14]では， 16 個の手がかり・推論付き例示に加え自己整合性も利用し，既存手法の SOTA に匹敵する精度を達成した。

## 2.4 サブタスク推論

[16] では，タスクを解く際関連する子タスクを同時に解くことを考えた. シングルタスク推論（STI） とマルチタスク推論（MTI）の2つのアプローチで比較し, MTI の方が高精度であることが示されている.ここで，MTIは，マルチタスク学習同様，全ての子タスクと親タスクを LLM で一度に全て生成する手法を指す．STI は，各子タスクの返答生成を都度行い，親タスクの返答生成時には各子タスクの返答をプロンプトに追加して生成させる手法である.更なる精度向上のため CARP に加え，本稿でサブタスク推論アプローチと呼ぶ，GEO,ENT,NAR の各類似度（子タスク）を先に予測させ，続けて OVERALL （親タスク）を予測する手法を検証した。

## 3 実験計画

より高精度なニュース類似度算出モデルを模索するための実験を計画する。

## 実験 A1、入カトークン数の削減手法の比較 GPT-3.5 Turbo, GPT-4 Turbo モデルのトークン数上限 は大きいものの，Few-shot の分ニュース記事ペアを プロンプトに書き込む必要があり，計算コストも高 くなるため，トークン数は極力減らしたい。 そこ でトークン数削減方法として, Head-Tail 入力 (冒頭 200 , 末尾 56 トークン) と要約入力（200 語以内）を 比較する。

実験 A2. 英語とマイナー言語の性能差の検証 [17] では，GPT-3.5, GPT-4 モデルでの低リソース言語（事前学習に占める割合が低い言語）の性能が英語などメジャー言語と比較し低いことが報告されている．そこで，非英語のニュース記事を英語に翻訳
表 2 全言語ペアでの Overall のピアソン相関

して類似度を算出し精度比較する。

実験 A3. 各種プロンプトエンジニアリング手法の有用性検証 Few-shot プロンプト，CARP，自己整合性プロンプト (SC) により, 精度向上するか検証する. その結果, SOTA に匹敵するモデルは構築できたかを考察する.

実験 B. サブタスク推論のコンセプト正当性検証実験 A で構築したモデルを更に発展させるため, GEO/ENT/NAR の各類似度を先に LLM に予測させ，続けて OVERALLを予測させるサブタスク推論アプローチを検証する5). 設定 6 をべースにしたSTIによるサブタスク推論アプローチを採用し，提案モデルが実験 A モデルより精度改善するか検証する。なお実験 B では，計算コスト削減のため en-en, es-en, de-en ゚アのみを対象としている。また, GEO/ENT/NAR のいずれかに 4 より大きい数値が入ってる検証サンプルがあったため除外した ${ }^{6)}$.

## 4 実験結果と考察

表 2 と表 3 に全実験結果を緾めた. 実験設定の詳細は付録 A. 1 に示す。

実験 A1 表 2 の設定 2 と設定 3 を比較し，少なくとも 3-shot プロンプトの場合では，記事要約を使うより冒頭・末尾を用いた方が高精度であることが分かった.これは [10] で議論されているように，重要な情報が記事冒頭・末尾に集中しているためと考えられる. Head-Tail 入力だと重要部分のみをモデルに入力するのに対して，要約だと重要でない部分も含めたニュース記事全体の情報が満遍なくモデルに入力され，精度が低くなると考えられる。

実験 A2 表 2 の設定 2 と設定 $\mathbf{4}$ を比較し，少なくとも 3-shot プロンプトの場合では, 低リソース言語の精度低下は確認できなかった。 そこで本研究ではマルチリンガルのままモデル予測を行う事とした.

図 1 Overall の類似度の分布（Config は実験設定を表す）

実験 A3 表 2 の設定 1 と設定 2 を比較し，Zeroshot から Few-shot(3 例)にすることで, 約 15\%の精度向上を確認した. 設定 2 と設定 5 を比較し, CARP （手がかり・推論の中間生成）で，5.7\%の精度向上を確認した. 設定 6 と設定 7 を比較し， $\mathrm{SC}(10$ 回の推論結果の平均値を用いた自己整合性プロンプト) により，10.3\%の精度向上を確認した. また設定 6 では，訓練データで誤回答の多かったタイプを追加で 3 例プロンプトに追加し, 若干 $(1.2 \%)$ の精度向上を確認した. 更に，各実験設定での予測値分布を示す図 1 を見ると，CARPを導入する事で予測の偏りが大きく改善したことが分かる. ここまでの実験により, 実験 $\mathrm{A}$ 最善モデル (設定 7) は6サンプルのみで $75.25 \%$ を達成し, HFL モデルの $80.69 \%$ に約 $5 \%$ まで迫る結果を得られた。

実験 B 表 3 の設定 9 と設定 10 を比較し，サブタスク推論により全言語ペアで精度向上が見られ，全体では約 4\%の精度向上を確認した. 表 4 には各サブタスクの予測精度の一覧を載せている。設定 10 と設定 11 を比較し，提案手法（STI）を用いる事で， HFL とほぼ同水準の全体精度を達成することを確認した.

実験 B - 考察設定 10 の結果について, GEO/ENT/NAR（サブタスク）と OVERALL のスコアの関係性を考察したい. 表 5 の番号 1 と番号 2 は，サブタスクの正解スコアについて各々平均值・最大值を取ったものと，OVERALL 正解スコアの相関係数を表す。ここから，OVERALL はサブタスクの最大值とより強く相関を持ち，特に de-en は，平均ではなく最大值を使う事で約 14\%精度向上することが分かる. これは，サブタスクにどれか 1 つでも悪いスコアがあると，引っ張られて OVERALL スコ
表 33 言語ペアでの Overall のピアソン相関

相関係数 (\%)

表 $4 \mathrm{GEO} \cdot \mathrm{ENT} \cdot \mathrm{NAR}$ の予測精度

アも悪化する傾向があることを意味する。一方番号 3 と番号 4 は，正解の代わりに設定 10 で算出したサブタスク・OVERALL 予測ラベル間の相関を取ったものである. ここから，モデルはサブタスクの最大よりも平均値に近い予測を行う事がわかる。 つまり，モデルが最大值をより重視する予測ができれば，より高精度なモデルとなり得ることが示唆される。

STI モデルエラー分析表 6 は，STI モデルに関する予測誤差（0.5 刻みで範囲を区切り集計）毎の件数の一覧である。ここでは，絶対値誤差が 2 より大きい en-en の一例に絞りエラー分析を実施する. 付録 A. 2 にモデルに入力した 2 記事の本文を，表 7 に各サブタスクと OVERALL の正解ラベルと予測を纒めた. まず後者から，ENT に一番大きな乘離があることが分かる．そこで本文を比較すると，共通したエンティティはニュースの主題と関係が薄いものが多い事に気づく（「居場所確保命令」は記事 2 の主題ではない，「エイミー・グラフ」は記者の名前，など). ここで，Head-Tail 入力を採用しているため記事の中間部分は割愛されてしまう事に注意したい.

実際記事 2 の原文は，コロナウィルスの検査能力の拡大が主題で，PCR 技術，検査に必要な物質の供給不足，支援者情報などに関して，記事 1 にない多くのエンティティが記載されていた. Head-Tail に書かれた主題と関係が薄いエンティティの共通性をモデルが重視してしまい誤分類（ENT の類似度が過度に高くなった）したものと考えられる.

## 5 おわりに

本稿では，LLMを用い少数のアノテーション済みサンプルを利用したニュース類似度の算出を試みた。表 53 言語ペアでの GEO/ENT/NAR と OVERALL のピアソン相関

表 6 STI モデルの絶対予測誤差（Err）ごとの件数

表 7 誤分類サンプルの詳細

Few-shot、CARP，自己整合性といったプロンプトエンジニアリング手法に加え，GEO/ENT/NAR の各基準の類似度から段階的に解くサブタスク推論アプローチを提案し, SOTA と同水準の精度を達成した。 なお，本稿では MTI を実施しなかった。 入力長が長くなりコストが高くなる事，ENT など固有表現抽出に関しては新しいエンティティの追加もあり更新頻度の低い GPT モデルより専用のモデルを用意した方がよい事などが主な理由であるが，他タスクへの適用も見据え有効性の追加検証を実施したい。今後は他にも，検証サンプル数の増加，Head-Tail 入力トークン数の増加, CARP の例示数の増加，記事日付等を用いた TIME の予測，GPT モデルの学習期間外での精度検証などを行い，更なる精度向上を目指したい.

## 参考文献

[1] Daniel Cer, Mona Diab, Eneko Agirre, Inigo LopezGazpio, and Lucia Specia. Semeval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017). Association for Computational Linguistics, 2017.

[2] Akshita Jha, Vineeth Rakesh, Jaideep Chandrashekar, Adithya Samavedhi, and Chandan K. Reddy. Supervised contrastive learning for interpretable long-form document matching. Vol. 17, No. 2, 2023.

[3] Sihao Chen, Hongming Zhang, Tong Chen, Ben Zhou, Wenhao Yu, Dian Yu, Baolin Peng, Hongwei Wang, Dan Roth, and Dong Yu. Sub-sentence encoder: Contrastive learning of propositional semantic representations, 2023.

[4] Shuhe Wang, Beiming Cao, Shengyu Zhang, Xiaoya Li, Jiwei Li, Fei Wu, Guoyin Wang, and Eduard Hovy. Simgpt: Text similarity via gpt annotated data, 2023.

[5] Sorouralsadat Fatemi and Yuheng Hu. A comparative analysis of fine-tuned $11 \mathrm{~ms}$ and few-shot learning of $11 \mathrm{~ms}$ for financial sentiment analysis, 2023.

[6] Kailash Karthik Saravanakumar, Miguel Ballesteros, Muthu Kumar Chandrasekaran, and Kathleen McKeown. Event-driven news stream clustering using entity-aware contextual embeddings. In Paola Merlo, Jorg Tiedemann, and Reut Tsarfaty, editors, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2330-2340, Online, April 2021. Association for Computational Linguistics.

[7] Alejandro Lopez-Lira and Yuehua Tang. Can chatgpt forecast stock price movements? return predictability and large language models, 2023.

[8] Xinyi Li, Yongfeng Zhang, and Edward C Malthouse. Exploring fine-tuning chatgpt for news recommendation, 2023.

[9] Xi Chen, Ali Zeynali, Chico Camargo, Fabian Flöck, Devin Gaffney, Przemyslaw Grabowicz, Scott Hale, David Jurgens, and Mattia Samory. SemEval-2022 task 8: Multilingual news article similarity. In Guy Emerson, Natalie Schluter, Gabriel Stanovsky, Ritesh Kumar, Alexis Palmer, Nathan Schneider, Siddharth Singh, and Shyam Ratan, editors, Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1094-1106, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] Zihang Xu, Ziqing Yang, Yiming Cui, and Zhigang Chen. HFL at SemEval-2022 task 8: A linguistics-inspired regression model with data augmentation for multilingual news similarity. In Guy Emerson, Natalie Schluter, Gabriel Stanovsky, Ritesh Kumar, Alexis Palmer, Nathan Schneider, Siddharth Singh, and Shyam Ratan, editors, Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval-2022), pp. 1114-1120, Seattle, United States, July 2022. Association for Computational Linguistics.

[11] Semeval 2022 task 8: Multilingual news article sim- ilarity, 2022. https://competitions.codalab.org/ competitions/33835.

[12] Semeval 2022 task 8: Multilingual news article similarity dataset details, 2022. https://zenodo.org/records/ 6507872.

[13] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale, 2020.

[14] Xiaofei Sun, Xiaoya Li, Jiwei Li, Fei Wu, Shangwei Guo, Tianwei Zhang, and Guoyin Wang. Text classification via large language models, 2023.

[15] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc V Le, Ed H. Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. Self-consistency improves chain of thought reasoning in language models. In The Eleventh International Conference on Learning Representations, 2023.

[16] Multi-task inference: Can large language models follow multiple instructions at once?, 2023. https:// openreview.net/forum?id=_HP30A8V3DT.

[17] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, Holy Lovenia, Ziwei Ji, Tiezheng Yu, Willy Chung, Quyet V. Do, Yan Xu, and Pascale Fung. A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity, 2023.

## A Appendix

## A. 1 実験設定の詳細

設定 1 から 4 図 2 のプロンプトを用い，温度は 0 で GPT-3.5 Turbo(gpt-35-turbo-16k-0613) により生成した. [12] から VS/SS/SD（VD の例はなかった）を 1 例ずつ選出し 3-shot に用いた. 設定 3 の 200 語要約は LLaMA-13B-Chat  にて，簡易なプロンプトを使って行った. 設定 $\mathbf{4}$ の英語への翻訳は https://github.com/ssut/py-googletransにて行った.

設定 5,6 図 3 のプロンプトを用い，温度は 0 で GPT-3.5 Turbo により生成した. 全体の数\%は予測がうまくいかなかったため，それらは GPT-4 Turbo (gpt-4-1106-preview) で再生成した. 設定 6 で追加した 3-shot は，訓練データ全体を設定 5 で推論しモデルが VS と誤回答するケースが多い事が判明したため，正答が SS,SD,VD のケースを各 1 例選出し， CLUES と REASONING を人手で作成し追加したものである.

設定 7 温度を 0.7 に設定し 10 個の返答と類似度を生成，その平均值を最終的な類似度とした。

設定 9 設定 $\mathbf{7}$ の 3 言語ぺアに絞った結果を載せた。

設定 10 図 4 のプロンプトを用い，設定 7 と同様 10 個の平均值を算出した. GEO,ENT,NAR の各サブタスク予測は， CARP+SC(設定 7) をべースに， Instruction や例を各々カスタマイズしたものを用いた.

図 2 few-shot プロンプト

図 $3 \operatorname{carp}$ プロンプト

図 4 サブタスク推論プロンプト

## A. 2 エラー分析の記事詳細

図 5 日本語に翻訳した 2 記事の本文（一部省略）

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# テキスト分析による言語処理学会年次大会 29 年分の 研究動向の調査

本間夏樹 飯村翔馬
株式会社 NTT データ数理システム
\{homma,iimura\}@msi.co.jp

## 概要

本調査では自然言語処理分野の研究動向の定量的な把握のため、言語処理学会年次大会の 29 年分の論文に対してテキスト分析を行った。先行事例では単語の集計が主だったが、本調査では係り受け表現の抽出やカテゴリ情報の付与を行うことでより実践的な情報の獲得を試みた。機関毎の発表傾向や共起分析による共著関係の可視化、研究分野やテキスト種別毎の論文数等についての分析を行い、定量的に知見を得ることを目指した。

## 1 はじめに

テキスト分析は、テキストデータから洞察を引き出す重要な手段である。新しい知見を得るだけではなく、定量的な結果を持って自分の感覚と比較したり、他者に共有できる情報として切り出す方法として有効である。テキスト分析の対象のデータのドメインの 1 つに「学術文献」がある。テキスト分析を行うことで、研究分野の傾向を定量的に把握したり、重要な文献の絞り込みを効率的に行ったりすることが可能になる。近年、自然言語処理分野の発展は著しく、その流れを捉えるために言語処理学会の論文を分析することは有用である。言語処理学会の論文を分析した事例として [1][2] がある。[1] では、論文誌と年次大会のタイトルと書誌情報の 10 年分が分析対象である。テキスト分析として、タイトルを Chasen で形態素解析した結果を集計している。 また、双対尺度法で所属機関と分野の関係図を作成している。[2]では、年次大会のタイトル・イントロダクション・本文と書誌情報の 19 年分が分析対象である。IBM Content Analytics with Enterprise Search を使用しており、タイトルとイントロダクションから年毎の頻度上位語の抽出を行っている。また、受賞論文に相関の高い表現の抽出、増加傾向、数量の年別傾向等の分析を行っている。言語処理学会の論文を活用した事例として、NLP Corpus Search Engine (NaCSE)[3] が存在し、指定したキーワードを含む論文を検索でき、年度毎の頻度を確認することができる。他の学会の論文を分析した例として [4] がある。日本建築学会の情報・システム・利用・技術シンポジウムの論文集のタイトルを対象として、KH Coder を用いて頻度上位単語の抽出や、期間毎の共起ネットワーク図の可視化を行っている。関連事例として、自然言語処理のトップカンファレンスの論文を集計しているウェブサイト [5] では、所属機関ごとの論文数が確認できる。

本調査では、言語処理学会 29 年分の年次大会のタイトルと書誌情報 (出版年・機関) からテキスト分析を行う。先行事例では書誌情報や単語レベルの分析に留まっていた。本調査では係り受け情報を活用し、より文脈を考慮した実践的な情報を得たり、 ルールベースを用いてカテゴリ情報を付与し研究分野やテキスト種別等の解釈しやすい単位で分析を実施する。また、共起を用いて共同研究の概観を把握することを目指す。

## 2 データ処理

## 2.1 データ収集

発表論文の書誌情報は、言語処理学会の各年度の年次大会のウェブサイトにアクセスし、そのプログラムからタイトルと著者の所属機関を抽出した。所属機関は第一著者のものを使用し、複数の機関が記載されている場合は左端の機関に絞った。分析デー タとして、抽出タイトルをテキスト、出版年と機関を属性情報として、Text Mining Studio (TMS) [6] に読み込ませた。ただし、共同研究調査の分析においてのみ各著者の全所属機関の情報を活用している。

なお、論文のタイトルは日本語が大部分であり、
英文タイトルは全体の一割未満である。英文タイトルの論文の情報も分析対象として統一して処理を行うために、OpenAI 社の GPT-4[7] を用いて日本語に翻訳を行った。翻訳結果は目視で確認し、より適切な訳が考えられる場合や後続のテキスト処理の負担を軽減できる場合は適宜修正を行った。和文・英文の両方が含まれている場合 ${ }^{1}$ は和文のみ使用した。 また、論文内で和文タイトルを発見できた場合2) はそれを採用し、プログラムとの差異を発見できた場合3) は論文ファイルのタイトルを優先した。

## 2.2 属性の前処理

属性情報を加工することで目的に沿った粒度や視点で分析が可能になる。出版年を次のように 5 年毎の期間に分割した。「1 期 (1995-1999 年)」「2 期 (2000-2004 年)」「3 期 (2005-2009 年)」「4 期 (2010-2014 年)」「5 期 (2015-2019 年)」「6 期 (2020-2023 年)」とした。

所属機関について、表記摇れや組織改編を考慮して把握している範囲でまとめ上げた。例えば、NICT は通信総合研究所と通信・放送機構を含むようにまとめ上げた。なお、NTT アドバンストテクノロジ、 NTT データ、NTT ドコモ等はNTT に集約せずに、 それぞれ別の機関として集計した。更に機関を 4 つの種別に分けた。高等専門学校・大学等は「教育機関」、公立の研究所や外郭団体等を「公的機関」、民間企業等を「企業等」、フリーや所属なしを「個人」 とした。

## 2.3 テキストの前処理

テキストの前処理には TMS に搭載されている機能を利用した。TMS は形態素解析・構文解析結果の情報を付与している。英名の技術用語等については適宜辞書を作成した。

更に、分析のトピックに応じて、単語群をまとめ上げるカテゴリルールを作成した。例えば、『文脈解析』カテゴリは、「述語項構造」「共参照」「照応」「談話構造」等の文字列を含むタイトルはそのカテ

1) The Relationship between Sound and Meaning in Japanese BackChannel Grunts (あいづちの音響的部品とそれぞれの意味) (1998), An Experimental Classification of English Noun Phrases Used in Metaphorical Expressions (日本語表題: メタファに着目した英語の名詞分類の試み) (2002)の 2 件

2) Detecting Alternation Instances in a Valency Dictionary, 構文意味辞書における類似構文の融合方法 (2002) の 1 件

3）プログラム: 対話データベースの自動プロファイリング:効率的話題タグ付与をめざして, 論文: 日本語教科書の会話に見られる言いよどみ (1998)の 1 件
ゴリであるというルールを持つ。このような研究トピック等に関連するカテゴリルールを適用することでテキストデータの分類を実施し、その集計等から研究動向を把握するのに適した粒度の情報を獲得できる。ただし、ルール作成の際に見落としがある可能性があるため、TMS に実装されている大規模テキストデータで事前学習したモデルを利用して類義語の抽出を行い、取りこぼしの低減を試みた。

## 3 データ分析と観察

## 3.1 属性の集計

年毎の発表件数の推移を表したのが図 1 である。前年と比べて減少している年もあるが、全体的な傾向として増加していることが分かる。特に 2023 年の発表件数の伸びは突出している。内訳は第一著者の所属機関の種別となっており、教育機関が過半数を占める。初期は企業の割合が多かったことが確認できる。個人は 0 人の年もあり、多い年も 10 名に満たず少ない。

図 1 言語処理学会年次大会の発表件数の推移 (内訳は第一著者の所属機関の種別)

第一著者の所属機関の論文数を集計して、全期間の合計上位 10 機関を抽出した結果が図 2 である。教育機関の割合が高く、最大数の東大に、NAIST、京大が続く。公的機関では NICT、企業ではNTT の件数が多いことが分かる。名大、筑波大は 3 期以降に件数が伸びている。

共同研究の動向を把握するために、共著者の所属機関を共起ネットワークで可視化した。分析対象とする論文は著者が二人以上で、異なる機関に所属しているものに絞った。全ての共著関係を抽出すると煩雑な図になるため、合計 8 本以上の共著論文があ

1期 2期 $\square$ 3期 4 期 5 期 6 期

図 2 第一著者の発表数上位 10 機関

る機関で、信頼度 ${ }^{4)}$ が 60 以上の関係のみに絞って抽出した結果が図 3 である。ノードの大きさが論文数を、矢印が信頼度 60 以上の共著関係を表す。東大や理研等様々な機関と共同研究しているノードには、複数の矢印が入り込む形となっている。宇都宮共和大のように複数の矢印が出ているノードは、一つの論文で複数の機関と共著関係になっていることが考えられる。

図 3 共起ネットワークによる共著関係の可視化

## 3.2 単語・係り受け表現の集計

タイトルを形態素解析・構文解析したものを集計した。品詞が「名詞・形容詞・形容動詞・動詞」の単語を期間毎に頻度上位 10 件抽出した結果が表 1 である。「用いる」「基づく」等論文で使用される基本的な語彙を確認できる。なお、1つのタイトル内で同じ単語が複数回使用されている場合、その単語の頻度は 1 回として集計されている。

単一の単語では文脈から切り離されて、その意味

4） $\{A$ から $B$ の信頼度 $\}=\{A$ と $B$ の共著論文数 $\} /\{A$ の共著論文数 $\} \times 100$表 110 年毎の頻度上位 10 件の単語

表 210 年毎の頻度上位 10 件の係り受け表現

の解釈が難しいことがある。それに対処するために、単語間の修飾関係を抽出した係り受け表現を利用して、テキストの内容をより深く把握することを試みる。係り元単語が「名詞」、係り先単語が「形容詞・形容動詞・動詞・サ変名詞」の係り受け表現を抽出した結果が表 2 である。 10 年毎に頻度上位 10 件の係り受け表現が抽出されている。単語単体と比べて頻度は小さくなっている。手法に着目して係り受け表現を確認すると、1-2 期では N-gram や SVM、 3-4 期では SVM、5-6 期では BERT や分散表現が使用されていることが読み取れる。

## 3.3 カテゴリ情報の集計

特定の視点からテキストを分析するには、カテゴリルールを作成して集計するのが有効な手段の一つである。研究動向を把握するために、研究分野の力テゴリを作成し、全期間で集計した上位 10 カテゴリの結果が図 4 である。『生成』や『対話』は、大規模言語モデルや生成モデルへの実用化が進む産業界への応用が拡大されている段階で、研究活動が活発になっている可能性がある。『生成』の次に多い 『形態素・構文解析・固有表現』の論文数は期間 1-6 で他分野と比べて増減が少ない傾向から、安定した研究関心が得られていると考えられる。『埋め込み』 は 5 期に急激に増加し 6 期で減少しているが、普及度が高まるにつれてタイトルに明示的に記載される頻度が減少している可能性が示唆される。

■第1期 $\square$ 第2期 $\square$ 第3期 $\square$ 第4期 $\square$ 第5期 $\square$ 第6期

図4 分野カテゴリの集計

研究分野のカテゴリを上位 10 機関でクロス集計した結果が図 5 である。グラフの格子上の丸の大きさは論文数を示す。横方向に確認すると該当分野でどの機関が多く発表しているか把握できる。例えば、『機械翻訳』では NAIST と NICT が多いことが見受けられる。縦方向は該当機関でどの分野で研究が活発か確認できる。東工大は『生成』に関わる論文が多い。東大は特定の分野に偏らずに幅広く研究していることが読み取れる。

図 5 分野カテゴリと 10 機関の集計

対象のテキストの傾向把握のためにテキスト種別のカテゴリを集計した結果が図 6 である。日本の学会であるため『日本語』カテゴリが多い。なお、このカテゴリは単語「日本語」に加えて「日本語文」「日本語フレームネット」等を含むため表 1 の日本語の合計よりも多い。『外国語』は、頻度が多い順に英語・中国語・ウイグル語・韓国語・モンゴル語・ スペイン語・インドネシア語と続き、 30 言語以上あり多様性を確認できた。

言語処理学会ではテキスト以外のデータを対象とする場合もあるため、その傾向を確認した結果を図 7 に示す。6 期では 3 つのカテゴリで論文数が増加しており、近年マルチモーダルなモデルやタスクに注目が集まっている影響に起因すると考えられる。

図 6 テキスト種別論文数

『画像系』の伸びが顕著なのは Text-to-Image モデルの普及が影響している可能性がある。

$\begin{array}{llllllll}0 & 50 & 100 & 150 & 200 & 250 & 300 & 350\end{array}$

音声・音楽系

画像系

動画系

■1期 $\square 2$ 期 $\square 3$ 期 $\square 4$ 期 $\square 5$ 期 $\square 6$ 期

図 7 データ種別論文数

## 4 おわりに

本稿では、第 1 回から第 29 回までの言語処理学会年次大会のタイトルと書誌情報から研究動向を把握することを試みた。テキストは形態素解析・構文解析を行い、単語と係り受け表現の集計を行い、期間毎の傾向を確認した。またカテゴリルールを作成し、研究分野やテキスト種別といった特定の観点からデータを分析した。属性情報を加工し、共著関係の可視化を行い、機関間の関係を調べた。本調査の分析を深める方法として、異なる粒度で集計する、単語や係り受けの特徴度合い [8] を算出して比較する、特定の単語を含む係り受け表現を抽出する等が考えられる。

今後の展望として、作成した辞書やカテゴリルー ル等を改良し、テキスト分析対象を論文誌にも広げた文献データベースの構築を検討している。テキス卜分析と大規模言語モデルを併用して効率的に調査およびデータの構造化を進め、構造化したデータベースを参照する対話システムの構築等を行うことで、これまでに到達できなかった知見を誰もが活用でき、本大会スローガン「30 年のプロンプトから未来を創造する」方向性を目指したいと考えている。

## 参考文献

[1] 村田真樹, 一井康二, 馬青, 白土保, 井佐原均. 過去 10 年間の言語処理学会論文誌・年次大会発表における研究動向調査. 言語処理学会第 11 回年次大会発表論文集, 2005 .

[2] 那須川哲哉, 西山莉紗, 吉田一星. 学術文献のテキストマイニング言語処理学会年次大会 19 年分の予稿データの知的資産としての活用可能性の検討. 言語処理学会第 20 回年次大会発表論文集, pp. 800-803, 2014.

[3] 田淵龍二. 論文閲覧を支援する試み一文脈検索可能な NLP 予稿集コーパス構築. 言語処理学会第 24 回年次大会発表論文集, pp. 686-689, 2018.

[4] 福田知弘. テキストマイニングを用いた建築情報分野の論文タイトル分析. 日本建築学会・情報システム技術委員会第 41 回情報・システム・利用・技術シンポジウム 2018, pp. 150-153.

[5] 村脇有吾. 日本所属の言語処理トップカンファレンス論文 (2022 年). https://murawaki.org/misc/ japan-nlp-2022.html.

[6] NTT データ数理システム. Text Mining Studio, 2024. https://www.msi.co.jp/solution/tmstudio/ index.html.

[7] Open AI. GPT-4 technical report, 2023. https://cdn. openai.com/papers/gpt-4.pdf.

[8] 内山将夫, 中條清美, 山本英子, 井佐原均. 英語教育のための分野特徴単語の選定尺度の比較. 自然言語処理, 2004.

## A 付録

参考情報としてカテゴリルールを記載する。『二重かぎ括弧』で示されるカテゴリと、「かぎ括弧」内の分類ルールから構成される。テキストは一つ以上の分類ルールが該当したカテゴリに分類される。ルールの＊記号は任意の文字列、\&記号はその前後にある文字列の両方が含まれることを示す。なお、紙面の都合上一部のカテゴリルールは割愛している。

## A. 1 研究分野のカテゴリルール

『生成』「*生成*」「Generat $*\lrcorner 「 \mathrm{~g} e n e r$ at $*\lrcorner$

『テキスト分析』「*テキストマイニング*」「*テキス卜分析*」「*テキストアナリティクス*」「* T e x t Mining $*\lrcorner\lceil * T$ ext Analytics *」「Text\&Mining」「Text\&Analyt i c s $\lrcorner$

『形態素・構文解析・固有表現」「*単語分割*」「*分かち書き* *」「*わかち書き*」「*形態素解析＊」「* サブワード分割*」「Token i *」「*Morpho log i c a l $*\lrcorner\lceil * \operatorname{morpholog}$ i c a $l *\lrcorner$「Word\&Divid $*\lrcorner 「$ Wo rd\&d i vid $*\lrcorner$「品詞推定」「*構文解析 $* 」 「 *$ 係り受け*」「*係受*」

y」「*句構造*」「*統語*」「s y n t a c t i c \& a nalysis $\downharpoonleft$ Syntact i c\&Analys i $\mathrm{S}\lrcorner \Gamma \mathrm{S} y \mathrm{ntax}\lrcorner \Gamma *$ 固有表現 $*\lrcorner$

『音声認識』「*音声認識 $* \downharpoonleft 「 * \mathrm{~S}$ p e e c h - t o $\mathrm{Text} *\lrcorner\lceil\mathrm{STT}\lrcorner \Gamma \mathrm{A} S \mathrm{R}\lrcorner$

『埋め込み』「*埋め込＊」「*分散表現＊」「*埋込＊」 $\lceil * \mathrm{Emb}$ edd i n g *」「*埋め込み $* 」 「 * W o r d$ $2 \mathrm{Vec} *\lrcorner\lceil *$ word $2 \mathrm{vec} *\lrcorner$

『可視化』「*可視化 $*\lrcorner \Gamma * \mathrm{~V}$ i s u a 1 i z $*\lrcorner \Gamma *$ visualiz $*\lrcorner$

『音声合成』「* $\mathrm{Text}-\mathrm{to}-\mathrm{S}$ p e e c h $*\lrcorner\ulcorner\mathrm{T}$ $\mathrm{T} \mathrm{S}\lrcorner \Gamma *$ 音声合成*」

『質問応答・機械読解』「*質問応答*」「Que s t i o n\&Answering」「*質疑応答 $*\lrcorner 「 * \mathrm{VQA}$ *」「*機械読解*」

『機械翻訳』「*機械翻訳 $* 」 「 * \mathrm{Mach}$ i n e T r ans lat ion*」「Mach ine\&T rans l at i on」

『誤り認識・訂正』「*誤り認識*」「*誤り訂正*」「*

『文脈解析』「*共参照 $* 」 「 *$ 照応 $* 」 「 *$ a p h o r a $*\lrcorner\lceil *$ Coreference $*\lrcorner\lceil *$ coref e r enc e $* 」 「 *$ 直示*」「*ダイクシス*」「* d e i $\mathrm{xis} *\lrcorner \Gamma * \mathrm{Deixis} *\lrcorner \Gamma *$ 代名詞 $*\lrcorner \Gamma *$ 指示語 *」「*省略，」「*橋渡し*」「b r i d g i n e \& r e f e r enc e」「*格解析 $*\rfloor 「 *$ 办格 $* 」 「 *$ 米述語項構造 $* 」 「 *$ 談話構造 $* 」 「 *$ 論述構造 $* 」 「 *$ 請求項構造 $*\lrcorner$

『対話』「*対話 $* 」 「 * D i ~ a ~ l o g u e * 」$

『検索』「*検索*」『情報抽出・知識獲得』「* 獲得 $* 」 「 *$ 情報抽出 $*\rfloor$

『言語判定』「*言語判定*

『文書分類』「*文書分類＊」「*文章分類＊」「*テキスト分類 $* 」 「 *$ Document Classific at ion $*\lrcorner$

『要約』「*要約 $*\lrcorner 「 * S$ ummar i z a t i o n $* 」$

## A. 2 テキスト種別のカテゴリルール

『外国語』「* Chines e $*\lrcorner 「 * \mathrm{English}$ *」「*アラビア語＊」「*アルタイ諸語＊」「*アジア言語*」「*イタリア語＊」「*インドネシア語＊」「*ウイグル語*」「*ウズベク語＊」「*ギリシア語＊」「*ギリシャ語*」「*クメール語*」「*シンハラ語＊」「*スペイン語＊」「*ソマリ語＊」「*タイ語＊」「*タタール語＊」「*チェコ語＊」「*テトゥン語＊」「*ドイツ語 *」「*ハンガリー語＊」「*ハングル*」「*ビルマ語

語*」「*ペルシャ語*」「*ポーランド語*」「*ポルトガル語＊」「*マラーティー語＊」「*ミヤンマー語＊」「*モンゴル語＊」「*ルーマニア語＊」「*ロシア語＊」「*ロマンス語 $* 」 「 *$ *マンス諸語 $*\rfloor 「 *$ 英語 $*\rfloor 「 *$外国語 $* 」 「 *$ 韓国語 $* 」 「 *$ 中国語 $* 」 「 *$ 朝鮮語*」

『ツイート』「* Twit t e r *」「*ツイート*」「*つぶやき*」

『レビュー』「*レビュー*」

『物語・小説』「* F i c t i on $*\lrcorner 「 * \mathrm{Novel}$ *」「*S t o r y*」「*ストーリー*」「*フィクション*」「*小説 $* 」 「 *$ 物語*」

『金融』「* Financ e $* 」 「 *$ i 為替 $* 」 「 *$ 金融 $* 」 「 *$ 銀行 $* 」 「 *$ 証券 $* 」 「 *$ 保険 $* 」$

『対話』「*対話 $*\lrcorner$

『論文』「*論文*」

『SNS』「* S N S *」「*ソーシャルネット*」「*ソー シャルメディア*」

『レシピ・食べ物』「*レシピ＊」「*食べ物＊」「*飲み物*」「*飲食*」「*食感*」

『日本語』「* 日本語*」「* J a p a n e s e $*\rfloor$

『法律』「*法律*」「*刑事＊」「*民事 $* 」 「 *$ 司法 $* 」$ $\lceil *$ 訴訟 $* 」\lceil *$ 判決 $* 」 「 *$ 勝訴 $* 」 「 *$ 敗訴 $* 」 「 *$ 裁判 *」「*条例＊」「*調書＊」「*原告＊」「*被告＊」「*被疑者*」

『試験』「*試験*」「*入試 $* 」$

『ブログ』「*ブログ*」「* b log*」

『行政』「*行政＊」「*官公庁 $* 」 「 *$ 役所 $* 」 「 *$ 公文書*」「*公務員*」「*官僚＊」「* e - Gov * 」

『医療』「*医＊」「*療＊」「*カルテ*」「*看護＊」 $\lceil *$ 診察 $* 」 「 *$ 診断*」「*病*」「*症*」「*リ八ビリ $*\lrcorner\lceil *$ 患者 $*\lrcorner 「 *$ Med i c a $1 *\lrcorner\lceil * \mathrm{MRI} *\lrcorner \Gamma *$健診 $*\lrcorner \Gamma *$ Medi c i ne $*\lrcorner \Gamma *$ Hosp i t a l $*\lrcorner\ulcorner * \mathrm{~K}$ art e $*\lrcorner\ulcorner * \mathrm{P}$ at i en $\mathrm{t} *\lrcorner\ulcorner * \mathrm{p} a \mathrm{t}$ i en t $*\lrcorner\lceil * \mathrm{Reh}$ abil i t at i on $*\lrcorner \Gamma *$健康 $* 」 「 *$ 助産師 $* 」 「 *$ 管理栄養士 $* 」 「 *$ 聴覚障害者 *」「*癒し効果*」「* 疾患 $* 」$

『知財』「*知的財産*」「*知財 $* 」 「 *$ 特許 $* 」 「 *$ 商標 $* 」 「 *$ 著作権*」


# Translation Suggestion based on Pseudo Data generated from Word Alignment

Fuzhu Zhu ${ }^{1}$ Xiaotian Wang ${ }^{1}$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
${ }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan
s2220804_@s.tsukuba.ac.jp
}

\begin{abstract}
In this paper, we propose a method for generating pseudo data for WMT22 Translation Suggestion task using word alignments. Furthermore, we also adopt the method of Data Augmentation to improve the final performance of the models. Meanwhile, we propose to apply the pre-trained mT5 model to WMT22 Translation Suggestion task. For the results, our proposed approach exceeds the baseline on the Translation Suggestion direction of En-Zh pairs. In addition, the performance of the mT5 model illustrates the possibility of applying pre-trained seq 2 seq model to WMT22 Translation Suggestion task.
\end{abstract
## 1 Introduction

With the development of the machine translation field, an increasing number of specialized tasks and demands are being continually proposed. Post-editing is known as editing machine translation to improve its quality. However, manual post-editing is costly, leading to the proposal of methods which aim to assist post-editing. Translation Suggestion (TS) is one of these methods, which has proven its ability in improving the efficiency of post-editing [1] [2]. To spur the research in TS task, Yang et al. [3] have created a golden corpus dataset, WeTS, for TS task. Besides this, due to the scarcity of WeTS, Yang et al. [3] also propose several methods for generating pseudo data ${ }^{1)}$. As for the model, Yang et al. [3] propose the segment-aware self-

1) They use fast-align [4] as one of the methods to generate pseudo data. In their experiments, they have confirmed that fast-align outperforms TERCOM [5]. Meanwhile, Arase et al. [6] have confirmed that OTAlign outperforms fast-align. In this paper, we assume that higher quality word alignment would contribute to generate higher quality pseudo data. Although we do not provide the details, the experimental results show that models pre-trained by pseudo data generated by OTAlign outperform models pre-trained by pseudo data generated by TERCOM. attention based Transformer for TS task. Through their work, we obtain a benchmark for TS task, including generating the pseudo data, model training and evaluation.

In this study, we propose methods for generating pseudo data for TS task by using word alignments which are generated by OTAlign [6]. Meanwhile, we also use the method of data augmentation for TS task. As for the model, we adopt the mT5-base model [7] which is a large-scale pre-trained model. By applying these methods, the final results exceed the baseline, demonstrating the feasibility of our proposed approaches.

## 2 Related Works

Since Yang et al. [3] provided a benchmark for TS. There have already been some achievements related to this task. Mao et al. [8] used the $\Delta \mathrm{LM}$ as their backbone model. $\Delta \mathrm{LM}$ is a pre-trained multilingual encode-decoder model, which outperforms various strong baselines on both natural language generation and translation tasks. For the training data, they construct the pseudo data with two different methods according to its constructing complexity. In their experiments, they find that accuracy indicator of TS can be helpful for efficient PE in practice. On the other hand, the main efforts of Zhang et al. [9] are paid on building the pseudo data. In addition to randomly mask the sub-segment in target reference, they use a quality estimation model to estimate the translation quality of words in translation output sentence and select the span with low confidence for masking. Then, an alignment tool to find the sub-segment corresponding to the span in the reference sentence and use it as the alternative suggestion for the span.

From these works, we find that there are two main ways to improve the final performance of Translation Suggestion. The first method is to construct a more efficient model or
apply some pre-trained models which is suitable for the Translation Suggestion task. Another method is to find well organized ways to generate the pseudo data as the amount of the golden corpus is limited

## 3 Training Models for Translation Suggestion Task

The TS task can be described as a sequence input of the source language sentence $s$ concatenates the masked translation $m^{-w}$,and a sequence output of the target translation suggestion $t$. The input to the model is formatted as:

$
\left[s ;<\text { sep }>; m^{-w}\right]
$

where [;] means concatenation, and $<$ sep $>$ is a special token used as a delimiter. Following the benchmark [3] method, we apply the pseudo data to pre-train the model. After pre-training, we fine-tune the model by utilizing the golden corpus of WeTS. For more information about TS, please refer to the appendix A.

## 4 Generating Pseudo Data for Translation Suggestion Task

Since the high costs and labor-consuming of creating the golden corpus, as well as the difficulty of training a model for Translation Suggestion task with scare amounts of golden corpus data, it becomes imperative to generate the pseudo corpus automatically. In order to achieve this goal, we firstly collect the parallel English-Chinese data from the United Nations Parallel Corpus v1.0 dataset. ${ }^{2)}$ For English-Chinese corpora, we remove sentences that are shorter than 50 words or longer than 200 words. After this operation, we finally get a size of around $10 \mathrm{M}$ corpora.Then we get the machine translation by feeding the English sentences of the cleaned corpus into a corresponding fully-trained NMT model. Finally, we can generate pseudo corpus data by utilizing the cleaned EnglishChinese corpus and the Chinese machine translation.

## 4.1 Generating Pseudo Data by Random Mask

Since this method is described in [3], in this paper, we do not provide a comprehensive explanation. For more information, please refer to the appendix B.

## 4.2 Generating Pseudo Data by Word Alignments

Since the mismatch of distribution between the target sentence and the machine translation sentence is the po-

2) The details of United Nations Parallel Corpus v1.0 dataset can be found at https://conferences.unite.un.org/uncorpus.
Table 1 The number of generated pseudo data with three proposed approaches

 &  &  \\

0TAlign & $4,040,000$ & $3,022,368$ & $5,378,537$ \\

tential problem of random mask method, we propose the approach of utilizing the monolingual word alignment to generate pseudo data for TS task. Then we can generate the pseudo data for TS task based on the alignment information.3)

## Prompting Alignment by OTAlign

Optimal Transport (OT) is a theory which aims to find the most effective method for transferring mass from one measure to another.The OT problem generates the OT mapping, which reveals the correspondences between two samples. While OT is commonly used as a distance metric between two measures, the main focus in alignment problems often lies on the OT mapping. For the reason mentioned above, Arase et al. [6] proposed a method for applying the Optimal Transport theory to generate the word alignments. Their experiments' results indicate that OT-base alignment methods are competitive against the state-of-the-arts designed for word alignment [10] [11].

As shown in Figure 1(b), based on the word alignment generated by OTAlign ${ }^{4)}$, we could create pseudo data for the Translation Suggestion task by following rules:
- Keep : If there is an alignment between two tokens (one is from the target reference sentence, another is from the machine translation sentence), and they are completely identical, then this token is remained in the masked translation.
- Replacement : If there is an alignment between two tokens (one is from the target reference sentence, another is from the machine translation sentence), but they are not the same, then a placeholder is added to the masked translation, and the corresponding target reference token in the word alignment is added to the correct alternative.

3) We test two different ways for generating word alignments, including TERCOM (Snover et al., 2006) and OTAlign (Arase et al., 2023), and the experimental results show that OTAlign performs better.

4) Please refer to the appendix $C$ for details of generating word alignments by OTAlign.

(a) Generating pseudo data by randomly masking the tokens in the target reference text, meanwhile the placeholder in the mask translation is represented by <MASK_REP>

(b) Generating pseudo data by using the word alignment between the target reference text and MT, meanwhile the placeholder in the mask translation is represented by <MASK_REP>

Figure 1 Two methods of generating pseudo data for Translation Suggestion task

Figure 2 The examples of the pseudo data and parallel sentence data constructed from the same source language sentence and target reference sentence pair
- Insertion : If there is an alignment, and the index of the token from the target reference is 2 or more greater than the index of the previous word alignment,, then we consider that tokens between these two indices need to be inserted. Then placeholders are added in the masked translation, and the corresponding tokens are added to the correct alternative.
- Quality judgement : After the four operations mentioned above, we need to assess the quality of the obtained $\left(m^{-w}, y\right)$ pairs. In order to do this, we can evaluate the number of placeholders in the mask trans- lation. If the number of placeholders exceeds a certain threshold, then the quality of that masked translation is considered poor and should be filtered out.
- Placeholders concatenation: In Equation 1, we can observe that the model input contains only 1 placeholder, but after the operations described above, the current sentence may have multiple placeholders. Therefore, we need to concatenate adjacent placeholders to ensure that the number of placeholders remains consistent with the number of one defined in the TS model input. This may result in generating multiple pseudo data from a single triple of $(r, h, a l)$ (Figure 1(b)) .

Based on the rules mentioned above, we ultimately generate the pseudo data by using OTAlign. The numbers of pseudo data after the operation of quality judgement and placeholders concatenation are shown in Table 1.

## 4.3 Data Augmentation

Xiao et al. [12] propose a method which applies the Data Augmentation (DA) technique into the Bilingual Text-

Infilling task and the final experiment result demonstrates the feasibility of DA. Since the Bilingual Text-Infilling task and the TS task are quite similar (both aim to provide correct alternatives for masked (or missing) segments in the corresponding sentences by the models.), we also propose to apply DA into the TS task. Briefly speaking, for the parallel data $\left(x, m^{-w}\right)$ and correct alternatives $y$ in Equation 2, we construct the parallel sentence data $\left(x, \bar{m}^{-w}\right)$ and $\bar{y}$, where $\bar{m}^{-w}=\emptyset$ and $\bar{y}=m^{-w}$. In other words, $\bar{m}^{-w}$ means no tokens are provided in $m^{-w}$. Then we combine the pseudo data and the parallel sentence data to train the TS models in our experiments.

## 5 Experiments

## 5.1 Translation Suggestion Task Settings

For training, we apply the two-state training pipline, where we pre-train the model on the pseudo data in the first stage, and then fine-tune the model on the golden $\mathrm{WeTS}^{5)}$ corpus in the second stage. To compare the performance of the generated pseudo data, we consider the model pre-trained with pseudo data generated by random mask as the baseline model. We divided the existing two types of pseudo data into subsets of 1,2 and 4 million each. Meanwhile, we add an equal amount of parallel sentence data to each subsets of pseudo data. By comparing the performance of models trained on the same amount of pseudo data and parallel sentence data, we verify the effectiveness of data augmentation for the TS task. Other experimental settings are in appendix D.

## 5.2 Results

As shown in Table 2, as the amount of generated pseudo data increases, the improvement in model's performance is noticeable but not extremely significantly. Compared to models pre-trained using an equal amount of pseudo data generated by randomly mask (Baseline: mT5_base_1M, mT5_base_2M, mT5_base_4M), the performance of models only pre-trained with OTAlign-generated pseudo data is worse than baseline models. However, after fine-tuning, models pre-trained with pseudo data generated by OTAlign's word alignments outperform the baseline. On the other hand, we also want to confirm whether data aug-

5) You can download this dataset from https://openai.weixin. qq. com/translate/description. mentation methods can enhance the performance of the mT5-base model in the TS task.As shown in Table 2, after adding an equal amount of parallel sentence data, models only pre-trained with OTAlign-generated pseudo data and parallel sentence data don't achieve higher BLEU scores compared to the baseline models with the same amount of data. However, after fine-tuning, models with OTAligngenerated pseudo data and parallel sentence data achieve higher scores than baseline models. Especially, when the mT5-base model is pre-trained with 4M OTAligngenerated pseudo data and $4 \mathrm{M}$ parallel sentence data, it achieves a BLEU score of 22.3 after fine-tuning. ${ }^{6)}$

Table 2 The evaluation result of models trained by two types of generated pseudo data. ("*" shows the significant $(p<0.05)$ BLEU scores of models' outputs which are pre-trained and fine-tuned with generated pseudo data in the same amount, compared with mT5_base_xM)

## 6 Conclusion

In order to improve the performance of TS, we have attempted to use OTAlign for generating pseudo data. The experiment results indicate that pseudo data generated using OTAlign is effective for pre-training models, thereby improving the effectiveness of TS. Meanwhile, we show that Data Augmentation technology for TS, the results show that the parallel sentence data can significantly improve the effectiveness of TS.

6) Besides these experiments, we used the $4 \mathrm{M}$ pseudo-data generated by random mask, 4M OTAlign generated pseudo-data, and about $12 \mathrm{M}$ of parallel sentence data (approximately $20 \mathrm{M}$ in total) for the pretraining of the mT5-base model. After fine-tuning, the model's BLEU score increased to 26.4. This indicates that continuously increasing the pseudo data volume according to our proposed method can further enhance the model's performance.

## References

[1] D. Lee, J. Ahn, H. Park, and J. Jo. IntelliCAT: Intelligent machine translation post-editing with quality estimation and translation suggestion. In Proc. 59th ACL and 11th IJCNLP, pp. 11-19, 2021.

[2] Q. Wang, J. Zhang, L. Liu, G. Huang, and C. Zong. Touch editing: A flexible one-time interaction approach for translation. In Proc. 1st AACL and 10th IJCNLP, pp. 1-11, 2020.

[3] Z. Yang, F. Meng, Y. Zhang, E. Li, and J. Zhou. WeTS: A benchmark for translation suggestion. In Proc. EMNLP, pp. 5278-5290, 2022.

[4] C. Dyer, V. Chahuneau, and N. Smith. A simple, fast, and effective reparameterization of IBM model 2. In Proc. NAACL-HLT, pp. 644-648, 2013.

[5] M. Snover, B. Dorr, R. Schwartz, L. Micciulla, and J. Makhoul. A study of translation edit rate with targeted human annotation. In Proc. AMTA, Vol. 200, 2006.

[6] Y. Arase, H. Bao, and S. Yokoi. Unbalanced optimal transport for unbalanced word alignment. In Proc. 61st ACL, pp. 3966-3986, 2023.

[7] L. Xue, N. Constant, A. Roberts, M. Kale, R. Al-Rfou, A. Siddhant, A. Barua, and C. Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. In Proc. NAACL, pp. 483-498, 2021.

[8] H. Mao, W. Zhang, J. Cai, and J. Cheng. Transn's submissions to the WMT22 translation suggestion task. In Proc. 7th WMT, pp. 1205-1210, 2022.

[9] H. Zhang, S. Lai, S. Zhang, H. Huang, Y. Chen, J. Xu, and J. Liu. Improved data augmentation for translation suggestion. In Proc. 7th WMT, pp. 1211-1216, 2022.

[10] W. Lan, C. Jiang, and W. Xu. Neural semi-markov CRF for monolingual word alignment. In Proc. 59th ACL and 11th IJCNLP, pp. 6815-6828, 2021.

[11] M. Nagata, K. Chousa, and M. Nishino. A supervised word alignment method based on cross-language span prediction using multilingual BERT. In Proc. EMNLP, pp. 555-565, 2020.

[12] Y. Xiao, G. Huang L. Liu, Q. Cui, S. Huang, S. Shi, and J. Chen. BiTIIMT: A bilingual text-infilling method for interactive machine translation. In Proc. 60th ACL, pp. 1958-1969, 2022.

[13] P. F. Brown, S. A. Della Pietra, V. J. Della Pietra, and R. L. Mercer. The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, Vol. 19, pp. 263-311, 1993.

[14] T. Kudo and J. Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. EMNLP, pp. 66-71, 2018 .

[15] K. Papineni, S. Roukos, T. Ward, and W. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. 40th ACL, pp. 311-318, 2002.

## A Translation Suggestion

Translation suggestion is an important tool for postediting. To further reduce the post-editing time, researchers [1] [2] propose to apply TS into post-editing, where TS provides the sub-segment suggestions for the annotated incorrect word spans in the results of machine translation, and their extensive experiments show that TS can substantially reduce translators' cognitive loads and the post-editing time.

To enhance the research in the TS area. Yang et al. [3] propose a benchmark for TS. In their proposal, they consider TS task as this: Given the source sentence $x=\left(x_{1}, \ldots, x_{s}\right)$, the translation sentence $m=\left(m_{1}, \ldots m_{t}\right)$, the incorrect words or spans $w=m_{i: j}$ where $1 \leq i \leq j \leq t$ , and the correct alternative $y$ for $w$, the task of TS is optimized to maximize the conditional probability of $y$ as follows:

$
P\left(y \mid x, m^{-w}, \theta\right)
$

## B Generating Pseudo Data by Random Mask

Random mask on the golden parallel corpus is the most straightforward approach to generate pseudo data for TS. Give the sentence pair $(x, r)$ in the cleaned English-Chinese corpus, where $x$ is the source language sentence and $r$ is the corresponding target reference sentence. We denote $r^{\backslash i: j}$ as a masked version of $r$, which means a portion of $r$ from position $i$ to $j$ is replaced with a placeholder (<MASK_REP>). The $r^{i: j}$ denotes the portion of $r$ from position $i$ to $j$. We consider $r^{i: j}$ and $r^{\backslash i: j}$ as the correct alternative ( $y$ in Equation 1) and masked translation $\left(m^{-w}\right.$ in Equation 1) respectively. In this approach, the mask translation in each example is part of the target reference sentence $r$. (Figure 1(a)).

Specifically, we randomly select one token in target reference sentence with a certain probability ${ }^{7)}$ as the first token of the incorrect span. Then, in order to generate the correct alternative and the masked translation, we set another certain probability to decide the length of the incorrect span which is started from the first token we selected. Finally, the correct alternative and the masked translation can be

generated.

## C Generating word alignments by OTAlign

As for the OT problem, the inputs are a cost function and a pairs of measures. Assuming that the word embeddings of target reference sentence $r$ and the corresponding MT sentence $h$ are at hand. A cost refers to a dissimilarity between $r_{t}$ and $h_{k}$ computed by a distance metric such as Euclidean and cosine distances. The cost matrix $\mathbf{C}$ summarises the cost of any word pairs: $C_{t, k}=c\left(r_{t}, h_{k}\right)$. A measure means a weight each word has. The concept of measure corresponds to the notion of fertility introduced in IBM Model 3 [13], which defines how many target reference(MT) words a MT word(target reference) word can align. The mass of words in $r$ and $h$ is represented as arbitrary measures $a \in \mathbb{R}_{+}^{t}$ and $b \in \mathbb{R}_{+}^{k}$. Finally, an alignment matrix $\mathbf{P}$ is computed to minimize the sum of alignment costs under the cost matrix $\mathbf{C}$ :

$
L_{C}(\boldsymbol{a}, \boldsymbol{b}):=\min _{P \in U(a, b)}<\boldsymbol{C}, \boldsymbol{P}>
$

where $\langle\boldsymbol{C}, \boldsymbol{P}\rangle:=\sum_{t, k} C_{t, k} P_{t, k}$.With this formulation, we can seek the most reliable word alignment matrix $\mathbf{P}$

## D Experimental Settings

As for the mT5-base model ${ }^{8}$, the pseudo data is jointly tokenized into sub-word units with SentencePiece. [14] During pre-training, the batch size is set as 32 , and the learning rate is set to $3 \mathrm{e}-5$. During fine-tuning, the batch size is also set as 32, and the learning rate is set to $1 \mathrm{e}-$ 5. Especially, we pre-train the mT5-base model using the generated pseudo data and the parallel sentence data for one epoch and fine-tune the model for ten epochs. All the other configurations are remained unchanged as the setting of the benchmark [3]. In order to evaluate the models, we utilize the official evaluation tool scarebleu ${ }^{9)}$ to evaluate the model's output(The translation suggestion segment in Chinese) against the reference correct alternatives. In this paper, because we only select the English-Chinese direction, the BLEU [15]score is calculated on the characters with the default tokenizer for Chinese. For experiments related to the mT5-base model we conduct them on an NVIDIA A6000 RTX (48GB) with CUDA 11.3.


# 翻訳文の部分構造を制約とした機械翻訳

帖佐 克己 ${ }^{1,2}$ 上垣外 英剛 2 渡辺太郎 2
${ }^{1}$ NTTコミュニケーション科学基礎研究所 2 奈良先端科学技術大学院大学
katsuki.chousa@ntt.com \{kamigaito.h, taro\}@is.naist.jp

## 概要

語彙制約付き機械翻訳は，指定された語句を訳語として含む文を生成するという制約の下で機械翻訳を行うタスクである。制約として指定する単位を語句からテキストの構造へ拡張することで，機械翻訳結果への操作性が向上することが期待できるが，これまで構造を制約としたニューラル機械翻訳は取り組まれてこなかった．そこで，本論文では，従来の語彙制約付き機械翻訳手法を拡張し, 目的言語側の部分構造を制約とした機械翻訳を行う手法を検討する。

## 1 はじめに

語彙制約付き機械翻訳は，指定された語句を訳語として含む文を生成するという制約の下で機械翻訳を行うタスクである $[1,2,3,4]$. 訳語を指定することで，特許や法務等での翻訳で重要とされる，文書内での訳語の一貫性を担保できる。また，後編集のように，人間が修正の指示を与えながら翻訳を行う，インタラクティブな翻訳にも語彙制約付き機械翻訳は応用可能である。このタスクは近年活発に取り組まれており，制約を満たした上で高品質な翻訳文の生成が可能になりつつある.

制約として指定する単位を語句からテキストの構造へ拡張することで，機械翻訳の出力に対する操作性がより向上することが期待できる。テキストはその背後に構造を持ち, その構造によってテキスト中の語句間の関係や文型が表現される。そのため，構文構造や談話構造を用いて，その部分構造を制約とすることで，語彙制約では実現できなかったフレー ズ間の関係や文型に対しても操作可能になる. 例えば，句構造や依存構造などの構文構造の部分木を制約とすることで態を選んだ訳出が可能になり，日英などの同時通訳で問題となる語順の異なりを解決することができる．また，談話構造を利用することで，特許翻訳などで重要とされる句の並列関係の一貫性が翻訳前後で保たれていることを担保できる.

しかし，構造を制約としたニューラル機械翻訳に関してはこれまで取り組まれていない，また，従来の語彙制約付き機械翻訳手法 $[2,3]$ が構造を制約とした機械翻訳に適用可能であるかどうかも明らかではない。

本論文では，語彙制約付き機械翻訳手法を拡張し，目的言語側の部分構造を制約とした機械翻訳を行う手法を検討する。構造制約を与えるには翻訳文とその構造が必要であるため，その 2 つの情報をまとめた構造付き翻訳文を 1 つの $\mathrm{S}$ 式として表し，原言語文からその $\mathrm{S}$ 式を直接生成する。また，構造制約も，葉ノードとして語彙が含まれる $\mathrm{S}$ 式の形で与える。このとき，構造制約を含む構造付き翻訳文を探索するために構造制約を考慮する翻訳モデルや構造制約付きデコーディングを行い，構造制約付き機械翻訳を実現する．ASPEC [5] を用いた日英翻訳での実験を行い，構造付き翻訳文を出力する翻訳モデルと制約付きデコーディングを組み合わせる事によって，制約を完全に満たす翻訳文を精度を落とすことなく生成できることが確認できた。また，構造制約を考慮する翻訳モデルが構造制約の充足率が 100\%に近い状態で高精度な翻訳文を生成できることも示した。

## 2 関連研究

構造を制約としたニューラル機械翻訳に関してはこれまで取り組まれていないが，語彙制約付き機械翻訳に取り組んだ研究はこれまでにいくつか提案されている. それらの研究は制約を完全に満たすことを保証するかどうかによって 2 種類に大別され，制約を完全に満たすことを保証する手法はハード制約付き手法，そうでない手法をソフト制約付き手法と呼ばれる [3].

ハード制約付き手法では，主にデコーディングの過程で全ての指定語句を含む系列を探索する方法が用いられる. Post ら [2] はビームサーチの遷移や状
態の持ち方を拡張することで制約付きデコーディングを実現している. Lu ら [6] は，トークンの先読みを行い，将来的な制約の充足率に基づく探索による制約付きデコーディング手法を提案している.これらの手法は制約を満たすことを保証できるが，従来の翻訳器と比べて探索に大きい計算コストを必要とし，入力によっては翻訳精度が低下してしまう。

一方で，ソフト制約付き手法では，主に翻訳モデルへの入力を工夫する方法が採用されている. LeCA [3] は，原文の末尾に語彙制約を結合した系列をモデルに入力するというシンプルな手法で，一定の制約の充足率を達成している。他にも，大規模言語モデル（LLM）のプロンプトとして対訳となるフレーズのペアに関する指示を与えて翻訳を行う手法も提案されている [7]. このような手法はハード制約の手法に比べて高速に動作するが，いくつかの指定語句が出力されない可能性がある．また，LLM を用いた構造制約付き翻訳に関しては，自然言語で厳密に翻訳文の構造に関する指示を与えるのは難しいことや，LLM で構造付き翻訳文を生成する方法が明らかではないという課題がある。

また，この両方の手法を組み合わせることによって，ハード制約を満たした上で，ハード制約単体よりも少ない計算コストで，高い翻訳精度を実現できることも報告されている [4].

## 3 提案手法

## 3.1 定式化

構造制約付き機械翻訳は, $I$ トークンの原文 $X=\left(x_{1}, \cdots, x_{I}\right)$ と翻訳先言語の部分構造の集合 $C=\left(C_{1}, \cdots, C_{K}\right)$ が構造制約として与えられたときに，その部分構造を含む $J$ トークンの翻訳文 $Y=\left(y_{1}, \cdots, y_{J}\right)$ を生成するタスクである.このとき, 制約として与えられたリスト中の順序と, 翻訳文中の部分構造の出現順序は必ずしも一致しない. また，語彙制約は翻訳文中にそのまま含まれていたのに対して, 本タスクでは構造制約がそのまま翻訳文に含まれない，そのため，生成された翻訳文が制約を満たしているかどうかを判定するには翻訳文の構造を別途獲得する必要がある. さらに, 従来の翻訳モデルでは生成過程において翻訳文の構造にアクセスできないため，既存の制約付きデコーディング手法を構造制約に適用することが難しい.

翻訳文とその構造を得るために，その構造を $\mathrm{S}$ 式
として線形化して 1 つ文字列で表した， $L$ トークンの構造付き翻訳文 $Y^{s t r}=\left(y_{1}^{s t r}, \cdots, y_{L}^{s t r}\right)$ を直接生成する手法 [8, 9] を利用する. また, 各構造制約 $C_{k}$ は, $Y_{s t r}$ と同じ種類の構造による, 連続した 1 つの $\mathrm{S}$ 式として与えられる. そして, 制約 $C$ を満たす系列のうちから以下の条件付き確率を最大化する系列を探索することで，構造制約付き機械翻訳を実現する。

$
p\left(Y^{s t r} \mid X, C\right)=\prod_{l}^{L} p\left(y_{l}^{s t r} \mid y_{<l}^{s t r}, X, C\right) .
$

このとき，与えることができる構造制約 $C_{k}$ は翻訳文の構造の部分木に制限されるが，これらの構造制約が構造付き翻訳文 $Y_{s t r}$ の部分文字列として現れるようになる。また，生成過程において翻訳文の構造を参照することができるため，語彙制約付き機械翻訳と同様の枠組みで構造制約付き機械翻訳を実現できる.

## 3.2 構造制約付き翻訳モデル

生成過程で翻訳文の構造を利用するために，原文から構造付き翻訳文を生成する，構造付き翻訳モデルを作成する．翻訳モデルの学習に用いられる対訳コーパスには一般的に翻訳文の構造情報が付与されていないため，既存のパーサを用いて翻訳文の構造情報を獲得し，S 式として表される構造付き翻訳文を作成する.この構造付き翻訳文と原文のペアを用いて，従来の翻訳モデルと同様の枠組みでモデルを学習することで，構造付き翻訳モデルを作成する。

さらに，翻訳モデル中で構造制約を考慮して翻訳を行う構造制約付き翻訳モデルを作成するために， LeCA [3] と同様に，原文と制約を結合して入力系列を拡張する手法を用いる。この入力系列は，区切りとなるシンボルである $\langle$ sep $\rangle$ で原文 $X$ と制約 $C$ 中の各部分構造 $C_{k}$ を連結することにより，以下のように作成する。

$
\left[X,\langle\text { sep }\rangle, C_{1},\langle\text { sep }\rangle, C_{2}, \cdots, C_{K},\langle\text { eos }\rangle\right]
$

ここで，〈eos〉は文の終端を表すシンボルである.

モデルの学習時にも式（2）の入力系列は用いられるが，既存の対訳コーパスには構造制約の情報が付与されていない. そこで，正解の翻訳文から構造制約を作成し，構造制約の擬似的な正解データとして利用する.この構造制約は，構造付き翻訳文から構造同士の重なりが無いように $K$ 個の部分構造をランダムに抽出することで作成する。このとき，制
表 1 開発用・テスト用セットの構造制約の統計情報

 &  \\

テスト & $21.76(14.64)$ & $1.51(0.65)$

約の個数 $K$ はハイパーパラメータとして与えられる確率分布に従って，ランダムに決定する。

## 3.3 構造制約付きデコーディング

本タスクでは与えられた制約を必ず満たす翻訳文を生成する必要があるが，前述の翻訳モデル単体では生成した翻訳文が制約を満たすことを保証することができない．そこで，構造付き翻訳モデルのデコーディング時に，語彙制約付きデコーディング（lexically constrained decoding; LCD）を用いる [2]. LCD は翻訳文の探索のためにビームサーチを行う際に，制約を考慮して翻訳文の候補を選択を行う手法であり，これにより制約を満たした翻訳文が得られることを保証できる. この手法は元々は語彙制約のための制約付きデコーディングとして提案されたものだが， 3.1 節の通り，構造制約を構造付き翻訳文の部分文字列とすることで，語彙制約付き機械翻訳と同様の枠組みで構造制約を扱うことができるため，この手法を構造制約のための制約付きデコー ディング手法として利用することができる.

## 4 実験

提案手法の有効性を評価するため，日英翻訳を対象として, 句構造を構造制約とした構造制約付き機械翻訳の制度評価を行った。

## 4.1 データセット

学習および評価に使用する対訳コーパスとして ASPEC [5] を使用した. ASPEC の学習データのうち，最後の 100 万文対に関してはノイズが多く含まれていることから, 最初の 200 万文対のみを学習データとして使用した. テキストの構造情報には句構造を使用した. SuPar ${ }^{1)}$ の CRF モデル [10]を用いて構文解析を行い，S 式で表される構造付き翻訳文を作成した. SentencePiece [11]を用いてサブワードへの分割を行った. 語彙は日本語と英語で共有とし, サイズは 32,000 とした. また, 学習時に過度に長い文を用いるのを避けるために, Moses の

1) https://github.com/yzhangcs/parser clean-corpus-n.perl 2) によって文長が 512 を超えるものを学習データから削除した。

学習データの構造制約の作成に際して，各制約の最大トークン数は 150 , 最小の木の深さは 2 とした. また， 1 文あたりの構造制約の最大個数は 3 とし，各文に対する制約の個数 $K$ は以下の分布 $p(K)$ に従ってサンプリングを行い決定した。

$
p(K)= \begin{cases}0.3 & (K=0) \\ 0.7 / 3 & (1 \leq K \leq 3)\end{cases}
$

開発およびテスト用データセットの構造制約についても，学習データと同様の方法で作成した. 表 1 に，開発およびテスト用データセットの構造制約の統計情報を示す。

## 4.2 翻訳モデル

本実験では以下の 3 つの翻訳モデルを作成し，評価に用いた。

ベースライン原文から翻訳文を生成する，一般的な翻訳モデル

構造付き翻訳モデル原文から構造付き翻訳文を生成する翻訳モデル

構造制約付き翻訳モデル原文と構造制約から構造付き翻訳文を生成する翻訳モデル

ベースラインには Transformer（big） [12]を用いた. 制約付きデコーディングを用いる際には通常よりも大きいビームサイズを使用する必要があるため，本実験ではビームサイズを 20 とした. その他のベースラインの設定およびハイパーパラメータの詳細については付録の表 3 に示す. その他のモデルについても，特に明記していない場合はべースラインに準じた設定およびハイパーパラメータを使用している。モデルの実装には fairseq [13]を用いた.

## 4.3 評価尺度

構造制約付き機械翻訳の評価は，語彙制約付き機械翻訳における観点を基に，翻訳文の翻訳精度および構造制約の充足率という観点に基づいて行った.翻訳精度の評価尺度には自動評価尺度としてデファクトスタンダードな手法である BLEUを使用し，その計算には sacrebleu [14] を用いた. 本実験で用いたモデルには構造付き翻訳文を出力するものもあるが，それらの翻訳精度の評価に際しては，出

2) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/training/clean-corpus-n.perl
表 2 各手法の翻訳精度および制約の充足率.太字は各尺度で最も高いスコアを示す。

力から構造情報を取り除いて翻訳文のみを抽出して計算を行った.

構造制約の充足率を測る尺度には，語彙制約付き機械翻訳でも用いられている Term\%と Sent\%の 2 つの尺度を用いた [4]. Term\%は構造制約のうち正しく生成された構造制約の割合, Sent\%は構造制約をすべて満たす翻訳文の割合として定義される。

## 4.4 実験結果

各手法の翻訳文の翻訳精度および構造制約の充足率を表 2 に示す。

まず，構造付き翻訳モデルの翻訳精度が，ベースラインと比べて BLEUが 0.8 ポイントの減少と，大きく低下していないことがわかる. 構造付き翻訳モデルは $\mathrm{S}$ 式で表される構造付き翻訳文を生成することで翻訳とその構文解析を同時に行う。そのため, ベースラインのような翻訳だけを行うタスクよりも難しく，翻訳精度が低くなってしまう可能性があった. この懸念に対して, 結果より, 構造付き翻訳文を生成する方法でもべースラインと同程度の精度で翻訳が行えることが確認できた.

次に，構造付き翻訳モデルに制約付きデコーディングを組み合わせた結果に着目すると，構造付き翻訳モデル単体と比べて翻訳精度が BLEU で 1 ポイント改善しており，さらに構造制約の充足率もほぼ 100\%を達成していることが確認できる。このとき，ハード制約を満たすはずの制約付きデコーディングを適用しているにもかかわらず Term\%と Sent\%

の文字の正規化などが表記ゆれが発生しているためであり，その点に対応すると両方の充足率は $100 \%$ を達成している. また, WAT の語彙制約付き翻訳データセット [1] での語彙制約の平均単語数が 6.6 7.4 単語であるのに対して，今回作成した構造制約のトークン数は平均 21 トークン前後と, 語彙制約が $\mathrm{S}$ 式で与えられることによりトークン数が増加している.このような長いトークンからなる構造制約
に対しても，制約付きデコーディングを用いることで，制約を満たす翻訳文を精度を落とすことなく探索できることが確認できた。

また，構造制約付き翻訳モデルの結果に着目すると, ベースラインに比べて BLEU が+16.3 ポイントと，翻訳精度が大幅に改善していることが確認できる. さらに，構造制約の充足率についても，制約付きデコーディングを使用していないにもかかわらず Term\%と Sent\%の両方においてほとんど 100\%に近いスコアを達成しており，ほとんどの構造制約は満たされている.この高い充足率の理由としては，構造制約のトークン数が非常に大きいということが考えられる。構造制約のトークン数が増加するということは，構造制約付き翻訳モデルの入力から出力にそのままコピーするトークンの数が増えるということになるため，モデルの学習過程において入力をコピーするようにモデルが強く学習した結果，非常に高い充足率に繋がった可能性が考えられる.

最後に，構造制約付き翻訳モデルに制約付きデコーディングを組み合わせた際の結果に着目すると，構造制約付き翻訳モデル単体と比べて制約の充足率は改善していることがわかる。一方で，翻訳精度については, ベースラインや構造付き翻訳モデルを用いた手法に比べると改善しているが，構造制約付き翻訳モデル単体と比べると減少している. これは，制約付きデコーディングによって構造制約を考慮した翻訳文の候補の選択が行われるために，一般的なビームサーチと比べて十分な探索が行えずに翻訳精度が減少しているのではないかと考えられる。

## 5 まとめ

本論文では語彙制約付き機械翻訳を拡張し，目的言語側の部分構造を制約とした構造制約付き機械翻訳タスクを提案した. さらに，その構造制約付き機械翻訳を行う手法として，翻訳文とその構造を同時に出力する構造付き翻訳モデルやそのモデルを拡張して構造制約も考慮した構造制約付き翻訳モデル，構造制約付きデコーディングを提案した. ASPEC を用いた日英翻訳での実験を行い，構造付き翻訳モデルと制約付きデコーディングを組み合わせる事によって，制約を完全に満たす翻訳文を精度を落とすことなく生成できることが確認できた。また，構造制約付き翻訳モデルが構造制約の充足率が $100 \%$ に近い状態で高精度な翻訳文を生成できることも示した.

## 参考文献

[1] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th workshop on Asian translation. In Toshiaki Nakazawa, Hideki Nakayama, Isao Goto, Hideya Mino, Chenchen Ding, Raj Dabre, Anoop Kunchukuttan, Shohei Higashiyama, Hiroshi Manabe, Win Pa Pa, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, Katsuhito Sudoh, Sadao Kurohashi, and Pushpak Bhattacharyya, editors, Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 1-45, Online, August 2021. Association for Computational Linguistics.

[2] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 13141324, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of IJCAI 2020: Main track, pp. 3587-3593, 72020.

[4] Katsuki Chousa and Makoto Morishita. Input augmentation improves constrained beam search for neural machine translation: NTT at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 53-61, Online, August 2021. Association for Computational Linguistics.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Sara Goggi, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Helene Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[6] Ximing Lu, Sean Welleck, Peter West, Liwei Jiang, Jungo Kasai, Daniel Khashabi, Ronan Le Bras, Lianhui Qin, Youngjae Yu, Rowan Zellers, Noah A. Smith, and Yejin Choi. NeuroLogic a*esque decoding: Constrained text generation with lookahead heuristics. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 780-799, Seattle, United States, July 2022. Association for Computational Linguistics.

[7] Yasmin Moslem, Rejwanul Haque, John D. Kelleher, and Andy Way. Adaptive machine translation with large language models. In Mary Nurminen, Judith Brenner, Maarit Koponen, Sirkku Latomaa, Mikhail Mikhailov, Frederike Schierl, Tharindu Ranasinghe, Eva Vanmassenhove, Sergi Alvarez Vidal, Nora Aranberri, Mara Nunziatini, Carla Parra Escartín, Mikel Forcada, Maja Popovic, Carolina Scarton, and Helena Moniz, editors, Proceedings of the 24th Annual Conference of the European Association for Machine Translation, pp. 227-237, Tampere, Finland, June 2023. European Association for Machine Translation.

[8] Oriol Vinyals, L ukasz Kaiser, Terry Koo, Slav Petrov, Ilya Sutskever, and Geoffrey Hinton. Grammar as a foreign language. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc., 2015.
[9] Roee Aharoni and Yoav Goldberg. Towards string-to-tree neural machine translation. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 132-140, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Yu Zhang, Houquan Zhou, and Zhenghua Li. Fast and accurate neural CRF constituency parsing. In Proceedings of IJCAI, pp. 4046-4053, 2020.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Eduardo Blanco and Wei Lu, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

## A ベースラインの設定

ベースラインに用いた翻訳モデルの設定及びハイパー パラメータを表 3 に示す.

表 3 ベースラインのモデルの設定およびハイパーパラメータ

アーキテクチャ

Tied-embeddings

Transformer(big) [12]

Encoder/Decoder の Embedding と Decoderの最終層の重みを

Optimizer

学習率の更新方法

Warmup

$\underset{1 e-8}{\operatorname{Adam}}\left(\beta_{1}=0.9, \beta_{2}=0.98, \epsilon=\right.$

学習率の最大値

Inverse square root decay

Dropout

4,000 ステップ

0.001

Gradient Clipping

0.3

Label Smoothing

1.0

ミニバッチサイズ

0.1

更新回数

512,000 トークン

ビームサイズ 30,000 ステップ 20


# 漸進的な音声分割を用いたストリーミング同時音声翻訳

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 概要

同時音声翻訳モデルを実用化する際には、連続音声を逐次的に処理する必要があるが、近年の研究は音声が文等の短い単位に分割されたベンチマークデータを対象に行われており、連続音声の処理については十分に検討が行われていない。そこで本稿では漸進的な音声分割モデルを作成し、同時音声翻訳モデルと組み合わせて連続音声を処理するストリー ミング同時音声翻訳システムを構築した。実験では、音声分割手法がトップラインの 94\%以上の翻訳精度を維持できることを確認し、また音声分割における将来と過去の音声情報の重要性を検証した。

## 1 はじめに

同時音声翻訳は、発話の完了を待たずに翻訳処理を開始する音声機械翻訳であり、言語の壁を超えた即時性の高い情報伝達を実現する技術として実用化が期待されている。同時音声翻訳の従来方式では、音声認識、発話より短いチャンクへの自動分割、機械翻訳という 3 つの処理が必要であった $[1,2,3]$ 。 ニューラル機械翻訳 [4] の発展に伴い、音声を直接翻訳する End-to-end 型の音声翻訳モデル [5] を用いてよりシンプルな構成で同時音声翻訳が実現できるようになった。Maら [6] は、テキストからテキストへの同時翻訳の手法 $[7,8]$ を同時音声翻訳に適用した。Liu ら [9] は訳出タイミングと翻訳精度を同時に最適化する手法を提案した。近年では、事前学習済みの大規模な音声モデルや多言語モデルを用いた同時音声翻訳が提案されている $[10,11]$ 。

このような発展の一方で、同時音声翻訳における連続音声の処理方法については十分な検討がなされていない。音声は本来、長さに制限のない連続的なデータ(ストリーミングデータ)である。しかしほとんどの既存研究ではそのような大力が想定されておらず、実験では事前に発話単位に分割された数秒〜十数秒程度の音声セグメントが大力として用いられ
てきた。

即時性が求められない通常の音声機械翻訳 (オフライン音声翻訳) では、連続音声を適切に処理するための手法が研究されている。既存の音声翻訳モデルは単体で連続音声を処理することが難しいため、翻訳前に音声分割を実行する方法が一般的である。音声区間検出による分割 [12] は最も典型的な音声分割手法であるが、発話の過剩な分割により翻訳精度を低下させる問題が指摘されている [13]。この問題を緩和するため、音声区間で分割した音声セグメン卜を一定の長さになるまで連結する方法が提案されている $[14,15]$ 。近年では、音声翻訳コーパスに含まれる発話単位のセグメント境界を予測する分類器を用いたモデルベースの手法が提案され、従来手法を大きく上回ることが報告されている $[16,17,18]$ 。

既存の音声分割手法の多くはオフライン音声翻訳のために設計されており、発話より長い音声を入力することが想定されている。一方で同時音声翻訳においては、翻訳処理と同様に、発話の完了を待たずに漸進的な音声分割処理を行う必要がある。そこで本稿では、オフライン音声翻訳のための音声分割手法の、同時音声翻訳への適用可能性を検討した。具体的には、モデルベースの音声分割手法 [18] を漸進的な処理に対応させるために、学習時に参照できる将来の情報に制約をかけて音声分割モデルの学習を行った。その後、作成した音声分割モデルと同時音声翻訳モデルを組み合わせてストリーミング同時音声翻訳システムを構築した。TED talks $の$ 音声翻訳コーパス MuST-Cを用いた英独音声翻訳実験で、提案手法がベースラインを上回り、音声翻訳コーパスに含まれる文単位のセグメントの 94\%以上の翻訳精度を維持できることを示した。また、音声分割モデルが参照できる将来の情報に制約をかけることで学習と推論の条件の不一致が緩和され、翻訳精度が向上することを確認した。最後に、音声分割における過去の情報の重要性を検証した。

## 2 漸進的な音声分割

## 2.1 モデルベースの音声分割

音声翻訳コーパスには通常、文にアライメントされた音声セグメントを含む。これらのセグメントの境界は多くの場合発話の区切りと一致するため、翻訳に適していると考えられる。SHAS [16] は、音声翻訳コーパスのセグメント境界を予測する分類器を用いてオフライン音声翻訳において高い翻訳精度を達成した。SHAS の分類器の構造は、事前学習済みの自己教師あり音声モデル wav2vec 2.0 [19] のエンコーダに 1 層の Transformer Encoder 層 [20]を繋げたニューラルネットワークモデルである。モデルは、 フレーム単位の系列ラベリング問題として音声翻訳コーパスのセグメント境界の予測を学習する。学習時及び推論時には固定長 (20 秒)の音声が入力される。SHAS+FTPT [18] は、SHAS の拡張であり、分類器の wav2vec 2.0 のパラメータを追加学習することでより高い翻訳精度を達成した。また SHAS+FTPT は、音声をより短いセグメントに分割するため、処理時間の観点から漸進的処理に適している。

## 2.2 Attention masking

本研究では音声分割モデル SHAS+FTPTを同時音声翻訳に適用する。wav $2 \mathrm{vec} 2.0$ 及び追加の Transformer Encoder 層では、self-attention により、最大 20 秒先の音声情報を参照できる。同時音声翻訳では、発話より短いチャンクを漸進的に処理する必要があるため、SHAS+FTPT の学習時のように長い将来の情報を参照できない。本研究では、モデル学習時に self-attention が参照できる将来の情報に制約をかけることで推論時とのギャップを低減することを検討した。Self-attention は下式で定義される scaled dot-product attention である。

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d}}\right) V
$

Attention の重み行列 $\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d}}\right) \in R^{T \times T}$ は、 $j$ 番目の Query $Q_{j}$ が $i$ 番目の Value $V_{i}$ を参照する際の重み $\alpha_{i, j}(i<=T, j<=T)$ の要素から構成されている。 もし $\alpha_{i, j}=0$ であれば、 $Q_{j}$ は $V_{i}$ を参照しない。ここで、Attention の参照範囲を制御するために、重み行列にマスク行列 $M \in R^{T \times T}$ を掛け合わせることができる。もし $M(i, j)=0$ であれば、 $Q_{j}$ は $V_{i}$ を参照しない。

図 1 : ストリーミング同時音声翻訳システムの概要

本研究では異なるマスク行列 $M$ のパターンを用いて学習した 3 つ音声分割モデルを比較した。
- Unmasked: $M$ を用いない。学習時に selfattention は最大 20 秒先の情報を参照できる。
- Monotonic masking [21, 22, 23]: $i, j(j<i)$ について $M(i, j)=0$ となるような $M$ を用いる。学習時に self-attention は過去の情報のみ参照できる。
- Chunk-wise masking [24, 25]: 入力フレームを固定のチャンクサイズに分割して現在と過去のチャンクだけを参照できるようにする。具体的には、

$
M(i, j)= \begin{cases}0 & \text { if } c(i) \neq c(j) \text { and } j<i \\ 1 & \text { otherwise. }\end{cases}
$

とする。 $c(i)$ は $i$ 番目のフレームが属するチャンクのインデックスである。 Monotonic masking と比べ、チャンク単位で漸進的に処理を行う推論時と近い条件で学習を行う。

## 3 ストリーミング同時音声翻訳

図 1 に本稿で構築するストリーミング同時音声翻訳 （Streaming Simultaneous ST） システムの概要図を示す。システムは音声分割 (Segmentation) と同時音声翻訳 (Simultaneous ST) で構成されており、 2 つのモデルが交互に処理を行うことで動作する。擬似コードを Algorithm 1 に示す。システムは receive_speech_stream() 関数を用いて音声データを連続的に受け取り chunk に追加する (行 8)。音声チャンク chunk の長さが固定長 $X$ に達すると、音声分割 Segmentation $(\cdot)$ を実行する (行 10-11)。次に、音声分割結果として得られる音声セグメントの一部である part_seg、同一セグメント内の過去の音声情報 context、セグメント終了フラグis_end を引数にと

る、同時音声翻訳 SimulST(.)を実行する (行 15)。ここで、is_end == True の場合、SimulST(.) は文末まで生成を行った後、次のセグメントの処理に備えて状態をリセットする。その後、過去の情報 context を更新し（行 16-19）、chunkをリセットして（行 20）行 8 の処理に戻る。

Segmentation( $\cdot$ ) では音声分割モデルの推論を実行する。音声分割モデルは、過去の情報と現在のチャンクを連結した系列を入力として受け取り、各フレームが音声セグメントに含まれる確率を出力する。次に、過去の情報に対応する予測を切り捨てた、現在のチャンク部分の確率の系列に閾値 $t h r(0 \leq t h r \leq 1)$ で間値処理を行うことでセグメントの境界（開始 bos, 終了 eos）を決定する。ここで $t h r=0.1$ は $t h r=0.9$ よりも消極的な分割を行うことを意味する。最後に bos と $e o s$ の間にある音声を part_seg として返す。この時、次のセグメントのプレフィックス prefix とセグメント終了フラグ is_end も同時に返す。Segmentation($\cdot$) の詳細を付録 A. 1 に示す。

## 4 実験設定

ストリーミング同時音声翻訳システムを構築し、提案手法の有効性を検証するために異なる音声分割手法を比較した。

## 4.1 タスク

Ted talks の音声翻訳コーパス MuST-C v2 に含まれる、英語の講演音声とそれに対応付いた書き起こしテキスト、及びドイツ語の翻訳テキストを用いて英独音声翻訳の実験を行った。学習データ、開発データ及び評価データのセグメント数はそれぞれ $250,942 、 1,415 、 2,580$ である。音声分割モデルの学習に学習・開発データを用いた。システムの評価のために評価データを用いた。

音声分割手法 (4.2) と同時音声翻訳モデル (4.3)を用いてストリーミング同時音声翻訳システムを構築した。システム構築のために SimulEval toolkit [26] 1) を用いた。

評価時は、自動分割した音声に対する翻訳結果を評価データのセグメントとトーク毎に対応付けを行った後、BLEU [27] を測定した。対応付けには編集距離に基づくテキスト整列アルゴリズム [28] を用いた。

## 4.2 音声分割

6 つの音声分割手法を比較した。

・Topline: 評価データのセグメント境界
- Fixed-length: 固定長で分割するベースライン
- Unmasked: マスクなしの音声分割モデル (2 章)
- Monotonic: Monotonic masking (2 章)
- Chunk-wise: Chunk-wise masking (2 章)

音声分割モデルにおける閾値処理の設定値 $t h r$ を 0.1 から 0.7 の間で探索し、最も翻訳精度が高かった 0.3 を選択した。Chunk-wise の学習時のチャンクの長さを 1 秒とした。Fixed-length $の$ 設定は固定長 10 秒から 20 秒の間で探索し、最も翻訳精度が高い 15 秒を選択した。

## 4.3 同時音声翻訳

事前学習済みの音声モデル HuBERT [29] と、多言語モデル mBART50 [30] に基づく同時音声翻訳モデル [11]を使用した。翻訳の出力タイミングを決定する方策として、過去の仮説と現在の仮説の間の最長共通プレフィックスを出力する Local agreement [31] を用いた。推論時のチャンクサイズを $X=\{400,600,800,1000,1200\}(\mathrm{ms})$ として遅延を調節した。

図 2: 異なるチャンクサイズにおける音声分割手法の比較。閾値 $t h r=0.3$ 。

図 3: 過去の情報 context のアブレーション

## 5 実験結果

図 2 に各音声分割手法を用いたシステムの翻訳精度を示す。音声分割モデルを用いた 3 つの手法 (Unmasked、Monotonic、Chunk-wise) はいずれもベースライン Fixed-length を上回り、Chunk-wise は Topline の 94-99\%の翻訳精度を維持した。各音声分割手法による翻訳精度の詳細を付録 A. 2 に示す。 Chunk-wise は Unmasked の BLEU を平均 1.2 ポイント上回った。マスク行列により参照できる将来の情報に制約をかけることで学習と推論の条件の不一致が緩和されたと考えられる。一方で、Monotonic と Chunk-wise の間に大きな差は見られなかった。ただし、詳細は省略するが、セグメント境界を決定するための間値 $t h r$ を 0.3 より大きくした時の翻訳精度の低下は Monotonic でより顕著であり、 $t h r=0.5$ 以上では Monotonic は Chunk-wise を大きく下回った。 $t h r=0.1$ から 0.7 までの結果を付録 A. 3 に示す。 $t h r$ が大きいと分割がより積極的になるため、音声分割精度の差が強調されやすい。この結果は Chunk-wise が利用できるチャンクレベルの短い将来の情報が、分割精度向上に寄与することを示唆している。音声分割モデルの比較から、将来の音声情報が分割精度に影響することが確認された。続いて過去の音声情報の重要性を検証するため、音声分割モデルの推論時に用いていた同一セグメント内の過去の情報 contextを取り除いて結果を比較した。図 3 に結果を示す。いずれのチャンクサイズにおいても大きく翻訳精度が低下したことから、過去の情報も分割精度に大きく影響することが確認された。

## 6 関連研究

先行研究として、原理的に連続音声を処理できる同時音声翻訳モデルが提案されている [32]が、連続音声での実験は行われていない。Polák ら [33] は、音声分割を統合した同時音声翻訳モデルを提案した。これは我々の知る限り、End-to-end 型の音声翻訳モデルを用いて連続音声の同時音声翻訳実験を行った唯一の先行研究である。Polák らの手法は外部の音声分割手法を必要としない利点がある一方で、学習コストが高く、また任意の音声翻訳モデルを用いることができない久点がある。

## 7 おわりに

本稿では、オフライン音声翻訳のための音声分割手法を同時音声翻訳に適用し、ストリーミング同時音声翻訳システムを構築した。実験では、提案した音声分割モデルがトップラインの翻訳精度を 94-99\%維持することを示し、また音声分割の判断において将来と過去の情報が重要であることを明らかにした。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054、 JP21H03500、JP23KJ1583 の助成を受けた。

## 参考文献

[1] Srinivas Bangalore, Vivek Kumar Rangarajan Sridhar, Prakash Kolan, Ladan Golipour, and Aura Jimenez. Real-time incremental speech-to-speech translation of dialogs. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 437-445, June 2012.

[2] Tomoki Fujita, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Simple, lexicalized choice of translation timing for simultaneous speech translation. In Proc. Interspeech 2013, pp. 3487-3491, 2013.

[3] Vivek Kumar Rangarajan Sridhar, John Chen, Srinivas Bangalore, Andrej Ljolje, and Rathinavelu Chengalvarayan. Segmentation strategies for streaming speech translation. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language

Technologies, pp. 230-238, June 2013.

[4] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, Vol. 27, , 2014.

[5] Alexandre Bérard, Olivier Pietquin, Laurent Besacier, and Christophe Servan. Listen and translate: A proof of concept for end-to-end speech-to-text translation. In NIPS Workshop on end-to-end learning for speech and audio processing, 2016.

[6] Xutai Ma, Juan Pino, and Philipp Koehn. SimulMT to SimulST: Adapting simultaneous text translation to end-to-end simultaneous speech translation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 582-587, December 2020.

[7] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing $\mathrm{Li}$, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, July 2019.

[8] Xutai Ma, Juan Miguel Pino, James Cross, Liezl Puzon, and Jiatao Gu. Monotonic multihead attention. In International Conference on Learning Representations, 2020.

[9] Dan Liu, Mengge Du, Xiaoxi Li, Ya Li, and Enhong Chen. Cross attention augmented transducer networks for simultaneous translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 39-55, November 2021 .

[10] Peter Polák, Ngoc-Quan Pham, Tuan Nam Nguyen, Danni Liu, Carlos Mullov, Jan Niehues, Ondřej Bojar, and Alexander Waibel. CUNI-KIT system for simultaneous speech translation task at IWSLT 2022. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 277-285, May 2022

[11] Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Yuka Ko, Tomoya Yanagita, Kosuke Doi, Mana Makinae, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. NAIST simultaneous speech-tospeech translation system for IWSLT 2023. In Proceedings of the 20th International Conference on Spoken Language Translation (IWSLT 2023), pp. 330-340, July 2023.

[12] Jongseo Sohn, Nam Soo Kim, and Wonyong Sung. A statistical model-based voice activity detection. IEEE signal processing letters, Vol. 6, No. 1, pp. 1-3, 1999.

[13] David Wan, Chris Kedzie, Faisal Ladhak, Elsbeth Turcan, Petra Galuščáková, Elena Zotkina, Zheng Ping Jiang, Peter Bell, and Kathleen McKeown. Segmenting subtitles for correcting asr segmentation errors. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2842-2854, 2021.

[14] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi. Beyond voice activity detection: Hybrid audio segmentation for direct speech translation. CoRR, Vol. abs/2104.11710, , 2021.

[15] Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo, Jiatong Shi, Kevin Duh, and Shinji Watanabe. ESPnet-ST IWSLT 2021 offline speech translation system. In Proceedings of the 18th International Conference on Spoken Language Translation, pp. 100-109, August 2021.

[16] Ioannis Tsiamas, Gerard I. Gállego, José A. R. Fonollosa, and Marta R. Costa-jussà. SHAS: Approaching optimal Segmentation for End-to-End Speech Translation. In Proc. Interspeech 2022, pp. 106-110, 2022.

[17] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation. In Proc. Interspeech 2022, pp. 121-125, 2022.
[18] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Improving speech translation accuracy and time efficiency with fine-tuned wav2vec 2.0-based speech segmentation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 32, pp. 906-916, 2024.

[19] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for self-supervised learning of speech representations. Advances in Neural Information Processing Systems, Vol. 33, , 2020.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[21] Colin Raffel, Minh-Thang Luong, Peter J Liu, Ron J Weiss, and Douglas Eck. Online and linear-time attention by enforcing monotonic alignments. In International conference on machine learning, pp. 2837-2846. PMLR, 2017

[22] Chung-Cheng Chiu and Colin Raffel. Monotonic chunkwise attention. In International Conference on Learning Representations, 2018

[23] Xutai Ma, Juan Miguel Pino, James Cross, Liezl Puzon, and Jiatao Gu. Monotonic multihead attention. In International Conference on Learning Representations, 2019.

[24] Xie Chen, Yu Wu, Zhenghao Wang, Shujie Liu, and Jinyu Li. Developing real-time streaming transformer transducer for speech recognition on large-scale dataset. In ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5904-5908, 2021.

[25] Jian Xue, Peidong Wang, Jinyu Li, Matt Post, and Yashesh Gaur. Large-Scale Streaming End-to-End Speech Translation with Neural Transducers. In Proc. Interspeech 2022, pp. 3263-3267, 2022.

[26] Xutai Ma, Mohammad Javad Dousti, Changhan Wang, Jiatao Gu, and Juan Pino. SIMULEVAL: An evaluation toolkit for simultaneous translation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 144-150, October 2020.

[27] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, July 2002.

[28] Evgeny Matusov, Gregor Leusch, Oliver Bender, and Hermann Ney. Evaluating machine translation output with automatic sentence segmentation. In Proceedings of the Second International Workshop on Spoken Language Translation, 2005

[29] Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, and Abdelrahman Mohamed. Hubert: Self-supervised speech representation learning by masked prediction of hidden units. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 29, pp. 3451-3460, 2021.

[30] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual translation with extensible multilingual pretraining and finetuning. arXiv preprint arXiv:2008.00401, 2020.

[31] Danni Liu, Gerasimos Spanakis, and Jan Niehues. Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection. In Proc. Interspeech 2020, pp. 36203624, 2020.

[32] Xutai Ma, Yongqiang Wang, Mohammad Javad Dousti, Philipp Koehn, and Juan Pino. Streaming simultaneous speech translation with augmented memory transformer. In ICASSP 2021. 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7523-7527, 2021.

[33] Peter Polák and Ondřej Bojar. Long-form end-to-end speech translation via latent alignment segmentation. arXiv preprint arXiv:2309.11384, 2023

## A 参考情報

## A. 1 Segmentation アルゴリズム

Algorithm 1 中の $\operatorname{Segmentation}(\cdot)$ の擬似コードを Algorithm 2 に示す。処理手順は以下の通りである。

1. 過去の情報 context とチャンク chunkを連結して音声分割モデル $\operatorname{seg}(\cdot)$ に入力し、各フレームがセグメントに含まれている確率を予測する (行 6)。

2. thresholding (.) で、chunk に対応する確率の系列 probs を閾值処理し segments= $\left[s_{0}, s_{1}, \ldots, s_{\left.\lfloor X . O U T P U T \_S P S\right.\rfloor}\right]\left(s_{i} \in\{0,1\}\right)$ を得る (行 7)。

3. expand_list( ( ) で、segments の各要素を IN_OUT_RATIO 回繰り返した新しいリスト segments $=\left[s_{0}, s_{1}, \ldots, s_{\left.\lfloor X \cdot I N P U T \_S P S\right]}\right]$ を得る (行 8$)$ 。

4. findBos (.) と findEos(.) で、bos のインデックスのリスト $B_{b o s}$ と eos のインデックスのリスト $B_{e o s}$ をれぞれ得る (行 9-10)。ここで
- $B_{\text {bos }}=\left[i \mid x_{i-1}=0\right.$ and $x_{i}=1$ for all $i \in\{1,2, \ldots,\lfloor X$. INPUT_SPS]\}]
- $B_{\text {eos }}=\left[i \mid x_{i-1}=1\right.$ and $x_{i}=0$ for all $i \in\{1,2, \ldots,\lfloor X$. INPUT_SPS」\}] である。

5. 図 4 はチャンクの予測を (i) から (viii) の 8 パターンに分類したものである。このうちパターン (iv) と (viii)、パターン (iii)と (vii)を同様に扱い、context, $B_{\text {bos }}, B_{\text {eos }}$ の内容に応じて 6 通りの分岐処理を行う (行 11-24)。prefix はパターン (vi) で生じる次のセグメントのプレフィックスを管理する変数である。

図 4: 音声分割モデルの予測パターン

## A. 2 各音声分割手法の BLEU スコア

表 1: 音声分割手法の翻訳精度。括弧内はトップラインに対する分割手法の比。

## A. 3 異なる閾値における音声分割の比較

(a) $t h r=0.1$.

$400 \quad 600 \quad 800 \quad 1000 \quad 1200$ chunk size

(c) $t h r=0.5$.

(d) $t h r=0.7$.

図 5: 異なる閾値 $t h r$ における音声分割モデルの比較。

図 5 は、閾値 $t h r$ が大きく分割が積極的になるほど、音声分割モデルの精度の差が顕著に表れる様子を示す。


# タグ付き混合データ学習と自己教師あり学習による 同時通訳データを用いた End-to-End 同時音声翻訳

胡尤佳 福田りょう 西川勇太 加納保昌 須藤 克仁 中村哲
奈良先端科学技術大学院大学
ko.yuka.kp2@is.naist.jp

## 概要

同時音声翻訳は、話し手の発話終了を待たずに漸進的に翻訳を行う技術である。高品質かつ低遅延の同時音声翻訳を実現するには、適宜省略や、話し手が話した内容をできるだけ早く訳出する等の、実際の通訳者の技法を同時通訳コーパスから学習することが有効であると期待される。本研究では、同時通訳データが不足している問題を軽減するため、同時通訳データに加えて話し手の発話終了を待ってから翻訳を開始する翻訳を前提としたオフラインデータと混合し、スタイルタグを用いて出力スタイルを区別する学習法を提案する。実験結果から、文の意味的類似度を測る評価における同時通訳テストデータでの翻訳性能向上の効果が、提案手法において示された。

## 1 はじめに

同時音声翻訳 (SimulST) は、文末を待たずに話し手の発話を漸進的に翻訳する技術であり、話し手の発話終了を待ってから翻訳を開始するオフライン音声翻訳 (Offline ST) と比較し、低遅延での翻訳を実現できる。近年ではニューラルネットワークに基づく End-to-end の SimulST モデルが提案されているが [1,2]、大規模な同時通訳 (SI) データがなかったため、MuST-C [3] のような TED の字幕データからなるオフライン (Offline) データを用いて学習されてきた。SimulST は話し手の発話終了を待たずに漸進的に翻訳するという点で、通訳者が行う同時通訳の考え方に類似している。通訳者は、話し手の発話に追従するため、不必要な語の省略や、話し手が話した内容をできるだけ早く話すなどの技法を取り入れている。そのため、高品質で低遅延な同時音声翻訳を実現するには、SI データを使用して同時通訳の仕方を学習させることが有効であると期待される。

図1 自己教師あり学習による多段階学習とタグ付き混合データ学習を組み合わせた手法

特に、英語と日本語はそれぞれ SVO 言語、SOV 言語であることから、Offline 翻訳においては訳出される語順の違いが大きい。Offline データを用いて同時翻訳を学習してしまうと、訳出時に原言語で始めの方に出てきた内容が目的言語だと後の方に出てくるなどの場合があり、遅延が大きくなる恐れがある。英日の言語対での SI データはいくつかあるものの $[4,5,6,7]$ 、Offline データと比較して極めて少量である。本研究では、より多量に利用可能な Offline データもSI データの学習と同時に利用することで、 SI データが少量である問題に取り組む。与えられた英語の原文 (Source) に対する Offline と SI の日本語の例を図 2 に示す。OfflineとSI のスタイルには大きな違いがあり、図 2 では以下の違いがある。

・Offline ではほとんどの原文の語が日本語に翻訳されているが、SIではいくつかの原文の語が省略されている。

-SI は Offline と比較し、文法的な流暢さが犠牲となっているが、原文の前半を後半より先に訳すことで、低遅延の翻訳を実現できる。

このような違いは、話し手の発話に追従できるように適宜省略を行いつつ、SI が通訳の同時性を重視していることから生まれる。したがって、SI データを用いてこうした翻訳を SimulST が学習することで、同時性の向上が期待できる。

学習方法として、SI データを用いてモデルを最初から学習する方法がまず考えられるが、データが不

図 2 英日での Offline と SI の違いの例。図中の実線は単語の対応を表す。例文は NAIST-SIC-Aligned [4] に含まれる。

足しており、モデルの学習が上手くいかない恐れがある。また、多量の Offline データで学習された事前学習済みモデルに対して SI データを Fine-tuning させる方法が考えられる。しかし、多量の Offline デー タで学習された事前学習済みモデルに対してそのまま少量の SI データを Fine-tuning させると、過学習を起こしやすく、省略でない部分も含めて過剩に省略してしまうモデルが作成される恐れがある。

本研究では、SIまたは Offline 出力を明示的に意味するスタイルタグが付与された混合データを用いて単一の SimulST モデルを学習する手法を提案する。スタイルタグを付与することにより、SIまたは Offline スタイルの出力を選択的に生成するようデコード時にモデルに指示することができる。また本研究では、一度作成されたモデルから生成された擬似 SI データをさらに次の学習に用いる自己教師あり学習を多段階に行う手法も組み合わせ、SI データが少量である問題のさらなる軽減を目指した。実験の結果、提案手法により、文の意味的類似度を測る評価手法である BLEURT、COMET、COMET-QE での改善を示したことが分かった。また、出力結果を見た結果、提案モデルは従来モデルと比較し、より SI スタイルの出力が期待できることが分かった。

## 2 関連研究

本手法は、リソースの豊富な Offline 翻訳からリソースの乏しいSIへのドメイン適応と見なすことができる。ドメイン外モデルに対してドメイン内データを Fine-tuning させる手法は、いくつか考えられてきた $[8,9]$ 。Chu らは、多量のデータに基づくドメイン外モデルを用いて直接少量のドメイン内デー タを学習させると、小さいドメイン内データに過剩適応 (Overfitting) する課題を、ドメイン内、外デー タであることを表すタグを付与することにより軽減
した [9]。Tagged Back-translation [10] では、タグベー スの手法を逆翻訳に基づくData Augmentation に応用しており、NMT モデルの学習における逆翻訳ノイズに対処するため、オリジナルの原文と逆翻訳から得られた原文を区別するタグを付与している。本研究は、これらのタグベースの手法から着想を得ており、SI データの不足の課題に取り組む。

## 3 提案手法

## 3.1 タグ付き混合データ学習

本研究では、比較的多量な Offline データを用いて SI データの不足を補い、SimulST モデルを学習する方法を提案する。先行研究に従い [9]、学習では目的言語文字列の先頭にスタイルタグを付与し、推論時には最初に指定されたタグを Forced decoding し、 タグが指すスタイルの出力の訳出を行う。本研究では、SIの場合は<si>、Offlineの場合は<off>、の 2 種類のタグを用いる。

## 3.2 自己教師あり学習による多段階学習と タグ付き混合データ学習

SI データの不足をさらに軽減するために、本研究では擬似生成された SI データを用いて段階的に学習させる自己教師あり学習を、タグ付き混合デー タ学習の手法と組み合わせる。自己教師あり学習を利用したタグ付き混合データ学習の概要を図 1 に示す。まず、すでに学習された Style- $R_{i}$ モデルに対して Offline 学習データの原言語音声を入力し、出力時にくsi〉を Forced decoding することで SI スタイルの擬似 SI データを生成させる。出力された擬似 SI データを、Round $i+1\left(R_{i+1}\right)$ データとする。次に、生成された $R_{i+1}$ データに<si>タグを付与し、オリジナルの Offline、SI データに追加して、元モデルの Style- $R_{i}$ モデルに対してタグ付き混合データ学習を
表 1 実験で利用した Offline とSI データのサイズ

行い、学習されたモデルを Style- $R_{i+i}$ とする。この操作を多段階に繰り返すことで、擬似生成されるデータの質が向上していき、SimulST モデルの性能向上ができることが期待される。

## 4 実験

## 4.1 データセット

本研究で用いる Offline, SI データは両方とも、原言語音声、原言語テキスト、目的言語テキストにより構成される ST データを用いた。Offline データは MuST-C [3] v2 英日データ、SI データは NAISTSIC-Aligned [4] 1)を用いた。NAIST-SIC-Aligned は、 NAIST-SIC [7] を用いて、原言語テキストと目的言語テキストの文をアライメント、Filtering して構築された。NAIST-SIC-Aligned における、INTRA、 AUTO-DEV、AUTO-TEST データをそれぞれSI の学習、開発、評価データとした。これらのSI データのうち、英語の Forced aligner である Gentle ${ }^{2)}$ を用いて、SI データの英語のテキストと MuST-C の対応する音声とのアライメントを取れるものをデータとして利用した ${ }^{3}$ ）実験に使用したデータセットのサイズを表 1 に示す。最終的な評価には Offline データではなく、SI 評価データを用いた。

## 4.2 同時音声翻訳

Fine-tuning 前のモデルは Fukuda ら [11]の base モデルを用いている。base は、事前学習済みモデルである HuBERTを Encoder、mBARTを Decoder として初期化されたモデルを複数の Offline ST データで Fine-tuning して作成されている。Fine-tuning については、言及がない限り [12] での Fine-tuning 時の設定に従う。文単位モデルと、[12] のように Prefix Alignment [13] をべースにしたモデルで比較した際、前者の方がベースライン手法の性能が高い傾向があったため、本研究では前者を採用した。 Fine-tuning の際に以下の設定で実験を行ったものをそれぞれべースライン、提案手法とした。

ベースライン: Offline, SI それぞれ、Offline, SI デー タで Fine-tuning したモデル。

提案手法 1: Style, Style-Up タグ付き混合データで Fine-tuning したモデル (-Up は SI データを upsampling したモデル)。

提案手法 2: Style- $R_{0}$, Style- $R_{1}$, Style- $R_{2}$, Style- $R_{3}$自己教師あり学習をタグ付き混合データ学習に適用したモデル。Style- $R_{3}$ は、 $R_{0}$ から $R_{3}$ まで使って多段階学習させたモデル4)。

また、Fukuda らと同様に、同時音声翻訳のための段階的な出力のためのデコード手法は Local Agreement (LA) [14]を採用した。それぞれのモデルにおいて、部分出力を得るための部分入力音声のセグメントサイズの単位を $\{200,400,600,800,1000\} \mathrm{ms}$ の 5 パターンでデコードを行い、遅延域のコントロールを行った。遅延評価では部分訳出の終了タイミングを考慮した遅延評価指標である Average Token Delay (ATD) [15] を用い、性能評価には、参照訳との単語一致度を測る BLEU、参照訳との出力文の文の意味的類似度を測る BLEURT [16]、参照訳、出力文だけでなく原言語参照訳との類似度も考慮した COMET [17], COMET-QEを用いた。

## 5 実験結果と考察

ベースラインと提案手法の遅延評価 (ATD) と性能評価 (BLEU, BLEURT, COMET-QE) の関係を図 3 に示す 5)。実験結果から、BLEURT, COMET-QE において、いずれの場合でも提案手法で性能向上がみられた。提案法において、少量のSI データを upsampling し、かさ増した場合の効果がこれらの評価手法では見られず、むしろ低下を招く場合があった。その一方で、自己教師あり学習による擬似 SI データを用いた場合には翻訳性能の向上が見られ、少量のSI データの upsampling と比較し、より多様性のある擬似 SI データを用いることの有効性が示された。自己教師あり学習による多段階学習を行った場合とそうでない場合を比べると、前者の方がより性能向上の傾向が見られた。

一方で、BLEU における評価では、提案手法べー スラインである SIが最も良い結果となり、BLEURT， COMET-QE の場合と傾向が大きく異なる。SI 評価
$ データを生成する元モデルとして Style を用い、 $R_{0}$ データを base に対して適用したモデルを Style- $R_{0}$ とした。

5） COMET での実験結果は、COMET-QE と傾向が類似しており、付録に添付した。
}

図 3 ベースラインと提案法における遅延評価 (ATD) と性能評価 (BLEU, BLEURT, COMET-QE) の関係

表 2 ベースラインと提案法における出力文と参照文の例 (入力音声のセグメント単位：400ms)

図 4 SI 評価データにおける参照訳と出力文の長さ比

データにおける出力文と参照訳との長さ比較を図 4 に示す。提案手法と比較すると、SI model からの出力長は短い傾向にあり、参照訳に最も近い長さの出力がされていることで、BLEU の向上に寄与したと考えられる。しかし、一部の SI 評価データに含まれる参照訳は、本来訳出すべき原言語音声の内容を過剩に削った内容で訳している場合があった。例文を表 2 に示す。例文 1 においては、SI model が過剩に省略を行っているものの、参照訳が過剰に短い。 このような過剰に短い参照訳を含む SI 学習データで直接モデルが学習されたことで、SI model は過剩に省略を行うモデルになったと考えられ、例えば例文 2 の SI model 出力では、「they were hacked into」の部分が翻訳されず訳抜けになっている。

このような過剰に短い参照訳が、SI 評価データに多く含まれていたことから、参照訳のみに頼った評価が信頼できない恐れがある。そこで本研究では、 COMET-QE のような、原言語テキストをべースにした評価も行った。COMET-QEでの結果は、今回採用した評価指標の中で、それぞれの手法間の差が最も大きく見られた。特に、自己教師あり学習を取り入れた提案手法 2 においては、Style- $R_{0}$ から Style- $R_{3}$ へ多段階学習を繰り返すことにより、低遅延かつ高品質の翻訳がモデルで実現できることが期待される。また、図 4 より、提案法がベースラインと比べ出力が長く、自己教師あり学習による多段階学習を繰り返すほどその傾向がみられることが分かる。 しかし実際の出力では、表 2 に示すように、「これは」、「なぜなら」、「彼らは」などの、内容に大きく影響しないつなぎ言葉や主語などがべースラインと比べ多く出力されている傾向があり、これらの語を除いても意味が通じるケースが多く、性能に大きく影響しないと考えられる。

## 6 おわりに

本研究では, 同時音声翻訳において少量のSI デー タを用いた学習手法としてタグ付き混合学習を提案し、自己教師あり学習による多段階学習も取り入れた。実験結果から、より同時通訳らしい同時音声翻訳が提案手法により期待できることが分かった。今後の課題として、本研究でのモデルをべースに、通訳者が行うような適宜省略が可能なモデルの作成や、出力結果の人手評価を考えている。

## 謝辞

本研究の一部は JSPS 科研費 JP21H05054 と JST SPRING プログラム JPMJSP2140 の助成を受けたものである。

## 参考文献

[1] Xutai Ma, Juan Pino, and Philipp Koehn. SimulMT to SimulST: Adapting simultaneous text translation to endto-end simultaneous speech translation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 582-587, Suzhou, China, December 2020. Association for Computational Linguistics.

[2] Yi Ren, Jinglin Liu, Xu Tan, Chen Zhang, Tao Qin, Zhou Zhao, and Tie-Yan Liu. SimulSpeech: End-to-end simultaneous speech to text translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3787-3796, Online, July 2020. Association for Computational Linguistics.

[3] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2012-2017, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Jinming Zhao, Yuka Ko, Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura, et al. NAIST-SIC-Aligned: Automatically-Aligned English-Japanese Simultaneous Interpretation Corpus. arXiv preprint arXiv:2304.11766, 2023.

[5] Hitomi Toyama, Shigeki Matsubara, Koichiro Ryu, Nobuo Kawaguchi, and Yasuyoshi Inagaki. CIAIR Simultaneous Interpretation Corpus. In Proceedings of Oriental COCOSDA, 2004.

[6] Hiroaki Shimizu, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura. Constructing a speech translation system using simultaneous interpretation data. In Proceedings of IWSLT, 2013.

[7] Kosuke Doi, Katsuhito Sudoh, and Satoshi Nakamura. Large-scale English-Japanese simultaneous interpretation corpus: Construction and analyses with sentence-aligned data. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021), pp. 226-235, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via side constraints. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 35-40, San Diego, California, June 2016. Association for Computational Linguistics.
[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Isaac Caswell, Ciprian Chelba, and David Grangier. Tagged back-translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 53-63, Florence, Italy, August 2019. Association for Computational Linguistics.

[11] Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Yuka Ko, Tomoya Yanagita, Kosuke Doi, Mana Makinae, Katsuhito Sudoh, Sakriani Sakti, and Satoshi Nakamura. NAIST Simultaneous Speech Translation System for IWSLT 2023. In Proceedings of the 20th International Conference on Spoken Language Translation (IWSLT2023), pp. 330-340, 2023.

[12] Yuka Ko, Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Tagged endto-end simultaneous speech translation training using simultaneous interpretation data. In Elizabeth Salesky, Marcello Federico, and Marine Carpuat, editors, Proceedings of the 20th International Conference on Spoken Language Translation (IWSLT 2023), pp. 363-375, Toronto, Canada (in-person and online), July 2023. Association for Computational Linguistics.

[13] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with prefix alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22-31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.

[14] Danni Liu, Gerasimos Spanakis, and Jan Niehues. LowLatency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection. In Proc. Interspeech 2020, pp. 3620-3624, 2020.

[15] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Average Token Delay: A Latency Metric for Simultaneous Translation. In Proc. INTERSPEECH 2023, pp. 44694473, 2023.

[16] Thibault Sellam, Dipanjan Das, and Ankur P Parikh. Bleurt: Learning robust metrics for text generation. In Proceedings of ACL, 2020.

[17] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. Comet: A neural framework for $\mathrm{mt}$ evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, 2020.

## A 付録

図 5 ベースラインと提案法における遅延評価 (ATD) と性能評価 (COMET) の関係