# 依存関係の大きさは意味の関連性を表す

大山百々勢 1,2 山際宏明 1 下平英寿 1,2
1 京都大学 2 理化学研究所
oyama.momose@sys.i.kyoto-u.ac.jp, hiroaki.yamagiwa@sys.i.kyoto-u.ac.jp,
shimo@i.kyoto-u.ac.jp

## 概要

単語ベクトルの点群を可視化して高次元空間でどのように単語の意味が表現されているのかを解釈する手段として独立成分分析 (ICA)を用いることができる.ところが現実のデータに適用すると ICA によって得られる成分は互いに無相関であるが独立ではなく，成分間には依存関係がある。本稿では単語ベクトルを ICA で変換して得られる成分間の依存関係を3 次以上の混合モーメントで定量化し，その依存関係が何を表しているのかを理解することを目標とする. 実験を行った結果，依存関係が大きい成分同士は意味の関連が強いことがわかった．また，成分間の依存関係への寄与が大きな単語によって関連性を具体的に解釈することができた。

## 1 はじめに

単語ベクトルは Skip-gram with Negative Sampling (SGNS) [1] のようなシンプルなモデルで得られるものから，複雑なニューラルネットワークに基づく言語モデル $[2,3,4,5]$ の内部表現まで, 言語の意味理解と表現において重要な役割を果たしている.しかし高次元空間においてこれらのベクトルがどのように言葉の意味を表現しているのか解釈するのは難しく，様々な議論がされている。

単語ベクトルが高次元空間でどのように意味を表現しているのかを解釈する手段として独立成分分析 (ICA) [6] を用いることができる [7, 8]. ICA はデータを線形変換して可能な限りデータを独立に表現するような座標軸を見つける手法である．ICAを単語ベクトルに適用して得られる各座標軸は，成分值が大きな単語によって解釈することができる.

現実のデータにICAを適用すると，得られる成分同士は互いに無相関であるが独立ではなく，成分間には依存関係があることが知られている $[9,10,11]$. ICA によって得られる成分間に依存関係が残る主な

図 1 単語ベクトルを ICA で変換して得られる成分のぺア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ の相関係数 $\mathrm{E}\left(\mathbf{s}_{i} \mathbf{s}_{j}\right)$ (左) と 4 次の混合モーメント $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ (右)を表すヒートマップ. 左のヒートマップの非対角成分に着目すると，異なる独立成分間の線形相関は 0 であることがわかる。一方右のヒートマップでは，成分間が独立であるときの值である 1 を超える成分のぺアが多く，これらの成分間には非線形な依存関係が存在することが示唆される。

理由の一つは，ICA では捉えることができない非線形な依存関係が現実のデータには存在し，結果として ICA が仮定するデータの独立性が満たされないことにある。図 1 に単語べクトルを ICA で変換して得られる成分のぺア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ の相関係数 $\mathrm{E}\left(\mathbf{s}_{i} \mathbf{s}_{j}\right)$ と 4 次の混合モーメント $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ を示す. この図からも， ICA を適用して得られる成分間の相関は 0 であるものの，これらの成分は実際には独立ではなく非線形な依存関係があることがわかる。

本稿では単語ベクトルをICA で変換して得られる成分間の依存関係を 3 次以上の混合モーメントで定量化し，その依存関係が何を表しているのかを理解することを目標とする.

本稿の構成まず 2 章で単語ベクトルを ICA で変換して得られる独立成分が解釈可能であることをみる. 続く 3 章では独立成分間の依存関係を定量化する3 次以上の混合モーメントについて述べる。 4 章では依存関係が大きい成分同士は意味の関連が強いことと，その関連性は依存関係への寄与が大きな単語によって解釈できることを実験で示す.

## 2 背景: 単語埋め込みの独立成分

独立成分分析 (ICA) はデータを線形変換して可能な限りデータを独立に表現する座標軸を見つける手法である.この章では ICA を単語ベクトルに適用して得られる各座標軸は，その成分值が大きな単語によって解釈できることを確認する。

## 2.1 記号の定義

$n$ 個の単語 $w_{1}, \cdots, w_{n}$ の中心化した単語ベクトルを各行に並べた行列を $\mathbf{X} \in \mathbb{R}^{n \times d}$ と表す. ここで $d$ は単語べクトルの次元である.

行列 $\mathbf{X}$ に対して, ICA は変換後の行列 $\mathbf{S} \in \mathbb{R}^{n \times d}$ の各列が統計的になるべく独立になるような変換 $\mathbf{B} \in \mathbb{R}^{d \times d}$ を求める. ICA の変換は以下の式で与えられる。

$
\mathbf{S}=\mathbf{X B}
$

$S_{t, i}$ の値は ICA で得られた $i$ 番目の座標軸における単語 $w_{t}$ のベクトルの成分値を表す1). 行列 $\mathbf{S}$ の各列を独立成分と呼び，以下では $i$ 列目の独立成分を $\mathbf{s}_{i} \in \mathbb{R}^{n}$ と表記する.

## 2.2 単語ベクトルの独立成分の解釈可能性

ICA を単語べクトルに適用して得られる各座標軸は，その成分値が大きな単語によって解釈できることを確認する。

実験設定実験に使用した単語べクトルは, Skip-gram with Negative Sampling (SGNS) を用いて学習した。学習に使ったコーパスは text8コーパス [12] である。単語数は $n=253,854$ であり, 次元数は $d=300$ とした. ICA の計算には Scikit-learn に実装されている FastICA [13] を用いており $\mathbf{S}$ は白色化されている。

実験結果表 1 は，各座標軸において，ICA で変換した後に正規化した単語べクトルの成分值が大きな単語2)と，その成分值を示したものである3). 各座標軸が持つ意味はその軸の成分値が大きな単語に

1）座標軸は分布の歪度が正になる向きにとり, 歪度の絶対値の順に軸番号を定めた。

2）正規化したべクトルの各成分値は，そのベクトルと各座標軸ベクトルとのコサイン類似度を表す。各座標軸において，正規化した単語べクトルの成分值が大きなものを選ぶことは，座標軸との向きが近いべクトルを選ぶことに対応する。

3）ただし, text8コーパスにおいて 100 回以上出現する単語の中から選んだ．以後，特に断りがなければ図表で示す単語は全て text8コーパスにおいて 100 回以上出現する単語の中から選んだものである.表 1 各座標軸において，ICA で変換した後に正規化した単語ベクトルの成分值が大きな単語とその成分値の表. text8コーパスにおいて 100 回以上登場する単語のうち,成分值の上位 5 単語をそれぞれ表示した。

よって解釈できる. 例えば第 0 軸の成分值が大きな単語は dishes, sause, fried,... であることから，第 0 軸は「食べ物」の意味を持つ軸であると解釈できる.同様に，第 30 軸は「ラジオ放送」，第 60 軸は「河川」, 第 90 軸は「アメリカの漫画」，第 120 軸は「季節・天候」，第 150 軸は「核」の意味をそれぞれ持つと解釈できる。

## 3 背景：独立成分間の依存関係

現実のデータにICAを適用すると，得られる成分同士は互いに無相関であるが独立ではなく，成分間には依存関係があることが知られている $[9,10,11]$.特に ICA では捉えることができない非線形な依存関係が，これらの成分間に存在する.

## 3.1 依存関係を定量化する尺度

単語ベクトルを ICA で変換し，そこから得られる独立成分 $\mathbf{s}_{i}$ と $\mathbf{s}_{j}$ 間の依存関係を定量化する方法を検討する。この定量化には，相互情報量や HSIC [14] のほか, 3 次以上の混合モーメント $\mathrm{E}\left(\mathbf{s}_{i}^{k} \mathbf{s}_{j}^{l}\right)(k+l \geq 3)$ を使用することができる。本稿では，4 次の混合モーメントを用いて依存関係を定量化する。

$
\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)=\frac{1}{n} \sum_{t=1}^{n} S_{t, i}^{2} S_{t, j}^{2}
$

$\mathbf{S}$ は白色化されており， $\mathbf{s}_{i}$ と $\mathbf{s}_{j}$ が互いに独立であれば, $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)=1$ である. $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值が 1 から離れるほど， $\mathbf{s}_{i}$ と $\mathbf{s}_{j}$ は依存関係が大きいと言える。
表 2 (上段) $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值が大きい独立成分のペア. 表の中で重複が現れないように上位 6 ペアを示した.

(下段) $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值が小さい独立成分のぺア. 上段におけるぺア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ の軸番号が小さい成分 $\mathbf{s}_{i}$ に対して， $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{k}^{2}\right)$ の值が小さい成分 $\mathbf{s}_{k}$ を表の中で重複が現れないように選んだ。表の単語はそれぞれの成分值が大きな上位 5 単語である.

表 36 つの成分ペア $\left(\mathrm{s}_{i}, \mathbf{s}_{j}\right)$ について, $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值への寄与 $S_{t, i}^{2} S_{t, j}^{2}$ が大きな上位 6 単語とその值を示す. 表に示す 6 つの成分ペアは 4.2 節で定義している最小全域木 $T$ 上から選んだ。

図 $2 \mathrm{E}\left(\mathrm{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值の箱ひげ図. $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathrm{~s}_{j}^{2}\right)$ は対称なので, $i<j$ である 44,850 個の值を使用した.

## 4 実験：依存関係の解釈と可視化

## 4.1 依存関係が大きいと意味が関連する

単語ベクトルを ICAで変換して得られる独立成分のペア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ について, $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値を計算した. この值に関する詳細は図 2 の箱ひげ図に示されている.この図から，ペアごとに $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathrm{~s}_{j}^{2}\right)$ の値が大きいものと小さいものがあることがわかる.

$\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値が大きい成分のぺアと小さい成分の
ペアをそれぞれ具体的に分析し，その特徴を明らかにする。

結果と考察表 2 に独立成分ペア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ の $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値と，それぞれの成分値が大きな単語を示す。 $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値が大きな独立成分ペアはそれぞれの成分が持つ意味が関連していることがわかる. 逆に， $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値が小さいと意味が関連していないこともわかる。

具体例 $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値が特に大きいペアとして第 22 軸と第 59 軸のペアに注目した. 22 軸は「楽器」, 59 軸は「オーケストラ」の意味でそれぞれ解釈できる.これにより，両者には意味の関連性があることがわかる。一方で， $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值が小さいペアである第 22 軸と第 1 軸では, 第 22 軸が「楽器」, 第 1 軸が 「食べ物」を意味し，これらの間には明確な意味の関連性が見られないことがわかる.

図 34.2 節で定義している最小全域木 $T$ における，連結な部分木を 2 つ可視化した. 各頂点はそれぞれ ICAで得られる単語ベクトルの独立成分を表す. 頂点のラベルには頂点番号を記し，その隣に成分値が最も大きな単語を記した. 頂点 $(i, j)$ 間の枝の色は成分間の $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値の大きさを表しており，枝の色が濃いほど大きい.

## 4.2 依存関係のネットワークを可視化

独立成分 $\mathbf{s}_{i}(i \in\{0, \cdots, d-1\})$ を頂点とする重みつき完全グラフ $G$ を考える. 頂点対 $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ の間の辺の重みを $e^{-\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathrm{~s}_{j}^{2}\right)}$ とする ${ }^{4)}$ このグラフ $G$ に対して最小全域木 $T$ を計算した ${ }^{5)}$.

結果と考察図 3 に最小全域木 $T$ における 2 つの部分木を示す. この図を通して 3 つ以上の独立成分の意味のつながりやまとまりといった構造を読み取ることが可能である.

具体例例えば，126: pointer, 56: сpu や 2: acid, 10: dna といった意味的に関連する成分ぺアは $T$ 内の辺で結ばれている. また，49: court, 193: rights, 168: license や 147: medicine, 52: infections, 16: blood といったグループは，辺によって結合された頂点集合として，ひとつの意味のまとまりを形成していることがわかる.

## 4.3 意味の関連性を具体化

独立成分のペア $\left(\mathbf{s}_{i}, \mathbf{s}_{j}\right)$ において,$S_{t, i}^{2} S_{t, j}^{2}$ が大きな単語 $w_{t}$ は $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)=\frac{1}{n} \sum_{t=1}^{n} S_{t, i}^{2} S_{t, j}^{2}$ に対する寄与が

4）このグラフ $G$ で最小全域木 $T$ を計算することは, $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathrm{~s}_{j}^{2}\right)$ の総和を最大化する全域木を求めることに相当する.

5） $G$ の部分グラフとして様々なものが考えられるが，残す枝の数と結果の解釈性のバランスを考慮し，各成分ごとに相対的な重要度の高い枝が選ばれやすい最小全域木を選択した。大きい.この節では独立成分ペアの $\mathrm{E}\left(\mathrm{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値への寄与が大きな単語を調べる.

結果と考察表 3 に示すのは， 4.2 節で定義した最小全域木 $T$ から選んだ成分ぺアと寄与が大きな単語例である. $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の値への寄与が大きな単語 $w_{k}$ は両方の成分に関連する意味を持ち，成分ペアの関連性がより具体的になることがわかる.

具体例例として，第 16 軸と第 52 軸のペアにおいて $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ の值への寄与が顕著な単語を挙げると, abscess (膿瘍)，multifocal (多焦点の), hemorrhagic (出血)，esophagitis (食道炎)などが含まれる。これらの単語は第 16 軸が表す「人体」と第 52 軸が表す「感染症」の意味の関連性を具体的に反映するものである.

## 5 おわりに

本稿では，単語ベクトルを ICA で変換して得られる成分間の依存関係を $\mathrm{E}\left(\mathbf{s}_{i}^{2} \mathbf{s}_{j}^{2}\right)$ で定量化した. 実験により，依存関係の大きさが独立成分間の意味の関連性を反映することがわかった。また，成分間の依存関係への寄与が大きな単語を調べることで，成分間の関連性を具体的に解釈することができた。今後は，「意味の関連性」についての定性的な議論を拡張し，より客観的かつ定量的な尺度を用いた分析方法を探求することを目指す。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{H} 05106,23 \mathrm{H} 03355$ および JST CREST JPMJCR21N3 の助成を受けたものです.

## 参考文献

[1] Tomás Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, pp. 31113119, 2013.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[6] Aapo Hyvärinen and Erkki Oja. Independent component analysis: Algorithms and applications. Neural networks, Vol. 13, No. 4-5, pp. 411-430, 2000.

[7] Tomáš Musil and David Mareček. Independent components of word embeddings represent semantic features. arXiv:2212.09580, 2022.

[8] Hiroaki Yamagiwa, Momose Oyama, and Hidetoshi Shimodaira. Discovering universal geometry in embeddings with ICA. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 4647-4675, Singapore, December 2023. Association for Computational Linguistics.
[9] Aapo Hyvärinen, Patrik O. Hoyer, and Mika Inki. Topographic independent component analysis. Neural Computation, 2001.

[10] Hiroaki Sasaki, Michael Gutmann, Hayaru Shouno, and Aapo Hyvarinen. Correlated topographic analysis: estimating an ordering of correlated components. Machine Learning, 2013.

[11] Hiroaki Sasaki, Michael Gutmann, Hayaru Shouno, and Aapo Hyvarinen. Estimating Dependency Structures for non-Gaussian Components with Linear and Energy Correlations. In Samuel Kaski and Jukka Corander, editors, Proceedings of the Seventeenth International Conference on Artificial Intelligence and Statistics, Vol. 33 of Proceedings of Machine Learning Research, pp. 868-876, Reykjavik, Iceland, 22-25 Apr 2014. PMLR.

[12] Matt Mahoney. About the test data, 2011. http: //mattmahoney.net/dc/textdata.html.

[13] A. Hyvarinen. Fast and robust fixed-point algorithms for independent component analysis. IEEE Transactions on Neural Networks, Vol. 10, No. 3, pp. 626-634, 1999.

[14] Arthur Gretton, Olivier Bousquet, Alex Smola, and Schölkopf Bernhard. Measuring statistical dependence with hilbert-schmidt norms. In The International Conference on Algorithmic Learning Theory, 2005.


# 自動生成した NLI データを用いた教師なし文埋め込みの改良

佐藤 蒼馬 ${ }^{1}$ 塚越駿 2 笹野遼平 2 武田 浩一 ${ }^{2}$
1 名古屋大学情報学部 2 名古屋大学大学院情報学研究科
\{sato.soma.y7, tsukagoshi. hayato.r2\}@s.mail.nagoya-u.ac.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

デコーダ系の大規模言語モデル (LLM) は自然言語処理の多くのタスクにおいて高い性能を示しており、文埋め込み生成においても PromptEOL [1] というデコーダ系モデルが Semantic Textual Similarity (STS) タスクにおいて最高性能を達成している。しかし、PromptEOL が高い性能を示すのは、人手で構築された自然言語推論 (Natural Language Inference: NLI) データセットを用いて fine-tuning した場合であり、人手で構築されたデータを利用しない場合の STS の性能は 6 ポイント程度低い值となっている。本研究では LLM を用いて NLI データセットを自動生成し、PromptEOL 9 fine-tuing に利用することで、教師なし設定における文埋め込み生成の高性能化を目指す。STS タスクで評価した結果、人手で構築された大規模なデータセットを利用しない設定において 82.21 という既存手法を上回る性能を達成した。

## 1 はじめに

文埋め込みは検索や含意関係認識など多くの夕スクに利用できることから、広く研究されている。特に、事前学習済み言語モデルを fine-tuning することで文埋め込みを生成する手法が多く提案されている。例えば、エンコーダ系のモデルを用いたものとして、NLI 分類で BERT [2] を fine-tuning する SentenceBERT [3]、定義文を用いて BERT を fine-tuning する DefSent [4]、対照学習により BERT を fine-tuning する SimCSE [5]、プロンプトベースの文埋め込み手法により静的なトークン埋め込みのバイアスを取り除く PromptBERT [6]、エンコーダ・ デコーダ系のモデルを用いたものとして、NLI デー タセットおよび QA データセットを用いて T5 [7] を fine-tuning する Sentence-T5 [8] 等が挙げられる。

また近年、デコーダ系の LLM に基づく手法が種々のベンチマークタスクで高い性能を示してい
る。文埋め込み生成についても、デコーダ系の LLM をバイ・エンコーダとして使用し、埋め込みを生成する SGPT [9] や、一つの単語のみに焦点を当てる制限を設けたプロンプトベースの手法で文埋め込みを生成する PromptEOL [1] 等が提案されており、 PromptEOL は人手で構築されたデータを利用する設定において、現時点でもっとも高いSTS の性能を達成している。しかし、人手で構築された NLI データセットを利用しない場合、それより大きく低い性能にとどまっている。

本研究では LLM を利用して NLI データセットを自動構築し、構築した NLI データセットを PromptEOL の fine-tuning に利用することで、人手で構築したデータを利用しない設定においても高い性能を持つ文埋め込みモデルの構築を目指す。本研究で提案するフレームワークの概要を図 1 に示す。まず、Wikipedia から抽出した文に対し、それが含意する文、それと矛盾する文を生成するようなプロンプ卜をそれぞれ適用し、NLI データセットを自動生成する。続いて、自動生成された NLI データセットを用いて PromptEOL $の$ fine-tuning を行い、fine-tuning 済みのモデルを用いて文埋め込みを生成する。

## 2 PromptEOL

PromptEOL はデコーダ系の大規模言語モデルに入力するプロンプトを工夫することで質の高い文埋め込みを生成する手法である。図 1 下部の埋め込み生成で示すように、「This sentence: "[text]" means in one word: "」の [text]を埋め込みを生成したい文に置換し、「in one word: "」の直後の埋め込みを、入力文の埋め込みとして用いる。デコーダ系の大規模言語モデルは次単語予測タスクで事前訓練されたモデルであるため、入力文を 1 単語で言い換えるような単語埋め込みを出力させるように入力を工夫することで、文埋め込みを生成することができる。

SimCSE の教師あり学習同様、NLI データセット

図 1 自動生成した NLI データを用いた教師なし文埋め込みの改良の概要

で対照学習したLLMを用いることで、より高性能な文埋め込みモデルを得ることが可能となる。図 1 の下部に示すように、NLI データセットを用いる場合、PromptEOL は含意関係にある文の埋め込みが近づき、矛盾関係にある文の埋め込みが遠ざかるように LLMを fine-tuning した上で、fine-tuning 後の LLM を用いて文埋め込みを生成する。NLIデータセットを用いて fine-tuning を行うことで、STS タスクにおいて 6 ポイント程度高いスコアを達成することが報告されている [1]。

## 3 NLI データセットの自動生成

本研究では、LLMを用いて自動生成したNLIデー タを用いて PromptEOLを fine-tuning することで、人手で構築された大規模なデータセットを利用せずに、高性能な文埋め込み生成モデルを構築することを目的とする。本節では本研究における NLI データの生成手順について説明する。

## 3.1 既存の NLI データセット

NLI データセットは、前提文 (premise) と仮説文 (hypothesis) からなる文のペアに対し、含意 (entailment)、中立 (neutral)、矛盾 (contradiction) のいずれかのラベルが付与されたデータセットである。人手で構築された代表的な NLI データセットとして Stanford NLI (SNLI) [10] コーパスや、Multi-Genre
NLI (MNLI) コーパス [11]、Cross-Lingual NLI (XNLI) コーパス [12] があり、それぞれ 579,000、433,000、 112,500 個の文ペアで構成されている。SimCSE や PromptEOL が SNLI コーパスおよび MNLIコーパスを用いているなど、NLI データセットは多くの文埋め込み生成モデルにおいて利用されている。本研究では、SNLIコーパスと MNLIコーパスを統合したデータを利用することとし、以降ではこのデータのことを人手 NLI データセットと呼ぶ。

## 3.2 NLI データの自動生成

前提文となる文を、以下のプロンプトの $\{$ premise $\}$ の部分に置換し LLM に入力することで、それぞれ前提文に対応する含意文、矛盾文を生成する。この際、「Answer："」に続いて出力された、次の「"」までの文字列を生成文とみなす。

## 含意文生成用プロンプト

Generate one sentence that logically entails "\{premise\}" in the form of a statement beginning with "Answer:". Answer: "

## 矛盾文生成用プロンプト

Generate one sentence that logically contradicts "\{premise\}" in the form of a statement beginning with "Answer:". Answer: "
few-shot 学習を採用する場合は、人手 NLI データセットからいくつかの文ペアを取り出し、上述のプロンプトの前に例として加え、含意文、矛盾文を生成する。例えば、1-shot $の$ 前提文、含意文のぺアとして、"Fun for adults and children."、"Fun for both adults and children.”を使用する場合のプロンプトは以下のようになる。

## 含意文生成用プロンプト (1-shot)

Generate one sentence that logically entails "Fun for adults and children." in the form of a statement beginning with "Answer:". Answer: "Fun for both adults and children." Generate one sentence that logically entails "premise" in the form of a statement beginning with "Answer:". Answer: "

## 4 実験

自動生成した NLI データセット、および、それを用いて生成した文埋め込みの評価を行った。

## 4.1NLI データセットの評価

評価方法 DeBERTa V2 XXLarge モデル [13] に MNLI タスクを学習させた deberta-v2-xxlarge-mnli ${ }^{1)}$ を用いて、自動生成した NLI データセットの質を評価した。具体的には、自動生成した NLI データセット中の各事例について、deberta-v2-xxlarge-mnli を用いた含意、中立、矛盾の三値分類を行い、分類結果と NLI データセットに付与されたラベルの一致度を算出することでデータセットの質を評価した。

実験設定 0 -shot および人手 NLI データセットについては、含意および矛盾の文ぺアをそれぞれランダムに 3000 ペアずつ、計 6000 ペア取り出し、それらの文ぺアに対し自動分類結果とのラべルの一致度を算出した。few-shot 学習では、含意 10 個、矛盾 10 個の計 20 個の異なるプロンプトに対し、それぞれ 1000 ペアずつ、計 20000 個の文ぺアを生成し、それらの文ぺアに対し自動分類結果とのラベルの一致度を算出した。また、LLM には llama-2-7b-chat [14] を用いた。生成元となる前提文の集合として、SimCSE [5] の教師なし学習で用いられた、Wikipedia からランダムに抽出された 100 万文を用いた。その際、人手 NLI データセットの分布に近くなるようにトークン数が 4 以上 32 以下の文の

表 1 NLI データセットのラベルと自動分類の一致度

み使用した。few-shot 学習は 5 -shot、10-shot、20-shot の 3 パターンで実施した。

実験結果一致度の算出結果を表 1 に示す。shot 数が増えるほど一致度が向上し、20-shot の場合、人手 NLI データセットと同等の一致度となった。特に含意ぺアについては、few-shot 学習により大幅に一致度が向上しており、few-shot 学習の効果は非常に大きいと言える。以上の結果から、10-shot や 20-shot を用いて自動生成した NLI データセットはある程度、高品質なものとなっている可能性が高いと考えられる。付録 A に 0-shot、20-shot の設定で自動生成された NLI データの例を示す。

## 4.2 文埋め込みの評価

評価方法 NLI データセットを利用して生成された文埋め込みの評価を行った。文埋め込みの評価は主に Semantic Textual Similarity (STS) タスクで行った2)。STS タスクは、文ペアが与えられた時に、モデルを用いて文ぺアの意味的な類似度を計算し、それがどの程度人間による評価に近いかを検証することで、モデルが文の意味的類似性を正しく推定できるかを評価するタスクである。本研究では多くの先行研究と同様に、文ぺアの文埋め込みの余弦類似度と人手評価による類似度とのスピアマンの順位相関係数により文埋め込みの質を評価した。

実験設定 STS データセットとして、先行研究と同様 STS 2012-2016 [15, 16, 17, 18, 19]、STS-B [20]、 SICK-R [21] の 7 つのデータセットを用いた。LLM には 1lama-2-7b [14] を用い、64,000 事例の NLI デー タセットを用いて fine-tuningを行った。学習時の batch_size は 256、warm_up に用いたステップ数は全体の $10 \%$ 、学習率は $5 \mathrm{e}-4$ とした。学習の際は、 5 ステップごとに STS-B の開発セットに対するスピアマンの順位相関係数を計算し、最もスコアが高い時点のモデルを最終的な評価に用いた。

表 2 文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数 (表内の值は全て 100 をかけたもの)

乱数による実験結果への影響を低減するため、 0-shot、および、人手データセットを用いた実験では、NLI データセットの並び順を変えて 3 回実験し、それらの平均スコアを最終的なスコアとした。 few-shot 学習では、異なる例文を用いて生成した 10 個の NLI データセットに対しそれぞれ実験し、それらの平均スコアを最終的なスコアとした。

また、比較のため、fine-tuningを行わない llama-2$7 \mathrm{~b}$ ベースの PromptEOLを用いた評価も行った。さらに NLI データセットを使用しない unsupervisedSimCSE-RoBERTa、人手 NLI データセットで学習した supervised-SimCSERoBERTa、教師なし学習において最高性能を達成している PromptRoBERTa についても先行研究のスコアを引用し比較を行った。

実験結果 STS タスクの実験結果を表 2 に示す. 0-shot で fine-tuning した PromptEOL モデルと fine-tuning を行わない PromptEOL モデルのスコアを比較すると、平均スコアがおよそ 7 ポイントほど上昇しており、生成した NLI データセットを用いた fine-tuning が有効であることが確認できる。さらに、 0-shot と few-shot の結果を比較すると、few-shot 学習により生成した NLI データセットを用いたモデルの方が 3 ポイント程度高くなっており、few-shot 学習の有効性が確認できる。特に 10-shot に対する平均スコアは 82.21 と、unsupervised-SimCSE-RoBERTa や PromptRoBERTa の性能を上回っており、人手で構築された大規模なデータセットを利用しない設定において最高性能を達成した。教師あり学習と比較すると、教師あり学習した PromptEOL の平均スコアは 85.41 と、10-shot に対する平均スコア 82.21 より、 3.2 ポイント高いスコアであった。fine-tuning を行わない場合の平均スコアは 71.62 であるので、few-shot 学習により自動生成した NLI データセットの効果は非常に大きいと言える。

## 5 おわりに

本研究ではデコーダ系の大規模言語モデルを用いて NLI データセットを自動生成し、PromptEOL の fine-tuning に利用することで、教師なし設定における文埋め込み生成の高性能化に取り組んだ。STS タスクを用いた評価実験の結果、few-shot 学習により自動生成した NLI データセットを用いることで、人手で構築された大規模なデータセットを利用しない設定において、既存手法を大きく上回る性能を達成した。今後の課題としては以下の 2 つが挙げられる。まず、提案した枠組みは人手で構築された大規模なデータセットを必要としないことから多くの言語に応用可能であると考えられるが、本研究での実験は英語のみを対象としている。手法の言語横断的な有用性を示すためには、英語以外の言語も対象とした実験を行う必要がある。また、後段タスクを対象とした実験では、そもそも NLI データセットを用いた fine-tuning が有効でないという結果となったが、提案した枠組みは NLI データ以外にも応用可能であることから、後段タスクごとに適したデータセットを検証し、各タスクに適した文埋め込みの生成を目指すことが考えられる。

## 謝辞

本研究は JSPS 科研費 JP21H04901 の助成を受けたものです。

## 参考文献

[1] Ting Jiang, Shaohan Huang, Zhongzhi Luan, Deqing Wang, and Fuzhen Zhuang. Scaling Sentence Embeddings with Large Language Models. arXiv:2307.16645, 2023.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NACCL'19, pp. 4171-4186, 2019.

[3] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In Proceedings of EMNLP-IJCNLP'19, pp. 3982-3992, 2019.

[4] Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. DefSent: Sentence Embeddings using Definition Sentences. Proceedings of ACL'21, pp. 411-418, 2021.

[5] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In Proceedings of EMNLP'21, pp. 6894-6910, 2021.

[6] Ting Jiang, Jian Jiao, Shaohan Huang, Zihan Zhang, Deqing Wang, Fuzhen Zhuang, Furu Wei, Haizhen Huang, Denvy Deng, and Qi Zhang. PromptBERT: Improving BERT Sentence Embeddings with Prompts. In Proceedings of EMNLP'22, pp. 8826-8837, 2022.

[7] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683, 2019.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models. In Findings of ACL'22, pp. 1864-1874, 2022.

[9] Niklas Muennighoff. SGPT: GPT Sentence Embeddings for Semantic Search. arXiv preprint arXiv:2202.08904, 2022.

[10] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of EMNLP'15, pp. 632-642, 2015.

[11] Adina Williams, Nikita Nangia, and Samuel Bowman. A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. In Proceedings of NACCL'18, pp. 1112-1122, 2018.

[12] Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating Cross-lingual Sentence Representations. In Proceedings of EMNLP'18, pp. 24752485, 2018.

[13] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disen- tangled Attention. In Proceedings of ICRL'21, 2021.

[14] Thomas Scialom Hugo Touvron and et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288, 2023.

[15] Eneko Agirre, Daniel Cer, Mona Diab, and Aitor Gonzalez-Agirre. SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity. In Proceedings of SemEval'12, pp. 385-393, 2012.

[16] Eneko Agirre, Daniel Cer, Mona Diab, Aitor GonzalezAgirre, and Weiwei Guo. *SEM 2013 shared task: Semantic Textual Similarity. In Proceedings of ${ }^{*}$ SEM'13, pp. 32-43, 2013.

[17] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval2014 Task 10: Multilingual Semantic Textual Similarity. In Proceedings of SemEval'14, pp. 81-91, 2014.

[18] Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea, German Rigau, Larraitz Uria, and Janyce Wiebe. SemEval2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In Proceedings of SemEval'15, pp. 252-263, 2015.

[19] Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, and Janyce Wiebe. SemEval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evaluation. In Proceedings of SemEval'16, pp.497-511, 2016.

[20] Eneko Agirre Iñigo Lopez-Gazpio Lucia Specia Daniel Cer, Mona Diab. SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In Proceedings of SemEval'17, pp. 1-14, 2017.

[21] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of LREC'14, pp. 216-223, 2014.
表 30 -shot 学習で自動生成された NLI データの例

表 4 20-shot 学習で自動生成された NLI データの例

 &  \\

表 5 SentEval の後段タスクにおける正解率 (\%)

## A 自動生成された NLI データの例

0-shot 学習、20-shot 学習で自動生成された NLI データの例を表 3、表 4 にそれぞれ示す。表 3、表 4 で前提文は同一である。

0-shot 学習により生成された含意文の多くは中立と推定されているものの、含意はしていなくとも類似した意味の文を生成できていることがわかる。一方、矛盾文については never といった否定語や colored という colorless とは逆の意味の単語を用いることで、多様な文が生成できていることがわかる。20-shot 学習により生成された文は前提文を強く参照している傾向があり、精度の高い含意文、矛盾文を生成できていることが確認できる。また、 0 -shot 学習と比べ、生成される文は短くなる傾向があった。

## B 後段タスクを用いた評価

生成された文埋め込みの、後段タスクにおける有用性を検証するため、SentEval の後段タスクを用いた評価を実施した。SentEval の後段タスクでは文埋め込みを入力として使用し、その上で線形分類器の訓練を行う。具体的には、各文から生成された文埋め込みを特徴として使用し、ロジスティック回帰などの線形分類器を訓練する。訓練された分類器を用いて分類タスクのパフォーマンスを評価し、正解率や他の関連メトリックスを測定することで、文表現の効果性を定量的に評価する。

結果を表 5 に示す。先行研究 [1] で報告されているのと同様に、fine-tuning を行うことによる後段タスクの性能向上は確認できなかったが、0-shot、 few-shot ともに人手 NLI データセットで学習した場合と同等のスコアとなった。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 言語横断類似度推定のための多言語文符号化器のドメイン適応

山内 洋輝 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 桂井 麻里衣 ${ }^{2}$ 二宮 崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
\{yamauchi@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp katsurai@mm.doshisha.ac.jp

## 概要

本研究では，多言語文符号化器のドメイン適応に取り組む．高度な専門知識が要求される医療や学術のドメインにおいては，目的ドメインに特化した事前訓練の有効性が知られている。しかし，様々な言語においてドメイン特化の単言語事前訓練モデルの開発が進む一方，言語横断情報検索などに応用可能な多言語モデルは存在しない，また，各言語における目的ドメインのコーパスを整備し多言語の事前訓練を行うには大きなコストが必要となる. そこで我々は，既存の多言語文符号化器および 2 言語の各々における目的ドメインに特化した単言語文符号化器を用いて, 効率的にドメイン特化の言語横断文符号化器を開発する. 3 つのドメインおよび言語対における翻訳ランキングの評価実験の結果，ドメイン適応なしのベースラインや既存のドメイン適応手法と比べて，提案手法の有効性を確認できた。

## 1 はじめに

Web 上に蓄積された膨大なデータから網羅的に情報を得るために，言語横断情報検索 [1] の技術が期待されている. 埋め込みべースの言語横断情報検索などの応用を目指して, 多言語文符号化器 [2-4] の研究も盛んに進められている. これらの多言語文符号化器は Wikipedia や CC100 [5] などの一般的なテキストを用いて訓練されているが，高度な専門知識が要求される医療や学術のドメインに対応するためには, 目的ドメインに特化した多言語文符号化器を開発することが望ましい。しかし, これらのドメインに特化した単言語文符号化器 [6-11] の開発が進む一方で, 言語横断情報検索に応用可能なドメイン特化の多言語文符号化器は存在しない.

そこで本研究では，ドメイン特化の言語横断文符号化器を構築する手法を提案する. ただし, 各言語における目的ドメインのコーパスを整備して多言語の事前訓練を行うには大きなコストが必要となるた
め, 汎用的な多言語文符号化器 $[3,4,12,13]$ の開発と同様に，事前訓練済みの文符号化器を対訳コーパス上でファインチューニングするアプローチを採用する. 先行研究では, 知識蒸留 [3], 翻訳ランキング [4], 対照学習 [12], 敵対的学習 [13] などの手法を用いて，対訳文における原言語と目的言語の埋め込みを近づけることに焦点を当ててきた。一方で本研究では, 原言語と目的言語の埋め込みを近づけるだけでなく，ドメイン知識の獲得も同時に行う.

学術 (英日) ・医療 (英仏) ・金融 (英中）の 3 つのドメインおよび言語対における評価実験の結果，提案手法がドメイン適応なしのべースラインや既存のドメイン適応手法と比べて高い性能を達成することを確認できた. 詳細な分析の結果, 提案手法は目的ドメインの対訳コーパスが数千文対しか使用できない状況でも有効であることが明らかになった。

## 2 提案手法

図 1 に示すように，本研究では目的ドメインの対訳コーパス上でのファインチューニングを通して，多言語文符号化器から言語非依存の埋め込み（意味表現）を抽出しつつ，各言語におけるドメイン特化の単言語文符号化器からドメイン知識を蒸留する.このように獲得した意味表現（図 1 の黄色） は，目的ドメインに適した意味空間上で，入力言語に関わらず，意味的に類似した文に類似したべクトルを与えられる. 本手法は, 多言語文符号化器から得られる埋め込みを言語固有の情報を持つ言語表現と言語非依存の情報を持つ意味表現に分離する DREAM [12] および MEAT [13] から着想を得て言語非依存の埋め込みを訓練するとともに，Multilingual SentenceBERT [3] の知識蒸留から着想を得てドメイン特化の埋め込みを訓練するものである。

先行研究 $[12,13]$ と同様に, 多言語文符号化器から得られる埋め込みを， MLP ${ }_{* L}$ および MLP HM $^{2}$ の 2 つの多層パーセプトロンによって言語表現および意味表現に分離する。これを原言語 $\mathrm{S}$ および目的言語

図 1 提案手法の概要図. 目的ドメインの対訳コーパス, 多言語文符号化器, 各言語におけるドメイン特化の単言語文符号化器を用いて，多言語文符号化器から言語非依存なドメイン特化の意味表現を抽出するように MLPを訓練する。

$\mathrm{T}$ の両方で実施し，合計 4 つの MLPを以下の 5 つの損失関数に基づくマルチタスク学習で訓練する.

$
L=L_{1}+L_{2}+L_{3}+L_{4}+L_{5}
$

## 2.1 ドメイン知識の蒸留

言語表現と意味表現を足し合わせた文表現を，ドメイン特化の単言語文符号化器から得た文表現に近づけることで，意味表現へのドメイン知識の蒸留を狙う，以下のように損失を定義する。

$
L_{1}=2-\left(\cos \left(\left(S_{L}+S_{M}\right), S_{D}\right)+\cos \left(\left(T_{L}+T_{M}\right), T_{D}\right)\right)
$

ここで, $S_{L} \in \mathbb{R}^{d}$ および $T_{L} \in \mathbb{R}^{d}$ は原言語および目的言語の言語表現, $S_{M} \in \mathbb{R}^{d}$ および $T_{M} \in \mathbb{R}^{d}$ は各言語の意味表現, $S_{D} \in \mathbb{R}^{d}$ および $T_{D} \in \mathbb{R}^{d}$ は各言語のドメイン特化モデルから得た文表現を表す。ただし, $d$ は埋め込みの次元数である.

## 2.2 言語間で意味表現同士を近づける

言語に依存せず，意味的に等価な文同士の意味表現を近づけたい。これを達成するために，対訳文の間で意味表現を近づける以下の損失を定義する.

$
L_{2}=1-\cos \left(S_{M}, T_{M}\right)
$

## 2.3 言語間で言語表現同士を遠ざける

意味に依存せず，異なる言語の文同士の言語表現を遠ざけたい。これを達成するために，対訳文の間で言語表現を遠ざける以下の損失を定義する.

$
L_{3}=\max \left(0, \cos \left(S_{L}, T_{L}\right)\right)
$

## 2.4 元の文表現と離れすぎない

言語非依存の意味表現を獲得するために，言語固有であるドメイン特化の単言語文符号化器に影響を受けすぎないようにしたい。これを達成するために，意味表現と多言語文符号化器から得られる元の文表現の大きな乘離を防ぐ以下の損失を定義する。

$
L_{4}=2-\left(\cos \left(S, S_{M}\right)+\cos \left(T, T_{M}\right)\right)
$

意味表現と同様に，言語表現も元の文表現との大きな乘離を避けるために，以下の損失を定義する。

$
L_{5}=2-\left(\cos \left(S, S_{L}\right)+\cos \left(T, T_{L}\right)\right)
$

## 2.5 実装の詳細

文表現には，各モデルから出力されるトークン埋め込みの平均プーリングを用いる. MLP には 1 層の順伝播型ニューラルネットワークを用いる。また，対訳コーパス上でファインチューニングするのは MLP のみであり，文符号化器は更新しない.

## 3 評価実験

3つのドメインおよび言語対を対象とする翻訳ランキングタスクにおいて提案手法の性能を評価する. 翻訳ランキングは，ある原言語文に対して意味的類似度の降順に目的言語文をランキングするタスクであり，対訳文を 1 位にランク付けできた割合を評価する ExactMatch および上位 10 件のうち何位に対訳文をランク付けできたかを評価する平均逆順位 MRR@10によって自動評価する。本実験では，余弦類似度によって意味的類似度を推定する。
表 1 実験結果

} & LaBSE & 0.908 & 0.927 & 0.943 & 0.949 & 0.476 & 0.537 \\

表 2 対訳コーパスの文対数

## 3.1 実験設定

データセット学術・医療・金融の3 つのドメインにおいて実験した．学術ドメインにおいては，科研費の採択課題名 ${ }^{1)}$ に関する英日の対訳コーパスを用いた。医療ドメインにおいては，WMT16 [14] の Biomedical Translation タスクにて採用された PubMed に関する英仏の対訳コーパスを用いた。金融ドメインにおいては，Financial Times の記事タイトルを抽出した英中の対訳コーパス [15] を用いた。これらの対訳コーパスの文対数を表 2 に示す。それぞれ，検証用および評価用に 5,000 文対ずつを無作為抽出し，残りを訓練用に用いた。

モデルドメイン特化の単言語文符号化器には，学術ドメインにおいては英語の SciBERT ${ }^{2)}$ [6] および日本語の AcademicRoBERTa ${ }^{3}$ [10], 医療ドメインにおいては英語の Bio_ClinicalBERT ${ }^{4)}$ [7] およびフランス語の $\operatorname{DrBERT}^{5}$ [11], 金融ドメイン

1) https://kaken.nii.ac.jp/

2) https://huggingface.co/allenai/scibert_scivocab_ uncased

3) https://huggingface.co/EhimeNLP/AcademicRoBERTa

4) https://huggingface.co/emilyalsentzer/Bio_ ClinicalBERT

5) https://huggingface.co/Dr-BERT/DrBERT-7GB
においては英語の FinBERT ${ }^{6}$ [ [8] および中国語の Mengzi-BERT ${ }^{7)}$ [9] を用いた. 多言語文符号化器には，機械翻訳の品質推定のために言語表現と意味表現を分離する先行研究 $[12,13]$ と同様に, 最先端の多言語文符号化器のひとつである $\mathrm{LaBSE}^{8)}$ [4]を用いた. バッチサイズを 512，最適化手法を Adam [16],学習率を 1e-5 として HuggingFace Transformers [17] を用いて訓練した。検証用データにおける式 (1)の損失が 3epoch 改善しない場合に訓練を終了した.

比較手法言語表現と意味表現を分離しつつドメイン知識の蒸留を行う提案手法の有効性を評価するために，LaBSE の文表現をそのまま用いるべースラインに加えて，3つの比較手法の実験を行う.まず， ドメイン知識の蒸留のみを行う比較手法 (1)として,言語表現と意味表現に分離する $\mathrm{MLP}_{L}$ および $\mathrm{MLP}_{M}$ の代わりに，原言語用の $\mathrm{MLP}_{S}$ および目的言語用の $\mathrm{MLP}_{T}$ を用いて，以下の損失 $L_{6}$ を考える.

$
L_{6}=2-\left(\cos \left(S_{S}, S_{D}\right)+\cos \left(T_{T}, T_{D}\right)\right)
$

次に，言語表現と意味表現を分離しない比較手法 (2) として，ドメイン知識の蒸留に加えて原言語の表現と目的言語の表現を近づける損失 $L_{6}+L_{7}$ を考える.

$
L_{7}=1-\cos \left(S_{S}, T_{T}\right)
$

最後に，ドメイン知識の蒸留をしない比較手法 (3) として，言語表現と意味表現を足し合わせて元の文表現を復元する損失 $L-L_{1}+L_{8}$ を考える.

$
L_{8}=2-\left(\cos \left(\left(S_{L}+S_{M}\right), S\right)+\cos \left(\left(T_{L}+T_{M}\right), T\right)\right)
$

6) https://huggingface.co/ProsusAI/finbert

7) https://huggingface.co/Langboat/

mengzi-bert-base-fin

8) https://huggingface.co/sentence-transformers/LaBSE
表 3 アブレーション分析

ExactMatch

## 3.2 実験結果

表 1 に実験結果を示す. 上段は英語の文をクエリとして他言語の文を検索する場合の実験結果であり、下段は他言語の文をクエリとして英語の文を検索する場合の実験結果である。

LaBSE と比較して, 全てのドメインおよび言語対において，提案手法が一貫して高い性能を達成できた. ドメイン知識の蒸留のみを行う比較手法 (1) は,対訳文を検索する能力が完全に失われており，単純なドメイン適応では言語横断モデルを訓練できないことがわかる．また，言語表現と意味表現を分離しない比較手法 (2) も著しく性能が劣化することから，言語非依存な意味表現を抽出することが言語横断の類似度推定のために重要であることがわかる。 ドメイン知識の蒸留をしない比較手法 (3) は，元の LaBSE の性能を上回ったが，全てのドメインおよび言語対において提案手法以下の性能に留まった. そのため，言語非依存な意味表現を抽出するだけでも言語横断情報検索の性能改善を期待できるものの， ドメイン適応によってその品質をさらに改善できると言える.

## 3.3 アブレーション分析

提案手法のうち，ドメイン適応を司る $L_{1}$ 以外の損失についての様々な組み合わせを評価した結果を表 3 に示す. 紙面の都合上, 学術ドメインにおける英日データの結果のみを掲載するが，他のドメインや言語対においても同様の結果が見られた。

(a) に性能悪化が見られるため，高い言語横断性能を達成するためには言語表現と意味表現を分離する $L_{2}$ および $L_{3}$ の損失が重要であることがわかる. (b)

図 2 対訳コーパスの規模と言語横断情報検索の品質

より，元の文表現を大きく更新することを防ぐ $L_{4}$ および $L_{5}$ を除くことで著しい性能悪化が見られることから，安定したドメイン適応の訓練のためにこれらの損失が重要であることがわかる。(c) および (e) から，意味表現に関する損失を除外することで，提案手法と比べて to-English 方向の性能が悪化することがわかる。一方で，(d) および (f) から，言語表現に関する損失を除外しても大きな影響はない.

## 3.4 対訳コーパスの規模に関する分析

訓練に使用する目的ドメインの対訳コーパスの規模を減らしつつ性能の変化を分析した結果を図 2 に示す. 5,000 文対の対訳コーパスを用いた訓練でさえ，提案手法（実線）はLaBSE の性能（点線）を上回ることが明らかになった. 特定のドメインにおける大規模な対訳コーパスを整備するには大きなコストがかかるため，小規模なデータで言語横断のドメイン適応を実現できることには価值がある.

## 4 おわりに

本研究では，多言語文符号化器のドメイン適応に取り組んだ。提案手法は，目的ドメインの対訳コー パスと目的ドメインに特化した単言語文符号化器を用いて, 多言語文符号化器から言語非依存の意味表現を抽出しつつ，ドメイン知識を蒸留する。学術・医療・金融の 3 ドメインおよび英日・英仏・英中の 3 言語対における実験結果は，ドメインや言語に依存せず一貫して, 提案手法が言語横断類似度推定の性能を改善できることを示した. 本手法は，目的ドメインにおける数千文対の対訳コーパスからでさえ，多言語文符号化器のドメイン適応を実現できる.

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP20H04484）および国立研究開発法人情報通信研究機構 (NICT) の委託研究（課題番号：22501）による助成を受けたものです.

## 参考文献

[1] Mikel Artetxe and Holger Schwenk. Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 597-610, 2019.

[2] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[3] Nils Reimers and Iryna Gurevych. Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, pp. 4512-4525, 2020.

[4] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 878-891, 2022.

[5] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003-4012, 2020.

[6] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[7] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, 2019.

[8] Dogu Araci. FinBERT: Financial Sentiment Analysis with Pre-trained Language Models. arXiv:1908.10063, 2019.

[9] Zhuosheng Zhang, Hanqing Zhang, Keming Chen, Yuhang Guo, Jingyun Hua, Yulong Wang, and Ming Zhou. Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese. arXiv:2110.06696, 2021.

[10] Hiroki Yamauchi, Tomoyuki Kajiwara, Marie Katsurai, Ikki Ohmukai, and Takashi Ninomiya. A Japanese Masked Language Model for Academic Domain. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 152-157, 2022.

[11] Yanis Labrak, Adrien Bazoge, Richard Dufour, Mickael Rouvier, Emmanuel Morin, Béatrice Daille, and PierreAntoine Gourraud. DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 16207-16221, 2023.

[12] Nattapong Tiyajamorn, Tomoyuki Kajiwara, Yuki Arase, and Makoto Onizuka. Language-agnostic Representation from Multilingual Sentence Encoders for Cross-lingual Similarity Estimation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7764-7774, 2021.

[13] Yuto Kuroda, Tomoyuki Kajiwara, Yuki Arase, and Takashi Ninomiya. Adversarial Training on Disentangling Meaning and Language Representations for Unsupervised Quality Estimation. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 5240-5245, 2022.

[14] Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurélie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, and Marcos Zampieri. Findings of the 2016 Conference on Machine Translation. In Proceedings of the First Conference on Machine Translation, pp. 131-198, 2016.

[15] Nicolas Turenne, Nicolas Turenne, Ziwei Chen, Guitao Fan, Jianlong Li, Yiwen Li, Siyuan Wang, and Jiaqi Zhou. Mining an English-Chinese Parallel Dataset of Financial News. Journal of Open Humanities Data, Vol. 8, No. 9 , pp. 1-12, 2022.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.


# 視覚的文脈を利用した視覚言語モデルによる 画像キャプション生成自動評価手法

前田 航希 $、$ 栗田 修平・宮西大樹
* 東京工業大学, ・理化学研究所, $\diamond$ 国際電気通信基礎技術研究所
koki.maeda@nlp.c.titech.ac.jp, shuhei.kurita@riken.jp
miyanishi@atr.jp, okazaki@c.titech.ac.jp

## 概要

既存の画像キャプション生成の品質自動評価は,画像に映る物体への言及を過大評価するほか，物体の特性や関係といった細かい言及の間違いを見過ごすなど，人間の判断に近い評価をするには未だ不十分である. 本稿では，視覚言語モデル（VLM）を用いた画像キャプション生成の自動評価手法として VisCE $^{2}$ を提案する. 本手法は，VLM が持つ視覚理解能力によって，画像に写る物体の属性や関係を含めた視覚的文脈を明示的に言語化し，VLM の言語理解能力によって視覚的文脈を考慮した評価を可能にする、メタ評価実験を通じて，VisCE ${ }^{2}$ は既存手法と同等以上の人手評価との相関を示し，視覚的文脈の追加が評価性能を向上させることを実証した.

## 1 はじめに

画像キャプション生成の自動評価は，視覚的な情報を言語化する過程での正確さや自然さを効率的に判断する上で重要な役割を果たす。これまでに，事前に用意した参照文と生成したキャプションの $n$-gram の重複を計測する手法 $[1,2]$, 視覚言語モデルから取得した画像とテキストの分散表現の類似度を計測する手法 [3] などが提案され，画像キャプション生成の自動評価の品質は大きく向上したものの，未だに人手評価の品質と比べて大きな差が存在している。また, CLIP-S [3] 視覚言語基盤モデルを用いた評価指標は，物体の属性や物体間の関係の誤りを見逃す傾向があると指摘されている [4].

この問題を解決するために，我々は評価プロセスに視覚的文脈の抽出を導入する．視覚的文脈は，背景や細かな物体，および推測される事実を含む，画像を詳述する周辺情報である．画像から視覚的文脈を抽出して評価に用いることで，画像内の物体に加
え，その状態や相互作用，意図を正確に記述したかを識別し，より包括的な評価が可能になる.

本研究では，視覚的文脈を活用した視覚言語モデルベースの画像キャプション生成の自動評価手法 (Vision Language Model-based Caption Evaluation Method leveraging Visual Context Extraction; VisCE²) を提案する。 VisCE ${ }^{2}$ は，VLMを用いて画像内の物体とその相互関係からなる視覚的文脈を明示的に言語化し，画像と言語化した視覚的文脈をもとに，生成したキャプション候補のスコアを計算することで，自動評価を行う．VLM の視覚理解能力と言語理解能力を用いて，視覚的文脈を考慮しながら言語および視覚の両観点から画像キャプション生成の評価を行うことで，評価品質の向上が期待できる.

我々は人手評価を用いたメタ評価実験を行い，

(i)VisCE ${ }^{2}$ は人手評価と高い相関を示し, 既存の手法と同等以上の評価性能を持つこと (ii) 評価時に画像の視覚的文脈を構成的な表現で与えることが評価性能の向上につながることを実証した ${ }^{1)}$.

## 2 関連研究

## 2.1 画像キャプション生成の自動評価手法

画像キャプション生成の一般的な品質自動評価では，事前に用意した参照文と生成したキャプションの一致度を複数の指標 $[1,2,5,6,7]$ で計測して比較を行う。しかし，参照文を用意するコストが大きく，人間の評価との相関が低いことが知られている.この問題を解決するために，参照文を用いずに自動評価する試みが為されている. CLIP-S [3] は，視覚と言語の基盤モデル CLIP [8] を用いて画像とテキストの埋め込み表現の $\cos$ 類似度を評価スコアとみなす。また，CLIP-S の訓練事例を拡張した

1）本研究の実装は以下の URL で公開する予定である: https://github.com/nlp-titech/VLM_caption_eval

図 $1 \mathrm{VisCE}^{2}$ によるキャプション品質自動評価の概要と入出力の例. まず VLM は画像から視覚的文脈を抽出し，テキストとして出力する．その後，画像および候補文に加えて得られた視覚的文脈を用いてキャプションを評価する．

PAC-S [9] や，生成文の正確性と画像に映る物体の網羅性を評価した InfoMetIC [10] などが提案された. CLAIR [11] は ChatGPT [12], Claude [13], PaLM [14] といった大規模言語モデルを画像キャプション生成の評価に活用し，人手評価との高い相関を示した. しかし, 意味的な類似度を評価するための参照文作成のコストがかかるうえ，モデルが公開されておらず評価の透明性も低い, 提案手法は, VLM が画像の視覚的文脈を明示的に出力して自身に与えることで，参照文付与のコストを低減し，周辺情報を考慮したきめ細かい評価ができる。

## 2.2 視覚言語モデル（VLM）

異なるモダリティの統合的な理解を目指して，視覚と言語の両潜在空間の距離学習を行う事前学習手法である CLIP [8] が提案された. その後, 複数の視覚言語課題を同一のモデルで解くことを目的として, OFA [15], InstructBLIP [16] などが提案されてきた. 言語モデルの発展と並行して提案された LLaVA [17] は，言語課題において高い性能を発揮した LLaMA [18] と Vicuna [19] を CLIP と統合し, 微調整を行うことで多くのマルチモーダル課題での Zero-shot 性能を飛躍的に向上させた. また，モデルは非公開だが APIを通じて利用可能な VLM として, GPT-4V [20] や Gemini [21] どがある. 本研究では, 結果の再現性の観点から, 公開されたモデルの中で最も性能が高いLLaVA-1.5 [22]を採用した.

## 3 提案手法: VisCE $^{2$}

$\operatorname{VisCE}^{2}$ は, 画像キャプション生成の品質評価をマルチモーダルなテキスト補完課題とみなす. 本手法
では，画像，候補文，およびキャプション評価用に設計したプロンプトを入力として，VLM が続くテキストを補完し，キャプションの品質を示すスコアを含む文を生成する。

図 1 に VisCE ${ }^{2}$ の概要を示す.VLMを用いた評価に際し，評価の基準となる参照情報を画像・テキストの両方で与えるために， $\mathrm{VisCE}^{2}$ ではキャプションの品質を評価するプロセスを 2 段階に分ける．第一段階では，VLM は画像の視覚的文脈を抽出し，構造的に出力する. 具体的には，VLM に画像を与え，画像に存在する物体, 物体の特徴, および物体同士に成り立つ関係に分類し，それぞれ列挙する。これにより，物体に関するより詳細な情報が保存され，評価に活用することができる．また，画像だけでは第二段階では，第一段階で得られた視覚的文脈を用いてキャプションの評価を行う. 画像，候補文と視覚的文脈をプロンプトに統合し，VLMに与える. キャプションの総合的な品質を 0 以上 100 以下の整数値で出力するよう VLM に指示し, キャプションの品質を反映したスコアを出力させる.

## 4 実験

本稿で提案した自動評価手法のメタ評価を行うため, $\mathrm{VisCE}^{2}$ と画像キャプションへの人手評価がどの程度整合するかを検証した. 評価に用いたデータセットの詳細は付録 A に詳述する．また，視覚的文脈の有効性を検証するために複数のプロンプトによる評価性能の比較を行った. VisCE ${ }^{2}$ は利用する VLM に制限はないが，結果の再現性と透明性の観点から公開されている VLM の中で最も性能が高い LLaVA1.5-13B を採用した.
表 1 Flickr8k-Expert [23]，Composite [24] における人手評価との相関. Ref.: 参照文の利用の有無，太字: 最良スコア，†: 先行研究で報告されたスコアを示す.

## 4.1 人手評価との相関

我々は Flickr8k-Expert [23], Composite [24]を用いて, $\operatorname{VisCE}^{2}$ のキャプション品質評価能力を検証した. 自動評価と人手評価の相関を測るメタ評価指標には，Kendall の順位相関係数を用いた。表 1 は， $\mathrm{VisCE}^{2}$ の人手評価との相関を既存の自動評価指標 $[1,2,3,5,6,7,9,10,11]$ と比較したものである.

Flickr8k-Expert. VisCE ${ }^{2}$ は参照文を用いない手法の中で最高性能を達成した。また，公開されたモデルを利用したものに限れば，参照文を用いた手法を含めた中で最も高い評価性能であった。これまでの最高性能であった InfoMetIC に大きく差をつけて上回り (+4.8pt), 従来の自動評価指標と比較して，提案手法は人間に沿ったキャプション品質評価ができることが示された。

Composite. VisCE ${ }^{2}$ は高い水準の評価性能を示した. CLIP-S, PAC-S と比較して 3pt. 以上の性能向上が見られ，画像キャプション生成の自動評価に対する VLM の有効性が実証された. 提案手法は InfoMetIC の性能を下回ったが，InfoMetIC は Composite を構成する 3 種類のデータセットで品質推定器を微調整しており，これが性能差の一因として考えられる。

一方で，VisCE ${ }^{2}$ は大規模言語モデルと参照文を用いる CLAIR と比較して低い結果となった. 利用する言語モデルの規模の差を鑑みると，性能の差に寄与する要素の特定にはさらなる検証が必要である。

## 4.2 キャプション対の比較

我々は，キャプション対の選好判断を収集した人手評価データセット Pascal-50S [2] を用いて評価指表 2 Pascal-50S [2] における判定精度.

表 3 THumB 1.0 における自動評価手法と人手評価との Pearson 相関係数. w/o, w/ Human はそれぞれ人間が書いたキャプションを候補文に含めるかを示している.

標の相対的な評価の性能を検証した。侯補文の組は以下の 4 つのグループに分類されており，グループごとの人手評価との一致度を計測した．表中の記号はキャプションの組の性質を表し，それぞれ以下の内容を表す。
1. $\mathrm{HC}:$ 人間が書いたキャプションどうしの組

2. HI: 人間が書いた，一方は正しく，もう一方は誤った画像に付与されたキャプションの組

3. HM: 人間が書いたものと生成キャプションの組

4. MM: 自動生成されたキャプションどうしの組

表 2 の判定精度の結果から，VisCE ${ }^{2}$ は CLIP-S と同等程度だが，これまでの参照文を用いない自動評価指標と比較して低い性能を呈した. CLAIR も同様の傾向を示しており，言語モデルに依存する手法に共通する欠点だと考えられる。

## 4.3 キャプション品質評価の特性

$\mathrm{VisCE}^{2}$ のキャプション評価の特性を調べるために，キャプションに精度と想起スコアが付与された

図 2 Composite データセットの画像, 人手評価および候補文と, それに対する VisCE 2 と CLIP-S の評価スコアの比較.左側に VisCE ${ }^{2}$ が正しく評価できた例，右側に誤って評価した例を示す.

表 4 異なるプロンプト戦略での人手評価との相関と精度スコア. THumB は w/ Human の設定での Precision との相関を示す

THumB1.0 [25] を用いてそれぞれのスコアとの相関を計測した. 先行研究 $[10,25]$ に倣い，メタ評価指標には Pearson の相関係数を用いた.

表 3 に示すように，VisCE²は精度との相関で最高性能を達成した. RefCLIP-S と比較すると，総合スコアでは同程度の相関を示しているが，精度との相関は提案手法が大きく差をつけて上回り (+0.20/0.18pt.), 想起との相関は劣る (-0.19/-0.20pt.). このことから, $\mathrm{VisCE}^{2}$ は視覚的文脈の挿入による画像の周辺情報を基に，内容の網羅性よりも描写の正確性を重視することが明らかになった.

## 4.4 視覚的文脈の有無が及ぼす評価性能へ の影響

我々は，視覚的文脈の插入が評価性能の向上に寄与するか検証するために， 4 種類のプロンプトを用いて人手評価との相関を比較した（付録表 5）:

1. Vanilla: スコアのみを出力させる.

2. Chain-of-Thought: 理由とスコアを出力させる.

3. Description: 視覚的文脈として LLaVA-1.5 が生成したキャプションを利用する。
4. $\operatorname{VisCE}^{2}$ (提案手法): 視覚的文脈を構成的な形式で出力し評価に利用する.表 4 に示すように，VisCE² は全ての項目で最も良い評価性能を示した．注目すべきことに，VisCE²は Description 設定と比較して性能が有意に向上した. この結果は，参照文よりも視覚的文脈を用いることが評価性能の向上に寄与することを示し，提案手法の有効性を実証するものである。

## 4.5 定性的評価

提案した評価尺度の品質を評価するために， VisCE² が出力したスコアを人手評価および CLIP-S と定性的な例を用いて比較した。 図 2 の左列の例を見ると，CLIP-S は画像に含まれる物体を含んだキャプションを高く評価し，構成的な誤りを過小評価している. VisCE²はそのようなキャプションを正しく評価できることがわかる。しかし，VisCE2 は画像の主題でない状況を正確に描写したキャプションに高得点をつける傾向にあり，右列のような誤りが見られる。この精度を重視する傾向は 4.3 節で見られた結果と整合する。

## 5 おわりに

我々は，視覚的文脈を抽出し評価に活用する VLM ベースの画像キャプション生成の自動評価手法である $\operatorname{VisCE}^{2}$ を提案した。メタ評価実験では既存の指標と比較して人間の判断に沿った評価ができ，視覚的文脈の挿入が評価性能を向上させることを実証した. 生成キャプションの画像の内容における網羅性評価と $\operatorname{VisCE}^{2}$ と組合せることでさらなる評価性能の向上が期待される。また，VLM による評価を幻覚評価や他の視覚言語課題に応用する予定である.
謝辞. 本研究は JST さきがけ JPMJPR20C2, JSPS 科研費 22K17983，JSPS 科研費 JP20269633 の助成を受けたものです.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[2] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[3] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: a reference-free evaluation metric for image captioning. In EMNLP, 2021.

[4] Saba Ahmadi and Aishwarya Agrawal. An examination of the robustness of reference-free image captioning evaluation metrics. arXiv preprint arXiv:2305.14998, 2023.

[5] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[6] Michael Denkowski and Alon Lavie. Meteor universal: Language specific translation evaluation for any target language. In WMT, pp. 376-380, 2014.

[7] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.

[9] Sara Sarto, Manuele Barraco, Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation. In CVPR, 2023.

[10] Anwen Hu, Shizhe Chen, Liang Zhang, and Qin Jin. InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation. In ACL, pp. 3171-3185. Association for Computational Linguistics, 2023.

[11] David M Chan, Suzanne Petryk, Joseph E Gonzalez, Trevor Darrell, and John Canny. CLAIR: Evaluating Image Captions with Large Language Models. In EMNLP, Singapore, Singapore, December 2023. Association for Computational Linguistics.

[12] OpenAI. Introducing ChatGPT, 2022.

[13] Yuntao Bai, et al. Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv preprint arXiv:2204.05862, 2022.

[14] Aakanksha Chowdhery, et al. PaLM: Scaling language modeling with pathways. arXiv preprint arXiv:2204.02311, 2022

[15] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequencelearning framework. arXiv preprint arXiv:2202.03052, 2022.

[16] Wenliang Dai, et al. InstructBLIP: Towards generalpurpose vision-language models with instruction tuning. arXiv preprint arXiv:2305.06500, 2023.

[17] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. arXiv preprint arXiv:2304.08485, 2023

[18] Hugo Touvron, et al. LLaMA: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[19] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with $90 \% *$ chatgpt quality, March 2023.

[20] OpenAI, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023

[21] Gemini Team, et al. Gemini: A family of highly capable multimodal models. 2023.

[22] Haotian Liu, Chunyuan Li, Yuheng Li, and Yong Jae Lee. Improved baselines with visual instruction tuning. arXiv preprint arXiv:2310.03744, 2023.

[23] Micah Hodosh, Peter Young, and Julia Hockenmaier. Framing image description as a ranking task: Data, models and evaluation metrics. J. Artif. Intell. Res., Vol. 47, pp. 853-899, 2013.

[24] Somak Aditya, Yezhou Yang, Chitta Baral, Cornelia Fermuller, and Yiannis Aloimonos. From images to sentences through scene description graphs using commonsense reasoning and knowledge. arXiv preprint arXiv:1511.03292, 2015.

[25] Jungo Kasai, Keisuke Sakaguchi, Lavinia Dunagan, Jacob Morrison, Ronan Le Bras, Yejin Choi, and Noah A. Smith. Transparent human evaluation for image captioning. In NAACL, pp. 3464-3478, Seattle, United States, July 2022. Association for Computational Linguistics.

[26] Xinlei Chen, et al. Microsoft COCO captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[27] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, Vol. 2, pp. 67-78, 2014.
表 5 実験において利用したプロンプト．ただし，\{caption \} は候補文，\{context $\}$ は第一段階で生成されたキャプションおよび視覚的文脈をそれぞれ挿入する。画像はいずれのプロンプトにおいても先頭に与えられる.

 \\

## A 評価データセットの詳細

Flickr 8k Expert [23] は 5,644 組の画像と自動生成キャプションが含まれている. 各ぺアは 3 人の専門家によって 1 から 4 でスコア付けされ，合計 17,000の人手評価を含んでいる。ここで専門家とはイリノイ大学の学生であり，クラウドソー シングを用いて集めたデータセット (Flickr8k-CrowdFlower) との差異の明確化のための語用である．1 はキャプションが画像と全く関連しないことを示し，4 はキャプションが対応する画像を間違いなく説明していることを示す.

Composite [24] は, MSCOCO [26] (2,007 枚), Flickr8k [23] (997 枚), Flickr30K [27] (991 枚)の 3 つのデータセットから合計 3,995 枚の画像を収集したデータセットである. 各画像に 2 つの自動生成キャプションと 1 つの人間が書いたキャプションが付与され，1 から 5 の 5 段階の Likert 尺度でスコア付けされている。

PASCAL-50S [2] は, UIUC Pascal Dataset から抽出された 1000 の画像に対して，それぞれ少なくとも 50 個の参照キャプションが与えられる。比較対象となる候補文は人間が作成したキャプションと5つの自動生成手法を用いて生成したキャプションが対となり，4000 対集められている．人手評価は 3 名の評価の多数決で定められ，参照文とより類似していると判断されたキャプションが選好の人手評価として付与される．また，作業者は評価時に“類似” の概念は明確に指示されていなかった。

THumB 1.0 [25] は，MSCOCO [26] からランダムに抽出された画像 500 枚に，1つの人間が書いたキャプションと 4 つの自動生成キャプションが付与したデータセットである. 各組に，キャプションの正確さ (Precision), 顕著な情報の網羅性 (Recall)，総合的な品質 (Total)の3つのスコアが人手で付与されている.


# 講演動画の言語横断字幕生成のための 英日マルチモーダル対訳コーパスの構築

寺面 杏優 1 近藤 里咲 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科
\{teramen@ai., kondo@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp

## 概要

本研究では、英語の講演動画とその日本語字幕からなるマルチモーダル対訳コーパスを構築し、公開する。動画からの言語横断字幕生成では、音声認識のエラーが伝播して翻訳品質が劣化してしまう。この課題に対処するために、音声認識文に加えて音声や画像を参照するマルチモーダル機械翻訳が有望である。我々は、このようなマルチモーダル機械翻訳の研究に取り組むために、既存の英日対訳コーパスに対して画像・音声・音声認識文を付与した約 10 万文対のマルチモーダル対訳コーパスを構築した。英日翻訳における実験の結果、音声認識文の誤り訂正によって、翻訳品質の改善を確認できた。

## 1 はじめに

音声翻訳 [1] とは、原言語の音声から目的言語のテキストや音声への機械翻訳の技術である。音声アシスタントやオンライン会議などのサービスの普及により、人と人や人と機械の間のグローバルなコミュニケーションを円滑に進めるために、音声翻訳の技術が期待されている。

伝統的な音声翻訳は、音声認識 [2] と機械翻訳 [3] のパイプラインモデルとして実現され、前段の音声認識における誤りが後段の機械翻訳の品質を劣化させてしまう課題がある。この課題に対して、機械翻訳の際に音声認識テキストだけでなく音声や画像を参照するマルチモーダル機械翻訳 [4] のアプローチが有望である。マルチモーダル機械翻訳の先行研究では、音声翻訳 [5-7] や画像を用いる機械翻訳 [8-10] など、対訳コーパスに対して他の 1 種類のモダリティのデータのみを追加する事例が多い。 しかし、例えば講演の発表資料などにアクセスできる状況では、講演の音声と発表資料の画像の両方から有益な情報を得ることが期待できるため、言語・音声・画像の 3 種類のモダリティのデータを組み合わせることで翻訳品質のさらなる改善が見込める。 3 種類のモダリティを組み合わせる先行研究には、 How-2 [11] や QED [12] などの動画を用いる機械翻訳がある。ただし、How-2 は英語からポルトガル語の言語対のみを扱い、QED は教育ドメインのみを扱うため、適用範囲が限定されている。

本研究では、言語・音声・画像の 3 つのモダリティを扱うコーパスの拡充のために、講演動画の英日翻訳を対象とするマルチモーダル機械翻訳コーパスを構築し、英日の言語横断字幕生成に取り組む。既存の IWSLT2017 の英日対訳コーパス [13]をもとに、新たに音声と画像を付与し、さらに音声から音声認識文を生成し、画像・英語音声・音声認識英語文・書き起こし英語文・日本語参照訳の 5 つ組からなる約 10 万件のデータセット TAIL ${ }^{1)}$ 作成する。評価実験の結果、音声認識英語文をそのまま機械翻訳するよりも、音声認識文と書き起こし英語文を用いて訓練した音声認識の誤り訂正を間に挟むことで、翻訳品質を改善できることが明らかになった。

## 2 TAIL コーパス

本研究では、英語から日本語への言語横断字幕生成のために、 $\mathrm{TED}^{22}$ の講演動画を対象に、画像 $\cdot$英語音声・音声認識英語文・書き起こし英語文・日本語参照訳の 5 つ組コーパス TAILを構築する。 IWSLT2017 [13] において TED 講演動画の書き起こし英語文と日本語参照訳からなる英日対訳コーパスが公開されているため、本研究ではこれに画像・英語音声・音声認識英語文を新たに付与して 5 つ組を得る。図 1 にコーパス構築の流れを示し、図 2 には本研究で構築する TAIL コーパスの例を示す。ここで、画像が 3 枚あるのは、音声の開始・中間・終了の

図 1 コーパス構築の全体像

 \\

図 2 TAILコーパスの例（画像・英語音声・音声認識英語文・書き起こし英語文・日本語参照訳の 5 つ組）ただし、画像は音声の開始・中間・終了の各時刻に対応する 3 枚を収集。

各時刻に対応する画像を収集しているためである。

## 2.1 音声アノテーション

本節では、IWSLT2017 英日対訳コーパスに対して、英語音声および音声認識英語文を付与する。

音声データの取得IWSLT2017 英日対訳コーパスのメタデータに含まれる URL から、MP4 形式の動画データを取得できる。この動画を ffmpeg3)を用いて FLAC 形式の音声データに変換する。これは、図 1 の手順 1 に対応する。

音声とテキストの対応付けIWSLT2017 英日対訳コーパスの書き起こし英語文および手順 1 で取得した音声を講演単位で入力し、aeneas ${ }^{4}$ を用いて音声とテキストを対応付ける。その際に、1 文ごとに開始時刻および終了時刻のタイムスタンプを取得するとともに、ffmpegを用いて音声を分割する。これは、図 1 の手順 2 （タイムスタンプの取得）および手順 3 （音声の分割）に対応する。

音声認識手順 3 で文ごとに分割した音声を、 Google Speech Recognition ${ }^{5}$ を用いてテキストに変換する。これは、図 1 の手順 4 に対応する。

3) https://ffmpeg.org

4) https://github.com/readbeyond/aeneas

5) https://github.com/Uberi/speech_recognition

## 2.2 画像アノテーション

本節では、これまで構築してきたコーパスに対して、さらに画像を付与し、5つ組を得る。ここで、 TED の講演動画には、講演者のみが写るなど必ずしも講演内容を充分に表現しないシーンも多い。そこで本研究では、各文に対して複数枚ずつの画像を収集する。具体的には、各文のタイムスタンプの開始・中間・終了の各時刻に対応する 3 枚の画像を用いる。動画および手順 2 で取得したタイムスタンプを講演単位で入力し、OpenCV6)を用いて 1 文あたり 3 枚ずつの画像を取得した。

## 2.3 対訳コーパスフィルタリング

タイムスタンプや対応付けの誤りに起因する対訳コーパスのノイズの影響を軽減するために、自動的な対訳コーパスフィルタリングを実施する。本研究では、音声認識英語文（ASR）および書き起こし英語文（REF）の文対を用いて、文長の比および単語誤り率による対訳コーパスフィルタリングを行う。 まず、文長差が大きいほどノイズの多い文対であると考え、文長の比による対訳コーパスフィルタリングでは $0.8 \leq \operatorname{len}(\mathrm{ASR}) / \mathrm{len}(\mathrm{REF}) \leq 1.2$ の事例のみを残す。ここで、len($\cdot$) は文の単語数を表す。また、単語誤り率（WER）が大きいほどノイズの多い文対で

6) https://opencv.org
表 1 音声認識文とその誤り訂正の誤りの分布および訂正の良し悪しの内訳

表 2 TAIL コーパスの統計

あると考え、WER(ASR, REF) $\leq 0.5$ の事例のみを残す。ここで、WER の計算においては、前処理としてテキストを小文字化し、記号を除去した。

表 2 に、TAILコーパスの文対数を示す。一部の動画にアクセスできなかったため、IWSLT2017 英日対訳コーパスのうち約 $5 \%$ の文対は本研究では使用していない。対訳コーパスフィルタリングを経て、最終的に約 10 万文対のマルチモーダル対訳コーパスを構築した。

## 2.4 音声認識の誤り分析

TAILコーパスから無作為に 100 文対を抽出し、音声認識の誤りについて分析した結果を表 1 に示す。本コーパスの音声認識誤りは、大きく「大文字／小文字」「記号の追加／削除」「語句の追加／削除」「語彙の置換」の 4 種類に分類できる。

大文字／小文字書き起こし英語文においては大文字であるが音声認識英語文では小文字として認識されている誤りが、 $85 \%$ の文において見られた。特に、音声認識英語文の文頭は多くの場合に小文字として出力されてしまっていた。反対に、小文字であるべき文字を誤って大文字としてしまう例も $27 \%$ の文において見られた。記号の追加／削除書き起こし英語文に含まれるピリオドや疑問符などの記号は、全ての音声認識英語文において 1 つ以上が削除されていた。これらの記号の削除は機械翻訳の性能に影響を与える可能性が高いため、機械翻訳の前に適切に復元することが望ましいと考えられる。

語句の追加／削除書き起こし英語文に含まれない語句の追加に比べて、書き起こし英語文に含まれる語句が音声認識英語文において削除されている事例が多かった。特に、音声とテキストの対応付けのエラーの影響で、文頭の語句が削除されている事例が多かった。

語句の置換同音異義語・表記摇孔・活用の違い・ その他の 4 種類の語句の置換を調査した。いずれかの語句の置換を伴う音声認識誤りが $78 \%$ の文に見られ、特に同音異義語や活用の誤りが多かった。

## 3 評価実験

TAIL コーパスを用いて、音声認識の誤り訂正および音声認識英語文から日本語への機械翻訳の評価実験を行う。誤り訂正および機械翻訳の性能は、 SacreBLEU [14]を用いて BLEU [15] を評価する。

## 3.1 誤り訂正

本実験では、音声認識の誤り訂正を行う。TAIL コーパスの音声認識英語文と書き起こし英語文の対を用いて、事前訓練済みの BART [16]をファインチューニングして誤り訂正器を構築する。

モデル誤り訂正器として、fairseq ${ }^{7)}$ [17]を用いて Base 設定の $\mathrm{BART}^{8}$ をファインチューニングした。最適化には Adam [18] を使用し、バッチサイズを 2,048 トークンとして、4 バッチごとにパラメタを更新した。検証用データにおけるクロスエントロピー損失が 10 回改善されなければ訓練を停止した。

データ表 2 に示した 101,953 文対の中から、誤りを含まない文対（WER $\leq 0.05 ） を$ 除去した 80,859 文対の音声認識英語文および書き起こし英語文を用いて、誤り訂正を訓練した。評価用の 5,040 文対からは、 $0.05 \leq \mathrm{WER} \leq 0.15$ の誤りが少ない評価用データと $0.20 \leq \mathrm{WER} \leq 0.50$ の誤りが多い評価用データを無作為に 1,200 文対ずつ抽出し、その他を検証用データとして使用した。前処理には、BART のトークナイザを用いてサブワード分割をした。

実験結果表 3 、BLEUによる評価結果を示す。上段の誤りが少ない評価用データと下段の誤りが多い評価用データのそれぞれにおいて、19ポイントおよび 17 ポイントの大きな BLEU の改善が見られた。 この結果から、本コーパスが音声認識の誤り訂正のために有用であると言える。なお、本コーパスに含まれる音声や画像などの他のモダリティのデータを考慮することで、誤り訂正の性能をさらに改善できると期待できるが、これは今後の課題である。

表 1 に訂正結果の詳細な分析を示す。大文字/小文字の誤りや記号の漏れ、文頭における語句の抜けが大きく改善できた。一方で、記号を過剰に追加したり文中の語句を誤削除する事例も見られた。

## 3.2 機械翻訳

本実験では、IWSLT2017 英日対訳コーパス [13] を用いて訓練した Transformer [3] および JParaCrawl v3.0 [19,20] の事前訓練済みモデル ${ }^{9)}$ IWSLT2017 英日対訳コーパス上でファインチューニングした Transformer の 2 つの英日翻訳器を用いて、音声認識英語文から日本語への機械翻訳を行う。そして、 3.1 節の技術で音声認識の誤りを訂正するこ

7) https://github.com/facebookresearch/fairseq

8) https://huggingface.co/facebook/bart-base

9) https://www.kecl.ntt.co.jp/icl/lirg/jparacrawl表 4 英日翻訳の実験結果（BLEU）

とにより、翻訳品質が改善できることを確認する。

モデル翻訳器として、fairseqを用いて Base 設定の Transformer [3] を訓練した。最適化には Adamを使用し、バッチサイズを 4,096 トークンとして、 8 バッチごとにパラメタを更新した。検証用データにおけるクロスエントロピー損失が 10 回改善されなければ訓練を停止した。

データ表 2 に示した 211,604 文対の書き起こし英語文および日本語参照訳を用いて、機械翻訳を訓練した。検証用と評価用データは、3.1 節と同じものを用いた。前処理として、英語には Moses Tokenizer $^{10)}$ [21]、日本語には $\mathrm{MeCab}$ (IPADIC) ${ }^{11)}$ [22] を用いて単語分割した。そして、SentencePiece ${ }^{12)}$ [23] を用いて Byte Pair Encoding [24]による語彙サイズ 32,000 のサブワード分割を行った。

実験結果表 4 に、BLEU による自動評価の結果を示す。音声認識の自動的な誤り訂正によって、誤りが多い評価用データと誤りが少ない評価用データの両方において翻訳品質が改善できた。JParaCrawl を用いた事前訓練によって全体に翻訳品質が改善するものの、事前訓練済み翻訳器に対しても音声認識誤り訂正は有効であることがわかった。

## 4 おわりに

本研究では、英日の言語横断字幕生成のために、講演動画を対象に約 10 万文対の画像・英語音声音声認識英語文・書き起こし英語文 $\cdot$ 日本語参照訳の 5 つ組コーパスを構築した。そして、音声認識文と書き起こし文を用いた音声認識の誤り訂正によって、音声翻訳の性能を改善した。今後の課題として、音声や画像を使ったマルチモーダル誤り訂正およびマルチモーダル機械翻訳を行い、言語横断字幕生成の性能をさらに改善したい。

## 謝辞

本研究成果は、国立研究開発法人情報通信研究機

構（NICT）の委託研究（課題番号：22501）により

得られたものです。

## 参考文献

[1] Chen Xu, Rong Ye, Qianqian Dong, Chengqi Zhao, Tom Ko, Mingxuan Wang, Tong Xiao, and Jingbo Zhu. Recent Advances in Direct Speech-to-text Translation. In Proc. of IJCAI, pp. 6796-6804, 2023.

[2] William Chan, Navdeep Jaitly, Quoc V. Le, and Oriol Vinyals. Listen, Attend and Spell: A Neural Network for Large Vocabulary Conversational Speech Recognition. In Proc. of ICASSP, pp. 4960-4964, 2016.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[4] Umut Sulubacak, Ozan Caglayan, Stig-Arne Grönroos, Aku Rouhe, Desmond Elliott, Lucia Specia, and Jörg Tiedemann. Multimodal Machine Translation through Visuals and Speech. Machine Translation, Vol. 34, pp. 97-147, 2020.

[5] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proc. of NAACL, pp. 2012-2017, 2019.

[6] Elizabeth Salesky, Matthew Wiesner, Jacob Bremerman, Roldano Cattoni, Matteo Negri, Marco Turchi, Douglas W. Oard, and Matt Post. The Multilingual TEDx Corpus for Speech Recognition and Translation. In Proc. of INTERSPEECH, pp. 3655-3659, 2021.

[7] Changhan Wang, Juan Pino, Anne Wu, and Jiatao Gu. CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus. In Proc. of LREC, pp. 4197-4203, 2020.

[8] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German Image Descriptions. In Proc. of VL, pp. 70-74, 2016.

[9] Ashish V. Thapliyal, Jordi Pont Tuset, Xi Chen, and Radu Soricut. Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset. In Proc. of EMNLP, pp. 715-729, 2022.

[10] Shantipriya Parida, Ondrej Bojar, and Satya Ranjan Dash. Hindi Visual Genome: A Dataset for Multimodal Englishto-Hindi Machine Translation. Computación y Sistemas, Vol. 23, No. 4, pp. 1499-1505, 2019.

[11] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: A Large-scale Dataset for Multimodal Language Understanding. In Proc. of NeurIPS, 2018.

[12] Ahmed Abdelali, Francisco Guzman, Hassan Sajjad, and Stephan Vogel. The AMARA Corpus: Building Parallel Language Resources for the Educational Domain. In Proc. of LREC, pp. 1856-1862, 2014.

[13] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro
Yoshino, and Christian Federmann. Overview of the IWSLT 2017 Evaluation Campaign. In Proc. of IWSLT, pp. 2-14, 2017.

[14] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proc. of WMT, pp. 186-191, 2018.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proc. of ACL, pp. 7871-7880, 2020.

[17] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. Fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[18] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proc. of ICLR, 2015.

[19] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus. In Proc. of LREC, pp. 3603-3609, 2020.

[20] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A Large-scale EnglishJapanese Parallel Corpus. In Proc. of LREC, pp. 67046710, 2022.

[21] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177-180, 2007.

[22] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230-237, 2004.

[23] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proc. of EMNLP, pp. 66-71, 2018.

[24] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of ACL, pp. 1715-1725, 2016.


# Combining Large Language Model with Speech Recognition System in Low-resource Settings

Sheng $\mathrm{Li}^{1} \quad$ Zhengdong Yang ${ }^{1,2}$ Wangjin Zhou ${ }^{2} \quad$ Chenhui Chu ${ }^{2}$
Chen Chen ${ }^{3}$ Eng Siong Chng ${ }^{3} \quad$ Hisashi Kawai $^{1}$
${ }^{1}$ National Institute of Information and Communications Technology (NICT)
${ }^{2}$ Kyoto University
${ }^{3}$ Nanyang Technological University
\{sheng.li,hisashi.kawai\}@nict.go.jp
zd-yang@nlp.ist.i.kyoto-u.ac.jp, zhou@sap.ist.i.kyoto-u.ac.jp, chu@i . kyoto-u.ac.jp
chen1436@e.ntu.edu.sg, ASESChng@ntu.edu.sg

## 概要

This paper investigates integrating automatic speech recognition (ASR) with large language models (LLMs). The overarching goal of the paper is to validate the effectiveness of integrating LLMs with ASR systems, with a specific focus on low-resource settings. In our experiment, The LLM is utilized for second-pass rescoring to correct errors in ASR outputs. We fine-tune a Japanese-specific version of the LLaMA model, named japanese-Llama-27b, feeding it with the Whisper-Large-v3 ASR model's n-best output. The experiment shows that the proposed method effectively enhances the ASR result, even in lowresource environments.

## 1 Introduction

Nowadays, methods of combining automatic speech recognition (ASR) applications with pre-trained language models (LMs) are booming.

Zhang et al. [1] proposed a spelling corrector based on the transformer [2] to reduce the substitution error in Mandarin speech recognition. [3] improved the BERT [4] effectiveness in detecting spelling errors with the soft-masking technique as the bridge between the error detector and corrector. Futami et al. [5] generated soft labels for ASR training with the BERT distilling knowledge. There are also some works [6, 7] studying to improve ASR rescoring by BERT. Additionally, BERT has also been successfully applied in multi-modal studies in vision-language pretraining $[8,9,10,11]$ or voice-language pretraining $[12,13,14]$.
More recently, [15] proposes combining large language models (LLMs) into a speech recognition system.

This paper follows the rescoring method described in [15] and tests this method for Japanese ASR tasks and low-resource settings. It also extends our previous work combining BERT and GPT2 [16] with Wav2Vec2.0 ASR system [17].

## 2 Related Work

## 2.1 AMs for ASR task

Conventional hybrid Gaussian mixture and hiddenMarkov (GMM-HMM) [18] and deep neural network and hidden-Markov (DNN-HMM) [19] based automatic speech recognition (ASR) systems require independently optimized components: acoustic model, lexicon and language model. The end-to-end (E2E) model integrates these components into a single neural network. It simplifies ASR system construction, solves the sequence labeling problem between variable-length speech frame inputs and label outputs (phone, character, syllable, word, etc.), and has achieved promising results on ASR tasks. Various types of E2E models have been studied in recent years: connectionist temporal classification (CTC) [20, 21], attention-based encoder-decoder (Attention) E2E models [22, 23], E2E lattice-free maximum mutual information (LFMMI) [24], and E2E models jointly trained with CTC and attentionbased objectives (CTC/Attention) [25, 26].

The transformer has been applied to E2E speech recognition systems $[27,28,29,30]$ and has achieved promising

図 1: The flowchart of the method.

results. Then, the self-supervised learning (SSL) model, e.g., the Wav2Vec2.0 [31], became popular. The training is based on self-supervised learning with unlabeled speech. Then, the model is fine-tuned on labeled data with the CTC objective for the ASR task. Whisper [32], OpenAI's transformer-based open-source ASR system, excels in accuracy and contextual understanding. Trained on a vast 680,000 -hour dataset of diverse languages and accents, it effectively transcribes in noisy environments. It is ideal for real-time applications like live captioning and voice-to-text conversion. In this paper, we use the Whisper model for our experiment.

## 2.2 LMs for ASR task

Using an LM in ASR brings a leap to speech recognition performance. Generally speaking, ASR combing with LM has two types of strategies: first-pass decoding and secondpass rescoring.

In ASR, the task was formulated as a noisy channel model using the Bayes rule $P(W \mid X)=P(X \mid W) P(W)$, where $X$ is the speech signal and $W$ is the corresponding text. The two distributions of $P(X \mid W)$ and $P(W)$ were named acoustic and language models, respectively. The LM was trained separately on the source text and only used for decoding [33]. WFST-based decoding compiles n-gram LMs into the decoding graph for efficient first-pass decoding [34]. Incorporating larger n-gram LMs made the decoding graph explode, and researchers changed the compiling improved algorithm [35] or used second-pass rescoring in both offline and on-the-fly settings [36, 37] instead. The Bayesian formulation still made sense in the hybrid DNN-HMM model era. The scores could be interpreted as pseudo-likelihoods by subtracting an appropriate prior, so the same decoding/rescoring framework carried over.

For End-to-End ASR, the models directly estimate $P(W \mid X)$. We still can combine using LMs in the first-pass decoding (e.g., shallow fusion, cold fusion, etc. [38, 39]).

(a) The boxplot analysis of error rates.

(b) The scatterplot analysis of error rates.

Similar to the second-pass rescoring, hypotheses can be obtained using beam search on an ASR model and re-rank with an externally trained LM. A two-pass E2E ASR model was proposed with an encoder shared between a streaming RNN-T model and a full-context LAS decoder [40]. There are also some works $[1,3,5,6,7]$ studying to improve ASR rescoring by transformer and BERT. More recently, [15] proposes combining LLMs into a speech recognition system.

## 3 Method

This paper uses LLM for error correction, which is second-pass rescoring in the output transcriptions gener- ated by the ASR system (N-best decoding hypotheses), as shown in Figure 1.

We introduce LoRA [41] to avoid tuning the whole set of parameters of a pre-trained model by inserting a neural module with a small number of extra trainable parameters to approximate the full parameter updates, allowing for efficient learning of the N-best to transcription mapping without affecting the pre-trained parameters of the LLM. Our method introduces trainable low-rank decomposition matrices into LLMs' existing layers, enabling the model to adapt to new data while keeping the original LLMs fixed to retain the previous knowledge. Specifically, LoRA performs a reparameterization of each model layer
expressed as a matrix multiplication by injecting low-rank decomposition matrices 1. As a result, the representations generated by the LLM are not distorted due to task-specific tuning. At the same time, the adapter module acquires the capability to predict the true transcription from the $\mathrm{N}$-best hypotheses. Benefiting from efficient training, we can employ a large-scale language model in the method, which is expected to understand the task description and capture correlation in the $\mathrm{N}$-best list.

## 4 Experiments

## 4.1 Experimental Settings

The experimental settings for fine-tuning a Japanese language model in a low-resource environment are as follows.

1.LLM used: The experiment employs the japaneseLlama-2-7b model ${ }^{1)}$. This model is presumably a variant of the LLaMA (Large Language Model by Meta AI) adapted for Japanese language processing.

2.ASR model: Whisper-Large-v3 generates 10-best outputs (CER\%=12.91 for 1-best).

3.The training is performed on an NVIDIA Tesla V100 GPU using 8-bit training. The hyperparameters for finetuning are 15 epochs, learning rate $1 \mathrm{e}-4$, batch size 64, and LoRA rank 4.

4.Dataset: To simulate low-resource settings, we use the Japanese dataset from SPREDS-U1 ${ }^{2)}$. The finetuning process involves 900 Japanese sentences for the low-resource setting. A separate 100 Japanese sentences for evaluation.

5.Evaluations: We use NIST-SCTK to evaluate the Character Error Rate (CER\%).

## 4.2 Experimental Results

Table 1 shows the results of the experiments.

表 1: Evaluation of LLM-based Correction Model (CER\%), the ASR output CER\% is 12.91

We conduct the paired sample t-test on the results from the best model (Epoch 11). The paired sample t-test sug- gests that the improvement in CER\% is statistically significant.

In Figure 2a, the left boxplot represents the Original CER\%, and the right means the Improved CER\%. This plot illustrates the results' spread and central tendency, where you can see the generally lower spread and median in the Improved CER\%.

Each point in Figure 2b represents a pair of original and improved CER\%. The dashed line represents the line of equality (where the original and improved rates would be equal). Points below this line indicate instances where the improved CER\% is lower (better) than the original, and points above the line indicate the opposite. The concentration of points below the line further supports the conclusion that the improved CER\% are generally lower than the original rates.

## 4.3 Further Discussions

The method we use in this paper can be further improved in the following aspects.

1. We notice that the Whisper-large model has an excessively high accuracy on the LibriSpeech-clean-test dataset. If the clean-test Word Error Rate (WER) is lower than $2 \%$, using a LLM for correction is impossible. However, the proposed method works again when we switch to a relatively weak model, e.g., Whispertiny. Librispeech-other-test WER\% reduced from $27.5 \%$ to $20.5 \%$, and Librispeech-clean-test WER\% reduced from $27.3 \%$ to $21.4 \%$.

2.The original llama model cannot be directly used. Before we fine-tune the LLM model with N-best and ground truth data pairs, the LLM must be pretrained with large-scale language-specific textual data. However, there are no existing high-quality LLMs for low-resourced languages. That is why it is a pity we did not work on real low-resource languages.

## 5 Conclusion

This paper proves combining LLM with a speech recognition system effectively improves speech recognition performance, even in low-resource settings. In the future, we will conduct more experiments to demonstrate the method's effectiveness in a broader range of settings.

1) huggingface.co/elyza/ELYZA-japanese-Llama-2-7b

2) ast-astrec.nict.go.jp/en/release/SPREDS-U1

## 謝辞

This work was supported by JSPS KAKENHI Grant Numbers JP23K11227, JP23H03454, and NICT international funding.

## 参考文献

[1] Shiliang Zhang, Ming Lei, and Zhijie Yan Investigation of transformer based spelling correction model for ctc-based end-to-end mandarin speech recognition. In Proc. Interspeech, pp. 2180-2184, 2019.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In CoRR abs/1706.03762, 2017 .

[3] Shaohua Zhang, Haoran Huang, Jicong Liu, and Hang Li. Spelling error correction with soft-masked bert. arXiv preprint arXiv:2005.07421, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), Volume 1 (Long and Short Papers), pp. 41714186, June 2019.

[5] Hayato Futami, Hirofumi Inaguma, Sei Ueno, Masato Mimura, Shinsuke Sakai, and Tatsuya Kawahara. Distilling the knowledge of BERT for sequence-to-sequence ASR. CoRR, Vol. abs/2008.03822,, 2020.

[6] Julian Salazar, Davis Liang, Toan Q Nguyen, and Katrin Kirchhoff. Masked language model scoring. arXiv preprint arXiv:1910.14659, 2019

[7] Joonbo Shin, Yoonhyung Lee, and Kyomin Jung. Effective sentence scoring method using bert for speech recognition. In Proc. ACML, pp. 1081-1093, 2019.

[8] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. arXiv preprint arXiv:1908.02265, 2019

[9] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. Visualbert: A simple and performant baseline for vision and language. arXiv preprint arXiv:1908.03557, 2019.

[10] Luowei Zhou, Hamid Palangi, Lei Zhang, Houdong Hu, Jason Corso, and Jianfeng Gao. Unified vision-language pre-training for image captioning and vqa. In Proc. AAAI, Vol. 34, pp. 13041-13049, 2020.

[11] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, et al. Oscar: Objectsemantics aligned pre-training for vision-language tasks. In Proc. ECCV,
pp. 121-137, 2020.

[12] Alexei Baevski and Abdelrahman Mohamed. Effectiveness of self-supervised pre-training for asr. In 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 7694-7698, 2020.

[13] Wei-Ning Hsu, Yao-Hung Hubert Tsai, Benjamin Bolte, Ruslan Salakhutdinov, and Abdelrahman Mohamed. Hubert: How much can a bad teacher benefit asr pre-training? In Proc. IEEE-ICASSP, pp. 6533-6537, 2021.

[14] Chengyi Wang, Yu Wu, Shujie Liu, Ming Zhou, and Zhenglu Yang. Curriculum pre-training for end-to-end speech translation. arXiv preprint arXiv:2004.10093, 2020

[15] Cheng Chen, Yuchen Hu, Chao-Han Huck Yang, Sabato Marco Siniscalchi, Pin-Yu Chen, and Eng Siong Chng. Hyporadise: An open baseline for generative speech recognition with large language models. ArXiv, Vol. abs/2309.15701, , 2023

[16] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019

[17] Sheng Li and Jiyi Li. Correction while recognition: Combining pretrained language model for taiwan-accented speech recognition. In Lazaros Iliadis, Antonios Papaleonidas, Plamen Angelov, and Chrisina Jayne, editors, Artificial Neural Networks and Machine Learning - ICANN 2023, pp. 389400, Cham, 2023. Springer Nature Switzerland.

[18] L. Rabiner. A tutorial on hidden markov models and selected applications in speech recognition. Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286, 1988.

[19] G. Dahl, D. Yu, L. Deng, and A. Acero. Context dependent pre-trained deep neural networks for large vocabulary speech recognition. IEEE Trans. ASLP, Vol. 20, No. 1, pp. 30-42, 2012

[20] A. Graves and N. Jaitly. Towards End-to-End speech recognition with recurrent neural networks. In Proc. ICML, 2014

[21] Y. Miao, M. Gowayyed, and F. Metze. EESEN: End-to-End speech recog-
nition using deep RNN models and WFST-based decoding. In Proc. IEEEASRU, pp. 167-174, 2015

[22] J. Chorowski, D. Bahdanau, D. Serdyuk, K. Cho, and Y. Bengio. Attentionbased models for speech recognition. In Proc. NIPS, 2015.

[23] W. Chan, N. Jaitly, Q. Le, and O. Vinyals. Listen, attend and spell: A neural network for large vocabulary conversational speech recognition. In Proc. IEEE-ICASSP, 2016.

[24] H. Hadian, H. Sameti, D. Povey, and S. Khudanpur. End-to-end speech recognition using lattice-free mmi. In Proc. INTERSPEECH, 2018.

[25] S. Watanabe, T. Hori, S. Kim, J. R. Hershey, and T. Hayashi. Hybrid CTC/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1240-1253, 2017

[26] S. Watanabe, T. Hori, S. Karita, T. Hayashi, J. Nishitoba, Y. Unno, N. Soplin, J. Heymann, M. Wiesner, N. Chen, A. Renduchintala, and T. Ochiai. Espnet: End-to-end speech processing toolkit. In Proc. INTERSPEECH, 2018.
[27] L. Dong, S. Xu, and B. Xu. Speech-transformer: A no-recurrence sequenceto-sequence model for speech recognition. In Proc. IEEE-ICASSP, 2018.

$28]$ S. Zhou, S. Xu, and B. Xu. Multilingual end-to-end speech recognition with a single transformer on low-resource languages. In CoRR abs/1806.05059, 2018.

[29] S. Zhou, L. Dong, S. Xu, and B. Xu. A comparison of modeling units in sequence-to-sequence speech recognition with the transformer on mandarin chinese. In CoRR abs/1805.06239, 2018

[30] S.Zhou, L.Dong, S.Xu, and B.Xu. Syllable-based sequence-to-sequence speech recognition w

[31] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for self-supervised learning of speech representations. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 33, pp. 12449-12460, 2020.

[32] OpenAI. Whisper: Robust speech recognition via large-scale weak supervision. https://openai .com/blog/whisper/, 2023

[33] Frederick Jelinek. Continuous speech recognition by statistical methods Proceedings of the IEEE, Vol. 64, pp. 532-556, 1976.

[34] Mehryar Mohri, et al. Speech recognition with weighted finite-state transducers. 2008.

[35] Paul R. Dixon, Chiori Hori, and Hideki Kashioka. A specialized WFST approach for class models and dynamic vocabulary. In Proc. Interspeech 2012, pp. 1075-1078, 2012.

[36] Andrej Ljolje, et al. Efficient general lattice generation and rescoring. In EUROSPEECH, 1999

[37] Hasim Sak, et al. On-the-fly lattice rescoring for real-time automatic speech recognition. In Interspeech, 2010.

[38] Jan Chorowski and Navdeep Jaitly. Towards better decoding and language model integration in sequence to sequence models. In Interspeech, 2016.

[39] Anuroop Sriram, et al. Cold fusion: Training seq2seq models together with language models. In Interspeech, 2017.

[40] Tara N. Sainath, et al. Two-pass end-to-end speech recognition. ArXiv abs/1908.10992, 2019 .

[41] J. Edward Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models. ArXiv, Vol. abs/2106.09685, , 2021.


# Large Language Models as Manga Translators: A Case Study

Zhishen Yang $^{1}$, Tosho Hirasawa ${ }^{2}$, Edison Marrese-Taylor ${ }^{3,4}$, Naoaki Okazaki ${ }^{1}$
School of Computing, Tokyo Institute of Technology ${ }^{1}$
Tokyo Metropolitan University ${ }^{2}$, The University of Tokyo ${ }^{3}$
National Institute of Advanced Industrial Science and Technology 4
zhishen.yang@nlp.c.titech.ac.jp, hirasawa-tosho@ed.tmu.ac.jp
edison.marrese@aist.go.jp, okazaki@c.titech.ac.jp

## Abstract

Originating in Japan, manga has gained immense popularity on a global scale as a distinct form of comics. However, the primary language of manga, Japanese, is a barrier to its widespread access to international markets. While crucial for its global expansion, manga translation is often accompanied by substantial investment in time and resources. The emergence of machine translation technology presents the opportunity to automate manga translation processes, potentially reducing translation costs. However, challenges arise due to copyright restrictions limiting training data access. This paper empirically explores the feasibility of leveraging Large Language Models (LLMs) for manga translation tasks. Our study delves into investigations to assess to what extent LLMs are capable of performing such a task and identify which contextual cues help enhance the quality of the output. The experimental results demonstrate the potential of employing the LLM in manga translation, indicating a promising trajectory for future research.

## 1 Introduction

Comics are one of the most famous artistic expressions worldwide. Among the diversity of comics around the world, Japanese manga emerges as one of the most prolific variations with global impacts. In this context, language barriers have represented a substantial challenge in allowing manga to reach international markets, as manual translation is usually highly time-consuming and costly. This means that many comics have not been translated and are only available in their domestic markets. Automating manga translations to other languages will greatly facilitate the accessibility and popularity of Japanese manga, ulti- mately leading to reduced publishing timelines and shorter wait times for readers. Although recent progress in Machine Translation (MT) has landed a promising foundation for manga translation, many challenges still need to be addressed despite this advantage.

Compared with traditional text-only MT tasks, the manga translation endeavor introduces unique challenges, including the following.

1. Utilizing visual scenes in translations As a type of visual storytelling, texts are combined with manga images to compose a complete story. Visual content often presents backgrounds, emotions, body language, and texts to immerse readers. While human translators possess the innate ability to incorporate semantic and emotional messages from visual content when translating texts, enabling MT models to effectively integrate visual scenes to improving translation quality remains a challenging and under-explored task.

2. Lack of training data Manga books are subject to copyright restrictions, and annotating manga for building translation models is highly costly and labor-intensive, leading to training data for this task being limited. This contrasts with recent trends in machine learning, with models requiring substantial amounts of data for training. In this sense, we think that the absence of readily available and high-quality manga translation training data may potentially hinder the development of successful machine translation models.

3. Language style The language of manga is artistic and narrates stories to its readers. Translation models trained on data from different domains could potentially misinterpret this creative language, misrepresenting the intended emotions and causing the inadvertent loss of the authors' implicit messaging.

Given these difficulties, tackling the task of manga machine translation continues remains an ongoing challenge. Despite the recent advances in our field with the advent of Large Language Models (LLMs), which have demonstrated a wide variety of capabilities across several natural language tasks, their effectiveness in more concrete applications, such as ours, remains unexplored. In light of this issue, we conduct empirical investigations to study the performance of LLMs in automatic manga translation. To the best of our knowledge, this study is the first to focus on employing LLMs for manga translation. Our main findings are as follows.
- Our experimental results demonstrate that the strong zero-shot translation abilities of LLM are, to a large extent, preserved when performing manga translation, demonstrating the potential of using such models for this task.
- We found that giving few-shot examples as context to the LLM improves translation quality, which lies in accordance with observations for several other tasks.
- We show that our zero-shot LLM-based approach can attain comparable performance to model fine-tuning using millions of examples, suggesting a potential direction to overcome data availability problems.

## 2 Proposed Approach

This study tries to answer two main questions: (1) Can LLM perform manga translation without access to the training dataset? and (2) What types of context bring performance boosts to LLM?

Given the aforementioned research questions, we first assess the effectiveness of Large Language Models in zeroshot manga translation, contrasting it with a supervised machine translation model. Following this, we investigate the importance of integrating various types of contextual information to support the LLM in enhancing translation quality. In this context, we defined three categories of context:

1. Few-shot context: Instances of randomly-sampled translation examples.

2. Local context: Adjacent textual content to the utterance to be translated.

3. Visual context: Textual descriptions of manga images/frames accompanying the utterance to be trans- lated, which we first obtain using a pre-trained visionand-language model.

## 3 Experimental Settings

This section details our models, dataset, and evaluation frameworks used in the experiments. Please refer to the appendix for implementation details and prompt templates.

Dataset The OpenMantra dataset [1] is the only manga translation dataset available with public access. It contains five Japanese manga books with 1,592 text passages and 214 pages in five different genres. Professional translators translated Japanese texts into English and Chinese.

Translation Direction The source language in our experiments is Japanese, and the target languages are Chinese or English.

Translation models We utilized large multilingual MT models trained on massive parallel corpora, specifically, M2M100 [2]. Additionally, we experimented with M2M100 models of different sizes, including the 418M, 1.2B and 12B models. We also experiment with LLMbased black-box chat agents, specifically GPT-3.5 [3, 4, 5].

Evaluation We performed evaluations in terms of the quality of the generated translations. Specifically, we followed the methodology of previous studies, employing BLEU-4 scores [6]. Additionally, we present results for METEOR [7], COMET [8], and BERTScore [9].

## 4 Results

Our study seeks to empirically investigate the viability of utilizing LLMs for manga translation, with a specific focus on identifying the contexts that contribute to enhancing translation quality.

The experimental results indicate that GPT-3.5 has strong zero-shot multilingual translation capabilities, which surpass the M2M100 models. Furthermore, fewshot contexts help the GPT-3.5 further boost its performance.

Drawing from our experimental findings, it becomes apparent that while manga translation is a type of multimodal machine translation, incorporating visual contexts has a minimal, if not slightly detrimental, impact on performance. In the next subsections, we give details of our experimental results and provide in-depth analysis to answer our research questions.

## 4.1 Supervised Machine Translation Model: M2M100

Table 1 presents the results of automatic evaluation metrics of M2M100, a multilingual machine translation model. We evaluated three different sizes of the model: $418 \mathrm{M}$ (small), 1.2B (medium), and 12B (large). Notably, the medium size variant M2M100 (1.2B) achieved the highest scores across BLEU, METEOR, chrF, and COMET metrics for both Chinese and English translations.

Based on the experimental results, scaling the model does not continually improve the scores. Using a large M2M100 model (12B) slightly decreases scores for the English translation, while we can find moderate deterioration for the Chinese translation. M2M100 (1.2B) also ranks the best according to the COMET score for English and Chinese translations. For the BERTScore, M2M100 (1.2B) performs the best on Chinese translations, although the larger model (M2M100 12B) has the best BERTScore for English translation, it is only a marginal improvement compared to M2M100 (1.2B).

The experimental results indicate that scaling does not consistently yield positive outcomes for M2M100 in the context of manga translation tasks. This is probably caused by the fact that manga texts are outside the data domains in which M2M100 was trained. Regarding target languages for translation, M2M100 consistently performs better when English is the designated target language.

## 4.2 Large Language Model: GPT3.5

As a Large Language Model with robust zero-shot capabilities across various natural language tasks, GPT-3.5's potential to address the manga translation task was the primary focus of this study. As shown in Table 1, even in the absence of contextual cues, GPT-3.5 offer significantly superior scores across all metrics in comparison to M2M100. Unlike the latter, GPT-3.5 achieved higher scores in translating Chinese, according to the BLEU metric, although similar improvements were not observable in other metrics.

These findings underscore GPT-3.5's potential as a large language model to undertake the manga translation task in a zero-shot scenario. We refer to GPT-3.5 without any contexts as the baseline for the rest of the experiments.

## 4.3 Probing the need for textual contexts

Having identified the kinds of LLM models that can obtain better performance in our task, we now task ourselves with answering our second research question, namely, what types of context bring performance boosts to the LLM (GPT-3.5). We first investigate the necessity of incorporating the local context. In the case of English translation, it is evident that including local context leads to improvements across all metrics. However, we observe a slight decline in scores when introducing a local context for the Chinese translation.

We also observe that randomly sampled utterancelevel translation demonstrations (k-shot contexts) enhances the performance of the LLM. In the context of manga translation, our results show that presenting examples of manga translations potentially imparts GPT-3.5 insights into manga translation styles. To gain insight into how the model can leverage this context for better performance, we experiment by feeding randomly selected $k=[1,2,4,6,8,10]$ utterances in Japanese along with their corresponding translations from four other manga books, thus avoiding leakage problems. We hypothesize that offering GPT-3.5 more examples should lead to improved performance.

Referencing Table 2, introducing more demonstrations does not necessarily correlate with performance improvements for both languages. In the case of English, k=10 yielded the highest BLEU, METEOR, chrF scores, while $\mathrm{k}=6$ achieved the best BERTScore. On the contrary, for Chinese, when k=4, GPT-3.5 achieved the highest scores in BLEU, METEOR.

## 4.4 Probing the need for visual contexts

Finally, we seek to answer whether visual context contributes to translations. To that end, we used the LLaVA model to obtain textual descriptions of manga images. Given that each manga image consists of frames, we also obtained textual descriptions for each frame. This approach can be likened to an alternative to image descriptions, resembling a more focused rendition of the image context. The underlying hypothesis is that the model would provide more intricate descriptions, effectively delivering a detailed form of visual context and ultimately improving translation quality.

Table 1: Automatic evaluation results on Japanese to English/Chinese Translation, where * indicates statistical significance of the difference over GPT-3.5 ( $\mathrm{p} \leq 0.05$ ) bootstrap resampling, Rules indicate that we provide additional instructions on how to perform translations, Demos indicates our best results using k-shot ( $k=6$ for English, $k=4$ for Chinese) contexts, $\operatorname{Img}_{E n, Z n}$ denotes models that receive visual context at the utterance level, and Frame ${ }_{E n, Z n}$ denotes models that received visual context at the frame level.

Table 2: Ablation study: role of $\mathrm{k}$ in few-shot experiments in Japanese to English/Chinese Translations, where k denotes the number of shots.

Considering that target translations are in English and Chinese, we hypothesize that providing visual contexts written in the target languages would offer more informative cues for the model to utilize in the translation process.

From the experimental results in Table 1, for translation into English, English image description helps slightly improve BLEU, METEOR, and chrF scores but not significantly. Still, we cannot observe the same improvements when translating into Chinese, which results in drops in all metrics. Compared with Chinese image descriptions, English image descriptions always gain higher evaluation metric scores.

Overall, we see that using frame description does not improve the evaluation metric scores. GPT-3.5 obtained similar scores for both translation directions compared to image descriptions. Surprisingly, using image and frame descriptions in English always leads to higher evaluation scores for both English and Chinese translations.

Compared to our baseline GPT-3.5 model, integrating frame descriptions did not improve the evaluation metric scores for both translation directions. In both cases, GPT-3.5 obtained scores similar to those obtained using image descriptions. However, for both translation directions, using frame descriptions led to slight improvements in BLEU.

## 5 Conclusion

In this paper, we carried out empirical investigations into applying LLMs for the task of manga translation. In this pursuit, we selected GPT3.5 as our LLM. We observed that LLMs exhibit robust zero-shot capabilities in translating manga texts. Furthermore, our findings indicate that introducing few-shot context in the form of translation examples, enhances the translation quality of GPT-3.5.

This study marks an initial exploration into utilizing LLMs for the manga translation task. The complexity inherent in manga translation encompasses multiple layers, including modelling and resource building. In future research, we intend to discover the feasibility of fine-tuning LLMs or vision-language models to address the manga translation challenge. Additionally, we are intrigued by the investigation of which visual elements within manga images contribute to improving translation quality.

## Acknowledgment

These research results were obtained from the commissioned research (No.22501) by National Institute of Information and Communications Technology (NICT), Japan.

## References

[1] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[2] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Michael Auli, and Armand Joulin. Beyond English-Centric Multilingual Machine Translation. Journal of Machine Learning Research, Vol. 22, No. 107, pp. 1-48, 2021.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Introducing ChatGPT.

[5] Nisan Stiennon, Long Ouyang, Jeffrey Wu, Daniel Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul F Christiano. Learning to summarize with human feedback. In Advances in Neural Information Processing Systems, Vol. 33, pp. 3008-3021. Curran Associates, Inc., 2020.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[7] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[8] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.
[9] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, September 2019.

[10] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual Instruction Tuning, April 2023.

## A Implementation Details

In experiments, we utilized the M2M100 models, which are accessible through HuggingFace and the Microsoft Azure GPT services ${ }^{1)}$. Since the ground truth Chinese translations are in traditional characters, we converted them to simplified characters. For the the vision and language model used in the experiments, we employed LLaVa ${ }^{2)}[10]$ specifically the version Vicuna-13B-v1.3-CLIP-L-336px, to generate textual descriptions for images/frames. The English prompt used was "Please describe this manga image", while the corresponding Chinese prompt was “请用中文描述这个漫画图片”.

## B Prompt template

Figure 1: The prompt template used in experiments.

Figure 1 shows the prompt template for GPT3.5. Where $\{$ text $\}$ represent $n$th sentence to be translated: $\{$ src_lang $\}$ represents source language: Japanese, \{tgt_lang\} denotes target language: Chinese or English. \{context_type\} is a sentence that explicitly tells GPT3.5 the context type, as shown below:

1. Few-shot context: Here are sample translations:

2. Local context: Empty

3. Visual context: Here is the manga image description:

$\{$ context $\}$ denote context content

1. Few-shot context: $\mathrm{K}$ translation examples.

2. Local context:

Previous sentence:

n-1th sentence

Next sentence:

$\mathrm{n}+1$ th sentence

3. Visual context: Image/frame descriptions

1) https://azure.microsoft.com/en-us/products/ai-services/openai-service

2) https://github.com/haotian-liu/LLaVA