# 動画キャプションモデルを用いた字幕翻訳の検討

成浦拓音 品川政太朗 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{nariura.takuto.nu7, sei.shinagawa, sudoh, s-nakamaura\}@is.naist.jp

## 概要

機械翻訳において映像情報を用いて翻訳精度を改善する研究が行われている一方，映像情報を含むコーパスには限りがあり，大規模に学習することが難しい。本研究ではこのような問題を回避し，映像情報を話し言葉翻訳に活かす方法を提案する。本手法は映像情報を動画説明文に変換して取り扱うことで，事前学習済みの言語モデルが学習しやすい問題設定とし，規模の小さい視覚情報付きコーパスでも事前学習による性能向上が期待できる. VISA デー タセットを用いた実験の結果，多義語を含むデータセットにおいて動画説明文を用いて学習を行う事で，動画説明文を用いない場合より BLEU 值が 0.24 ポイント, METEOR 值が 1.19 ポイント上昇する結果を得られた。

## 1 はじめに

機械翻訳技術の発展により，実時間での同時翻訳や映画・漫画といった視覚情報を含む発話文や説明文を多言語に翻訳する研究が盛んに行われてきている $[1,2]$. 新聞や Web 上の文章をはじめとする文章の文脈や文法が意識される書き言葉とは異なり，同時翻訳や映画などの視覚情報を含む発話や会話には，指差しや視覚情報を共有しているという前提での主語の省略や, 英語の “figure” やフランス語の “grille”といった場面に応じて異なった意味を含む多義語が事前の文脈情報なしに含まれることがある.

このような問題に対しては，視覚情報を考慮して翻訳することが有用だと考えられており, 視覚情報を用いた翻訳手法の研究が進められている. 実際に, Multi30k [3] や VATEX [4] など複数の視覚情報付きデータセットにおいて、視覚情報を追加することにより翻訳精度を改善できることが報告されている $[5,6]$.

一方，映像情報を含む対訳コーパスの数は数千文

字幕に対応する映像

提案手法B

図 1 提案手法

から多くて数十万文と規模が小さく，大規模に学習することが難しい.

本研究では視覚情報を動画説明文として受け取る事で話し言葉翻訳において改善が見込めると仮説を立て，大規模自然言語モデルにおいて視覚情報を取り扱う手法を提案する. 本手法は視覚情報を事前に学習した動画キャプションモデルによって動画説明文へと変換し，変換した動画説明文を大規模自然言語モデルの入力として取り扱うことで事前学習済みの自然言語モデルを用いて学習を行う. 自然言語処理では mBART [7] や T5 [8] といった大規模な事前学習を行った機械学習モデルを特定のタスクにファインチューニングすることが一般的であり，これらのモデルは数千万文以上からなる大規模なデータセットや対訳コーパスを用いて事前学習を行うことで事前知識を得ることを可能にしている. 本提案手法を用いることで大規模データセットで事前学習された大規模自然言語モデルを直接的に変更することなく，そのまま活用することが可能となり，数千文から数十万文程度と規模が小さい視覚情報付き対訳コーパスでも事前学習による精度の向上を期待することができる.

提案手法を用いることで翻訳精度が向上することを明らかにするため，VISA データセット [9]を用いた実験を行った. 実験の結果，多義語を含むデータ

セット (Polysemy) において動画説明文を用いた場合には，翻訳精度が改善する結果を得られた。

## 2 関連研究

## 2.1 動画翻訳

動画翻訳は映像情報を追加の入力として受け取ることで, 翻訳精度を改善することを目的とした研究である. 既存のデータセットとしては VATEX デー タセットや How2 データセット [10] が知られているが,VATEX データセットには映像情報を説明する動画説明文が付与されており，マルチモーダルな情報を活用することによる利点が十分に含まれていないという指摘も存在する [11]. Li らは OpenSubtitles データセット [12] から収集した日英字幕の対訳コー パスと，字幕情報に沿って取得した 10 秒間の映像情報を組み合わせた VISA データセットを構築した [9]. VISA データセットには字幕情報だけでは翻訳時の語義の曖昧性が解決できないとクラウドワー カーによって判断された文章のみが含まれており， マルチモーダルな情報を活用することによって語義の曖昧性を解決できることが期待されている.

映像情報を用いた機械翻訳モデルの多くは動画をフレーム単位に分けた後，事前学習済みの画像エンコーダに入力して画像特徴量を取得したり，モー ションエンコーダを用いて動画特徴量を取得するなどの手法が一般的である $[6,13]$. 一方, 本研究では視覚情報を直接翻訳モデルの入力として扱わないという点で既存研究とは異なる。

## 2.2 大規模言語モデル

ニューラルネットワークを用いた自然言語処理では事前学習を実施した大規模言語モデルをタスクの用途に合わせてファインチューニングをする手法が一般的であり，大量のコーパスを用いて事前学習を行うことでタスクによらない事前知識を獲得できることが知られている. 機械翻訳でも大規模モデルを用いる手法が提案されており, Liu らは大規模な対訳コーパスを使用することで最先端の翻訳精度を実現する mBART を提案している. また Huang らは多義語の単語を説明する辞書情報を結合した入力を用いて，大規模事前学習モデルを微調整することでタスクを解くGlossBERTを提案している [14].

視覚情報付き翻訳においても大規模な事前学習済みモデルを使用する手法が提案されている。表 1 VISA データセットの内訳

Caglayan らは言語情報と視覚情報を踏まえた事前学習を行う手法である VTLM を提案した [5]. 一方 Caglayan らの提案する事前学習手法はマスキングされた画像の分類問題をする追加タスクを実行する必要があり，それを行うためには事前に視覚情報の内容を物体検出した上でマスクを行えるように前処理をする必要がある。また映像情報のような時系列情報をそのまま結合することはできない，一方，本研究では，動画キャプションモデルで映像情報を事前に言語化することで，視覚情報を扱う難しさを回避しつつ，翻訳に有用な視覚情報を大規模言語モデルに自然に取り込める可能性が期待できる。

## 3 提案手法

本稿では動画説明文を用いることで翻訳に有用な視覚情報を大規模自然言語モデルに取り込める仮説を立て，画像特徴量や動画特徴量を翻訳モデルの入力として受け取る代わりに，大規模自然言語モデルの追加入力として視覚情報を説明する動画説明文を付与した上で翻訳を行うこととした。提案手法を図 1 に示す. VISA データセットにて各コーパスに紐づいている動画情報を動画キャプションモデルを使用して動画説明文へと変換し，それらを追加の入力文として取り扱う. 動画の説明文は Huang らが提案した GlossBERT などの手法を踏まえて，入力として加える翻訳文に結合することとした．動画説明文は 2 つの特殊トークンである $[S E P]$ と $[/ S E P]$ で挟んだ上で入力に結合する事とし，動画説明文の結合位置には原言語文の前後 2 通りが考えられるため,両方の場合を考慮して説明文を入力文の文頭に結合する場合 (提案手法 A) と文末に結合する場合の 2 通りで実験 (提案手法 B) を行った. 動画キャプションモデルには最先端モデルの一つであり，映像を含む対訳コーパスであるVATEX データセットで事前学習された SwinBERT [15] モデルを使用することとした. 動画説明文の例を表 2 に示す.

表 3 提案手法 2 の評価值 (†: VMT [9] から引用)

## 4 実験

事前学習済みの自然言語モデルに動画説明文を付与することで，翻訳精度が向上することを明らかにするために以下の実験を行った.

## 4.1 実験設定

本実験では映像情報付き翻訳データセットとして，VISA データセットを用いる．VISA データセットの内訳を表 1 に示す ${ }^{1)}$. VISA データセットには多義語の翻訳を含むデータセットである Polysemy と主語の省略を含むデータセットである Omission, その 2 つを組み合わせた Combined の 3つの組み合わせが存在し, 今回の実験では全てのデータセットの組み合わせで実験を行った. 事前学習済み大規模自然言語モデルには CC-25 データセットで事前学習された mBARTを用いた。なお， mBART の著者らが公開している mBART モデルとトークナイザには特殊トークン $[S E P]$ と $[/ S E P]$ が含まれていないため，今回の実験では事前に使用する特殊トークンをトークナイザに追加しておき，特殊トークンに対応する単語埋め込み表現をランダムな初期値で初期化した上で学習を行った。

今回の実験では日英翻訳を行うため，日本語の原言語文に対して SwinBERT から出力された英語の説明文を結合して実験を行っている. また動画説明文を用いずに mBARTを学習させた場合とも比較を行うこととした. テストデータに対する推論時にはビームサーチを用い，ビーム長は 10 とした. また

実験コードの実装には fairseq [16] を用いた.

## 4.2 実験結果

実験結果は既存研究と同じく BLEU (n=4) [17] と METEOR [18], RIBES [19]を用いて評価した. VISA データセットの文章は短い会話文が多いため, BLEU 計算時には文章の長さによる影響を緩和する手法として, 既存研究と同じようにChen らの Smoothing 4 method を用いている [20]. それぞれのデータセットでの実験結果を表 3 に示す. 全体として動画説明文を文頭に付与する場合よりも動画説明文を文末に付与する方が良い結果を収めている。また文末に動画説明文を付与した場合には動画説明文を付与しない場合よりも，幾つかの指標で最も良い結果を収めた. 特に Polysemy データセットでは全ての指標において他のモデルを上回る結果を得ることができている.

動画説明文が有効に働いたと考えられる Combined データセットにおける出力例を表 4 に記載する。たとえば「シャワーを浴びようとしてた」 という原言語文に対しては mBART は “He”と「彼」 を主語にしているのに対して，提案手法 B は “I” と自分を主語とした発話として翻訳することが出来ている。また「気をつけろ」という原言語文に対しては mBART は「体に気をつける」といった意味合いである “Take care of” が出力されているのに対して，提案手法 B では「注意する」という意味合いを持つ “Be careful” が出力されており，動画情報を踏まえることによって複数の意味を持つ多義語を場面に応じて使い分けられている。また「体育館に戻られた方が良いと思います」という原言語文に対しては，体
育館を表す “gym”という単語を適切に出力できており，事前知識を活用して翻訳を行えている。

一方，動画説明文が有効ではなかったと考えられる出力例を表 5 に記載する。「金を待っているだけだ」という原言語文では，どの手法でも省略された主語を間違える結果となっている. 日本語の会話文では場面に応じて主語が省略されることがあるが，今回のデータセットには話者情報が含まれていないため状況を説明する説明文だけでは対象の発話が誰に対する発話であるかを判別することが難しく，省略された主語を推測することに失敗したのだと考えられる。このような問題に対しては映像情報だけを用いるのではなく，話者情報を用いたり，音声情報や顔の表情から感情を推論するといったマルチモー ダルな手法を活用することで更に翻訳精度を改善できるのではないかと考えている.

## 5 まとめと今後の展望

本稿では動画情報を動画説明文に変換し，大規模自然言語モデルの追加入力として取り扱う手法について検討を行った. VISA データセットを用いた実験の結果，いくつかの指標とデータセットにおいて提案手法は動画説明文を用いない場合よりも良い翻訳精度を実現することができた. 今後の展望としては物体検出を行った上で，それぞれの物体に対して個別にキャプションを付与することで更に細かな動画説明文を取得することや，映像情報から話者情報や話し手の表情・声の調子や抑揚といった話者に着目したマルチモーダルな情報についても取得・活用することを検討している。また翻訳文章が長く複雑であったり，主語が推測しにくいような文章の場合にも本手法が今回の実験と同様に翻訳精度を向上するかどうかについても検討したいと考えている.表 4 説明文が有効に働いたと考えられる出力例

表 5 説明文が有効に働かなかったと考えられる出力例

 \\

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けたものです

## 参考文献

[1] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics.

[2] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[3] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Xin Wang, Jiawei Wu, Junkun Chen, Lei Li, Yuan-Fang Wang, and William Yang Wang. Vatex: A large-scale, high-quality multilingual dataset for video-and-language research. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 4581-4591, 2019 .

[5] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Crosslingual Visual Pre-training for Multimodal Machine Translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Short Papers, online, April 2021. Association for Computational Linguistics.

[6] Weiqi Gu, Haiyue Song, Chenhui Chu, and Sadao Kurohashi. Video-guided machine translation with spatial hierarchical attention network. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 87-92, Online, August 2021. Association for Computational Linguistics.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. Multilingual denoising pre-training for neural machine translation. 2020.

[8] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[9] Yihang Li, Shuichiro Shimizu, Weiqi Gu, Chenhui Chu, and Sadao Kurohashi. VISA: An ambiguous subtitles dataset for visual sceneaware machine translation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 67356743, Marseille, France, June 2022. European Language Resources Association.

[10] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar, Desmond Elliott, Loïc Barrault, Lucia Specia, and Florian Metze. How2: a large-scale dataset for multimodal language understanding. In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL). NeurIPS, 2018.

[11] Zhishen Yang, Tosho Hirasawa, Mamoru Komachi, and Naoaki Okazaki. Why videos do not guide translations in video-guided machine translation? an empirical evaluation of video-guided machine translation dataset. Journal of Information Processing, Vol. 30, pp. 388-396, 2022
[12] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 923-929, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[13] Tosho Hirasawa, Zhishen Yang, Mamoru Komachi, and Naoaki Okazaki. Keyframe segmentation and positional encoding for video-guided machine translation challenge 2020 . arXiv preprint arXiv:2006.12799, 2020

[14] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, Hong Kong, China, November 2019. Association for Computational Linguistics.

[15] Kevin Lin, Linjie Li, Chung-Ching Lin, Faisal Ahmed, Zhe Gan, Zicheng Liu, Yumao Lu, and Lijuan Wang. Swinbert: End-to-end transformers with sparse attention for video captioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17949-17958, 2022.

[16] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[19] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.

[20] Boxing Chen and Colin Cherry. A systematic comparison of smoothing techniques for sentence-level BLEU. In Proceedings of the Ninth Workshop on Statistical Machine Translation, pp. 362-367, Baltimore, Maryland, USA, June 2014. Association for Computational Linguistics.


# マルチモーダル機械翻訳における 画像・入力文間類似度と翻訳品質の相関の分析

佐藤郁子 平澤寅庄 金輝燦 岡照晃 小町守
東京都立大学
\{sato-ayako, hirasawa-tosho, kim-hwichan\}@ed.tmu.ac.jp,
\{teruaki-oka, komachi\}@tmu.ac.jp

## 概要

本研究では，画像・入力文間類似度が低い事例がマルチモーダル機械翻訳 (MMT) に及ぼす影響を調査する. MMT では，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る. 先行研究ではシステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レベルでの定量的な分析は行われていない。そこで本研究では，画像情報が有効な事例の自動識別を目的に分析を行う．画像・入力文間類似度が低い事例は画像情報が大力文を補完し, 翻訳品質が改善することが期待できる. その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し, MMT で翻訳品質が改善する事例で，負の相関を確認した。

## 1 はじめに

近年，機械翻訳 (MT) において，テキストだけでなく画像情報を利用して翻訳品質を改善するマルチモーダル機械翻訳 (MMT) が注目されている. MT モデルが曖昧性のある文を翻訳する際に，文脈だけでは情報が不足する場合があるという背景から， MMT では, 画像情報を追加入力することで入力文の文脈情報を補完し，より正確な翻訳を行う。

システムレベルの評価では MMT モデルの画像情報の貢献はわずかのため, その有効性は議論されている $[1,2,3]$. 一方, 事例レベルでの画像情報の貢献は, 参照文と出力文の比較によって定性的に評価されており，入力を用いた定量的な分析は行われていない. 入力のみを用いた事例レベルの自動評価が可能になることにより，分析対象となる事例選択の効率化や MMT モデルの評価に適したデータ作成を実現することができる.

本研究では，画像情報が有効な事例の自動評価を

図 1: 画像情報が有効な事例（上）と有効でない事例 (下).画像・入力文間類似度（計算方法は 3 節を参照）は，上の事例が 0.292 ，下の事例が 0.388 である。上の事例では，“take shots”の「写真を撮るハシットグラスを取る」という入力文の曖昧性を，画像情報により解消している. 下の事例では，画像情報の有無に関わらず翻訳は正しい。

目的として，定量的に翻訳品質を分析する．MMT では文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれており，その情報量の差分によって画像・入力文間類似度が低くなると考えられる。そこで，「画像情報が有効な事例では，画像・入力文間の類似度が低くなる」という仮説に基づき，英日翻訳の品質を分析した. 仮説の概要を図 1 に示す. 実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，それらの相関を確認することで仮説を検証する。

実験の結果より, MMT モデルで翻訳品質が改善する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した。また，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した.

## 2 関連研究

Elliott [4] は，MMT モデルにおいて，入力文と対応する画像，対応しない画像をそれぞれ追加入力させたときの性能を分析している。この分析では， 3 つのモデルのうち 2 つでは，対応する画像を入力した時に性能改善が見られた. Caglayan ら [5] は，入力文にノイズを加え，画像情報の有効性を分析している.この分析では，入力文中の名詞をマスクして文脈情報が限定的な場合，MT モデルより MMT モデルの方が性能が高く, 画像情報が有効であることがわかった. しかし, 不一致画像の追加入力や入力文劣化は，MMT システムを実際に利用する際の設定に適していない. 本研究では，入力を操作しない実験設定で，定量的な翻訳品質の分析を行う.

Hatami ら [6] は，WordNet の語義数に基づいて入力文中の全ての名詞の曖昧度スコアを計算し，MT， MMT モデルの翻訳品質との相関を分析している. この分析では, どちらのモデルも, 入力文の曖昧度スコアが高いほど翻訳品質が低くなり， MMT モデルの方が全体の性能が良くなることから，入力文の曖昧性解消に画像情報が有効であることがわかった.しかし，彼らの曖昧度スコアは入力文のみを用いるため, 追加入力される画像情報の有効性評価には適していない。そこで本研究では，画像情報の有効性評価のための指標として，画像情報を考慮した画像・入力文間類似度を提案する。

## 3 分析手法

本研究では入力文 $x$, 参照文 $y$ ，画像 $v$ の三つ組のテストデータ $D=\left.\{\left(x_{1}, y_{1}, v_{1}\right), \ldots,\left(x_{|D|}, y_{|D|}, v_{|D|}\right)\right.\}$ を用いて仮説を検証する。ここで $|D|$ はテストデー タのサイズを表す。分析手順は以下の通りである.

手順 1. テストデータ内の各入力文とそれに対応する画像間の類似度集合 $S=\left.\{s_{1}, \ldots, s_{|D|}\right.\}$ を求める.ここで画像・入力文間類似度 $s_{i}$ は, 画像 $v_{i}$ と入力文 $x_{i}$ をそれぞれ共有潜在空間にエンコードして得たべクトル $\mathbf{v}_{i}$ と $\mathbf{x}_{i}$ の内積である.

手順 2. 画像・入力文間類似度の降順にテストデー タを並べ替え， $N$ 文ずつ $M\left(=\left.\lfloor\frac{|D|}{N}\right.\rfloor\right)$ 組のサブセット $\left.\{D_{1}, \ldots, D_{M}\right.\}$ に分割する.

手順 3. サブセット $D_{i}$ の (a) 画像 - 入力文間類似度 $s_{D_{i}}$ 及び (b) 画像情報の貢献度 $c_{D_{i}}$ を計算する.

(a) 画像・ 入力文間類似度 $s_{D_{i}}$ は，各サブセット内の画像・入力文間類似度の平均とする。 (b) 画像情報の貢献度 $c_{D_{i}}$ は，評価指標 $E$ を用いて以下のように定義する。

$
c_{D_{i}}:=E\left(Y_{D_{i}}^{\mathrm{MMT}}, Y_{D_{i}}\right)-E\left(Y_{D_{i}}^{\mathrm{MT}}, Y_{D_{i}}\right)
$

ここで $Y_{D_{i}}$ はサブセット $D_{i}$ に含まれる参照文の集合であり， $Y_{D_{i}}^{\mathrm{MMT}}$ と $Y_{D_{i}}^{\mathrm{MT}}$ はそれぞれ $\mathrm{MMT}$, MT モデルの出力文の集合である.

手順 4. 各サブセットの類似度 $s_{D_{i}}$ と貢献度 $c_{D_{i}}$ の相関を確認する．負の相関であれば，「画像情報が有効な事例では，画像・入力文間の類似度が低くなる」という仮説が立証される。

## 4 実験

## 4.1 実験設定

データ本研究は英日翻訳による実験で評価した. 英語は Flickr30K Entities [7]，日本語は Flickr30K Entities JP [8] を用いる. Multi30K task1 [9] に従い,学習データ 29,000 事例，検証データ 1,014 事例，テストデータ (test2016) 1,000 事例に分割し，画像とそれに対応したキャプションを用いる. Flickr30K Entities，Flickr30K Entities JP には各画像につきキャプションが 5 文あり，本実験では 1 文目を使用する. テストデータ 1,000 事例を 50 文ずつ 20 組のサブセットに分割し，サブセットごとに BLEU [10] で評価を行った. 英語は Multi30K task1 に従ったトー クナイズを行い，日本語は MeCab [11] (IPA 辞書) で単語分割した. BPE [12] でサブワード分割し, 語彙サイズは英日共有で 8,000 とした.

モデル本実験では, 画像・入力文間類似度の指標がモデルに依存しないことを確認するため, 複数の MMT モデルで実験を行う．テキストベースの MT モデルは，Transformer-Tiny [13] を用いた． MMT モデルには， Transformer ベースの Attentive multimodal Transformer [14], Gated multimodal Transformer [13] を用いた. Attentive multimodal Transformerには，テキストと画像の文脈ベクトルの連結手法が flat, hierarchical， serial， parallel $の 4$ 種類がある. 画像特徵量には Vision Transformer [15] ベースの事前学習済み画像分類モデル CLIP [16], Faster R-CNN [17], ResNet-50 [18] を用いた. 特徵量の数は，CLIP 及び ResNet-50 は 1， Faster R-CNN は36である1). MT モデルと MMT モデルのアーキテクチャは，レイ

1）本研究ではこれらのモデルのうち事前実験で BLEU スコアの高かった上位 3 つを使用する．事前実験で用いたすべてのモデルの BLEU スコアは付録 A に記載する。

図 2: テストデータにおける画像・入力文間類似度の度数分布 ( $D_{1-6}, D_{7-13}, D_{14-20}$ については 4.3 節参照).

表 1: 類似度順のサブセット $D_{1-20}$ 及び $D_{1-13}$ における類似度と貢献度の相関係数.

ヤー数を 4 層，注意機構のヘッド数を 4 個，隠れ層の次元数を 256 とし，ミニバッチサイズを最大 4,096 トークンに設定した. 最適化手法としては Adam [19]を使用した。

類似度計算画像と入力文のエンコードには CLIPを用いる。 CLIPでは，インターネット上で収集した 4 億組の画像・自然言語テキストデータに対して，どのキャプションがどの画像に対応するかを予測する事前学習を行う. テキストのエンコードには Transformer [20], 画像のエンコードには ResNet-50 ベースのモデルまたは Vision Transformer ベースのモデルが使われる。本実験では，Vision Transformer ベースのViT-B/32 モデルを使用した. テストデー 夕に対して, CLIPで計算した画像・入力文間類似度の度数分布を図 2 に示す。

## 4.2 結果

全サブセットでの評価テストデータ $D$ のサブセットを画像・入力文間類似度の高い順から $D_{1}, D_{2}, \ldots, D_{20}$ とし, 全サブセット $\left(D_{1-20}\right)$ における類似度と貢献度の相関係数を表 1 の 3 カラム目に示す。 $D_{1-20}$ では類似度と貢献度は正の相関であり， $D_{1-20}$ においては必ずしも仮説が正しいとは言えない. 我々は画像・入力文間類似度が過度に低い事例では入力文の意味に合わない画像情報がノイズになると考え，これを確かめるため各サブセットの類似度と貢献度の分布を調べた。その結果を図 3 に示す. 縦軸は MT モデルと MMT モデルの BLEU を

図 3: 類似度順のサブセット $D_{1-20}$ における画像情報の貢献度の分布.

用いた画像情報の貢献度，横軸は各サブセットの画像・テキスト間類似度である. Attentive-hierarchical (CLIP) と Gated (ResNet-50) では, 画像・入力文間類似度が過度に低い 0.3 未満のサブセット $D_{14}$ から MT モデルと MMT モデルの翻訳品質が逆転するサブセットが多くなる. 同様に Attentive-hierarchical (Faster R-CNN) では, サブセット $D_{16}$ から MT モデルと MMT モデルの翻訳品質が逆転している. 従って,画像・入力文間類似度が過度に低いサブセットでは画像情報がノイズになることがわかる.

ノイズとなるサブセット以外での評価画像情報により翻訳品質が改善するという前提のもと分析を行うため，画像情報がノイズとなりうるサブセットを取り除いた実験を行った。翻訳品質が逆転するサ
表 2: 画像・入力文間類似度が 0.3 未満の事例（上段）及び 0.3 以上の事例（中段），高い事例（下段）.

ブセットはモデルによって異なるが分析しやすくするため，全てのモデルに共通の画像・入力文間類似度の閾値を設けた。具体的には, 画像・入力文間類似度が 0.3 より低いサブセット $D_{14-20}$ は画像情報がノイズになると仮定し，それらを除いたサブセット $D_{1-13}$ で実験行った. サブセット $D_{1-13}$ における類似度と貢献度の相関係数を表 1 の 4 カラム目に示す. $D_{1-13}$ では類似度と貢献度は負の相関であるため，仮説が立証された. すなわち，画像がノイズとなり MMT モデルで翻訳品質が低下する事例を除いた場合，画像・入力文間類似度が小さいほど画像情報の貢献度が大きくなるといえる. これらの実験結果より，画像情報によって翻訳品質が改善する事例において, 画像 - 入力文間類似度は, 画像情報の貢献度を測る指標として適当であるといえる。

## 4.3 翻訳結果の比較

本節では，画像情報の有効性評価における画像・入力文間類似度の妥当性について分析する. 画像入力文間類似度を 3 段階 ( 0.3 未満： $D_{14-20}, 0.3$ 以上： $D_{7-13}$ ，高い： $D_{1-6}$ ）に分け，それぞれにおける MT と MMT の翻訳結果を表 2 に示す. 画像・入力文間類似度は，上段の事例が 0.289 , 中段の事例が 0.308 , 下段の事例が 0.368 であり，MMT は Gated (ResNet-50) の出力である. 類似度が 0.3 未満の上段
の事例では，MT が正しい翻訳をしている一方で， MMT は pitch（競技場）を「投球して」と誤訳しており，画像情報がノイズになっていることがわかる.これは，画像中の人物やボールの個数が多く,画像情報のエンコードが難しいためだと考えられる. 類似度が 0.3 以上の中段の事例では，MT で抜け落ちている「二人の幼い男の子を抱いて」という情報が MMT の出力では補完されていることがわかる.これは，画像情報によって入力文がより適切にエンコードされたためだと考えられる。一方，類似度の高い下段の事例では，MT，MMT どちらの翻訳も正しく出力されており, 画像情報が不要な事例であることがわかる.

## 5 おわりに

本研究では，画像・入力文間類似度に着目した MMT の翻訳品質の分析を行った. 英日翻訳の実験結果より, MMT モデルで翻訳品質が改善する事例において，画像 - 入力文間類似度と画像情報の貢献度に負の相関があることがわかった．また，画像・入力文間類似度が一定の値より低い事例では画像情報がノイズとなりうることがわかった. 今後の課題として，画像情報がノイズとなる事例の自動判別や，より翻訳品質差との相関が高い評価指標の獲得に取り組みたい。

## 参考文献

[1] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[3] Chiraag Lala, Pranava Swaroop Madhyastha, Carolina Scarton, and Lucia Specia. Sheffield submissions for WMT18 multimodal translation shared task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[4] Desmond Elliott. Adversarial evaluation of multimodal machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[5] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[6] Ali Hatami, Paul Buitelaar, and Mihael Arcan. Analysing the correlation between lexical ambiguity and translation quality in a multimodal setting using wordnet. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, 2022.

[7] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017

[8] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[9] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, 2016.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, 2002 .

[11] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github.io/ mecab/.
[12] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.

[13] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021.

[14] Jindřich Libovický, Jindřich Helcl, and David Mareček. Input combination strategies for multi-source transformer decoder. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018.

[15] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021.

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, 2021.

[17] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems 28, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems 30, 2017.

## 付録

## A 全モデルの BLEU スコア

事前実験で用いた全モデルの BLEU スコアを表 3 に示す.

表 3: テストデータに対する各モデルの BLEU. 但し， ResNet-50については Gated multimodal Transformer では average pool， Attentive multimodal Transformer では last layer を使用した.太字は BLEU スコア上位 3 つを示す。

## B 類似度と入力文長の関係

各サブセットにおける BLEU スコアを図 4 に示す. 画像・入力文間類似度と BLEUには負の相関があり，類似度が低いほど BLEU が高くなることがわかる．そこで，各サブセットにおける翻訳難易度の調査を行った．具体的には，各サブセットごとに入力文の平均トークン数を求め, 画像 - 入力文間類似度との相関を分析した. 結果を図 5 に示す. 入力文の平均トークン数と画像・入力文間類似度には正の相関があり，入力文の文長が短い事例では，画像入力文間類似度が低くなることがわかる. 分析結果より，画像・入力文間類似度は文長に大きく左右されることがわかった。より高精度な画像情報の有効性評価のためには，入力文の文長を考慮した指標の獲得が必要である.

図 4: 類似度順サブセット $D_{1-20}$ における MT モデルと MMT モデルの BLEU.

画像テキスト間類似度

図 5: 画像・入力文間類似度と各サブセットの入力文の平均トークン数.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 視覚翻訳言語モデルを用いた英日マルチモーダル機械翻訳

平澤寅庄 小町守
東京都立大学大学院
hirasawa-tosho@ed.tmu.ac.jp komachi@tmu.ac.jp

## 概要

本論文では、視覚翻訳言語モデル（Visual Translation Language Model; VTLM）が英日マルチモーダル機械翻訳に適応できるかどうかを検証する。事前学習には Conceptual Captions、マルチモーダル機械翻訳には Flickr30K Entities および Flickr30K Entities JP を使用した。実験の結果、VTLM で事前学習を行うことで、BLEUでおよそ 3 ポイントの改善を達成した。一方で、機械翻訳の訓練事例が豊富な場合には、事前学習を行わないモデルと同程度の性能にとどまった。分析の結果、事前学習で獲得したサブワード分割器が機械翻訳の訓練事例を適切に分割できない例があることが判明した。コードおよび事前学習済みのモデルは https://github.com/toshohirasawa/VTLM_EnJa で公開している。

## 1 はじめに

マルチモーダル機械翻訳 (Multimodal machine translation; MMT）では、翻訳文を生成する際に原文だけではなく、画像などの原文に紐付けられた非言語情報を用いる。画像や動画を持つマルチモーダル対訳コーパスのリリースにより、様々なマルチモー ダル機械翻訳モデルが提案されている。

自然言語処理では近年、自己教師あり学習を用いて大規模な単言語コーパスで訓練されたニューラル言語モデルを様々なタスクに応用する研究が盛んに行われており、ニューラル言語モデルが獲得した言語や常識の知識が、各々のタスクに有用であることが示されてきた。機械翻訳でも言語モデルの利用が盛んに研究されており、翻訳品質の向上に有用であることが示されている $[1,2]$ 。

また、対訳コーパスを用いた言語モデルの改善手法も提案されている。多言語の対訳コーパスを使用して訓練された翻訳言語モデル（Translation Language Modeling; TLM）は、分類モデルや機械翻訳モデルの精度を向上させることが報告されている [3]。TLMをマルチモーダルな入力を取るように拡張させた視覚翻訳言語モデル（Visual Translation Language Modeling）は、画像を用いる英独・英仏翻訳で翻訳品質を向上させている [4]。

本研究では VTLM が英日マルチモーダル翻訳でも適用可能かどうかを検証する。VTLM の事前学習には画像・説明文のデータセットである Conceptual Captions [5] に、オンライン自動翻訳サービスで翻訳文を付与した疑似マルチモーダル対訳コーパスを、 マルチモーダル機械翻訳には画像つき英日対訳コー パスである Flickr30K Entities JP [6] を用いた。

実験の結果は大規模な疑似マルチモーダル対訳コーパスで事前学習した VTLM が、英日マルチモー ダル機械翻訳に有用であることを示した。一方で、機械翻訳タスクの訓練事例が増えると、事前学習を行わなず機械翻訳タスクに特化した機械翻訳モデルと同程度にとどまった。分析の結果、事前学習で獲得したサブワード分割器が必ずしも機械翻訳の訓練事例を適切に分割できているわけではないことが分かった。

## 2 VTLM を用いた英日マルチモーダ ル機械翻訳

本研究では Caglayan et al. [4] の研究を英日マルチモーダル機械翻訳に適用する。

## 2.1 VTLM の事前学習

VTLM では、cross-lingual に加え、cross-modal な分散表現を獲得するように学習を行う。具体的には、cross-lingual な分散表現を学習する Translation Language Modeling (TLM)を拡張し、マスクされた画像特徵量のラベルを予測する masked region classification を行うことで、cross-modal な分散表現を学習する。

VTLM はまず、 $m$ トークンの原文 $\mathbf{s}=\left[s_{1}, \ldots, s_{m}\right]$ 、
表 1 事前学習およびマルチモーダル機械翻訳モデルの訓練に使用したデータセットの事例数

$n$ トークンの翻訳文 $\mathbf{t}=\left[t_{1}, \ldots, t_{n}\right]$ および事前学習された画像認識モデルにより抽出された $o$ 個の要素を持つ画像特徵量 $\mathbf{v}=\left[v_{1}, \ldots, v_{o}\right]$ を結合し、入力 $\mathbf{x}$ とする：

$
\mathbf{x}=[\mathbf{v}: \mathbf{s}: \mathbf{t}]
$

訓練では $\mathbf{x}$ の要素のうち、ランダムに選択された 15\%がマスクされる。マスクに選択された原文・翻訳文の要素は TLM に倣い、 $80 \%$ は [MASK] トークンに置き換え、 $10 \%$ はランダムなトークンへの置き換え、残り $10 \%$ は変更せずに保持する。同様に、マスクに選択された画像特徴量のうち、 $80 \%$ は [MASK] トークンの埋め込み表現に置き換え、10\% はランダムな埋め込み表現に置き換え、残り $10 \%$ は変更せずに保持する。

VTLM では、マスクされた入力 $\tilde{\mathbf{x}}$ から、マスクした位置の要素 $\hat{\mathbf{y}}$ 予測するように学習を行う。

$
\mathscr{L}=\frac{1}{|\mathscr{X}|} \sum_{x \in \mathscr{X}} \log \operatorname{Pr}(\hat{\mathbf{y}} \mid \tilde{\mathbf{x}} ; \theta)
$

$x$ は全訓練データで、 $\theta$ は VTLM モデルのパラメー タである。

## 2.2 マルチモーダル機械翻訳モデルの学習

事前学習された VTLM の重みは、Transformer をベースにしたマルチモーダル機械翻訳モデルの初期化に用いられる。この際、VTLM は Transformer decoderにある cross-attention 機構を持たないため、初期化対象のモデルの embedding 層、self-attention 層、feed-forward 層を初期化する場合にのみ使用する。

初期化されたマルチモーダル機械翻訳モデルは、目的ドメインのマルチモーダル対訳コーパスを用いて追加の学習を行う。

## 3 実験設定

## 3.1 データセットと前処理

表 1 に実験で使用したデータセットの概要を示す。実験ではそれぞれのモデルを 1 回訓練し、その表 2 Flickr30K Entities JP の結果。“B”は BLEU、“C”は COMET のスコアである。“—は事前学習を行わずに Flickr30K Entities JPのみで訓練した場合の結果である。太字は最高性能を示す。

結果を報告した。

事前学習用データ VTLM の事前学習には Conceptual Captions を用いた。Conceptual Captions は画像と英語説明文で構成されるデータセットであり、日本語翻訳文を含まない。本研究では、『みんなの自動翻訳@TexTra $』^{1)}$ を用いて英語説明文を日本語に翻訳し、擬似的なマルチモーダル対訳コーパスを作成した ${ }^{2}$ ) 。英語文は Moses 、日本語文は MeCab [7](IPA 辞書) を用いてそれぞれ単語分割を行った。 その後、BPE [8] を用いて、サブワード化した。BPE のサイズは 50,000 で、英語・日本語でサブワードを共有した。

マルチモーダル機械翻訳マルチモーダル機械翻訳モデルの訓練・検証・評価には画像と英語説明文で構成される Flickr30K Entities [9] およびその翻訳である Flickr30K Entities JP [6] を用いた。データの切り分けは WMT 2018 の shared task に従い、訓練デー タ 29,000 事例、検証データ 1,014 事例、評価データ 1,000 事例に分割した。英語文および日本語文はそれぞれ Moses および MeCab（IPA 辞書）を用いて単語分割を行った。また、サブワード分割には事前学習用データで学習したサブワード分割器を使用した。評価には BLEU [10] および COMET [11] を使用した。

## 3.2 機械翻訳モデル

MMT マルチモーダル機械翻訳モデルには Caglayan et al. [4] で使用されたものと同じものを使

1）「みんなの自動翻訳」は、国立研究開発法人情報通信研究機構の登録商標です (第 6120510 号)。「TexTra」は、国立研究開発法人情報通信研究機構の登録商標です（第 5398294 号)

2） 翻訳には汎用 NT モデルを用いた。

図1訓練データを増やしたときの各モデルの性能。括弧内は事前学習の手法である。括弧がないモデルは事前学習を行っていない。

用し、ハイパー・パラメータも同じものを使用した $^{3)}$ 。このモデルでは、画像特徴量と原文の埋め込み表現を結合したものを入力とし、翻訳文を出力するように訓練される。

NMT 画像を使用しない機械翻訳モデルとして、 Transformer (base) [12] を使用した。事前学習を行わない場合は、モデルを機械翻訳タスクの訓練事例で学習を行った。事前学習を行う場合は、学習済みの TLM もしくは VTLM のパラメータでモデルを初期化し、機械翻訳タスクの訓練事例で追加の学習を行った。

## 3.3 画像特徴量

本研究では事前学習およびマルチモーダル機械翻訳タスクでともに ResNet101 をバックボーンとする Faster R-CNN モデル ${ }^{4}$ を用いて、画像特徴量の抽出を行った。この画像認識モデルでは 1 つの画像に付き 36 個の領域について、画像特徴量および物体ラベルが抽出される。 1 の画像特徴量は 2,048 次元である。

## 4 結果

表 2 に結果を示す。VTLM で事前学習をした場合、事前学習を行わない場合に比べ、評価データにおいて NMT では +2.32 BLEU、MMT では +7.90 BLEU の性能向上が確認できた。一方で、TLM で事前学習した場合と比較すると改善は NMT で +0.33 BLEU, MMT で +0.16 であり、事前学習において画像を使用することの有効性は限定的であることが分かった。この傾向は [4] の結果と整合しており、

3）詳細はhttps://github.com/ImperialNLP/VTLMを参照。

4) https://github.com/tensorflow/models/blob/ master/research/object_detection/samples/configs/ faster_rcnn_inception_resnet_v2_atrous_oid_v4.config表 3 異なるサブワード分割器によるモデル毎の評価データにおける COMET スコア。“サブワード分割”列は “入力言語のサブワード分割 $\rightarrow$ 目的言語のサブワード分割”を表しており、“word”ではサブワード分割を行わない。“29K”/“145K”は 29,000/145,000 事例で訓練した結果をそれぞれ示す。

} & NMT & 0.2910 & 0.4046 \\
& MMT & 0.1206 & 0.3813 \\
& NMT (VTLM) & 0.4010 & 0.4836 \\
& MMT (VTLM) & $\mathbf{0 . 4 0 6 7}$ & 0.4858 \\

$\rightarrow$ word & MMT & 0.1752 & 0.4896 \\

VTLM が文化的・言語的に近しい言語間（例えば、英独）だけではなく、遠い言語間でも有効であることが示せた。

また、COMET で評価した場合、VTLM で事前学習した MMT モデルが検証および評価で最高性能となった。

## 5 考察

## 5.1 MT タスクの訓練データ

一般に、MT タスクの訓練データが増えるにつれ、事前学習による改善が逓減する。ここでは、本実験設定において訓練データを増やした場合に最終的な MT モデルの性能を検証する。図 1 に訓練データを 29,000 事例から 145,000 事例に増やした場合の、各モデルにおける性能の変化を示した。訓練データを 145K 事例に増やした場合でも、VTLM を使った事前学習の有効性は確認できたが、29K 事例の場合に比べるとその効果が派減していることが分かる。

また、サブワード分割は MT モデルの最終的な性能に大きな影響を与えることが知られている [13]。表 3 に、事前学習データで学習した general サブワー ド分割器を使用したモデルの性能と、SOTA モデルである Zhao et al. [14] に従い、入力言語側では機械翻訳の訓練事例のみで学習した in-domain サブワー ド分割器を使用し、目的言語側ではサブワード分割を行わないモデルの性能を示す。訓練事例が少ない場合（29K）は、general サブワード分割器を利用し、 VTLM で事前学習したモデルの性能が良いことが確認できた。一方で、訓練事例が多い場合（145K）では、 general サブワード分割器を利用し事前学習を
表 4 モデルごとの入力とシステム出力。括弧内にはシステム出力の COMET スコアである。

src (in-domain): an oriental traveler awaits his turn at the curren@@ cy exchange .

NMT: ... が、東洋風の交換会で、自分の順番を待っている。 $(-0.84)$

src (general): an oriental traveler awaits his turn at the currency exchange .

MMT (VTLM)：．. が、紙幣交換所で自分の番を待っている。(0.72)

ref: 東洋人の旅行者が、両替所で順番を待つ。

src (in-domain): girl wearing radio t-shirt has open mouth

NMT: ラジオ T シャツを着た女の子がロを開けている。(0.33)

src (general): girl wearing radio $\mathrm{t} @$ @ @ @ shirt has open mouth

MMT (VTLM)：ラジオの UNK シャツを着た女の子がロを開けている。(-0.77)

ref: RAD I O のT シャツを着た若い女性が、ロを開いている。

行ったとしても、in-domain サブワード分割器を利用し機械翻訳タスクの訓練事例のみで訓練したモデルと同程度であった。

## 5.2 サブワード分割

そこで、それぞれのサブワード手法が性能の変化に与える影響を調べた。まず、general サブワード分割器および in-domain サブワード分割器でそれぞれサブワード分割した評価データ間の編集距離を計算し、MMT (VTLM) と in-domain サブワード分割を使用する NMT モデルの性能差との相関係数を算出した。その結果、入力言語 (英語) の編集距離と性能差には優位な相関はなく、出力言語（日本語）の編集距離と性能差には弱い相関（0.12）が認められた。

また、表 4 では、in-domain サブワード分割器を使用したモデル（NMT）と general サブワード分割器を使用し VTLM で事前学習したモデル（MMT (VTLM)）のいくつかのシステム出力を示す。上の例では、in-domain サブワード分割器は “currency” を “currency@@ cy” と分割しており、その結果、正しく翻訳できていない。一方で、general サブワード分割器は分割を行っておらず、“紙幣”と翻訳できている。下の例では、逆に general サブワード分割器が “t-shirt” を“t@@ - @ shirt” と分割したため、正しく翻訳できていない。これは、各サブワード分割器が学習した訓練事例での出現頻度に依存しており、実際 “t-shirt” は Conceptual Captions では一度も出てこず、Flickr30K Entities では 1,181 回出現する。 このように、十分に機械翻訳の訓練事例に出現する単語については、分割を行わず、機械翻訳タスクで単語単位の埋め込み表現を学習することで、翻訳精度を向上させると考えられる。

## 6 関連研究

マルチモーダル機械翻訳は Multi30K データセッ卜 [15] が提案されていこう、様々な手法が提案されてきた。一方で、Multi30K は小規模なデータセットであるため、Multi30K データセット以外の資源を用いてマルチモーダル機械翻訳モデルの性能を向上させる試みが、当初から行われてきた。Grönroos et al. [16] は字幕ドメインの対訳コーパスでマルチモー ダル機械翻訳を事前学習することで、Multi30Kにおける翻訳性能を大幅に改善した。Hirasawa et al. [17] は単言語コーパスから学習した単語分散表現や（視覚）言語モデルをマルチモーダル機械翻訳モデルに統合することで、翻訳精度を改善した。

## 7 おわりに

本研究では、視覚翻訳言語モデルがマルチモーダル英日翻訳に適用できるかどうかを検証した。実験の結果、大規模な疑似マルチモーダル対訳コーパスで学習した VTLM は英日翻訳の品質を向上させることが示された。一方で、機械翻訳の訓練事例が増えるに連れ、その効果は派減していき、機械翻訳の訓練事例のみで訓練した機械翻訳モデルと同程度になることが分かった。

本研究では、VTLM の有効性を制限する一因として、事前学習データで学習したサブワード分割器が機械翻訳の訓練事例を分割するのに最適ではないことを示した。今後は、事前学習で学習したサブワー ド分割器を機械翻訳タスクの訓練でサブワードの更新や分割の微調整することで、機械翻訳タスクの訓練事例からも適切に学習できるような手法を検証していきたい。

## 参考文献

[1] Kenji Imamura and Eiichiro Sumita. Recycling a pretrained BERT encoder for neural machine translation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 23-31, Hong Kong, November 2019. Association for Computational Linguistics.

[2] Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li, and Tieyan Liu. Incorporating BERT into neural machine translation. In International Conference on Learning Representations, 2020.

[3] Guillaume Lample and Alexis Conneau. Crosslingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[4] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Cross-lingual visual pre-training for multimodal machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1317-1324, Online, April 2021. Association for Computational Linguistics.

[5] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[7] Taku Kudo. MeCab: Yet another part-of-speech and morphological analyzer, 2006. http://taku910.github. io/ mecab/.

[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30K Entities: Collecting region-tophrase correspondences for richer image-to-sentence models. International Journal of Computer Vision, Vol. 123, No. 1, pp. 74-93, 2017.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[11] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Jia Xu, Jianfeng Gao, Kristina Toutanova, and Hermann Ney. Bayesian semi-supervised Chinese word segmentation for statistical machine translation. In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK, August 2008. Coling 2008 Organizing Committee.

[14] Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, and Chenhui Chu. TMEKU system for the WAT2021 multimodal translation task. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 174-180, Online, August 2021. Association for Computational Linguistics.

[15] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, Berlin, Germany, August 2016. Association for Computational Linguistics.

[16] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 603-611, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[17] Tosho Hirasawa, Masahiro Kaneko, Aizhan Imankulova, and Mamoru Komachi. Pre-trained word embedding and language model improve multimodal machine translation: A case study in Multi30K. IEEE Access, Vol. 10, pp. 67653-67668, 2022.


# 潜在拡散モデルによる変換画像を用いる マルチモーダルニューラル機械翻訳

湯浅 亮也 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 二宮崇 ${ }^{2}$ 加藤 恒夫 ${ }^{1}$
1 同志社大学 2 愛媛大学
${ }^{1}\{$ ctwh0190@mail4, aktamura@mail, tsukato@mail \}.doshisha.ac.jp
${ }^{2}\{$ kajiwara,ninomiya $\}$ cs. ehime-u.ac.jp

## 概要

本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新しいマルチモーダルニューラル機械翻訳（MNMT）を提案する．MNMT は，原言語文と関連画像に基づき翻訳を行うが，関連画像は必ずしも原言語文の内容のみを表しているわけではなく, 関連画像内には原言語文とは無関係な箇所も存在する場合が多い。そのため, 関連画像は翻訳の補助情報として最適とは限らない. そこで提案手法では，原言語文に基づき関連画像を潜在拡散モデルで画像変換することで，原言語文の内容に沿った疑似画像を生成し，生成した疑似画像を用いて翻訳を行う．Multi30k データセットを用いた英独翻訳実験を行い，提案手法の有効性を確認した。

## 1 はじめに

近年，機械翻訳の分野では，原言語文に加えて関連画像を翻訳に使用する MNMT [1]が注目されている. 関連画像により, 翻訳時の曖昧性を解消したり，テキスト情報だけでは捉えることが困難な情報を補完したりすることで，翻訳性能の改善が期待されている. MNMT では, 通常, 画像キャプション生成のデータセットを多言語に拡張した原言語文と目的言語文，関連画像の 3 つ組データからなるデータセットを使用する. しかし, 画像には様々な内容が含まれており, 原言語文は関連画像が表す内容の一部になっている場合が多く, 原言語文とは無関係な箇所が関連画像に存在する場合も多い. 図 1 に MNMT の標準的なデータセットである Multi30k データセット [2] の実例を示す. 図 1 のように, Multi30kでは一つの画像に内容の異なる複数の原言語文が関連づけられている。そして，例えば，原言語文 2 には関連画像に写っている家に関す
る内容が含まれていない，そのため，関連画像は翻訳の補助情報として最適とは限らない.

そこで本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新たな MNMT を提案する。具体的には，関連画像と原言語文を用いて潜在拡散モデルにより画像変換を行い，関連画像から原言語文とは無関係な内容を排除し，関連画像を原言語文に即した内容に変換する。そして，変換された擬似画像を関連画像として用いて MNMT モデルで翻訳を行う。このように原言語文の内容をより反映した関連画像を翻訳の補助情報をして用いることで翻訳の性能改善を試みる。

提案手法の有効性を，Multi30k [2] と Ambiguous $\mathrm{COCO}[3]$ を用いた英独翻訳タスクで検証した. その結果，提案手法により，Multi30k の教師データをそのまま用いる従来の MNMT と比較して, Multi30k Test2016 と Test2017 でそれぞれ 0.14, Ambiguous COCO で 0.39，BLEU スコアが改善することを確認した。また，CLIPScore [4]を用いて関連画像と原言語文の類似度を算出した結果，提案手法で用いた関連画像の方が，変換前の関連画像よりも原言語文に即した画像であることを確認した。

## 2 従来 MNMT モデル

近年の MNMT では，Transformer [5] ベースの MNMT モデルが主流となっている. その翻訳性能を改善するため，これまで，視覚的注意機構の導入 [6] や共有エンコーダを用いてテキストと画像の特徴表現を同時に学習する手法 [7] など様々な試みがなされている．その一つに，関連画像のパッチと原言語文の単語の関連を捉える注意機構である Selective Attention を用いる Transformer MNMT [8] が提案されている. 本研究ではベースの MNMT モデルとして, この Selective Attention MNMT モデルを

図 1 提案手法の概要図

使用する．以降では，Selective Attention MNMT モデルを概説する。

Selective Attention MNMT モデルでは，まず，原言語文 $X^{\text {text }}$ と関連画像 $X^{\mathrm{img}}$ をれぞれ, 式 (1) と式

$
\begin{gathered}
H^{\text {text }}=\text { TextEncoder }\left(X^{\text {text }}\right) \\
H^{\text {img }}=W \text { ImageEncoder }\left(X^{\text {img }}\right)
\end{gathered}
$

ここで，W，TextEncoder，ImageEncoder は，それぞれ，パラメータ行列, Transformer Encoder, Vision Transformer [9] である.

そして, 式(3)の通り, Selective Attention で画像のパッチと原言語の単語の関連を注意機構で捉える。

$
H_{a t t n}^{\mathrm{img}}=\operatorname{Softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ は，それぞれ， $H^{\text {text }}, H^{\text {img }}, H^{\text {img }}$ であり,$d_{k}$ は $H^{\text {text }}$ の次元数である.

その後, Gated Fusion 機構 [10] により, 関連画像の影響度を制御して原言語文と関連画像を表す特徴

画像の特徵べクトルから式 (4)を用いて関連画像の影響度をコントロールする $\lambda$ を算出し, 式 (5) のように入で重み付けした特徵表現 $H^{\text {out }}$ を生成する.

$
\begin{gathered}
\lambda=\operatorname{Sigmoid}\left(U H^{\text {text }}+V H_{\text {attn }}^{\mathrm{img}}\right) \\
H^{\text {out }}=(1-\lambda) \cdot H^{\text {text }}+\lambda \cdot H_{\text {attn }}^{\mathrm{img}}
\end{gathered}
$

ここで，Uと $V$ は学習可能なパラメータ行列である.そして, $H^{\text {out }}$ Transformer Decoder に入力し,翻訳文を生成する。

## 3 提案手法: 潜在拡散モデルによる 変換画像を用いる MNMT

本節では，原言語文に基づいて関連画像を変換した擬似画像を使って翻訳を行う MNMT モデルを提案する. 図 1 に提案手法の概要を示す.

MNMT のデータセットは，原言語文と目的言語文，関連画像の 3 つ組データで構成される. 従来使われているデータセットでは，各原言語文は関連画像が表す内容の一部になっている場合が多く, 原言語文とは無関係な内容が関連画像に存在する場合も多い，例えば，図 1 の画像は，ピンク色のドレスを着た少女が階段を上って木造の家に入っている場面を表しているが，原言語文 1 には階段を上っているという内容は含まれていない。また，原言語文 2 には家に関する内容は含まれていない。そのため，関連画像は翻訳の手がかりとして最適とは限らない.

そこで提案手法は，まず，潜在拡散モデルにより，関連画像から原言語文とは無関係な内容を排除して原言語文に即した疑似画像を生成する。そして，生成した疑似画像と原言語文を用いて従来の MNMT モデルにより翻訳を行う。これにより，関連画像とテキストの関連が翻訳時に捉えやすくなり，翻訳性能が向上することが期待できる． 3.1 節では，関連画像を変換する潜在拡散モデルを説明する。 ベースとなる従来 MNMT モデルは，実験では，2 節で説明した Selective Attention MNMT モデルを用いた.

## 3.1 画像変換 : 潜在拡散モデル

提案手法の画像変換で使用する潜在拡散モデル [11]を説明する．潜在拡散モデルは，VAE [12] の潜

図 2 潜在拡散モデルの学習の概要図

在空間に対して拡散モデル [13] を適用させたモデルで，主に VAE，U-Net [14], Text Encoder で構成される（図 2 参照）。潜在拡散モデルでは，VAE Encoder を用いて入力画像をピクセル空間から低次元の潜在空間に射影し，その潜在表現を得る。そして，拡散プロセスで潜在表現に対してガウシアンノイズを連続的に付与する. その後, 逆拡散プロセスで，ノイズが含まれた潜在表現からノイズを除去する。その際，U-Net に対して，Text Encoder で変換したテキストの特徴表現で条件付けを行う。この条件付けは， Cross Attention で実現する. このプロセスを複数回実施することで，ノイズが含まれた潜在表現から徐々にノイズを除去する。最後に, VAE Decoder により，ノイズが除去された潜在表現を潜在空間からピクセル空間に射影して出力画像を得る.

損失関数は式 (6) の通りである.

$
L_{\mathrm{LDM}}:=\mathbb{E}_{\varepsilon(x), y, \epsilon \sim \mathcal{N}(0,1), t}\left[\left.\|\epsilon-\epsilon_{\theta}\left(z_{t}, t, \tau_{\theta}(y)\right)\right.\|_{2}^{2}\right]
$

ここで， $\varepsilon, \epsilon_{\theta}, \tau_{\theta}$ ，は，それぞれ，VAE Encoder, U-Net，Text Encoderを表し， $x, y ， \epsilon, t, z_{t}$ ，は，入力画像，テキスト，ガウシアンノイズ，時刻，時刻 $t$ の潜在表現である.

提案手法では，この潜在拡散モデルにおいて，関連画像と原言語文を，それぞれ，VAE Encoder と Text Encoderの入力にすることで，関連画像を原言語文に即した画像に変換する。

## 4 実験

## 4.1 実験設定

本実験では，Multi30k と Ambiguous COCO を用いた英独翻訳タスクで提案手法の有効性を検証した。学習・検証データとして, Multi30k の学習データ （29,000 組）と検証データ（1,014 組）を使用し，テストデータには，Multi30kの Test2016（1,000 組）と Test2017（1,000 組)，Ambiguous COCO（461 組）を使用した.

本実験では，3 節で説明した提案手法の翻訳性能を，関連画像を用いないNMT モデル，関連画像としてデータセットの画像をそのまま使用した MNMT モデル，原言語文のみから生成した画像を関連画像として使用した MNMT モデルの翻訳性能と比較した．以降では，各モデルをそれぞれ，MNMT（変換画像)，NMT， MNMT (原画像)，MNMT (生成画像）と記す。

NMT モデルは，Transformer-Tiny 1)を用いた.このモデルは，通常の Transformer モデルよりも，レイヤー数や隠れ層のサイズ，注意機構のへッド数などを削減した小規模なデータセットに適した NMT モデルである ${ }^{2)}$. ハイパーパラメータは，先行研究 [15] の実験設定に倣い，エンコーダとデコーダのレイヤー数を 4 ，隠れ層のサイズを 128 ，順伝播層の入カサイズを 256 ，注意機構のヘッド数を 4 , Dropout を 0.3, label smoothing weight を 0.1 とした. 最適化手法は Adam [16] を使用し, $\beta_{1}=0.9, \beta_{2}=0.98$ とした. また，学習率は，最初の 2,000 ステップで $1 \mathrm{e}^{-7}$ から $5 \mathrm{e}^{-3}$ まで warmupを線形に行い, その後, 学習回数に応じて学習率を減少させた. 語彙辞書は原言語と目的言語で共有し, Byte Pair Encoding [17]によりマージ操作を 10,000 回として作成した.

MNMT モデルは, 2 節で説明した Selective Attention

1) https://github.com/LividWo/Revisit-MMT

2）文献[15] では, Multi30k データセットにおいて Transformer Base/Small よりも翻訳性能が高いことが報告されている.
表 1 実験結果 : 英独翻訳（BLEU[\%]）

 &  &  \\

MNMT (原画像) & 41.06 & 32.06 & 27.91 \\
MNMT (生成画像) & 40.81 & 31.81 & $\mathbf{2 8 . 5 4}$ \\
MNMT (変換画像) & $\mathbf{4 1 . 2 0}$ & $\mathbf{3 2 . 2 0}$ & 28.30 \\

MNMT $^{3)}$ を用いた. 画像の特徵抽出には，Vision Transformer の vit_base_patch16_384 ${ }^{4)}$ を使用した。 MNMT（生成画像）やMNMT（変換画像）で行う関連画像の生成や画像変換には，潜在拡散モデルをべースとする Stable Diffusion 5)を採用し， モデルは stable-diffusion-v1-5 ${ }^{6)}$ を使用した。実装には, それぞれ, diffusers ${ }^{7)} の$ StableDiffusionPipeline と StableDiffusionImg2ImgPipeline を用いた. 画像生成では，デフォルトのパラメータを使用し， guidance_scaleを 7.5 , num_inference_steps を 50 として原言語文から画像を生成した. また，画像変換でもデフォルトのパラメータを使用し, strengthを 0.8 , guidance_scaleを 7.5, 初期値を関連画像として原言語文を用いて画像変換した．学習時のハイパーパラメータと最適化手法, 語彙辞書作成方法は, NMT モデルの実験設定と同じである.

全モデルにおいて，学習終了直前の 10 エポックのモデルに対して checkpoint averagingを行い，ビー ム幅 5 のビーム探索により翻訳文を生成した. 評価指標は，BLEU [18]を使用した。また，異なる 5 つの random seed で学習・検証し, 最も検証データに対する BLEUが高いモデルを評価した。

## 4.2 実験結果

表 1 に実験結果を示す，表 1 より，画像情報を使用しない NMT モデルより，画像情報を使用する 3 種類の MNMT モデルの方が全てのデータセットにおいて BLEUが高いことが分かる。これより, 本実験で用いたデータセットにおいては，画像情報が翻訳性能の改善に寄与することが確認できた.

また，MNMT モデル間の比較では，Test2016と Test2017 においては提案手法である MNMT（変換画像）が最も高い翻訳性能を達成した. Ambiguous

表 2 CLIPScore : 原言語文と関連画像の類似度

 & Ambiguous \\
& 2016 & 2017 & COCO \\

MNMT (変換画像) & 79.74 & 79.35 & 80.08 \\

COCOにおいては, MNMT (生成画像) の方が MNMT （変換画像）よりも高い翻訳性能となったが，全体的には, MNMT (変換画像) の方が良い結果となり,提案手法の有効性を確認した。

## 5 考察

本節では，提案手法で用いた疑似画像（潜在拡散モデルにより原言語文に基づき関連画像を変換した画像）を分析する。変換した画像の例は付録 A に示す. MNMT で使用した画像が原言語文をどれだけ反映していたかを調査するため，使用した画像と原言語文の類似度を，式（7）の通り算出される CLIPScore [4] を用いて評価する.

$
\operatorname{CLIPScore}(\boldsymbol{c}, \boldsymbol{v})=w \cdot \max (\cos (\boldsymbol{c}, \boldsymbol{v}), 0)
$

ここで, $\boldsymbol{c}$ とは，それぞれ, CLIP [19]の Text Encoder と Image Encoder の特徴べクトルである. また， $w$ は出力をリスケーリングするために使用され，ここでは先行研究 [4] 亿倣い 2.5 とする.

表 2 に評価結果を示す. 表 2 より，全てのデー タセットにおいて，提案手法で画像変換した擬似画像の方が，元々の関連画像よりも原言語文との類似度が高いことが分かる. 特に，曖昧性を含む Ambiguous COCO では類似度が改善し, CLIPScore が 1.91 向上した. これらの結果から, 提案手法では原言語をより反映した関連画像を翻訳の手がかりとして利用できることを確認した.

## 6 おわりに

本研究では，潜在拡散モデルにより関連画像を原言語文に即した画像に変換し，変換した画像を用いる新たな MNMTを提案した. Multi30kを用いた英独翻訳タスクによる実験を行い，提案手法の方が従来手法より高い翻訳性能を実現できることを確認し，提案手法の有効性を確認した．また，MNMTで使用した画像と原言語文の類似度を CLIPScore で評価し，提案手法で用いた画像の方が元の画像よりも原言語文に類似した画像であることを確認した. 今後は英独以外の言語対に対しても有効性を検証したい.

## 謝辞

本研究の一部は JSPS 科研費 JP22K12177, JP21K12031 の助成を受けたものである.また，本研究成果の一部は, 国立研究開発法人情報通信研究機構の委託研究 (No. 225) により得られたものである.ここに謝意を表する。

## 参考文献

[1] Lucia Specia, Stella Frank, Khalil Sima'an, and Desmond Elliott. A shared task on multimodal machine translation and crosslingual image description. In Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers, pp. 543-553, 2016.

[2] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74, 2016.

[3] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, pp. 215-233, 2017.

[4] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7514-7528, 2021.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[6] Tetsuro Nishihara, Akihiro Tamura, Takashi Ninomiya, Yutaro Omote, and Hideki Nakayama. Supervised visual attention for multimodal neural machine translation. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4304-4314, 2020.

[7] Desmond Elliott and Ákos Kádár. Imagination improves multimodal translation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 130-141, 2017.

[8] Bei Li, Chuanhao Lv, Zefan Zhou, Tao Zhou, Tong Xiao, Anxiang Ma, and JingBo Zhu. On vision features in multimodal machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6327-6337, 2022.

[9] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.
[10] Zhuosheng Zhang, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Zuchao Li, and Hai Zhao. Neural machine translation with universal visual representation. In International Conference on Learning Representations, 2020.

[11] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[12] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, 2014.

[13] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2256-2265, 2015.

[14] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015, pp. 234-241, 2015.

[15] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6153-6166, 2021.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (Poster), 2015.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[19] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763, 2021.

## A 付録

原言語文

a man grilling meat on an outdoor grilling pit .

原言語文

a young girl in a red dress is wearing a black cowboy hat .

原言語文

a man wearing black and white stripes is trying to stop a horse .

原言語文

one man holds another man's head down and prepares to punch him in the face .

図 3 原言語文を用いて Multi30k の関連画像を画像変換した場合の成功例（左）と失敗例（右）


# 視覚と言語の融合モデルにおける知識の振る舞いを調査する ための表と画像の生成タスクの提案及びその調査結果

上垣外英剛 1 林克彦 2 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 北海道大学
\{kamigaito.h,taro\}@is.naist.jp katsuhiko-h@ist.hokudai.ac.jp

## 概要

本研究では視覚と言語の融合タスクであるVision \& Language (V \& L) において，自然言語から獲得されたエンティティに関する知識がどのように V \& L モデルに保持されているかを検証するための新タスク，表と画像の生成を提案する。このタスクはエンティティと関連する画像からそれらに関する知識を含む表を生成するタスクと，エンティティとキャプション及び関連する知識を含む表から画像を生成するタスクの二つで構成される. 我々は提案タスク遂行のためのデータセットを英語版 Wikipedia の Infobox から作成し, 複数タスクで最高精度を達成している V \& L モデル OFA で上記の検証を実施した.その結果，OFA はエンティティに関する知識の一部を事前学習時に忘却しており，それらの補完は良質な画像の生成に寄与することが判明した.

## 1 はじめに

近年，視覚と言語の融合タスクであるVision \& Language (V \& L) ではキャプション生成 [1] やテキストからの画像生成 [2] に代表されるような大きな成功を収めている。この進展の背景には大規模デー タにより事前学習された事前学習済み V \& L モデルが存在している [3].

事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルにおいて，入力に対して適切なキャプションや画像を生成するためには，事前学習済み V \& L モデルが生成対象の特徴に関する知識を事前に保持している必要がある $[4,5]$. 現在，これらのモデルにおいて特にエンティティに関する知識は，自然言語処理で利用されている事前学習済み言語モデルのパラメータを引き継ぐことで，間接的に Wikipedia などのデータ資源を利用することで保持されている。このようにして V \& L モデルに引き継がれた知識は，視覚と言語を横断したデー

図 1 Wikipedia 記事中に含まれる Infobox の例 ${ }^{11}$. 本研究では Infobox 中の画像及び表の箇所を生成することで，V \& L モデルの検証を行う.

タセットによって追加の学習を行うことで画像に関する表現と対応付けられる $[6,7,8,9,10]$.

この学習過程において，自然言語から獲得された知識は事前学習済み V \& L モデルの内部に適切に保持されているのか，あるいは画像の持つ特徵と組み合わせられることにより補強されているのかという問いは事前学習済み V \& L モデルにより生成可能な対象の限界を知る上での重要な疑問である。

本研究ではそのような疑問を解消するために英語版 Wikipedia の各記事に含まれている Infobox を対象データとした，表と画像の生成タスクを提案する.図 1 に本研究が対象とする Infobox の例を示す.この例に示されているように，提案タスクでは，表または画像を生成する。いずれの場合においても適切に生成するためには，モデルが生成対象のエンティティに関する知識を把握していなければならない。

我々は提案タスクを遂行するために必要なデータセットを約 20 万件からなる Infobox を収集することで構築した. さらに我々は現在様々な V \& L タスク

図2OFAの学習過程. 本研究では事前学習時に Wikipedia から獲得されたエンティティに関する知識がどのように OFA に残されているのかを調査する.

で最高精度を達成している事前学習済み V \& L モデルである OFA [10]を用いた検証を行った.

検証の結果，表の生成において，自然言語から獲得された知識の一部は V \& L モデルにおける追加学習により消失することが判明した。また画像情報の利用により自然言語のみでは獲得されていなかった，エンティティが含む情報の種類に関する知識を新たに獲得していることが判明した。

画像生成においては，表に含まれる知識を利用することでより正確な画像を生成できることが明らかになった．また，自然言語だけで学習されたモデルにより推測された知識を利用することで生成される画像の多様性を向上させることが可能であることも判明した。

## 2 Vision \& Language モデル

様々なタスクで最高精度を更新している事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルの多く $[6,7,8,9,10]$ は自然言語及び画像における事前学習済みモデルの重みを引き継いだ上で，自然言語と画像を横断したデータでの学習を行っている. 本研究ではこのような学習過程を経て，自然言語を対象とした事前学習済みモデルに含まれていた知識がどのように変容するのかを検証する。なお，検証の対象としては複数の V \& L タスクで最高精度を達成している OFAを選択する。

図 2 にOFA のネットワーク構造と各タスクとの関連を示す. ${ }^{2}$ OFA ではデコーダ上で VQGAN [11] により画像を離散系列に変換して扱うことにより画像生成, 自然言語生成を同一の Transformer [12] で行っている。また，この Transformer は BART [13] の重みを用いて初期化されるため，OFA には Wikipedia などの自然言語から獲得される知識が含まれていることが期待できる．なお，エンコーダではデコーダと

2）各学習過程で使用されているデータセットの詳細については付録 Aに記す。

表 1 各タスクの概要。それぞれの用語が指す Infobox 中の部位については図 1 を参照.

Alternative names|Fish supper / Fish 'n' chips<>Course|Main dish<>Place of origin|England<>Region or state|Northwestern Europe $<>$ Serving temperature $\mid$ Hot $<>$ Main ingredients $\mid$ Battered and fried fish with deep-fried chips

図 3 直列化された表の例.この例は図 1 の表を直列化したものである。

異なり画像を直接扱うために，BART から引き継いだ埋め込み層に加え, ResNet [14] の出力を画像の埋め込みとして使用している。

## 3 提案タスク: 表と画像の生成

本節では V \& L モデルにおける知識の振る舞いを検証するための二つのタスク，表の生成と画像の生成についての説明を行う。いずれのタスクについても Wikipedia 記事中の Infobox に基づく. Infobox は Wikipedia 本文の情報に対応しているため3)，事前学習済み $\mathrm{V}$ \& L モデルが記憶している Wikipedia 中の知識を検証する上で適している。次節以降でそれぞれのタスクの詳細についての説明行う。

## 3.1 表の生成

表の生成タスクにおいて，対象となる V \& L モデルは入力された Infobox のタイトルとしてのエンティティまたはそれに画像を結合した入力から表を生成する．表の生成に関しては説明文からの表の生成 [15] と同様に，表をテキストで直列化することで行う．我々の設定では，事前学習時の辞書に含まれるトークンを流用するために，列の区切り文字|と行の区切り文字く>を用いて図 3 のように直列化される. 対象となるモデルの検証はこのような直列化されたテキストを直接生成することによって行われる. 検証については次のような設定を用いて行う。

タイトルのみからの生成事前学習済み V \& L モデルと自然言語のみで学習された事前学習済みモデルにおいて，タイトルのみから生成した表を比較することで，V \& L モデルが保持している自然言語のみを対象としたエンティティに関する知識を検証する。

画像を含む入力からの生成画像を含む入力から表を生成し，その結果をタイトルのみを入力とした場合の結果と比較する。これにより，画像を考慮することで $\mathrm{V} \& \mathrm{~L}$ モデルが新たに獲得した知識についてを検証する。

評価尺度検証のための比較に際しては生成された表が実際のものにどれほど近いかを測ることにより行うため，次のような評価尺度を用いる。

ROUGE: 直列化された表はテキストデータであり， かつ Infobox は本文に対する要約の役割を担っていることから，自動要約の評価に使用されることが多いROUGE [16] を使用する。なお，ROUGEでの評価においては文字列の連なりが行や列に制限されないよう，列の区切り文字|と行の区切り文字く>をスペースに変換した上で行う.

Macro-F F $_{1}$ : 表の構造を考慮した評価を行うために， セルを種類毎に分けた上で参照となる表に対する一致を各事例毎に $\mathrm{F}_{1}$ 値によって評価し, 平均化する. なお，一致を計算する際には，同一のセルが繰り返して出力されることによるスコアの増大を防ぐために，ROUGE の計算に使用されているクリッピングを適用する。セルの種類については下記のように分けて評価する。

- グループ: Infobox 中の表はグループに分けられることがあり，各グループの最初の行がグループ名を表すへッダとなっている. グループ名に対する予測の精度は，モデルがエンティティに対しどのような側面での知識を持っているかを検証する上で重要である.

一ヘッダ: Infobox 中の 2 列以上の列からなる各行の先頭は通常，その同じ行で後続するセルのへッダとなっている. 従って，グループ名と同様の理由でヘッダへの予測精度は重要である.

- 值: Infobox 中の 2 列以上の列からなる各行の 2 列め以降のセルはへッダに対応する值を持っている.従って，値への予測精度はモデルがエンティティに対して詳細な知識を保持しているかを知る上で重要である。なお評価時にはへッダとグループへの対応関係を考慮するために，対応するグループ名とへッダを值と合わせた 3 つ組として扱う。

Micro- F $_{1}$ : 上記の Macro- $\mathrm{F}_{1}$ では事例毎に計算を行うため，モデルがどれだけ多様な知識を出力しているかを評価することが困難である．この問題を解決するために，事例全体を横断してセルを共有し，一括で $\mathrm{F}_{1}$ 值を計算する.

表 2 各データセットのサイズ.

## 3.2 画像の生成

画像の生成タスクでは，モデルは Infobox のタイトルとキャプションまたは追加的に表を入力とし，対応する画像を生成する．検証については下記のような設定に基づいて実施する。

タイトルとキャプションからの画像の生成画像生成に最低限必要な入力を用いることで，他のデー タセットと比較した際の生成の難しさを検証する。

タイトルとキャプションと表からの画像の生成表を含めた上で画像を生成し，その結果を上記の表を入力しない際の設定と比較することで，エンティティに関する知識が画像生成に与える影響について調査する。

評価尺度画像生成の評価については現状で広く使われている下記の三つを使用する。

CLIP: 入力テキストと生成画像の関連度を測る尺度. 事前学習済み V \& L モデルである CLIP [17] によって推測される.

Inception Score (IS): それぞれの画像の差異を識別乙易い，多様な画像が生成されていることを測る尺度 [18]. 事前学習済み画像分類モデルである Inception-v3 [19] によって推測される.

Frechet Inception Distance (FID): 生成画像が参照画像にどれだけ近いかを測る尺度．IS と同様に Inception-v3 によって推測される. 低いほど良い.

## 4 データセットの作成

データセットは英語版 Wikipedia の HTML ダンプデータ4)から Infobox を抽出することで作成した。生成対象の形式を揃えるため，抽出対象の Infobox は図 1 のように，一行目にタイトルを，二行目に画像を含むものに限定した。また，対象とする画像は jpeg 及び png 形式のものに限定した。なお，一部のキャプションについてはタイトルを含んでいないため，そのような事例に関してはハイフンを用いてキャプションの先頭にタイトルを結合した.

表 2 に各データセットのサイズを示す。なお，両タスクでデータセットサイズが異なるのは一部の

表 3 表の生成における各設定の結果. 太字は最も高いスコアを，个はスコアが高いほど良い結果であることを示す.

表 4 画像の生成における各設定の結果. 」はスコアが低いほど良い結果であることを示す. その他の表記については表 3 と同様.

Infobox がキャプションを含まないためである5).

## 5 検証

## 5.1 表の生成

設定比較対象のモデルとして事前学習済み $\mathrm{V}$ \& L モデルである OFA と自然言語のみで事前学習された BART を選択した. 両モデルともに base モデルの重みを使用した。ハイパーパラメータについては OFA の論文で報告されているものを使用した6)

結果表 3 に表の生成における各設定の結果を示す. タイトルのみを入力とした際には，BART の結果が OFA よりも高いことから, 自然言語から獲得された知識の一部は V \& L モデルにおける追加学習により消失することが分かる. また画像情報の利用によりへッダに対する Macro-F $F_{1}$ が改善されることから，画像を利用することでエンティティがどのような種類の特徴を持つかという知識が補強されることが分かる. その一方， セルの值に対する $\mathrm{F}_{1}$ が改善されないことから，画像から得られる情報は自然言語から獲得された各へッダに対応する值のような詳細な知識を補うものではないことが分かる。

## 5.2 画像の生成

設定表の生成と同様に，比較対象のモデルとして事前学習済み V \& L モデルである OFA を選択した. 表を入力する際には参照 (Gold), $\S 5.1$ の出力結

5）データセットの詳細は付録 $\mathrm{B}$ に記載.

6）付録 C. 1 に実験設定の詳細を記載果のそれぞれを使用した。重みについては base モデルを使用した. ハイパーパラメータについては OFA の論文に記載されているものを使用した7).

結果表 4 に画像の生成における各設定の結果を示す.この結果は CLIP の値では MS COCO [20] における画像生成の結果 [10] と近しいため, 作成したデータセットのモデル学習における使用は妥当であると考えられる．また，表 (Gold) を入力することによりいずれの評価尺度も改善されていることから， エンティティに関する知識を補完してモデルに与えることにより，より質が高い画像が生成されることが分かる. この結果は OFA において Wikipedia に含まれるエンティティに関する知識が十分に保持されていないことを示している.

また，自動生成された表を与えた場合には CLIP 及び FID における性能の改善は確認できない。一方でBART により自動生成された表を使用することで IS については改善していることから，自動生成された表を用いることで出力画像の多様性が改善されることと，質が高い画像生成のためには表の予測精度が重要であることが分かる.

## 6 まとめ

本研究では事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルに含まれている，自然言語のみから学習されたエンティティに関する知識が言語と画像を用いた追加学習を経てどのように保持されているかを検証した。

検証は英語版 Wikipedia から 20 万件の Infobox を抽出し，それらに含まれている画像と表を生成することで実施した。

事前学習済み V \& L モデルである OFA を対象とした実験の結果，上記の知識は事前学習時に忘却されており，画像情報がその知識を完全に補っているわけではないことが示された。また画像生成においてはそれらの知識を適切に補うことで，より良質な画像が生成可能なことも示された. なお，本研究で使用したコードとデータセットは公開予定である.

7）付録 C. 2 に実験設定の詳細を記載

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けたものです.

## 参考文献

[1] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 2048-2057, Lille, France, 07-09 Jul 2015. PMLR.

[2] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In Maria Florina Balcan and Kilian Q. Weinberger, editors, Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 of Proceedings of Machine Learning Research, pp. 1060-1069, New York, New York, USA, 20-22 Jun 2016. PMLR.

[3] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. In Lud De Raedt, editor, Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22, pp. 5436-5443. International Joint Conferences on Artificial Intelligence Organization, 7 2022. Survey Track.

[4] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-and-language pretraining improve lexical grounding? In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 4357-4366, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 565-580, Cham, 2020. Springer International Publishing.

[6] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Weijie Su, Xizhou Zhu, Yue Cao, Bin Li, Lewei Lu, Furu Wei, and Jifeng Dai. Vl-bert: Pre-training of generic visual-linguistic representations. In International Conference on Learning Representations, 2020.

[8] Gen Li, Nan Duan, Yuejian Fang, Ming Gong, and Daxin Jiang. Unicoder-vl: A universal encoder for vision and language by crossmodal pre-training. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 07, pp. 11336-11344, Apr. 2020.

[9] Jaemin Cho, Jie Lei, Hao Tan, and Mohit Bansal. Unifying visionand-language tasks via text generation. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 1931-1942. PMLR, 18-24 Jul 2021.

[10] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. OFA: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th Inter- national Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 23318-23340. PMLR, 17-23 Jul 2022.

[11] Patrick Esser, Robin Rombach, and Björn Ommer. Taming transformers for high-resolution image synthesis, 2020.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[13] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.

[15] Xueqing Wu, Jiacheng Zhang, and Hang Li. Text-to-table: A new way of information extraction. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2518-2533, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[16] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[17] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[18] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen, and Xi Chen. Improved techniques for training gans. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc., 2016.

[19] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the inception architecture for computer vision. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826, 2016.

[20] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server, 2015.

[21] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An $800 \mathrm{gb}$ dataset of diverse text for language modeling, 2021.
表 5 OFA の事前学習に使用されているデータセットの一覧.

 & CC12M, CC3M, SBU, COCO, VG-Cap \\

## A OFA で使用されているデータ セットの詳細

OFA の事前学習では，言語，画像，言語と画像の各モダリティにおいて表 5 のように様々なデータセットが事前学習タスクのために使用されている. なお，表 5 に記載の Pile [21] には，英語版 Wikipedia の情報が $1.53 \%$ 含まれている。従って, OFA の事前学習では V \& L タスクに重きが置かれているものの, 自然言語データから獲得された知識が忘却されないための工夫はなされていると理解できる.

## B 作成したデータセットの詳細

Wikipedia HTML ダンプデータでは Wikipedia の各記事が HTML 形式で収録されているため, BeautifulSoup ${ }^{8}$ を用いることで Infobox を抽出した. なお Infobox 中には [数字] といった形式で本文記事の参考文献へのリンクが含まれているため，それらは削除した。

表の生成において, 入力用の画像については短辺が 480px を超える場合には縦横比を維持して短辺を 480px に縮小した. また, 画像生成用の画像は縦横比を維持して元の画像の短辺を $256 \mathrm{px}$ に変更し, 中央部を両辺 256px の正方形でクロップした.

なお，公開用データでは小規模なモデルから大規模なモデルまでの性能を測ることができるよう，表の生成では画像の短辺を $256 \mathrm{px}, 384 \mathrm{px}$ までとしたデータセットも作成した. 同様に画像生成では画像の両辺を $128 \mathrm{px}$ としたデータセットも作成した.収集したデータの分割は，今後の拡張とデータの混同に配慮し，タイトルの SHA256 值を 20 で割った余りが 0 であればテストデータ，1 であれば開発データ，それ以外であれば訓練データとした。

データセットのサイズや抽出対象については本文

8) https://www.crummy.com/software/BeautifulSoup/bs4/ doc/
を参照していただきたい.

## C 実験設定の詳細

両タスク共に OFA の実装には著者らが公開している実装9)を改変して使用した. 公開されている OFA では最大トークン長を決定する際にスペースで分割した後の単語数をトークン長としているため, BART などに合わせ，最大トークン長をサブワードで指定できるように変更した．なお，表の生成，画像の生成ともに我々は入力・出力共に最大長を 1024 サブワードに設定した. また，モデルとデータセットの特性を調査する観点から，学習は最尤推定のみで行い，強化学習については実施していない。

## C. 1 表の生成

BART と OFA の性能比較が実装の違いにより不公平とならないよう，BART の重みパラメータを OFA から引き継ぎ，OFA 上でBARTを動作させた. 学習時のハイパーパラメータはタイトルからの生成では OFA の自動要約における設定を引き継ぎ，画像を含む生成の際には OFA のキャプショニングにおける設定を引き継いだ。なお，公平な比較のために，推論時の設定は全てキャプショニングの設定に合わせた. 実験は全て 4 枚の RTX 3090 で行った.

## C. 2 画像の生成

基本的には OFA で使用されているハイパーパラメータを引き継いだが，学習時間の関係で，各エポック終了後の開発データにおける画像生成時のビーム幅は 1 とした. なおテスト時は元の設定と同様ビーム幅 24 を使用している. 表を使用する際には，入力の末尾に区切り文字く>で結合して使用した. 実験は全て 4 枚の RTX A6000 で行った.


# 単語の階層関係に基づくデータ拡張を利用した 画像キャプション生成の検討

吉田智哉 1 西村太一 ${ }^{1}$ 亀甲博貴 2 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yoshida.tomoya.25h, nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest \}@i.kyoto-u.ac.jp

## 概要

近年の画像キャプション生成モデルは、他の画像に対しても同様に当てはまるような、一般化されたキャプションを生成する傾向がある。この低識別性の問題を解決する策の一つとして、より詳細なキャプションを持ったデータセットで学習させることが挙げられる。本研究では、識別性が単語の階層関係に依存すると仮定し、単語の階層関係に基づくデー タ拡張を提案する。実験の結果、低リソースデータセット下での実験において、提案手法が生成する語彙・文を増加させるとともに、識別性を向上させることが確認できた。

## 1 はじめに

画像キャプション生成は、入力された画像からその画像の説明文を生成するタスクである。このタスクの主な応用先として、視覚障害者の補助 [1] や、画像検索エンジンにおけるクエリの生成などが挙げられる。これらの応用先において重要なことは、生成されるキャプションが自然な文章であるとともに、他の似た画像と区別可能であるということである。近年の画像キャプション生成モデルでは、後者の識別性の低さが問題視されている [2]。この低識別性の問題を解決するために、様々な手法が提案されている $[2,3,4]$ 。また、解決策の一つとして、より詳細なキャプションを持ったデータセットで学習を行うことが挙げられる。しかし、画像とそれに対応する詳細なキャプションを人手で記述することは、多くの時間的・金銭的なコストを要する。本研究では、これらの作業を自動化するために、データ拡張に着目する。

低識別性の問題に取り組むにあたり、キャプションの識別性について再検討を行う。キャプションに
おける識別性の高さには、いくつかの観点が考えられる。一つ目は、画像中に出現する多くの物体について記述しているかという点である。先行研究の多くはこの観点に基づいている $[2,3]$ 。二つ目は、画像中の物体について述べる単語が特徴的であるかという点である。これは、単語の階層関係に基づいている。単語の階層関係とは、単語の上位下位関係を指し、一般に下位に向かうにつれ、その単語は特徵的なものになる。((例) 哺乳類、動物、犬、プードル)。その他にも、単語の修飾関係などの観点が考えられる。本研究では、二つ目の観点により低識別性の問題が対処可能であると仮定し、単語の階層関係に基づくデータ拡張の提案を行う。

実験では、元データセットが高リソースである場合と、低リソースである場合に対して、提案手法を適用した。実験の結果、高リソース下での実験において、有効であることは確認できなかった。しかし、低リソース下での実験において、生成に使用する語彙・文の増加とともに識別性を向上させ、有効であることが確認できた。また、提案手法が予期しないキャプションの生成に寄与してしまっていることが確認でき、提案手法の課題についても明らかになった。

## 2 関連研究

## 2.1 識別性改善に取り組んだ手法

画像キャプション生成モデルにおける低識別性の問題を解決するために、様々な手法が提案されている。Wang らは、学習済みの画像テキスト検索モデルを利用することで識別性を評価する指標である CIDErBTW [3] を提案した。また、この指標を最適化関数に取り入れることにより、既存モデルの識別性を向上させることに成功した。その他にも、強化

A dog in a harness lying in the grass in a park,

A basenji in a harness lying in the grass in a park,

A corgi in a harness lying in the grass in a park,

図 1 データ拡張によって作成されたデータセットの例。元データ（左）は、上記の流れにより複数のデータに拡張される（右）。元画像における主要な物体（青字）は、それぞれの拡張先において、下位語（赤字）に置き換えられる。

学習時 [5] に CLIP-Score [6] を報酬として利用することで、識別性の高いキャプションの生成に成功した手法 [2] などが挙げられる。

## 2.2 データ拡張を利用した手法

データ拡張は画像認識や音声認識の分類タスクにおいて、頑健性や精度の向上を図る手法 [7] として利用されている。近年の拡張手法は、単に入力情報に対してクロッピングやノイズを適用する手法のみならず、Mixup [7] や CutMix [8] と呼ばれるデー タセット中のいくつかのサンプルを混ぜ合わせることにより拡張する手法なども提案されている。画像キャプション生成においても、データ拡張を利用した研究は行われている。画像に対してぼかしを施し拡張することにより、モデルの頑健性を高めた手法 [9] や、学習済みの BERT [10] を利用したテキス卜拡張により精度を向上させた手法 [11] などが挙げられる。

## 3 提案手法

本研究では、単語の階層関係を利用することで、低識別性の問題が対処可能であると仮定し、単語の階層関係に基づくデータ拡張を提案する。提案手法により拡張されたデータセットは図 1 のようになった。

## 3.1 拡張手法

はじめに、データセット中の画像に対して Faster R-CNN [12]を用いて物体検出 ${ }^{1)}$ を行い、その画像中における主要な物体を定義する。主要な物体とは、人間がある画像について述べる際に着目する物体のことである。今回は、主要であることを、物体の大きさと物体認識にかけられた際の物体の信頼度の積の值が最大のものと定義することにより決定する。

テキスト拡張テキスト拡張を行うにあたって、 WordNet における、単語の階層関係を利用した名詞の置き換えを検討する。WordNet [13] は、単語が類義語ごとにグループ化されている大規模な概念辞書であり、各単語は階層関係を保持している。テキス卜拡張は、正解キャプション中の主要な物体に該当する単語を、コーパス中の下位語と入れ替えることで行う。ただし、人に該当する“person”ラベルに関しては、適切でない変換候補 ${ }^{2}$ であるため、処理を行っていない。

画像拡張画像拡張を行うにあたって、Mixup に基づいた画像拡張を検討する。Mixup [7] とは、デー タセット中における 2 つの訓練サンプルを混ぜ合わせることにより、新たなデータセットを作成する

表 1 高リソース下における提案手法とベースラインの比較

表 2 低リソース下における提案手法とベースラインの比較

データ拡張であり、画像や音声領域の分類タスクにおいて有効であることが確認されている。結合方法は以下のように計算される。

$
\begin{aligned}
& \hat{x}=\lambda x_{i}+(1-\lambda) x_{j} \\
& \hat{y}=\lambda y_{i}+(1-\lambda) y_{j}
\end{aligned}
$

$x_{i}, x_{j}$ は、データセットにおけるべクトル（画像）であり、 $y_{i}, y_{j}$ は、正解ラベル (one-hot ベクトル) である。また、 $\lambda \in[0,1]$ 。

本研究中では $\lambda=0.5$ とし、画像中における主要な物体の領域と、テキスト拡張時に得られた下位語の画像 ${ }^{3}$ に対して、この手法を適用することで画像拡張を行う。なお、正解ラベルである $\hat{y}$ の処理は行なっていない。

## 4 実験

今回は、ベースラインのモデルとして、Rennie らのモデル [5]を利用した。このモデルは、エンコー ダに CNN、デコーダにLSTM [14]を利用しており、 それらは注意機構 [15] により結合されている。

## 4.1 データセット及び前処理

データセット提案手法は、MS COCO[16] デー タセットの Karpathy らの分割 [17]（MS COCO）における訓練セットに対して適用した。MS COCO は、 113,287 画像からなる訓練セット、各 5,000 画像からなる検証セット、テストセットから構成されている。実験では、元データセットが高リソースである場合と、低リソースである場合に対して、提案手法を適用した。高リソース時では元データセットの

3）下位語の画像は Web スクレイピングにより複数枚取得。 $100 \%$ を利用し、低リソース時では、元データセットの $10 \% を$ 利用した。

前処理の詳細エンコーダには、学習済みの Resnet101 [18] を利用した。先行研究に従い、画像は、クロッピングやリサイズ処理を行わずに利用した。キャプションは、Stanza [19]をトークナイザとして利用し、データセットを通して出現頻度が 5 回未満の単語を $\langle U N K\rangle$ に置き換えて学習に利用した。

## 4.2 評価データ及び指標

評価の際は、MS COCO テストセットを利用した。 また、モデルの頑健性を確認するために他データセットのテストセットでも評価を行った。他データセットは、キャプションの形式が MS COCO と似ている、Flickr30k のテストセット（1,000 画像）を利用した。

評価指標は先行研究に従い、標準的な評価指標として、BLEU-4 (B-4) [20]、METEOR (M) [21]、 ROUGE$\mathrm{L}(\mathrm{R})$ [22] 及び、 $\operatorname{CIDEr}(\mathrm{C})[23]$ を用いた。また、識別性の評価指標として、Uniq-1・Uniq-S [4]、CLIP-Score (CLIP-S) [6]及び、R@Kを用いた。Uniq-1・Uniq-S [4] は、生成されたキャプションのうちの異なり語・文の数を表す。 $\mathrm{R} @ \mathrm{~K}$ は、生成されたキャプションを学習済みの画像テキスト検索モデルに入力した際に、他の画像の中から対応する画像が上位 $\mathrm{K}$ 位以内に得られた割合を表す指標である。学習済みの画像テキスト検索モデルについては、CLIP [24]を利用した。

## 4.3 実験結果

高リソース下での実験学習時間の観点から、訓練セットを約 2 倍に拡張を行った。各テストセット
表 3 生成されたキャプションの例

CLIP-S 生成されたキャプション

におけるベースライン及び提案手法の結果を表 1 に示す。

ベースラインと比べて、Uniq-1・Uniq-S が増加していることが確認できる。しかし、他データセットである Flickr30k においては、増加が確認できない。 また、識別性を評価する CLIP-S や R @ K が向上していないことから、増加した語彙・文が識別性に貢献できていないことがわかる。

低リソース下での実験学習時間の観点から、訓練セットを約 5 倍に拡張を行った。各テストセットにおけるべースライン及び提案手法の結果を表 2 に示す。

ベースラインと比べて、Uniq-1・Uniq-S ともに大きく増加している。CLIP-S 及び R @ K が向上していることから、増加した語彙・文が識別性に貢献していることが示唆される。また、ベースラインと比較して標準的な評価指標を大きく損なっていないことから、ベースラインの出力するキャプションの形式と似た、より識別性の高いキャプションが生成できていることが示唆される。他データセットである Flickr30k においても、Uniq-1・Uniq-S 及びいくつかの $\mathrm{R} @ \mathrm{~K}$ に向上が確認できる。

## 4.4 生成されたキャプションの例

低リソース下の実験における、生成されたキャプションの例を表 3 に示す。

(a) と (b) の結果から、ベースラインと比較して、提案手法によって生成されたキャプションが、より特徴的な単語を用いて記述されていることが確認できる。これらから、提案手法が、生成に使用する単語をより特徵的な単語になるように促していることが示唆される。この結果、(a)については CLIP-S が向上しており、特徴的な単語で記述することが識別性を向上させていることが確認できる。しかし、(b) については、CLIP-S が低下しており、必ずしも特徴的な単語が CLIP-S を向上させるとは言えないことがわかる。

(c)では、ベースラインでは妥当なキャプションの生成が可能であるのに対し、提案手法では誤ったキャプションが生成されている。これは提案手法が、予期しない、誤った生成に寄与してしまっていることが示唆される。このような例は他の生成結果にも確認され、この誤った生成が CLIP-S や R @ Kを大きく向上させることができなかった原因と考えられる。

## 5 終わりに

本研究では、識別性が単語の階層関係に依存すると仮定し、既存のデータセットに対して、単語の階層関係に基づくデータ拡張を施すことで、低識別性の問題に対処する手法の提案を行った。実験の結果、低リソース下の実験において、出現語彙・文の増加とともに識別性を向上させ、有効であることが確認できた。しかし、高リソース下の実験では、出現語彙・文は増加したものの、識別性の評価指標である CLIP-S やR@Kにおいてべースラインを上回ることができなかった。今後の課題として、4.4で述べた、提案手法が誤った生成に寄与する原因について調べていくとともに、改良に努めていきたいと考える。

## 参考文献

[1] Burak Makav and Volkan Kiliç. A new image captioning approach for visually impaired people. In IEEE, 2019.

[2] Youyuan Zhang, Jiuniu Wang, Hao Wu, and Wenjia Xu. Distincive image captioning via clip guided group optimization. In ECCVW, 2022.

[3] Jiuniu Wang, Wenjia Xu, Qingzhong Wang, Chan, and Antoni B. Compare and reweight: Distinctive image captioning using similar images sets. In ECCV, 2020.

[4] Ukyo Honda, Taro Watanabe, and Yuji Matsumoto. Switching to discriminative image captioning by relieving a bottleneck of reinforcement learning. In WACV, 2023.

[5] Steven J. Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In CVPR, 2017.

[6] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In ACL, 2021.

[7] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. In ICLR, 2018.

[8] Sangdoo Yun, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. Cutmix: Regularization strategy to train strong classifiers with localizable features. In ICCV, 2019.

[9] Shashank Bujimalla, Mahesh Subedar, and Omesh Tickoo. Data augmentation to improve robustness of image captioning solutions. In CVPR, 2021.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In ACL, 2019.

[11] Viktar Atliha and Dmitrij Šešok. Text augmentation using bert for image captioning. Applied Sciences, 10(17):5978, 2020.

[12] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS, 2015.

[13] George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 3941, 1995.

[14] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, 2017.

[16] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, ECCV, 2014.

[17] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR, 2015.

[18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR,
2016.

[19] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A Python natural language processing toolkit for many human languages. In ACL, 2020.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL, 2002.

[21] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In ACL, 2005.

[22] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In ACL, 2004.

[23] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR, 2015.

[24] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.


# 画像キャプション生成における JPEG 圧縮への頑健性の改善

遠藤洸亮 Zhishen Yang 岡崎直観
東京工業大学 情報理工学院
\{kosuke.endo@nlp., zhishen.yang@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿は画像キャプション生成タスクにおける JPEG 圧縮の影響を分析する。まず、高い圧縮率が適用された画像に対して、通常の画像キャプション生成モデルはその性能を維持できず、生成されるキャプションの品質が落ちてしまうことを示す。そこで、画像エンコーダと画像キャプション生成の二つのモデルの学習データに JPEG 画像を追加する手法を提案する。実験結果から、画像キャプション生成モデルの学習にJPEG 画像を追加しなくても、画像エンコーダの学習に JPEG 画像を追加するだけで、JPEG 圧縮に対して頑健な画像キャプション生成モデルを構築できることが分かった。

## 1 はじめに

画像キャプション生成は、画像を説明する文章を生成することを目的とした、自然言語処理とコンピュータビジョンの両分野にまたがるマルチモー ダルなタスクである。近年の画像分類モデルと言語生成モデルの発展により、文章として自然で、画像の特徴をよく捉えた文章を生成できるようになった。ただ、現在の画像キャプション生成モデルは高品質な画像でのみ学習され、評価されることが多い $[1,2,3,4,5]$ 。

しかし、インターネット上の画像を取り扱う場合など、キャプション生成モデルを利用するときに与えられる画像が高品質であるとは限らない。高品質な画像はファイルサイズが大きくなるため、保存や転送により多くのコストがかかる。そのため、非可逆圧縮である JPEG [6] など、何らかのアルゴリズムで圧縮が行われ、画像の品質が劣化することが多い $[7,8,9,10]$ 。 ImageNet [11] や COCO [12] といったデータセットに収録されている画像もJPEG で圧縮されているが、高品質な画像が多く、低品質な画像は少ない。JPEG 圧縮による画質の低下を PSNR と SSIM $[13,14]$ を用

図 $1 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する PSNR の推移（Quality が小さいほど高圧縮・低品質である)

図 $2 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する SSIM の推移

いて計測したものを図 1 と 2 に示す (数值データは付録の表 1 に掲載した)。このような JPEG 圧縮によって品質が低下した画像からのキャプション生成はあまり考えられてこなかった。

本稿では、画像キャプション生成モデルにおける JPEG 圧縮の影響を定量的に分析する。また、画像キャプション生成モデルの頑健性を向上させるため、画像エンコーダと画像キャプション生成の二つのモデルの学習時に JPEG で圧縮された画像を追加する手法を提案する。

実験結果から、高圧縮率の JPEG 画像に対して

図 3 ベースラインの学習データセット

図 4 画像キャプション生成モデルの学習に JPEG 画像を追加する方法

ベースラインの画像キャプション生成モデルが十分な性能を発揮できないことが分かった。また、提案手法は高品質な画像に対して生成されたキャプションの BLEU スコアを維持しつつ、JPEG 圧縮で品質が劣化した画像に対して BLEU スコアを向上させることが確認された。画像エンコーダの学習にJPEG で压縮された画像を追加する方法、画像キャプション生成モデルの学習に JPEG で圧縮された画像を追加する方法、両方のモデルの学習に JPEG で圧縮された画像を追加する方法の三つを比較したところ、画像エンコーダの学習に JPEG 画像を追加する方法と両方のモデルの学習に JPEG 画像を追加する方法は同程度の頑健性であり、画像キャプション生成モデルの学習に JPEG 画像を追加する方法は他の二つの方法より頑健性が低かった。このことから、画像エンコーダの学習にのみ JPEG で圧縮された画像を追加するだけでも、JPEG 圧縮に対する頑健性を持つ画像キャプション生成モデルを構築できることが分かった。

## 2 提案手法

通常の画像キャプション生成モデルは図 3 のように、ImageNet と COCO の高品質な学習画像からモデルを学習している。このため、高い压縮率で品質が劣化した JPEG 画像に対しては、画像エンコーダの特徴量抽出が十分に行えなかったり、学習時の状況からの差が大きすぎるため、画像キャプション生成モデルが想定通りに動作しない可能性がある。そこで、画像エンコーダと画像キャプション生成モデルの二つの片方、もしくは両方の学習時に JPEG で圧縮された画像を追加し、JPEG 圧縮に対する頑健

図 5 画像エンコーダの学習に JPEG 画像を追加する方法

図 6 両方の学習に JPEG 画像を追加する方法

性を高めることを検討する。

本稿で比較するのは、以下の三つの方法である。

1. 画像キャプション生成モデルの学習のために用いる COCO の画像を JPEG で圧縮し、学習デー 夕に追加する方法（図 4）

2. 画像エンコーダの学習のために用いる ImageNet の画像を JPEG で圧縮し、学習データに追加する方法（図 5)

3. ImageNet と COCO の両方の画像を JPEG で圧縮し、画像エンコーダと画像キャプション生成モデルの学習データとして、それぞれ追加する方法（図 6）

これらの方法では決められた圧縮率で学習データの全ての画像を圧縮し、学習データに追加する。これにより各モデルの学習に用いる事例の数が 2 倍になる。

## 3 実験

## 3.1 実験設定

画像分類本研究では画像キャプション生成モデルの画像エンコーダを画像分類タスクで学習する。具体的には ImageNet [11] の画像分類タスクを用いて ResNet-18 [15]を学習する。実装には PyTorch のサンプルコード1)を利用した。ResNet-18 は深さが 18 層の画像分類モデルである。残差結合を用いることでより深い層を持つニューラルネットワークの学習を効率よく行えるようになっている。ImageNet は約 140 万件の画像からなり、画像分類において物体の画像を 1,000 個のカテゴリに分類する。本研究では評価のために開発データを二分割し、1,281,167

1) https://github.com/pytorch/examples

図 7 ベースラインと JPEG 画像を学習データに追加した画像分類モデルの JPEG 圧縮された評価データに対する TOP1 精度 quality=100 は元々の評価データを表す。

件の学習データとそれぞれ 25,000 件の開発データ、評価データを用いる（付録 Cに分割の方法を記す）。

画像キャプション生成 PyTorch の実装2)を用い、 MSCOCO '14 データセット [12] 上で Show, Attend and Tell [16] のモデルを学習する。Show, Attend and Tell は画像エンコーダと LSTM [17] デコーダからなる画像キャプション生成モデルである。画像に対する注意機構を導入し、重要な物体へ注意を向けながら単語を生成することで、画像の内容を捉えたキャプションを生成できる。COCO は約 16.4 万枚の画像と、それに付けられたキャプションの組からなる。本研究では評価のために Karpathy らの先行研究 [18] で用いられたデータセットの分割方法3）を用いる。 これにより、113,287 件の学習画像とそれぞれ 5,000 件の開発画像、評価画像に分割する。生成されたキャプションの評価には BLEU-4 [19] を用いる。

画像分類モデルと画像キャプション生成モデルの 2つの学習で、それぞれの開発データ上で最も性能が高いモデルを評価対象とした。

JPEG 圧縮 JPEG 圧縮には pillow ライブラリ4) を用いる。図 2 より quality が 22 より小さくなると SSIM が急激に降下を始めるため、追加する画像はデータセットの学習画像を $22,10,7,2$ の quality で JPEG 圧縮したのち、さらに 75 の quality で圧縮した画像である5)。

2) https://github.com/sgrvinod/ a-PyTorch-Tutorial-to-Image-Captioning

3) https://cs.stanford.edu/people/karpathy/ deepimagesent/

4) https://pillow.readthedocs.io/en/stable/handbook/ image-file-formats.html\#jpeg

5） ライブラリの内部動作により、画像を指定された quality で JPEG 圧縮したのち、ファイルに書き出す際にさらに 75評価に用いる画像 ImageNet, COCO 共に、元々の評価画像を $80,61,41,31,22,17,12,10,7,5,3,2$ の quality で JPEG 圧縮した画像を用いて評価を行う。

## 3.2 実験結果

画像分類画像分類タスクの TOP1 精度を図 7 に示す。図中の非圧縮+[数字] は、ImageNet の画像を数字で示される quality で JPEG 圧縮し、その JPEG 画像をさらに 75 の quality で JPEG 圧縮した画像を学習データに追加したモデルを意味する。数値デー タは付録の表 2 に掲載した。Ehrlich ら [7] が示したように、高圧縮の JPEG 画像に対してべースラインモデルの TOP1 精度が低下する。また、JPEG で圧縮した画像を学習に追加したモデルは高品質な評価データに対する TOP1 精度を維持しつつ、quality が 17 未満の高圧縮の評価データ上でベースラインモデルの TOP1 精度を超える精度を記録した。そして、追加している JPEG 画像の圧縮率が高い程、高圧縮の評価データ上で TOP1 精度が高かった。この実験結果から、JPEG 画像を学習データに追加することにより、画像分類モデルの JPEG 圧縮に対する頑健性を強化できることが示された。

画像キャプション生成画像キャプション生成タスクの BLEU スコアを図 $8,9,10,11$ に示す。数值データは付録の表 3 に掲載した。高圧縮の JPEG 画像に対して、ベースラインモデルの BLEU スコアが低下する。また、提案手法のどのモデルも高品質な評価データに対してベースラインモデルに匹敵する BLEU スコアを記録しつつ、quality が 17 より小さい高圧縮の評価データ上では、ベースラインモデルを超える BLEU スコアを記録した。

さらに画像エンコーダの学習にのみ JPEG 画像を追加する方法と画像エンコーダと画像キャプション生成モデルの二つの学習に JPEG 画像を追加する方法は、同様の性能を示している。一方、画像キャプション生成モデルの学習にのみ JPEG 画像を追加する方法はそれらを下回る性能であった。

## 4 関連研究

Bujimalla ら [20] は写真の品質の劣化原因としてモーションブラー（被写体ぶれ）を挙げ、画像キャプション生成タスクへの影響を調査した。そしてモーションブラーで学習データをデータ拡張することによりモーションブラーに対して頑健な画像キャ

図 8 ベースラインと quality=22 で圧縮した画像をさらに quality=75 で圧縮した画像を学習に追加したモデルの JPEG 圧縮された評価データに対する BLEU-4

図 10 ベースラインと quality=7 で圧縮した画像をさらに quality=75 で圧縮した画像を学習に追加したモデルの JPEG 圧縮された評価データに対する BLEU-4

プション生成モデルの構築ができることを示した。 しかし、JPEG 圧縮の影響は分析していない。

Ehrlich ら [7] は JPEG 圧縮の画像分類、物体検出・ インスタンスセグメンテーション、セマンティックセグメンテーションの各タスクへの影響を分析し、高い圧縮率が適用された JPEG 画像に対してタスクの性能が低下することを示した。しかし、画像キャプション生成モデルへの影響に関して定量的な評価を行なっていない。

## 5 おわりに

本稿では、画像キャプション生成モデルへの JPEG 圧縮の影響を定量的に評価し、その影響を緩和する手法を提案した。具体的には、画像エンコー ダと画像キャプション生成モデルの 2 つのモデルの学習に JPEG 画像を追加することで、JPEG 圧縮への頑健性の向上を目指した。実験結果から、高圧縮の JPEG 画像に対してベースラインモデルが生成するキャプションの品質が低下すること、提案手法

図 9 ベースラインと quality=10 で圧縮した画像をさらに quality=75 で圧縮した画像を学習に追加したモデルの JPEG 圧縮された評価データに対する BLEU-4

図 11 ベースラインと quality=2 で圧縮した画像をさらに quality=75 で圧縮した画像を学習に追加したモデルの JPEG 圧縮された評価データに対する BLEU-4

によって学習された画像キャプション生成モデルが高品質な画像に対する性能を維持しつつ、高圧縮の JPEG 画像に対してベースラインよりも高品質なキャプションを生成できることが分かった。また、画像エンコーダと画像キャプション生成モデルの二つの片方、もしくは両方の学習時に JPEG 画像を追加する方法の三つを比較したところ、画像エンコー ダの学習にのみ JPEG 画像を追加する方法と両方のモデルの学習に JPEG 画像を追加する方法は同程度の頑健性であり、画像キャプション生成モデルの学習にのみ JPEG 画像を追加する方法は他の二つの方法より頑健性が低かった。このことは JPEG 圧縮に対する頑健性を持った画像キャプション生成モデルの構築には、画像エンコーダの学習に JPEG 画像を追加することで十分であることを示唆している。

今後は JPEG 圧縮に対して頑健な画像エンコーダを視覚的質問応答や参照表現理解など他のダウンストリームタスクに適用し，JPEG 圧縮に対するモデルの頑健性を調査したい。

## 謝辞

本研究を進めるにあたり、東京工業大学大学院情報理工学院の Marco Cognetta 氏に、研究の方向性やデータの分析において日頃から貴重なご助言を頂きました。深く感謝いたします。

本研究成果は, 国立研究開発法人情報通信研究機

構（NICT）の委託研究「自動翻訳の精度向上のためのマルチモーダル情報の外部制御可能なモデリングの研究開発」（課題 225）により得られたものです.

## 参考文献

[1] Chenliang Li, Haiyang Xu, Junfeng Tian, Wei Wang, Ming Yan, Bin Bi, Jiabo Ye, Hehong Chen, Guohai Xu, Zheng Cao, et al. mplug: Effective and efficient vision-language learning by cross-modal skip-connections. arXiv preprint arXiv:2205.12005, 2022

[2] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. CoRR, Vol. abs/2202.03052, 2022.

[3] Jia Cheng Hu, Roberto Cavicchioli, and Alessandro Capotondi. Expansionnet v2: Block static expansion in fast end to end training for image captioning. arXiv preprint arXiv:2208.06551, 2022

[4] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pretraining for image captioning. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 17959-17968, 2022.

[5] Xi Chen, Xiao Wang, Soravit Changpinyo, AJ Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman, Adam Grycner, Basil Mustafa, Lucas Beyer, Alexander Kolesnikov, Joan Puigcerver, Nan Ding, Keran Rong, Hassan Akbari, Gaurav Mishra, Linting Xue, Ashish Thapliyal, James Bradbury, Weicheng Kuo, Mojtaba Seyedhosseini, Chao Jia, Burcu Karagol Ayan, Carlos Riquelme, Andreas Steiner, Anelia Angelova, Xiaohua Zhai, Neil Houlsby, and Radu Soricut. Pali: A jointly-scaled multilingual language-image model, 2022.

[6] G.K. Wallace. The jpeg still picture compression standard. IEEE Transactions on Consumer Electronics, Vol. 38, No. 1, pp. xviii-xxxiv, 1992.

[7] Max Ehrlich, Larry Davis, Ser-Nam Lim, and Abhinav Shrivastava. Analyzing and mitigating jpeg compression defects in deep learning. In 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pp. 2357-2367, 2021.

[8] Samuel Felipe dos Santos, Nicu Sebe, and Jurandy Almeida. The good, the bad, and the ugly: Neural networks straight from jpeg. In 2020 IEEE International Conference on Image Processing (ICIP), pp. 1896-1900, 2020.

[9] Miklós Póth and Zeljen Trpovski. Analysis of jpeg digital image compression process. 2019

[10] Xi Wang, Xueyang Fu, Yurui Zhu, and Zheng-Jun Zha. Jpeg artifacts removal via contrastive representation learning. In European Conference on Computer Vision, pp. 615-631. Springer, 2022.

[11] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV), Vol. 115, No. 3, pp. 211-252, 2015.

[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollar, and Larry Zitnick. Microsoft coco: Common objects in context. In ECCV, pp. 740-755. European Conference on Computer Vision, September 2014.

[13] Alain Horé and Djemel Ziou. Image quality metrics: Psnr vs. ssim. In 2010 20th International Conference on Pattern Recognition, pp. 2366-2369, 2010.

[14] Zhou Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, Vol. 13, No. 4, pp. 600-612, 2004.

[15] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhutdinov, Richard Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. arXiv preprint arXiv:1502.03044, 2015.

[17] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[18] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions, 2014.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[20] Shashank Bujimalla, Mahesh Subedar, and Omesh Tickoo. Data augmentation to improve robustness of image captioning solutions, 2021.
表 $1 \mathrm{COCO}$ の評価データの画像の JPEG 圧縮に対する PSNR と SSIM の推移

表 2 ベースラインと ImageNet の学習データにJPEG 画像を追加したモデルの非圧縮の評価データと JPEG 圧縮された評価データに対する画像分類タスクの TOP1 精度

表 3 ベースラインと ImageNet と COCO の学習データに JPEG 画像を追加した画像キャプション生成モデルの JPEG 圧縮された評価データに対する BLEU-4

} & COCO & 非圧縮 & 80 & 61 & 41 & 31 & 22 & 17 & 12 & 10 & 7 & 5 & 3 & 2 \\

非圧縮 & 非圧縮+10 & 26.7 & 26.7 & 26.6 & 26.5 & 26.5 & 26.4 & 26.4 & 25.9 & 25.7 & 25.2 & 23.0 & 18.3 & 16.8 \\
非圧縮 & 非圧縮+7 & 26.9 & 26.9 & 27.0 & 27.0 & 27.1 & 26.9 & 27.0 & 26.3 & 26.2 & 26.0 & 25.0 & 21.0 & 19.4 \\
非圧縮 & 非圧縮+2 & 26.9 & 26.8 & 26.9 & 26.9 & 27.1 & 26.7 & 26.9 & 26.6 & 26.2 & 26.2 & 25.2 & 24.2 & 23.7 \\

非圧縮+10 & 非圧縮 & 26.9 & 26.8 & 26.7 & 26.8 & 27.0 & 26.8 & 26.7 & 26.6 & 26.5 & 25.5 & 23.8 & 18.3 & 16.7 \\
非圧縮+7 & 非圧縮 & 27.0 & 27.1 & 27.1 & 27.2 & 27.1 & 27.0 & 26.6 & 26.7 & 26.6 & 26.2 & 25.0 & 21.1 & 19.5 \\
非圧縮+2 & 非压縮 & 26.8 & 26.9 & 26.8 & 26.7 & 26.6 & 26.7 & 26.8 & 26.7 & 26.5 & 26.3 & 25.7 & 25.0 & 24.5 \\

非圧縮+10 & 非圧縮+10 & 26.9 & 26.9 & 26.9 & 27.0 & 27.1 & 26.9 & 26.9 & 26.7 & 26.6 & 26.2 & 24.5 & 19.2 & 17.4 \\
非圧縮+7 & 非圧縮+7 & 26.7 & 26.6 & 26.7 & 26.7 & 26.6 & 26.8 & 26.4 & 26.5 & 26.5 & 26.0 & 25.5 & 21.9 & 20.6 \\
非圧縮+2 & 非圧縮+2 & 27.1 & 26.9 & 27.0 & 26.9 & 26.9 & 26.9 & 26.8 & 26.7 & 26.5 & 26.7 & 26.1 & 25.5 & 25.4 \\

## A実験結果を表にまとめたもの

COCO における Karpathy [18] らの評価データの画像を JPEG 圧縮した時の PSNR と SSIM の推移を表 1 に示す。

画像分類タスクにおけるべースラインモデルと、学習画像に JPEG 画像を追加して学習したモデルの非圧縮の評価デー タと JPEG 圧縮された評価データに対する TOP1 精度を表 2 に示す。非圧縮+[数字] とは ImageNet の学習画像を指定された数字の quality で JPEG 圧縮し、さらに 75 の quality で JPEG 圧縮した画像を学習データに追加して学習したモデルを示す。

画像キャプション生成タスクにおけるベースラインモデルと、提案手法のモデルの非圧縮の評価データと JPEG 圧縮された評価データに対する BLEU スコアを表 3 に示す。非圧縮+[数字] とはカラム名のデータセットの学習画像を指定された数字の quality で JPEG 圧縮し、さらに 75 の quality で JPEG 圧縮した画像を学習データに追加して学習したモデルを示す。

## B 学習

ResNet-18 の学習は 35 エポックを行った。

画像キャプション生成モデルの学習は安定化のために 2 つの段階に分けた。画像エンコーダをファインチューニングせずに、言語モデルを学習する第一段階と、画像エンコーダをファインチューニングさせて学習する第二段階である。第一段階と第二段階のそれぞれで 20 エポックと 6 エポックの学習を行なった。

## C ImageNet の開発データの分割

ImageNet の開発データを二分割して開発データと評価データを作る。全てのカテゴリにおいて、そのカテゴリに属する 50 枚の画像をそのファイル名で昇順ソートし、前半を開発データ、後半を評価データとして分割した。