# マルチモーダル OCR 特徴を用いた Dynamic Pointer Network によるテキスト付き画像説明文生成

植田有咲 Wei Yang 杉浦孔明
慶應義塾大学
\{arinko31,wei.yang,komei.sugiura\}@keio.jp

## 概要

テキスト情報を含む画像の説明文生成は視覚のバリアフリー化を実現するための重要な課題の一つである. 本研究では, テキスト情報を含む画像に対して説明文を生成するタスクに対して,マルチモーダル OCR 特徴を含む複数のモダリティを利用した画像説明文生成モデルを提案する. 提案手法では画像中のテキスト領域を複数のモダリティに分割するマルチモーダル OCR 特徴を導入する.さらに, 画像, 物体領域, マルチモーダル OCR 特徴を含む複数モダリティ間の関係をモデル化するための相互注意を導入する. 提案手法は TextCaps データセットにおいて既存手法を上回る結果を得た。

## 1 はじめに

テキスト情報を含む標識や看板などは日常生活に多く存在する.テキスト情報を含む画像の説明文生成は, 日常生活における視覚のバリアフリー化を促進する一つの手段である. また, 画像の代替テキス卜 (alt 属性など) の生成における品質向上にとって有益である.

以上の社会的背景から, 本研究では TextCaps (Textbased Image Captioning) タスクを扱う. TextCaps タスクはテキスト情報を含む画像に対して OCR (Optical Character Recognition) を利用して説明文を生成するタスクである. 図 1 に提案手法の概要図を示す. 図の例では, “a store called del's sells soft frozen lemonade" という説明文を生成することが望ましい.

本タスクでは OCR トークンの多面的な視覚言語特徵や, OCR トークンと物体間の関係を考慮することが重要である. しかし, 先行研究 [1], [2] ではそれらの考慮が不十分であり,十分な性能が得られなかった.

そこで本研究では, マルチモーダル OCR 特徴を含む複数のモダリティを利用した画像説明文生成モデ

図1 提案手法の概要図

ルを提案する.ここでマルチモーダル OCR 特徴とは, OCR により得られたテキストとその画像領域に関する視覚言語特徴を指すものとする. 提案手法では, 事前学習済みの CLIP (Contrastive Language-Image Pre-training) [3] モデルを全体画像と OCR トークンの言語特徴量を抽出するために用いる. さらに複数のモダリティ間の関係をモデル化する相互注意を導入することで, 性能の向上が期待できる.

本研究の新規性は以下の通りである.

・既存手法と異なり, 画像中のテキスト領域を複数のモダリティに分割するマルチモーダル OCR 特徴を導入する。
- 画像全体, 物体領域, マルチモーダル OCR 特徴を含す複数モダリティ間の関係をモデル化するための相互注意を導入する。

## 2 問題設定

本研究では, 画像内のテキスト情報を認識し,それらに関連する説明文を自動的に生成する TextCaps タスクを扱う.テキスト情報を含まない画像に対する画像説明文生成については考慮しないものとする。本タスクの入出力を以下のように定義する.
- 入力 : 画像

-出力 : 画像内のテキスト情報に関連する説明文

図2 提案手法のネットワーク図

## 3 提案モデル

本モデルは 5 つの相互注意と説明文を生成する復号器から構成されている. 図 2 に提案手法のネットワーク構造を示す. 入力は $\boldsymbol{X}=\left.\{\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}\right.\}$ であり, $\boldsymbol{X}_{\mathrm{img}}, \boldsymbol{X}_{\mathrm{obj}}, \boldsymbol{X}_{\mathrm{ocr}}$ はそれぞれ画像全体, 物体領域, OCR で検出された領域と検出結果を表す.

## 3.1 特徵抽出

画像特徵量 $X_{\text {img }}$ は事前学習済みの CLIPを用いて特徴量抽出される. CLIP の RN50x4 モデルを用いて画像全体を符号化し, 画像特徵量 $\boldsymbol{h}_{\text {glob }} \in \mathbb{R}^{640}$ を得る.

さらに, Faster R-CNN [4]を用いて画像から $l$ 個の物体を検出し, $\boldsymbol{X}_{\mathrm{obj}}$ を抽出し, TextCaps タスクで fine-tuning を行う. 特徴量の次元数は 2048 であり, 抽出された特徴量を $\boldsymbol{h}_{\text {obj, fr }}^{(l)}, \boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ と定義する. $\boldsymbol{h}_{\mathrm{obj}, \mathrm{bb}}^{(l)}$ は物体領域の正規化された座標特徴量を表す.これらに正規化層を適用し, 最終的な物体特徵量 $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$得る.

$j$ 個の OCRトークンの言語特徴量 $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ は FastText 特徴量 $\boldsymbol{h}_{\mathrm{or}, \mathrm{ft}}^{(j)}$ と文字レベルの PHOC [5] 特徴量 $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}$, CLIP (RN50x4) モデルで OCR トークン特徴量を抽出した $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}$ から構成される. 物体特徴量抽出と同様に Faster R-CNN を用いて OCR トークンの視覚的特徴量 $\boldsymbol{h}_{\text {ocr,fr }}^{(j)}, \boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ を抽出し, TextCaps タスクで fine-tuning を行う. $\boldsymbol{h}_{\text {ocr,bb }}^{(j)}$ は OCR の画像領域の正規化された座標特徴量を表す. 最終的な OCR の視覚的特徴量を $\boldsymbol{h}_{\mathrm{ocr}, \mathrm{V}}^{(j)}$ と定義する. マルチモーダル OCR 特徵 $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{\mathrm{ocr}, \mathrm{all}}^{(j)}= & f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ft}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ft}}^{(j)}+\boldsymbol{W}_{\mathrm{ph}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{ph}}^{(j)}+\boldsymbol{W}_{\mathrm{c}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{c}}^{(j)}\right. \\
& \left.+\boldsymbol{W}_{\text {ocr,fr }} \boldsymbol{h}_{\text {ocr }, \mathrm{fr}}^{(j)}+\boldsymbol{W}_{\mathrm{glob}} \boldsymbol{h}_{\mathrm{glob}}\right)+f_{\mathrm{LN}}\left(\boldsymbol{W}_{\mathrm{ocr}, \mathrm{bb}} \boldsymbol{h}_{\mathrm{ocr}, \mathrm{bb}}^{(j)}\right)
\end{aligned}
$

$f_{\mathrm{LN}}$ は正規化層, $\boldsymbol{W}$. は重み行列を表す.また, 画像全体,物体領域, マルチモーダル OCR 特徴を相互注意の入力として用いる。

## 3.2 相互注意

提案手法は画像全体, 物体領域,マルチモーダル OCR 特徴から構成される複数のモダリティを融合させる 5 つの相互注意から構成される. 相互注意を以下のように定義する.

$
\begin{aligned}
\boldsymbol{h}_{1}^{\prime} & =\operatorname{softmax}\left(\frac{\boldsymbol{W}_{Q} \boldsymbol{h}_{1}\left(\boldsymbol{W}_{K} \boldsymbol{h}_{1}\right)^{\top}}{\sqrt{d_{k}}}\right) \boldsymbol{W}_{V} \boldsymbol{h}_{1} \\
\boldsymbol{u}_{n} & =\operatorname{ReLU}\left(\boldsymbol{W}_{u} \boldsymbol{h}_{n}^{\prime}\right), \quad n=1,2 \\
\boldsymbol{\alpha}_{m} & =\operatorname{softmax}\left(\boldsymbol{W}_{\alpha}\left(\boldsymbol{u}_{1} \odot \boldsymbol{u}_{2}^{(m)}\right)\right), \quad \boldsymbol{z}=\sum_{m=1}^{M} \boldsymbol{\alpha}_{m} \boldsymbol{h}_{2}^{\prime},
\end{aligned}
$

ここで $\odot$ はアダマール積を表す. $d_{k}=H / A, H, A$ はそれぞれ Transformer モデルの隠れ層の次元数, ヘッド数を表す. $\boldsymbol{W}$. は学習可能な重みを表す. 例として, 図 2 における 1 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として, $\boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{ocr}, 1}^{(j)}$ として定義される. 同様に 2 つ目では $\boldsymbol{h}_{1}, \boldsymbol{h}_{2}^{\prime}$ はそれぞれ $\boldsymbol{h}_{\mathrm{obj}}^{(l)}, \boldsymbol{h}_{\mathrm{ocr}, \mathrm{v}}^{(j)}$ として定義される. 5 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}, \boldsymbol{h}_{2}^{\prime}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ を表す.

提案手法では画像全体, 物体領域, マルチモーダル OCR 特徴を含む複数モダリティ間の関係をモデル化するための 2 つの相互注意を導入する.これらの 2 つの相互注意は入力として $\boldsymbol{h}_{2}^{\prime}=\boldsymbol{h}_{\text {glob }}$ を用いる.図2の3つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\mathrm{obj}}^{(l)}$ として定義される. 同様に 4 つ目の相互注意では $\boldsymbol{h}_{1}$ は $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ として定義される.

最終的に, $\boldsymbol{h}_{1}^{\prime} \odot z$ によって 5 つの相互注意から複数モダリティ間の関係をモデル化するための埋め込み表現を計算する. 得られた埋め込み表現に全結合層を適用し, 相互注意の最終出力とする.

図 3 提案手法の復号器の概要図

## 3.3 説明文生成

図 3 に画像から説明文を生成するための復号器の概要図を示す. 提案手法では Transformerベースの自己回帰型の復号器を用いて時刻 $t(t=0,1, \cdots, T)$ のトークンを予測する. 復号器の特徴はポインタネットワーク (Dynamic Pointer Network) を導入することにより, 予測トークンが固定語彙 $(v=1, \cdots, V)$ または画像中の OCR トークン $(j=1, \cdots, N)$ から選択されることである.

最初の予測トークン $(t=0)$ は, 図 2 の Context Embedding に基づき, 得られる. その後のステップでは, 時刻 $t$ のトークンを予測するために, 時刻 $t-1$ の埋め込み $x_{t}^{\mathrm{dec}}$,および時刻 $t-1$ に予測されたトー クンのタイプ埋め込み $(0$ ：固定語彙, 1 ：OCR トー クン）が用いられる. 時刻 $t-1$ の予測として OCR トークンが選択された場合, $\boldsymbol{h}_{\text {ocr,all }}^{(j)}$ を前時刻で予測されたトークンの $\boldsymbol{x}_{t}^{\mathrm{dec}}$ として入力する. 一方, 前時刻の予測が固定語彙から選択された場合, 対応する重みベクトル $\boldsymbol{w}_{v}^{\mathrm{voc}}$ を入力として用いる. 各時刻 $t$ で, Transformer モデルは現時刻の予測のための入力 $\boldsymbol{x}_{t}^{\mathrm{dec}}$ に対応する $d$ 次元のベクトル $z_{t}^{\mathrm{dec}}$ を出力する. $\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}$ と $\hat{y}_{t, j}^{\text {ocr }}$ は時刻 $t$ での固定語彙または OCR トークンから得られる予測を表す. 時刻 $t$ におけるポインタネットワークを用いた固定語彙の予測確率 $p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right)$ または OCR トークンの予測確率 $p\left(\hat{y}_{t, j}^{\text {ocr }}\right)$ は以下のように得られる。

$
\begin{gathered}
p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}} \mid S=S_{\mathrm{voc}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{w}_{v}^{\mathrm{voc}}\right)^{\top} z_{t}^{\mathrm{dec}}\right) \\
p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}} \mid S=S_{\mathrm{ocr}}\right)=\operatorname{softmax}\left(\left(\boldsymbol{W}_{\mathrm{ocr}} z_{j}^{\mathrm{ocr}}\right)^{\top}\left(\boldsymbol{W}_{\mathrm{dec}} z_{t}^{\mathrm{dec}}\right)\right)
\end{gathered}
$

ここで, $\boldsymbol{w}_{v}^{\mathrm{voc}}$ は固定語彙内の $v$ 番目の d-次元のパラメータを表す. $\boldsymbol{W}_{\text {ocr }}$ と $\boldsymbol{W}_{\text {dec }}$ は $\mathrm{d} \times \mathrm{d}$ の重み行列を表す.

$
\left[p\left(\hat{\boldsymbol{y}}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{\boldsymbol{y}}_{t, j}^{\mathrm{ocr}}\right)\right]=\left.\{p\left(\hat{\boldsymbol{y}}_{t, i}^{\mathrm{all}}\right) \mid i=1, \cdots, V+N\right.\}
$

双方の予測確率 $\left[p\left(\hat{y}_{t, v}^{\mathrm{voc}}\right) ; p\left(\hat{y}_{t, j}^{\mathrm{ocr}}\right)\right]$ を考慮し, 固定語彙, 画像内の OCR トークンからなる $V+N$ 個の候補から最も予測確率が高いトークンを出力とする。

## 4 実験

## 4.1 実験設定

TextCaps データセットを用いて提案手法の性能評価を行った. 28,408 枚のテキスト付き画像に対する 142,040 文の説明文を含む. 固定語彙は 6,736 語利用した. 説明文の平均語数は 13.47 語である. 我々は [1] に基づきデータセットを分割した. TextCaps データセットの訓練集合, 検証集合, テスト集合はそれぞれ 21,953 枚, 3,166 枚, 3,289 枚の画像から構成されている. TextCaps タスクではテスト集合の正解文が公開されていないため, 訓練集合と検証集合のみを用いた. 評価実験は検証集合を用いて行った. 実験は標準的な手順に従っており, 検証集合はモデルの学習やパラメータの調整には使用されない. 実験に使用した OCR 特徴は, SBD-Trans [6,7]によって認識されたものである.

提案手法の学習は $32 \mathrm{~GB}$ のメモリを搭載した 4 台の Tesla V100 GPU で行った. ハイパーパラメータ設定は [2] と同様である. このモデルは 170,561,578 (171M) の学習可能なパラメータを持ち, 学習には 12 時間必要であった. BLEU-4 [8], METEOR [9], ROUGE-L [10], CIDEr [11], SPICE [12] という 5 つの標準的評価手法を用いて評価を行った.

## 4.2 定量的結果

M4C-Captioner [1] と SSbaseline [2] をべースライン手法として用いた. ベースライン手法と提案手法の比較実験を行った結果, 提案手法 (条件 (6)) は BLEU-4, SPICE, CIDEr, それぞれ 25.58, 16.60, 99.74 ポイントであり, SSbaseline (BLEU-4: 24.54, SPICE: 15.74, CIDEr: 97.76) に比べて 1, 0.9, 2 ポイント向上する結果が得られた. さらに, M4C-Captioner との比較ではより顕著な向上が見られた. その上, 2 つの画像に関連する相互注意を導入することによって, 条件 (7) の Ours (full) では, BLEU-4, CIDEr は 0.42 (25.58 $\rightarrow$ 26.00), 0.7 (99.74 $\rightarrow$ 100.44) ポイントそれぞれ性能が向上した.これらの結果は画像全体, 物体, マルチモーダル OCR 特徴を含む複数の特徴量間の関係をモデル化する相互注意の導入が性能向上に寄与することを示唆している。
表 1 TextCaps タスクにおける定量的結果

(a)

(b)

図4

## 4.3 Ablation Study

画像とマルチモーダル OCR 特徴, および画像に関連する相互注意の有効性を調査するために, ablation study（CLIP-RN50x4 モデルを使用)を3つの条件で行った. 表 1 に示すように, SSbaseline と条件 (4)を比較して, CLIP に基づくマルチモーダル OCR 特徴を導入するだけで CIDEr スコアは約 1 ポイント向上した (97.76 $\rightarrow$ 98.66). また, CLIP を利用した画像特徴量を削除することで性能は大きく低下した（条件 (4) と条件 (7)). しかし, 画像全体の CLIP 特徴を導入することでべースライン手法に比べ, 全ての評価指標で性能が向上した (条件 (3) と条件 (5)). 例えば, BLEU-4 は 1 (24.54 $\rightarrow$ 25.58) ポイント, SPICE は $0.8(15.74 \rightarrow 16.54)$ ポイント, CIDEr は 1.6 (97.76 $\rightarrow$ 99.40) ポイント, それぞれ向上した. 提案手法で導入した CLIP に基づく画像モダリティは TextCaps タスクでの性能を向上させることがわかった.

条件 (3) と条件 (6) を比較すると,複数モダリティ間の関係をモデル化するための相互注意を取り除くことで, BLEU-4 と CIDEr のスコアは減少した. この結果は, 画像全体, 物体領域, マルチモーダル OCR 特徵を含む複数特徴量間の関係をモデル化する相互注意が TextCaps タスクにおいて有効であることを示唆している。 (a) SSbaseline: a bottle of whitestone stout next to a glass of it Ours: a bottle of [epic] [stout] next to a glass of beer GT: a bottle of epic stout next to a quarter full glass and some snacks

(b) SSbaseline: a book by conan holmes called adventures of sherlock holmes

Ours: a book by [conan] [doyle] called the [adventures] [of] [sherlock] [holmes]

GT: a book cover of the adventures of sherlock holmes by a . conan doyle

## 定性的結果

## 4.4 定性的結果

図 4 に定性的結果を示す. 図 4 (a) ではベースライン手法は OCR トークンの “whitestone” と物体の “bottle”間の関係を適切に表現できていない。一方，提案手法では正しい OCR トークン “epic” と “stout” を物体 “bottle” に対して適切に選択した. 図 4 (b) のベースライン手法は誤った OCR トークンを生成文で用いた. 例として, “a book by conan holmes” は “a book by conan doyle” となるべきである. 一方で, 提案手法は著者と本のタイトルを適切な OCR トークンを用いて表現できている。

## 5 おわりに

本論文では，テキスト情報を含む画像の説明文生成を行う TextCaps タスクを扱った. 提案手法による新規性は以下である。

・既存手法と異なり, 画像中のテキスト領域を複数のモダリティに分割するマルチモーダル OCR 特徴を導入した。

-画像全体, 物体領域, マルチモーダル OCR 特徴を含す複数モダリティ間の関係をモデル化するための相互注意を導入した。

・全ての評価指標においてべースライン手法を上回る性能を得た。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 04269$, JST Moonshot, NEDO の助成を受けて実施されたものである.

## 参考文献

[1] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. TextCaps: A dataset for image captioning with reading comprehension. In ECCV, pp. 742-758, 2020.

[2] Qi Zhu, Chenyu Gao, Peng Wang, and Qi Wu. Simple is not easy: A simple strong baseline for TextVQA and TextCaps. In AAAI, Vol. 35, pp. 3608-3615, 2021.

[3] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[4] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. NeurIPS, Vol. 28, , 2015.

[5] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE Trans. PAMI, Vol. 36, No. 12, pp. 25522566, 2014.

[6] Yuliang Liu, Sheng Zhang, Lianwen Jin, Lele Xie, Yaqiang $\mathrm{Wu}$, and Zhepeng Wang. Omnidirectional scene text detection with sequential-free box discretization. In IJCAI, pp. 3052-3058, 2019.

[7] Peng Wang, L. Yang, Hui Li, Yuyang Deng, Chunhua Shen, and Yanning Zhang. A simple and robust convolutional-attention network for irregular text recognition. arXiv preprint arXiv: 1904.01375, 2019.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 6572, 2005

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[11] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based image description evaluation. In CVPR, pp. 4566-4575, 2015.

[12] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic propositional image caption evaluation. In ECCV, pp. 382-398, 2016.

[13] Yunpeng Luo, Jiayi Ji, Xiaoshuai Sun, Liujuan Cao, Yongjian Wu, Feiyue Huang, Chia-Wen Lin, and Rongrong Ji. Dual-level collaborative transformer for image captioning. In AAAI, Vol. 35, pp. 2286-2293, 2021.

[14] Yehao Li, Yingwei Pan, Ting Yao, and Tao Mei. Comprehending and ordering semantics for image captioning. In
CVPR, pp. 17990-17999, 2022

[15] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022.

[16] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. IEEE Trans. PAMI, Vol. ISSN 0162-8828, pp. 1-10, 2022.

[17] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, et al. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[18] Xiaowei Hu, Zhe Gan, Jianfeng Wang, Zhengyuan Yang, Zicheng Liu, Yumao Lu, and Lijuan Wang. Scaling up vision-language pre-training for image captioning. In CVPR, pp. 17980-17989, 2022

[19] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. TAP: Text-aware pre-training for Text-VQA and Text-Caption. In CVPR, pp. 8747-8757, 2021.

## A 付録

## A. 1 関連研究

画像説明文生成の研究は広く行われている [13-16]. 従来の画像説明文生成タスクでは, 画像内のテキスト情報の理解が必要となるタスクは少ない $[17,18]$.

テキストに基づいた画像説明文生成 (TextCaps) は, テキスト情報を含む画像に対して説明文を生成することを目的とする. そのため, 従来の画像説明文生成タスクで用いられているような画像ではなく, テキスト情報を含む画像に特化したタスクである. 故に，一般的な画像理解を目指した従来モデルは本タスクへの適用が難しい. テキスト情報が重要となるため, TextCaps タスクでは OCR 特徴と物体領域を大力として用いるモデルが主流である $[1,2,19]$.


# ゲート付き相互注意を用いたエンコーダ・デコーダによる 感情に基づく絵画説明文生成

石川慎太朗杉浦孔明
慶應義塾大学
\{shin.0116,komei.sugiura\}@keio.jp

## 概要

絵画作品鑑賞のバリアフリー化を進める際に，人手を必要とせずに絵画の説明文を生成できれば有用である．絵画の解釈は鑑賞者の感情と密接な関わりを有するため，説明文は感情に基づいていることが望ましい. 本研究では，感情ラベルを視覚情報に統合する Affective Visual Encoder を導入した絵画説明文生成モデルを提案する，提案手法においては，感情トークンを用いて画像の領域・グリッド特徴量を融合し，画像・物体レベルの視覚情報を利用する。 ArtEmis データセットを使用して提案手法の性能を評価した結果，全ての評価指標において既存手法を上回る性能を得た。

## 1 はじめに

絵画鑑賞においては，視覚障害者へのバリアフリー化が長年にわたって推進されており [1], 多くの絵画には歴史等の事実に基づいた説明文が付与されている。一方，絵画の解釈と鑑賞者の感情との間には密接な関係性が存在すると指摘されているため [2], 感情が反映された説明文は絵画鑑賞において重要である。しかし，全ての絵画について感情を考慮した説明文が与えられているわけではない.

そこで本研究では，絵画に対する鑑賞者の感情を考慮した説明文を生成するモデルを構築する。図 1 に例を示す. 図中の絵画の画像および “excitement” という感情が与えられたときに，鑑賞者の感情の高ぶりを反映させた “The ships look like they are about to go on an adventure." という説明文を生成することが期待される。

多くの既存研究 $[3,4]$ は，利用者が指定した感情に基づく説明文の生成には取り組んでおらず，画像に関連の深い感情を予測した後，それを追加入力として説明文の生成に利用するというアプローチを採

図 1 提案手法の概要

用している。しかし，これらの手法においては任意の感情を入力として受け取ることはできず，感情で条件付けされた説明文を生成することはできない.

本研究では, Affective Visual Encoder (AVE) を導入した絵画説明文生成モデルを提案する。提案手法では，CLIP[5]を使用して画像から抽出したクロスモーダル情報を入力に追加することで，視覚情報を強化する．以上により，絵画の内容と感情の種類を適切に反映させた説明文を生成することが期待される. 図 1 に提案手法の概要を示す. 既存手法と異なる点は，AVEを用いて，感情ラベルを視覚情報に統合する点である.

本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を感情ラベルで条件付けする AVE モジュールを提案する。

・エンコーダにおいて，画像の領域・グリッド特徴量を融合するための感情トークンを導入する。

## 2 問題設定

本研究で扱うタスクを，Affective Image Captioning (AIC) と定義する，AIC タスクは，絵画と感情が与えられたときに，絵画の内容および感情の種類に
沿った説明文を生成するタスクである。

当該タスクの入出力を以下のように定義する.
- 入力: 絵画の画像，感情ラベル

・出力: 感情を反映させた絵画の説明文

本論文で使用する用語を以下のように定義する.

・感情: ArtEmis データセットにおいて定義されている感情ラベル群のうちの 1 つ. 感情ラベルは, "anger" "disgust" "fear" "sadness" "amusement" "awe" "contentment" "excitement" "something else" の計 9 種類存在する。

モデルの評価には，標準的な自動評価尺度である BLEU[6], METEOR[7], ROUGE-L[8], CIDEr[9], SPICE[10] を使用する.

## 3 提案手法

提案手法のネットワーク構造を図 2 に示す. ネットワークは複数のエンコーダ・デコーダブロックから構成される. 各モジュールの詳細については本節で後述する.

本手法は, Meshed-Memory Transformer (M2)[3] 等の既存の説明文生成手法と関連が深い. M2 は, QKV 注意機構を使用したエンコーダ・デコーダ型の構造を有しており, ArtEmis データセット [11] において高い性能が報告されている。本手法は，M2 をもとにしているものの，GRIT[4] 等の他の説明文生成手法にも適用可能である.

## 3.1 入力

ネットワークの入力 $x$ を以下のように定義する.

$
\begin{aligned}
\boldsymbol{x} & =\left.\{X_{\mathrm{grd}}, X_{\mathrm{rgn}}, X_{\mathrm{emo}}, X_{\mathrm{jnt}}\right.\}, \\
X_{\mathrm{grd}} & =\left.\{X_{\mathrm{grd}}^{(i)} \mid i=1,2, \ldots, N\right.\}
\end{aligned}
$

ここに， $X_{\mathrm{grd}}$ はグリッド特徵量, $X_{\mathrm{rgn}} \in \mathbb{R}^{N_{\mathrm{rgn}} \times d_{\mathrm{rgn}}}$ は領域特徴量, $X_{\mathrm{emo}} \in \mathbb{R}^{d_{\mathrm{emo}}}$ は感情の埋め込み表現, $X_{\mathrm{jnt}} \in \mathbb{R}^{d_{\mathrm{jnt}}}$ は画像のクロスモーダル表現を表す. なお， $X_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{M \times d_{\mathrm{grd}}^{(i)}}$ はバックボーンネットワークから得られる $i$ 番目の特徴マップ $s_{t}$ を表し， $N$ はエンコーダのブロック数を表す.

本手法では，事前学習済みの Swin Transformer[12] と CLIP[5]を使用して，それぞれ画像の特徴マップとクロスモーダル表現を獲得する。また，Visual Genome データセット [13] で学習済みの Faster RCNN[14] 使用して, 各画像から領域特徴量を抽出する. さらに，感情ラベル $E$ を全結合層に入力する
ことで，埋め込み表現を獲得する。

## 3.2 Affective Visual Encoder

AVE は複数のブロックから構成される。当該モジュールは，モデルへの入力をもとに，感情トークンを使用して画像・感情特徴量を融合する。

各エンコーダブロックにおいては，画像と感情の関係性をモデル化するために相互注意機構を使用する。

相互注意と自己注意の処理を，行列 $X_{\mathrm{A}}$ および $X_{\mathrm{B}}$ を用いて以下のように定義する。

$
\begin{aligned}
& \operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{B}}\right)= \\
& \quad \operatorname{softmax}\left(\frac{\left(W_{\mathrm{Q}} X_{\mathrm{A}}\right)\left(W_{\mathrm{K}} X_{\mathrm{B}}\right)^{\top}}{\sqrt{d}}\right)\left(W_{\mathrm{V}} X_{\mathrm{B}}\right), \\
& \operatorname{SelfAttn}\left(X_{\mathrm{A}}\right)=\operatorname{CrossAttn}\left(X_{\mathrm{A}}, X_{\mathrm{A}}\right)
\end{aligned}
$

ここに, $W_{\mathrm{Q}} \in \mathbb{R}^{d_{\mathrm{q}} \times d_{\text {in }}}, W_{\mathrm{K}} \in \mathbb{R}^{d_{\mathrm{k}} \times d_{\text {in }}}, W_{\mathrm{V}} \in \mathbb{R}^{d_{\mathrm{v}} \times d_{\text {in }}}$ はいずれも学習可能な重みである。また，次のエンコーダブロックに入力される情報量を制御するために，以下のようなゲート構造を導入する。

$
f_{\text {gate }}(X)=X \odot \tanh (W \boldsymbol{h})
$

ここに, $\boldsymbol{h}$ は中間層の出力, $W$ は学習可能な重みであり，。はアダマール積を表す.

$i$ 番目のエンコーダブロックでは，はじめに $\boldsymbol{h}_{\text {tok }}^{(i)}=\operatorname{SelfAttn}\left(Z^{(i)}\right)$ という処理を実行する. $Z^{(1)}=Z$ は感情トークンを表す. 次に，グリッド特徵量 $X_{\text {grd }}^{(i)}$ をとに $\boldsymbol{h}_{\text {tok }}^{(i)}$ にゲート付き相互注意演算を適用する。

$
\boldsymbol{h}_{\text {grd }}^{(i)}=f_{\text {grd_gate }}\left(\operatorname{CrossAttn}\left(\boldsymbol{h}_{\text {tok }}^{(i)}, W_{\text {grd }}^{(i)} X_{\text {grd }}^{(i)}\right)\right)
$

ここに, $\left.\{W_{\mathrm{grd}}^{(i)} \in \mathbb{R}^{d_{\mathrm{enc}} \times d_{\mathrm{grd}}^{(i)}} \mid i=1,2, \ldots, N\right.\}$ は学習可能な重みであり， $f_{\text {grd_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有する.また，同様の処理により， $X_{\mathrm{rgn}}$ をもとに $\boldsymbol{h}_{\mathrm{rgn}}^{(i)}$ を獲得する. 最後に, $\tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}=\mathrm{FFN}\left(\boldsymbol{h}_{\mathrm{grd}}^{(i)}+\boldsymbol{h}_{\mathrm{rgn}}^{(i)}\right)$ という処理を実行する.

$X_{\mathrm{emo}}$ および $X_{\mathrm{jnt}}$ は，条件付けモジュールによって視覚情報に統合される. はじめに，相互注意機構により $X_{\mathrm{emo}}$ をエンコードした後，以下のように順伝播型ニューラルネットワークに入力する.

$
\boldsymbol{h}_{\mathrm{emo}}^{(i)}=\operatorname{FFN}\left(X_{\mathrm{emo}}\right) \odot \mathrm{FFN}\left(\operatorname{Cross} \operatorname{Attn}\left(X_{\mathrm{emo}}, \tilde{\boldsymbol{h}}_{\mathrm{tok}}^{(i)}\right)\right)
$

続いて, $\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}=f_{\text {emo_gate }}\left(\boldsymbol{h}_{\text {emo }}^{(i)}\right)$ という処理を実行する. $f_{\text {emo_gate }}(\cdot)$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有する.また，同様の処理により， $X_{\mathrm{jnt}}$ をととに $\tilde{\boldsymbol{h}}_{\mathrm{jnt}}^{(i)}$ を獲得する. 最後に, $\tilde{Z}^{(i)}=\tilde{\boldsymbol{h}}_{\text {tok }}+\tilde{\boldsymbol{h}}_{\text {jnt }}^{(i)}+\tilde{\boldsymbol{h}}_{\text {emo }}^{(i)}$ という処理によって出力 $\tilde{Z}^{(i)}$ を獲得する.

図 2 提案手法のネットワーク構造

## 3.3 Decoder

エンコーダと同様に，デコーダも複数のブロックから構成される. [3] に従って, 各デコーダブロックは，最後のエンコーダブロックの出力のみならず，全てのエンコーダブロックの出力を考慮した相互注意演算を実行する. エンコーダの出力群 $\left.\{\tilde{Z}^{(i)} \mid i=1,2, \ldots, N\right.\}$ をもとに，デコーダは説明文を生成する.

$i$ 番目のデコーダブロックでは，はじめに前のブロックの出力 $Y^{(i)}$ をマスク付き自己注意機構 [15] に入力した後， $\tilde{Z}^{(j)}$ との間で相互注意演算を実行することで， $\boldsymbol{h}_{\mathrm{seq}}^{(i, j)}$ を獲得する。なお， $Y^{(1)}=\hat{Y}$ は生成された単語群を表し, 学習中は Teacher Forcing を採用する. 次に，各レベルの出力をゲート構造に入力した後，それらを足し合わせる。

$
\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}=\sum_{j=1}^{N} f_{\text {seq_gate }}^{(i)}\left(\boldsymbol{h}_{\text {seq }}^{(i, j)}\right)
$

$\left.\{f_{\text {seq_gate }}^{(i)}(\cdot) \mid i=1,2, \ldots, N\right.\}$ は $f_{\text {gate }}(\cdot)$ と同様の構造を有する. 最後に, $\tilde{Y}^{(i)}=\mathrm{FFN}\left(\tilde{\boldsymbol{h}}_{\text {seq }}^{(i)}\right)$ という処理によって出力 $\tilde{Y}^{(i)}$ を獲得する。なお，損失関数には交差エントロピー誤差を使用する。

## 4 実験

## 4.1 実験設定

本実験では，AIC タスクにおける提案手法の性能を調査した．モデルの評価には ArtEmis データセット [11]を使用した. ArtEmis データセットは, WikiArt から収集した 80,381 枚の絵画および 454,684
の感情と説明文のペアから構成される. 語彙サイズは 37,250 ，全単語数は $7,229,476$ ，平均文長は 15.9 である. 本実験では， [11] に従って当該データセットを分割した。訓練集合，検証集合，テスト集合のサンプル数はそれぞれ 338,777，19,931，39,850である. 訓練集合と検証集合を用いてそれぞれモデルのパラメータの更新とハイパーパラメータのチューニングを行い，テスト集合によってモデルの性能を測定した。

本手法で使用したエンコーダ・デコーダは, 層数が 3，隠れ層の次元数が 512， Attention Head の数が 8 であり，感情トークンの数 $N_{\mathrm{tok}}$ は 50 であった. 最適化には Adamを使用し，エポック数は 20 ，バッチサイズは 32 であった.

提案モデルのパラメータ数は 6800 万であった.学習には，メモリ 32GB 搭載の Tesla V100を 4 台使用し， 12 時間を要した. また，1つの説明文の生成に要する時間は 0.03 秒であった. 学習中は, 各エポックにおいて検証集合およびテスト集合によるモデルの評価を行い，検証集合において最も METEOR スコアが高かったときのテスト集合におけるスコアを，最終的なモデルのスコアとした。

## 4.2 定量的結果

ベースライン手法との比較に関する定量的結果を表 1 に示す. 各スコアは， 5 回の実験における平均値および標準偏差を表す. 本実験では，Show Attend Tell (SAT)[16] および M2[3] をべースライン手法とした.これは，当該手法が代表的な説明文生成手法であり，ArtEmisにおいて良好な結果が報告されているためである.
表 1 ベースライン手法との比較に関する定量的結果

表 2 Ablation studiesに関する定量的結果

2 節で言及した自動評価尺度群のうち, [17]に従って CIDEr および SPICE を主要評価尺度に定めた。以降は各手法の CIDEr スコアのみに言及する。提案手法は 15.4 ポイントである一方，SAT と M2 はそれぞれ 12.8 ポイントと 13.8 ポイントであった. したがって，提案手法は SAT と M2をそれぞれ 2.6 ポイントと 1.6 ポイント上回った.

## 4.3 Ablation Studies

Ablation Studies には，以下の 2 条件を定めた.

(i)W/o conditioning modules: 条件付けモジュールを用いた感情・視覚情報の統合手法の代わりに，各エンコーダブロックの最後でそれぞれの特徵量を単純に連結する場合に対して，性能差を調査した。

(ii)More/fewer affective tokens: $N_{\text {tok }}$ を増減させることで，性能への影響を調査した。本実験では， $N_{\text {tok }}$ が 10，25，100，200 の場合の性能を比較した.

表 2 に結果を示す。“CM”は “Conditioning Module” を表す。(i) の条件では CIDEr スコアが 14.5 であった. full の条件と比較してスコアが 0.8 ポイント下回っていることから，条件付けモジュールが感情の埋め込み表現と画像特徴量のモデル化に有効であると考えられる。また，(ii)-a，(ii)-b，(ii)-c，(ii)-dの条件では，CIDEr スコアがそれぞれ 15.0，15.4，15.6， 15.0 であった. したがって，提案手法は感情トークンが 100 のときに最良のスコアを達成した。 (a)

Fear

Amusement
Ref.: This guy has a very scary look on his face, like he's a mysterious stranger who is up to no good.

M2: The man in the painting looks like he is angry about something.

Ours: This man looks like he's up to no good since he's wearing a suit.

Ref.: The sway of the trees seems like they are alive. The colors are vibrant and lively.

M2: The tree looks like it's growing out of the ground.

Ours: The trees look like they are dancing in the wind.

図 3 定性的結果

## 4.4 定性的結果

図 3 に定性的結果を示す. 図 3-(a)では, $E=$ =“fear” であった。提案手法は “This man looks like he’s up to no good since he's wearing a suit." という説明文を生成したのに対し，ベースライン手法は “The man in the painting looks like he is angry about something." という説明文を生成した。ベースライン手法と異なり，提案手法は指定された感情である “fear”を適切に反映できたと考えられる。

図 3-(b) では， $E=$ =“amusement”であった. 提案手法の生成文は “The trees look like they are dancing in the wind.”であったが，ベースライン手法は “The tree looks like it's growing out of the ground." と生成した.提案手法はベースライン手法に比べて，より鑑賞者の感情を考慮した説明文を生成できたと考えられる。

## 5 おわりに

本研究では，絵画に対する鑑賞者の感情を考慮した説明文を生成するモデルを構築した. 本研究の貢献を以下に示す.

・ゲート付き相互注意機構を用いて，視覚情報を感情ラベルで条件付けする AVE モジュールを提案した。

・エンコーダにおいて，画像の領域・グリッド特徵量を融合するための感情トークンを導入した.

・ArtEmis データセットにおいて，提案手法がベースライン手法を全ての評価尺度で上回る性能を得た。

## 謝辞

本研究の一部は，JSPS 科研費 $20 \mathrm{H} 04269$ ，JST CREST，NEDO の助成を受けて実施されたものである.

## 参考文献

[1] Saki Asakawa, João Guerreiro, Dragan Ahmetovic, et al. The Present and Future of Museum Accessibility for People with Visual Impairments. In ASSETS, pp. 382-384, 2018.

[2] Leo Tolstoy and Aylmer Maude. What Is Art? Oxford University Press, 1959.

[3] Marcella Cornia, Matteo Stefanini, Lorenzo Baraldi, and Rita Cucchiara. Meshed-Memory Transformer for Image Captioning. In CVPR, pp. 10578-10587, 2020.

[4] Van-Quang Nguyen, Masanori Suganuma, and Takayuki Okatani. GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features. In ECCV, 2022.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models From Natural Language Supervision. In ICML, pp. 8748-8763, 2021.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, pp. 311-318, 2002.

[7] Satanjeev Banerjee and Alon Lavie. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL, pp. 65-72, 2005.

[8] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In ACL, pp. 74-81, 2004.

[9] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566-4575, 2015.

[10] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. SPICE: Semantic Propositional Image Caption Evaluation. In ECCV, pp. 382-398, 2016.

[11] Panos Achlioptas, Maks Ovsjanikov, Kilichbek Haydarov, Mohamed Elhoseiny, et al. ArtEmis: Affective Language for Visual Art. In CVPR, pp. 11569-11579, 2021.

[12] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, et al. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. In ICCV, pp. 10012-10022, 2021.

[13] Ranjay Krishna, et al. Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations. IJCV, Vol. 123, No. 1, pp. 32-73, 2017.

[14] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In NeurIPS, Vol. 28, 2015.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, et al. Attention is all you need. In NeurIPS, Vol. 30, 2017.

[16] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In ICML, pp. 2048-2057, 2015.

[17] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, et al. From Show to Tell: A Survey on Deep Learning-based Image Captioning. arXiv preprint arXiv:2107.06912, 2021.

[18] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jer- ret Ross, and Vaibhava Goel. Self-critical Sequence Training for Image Captioning. In CVPR, pp. 7008-7024, 2017.

[19] Simao Herdade, Armin Kappeler, Kofi Boakye, and Joao Soares. Image Captioning: Transforming Objects into Words. In NeurIPS, Vol. 32, 2019.

[20] Luowei Zhou, Hamid Palangi, Lei Zhang, et al. Unified Vision-Language Pre-Training for Image Captioning and VQA. In AAAI, Vol. 34, pp. 13041-13049, 2020.

[21] Aly Magassouba, Komei Sugiura, and Hisashi Kawai. Multimodal Attention Branch Network for PerspectiveFree Sentence Generation. In CoRL, pp. 76-85, 2020.

[22] Tadashi Ogura, et al. Alleviating the Burden of Labeling: Sentence Generation by Attention Branch EncoderDecoder Network. IEEE RA-L, Vol. 5, No. 4, pp. 59455952, 2020.

[23] Motonari Kambara, et al. Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions. IEEE RA-L, Vol. 6, No. 4, pp. 8371-8378, 2021.

[24] Cesc Chunseong Park, Byeongchang Kim, et al. Attend to You: Personalized Image Captioning with Context Sequence Memory Networks. In CVPR, pp. 895-903, 2017.

[25] Cesc Chunseong Park, et al. Towards Personalized Image Captioning via Multimodal Memory Networks. IEEE Trans. PAMI, Vol. 41, No. 4, pp. 999-1012, 2018.

[26] Yuya Miyoshi, et al. Automatic Affective Image Captioning System using Emotion Estimation. Trans. of Japan Society of Kansei Engineering, Vol. 18, , 2019.

[27] Yiming Zhang, Min Zhang, Sai Wu, and Junbo Zhao. Towards unifying the label space for aspect-and sentencebased sentiment analysis. In ACL, pp. 20-30, 2022.

[28] Marten De Raedt, Fréderic Godin, Chris Develder, et al. Robustifying sentiment classification by maximally exploiting few counterfactuals. In EMNLP, 2022.

[29] Tomoyuki Kajiwara, et al. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. In NAACL, pp. 2095-2104, 2021.

## A 関連研究

説明文生成の分野においては，これまで多くの研究が行われている $[16,18,19,20]$. 代表的なサーべイ論文としては [17] が挙げられる。

Dense Captioning は，自然言語に基づき，画像を領域単位で密に説明するものである。特に $[21,22,23]$ は，画像中の物体に関する把持文を生成するモデルを提案している. Personalized Captioning は, 利用者が有する知識や語彙，文体等を考慮した説明文の生成に取り組むものである $[24,25,26]$.

自然言語と感情に関する研究も多く実施されている．DPL[27] は，入力文に対してアスペクトベー スの感情分類を行う手法である. [28] は，反事実的サンプルを訓練集合に加えることで，感情分類器の頑健性を向上させる研究である．また，WRIME[29] は感情分析の分野における標準データセットであり，SNS 上の日本語の投稿に対する書き手および読み手の感情から構成される。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 画像キャプション生成及び物体認識を用いた 駄酒落文ランキング手法の評価

浅野歴 1,2 谷津元樹 1 森田武史 1,2 江上周作 2 鵜飼孝典 2,3 福田賢一郎 2
1 青山学院大学 2 産業技術総合研究所 3 富士通株式会社
c5622198@aoyama.jp \{yatsu,morita\}@it.aoyama.ac.jp
ugai@fujitsu.com \{s-egami,ken.fukuda\}@aist.go.jp

## 概要

ソーシャルロボットが画像大力より得られる周辺状況に基づいた発話を行う際，駄酒落等のユーモアを付加できれば，ユーザはロボットに対しより高い親近感を持ちうると考えられる。本研究では既存のキャプション生成モデルや物体検出を用いて画像から画像内容に即した語を抽出し，駄酒落文を収集したコーパスから画像の描画内容に即した駄酒落文を選択するためのランキング手法を提案する.

## 1 はじめに

世界規模の少子高齢化の進行と，その結果である高齢者単身世帯の急激な増加は看過できない問題となっている。 そのため, 人手を要しない人工知能技術による支援は不可欠となる。同技術の代表格となりうるのが，人間らしい振る舞いの可能な対話知能である。その具体例として，言語的ユーモアを交え笑いを通して不安を軽減する能力および視覚入力としての画像からの周辺状況の推定能力が挙げられる. さらに，両者を統合したユーモアの表現能力は人間そのものに近いといえる.

本研究ではユーモア性を含む言語表現として駄酒落に注目した. 画像キャプション生成とは，画像を入力として，その内容について記述した自然言語文を出力する問題である [1]. この問題は画像認識および自然言語テキスト生成という2つのタスクを同一のシステムに統合して解く必要がある.

駄酒落を含む画像キャプション生成には，画像とその描画内容に即した駄酒落文のペアを集めたデー タセットが必要となる。しかし，現在，そのようなデータセットは存在しておらず，画像の描画内容に即した駅酒落文を手動で作成するコストは高く, データセットの作成には時間を要する。そのため,本研究では画像から駄酒落を含むキャプションを生成する前段階として, 既存のキャプション生成モ
デルや物体検出を活用し，画像に合った駄酒落デー タベース [2] 内の駄酒落文を選択することを目的とする。

## 2 関連研究

荒木らの研究 [2] では前述した背景においてユー モア理解・生成技術の基盤となるデータセットを作成することを目的として，67,000 件の駄酒落文を収録したコーパスを構築している。本研究では，この駄酒落データベース内に存在する事例より, 入力画像が描写している内容に対して最適な駄酒落文を選択する. Chandrasekaran らの研究 [3] では，画像から英語の駄酒落（語呂合わせ）を含むキャプション生成を課題として，画像キャプション生成とコーパス検索に基づく二つの手法を提案している. 画像キャプション生成に基づく手法では，画像キャプション生成モデルを用いて得られた単語を，事前に用意した語呂合わせが成り立つ単語や発音が近い単語のリストに含まれる単語に強制的に絞り込み，強制的に絞り込まれた単語を使い画像キャプションを生成する.コーパス検索に基づく手法では，一般的な画像キャプション生成のモデルを用いて得られた単語と，事前に用意した語呂合わせが成り立つ単語や発音が近い単語の両方が含まれる文をコーパスから検索する。

関連研究は，画像から英語の駄酒落を含むキャプション生成を課題としているのに対して，本研究では，駄酒落データベースから画像に合った日本語の駄酒落文を選択することを目的としている。

## 3 提案手法の構成

本研究手法では，最初に画像を入力として，キャプション生成と物体検出を行う。キャプション生成に関しては，日本語画像キャプションデータセット STAIR Captions[4] と MS COCO[5] データセットの画像を用いて日本語キャプション生成モデルを学習

図 1 駄酒落文スコア計算の手順

し，このモデルに基づいて画像から日本語のプレー ンキャプションを生成する. 生成されたプレーンキャプションに対して重要語抽出と形態素解析を行う。重要語抽出では TermExtract[6]を用いてプレー ンキャプション含まれる重要な単語を抽出する。形態素解析では $\mathrm{MeCab}[7]$ を使用しプレーンキャプションを形態素に区切る. 物体検出では物体検出モデル YOLOX[8] を用いて入力画像から物体ラベルを抽出する。日本語 WordNet[9] を用いて，抽出した重要語, 形態素, 物体ラベルの同義語検索する. 駄酒落文, 重要語, 形態素, 物体ラベル, 同義語を入力として，駄酒落文のスコアを計算し，ランキングを行い，入力画像の描画内容に即した駄酒落文を選択し, 出力する. 以下では，提案システムの構成要素の詳細について述べる。

## 3.1 画像キャプション生成

本研究では, Show and Tell モデル [10]を用いて日本語画像キャプションデータセット STAIR Captions[4]を学習した日本語画像キャプション生成モデルを用いる. 日本語画像キャプション生成を用いる理由として，画像から駄酒落文を選択するときに日本語画像キャプション生成で生成された文と似た文を探すことで画像にあった䭾酒落文を選択できると考えたからである. STAIR Captions は日本語での画像キャプション生成のために人手で構築された最大規模のデータセットであり，これを訓練デー タとして学習したモデルのキャプション生成精度が，同一の画像を使用する MS COCO[5] における英文キャプションに機械翻訳を行い，得られた文を訓練データとした場合を上回ることが判明している. このことから STAIR Captions は優れたデータセットであるといえるため，本研究では STAIR Captions を使用する. 日本語画像キャプション生成モデルから得られたキャプションをプレーンキャプションと呼ぶ.

## 3.2 物体検出

物体検出とは画像や動画に写っている物体のラベル（物体ラベル）を検出するタスクである．物体検出を本研究に用いる理由は，画像に描写されている物体の呼称がプレーンキャプションの生成結果に含まれなかった場合でも，物体検出の結果に含まれていれば駄酒落文選択に利用できる語の数が増加する場合があるためである. 本研究では物体検出を行うために，リアルタイム物体検出アルゴリズムである YOLO[11] の改良型である YOLOX[8] を用いる.

## 3.3 形態素解析

プレーンキャプションから形態素解析エンジン MeCabを用いて形態素を抽出する. 形態素解析を本研究に用いることにより，プレーンキャプションから抽出した形態素と駄酒落文から抽出した形態素の共通部分を抽出し，画像の描画内容に即した駄酒落文を選択するためのスコアとして利用できる.

## 3.4 重要語抽出

生成されたプレーンキャプションから TermExtract[6] を用いて重要語を抽出することにより，プレーンキャプションに含まれる単語の重要度を求めることができる．重要度の高い語を多く含む候補文を優先することにより，より画像の内容に適した䭾酒落文を選択できると考えられる。

## 3.5 同義語検索

プレーンキャプションから形態素解析により抽出された単語，物体検出により画像から抽出された物体ラベル，プレーンキャプションから重要語抽出により抽出された重要語の各同義語を，日本語 WordNet[9]を用いて検索する．これらの同義語集合に重みを与えることにより，画像の描写に関連性の高い駄酒落文をより多く比較の対象とすることができると考えられる。

## 3.6 駄酒落文選択

図 1 に，本研究が提案する駅酒落文スコア計算の手順を示す. 駄酒落文選択は以下の 1 から 8 の手順で行う. 式 (1) から式 (8) における記号の説明を表 1 に示す.

1. 式 (1)より駄酒落文に含まれるプレーンキャプションから抽出した形態素に重み付けをする。

$
f_{t}\left(c, d, w_{t}\right)=w_{t} \cdot\left|T_{c} \cap T_{d}\right|
$

2. 式 (2) より駄酒落文に含まれるプレーンキャプションから抽出した形態素の同義語に重み付けをする。

$
f_{t s}\left(c, d, w_{t s}\right)=w_{t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in T_{c}\right.\}\right|
$

3. 式 (3) より駄酒落文に含まれるプレーンキャプションから抽出した重要語に重み付けをする.

$
f_{i t}\left(c, d, w_{i t}\right)=w_{i t} \cdot\left|I T_{c} \cap T_{d}\right|
$

4. 式 (4)より駄酒落文に含まれるプレーンキャプションから抽出した重要語の同義語に重み付けをする。

$
f_{i t s}\left(c, d, w_{i t s}\right)=w_{i t s} \cdot\left|\left.\{S_{t_{c}} \cap T_{d} \mid t_{c} \in I T_{c}\right.\}\right|
$

5. 式 (5) より駄酒落文に含まれる画像から抽出した物体ラベルに重み付けをする。

$
f_{o}\left(i, d, w_{o}\right)=w_{o} \sum_{o \in O_{i} \cap T_{d}} C S_{o}
$

6. 式 (6) より駄酒落文に含まれる画像から抽出した物体ラベルの同義語に重み付けをする。

$
f_{o s}\left(i, d, w_{o s}\right)=w_{o s} \sum_{o \in\left.\{o \in O_{i} \mid s \in S_{o} \wedge s \in T_{d}\right.\}} C S_{o}
$

7. 式 (7)より式 (1) から式 (6) により求めた重みの合計值を駄酒落文のスコアとして計算する.

$
\begin{aligned}
f_{s}(i, d, \boldsymbol{w})= & f_{t}\left(I C_{i}, d, w_{t}\right)+f_{t s}\left(I C_{i}, d, w_{t s}\right)+ \\
& f_{i t}\left(I C_{i}, d, w_{i t}\right)+f_{i t s}\left(I C_{i}, d, w_{i t s}\right)+ \\
& f_{o}\left(i, d, w_{o}\right)+f_{o s}\left(i, d, w_{o s}\right)
\end{aligned}
$

8. 式 (8) よりスコアの高い上位 $\mathrm{n}$ 件の駄酒落文とそのスコアを出力する.

DajareSearch $(i, n, \boldsymbol{w})=\left.\{\left(d_{1}, s\right): d_{1} \in D \wedge\right.$

$\left.\left|\left.\{d_{2} \in D s=f_{s}\left(i, d_{1}, w\right)<f_{s}\left(i, d_{2}, w\right)\right.\}\right|<n\right.\}$

本研究では $w_{t}: 50, w_{t s}: 25, w_{i t}: 100, w_{i t s}: 50$, $w_{o}: 500, w_{o s}: 250$ とする. 図3 に入力 ${ }^{1}$ 及び表 3 に出力の例を示す.

表 1 式(1)から式(8)における記号の説明

$d \quad$ 駅酒落文

c 画像キャプション

$n$ 取得する駄酒落文とスコアの数

$D \quad$ 駄酒落文のセット

$w$ スコアの重みべクトル

$\boldsymbol{w}=\left(w_{t}, w_{t s}, w_{i t}, w_{i t s}, w_{o}, w_{o s}\right)$

$w_{t}$ 形態素スコアの重み

$w_{t s}$ 形態素の同義語スコアの重み

$w_{i t}$ 重要語スコアの重み

$w_{i t s}$ 重要語の同義語スコアの重み

$w_{o}$ 物体ラベルスコアの重み

$w_{o s}$ 物体ラベルの同義語スコアの重み

$I C_{i} \quad$ 画像ファイル $i$ のキャプション

$T_{\text {text }} \quad$ text 中のトークンのセット

$I T_{\text {text }}$ text 中の重要語のセット

$S_{\text {token }}$ token の同義語セット

$C S_{o}$ 画像ラベル $o$ の確信度を 10 倍し,小数点以下を切り捨てた値

図 2 駄酒落文 17500 文におけるスコアの度数分布

## 4 実験と評価

## 4.1 実験方法

MSCOCO 内の画像 3500 枚を対象に各画像に対し, スコアの高い上位 5 件の䭾酒落文とそのスコアとその内訳，画像に対するプレーンキャプション，物体ラベル，同義語を取得した. 本実験で得られた 17500 文の駄酒落に対しての分析を表 2 に示す. 1 行目にはスコアの要因となる 6 つ指標を示し，2 行目には 17500 文の内，スコアが使われた駄酒落文の数を示す. $3 \sim 8$ 行目には 1 文の駄酒落文に対して，含まれていた単語の数の最大，最小，平均，中央值, 最頻値，分散である. 図 2 は 17500 文の駄酒
表 2 画像 3500 枚の入力により得られる䭾酒落文 17500 文の各要素の集計

図 3 入力画像の例

表 3 駄酒落文の出力結果

落文のスコアの度数分布である. スコアの中央値は 4750 となった.

## 4.2 考察

平均を見たときにプレーンキャプションの形態素が最大の 3.198 となった. これは重要語や物体ラべル，同義語にはない助詞の「は，が，を」などが含まれているので他に比べて相対的に多い．2 番目に平均が高い物体ラベルは本研究では物体ラベルの重み，つまり $w_{o}$ を 1 番高く設定しているため，物体ラベルを含んでいる䭾酒落文が多く選択されたと考える。それぞれの同義語に関しては，重みを低く設定しているが同義語が寄与している駄酒落文が少なからずあることがあることが分かった. しかし，同義語などを提案手法に用いたことによって画像に対して適切な，ユーモアのある駄酒落文を選択できているかの評価ではない. 図 2 ではスコアが 4000 台の駄酒落文の数が 1 番多くなった. これは, 本研究では物体ラベルの重みを 500 と高く設定しており，物体の確信度が 0.8 を超えると，その物体ラベルを含んでいる䭾酒落文のスコアが 4000 を超えるからだと考える.

## 5 まとめと課題

本研究では既存のキャプション生成モデルや物体検出を活用し画像に合った駄酒落文を選択するためのランキング手法を提案した. 提案手法では, STAIR Captions データセットより学習した日本語キャプション生成モデルよりプレーンキャプションを生成し, 得られたキャプションから重要語および他の形態素を抽出し, 画像からの物体検出を行い画像に写っている物体の名前（物体ラベル）を得た. このようにして得られた単語に対して, 同義語取得を行った。物体ラベル及び重要語を重視して重多付けをした. 出力として駄酒落データベースにおいて重みの和が最大となる駅酒落文を選択した。実験では，駄酒落文のスコアの要因となっている 6つについて分析を行った. その結果どの指標も䭾酒落文選択に寄与していることが分かった.

今後の課題として，駅酒落文選択における重みべクトルを機械学習により求めることが挙げられる. また，同義語などを提案手法に入れたことによってよりよい駄酒落文が選択できているかの評価. さらには, 本研究の提案手法は, 駄酒落データベースを参照しているため, 出力する駄酒落文が限定されており，新しい駄酒落文を生成できないことも課題である. 今後は，キャプション生成手法を用いて駄酒落データベース内の駄酒落文だけでなく多種多様の駄酒落文を生成できるようにしたい. さらに，画像に写っている人の動作や位置関係に関する動詞を検出可能にすることで，より画像の描写内容に即した駄酒落文の選択や生成が可能になると考えられる.

## 謝辞

本研究は JSPS 科研費 JP21K12007 の助成を受けたものです. 本研究成果の一部は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP20006) の結果得られたものです.

## 参考文献

[1] 牛久祥孝. 画像に関連した言語生成の取組み. 人工知能, Vol. 34, No. 4, pp. 483-491, 2019.

[2] 荒木健治, 内田ゆず, 佐山公一, 谷津元樹. 駄酒落デー タベースの構築及び分析. 人工知能学会第 2 種研究会ことば工学研究会資料 SIG-LSE-B702-3, pp. 13-24, 2017 .

[3] Arjun Chandrasekaran, Devi Parikh, and Mohit Bansal. Punny captions: Witty wordplay in image descriptions. In Proceedings of the $\mathbf{2 0 1 8}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 770-775. Association for Computational Linguistics, 2018.

[4] 吉川友也, 重藤優太郎, 竹内彰一. Stair captions: 大規模日本語画像キャプションデータセット.言語処理学会第 23 回年次大会 (NLP2017), 2017.

[5] T.-Y. Lin, M. Maire, S. Belongie, et al. Microsoft coco: Common objects in context. In European Conference on Computer Vision (ECCV 2014). Springer, Cham, 2014.

[6] 中川裕志, 森辰則, 湯本紘彰. 出現頻度と連接頻頻度に基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[7] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.

[8] Zheng Ge, Songtao Liu, Feng Wang, Zeming Li, and Jian Sun. Yolox: Exceeding yolo series in 2021. In arXiv preprint arXiv:2107.08430, 2021.

[9] H. Isahara, F. Bond, K. Uchimoto, M. Utiyama, and K. Kanzaki. Development of japanese wordnet. In the 6th Edition of its Language Resources and Evaluation Conference (LREC 2008), Marrakech, 2008.

[10] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan. Show and tell: A neural image caption generator. In CVPR 2015, pp. 3156-3164, 2015.

[11] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In CVPR 2016, 2016.


# クロスモーダル類似度に基づくカリキュラム学習による 画像キャプション生成

張 宏寛 ${ }^{1}$ 菅原 朔 2 相澤 彰子 ${ }^{2}$ 周雷 1 笹野 遼平 1 武田 浩一 1
1 名古屋大学 2 国立情報学研究所
\{zhang.hongkuan.k5, zhou.lei.e1\}@s.mail.nagoya-u.ac.jp
\{saku, aizawa\}@nii.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

画像キャプションモデルには，様々な画像の内容をテキストで表現するための高度な汎化能力が求められる. 多くの既存手法では，一般に画像とキャプションのペアの学習難易度の違いを考慮せず，モデルの訓練において同等に扱っている. 一方，学習データの難易度を考慮するカリキュラム学習をキャプション生成に導入する手法が先行研究で提案されているが，難易度の測定には事前の定義や評価モデルの訓練が必要である。本稿では，シンプルかつ効率的な学習難易度測定法として，事前学習された Vision-Language モデルによって計算されたクロスモーダル類似度をキャプションデータの難易度として用いる手法を提案する。COCO および Flickr30k データセットを用いた実験の結果，提案手法は事前定義や追加の学習コストが不要で, ベースライン手法と同等以上の性能・収束速度を達成できることを示した. さらに，未知のデータやドメイン外のデー タにおいて提案手法は高い性能を示し, 汎化能力の向上が示唆された.

## 1 はじめに

画像キャプション生成は画像処理や自然言語処理分野で広く研究されている. しかし, 多くの既存手法は，学習用の画像とキャプションのぺアを区別せず扱っており，データごとの学習難易度の違いが無視されている. 図 1 に示すように，キャプションデータセットでは，スタイルや複雑度が異なる参照文が一般に各画像に複数付与されている. この多様性はモデルの学習に偏りのある難易度を導入し, 難易度の高いデータで訓練されたときにモデルを望ましくない方向に学習させる可能性がある [1].

カリキュラム学習 (Curriculum Learning; CL) は, 学

図 1 事前学習済み Vision-Language モデル CLIP により計算されたクロスモーダル類似度スコアの例. 赤色と青色の数字は，それぞれスコアの高い方と低い方を示す.

習難易度に応じた順番でデータをモデルに学習させて，モデル性能と収束速度の向上を目指す手法である。しかし，CLを用いた画像キャプション生成の既存手法は，難易度測定に次のような欠点がある: 1) ドメインの専門知識やヒューリスティックが必要である点 [2], 2) 二つモーダルの難易度スコアを単純に加算しており，クロスモーダルな特徴を考慮できていない点 [3]，3) キャプションデータを用いて評価モデルを事前に訓練する必要がある点 (Bootstrap 手法) [2,1].

本稿では，事前学習済み Vision-Language (VL) モデルを用いて，シンプルかつ効率的な難易度の測定手法を提案する．多くの VL モデルは，対応する画像とテキストをマッチングする事前学習タスクで訓練されるため, クロスモーダル類似度が計算可能である。この類似度は画像とテキストの関連性に対するモデルの確信度を表し，スコアが低いほど，判定が難しいか品質が低いデータであることを意味する $[4,5]$. 図 1 に示すように, シンプルな画像や適切な参照文を含むぺアに高いスコアを与えて，逆に複雑な画像や関連性が弱い参照文を含むぺアには低いス

コアを与える．本研究では，高いスコアを持つぺアが関連性の高さから学習しやすいデータと考え，簡単なデータから順番にモデルを学習させる.

我々は, COCO [6] および Flickr30k [7] データセットを用いた実験の結果，クロスモーダル類似度に基づくカリキュラム学習で訓練されたモデルが，専門知識や追加の学習コストなしにモデル性能と収束速度の向上を達成することを示した. さらに, 評価対象となるデータの知識を持つ VL モデルを用いるとさらに性能が向上した. また, 未知のデータやドメイン外のデータにおいてより高い精度を達成し, 汎化能力の向上を示した. 最後に, 提案手法をよりシンプルなモデルに適用することでも大きな性能改善が達成され，小さなモデルしか使えない場合でも提案手法が利用可能であることが示唆された.

## 2 関連研究

カリキュラム学習はモデルの汎化性能と収束速度を向上させる訓練手法として，機械翻訳 $[8,9]$ や画像分類 [10] などの研究に応用されている. データの学習難易度の測定は，事前定義を行う手法とモデルを利用する手法に分けられる．前者は画像中のオブジェクト数 [11] やテキストの長さ [12]などデータの特徴に基づくヒューリスティックにより測定する。後者はクロスエントロピー[13] やパープレキシティ [14] に基づくモデルの不確実性により測定する.

キャプションデータの難易度測定に関しては, Alsharid ら [3] は超音波画像を用いたキャプション生成において, 視覚的難易度の測定に Wasserstein 距離を，言語的難易度の測定に TF-IDFを用いて両者を加算する手法を提案した. Dong ら [1] は複数の Bootstrap モデルを訓練し, 各画像に複数のモデルでそれぞれ文生成を行い，生成文の BLEU スコアの平均值を難易度とした. Liu ら [2] は CT 画像のレポー ト生成において医学ドメインのヒューリスティックと Bootstrap モデル両方を用いて難易度を測定した. これらの研究とは異なり, 本研究はクロスモーダル類似度を利用した効率的な難易度測定法を提案し，一般的なドメインのモデル性能の改善を目指す.

## 3 提案手法

## 3.1 クロスモーダル類似度

クロスモーダル類似度の計算には, ウェブ上の画像-テキストペアで事前訓練された CLIP [15]，およ
び，人手でアノテーションされた画像-キャプションペアで事前訓練された ViLT [16] を用いる. CLIP を用いた類似度の計算では， $P$ 個のパッチを含む画像 $X=\left(x_{1}, \ldots, x_{P}\right)$ と $T$ 個のトークンからなるテキスト $Y=\left(y_{1}, \ldots, y_{T}\right)$ を与えると，CLIP はそれぞれのモーダルをエンコードして，視覚的な特徴 $\mathbf{x}$ とテキスト的な特徴 $\mathbf{y}$ を出力する. これらを用いて，類似度を式(1)のように計算する。

$
D_{\text {CLIP_sim }}=\cos (\mathbf{x}, \mathbf{y})
$

一方で，ViLTを用いた類似度の計算では, [class] トークンを先頭とし，画像とテキストの入力を連結させ，クロスモーダルエンコーダによって式 (2) のようにエンコードする.

$
\operatorname{ViLT}(X, Y)=x_{[\text {class }]}^{\prime}, x_{1}^{\prime}, \ldots, x_{P}^{\prime}, y_{1}^{\prime}, \ldots, y_{T}^{\prime}
$

そして,この結合表現 $x_{\text {[class] }}^{\prime}$ を, 事前学習済み全結合層 FFN に与え, 類似度を式 (3)のように計算する。

$
D_{\text {ViLT_sim }}=\operatorname{sigmoid}\left(\operatorname{FFN}\left(x_{\text {[class] }}^{\prime}\right)\right)
$

## 3.2 訓練手法

クロスモーダル類似度によってソートされたデー タでモデルを訓練するときには，データを与えるスケジュールを定める必要がある. 本論文は, 先行研究で広く使われている Baby Step [12] 学習スケジュールを用いる。具体的には，まずソートされたデータセットを $L$ 個のサブセットに分割し, 最も簡単なサブセットからモデルを訓練する. そして, 検証セットでモデルの性能が数エポックにわたっても改善しない場合に，訓練が収束したとみなして，より難しいサブセットをマージして訓練を継続する。全てのサブセットをマージして収束を確認したら訓練を終了する．実験では，このスケジュールをすべての CL 手法に適用し, 検証セットにおけるモデルの性能に基づいて最適なサブセットの数を調整する. この提案手法を Simi-CL と呼ぶ.

## 3.3 ベースライン

Addup-CL 各モダリティの難易度を計算して加算する. 提案手法と公平に比較するために，各モダリティの難易度評価にも事前学習済みモデルを用いる. 具体的には，視覚的な難易度 $D_{v}$ を事前学習済み物体検出器 BUTD [17], 言語的な難易度 $D_{t}$ を言語モデル GPT-2 [18] で測定し, 両者のスコアを重み
付け和で加算して評価値 $D_{\text {addup }}$ を得る.

$
\begin{aligned}
D_{v} & =-\sum_{k=1}^{K} \sum_{n=1}^{N} p_{k, n} \log p_{k, n}, \\
D_{t} & =-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}\right), \\
D_{\text {addup }} & =\lambda \times D_{v}+(1-\lambda) \times D_{t} .
\end{aligned}
$

ここで， $K$ は画像から確信度が高い上位 $K$ 個の検出ボックス， $N$ は検出クラスの種類， $p_{k, n}$ は $k$ 番目のボックスが $n$ 番目のクラスに分類される確率， $\lambda$ は重みを表す。

Bootstrap-CL事前に学習および評価の対象となるデータセットでキャプションモデルを訓練して難易度スコアを算出する．具体的には，評価対象となるデータの訓練セットを用いて，一般的な訓練手法でデータの難易度を考慮せずにモデルを学習させ，訓練済みモデルで画像-キャプションペアに対して文生成のクロスエントロピーを計算する。

$
D_{\text {bootstrap }}=-\sum_{t=1}^{T} \log p\left(y_{t} \mid y_{<t}, X\right)
$

## 4 実験

## 4.1 実験設定

実験は COCO と Flickr30k データセットで行い， ともに Karparthy 分割 [19] を使用し，訓練/検証/テストセットのデータの割合はそれぞれ $113 \mathrm{k} / 5 \mathrm{k} / 5 \mathrm{k}$ と $29 \mathrm{k} / 1 \mathrm{k} / 1 \mathrm{k}$ とした.キャプションモデルは公開されているコード [20] に基づく Vanilla Transformer を実装し，ハイパーパラメータの設定は，バッチサイズを 10 ，学習率を $3 \mathrm{e}-4$ ， ドロップアウト率を 0.4 とした.

CL 関連の設定について，Baby Step 学習のデータ分割数 $L$ は，検証セットでの性能に基づいて $\mathrm{COCO}$ と Flickr30kでそれぞれ 5 と 3 とした. Addup-CL のハイパーパラメータは，物体検出クラスの数 $N$ と検出ボックスの数 $K$ をそれぞれ 1600 と 10 に設定し，

設定した. Simi-CLの類似度計算に用いるモデルは， CLIP-base と ViLT-base 以外に，ViLT の作者から公開された評価対象となるデータ (COCO と Flickr30k)で微調整されたモデル (ViLT-CC と ViLT-FL と表記する) も用いて比較する。性能評価には BLEU-4 [21], METEOR [22]，CIDEr[23]，SPICE [24] の 4 つの指標を用いる。

図 2 学習中の二つのデータセットの検証セットにおける Vanilla Transformer と CL ベース Transformer の性能曲線.

## 4.2 実験結果

検証セットでのモデルの性能を図 2 に示す. $\mathrm{COCO}$ では，全ての CL 手法が性能を向上させ， Vanilla Transformer の最高精度に達する収束時間が短くなっていることが分かる．特に，Simi-CL は Bootstrap-CL と比較して追加学習のコストなしに同等の性能を達成でき，また両方とも性能と収束速度が Addup-CL より優れている. Flickr30k でも同様の現象が観察できるが，改善の幅が COCO より小さく, Addup-CL は性能の改善が見られなかったため， CL 手法がより大きなデータセットに対して効果的であることが推測される.

テストセットでのモデルの性能を表 1 に示す， CL ベースモデルの性能は検証セットと類似している．Simi-CLのうち，ViLT-base を用いる場合は， Bootstrap-CL と同等の性能に達しているが，大量のデータから事前学習された CLIP-base の性能より下回っている．しかし，各評価対象となるデータセットで微調整された ViLT モデルを用いる場合は， ViLT-base や CLIP を上回る性能が達成されており，評価対象となるデータの知識を持つ教師モデルがカリキュラムの設計に役立つことが分かる.

## 4.3 考察

まず，カリキュラム学習されたモデルの汎化性能を考察するために，先行研究 [25] を参照して分布外データセットによる評価を行った。具体的には，COCO で訓練された最高性能のモデルを用いて，Flickr30k のテストセットでキャプションを生成して評価した，結果を表 2 に示す. Simi-CL によって学習されたモデルの性能が Vanilla モデルと Bootstrap-CL 手法を上回り，汎化能力が向上していることが分かる.

表 $1 \mathrm{COCO}$ と Flickr30kにおけるべースライン手法と提案手法で訓練されたモデルの性能の比較. B @ $4 ， \mathrm{M}, \mathrm{C}, \mathrm{S}$ はそれぞれ BLEU-4，METEOR，CIDEr，SPICEを表す。

表 2 COCOにおける最高性能のモデルを用いて Flickr30k でテストした結果.

表 3 COCO における最高性能のモデルを用いて Nocaps の検証セットを評価した結果.

次に，カリキュラム学習されたモデルの困難なデータにおける性能を測定するため, Nocaps [26] データセットでモデルの性能を評価した. Nocaps では，COCOにおける画像のオブジェクトの種類と一致，部分一致および不一致の画像を含んでおり， その一致度に基づいてデータセットを in-domain, near-domain と out-domain というサブセットに分割した. Nocaps の設定に基づき，COCO で訓練された最高性能のモデルを用いて各サブセットでモデルの性能を測定した. 表 3 に示される結果から，全てのサブセットで Simi-CL は Bootstrap-CL より高いスコアを達成し，特に困難な near-domain と out-domain サブセットで CIDEr スコアを大幅に向上させることが分かった.

最後に，Simi-CL が異なるアーキテクチャのモデ

表 4 Simi-CLを異なるアーキテクチャのモデルに適用した場合の COCO における性能.

ルでも有効かどうかを調査するため，LSTM ベー スのモデル BUTD と改良された Transformer モデル AoANet [27] に対しても Simi-CLを適用した. 表 4 に示した結果のように，Simi-CL はよりシンプルな LSTM アーキテクチャに適用したときに改善の効果がより大きく，カリキュラム学習はサイズが小さいモデルでより効果的であることが示唆された.

## 5 結論

本稿では，カリキュラム学習による画像キャプション生成のための, クロスモーダル類似度に基づく効率的な難易度測定手法を提案した。提案手法である Simi-CL はモデルの性能と収束速度を向上させ，特に大きなデータセットで効果的であった．また，評価対象となるデータセットの知識を持つ VL モデルを用いるとさらに性能が向上した. 考察では，未知やドメイン外のデータで Simi-CL が最も高いスコアを達成し, モデルが高い汎化能力を得ることが分かった. 最後に，Simi-CLを異なるアーキテクチャのモデルに適用し，よりシンプルなモデルでも効果が観察されたことから，小さなモデルしか実装できない場合にも応用できることが期待される.

## 参考文献

[1] Xinzhi Dong, Chengjiang Long, Wenju Xu, and Chunxia Xiao. Dual graph convolutional networks with transformer and curriculum learning for image captioning. In ACMMM 2021, pp. 2615-2624, 2021.

[2] Fenglin Liu, Shen Ge, and Xian Wu. Competence-based multimodal curriculum learning for medical report generation. In ACL-IJCNLP 2021, pp. 3001-3012, 2021.

[3] Mohammad Alsharid, Rasheed El-Bouri, Harshita Sharma, Lior Drukker, Aris T Papageorghiou, and J Alison Noble. A course-focused dual curriculum for image captioning. In ISBI 2021, pp. 716-720, 2021.

[4] Hwanhee Lee, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, and Kyomin Jung. UMIC: An unreferenced metric for image captioning via contrastive learning. In ACL-IJCNLP 2021, pp. 220-226, 2021.

[5] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A reference-free evaluation metric for image captioning. In EMNLP 2021, pp. 7514-7528, 2021.

[6] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[7] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. TACL, Vol. 2, pp. 67-78, 2014.

[8] Emmanouil Antonios Platanios, Otilia Stretcu, Graham Neubig, Barnabas Poczos, and Tom Mitchell. Competence-based curriculum learning for neural machine translation. In NAACL-HLT 2019, pp. 1162-1172, 2019.

[9] Xuebo Liu, Houtim Lai, Derek F. Wong, and Lidia S. Chao. Norm-based curriculum learning for neural machine translation. In ACL 2020, pp. 427-436, 2020.

[10] Liuyu Xiang, Guiguang Ding, and Jungong Han. Learning from multiple experts: Self-paced knowledge distillation for long-tailed classification. In ECCV 2020, pp. 247-263, 2020

[11] Yunchao Wei, Xiaodan Liang, Yunpeng Chen, Xiaohui Shen, Ming-Ming Cheng, Jiashi Feng, Yao Zhao, and Shuicheng Yan. STC: A simple to complex framework for weakly-supervised semantic segmentation. TPAMI 2016, pp. 2314-2320, 2016.

[12] Valentin I Spitkovsky, Hiyan Alshawi, and Dan Jurafsky. From baby steps to leapfrog: How "less is more" in unsupervised dependency parsing. In NAACL-HLT 2010, pp. 751-759, 2010.

[13] Benfeng Xu, Licheng Zhang, Zhendong Mao, Quan Wang, Hongtao Xie, and Yongdong Zhang. Curriculum learning for natural language understanding. In ACL 2020, pp. 6095-6104, 2020.

[14] Yikai Zhou, Baosong Yang, Derek F Wong, Yu Wan, and Lidia S Chao. Uncertainty-aware curriculum learning for neural machine translation. In ACL 2020, pp. 6934-6944, 2020.

[15] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML 2021, pp. 8748-8763, 2021.

[16] Wonjae Kim, Bokyung Son, and Ildoo Kim. Vilt: Visionand-language transformer without convolution or region supervision. In ICML 2021, pp. 5583-5594, 2021.

[17] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR 2018, pp. 60776086, 2018.

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAI blog, p. 9, 2019.

[19] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. In CVPR 2015, pp. 3128-3137, 2015.

[20] Ruotian Luo, Brian Price, Scott Cohen, and Gregory Shakhnarovich. Discriminability objective for training descriptive captions. In CVPR 2018, pp. 6964-6974, 2018.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL 2022, pp. 311-318, 2002.

[22] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.

[23] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In CVPR 2015, pp. 4566-4575, 2015.

[24] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In ECCV 2016, pp. 382-398. Springer, 2016.

[25] Antonio Torralba and Alexei A Efros. Unbiased look at dataset bias. In CVPR 2011, pp. 1521-1528, 2011.

[26] Harsh Agrawal, Karan Desai, Yufei Wang, Xinlei Chen, Rishabh Jain, Mark Johnson, Dhruv Batra, Devi Parikh, Stefan Lee, and Peter Anderson. Nocaps: Novel object captioning at scale. In ICCV 2019, pp. 8948-8957, 2019.

[27] Lun Huang, Wenmin Wang, Jie Chen, and Xiao-Yong Wei. Attention on attention for image captioning. In ICCV 2019, pp. 4634-4643, 2019.


# 事前学習モデルを活用した End-to-end 型動画キーフレーム物語生成法

仲村祐希 $1 *$ 工藤慧音 $1 *$ 鈴木潤 $1 \quad$ 清水伸幸 2
1 東北大学 2 ヤフー株式会社
\{keito.kudo.q4, yuki.nakamura.r1\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
nobushim@yahoo-corp.jp

## 概要

深層ニューラルネットワークや事前学習済みモデルの発展に伴って視覚および言語の横断タスクが多くの研究分野にて注目されている。映像と言語の融合領域タスクの一つとして「動画キーフレーム物語生成タスク」が提案されている。このタスクは指定した数のキーフレームと，それに対応する説明文を用いて，動画全体の要約を生成するタスクと言える. 本研究では, 既存のベースラインモデルの改善に加えて，新たに End-to-end での動画キーフレーム物語を生成する手法である解候補制約付き生成法を提案する. 実験の結果，提案法は改善したべースラインモデルに比べて，キーフレームの選択精度は劣るものの，生成された説明文の質はベースラインモデルに比べて向上する結果となった.

## 1 はじめに

本研究では，映像と言語の融合タスクの一つである動画キーフレーム物語生成タスク [1] に着目し,更なる性能向上のため新たな方法論の確立を目指す. 動画キーフレーム物語生成タスクは，動画要約タスクの一種で，簡潔に述べると動画を絵コンテのように数枚の画像と説明文で説明するタスクである.このタスクの難しさは，キーフレームの相対的な重要度を考慮しつつ, 対応する説明文も生成しなくてはならない点である. キーフレームと説明文は相互依存関係にあり，どちらかが決まるともう一方も決まるといった関係である。よって，キーフレー ムと説明文は理想的には同時に予測する必要がある. 本タスクのベースライン法を提案している文献 [2] では，同時予測が計算コスト面でも実装面でも困難であることから，問題を分解してキーフレー

ムの抽出と説明文の生成を独立に実施するモデルを本タスクのベースラインとして提案している。本研究では，まずベースラインの改良として，キーフレームの抽出と説明文の生成の一方を固定し交互に反復して予測する方法を提案する。また，本タスクの性質に適した新しい方法論として，事前学習済みモデルを活用した End-to-end 方式のモデルも提案する. 従来のベースラインの改良と End-to-end 方式の提案法を本タスクのデータを用いて評価し, その有効性を検証する。

## 2 動画キーフレーム物語生成タスク

概要. 最も有名な映像と言語の融合タスクは,動画説明文生成タスクと考えられる $[3,4]$. また, その発展タスクとして，動画から一連のシーンを抽出し，そのシーン単位に説明文を付与するタスクを Dence Video Captioning (DVC) と呼ぶ $[5,6,7,8,9]$. 本研究で取り上げる動画キーフレーム物語生成タスクは，DVC タスクをより現実の利用場面に合わせて改良したタスクに位置付けられる。より具体的には， 1つの動画に対してその内容を表現する上で重要と思われるキーフレームを抽出し，更に各キーフレー ムに対応する説明文を生成し，動画を数枚のキーフレームと説明文で絵コンテのように瞬時に理解可能な形で提示するタスクである。この時，抽出すべきキーフレームと説明文のペアの数 $N$ は，事前に与えられることを前提とする。

評価方法動画キーフレーム物語生成タスクを提案した文献 [1] に従い，抽出したキーフレームの評価には，正解と予測結果のキーフレーム間の一致度合い計測する aligned key-frame matching (AKM) スコアを用いる。また，説明文の評価には，正例と予測結果の説明文間の一致度合いを計測する METEOR [10] を用いる. 本研究では, 説明文の評

図 1 ベースラインモデルの概要

価指標として，更にニューラル言語モデルをべー スとした評価指標である BLEURT [11]を追加する。 これは，説明文間の意味的な類似性をより評価するためである．各動画ごとに，正例となるキーフレー ムと説明文のペアは $N$ 個以上存在することから，評価時には，モデルが生成した $N$ 個のキーフレームとの $A K M_{c o s}$ が最大となる $N$ 個の評価データのキーフレームと説明文に対して，各種評価指標を用いた評価を行う，詳細な定義は，これまでの研究に関する文献 [2]を参照されたい。

## 3 評価データの改善

文献 [1] にて構築されたデータは, ActivityNet Captioning [5] のデータを拡張して作成されたものである. 基本的にクラウドワーカーが作成したデータのため，評価データ中に低品質な説明文が散見される.そのため, 潜在的にシステムの性能を正しく評価できない可能性がある．そこで，本研究では評価データの改善も合わせて実施した. 具体的には，英語母語話者のいる信頼性の高いデータ作成業者に,元データの部分集合に対して正解説明文の再付与を依頼した. 最終的に，442 動画に対して高品質な説明文を付与した評価データを構築した。

## 4 ベースラインモデル概要

本研究では，本タスクにおけるべースラインとして提案されたモデル [2]をキーフレームの抽出と説明文の生成を一方を固定し交互に反復して予測するように改良を加えたものを新たなべースラインとして用いる. 図 1 に本研究で用いるべースラインモデルの概要を示す.

## 4.1 システムの概要

改良したベースラインモデルは次の 4 つの要素から構成される。

セグメント抽出モジュール動画を入力として動画をシーンごとに複数のフレームをまとめたセグメントに分割する．セグメント抽出モジュールとして, 既存研究のベースラインモデル [2] で利用した Masked Transformer に加えて [9], 動画処理のツールである PySceneDetect ${ }^{11}$ を用いた. このモジュールによって $N$ 個以上のセグメントを生成する.

画像説明文生成モジュール候補となるフレームに対して，事前学習済みの画像説明文生成モデルを使って説明文を生成する，事前学習済みの画像説明文生成モデルとして, fairseq-image-captioning ${ }^{2)}$, clipcap [12], clip-reward [13] を利用する。それぞれのモデルは, 本研究で用いるデータセット [1] に含まれれるキーフレームと説明文を用いて微調整する3).

キーフレーム検出モジュールセグメントと先に選択したフレームに対する説明文を入力として，セグメントの中から説明文にマッチするフレームを予測する. 既存研究 [2] と同様に双方向 LSTM により構築したモデルを利用する。セグメント内の全てのフレームを ResNet200 [14] と BN-inception [15]を用いて特徴量としたものと，説明文を BERT [16]を用いて特徴量に変換したものを連結した系列を入力として, 各フレームがキーフレームか否かの 2 值分類を行うモデルである.

候補選択モジュール既存研究 [2] と同様, セグメントと説明文のペアを受け取り， $N$ 個のペアを選択する．選択の指標として，セグメント抽出モ

図 2 解候補制約付き生成法のモデルの概要.

ジュールによって計算されたセグメントのスコア4) と, 画像説明文生成モジュールによって計算された説明文の龙度の和を用いる. 動的計画法を用いて， この指標の和が最大となるように，できるだけセグメントの時間的重複が発生しないように $N$ 個のセグメントと説明文のペアを選択した. 選ばれたセグメントのフレーム (キーフレーム) および説明文がベースラインモデルの最終的な出力となる.

ベースラインモデルはこれら４つのモジュールを利用し, 以下の手順で $N$ 個のキーフレームと説明文を選択・生成する。

1. セグメント抽出モジュールを用いて，入力動画をセグメントに分割する。

2. 分割された全てのセグメントの中央のフレームに対して，画像説明文生成モジュールを用いて説明文を生成する。

3. 生成された説明文とセグメントを入力として, キーフレーム検出モジュールにより説明文に最も合うフレームを選択する。

4. 各セグメントから選ばれたフレームを入力として再び，画像説明文生成モジュールにより説明文を生成する。

5. 3.，4.を $l$ 回繰り返す (本研究では全ての設定において $l=4$ で固定した).

6. 候補選択モジュールにより選択されたキーフレームと説明文をモデルの出力とする.

## 5 解候補制約付き生成法

本研究では，新たに事前学習モデルを活用した End-to-end 型の手法である解候補制約付き生成法を提案する.この手法ではフレームに分割した動画を入力として $N$ 個のキーフレームの選択と説明文のペアを生成を行うモデルを学習する. キーフレームと説明文は異なるモーダルの情報であるが，提案法のモデルは 1 つの系列として処理を行う．解候補制

4) Masked Transformer のセグメントのスコアはモデルから出力されるスコア, PySceneDetect のスコアは 1 で固定とした.約付き生成法の詳細は付録 Aを参照されたい。

## 5.1 アーキテクチャと入出力

モデルのアーキテクチャとして Transformer [17] のエンコーダ，デコーダをべースとし， 入力系列長などを変更したモデルを利用する.

モデルの概要を図 2 に示す. 動画から 0.5 秒ごとにサンプリングした全てのフレームを CLIP [18] の画像エンコーダを用いて特徴量ベクトルとし, 解候補制約付き生成モデルのエンコーダに入力する. 出力はその動画を要約した $N$ 個のキーフレームとなるフレームのインデックスとそれに対する説明文のペアである. デコーダは一度の推論で，キーフレー ムとそれに対応する説明文のペア $N$ 個を 1 つずつ生成（選択）するように学習させる（図 2）.デコーダへは大力がテキストトークンの場合，そのトークンに対応する埋め込みを入力とする。一方，入力がフレームの場合，フレームを CLIP の画像エンコーダによって特徴量に変換したもの入力とする. デコー ダは通常の系列変換モデルと同様に, 次のテキストトークンを予測するか，どのフレームを選択すべきかを表すフレームのインデックスを予測する.

## 5.2 学習方法

事前学習 MS COCO キャプションデータセット [19]を用いて，疑似的な動画キーフレーム物語生成データセットを作成し事前学習を行なう.これにより，モデルの生成文の質の向上を目指す.

微調整これまでの研究 [1]において付与されたアノテーションを元に, 各動画から $N$ 個のキーフレームと説明文のペアを 8 パターンサンプリングし学習データとして用いた。

## 5.3 推論時

初めに，動画からサンプリングした全てフレームに対し，4 節で用いたものと同様の，事前学習済み画像説明文生成モデルを用いて説明文の生成を行な
表 1 ベースラインモデルおよび解候補制約付き生成法の各評価スコア. AKM $\mathrm{exx}_{\mathrm{ex}}$ は AKM $\mathrm{cos}_{\mathrm{cos}}$ が最大となるようにマッチングした正解フレームに対して，一致しているキーフレームの割合を表す。

う.その後，特徴量に変換した全てのフレームをモデルのエンコーダへの入力とし,$N$ 個のキーフレー ムと説明文のペアの候補を生成した際の尤度を元に，モデルは最終的な出力を行う.

サンプリングされた全てのフレームとそれらに付与された説明文の中から $N$ 個の説明文とキーフレームを選択する組み合わせは膨大に存在するため，全ての組み合わせについて尤度の計算を行うのは計算量的に困難である. そこで，1つの説明文とフレームのペアに対する尤度の計算を 1 単位としたビームサーチを行いながら，最終的に $N$ 個のキーフレームと説明文に対する尤度の計算を行なう. ${ }^{5}$

## 6 動画キーフレーム物語生成実験

データセット訓練データは文献 [1] で提案されたものを用いた．ただし，評価データに関しては 3 節で説明した，説明文を改善したデータを用いた。

実験設定基本的な実験設定は既存研究 [2] に従った. $A K M_{c o s}$ の計算に用いる画像の特徴量べクトルは ResNet200 [14]を用いた. 説明文の評価の前処理として Moses[20] の lowercase.perl と tokenizer.perl ${ }^{6)}$ を用いてトークナイズを行った. なお, 説明文の評価は出力された $N$ 個の説明文をビデオ単位で一つに連結してから各評価スコアを算出した. 最終的に一つの動画から出力するキーフレームとキャプションのペアの数 $N$ は 4 とした.

## 6.1 実験結果

表 1 にベースラインモデルおよび解候補制約付き生成法における評価結果を示した。

まず， $A K M_{\cos }$ および $A K M_{e x}$ についてはべースラインモデルの方が総じてスコアが高く，より良いキー フレームを選択できていることが分かった. キーフレームの選択において, ベースラインモデルの方が
スコアが高かった理由として，動画をセグメント単位に区切ってから処理していることが挙げられる.解候補制約付き生成法は，動画全体のフレームを入力としているため，キーフレームの候補が多い. そのため, キーフレームを当てるのが困難であり, 解制約付き生成法のスコアが低かったと考えられる。次に，生成した説明文の評価については概ね解候補制約付き生成法の方がスコアが高いという結果となった。これは解候補制約付き生成法がキーフレー ムと説明文を同じ系列として処理していることによる影響ではないかと考えられる。

## 7 おわりに

本研究では，既存の動画キーフレーム物語生成夕スクに対して, 反復法によるべースラインの改善と, 事前学習モデルを活用した End-to-end 型の方法論を提案した. 提案法では，事前学習済みの画像説明文生成モデルを活用し, 各フレームに対して網羅的に説明文を生成し，その候補を制約として説明文の生成とキーフレームを抽出を同時に行う. また，付加的な要素として, 品質の低い評価データを改善するために，従来の $1 / 10$ 程度の部分集合に対してではあるが，人手による高品質な説明文を再付与し，再構築した評価データを用いて提案法の有効性を検証する実験を行った. 実験の結果，提案法は改善したベースラインモデルに比べて，キーフレームの選択精度は劣るものの, 生成された説明文の質はべー スラインモデルに比べて向上する結果となった.

まずは本研究にて End-to-end 型の動画要約法が完成したので，今後は今回の実験で顕著に良い結果が得られなかったキーフレーム抽出の性能向上を実現することを目指す。

## 謝辞

本研究は，Yahoo 研究所と東北大学との共同研究

として実施されたものである. また，本研究の一部 （データ作成）は，JST ムーンショット型研究開発事業 JPMJMS2011 の助成を受けて実施されたものである。

## 参考文献

[1] 北山晃太郎, 鈴木潤, 清水伸幸. 動画キーフレーム物語生成タスクの提案とデータセットの構築. 人工知能学会全国大会論文集, Vol. JSAI2021, No. 0, pp. 4I4GS7e03-4I4GS7e03, 2021.

[2] 佐藤俊, 佐藤汰亮, 鈴木潤, 清水伸幸. 動画キーフレーム物語生成手法の提案. 言語処理学会第 28 回年次大会発表論文集, Vol. NLP2022, No. 0, 2022.

[3] Subhashini Venugopalan, Marcus Rohrbach, Jeffrey Donahue, Raymond Mooney, Trevor Darrell, and Kate Saenko. Sequence to sequence - video to text. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 4534-4542, 2015.

[4] Subhashini Venugopalan, Huijuan Xu, Jeff Donahue, Marcus Rohrbach, Raymond Mooney, and Kate Saenko. Translating videos to natural language using deep recurrent neural networks. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1494-1504, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[5] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In International Conference on Computer Vision (ICCV), 2017.

[6] Jingwen Wang, Wenhao Jiang, Lin Ma, Wei Liu, and Yong Xu. Bidirectional attentive fusion with context gating for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7190-7198, 2018.

[7] Yehao Li, Ting Yao, Yingwei Pan, Hongyang Chao, and Tao Mei. Jointly localizing and describing events for dense video captioning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7492-7500, 2018.

[8] Xiujun Li, Xi Yin, Chunyuan Li, Pengchuan Zhang, Xiaowei Hu, Lei Zhang, Lijuan Wang, Houdong Hu, Li Dong, Furu Wei, Yejin Choi, and Jianfeng Gao. Oscar: Object-semantics aligned pre-training for vision-language tasks. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 121-137, Cham, 2020. Springer International Publishing.

[9] Luowei Zhou, Yingbo Zhou, Jason J. Corso, Richard Socher, and Caiming Xiong. End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

[10] Alon Lavie and Abhaya Agarwal. METEOR: An automatic metric for MT evaluation with high levels of correlation with human judgments. In Proceedings of the Second Workshop on Statistical Machine Translation, pp. 228-231, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[11] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[12] Ron Mokady, Amir Hertz, and Amit H. Bermano. Clipcap: CLIP prefix for image captioning. CoRR, Vol. abs/2111.09734, , 2021.

[13] Jaemin Cho, Seunghyun Yoon, Ajinkya Kale, Franck Dernoncourt,
Trung Bui, and Mohit Bansal. Fine-grained image captioning with CLIP reward. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 517-527, Seattle, United States, July 2022. Association for Computational Linguistics.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770$778,2016$.

[15] Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 448-456, Lille, France, 07-09 Jul 2015. PMLR.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[18] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[19] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015

[20] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[21] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2019

[22] Bernard Ghanem Fabian Caba Heilbron, Victor Escorcia and Juan Carlos Niebles. Activitynet: A large-scale video benchmark for human activity understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 961-970, 2015 .

[23] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019 .
表 2 解候補制約付きモデルの学習設定事前学習

## A 解候補制約付き生成モデルの詳細

アーキテクチャモデルのアーキテクチャとして， Transformer [17] のエンコーダ，デコーダを用いる. 実装は T5-large [21] をべースとし，入力系列長を 2048 とする. これは, 0.5 秒おきにフレームをサンプリングした場合, 約 17 分の動画まで全てのフレームを入力することができる長さである. データセットを構成する動画は最長 20 分で多くの動画が $5 \sim 10$ 分の長さであり [22], 大半の動画を切り捨てることなく利用できる入力系列長の大きさとした. また，キーフレームの選択を行うためのフレームのインデックスを予測するため，最終層の出力次元数をエンコーダの語彙数+入力系列長 (2048) に増加させる. 加えて,入力の画像特徴量の次元数を変換するための線形層も追加する. アーキテクチャの変更がなく利用可能な部分については, 事前学習済みの $\mathrm{T5}^{7}$ ) のパラメータの初期値として学習を行なう。

事前学習 MS COCO キャプションデータセット [19]を用いて，疑似的な動画データセットを作成し事前学習を行なう。以下の手順で学習に利用する各事例を作成する。

1. MS COCO データセットから $N$ 個の画像と説明文のペアをサンプリングする.

2. エンコーダの入力系列長を長さ 1 以上の $N$ 個の区間に無作為分割する.

3. それぞれの区間から 1 つインデックスを無作為に選択する. このインデックスが $N$ 個の正解のフレームのインデックスとなる.

分割した各区間の位置のエンコーダの入力には, 全てその区間の中の正解フレームと同じ特徴量を入力する. ただし，正解フレー ムのインデックスに入力する特徴量を除いて，以下の式で摂動を付与する。

$
\text { Noise }=v_{\text {average }} \beta N(0,1)
$

ここで， $v_{\text {average }}$ はミニバッチ内の画像特徴量の全ての数値を平均したスカラー值である. また, $\beta$ は捸動の大きさを制御するパラメータであり, 本実験では $\beta=0.05$ に統一した. モデルは $N$ 個の (ノイズの加えられていない) 正解フレームのインデックスとそれに付与された説明文を予測するように学習する。

学習設定表 2 に学習時のハイパーパラメータを示す.

7） Huggingface Transformers にて公開されているものを利用した https://huggingface.co/t5-large
ビームサーチアルゴリズムアルゴリズム 1 に解候補制約付き生成モデルのビームサーチを用いた生成アルゴリズムを示す。また，実験では解候補制約付き生成法で用いるビーム幅は 3 とした.


# 大規模言語モデルからの知識抽出に基づく 画像からのスクリプト予測の検討

八木 拓真 ${ }^{1}$ 西村 太一 ${ }^{2}$ 清丸 寛一 ${ }^{2}$ 唐井 希 ${ }^{2}$
1 東京大学生産技術研究所 2 京都大学大学院 情報学研究科
tyagi@iis.u-tokyo.ac.jp kiyomaru@i.kyoto-u.ac.jp
\{nishimura.taichi.43x, karai.nozomu.77c\}@st.kyoto-u.ac.jp

## 概要

画像からそれが示す場面で行われるスクリプト （典型的なイベント系列）を予測するタスクを提案する. 画像が示す状況に対応したスクリプトを想起することにより，エージェントが状況に応じた適切な行動理解や支援を行うことが期待できる. 本稿では，画像からのスクリプト予測の第一歩として少数の画像にアノテーションを付与し, その要件と課題の整理を行う．また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる画像からのスクリプト予測の可能性を検討する。

## 1 はじめに

人と AI が共存する社会の実現にあたり，ロボットなどのエージェントが場の状況に応じて適切に振る舞うことは重要である。人はある場面に遭遇した際，その場面に対応したスクリプト（典型的なイベント系列） [1]を想起することで現在の状況をスムーズに理解し，適切に振る舞える。例えば，レストランでは一般に席に案内され, 料理を注文し食事後会計をすることが期待できる。従来スクリプトは文章の論理構造を補完するものとして言語に閉じて扱われてきた [2]. しかし, 家庭用ロボットなどへの応用を考えれば，状況が詳細に文章で与えられなくとも，視覚などの外界の入力から直接スクリプトを想起し行動に移せることが望ましい。

本稿では，画像からその場面に対応するスクリプト [1]を予測する視覚スクリプトモデルの検討を行う (図 1). スクリプト知識は宣言的知識と比較して構造があいまいであり，「レストランで食事を取る」 といった典型的な状況であっても場面により多様なバリエーションを持つ. そのため, モデルの訓練のために幅広い場面に対するスクリプト知識を人手で

図 1 視覚スクリプト予測の問題設定.

網羅的に収集するのは現実的でない。そこで，本研究では大規模言語モデル [3] (Large Language Model; LLM）から知識を抽出する方法を検討する．LLM は様々な常識推論タスクに回答できることが報告されており，典型的な状況におけるスクリプト知識をかなりの程度獲得していると思われる. 画像中の状況をテキストで説明する視覚言語モデルと大規模言語モデルを組み合わせることにより画像とスクリプトを結び付けられれば，スケーラブルな形で訓練用のデータを収集できることが期待できる.

本稿では，画像からのスクリプト予測の初期検討として少数の画像にアノテーションを付与し，視覚スクリプトモデルの実現のための課題と要件を整理する。また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる素朴なべースラインモデルを構築し, (i) 画像およびゴールからのスクリプト予測 (ii) 画像からのゴール予測の 2 種類のタスクに関する予測結果の評価を行う。

## 2 関連研究

## 2.1 大規模言語モデル

近年，個別のタスクに対する専用モデルに代わり，数百〜数千憶のパラメータを持ち，大規模コー パス上で事前学習された汎用の LLM $[4,5,3,6]$ の有効性が実証されている. LLM は様々な常識推論夕スクにファインチューニングなしで回答できるうえ，モデルに与える入力文（プロンプト）を工夫することによりさらに性能を向上できることが報告されている [7] が，入出力共にテキストに閉じているため，単体では実世界に接地した推論は行えない。

また，LLM と同様，大量の動画像とテキストの組によって事前学習を行う視覚言語モデル (Visual Language Model; VLM）も注目されている [8, 9, 10]. VLM は画像に写る事物の説明や質問応答には長けているものの，画像に直接写らない文脈や手続きの認識はごく少数の初期検討 [11]があるのみで十分には検討されていない.

## 2.2 イベント系列の予測

家庭用ロボットなどでは，対話を通じて人の指示を理解し，自身の行動を実行可能な形で推論する必要がある。そこで，言語指示からのスクリプトの予測 $[12,2]$ やユーザの要求に応じた行動のプランニング $[13,14,15]$ 等の研究が行われており, LLM の利用も検討されている $[15,16]$. これらは限定的なシナリオで具体的な指示が与えられることを前提としているが，本研究では様々な場面における画像からスクリプト知識を想起することを目的とする。

## 3 視覚スクリプト

本節では，画像からその場面の観察者または登場人物から見たスクリプトを予測することを視覚スクリプトと定義し，その要件と課題を整理する。

## 3.1 アノテーション

画像はスクリプトに関して何を伝えるだろうか？画像が示す場所はそこで何をすべきかの第一の手掛かりになる。画像中の物体やその見た目もその場の属性を示唆し, 例えば高級レストランと家庭的なレストランとではその備品や内装は大きく異なり，生起するスクリプトも異なる. 画像中に登場する人物の役割はその人物の行動を規定する。一方，表 1 アノテーション項目の一覧.画像が示す場所名

表 2 アノテーションの統計（カッコ内は標準偏差）.

スクリプトを行う主体がどのような役割を担うか，何をゴールとして行動するかといった内的な情報は通常画像には含まれず，実応用では観察者（人，口ボットなど）の経歴や過去の行動に基づきそれらを補完する必要がある. オクルージョンのため, 不完全な観測から見えない部分を補完する必要もある.

Schank \& Abelson [1] は，登場人物・物体や完了条件といったスクリプトの構成要素を提案しており，本研究においてもそれらが有用と考えた. そこで彼らの定義を踏襲し, 表 1 に示す項目について画像に対応するスクリプトのアノテーションを行った. 題材としては場所認識用データセットである Places365 [17] データセットを用い，大きく (i) 購買 (ii) 室内 (iii) 交通の 3 つの場面を中心に 26 カテゴリ 40 枚を選定した. 各画像について，3人のアノテー タが 1 枚あたり 1 つ以上のスクリプトを付与した. ただし，場所に関しては原則 Places365に既に付与されている名前を採用した. スクリプトの記述にあたっては，アノテータが画像が示す状況において誰 （行為者）が何（ゴール）を達成できるかを類推したうえで，それを達成するイベント列を記述した。

## 3.2 アノテーションの分析

表 2 に統計を示す. スクリプトの系列長は概ね 5-6 程度であり，大半の例において主役以外の脇役が登場した. 登場物体は最大 7 つ程度であり, ゴー ル達成のための不可欠なイベントを簡潔に記した例が多くを占めた. また，表 3 に図 1 へのアノテー ション例を示す.この例では, プレゼンの準備をする/カンファレンスでの発表の準備/会議へ参加/発表を聞くの 4 つのユニークなゴールが付与され，他の画像についても主役/主役の動機/ゴールの粒度の違いによる多様性が見られた。一方，購買を伴う場所
表 3 図 1 の画像に対するアノテーション例.

の画像ではゴールが収れんする傾向にあった.

難しさとしては (i) 画像に見える事物とルールや慣習との関連の非自明さ (ii) 画像に登場しない役割や物体の補完があった. 例えば，店舗では購買行動が行われるが，売り物の見た目自体にその行動が結び付く必然性はなく，物体の組み合わせとしてどのような場所かを知識により結び付ける必要がある。 また，物を買う場面では通常会計係，伝票やレジスターが登場するが，それらが明示的に写ることはまれであり, 多くの場合それらを補完する必要がある. 見える範囲の即物的に記述は不十分であり，見える範囲を超えた推論の必要性が示唆された.

## 4 実験

前節の議論で，画像中の情報は生起するスクリプトを規定する一方その関係は間接的であることが示された. そのため視覚スクリプト生成においても LLM に含まれる豊富な知識を活用することが望ましい，画像情報を反映したスクリプトを実際に LLM を用いて生成できるのか？どの要素が正しい生成に寄与するのか？上記の初期検討として，VLM と LLM を素朴に組み合わせたべースモデルを提案し 2 種類のタスクによる評価を行った.

## 4.1 画像とゴールからのスクリプト予測

まず，画像とゴールなどの付加情報から LLM を通じてスクリプトを生成できるかを検証した。

モデル LLM はテキストのみを受け付けるため，画像情報を LLM に入力可能な形に変換する必要がある. そこで，最新の画像説明文生成モデル [9] により説明文を生成し LLM の入力として用いるモデルを提案する. 図 2 に模式図を示す. まず，入力画像の見える範囲での説明文を画像説明文生成モデル [9] を用いて生成し，画像をテキスト情報に変換

する．続いて，前節で付与した情報のうち場所，主役およびゴールを説明文と共に LLM のためのプロンプト（入力文）として構成し，それを LLMを通すことによってスクリプトを得る．入力方法には LLM で一般に用いられる in-context learning [3] を採用し，1 サンプルに関する見本を与えたのちスクリプトをイベント列として出力させた.

実装と比較条件画像からの説明文生成には最新のモデルとして BLIP-Large [9]を使用し，LLM は GPT-3（text-davinci-003） [3] と OPT（OPT-175B） [6] の 2 種類を比較した. また，入力情報の種類による違いを見るため GPT-3 では (a) 場所名のみ (b) ゴー ルのみ (c) 説明文のみの 3 種類の ablation を行った.具体的な予測例は付録表 6 を参照のこと。

評価指標一場面に対応するスクリプトは多様であり，自動評価は難しい。そこで前項のアノテー ションのうち類似のゴールを除いた 40 画像 65 サンプルに対しスクリプトを生成し，著者らのうち 2 名の人手評価により合理性（スクリプトとして妥当か)，適切さ（ゴール・画像に照らして適切か）の 3 指標を二値で判定しその平均を取った。

結果表 4 に結果を示す. 画像説明文およびゴー ルなどの付加情報を与えた LLM はゴール・画像の両者に対して高い適切さを報告し，GPT-3を用い

図 2 VLM とLLM の結合による画像からのスクリプト予測の模式図. 本稿ではVLM を通して生成した説明文および人手で付与した付加情報を組み合わせてプロンプトを生成し，それをLLM に通してスクリプトを予測する.

図 3 場所名および説明文からのゴール予測.

た場合にはほぼ望ましいスクリプトを生成した。 OPT-175B も概ね同様の挙動を示したものの不自然な動作を繰り返す，扱う物体や行動を取り違えるといった誤りを示した. 多くのスクリプトは場所に依存するため，場所名のみを与えた場合も $81.3 \%$ と画像に対する高い適切さを示した。しかしながら，路上の市場の画像に対して高級レストランと同様のやりとりを提示するなど，場所名のみからは読み取れない文脈において不適切なスクリプトを生成した。 ゴールと説明文をそれぞれ単体で与えた場合も同様で，前者では店舗で会計しない，後者では目に見える物体を用いたランダムな行動を行うなどのエラー が見られ，場所情報に画像から得られる情報を加えることでよい生成ができることを確認した.

## 4.2 画像説明文からのゴール予測

前項はスクリプトの生成に注目し主役およびゴー ルを既知としたが，それらも自動生成できれば場所認識含め全処理を自動化できる。そこで類似の枠組みで説明文と場所からのゴール予測を評価した。

モデルと評価前項のモデルと同様の枠組みを採用した. 図 3 にLLM 部のプロンプトと出力の例を示す. 今回は 3 つのゴールを出力するようなプロンプトを与えた. LLM は GPT-3を使用し，(a) 場所名のみ (b) 説明文のみ (c) 場所名+説明文の 3 条件を比較した。評価指標としては前項と同様ゴールとしての適切さおよび場所・画像に対する適切さを項目ごとに二值で判定し，その平均を取った。

結果表 5 に結果を示す. 我々の予想に反し，場所名のみを与えた場合に高い適切さを示した。スクリプト中のイベントより高い抽象度でのゴールは画像の即物的な説明より場所による影響が大きかったからと思われる．失敗例としては，惣菜店でウェイターが料理を給仕するなどの不適当な登場人物や,犬がおもちゃで遊ぶといったスクリプトの条件を満たさない場合等があった. しかしながら，多くのサンプルにおいて適切な役割とゴールを生成できたことから，指示文や画像説明文の生成方法の工夫次第でより性能を伸ばせると考えられる。

## 5 結論と将来展望

画像からその場面に対応するスクリプトを予測する問題に初めて取り組み，アノテーションの付与および画像からのスクリプト・ゴール認識の初期検討を行った。評価を通じて VLM と LLM の素朴な結合モデルが画像に対応したスクリプトを概ね正しく生成できることを確認し，LLM からの知識抽出の可能性を示した. 今後は (i) より大規模の評価用コーパスの作成 (ii) 洗練されたプロンプティングによる制御可能なスクリプト生成 (iii) 陽な説明文を介さない，VLM とLLMを融合した視覚スクリプト予測モデルの実現を目指す.

## 謝辞

本研究は JST ACT-X JPMJAX22AJ の支援を受けたものです.

## 参考文献

[1] Roger C Schank and Robert P Abelson. Scripts, plans, goals, and understanding: An inquiry into human knowledge structures. Psychology Press, 1977.

[2] Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, and Yejin Choi. proScript: Partially ordered scripts generation. In Proc. Findings of EMNLP, pp. 2138-2149, 2021.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Proc. NeurIPS, pp. 1877-1901, 2020.

[4] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171-4186, 2019.

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. JMLR, Vol. 21, No. 140, pp. 1-67, 2020

[6] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. OPT: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[7] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Proc. NeurIPS, 2022.

[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In Proc. ICML, pp. 8748-8763, 2021.

[9] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified visionlanguage understanding and generation. In Proc. ICML, pp. 12888-12900, 2022 .

[10] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Lijuan Wang. GIT: A generative image-to-text transformer for vision and language. TMLR, 2022

[11] Rowan Zellers, Yonatan Bisk, Ali Farhadi, and Yejin Choi. From recognition to cognition: Visual commonsense reasoning. In Proc. CVPR, pp. 6720-6731, 2019

[12] Qing Lyu, Li Zhang, and Chris Callison-Burch. Goal-oriented script construction. In Proc. INLG, pp. 184-200, 2021.

[13] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Daniel Ho, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Eric Jang, Rosario Jauregui Ruano, Kyle Jeffrey, Sally Jesmonth, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Kuang-Huei Lee, Sergey Levine, Yao Lu, Linda Luu, Carolina Parada, Peter Pastor, Jornell Quiambao, Kanishka Rao, Jarek Rettinghouse, Diego Reyes, Pierre Sermanet, Nicolas Sievers, Clayton Tan, Alexander
Toshev, Vincent Vanhoucke, Fei Xia, Ted Xiao, Peng Xu, Sichun $\mathrm{Xu}$, Mengyuan Yan, and Andy Zeng. Do as i can and not as i say: Grounding language in robotic affordances. In Proc. CoRL, 2022.

[14] 田中翔平, 湯口彰重, 河野誠也, 中村哲, 吉野幸一郎. 気の利いた家庭内ロボット開発のための曖昧なユーザ要求と周囲の状況の収集. 情報処理学会研究報告, Vol. 2022-NL-253, No. 5, pp. 1-7, 2022.

[15] Wenlong Huang, Pieter Abbeel, Deepak Pathak, and Igor Mordatch. Language models as zero-shot planners: Extracting actionable knowledge for embodied agents. In Proc. ICML, pp. 9118-9147, 2022.

[16] Ishika Singh, Valts Blukis, Arsalan Mousavian, Ankit Goyal, Danfei Xu, Jonathan Tremblay, Dieter Fox, Jesse Thomason, and Animesh Garg. ProgPrompt: Generating situated robot task plans using large language models. arXiv preprint arXiv:2209.11302, 2022 .

[17] Bolei Zhou, Agata Lapedriza, Aditya Khosla, Aude Oliva, and Antonio Torralba. Places: A 10 million image database for scene recognition. TPAMI, pp. 1452-1464, 2017.
表 6 図 2 の画像に対する VLM とLLM を用いたスクリプトの生成例.

Location: conference center

Role: Speaker

Scene description: Rows of chairs and chairs in a room with chairs and a projection screen.

Task: Present at a conference

Step 1: Greet the moderator and other speakers

Step 2: Check the connection between the computer and the screen and speaker

Step 3: Listen to other speakers' presentations until the stage

Step 4: At your turn, stand in front of the platform and connect your laptop.

## AVVLM とLLM を用いたスクリプトの生成例

図 2 の画像に対して VLM と LLM を組み合わせることにより生成したスクリプト文の具体例を表 6 に示す. LLMがより望ましい出力を行うよう、一部の用語はプロンプトでは別の単語に置き換えられている場合がある。上段に入力文を，下段にモデルの応答例を示す. 紙面の都合で応答の改行は省略した. GPT-3 はゴール（buy spices）を達成するための行動を適度に列挙し，そのための手順を適切に生成している. OPT-175B はよりシーンの説明（ボウルに入った食べ物）に注目したスクリプトを生成し，やや流暢さには久けるが適切と言える. 場所名（outdoor market）のみを与えた場合は市場での典型的な行動を反映しているが具体性には欠ける．説明文のみを与えた場合には目の前の食べ物を用いてゲストをもてなす等のゴールとは無関係のスクリプトが生成されている。ゴールのみを与えた場合は確かにスパイスを買うための行動が列挙されているが，今どのような場所にいるかが不明なためインターネット上での購入方法が書かれており，これは画像に照らし合わせて適当ではない。このように，場所・説明文・ゴールのいずれも画像の示す場面に照らし合わせて適当なスクリプトの生成のために必要な情報であることがわかる.


# Knowledge-Augmented Figure Caption Generation

Zhishen Yang $^{1}$, Raj Dabre ${ }^{2}$, Hideki Tanaka ${ }^{2}$, Naoaki Okazaki ${ }^{1}$
School of Computing, Tokyo Institute of Technology ${ }^{1}$
National Institute of Information and Communications Technology 2
zhishen.yang@nlp.c.titech.ac.jp \{raj.dabre, hideki.tanaka\}@nict.go.jp
okazaki@c.titech.ac.jp
}

\begin{abstract}
In scholarly documents, figures are mediums for communicating scientific findings to readers in a straightforward way. Automating the generation of figure captions helps authors write informative captions that make communicating scientific findings easier to understand. In this study, figure captioning is treated as a knowledge-enhanced captioning task. To this end, we create SciCap+ by extending the large-scale SciCap dataset [1] with mention-paragraphs (paragraphs mentioning figures) and OCR tokens. Experimental results show that the mentions-paragraphs, as additional contextual knowledge, significantly improve the caption generation quality compared to the figure-only baseline. Datasets and models will be publicly released.
\end{abstract
## 1 Introduction

Figures in scientific papers provide visual representations of complex information that help to share scientific findings with readers efficiently and straightforwardly. The standard practice for scientific writing is to write a caption for each figure, accompanied by paragraphs with detailed explanations. Helping authors write appropriate and informative captions for figures will improve the quality of scientific documents, thereby facilitating scientific communication. In this study, we focus on automating the generation of captions for figures in scientific papers.

Scientific figure captioning is a variant of the image captioning task with two unique challenges: 1. Figures are not natural images: In contrast to natural images, visual objects are texts and data points in scientific figures. 2. The captions of the figures should explain: Instead of simply identifying objects and texts in the figures, the caption should contain an analysis that the authors intend to present and highlight findings.

Caption:

Fig. 7. (a) Speedup of CHEETAH over GAZELLE for computing ReLu. (b) Comparison of communication cost for ReLu.

## Mention-paragraph:

Fig. 7 plots the speedup and communication cost as a function of the output dimension. Similarly, CHEETAH achieves an outstanding speedup with much smaller communication cost, independent of the output dimension, compared with GAZELLE. .....

Figure 1 An example figure [2] with its captions and mention-paragraph and the text tokens recognized via OCR. Without referring to the mention-paragraph and the OCR tokens to tie the figure and the mention, we cannot have a proper interpretation of the data presented in the figure, which is communication cost comparison and speed up of CHEETAH over GAZELLE.

The previous study [1] defines the scientific figure captioning task as the figure-to-caption task. Their experiments report relatively lower automatic evaluation scores, indicating considerable room for improvement. Intuitively, humans need to have sufficient background knowledge to interpret figures. As figure 1 shows, only by looking at the figure, we do not know what "comm.(KB)" stands for; therefore, lacking the knowledge to write informative captions is challenging. However, the mention-paragraph contains "communication cost" and this is also present in the caption, indicating that such background knowledge should help in writing accurate captions.

Based on above observations, we hypothesized that gen-

Figure 2 The overall workflow of the data augmentation for creating the SciCap+ dataset. For each figure in the SciCap+, we extracted its mention-paragraphs and OCR tokens (OCR texts and bounding boxes).

erating appropriate captions is infeasible without adding context knowledge to the caption generation model. This context takes two forms: background knowledge of running text and OCR tokens in a figure, which should help provide additional context to the model. We then presented scientific figure captioning as a multimodal summarization task and used the M4C captioning model [3] (a model that uses multimodal knowledge to generate captions) as a starting point to investigate the scientific figure captioning task. The experimental result of automatic evaluation demonstrates that using knowledge embedded across modalities, especially in the form of mention-paragraphs and OCR tokens, significantly boosts performance.

## 2 Problem Formulation

[1] pose scientific figure captioning as an image captioning task as: Given a figure $I$, the model generates a caption $C=\left[c_{0}, c_{1}, \ldots, c_{N}\right]$. However, we reframe this task as a knowledge-augmented image captioning task that requires knowledge extracted from text and vision modalities. Given a scientific figure $I$ and knowledge extracted from text and vision modality: $K_{\text {text }}=\left(M_{t}, O_{t}\right)$, and $K_{\text {vision }}=\left(I_{v}, O_{v}, O_{p}\right)$, where $M_{t}$ and $O_{t}$ are text features extracted from paragraphs that mention figures (mentionparagraphs) and OCR texts. $I_{v}$ and $O_{v}$ are visual features obtained from figures and OCR texts. $O_{p}$ represents locations of OCR texts in figures. We define the figure caption

Table 1 Statistics of the SciCap+ dataset.

generation task as modelling the conditional probability: $P\left(C \mid I, K_{\text {text }}, K_{\text {vision }}\right)$.

## 3 SciCap+ Dataset

SciCap is a large-scale figure-caption dataset comprising graph plots extracted from 10 years of collections of arXiv computer science papers. We used around 414k figures from SciCap and augment each figure with its mentionparagraphs and OCR tokens with metadata. This section details the data set creation and data augmentation processes. Figure 2 shows the overall workflow behind the creation of the SciCap+.

Data Statistics We split figures at the document level and kept all original captions and figures (graph plots, with/without sub-figures). For a figure, we kept only the first paragraph that mentions it in the body text. Table 1 shows statistics of the SciCap+ dataset.

Mention-paragraph Extraction We first obtained papers in PDF format from Kaggle arXiv dastaset ${ }^{1)}$. The reason for using PDFs is that not all papers have source

1) https://www.kaggle.com/datasets/Cornell-University/ arxiv

Figure 3 Score distribution on correlations between mentionparagraph, OCR tokens and figure captions. Both evaluators judged most of the figures with at least moderate correlations with captions.

files and some are complicated to parse. After obtaining PDFs, we used PDFFigures $2.0[4]^{2)}$ to extract the body text of each paper. PDFFigure 2.0 is a tool that extracts figures, captions, tables, and text from scholarly PDFs in computer science. In scholarly documents, authors label figures with numbers (e.g. Figure 1. Fig. 1). For a figure, we used its figure number in a regular expression to locate a paragraph that mentions it.

OCR Extraction The SciCap dataset also provides texts extracted from figures as metadata, but does not provide location information for each text. To include location information for each text in a figure, we used Google Vision OCR API to extract text tokens from each figure with its coordinates of bounding boxes.

## 3.1 Dataset Quality Evaluation

We conducted human evaluations of the SciCap+ where we checked the mention-paragraphs and OCR tokens extraction quality. The aim was to establish whether the mention-paragraphs and OCR tokens were extracted correctly and relevant to the figure and its caption. To this end, we randomly selected 200 figures from the training set and for each figure, we asked two human evaluators to give scores of 1-5 (1 represents no relevance and 5 is highly relevant) for relevance between a caption of a figure and its mention-paragraphs and OCR tokens.

Figure 3 shows the distributions of the relevance scores. We can observe that two evaluators gave most of the figures (evaluator 1: $64 \%$ and evaluator 2: $79.5 \%$ ) with relevance scores greater than 3 and a cohen kappa score of 0.28. This evaluation result indicates that the mentionparagraphs and OCR tokens have a satisfactory extraction

2) https://github.com/allenai/pdffigures2 quality and that the annotators considered most of them as relevant to the figure and its caption. However, the two annotators seem to have a relatively lower agreement $(0.28)$ regarding which figures and captions are relevant to their mention-paragraphs and OCR tokens. We attribute this to the fact that evaluations of figure captions are highly subjective.

## 4 Experimental Results

This section reports experimental results using M4CCaptioner [3] as the baseline model to study the challenge of scientific figure captioning using the SciCap+ dataset. Please refer to the appendix for implementation and training details.

## 4.1 Main Result

The experimental results in table 2 demonstrate that using the mention-paragraph and OCR tokens significantly improves scores on all five metrics compared to the figureonly baseline. The experimental results align with our hypothesis that scientific figure captioning is a knowledgeaugmented image captioning task, OCR tokens and knowledge embedded in mention-paragraphs help in composing informative captions.

We established a baseline M4C-Captioner (Figure only) with figures as the only input modality to the M4CCaptioner model in row \#1. This baseline is in the nonknowledge setting. Therefore, low scores in all metrics show that the model needs knowledge of other modalities. Using the mention only in row \#2 shows that the mention certainly contains a lot of useful information, as evidenced by the increase in performance. When OCR features are added to the figure input in row \#3, scores for all metrics have significant gains compared to the figureonly baseline, but are still weaker than when only mentions are used. This motivates the combination of mentions and OCR features and in row \#4, compared to the figure-only baseline and figure-OCR-only baseline, the performance further improves. Perhaps the most interesting result is in row \#5 where we only use the mentions and OCR features but not the figure and get the best performance, particularly for SPICE and CIDEr, albeit comparable to when the figure is included in row \#4. All these results indicate that explicitly extracted multimodal knowledge helps to compose informative captions.

Table 2 Automatic evaluation scores of M4C-captioning on SciCap dataset. Aggregate knowledge from text and vision modalities significantly boosts the model performance compared to the figure-only baseline.

## 4.2 Ablation Studies

We first performed an ablation study on figures by removing visual feature vectors, the CIDEr score increases slightly, indicating that the visual feature is more like noise for the model. This is likely because the Resnet- 152 visual encoder we used was not trained on figures.

We enriched the representations of the OCR features by adding text, visual, and spatial features. Ablation studies aim to reveal impacts of each OCR token feature. All comparisons are with row \#4 even though row \#5 gives slightly better scores. With OCR features completely removed in row \#6, the CIDEr scores decrease by 5.3. Using only OCR spatial features in row \#7, the CIDEr score dropped by 7.8. Removing OCR spatial features in row \#8, the CIDEr scores dropped by 1.2. Upon removal of OCR visual features in row \#9, the CIDEr score is close to removing spatial features.

The above ablation study indicates that the enriched OCR contributes to the informativeness of generated captions. Unlike OCR features, where appearance features are helpful to the model, removing visual features of figures increases CIDEr scores, further indicating that we need a specific vision encoder for figures to provide meaningful features.

## 5 Related Work

Unlike natural image captioning, figure captioning has been less explored. SciCap [1] is the most recent work on scientific figure captioning, comprising a large-scale scientific figure captioning dataset that includes figures from academic papers in arXiv dataset. Before SciCap,
FigCAP [5] [6] and FigureQA [7] are two figure captioning datasets, but their figures are synthesized. We decided to extend and study on SciCap dataset, since its figures are from real-world scientific papers.

The closest multimodal task to figure captioning is image captioning. Recent works on integrating texts in natural images for visual question answering and image captioning tasks are based on transformer architecture augmented with a pointer network $[8,9]$. The transformer enriches representations by integrating knowledge from both text and visual modality. The pointer network dynamically selects words from the fixed dictionary or OCR tokens during generation.

## 6 Conclusion

In this paper, we focus on scientific figure captioning as a knowledge augmented image captioning task. We transform the SciCap dataset [1]into SciCap+, by augmenting figures with their mention-paragraphs and OCR tokens. We then benchmark SciCap+ using the M4C-Captioner as the baseline model to utilize knowledge across three modalities: mention-paragraphs, figures, and OCR tokens. The experimental results reveal that using knowledge significantly improves evaluation metric scores. The release of the SciCap+ dataset promotes the further development of scientific figure captioning. For future work, we are interested in how to use multimodal pretraining strategies in this task.

## Acknowledgment

These research results were partly obtained from the commissioned research (No. 225) by National Institute of Information and Communications Technology (NICT), Japan, and partly obtained from the first author's internship research under NICT.

## References

[1] Ting-Yao Hsu, C Lee Giles, and Ting-Hao Huang. SciCap: Generating captions for scientific figures. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3258-3264, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Qiao Zhang, Cong Wang, Chunsheng Xin, and Hongyi Wu. Cheetah: An ultra-fast, approximation-free, and privacypreserved neural network framework based on joint obscure linear and nonlinear computations. arXiv preprint arXiv:1911.05184, 2019.

[3] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. Textcaps: a dataset for image captioning with reading comprehension. In European conference on computer vision, pp. 742-758. Springer, 2020.

[4] Christopher Clark and Santosh Divvala. Pdffigures 2.0: Mining figures from research papers. In 2016 IEEE/ACM Joint Conference on Digital Libraries (JCDL), pp. 143-152. IEEE, 2016.

[5] Charles Chen, Ruiyi Zhang, Eunyee Koh, Sungchul Kim, Scott Cohen, Tong Yu, Ryan Rossi, and Razvan Bunescu. Figure captioning with reasoning and sequence-level training. arXiv preprint arXiv:1906.02850, 2019.

[6] Charles Chen, Ruiyi Zhang, Eunyee Koh, Sungchul Kim, Scott Cohen, and Ryan Rossi. Figure captioning with relation maps for reasoning. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), March 2020.

[7] Samira Ebrahimi Kahou, Vincent Michalski, Adam Atkinson, Ákos Kádár, Adam Trischler, and Yoshua Bengio. Figureqa: An annotated figure dataset for visual reasoning. arXiv preprint arXiv:1710.07300, 2017.

[8] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointeraugmented multimodal transformers for textvqa. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020.

[9] Oleksii Sidorov, Ronghang Hu, Marcus Rohrbach, and Amanpreet Singh. Textcaps: a dataset for image captioningwith reading comprehension. 2020.

[10] Amanpreet Singh, Vedanuj Goswami, Vivek Natarajan, Yu Jiang, Xinlei Chen, Meet Shah, Marcus Rohrbach, Dhruv Batra, and Devi Parikh. Mmf: A multimodal framework for vision and language research. https: //github.com/facebookresearch/mmf, 2020.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and deto- kenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. TACL, Vol. 5, pp. 135-146, 2017.

[14] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE transactions on pattern analysis and machine intelligence, Vol. 36, No. 12, pp. 2552-2566, 2014.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 65-72, 2005.

[17] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp. 74-81, 2004.

[18] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[19] Peter Anderson, Basura Fernando, Mark Johnson, and Stephen Gould. Spice: Semantic propositional image caption evaluation. In European conference on computer vision, pp. 382-398. Springer, 2016.

## A Appendix

## A. 1 Implementation and Training

Our implementation of M4C-Captioner is based on the MMF framework [10] and Pytorch. The implementation allows users to specify diverse pre-trained encoders for each modality, which can be fine-tuned or frozen during training. The M4C-captioner itself has $D=768$ hidden dimension size, $K=4$ transformer layers and 12 attention heads. We used sentencepiece [11] to obtain a dictionary of 32000 subwords built from both mention-paragraphs and OCR tokens. This is used as the M4C-captioner's vocabulary. We followed the BERT-BASE hyperparameter setting and trained from scratch.

Regarding the encoders that feed features to M4Ccaptioner, we used pre-trained Resnet-152 as the figure's vision encoder. For each figure, we applied a 2D adaptive average pooling over outputs from layer 5 to obtain a global visual feature vector with a dimension of 2048 . Layers 2, 3 and 4 layers were fine-tuned during training. For mention-paragraph features, SciBERT [12] was used to encode ${ }^{3)}$ it into 758-dimensional feature vectors. The number of vectors equals the number of sub-word tokens in the mention-paragraph, which we limit to 192. The mention-paragraph encoder is also fine-tuned during training. Finally, for OCR tokens, we use both text and visual features. We selected FastText [13] as the word encoder and Pyramidal Histogram of Characters (PHOC) [14] as the character encoder. Regarding the visual feature encoder of OCR tokens, we first extracted Faster R-CNN fc6 features and then applied fc 7 weights to it to obtain 2048-dimensional appearance features for bounding boxes of OCR tokens. The $\mathrm{fc} 7$ weights were fine-tuned during training. We kept a maximum of 95 OCR tokens per figure.

We trained a model on a GPU server with 8 Nvidia Tesla V100 GPUs. Training a model with a complete set of features took 13 hours. During training, we used a batch size of 128. We selected CIDEr as the evaluation metric. The evaluation interval is every 2000 iterations, we stop training if CIDEr score does not improve for 4 evaluation intervals. The optimizer is Adam with a learning rate of 0.001 and $\epsilon=1.0 \mathrm{E}-08$. We also used a multistep learning rate schedule with warmup iterations of 1000 and a warmup factor of 0.2. We kept the maximum number of decoding steps at the decoding time as 67.

For evaluation, we used five standard metrics for evaluating image captions: BLEU-4 [15], METEOR [16], ROUGE-L [17], CIDEr [18] and SPICE [19]. Since figure captions contain scientific terms which can be seen as uncommon words, among all five metrics, we are particularly interested in CIDEr since it emphasizes them.

3) We only used the first 3 layers of SciBERT for lightweightness.