# EgoOops!データセット : 手順書に従う作業の 一人称視点映像への作業誤りアノテーション

羽路 悠斗 ${ }^{1}$ 西村 太一 ${ }^{2}$ 山本 航輝 ${ }^{1}$ 梶村 恵矢 ${ }^{1}$ 崔 泰艈 $^{1}$
亀甲 博貴 ${ }^{3}$ 森信介 ${ }^{3}$
1 京都大学大学院情報学研究科 ${ }^{2}$ LINE ヤフー株式会社
3 京都大学 学術情報メディアセンター
${ }^{1}\{$ haneji.yuto.58c, yamamoto.koki.76n\}@st.kyoto-u.ac.jp
${ }^{1}$ \{kajimura.keiya. 48x, cui.taiyu.33c\}@st.kyoto-u.ac.jp
${ }^{2}$ tainishi@lycorp.co.jp ${ }^{3}\{$ kameko,forest\}@i.kyoto-u.ac.jp

## 概要

本研究の目的は, 手順書に従う作業の一人称視点映像を，手順書を参照しながら解析し，作業の誤りの時間区間と種類を予測することである.まず，手順書に従う 5 つの作業，合計 50 本， 6.8 時間の一人称視点の作業映像を撮影し, EgoOops!データセットを構築する。映像には，事前に定義した誤りの種類と，詳細な説明文を付与している。また，大規模な一人称視点映像と言語のペアで事前学習したモデルを用いて，手順認識と作業誤り分類を統合的に行う手法を提案する。手順認識で 36.9，作業誤り分類で 22.3 の F1 スコアであった. 映像のみを用いた結果との比較から，手順書の参照が作業誤り分類に有効だとわかった。

## 1 はじめに

料理や組み立てなどの手順書に従う作業において，動作の誤りや物体の取り違えなどの作業の誤りが起こる。 そうした誤りにより，作業の質が低下したり危険が増したりする。対策としては，よく起こる誤りを特定して作業者を教育したり，誤りの発生を警告したりすることが挙げられる。こうした対策には多くの人員を要するので，作業の様子を撮影して自動で誤りを検出することが望ましい。

既存研究では，映像からの作業誤りの検出を目的として，撮影した作業映像の誤りをアノテーションしたデータセットが構築されてきた $[1,2,3,4,5]$. これらの映像からの誤り検出には, 動作認識 $[1,2,3,6]$ や映像異常検知 [4] の手法が用いられてきた. ここで，従来のデータセットの撮影では，手順を厳密に
は定めないことが多かったため $[1,2,3,5]$, 手順書を参照するモデルは実現されていない。

本研究の目的は, 一人称視点の作業映像を手順書も参照しながら解析し，手順から逸脱する作業の誤りの時間区間と種類を予測することである.まず，多様な領域に渡る 5 つの作業を手順書に従って実施し, 合計 50 本，6.8 時間の一人称視点の作業映像を収集し, EgoOops!データセットを構築する（図 1).手順区間，手順ラベル，事前に定義した 6 種類の作業誤りのラベル，誤りの詳細な説明文を映像に付与しており，作業誤りを検出するモデルの学習と評価に利用できる。また，大規模な一人称視点映像と言語のペアで事前学習したエンコーダによって, 作業映像と手順書を埋め込み，手順の認識と作業誤りの分類を統合的に行う手法を提案する。

EgoOops!データセットを用いて評価実験を行う.手順区間の特定において，動作区間検出の最高性能のモデルの mAP は 52.24 であった. 提案手法による手順認識の F1 スコアが 36.9 ，作業誤り分類の F1 スコアが 22.3 であった。作業誤りの分類で映像のみを用いると F1 スコアが大きく低下したため，手順書の参照が有効だといえる.

## 2 EgoOops!データセットの構築

本研究では，手順書に従う作業の誤り検出のために，EgoOops!データセットを構築する。本データセットは，一人称視点映像と手順書からなる.

## 2.1 手順書の用意

映像の収録前に，基準に沿って作業を選定し，手順書を用意する。

## Egocentric video

## Procedural text

Task: cardboard craft

1. "Draw auxiliary lines of the shape and the fold on cardboard according to dimensional drawings"

2. "Cut along the auxiliary lines of the shape"

3. "Leave the ends of the liner for gluing."

4. "Make incisions on the auxiliary lines of the fold."

"Fold along the incisions of the fold." "Adhere the liner with glue."

図 1: EgoOops!データセットの例. 手順書に従う作業の一人称視点映像に，手順区間，手順ラベル，事前に定義した 6 種類の作業誤りのラベル，誤りの詳細な説明文を付与する。

図 2: 作業の撮影風景

作業の選定Webを検索して手順書に従う作業を収集し，電気回路，光の混色実験，イオン反応実験, おもちゃの積み木作り，ダンボール工作の 5 つの作業を選択した。作業の領域，誤りの種類，映像の長さ，物体，動作の多様性が，選定の基準である.

手順書の用意選定した作業について，手順書を用意する. Web 上や専用のキットに付属の手順書がある作業では，利用する道具を明記するなど，著者のうち 1 名がより詳細に書き換える. 既存の手順書がない作業では，著者のうち 1 名が事前に作業して手順を書き起こしておく．日本語で手順書を用意し，英文で事前学習したモデルを適用できるように，手作業で英語版の手順書に翻訳もする．用意した手順書を参照して，収録参加者は作業を行う。

## 2.2 映像の収録

収録の工程男性 4 名の日本人の大学院生の参加者に，手順書に従って作業してもらう．参加者にそれぞれの作業を 2 本か 4 本ずつ割り当て，各作業を 10 本ずつ撮影する. 多くの作業誤りを撮影するために，我々が事前に用意したか参加者が考えた誤りを 5 本の映像では意図的に含め，他の 5 本の映像では手順書通りに作業する。

撮影環境撮影風景を図 2 に示す. Panasonic HX-A500 一人称視点カメラを，参加者の頭部に装着して撮影する。道具や手順書など作業に用いる物
を，予め机に置いておく．作業の様子を近くで撮影し，画角の変動を抑えるために，座って作業する。

## 2.3 アノテーションの規格

収録した映像に，手順区間の開始時刻と終了時刻を，手順のラベルと，作業誤りの種類のラベルと説明文とともに付与する（図 1)。手順のラベルは順序関係の誤りに，作業誤りの種類のラベルは手順の実行内容の誤りにそれぞれ対応する。本稿の実験では，作業誤りの分類に取り組む。

区間区間の開始時刻はいずれかの物体を掴んで手順を始める時点，終了時刻は手順を終えて全ての物体を離す時点とする．ただし，ある物体を持ったまま次の手順に移行する場合には，それ以外の物体を掴んだり離したりする時点とする。なお，ここでいう手順には，手順書で指示されていないが作業者が誤って実行したものもある。

手順手順書の手順には実行順のラベルが付いており，それらを参照して各区間の手順のラベルを付与する（図 1)。ただし，手順書にない手順は，未定義とする。なお，手順の重複，欠落，順番の入れ替わりが起こることがある。こうした順序関係の誤りの検出は，本稿では扱わず今後の課題とする。

作業誤りの種類と説明文作業誤りを含む区間には，事前に定義した誤りの種類のラベルを付与する. さらに，どう誤っているかを具体的に説明するために，詳細な内容を英文で記述する，定義した誤りの種類は，1. 誤った物体で手順を実行する， 2. 誤った物体を掴み，使わず手放す，3.作業誤りの訂正，4. 意図しない行動，5. 誤った方法で手順を実行する，6. その他の 6 種類である. なお，複数の種類に該当する場合も，その他に分類する。本稿の実験では，誤りの種類の予測に取り組み，将来的には
表 1: 手順数と手順あたりの単語数を作業間で比較.

表 2: 映像の平均長，映像あたりの区間数，区間の平均長を作業間で比較. 各作業 10 本ずつ撮影した.

 &  & 平均秒数 \\

説明文を応用（例：自動生成）することを目指す.

## 2.4 統計情報

EgoOops!データセットの統計情報を，手順書・映像・作業誤りについて算出する。また，別のアノテータによるアノテーションとの一致率を評価し， アノテーションの質を確かめる。

手順書表 1 に示すように，手順数や手順ごとの単語数は作業ごとに異なり，手順書の複雑さは様々だといえる。手順数は，積み木が最も少なく（7 手順)，ダンボールが最も多い (14 手順). 手順ごとの単語数は, 電気回路が最も少なく（平均 7.6 単語）,積み木が最も多い (平均 18.6 単語).

映像表 2 に示すように，映像長・区間長・区間数の観点で多様な映像を含んでいる．積み木がいずれも最小 (平均 1.9 分の映像長，平均 8.9 秒の区間長， 1 映像あたり平均 8.7 区間）であり，ダンボー ルがいずれも最大（平均 26.1 分の映像長，平均 87.7 秒の区間長，1 映像あたり平均 16.5 区間）である.

表 3: 各種類の誤りの数を作業間で比較. 種類の定義は 2.3 節を参照.

表 4: 区間の特定の結果.

作業誤り表 3 に示すように，多様な種類の誤りを含んでいる。作業ごとに特有の誤りの傾向（例： イオン反応では，誤った物体で手順を実行することが多い）があり，その傾向は作業間で多様である。

アノテーションの一致率アノテーションの質を確かめるために，別の 1 人のアノテータが新たに付与するアノテーションとの一致率を評価する。アノテータが付与した区間と手順のラベルとの一致率は，共通部分を和集合で割った tIoU で 84.2 である. それとは別に，EgoOops!データセットのアノテー ションの区間に，アノテータが作業誤りの種類のラベルと説明文を付与する．種類の一致率は F1 スコアで 83.3 であり，説明文の一致率は BERTScore [7] で 96.3 である. これらの一致率から，アノテーションが高品質だといえる.

## 3 実験

2 節で構築した EgoOops!データセットを用いて，作業誤り検出の評価実験を行う。エンドツーエンド認識にはデータ量が少ないため，1. 区間の特定， 2. 手順の認識, 3. 作業誤りの分類に分ける.

## 3.1 区間の特定

問題設定映像全体の一連の $T$ 枚のフレー ム $\mathbf{X}=\left.\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{T}\right.\}$ が与えられ, $N$ 個の区間 $\mathbf{Y}=\left.\{\mathbf{y}_{1}, \mathbf{y}_{2}, \ldots, \mathbf{y}_{N}\right.\}$ を出力する. 区間 $\mathbf{y}_{i}=\left(s_{i}, e_{i}\right)(i \in$ $[1, N])$ は, 開始時刻 $s_{i}$ と終了時刻 $e_{i}$ からなり, $s_{i} \in[1, T], e_{i} \in[1, T], s_{i} \leq e_{i}$ である. 動作区間検出で広く使われている mAPで評価する $[11,12,13,14]$.共通部分を和集合で割った tIoU が閾値以上のとき，予測区間が正解区間と一致しているとみなす。

手法動作区間検出において最高性能である, ActionFormer [9] と TriDet [10] を評価する。また，手順の実行中には物体を操作するため, hand-object detector [8] で手と物体の接触を検出したフレームが連続する区間を評価する。

結果 tIoU の閾値 $\{0.1,0.2,0.3,0.4,0.5\}$ における評価結果と，それらの平均を表 4 に示す. TriDet に

図 3: 提案手法の概要.

表 5: 手順の認識の結果. タスクごとにマクロ平均を算出し，さらにそれらの平均を示す。

表 6: 作業誤りの分類の結果. マクロ平均を示す.

よる予測の mAP の平均は 52.24 であり, 最も高精度である. EPIC-KITCHENS-100 データセット [13] の動作区間検出において，TriDet のスコアは 25.4 であり [10], EgoOops!データセットの区間は比較的検出しやすいといえる.

## 3.2 手順の認識と作業誤りの分類

タスク定義アノテーションに従い時間方向にトリミングした $M_{i}$ 枚のフレームからなる区間 $\mathbf{V}_{i}=\left.\{\mathbf{v}_{1}, \mathbf{v}_{2}, \ldots, \mathbf{v}_{M_{i}}\right.\}, N$ 手順の手順書 $\mathbf{T}=$ $\left.\{t_{1}, t_{2}, \ldots, t_{N}\right.\}, C$ 個の誤りの種類 $\left.\{m_{1}, m_{2}, \ldots, m_{C}\right.\}$ が与えられる. $t_{N+1}=$ 未定義を含めた $N+1$ 手順の一 $\supset t_{k}(k \in[1, N+1])$ と, $m_{C+1}=$ 正解を含めた $C+1$種類の一つ $m_{l}(l \in[1, C+1])$ への分類を出力する. $A$ 個の区間が一つの映像 $\mathbf{V}=\left.\{\mathbf{V}_{1}, \mathbf{V}_{2}, \ldots, \mathbf{V}_{A}\right.\}$ には含まれる. Precision, Recall, F1 スコアで評価する。

手法図3 に示すように，映像と言語の埋め込みのコサイン類似度で手順を認識し, 埋め込み空間上の分類層により作業誤りを分類することを提案する. 埋め込みには, 大規模な一人称視点映像と言語のペアからなるデータセット Ego4D [14] で事前学習した EgoVLP [15]を用いる. 本稿では, 手順認識と誤り分類を分けて評価するために，アノテーションされた手順の文の埋め込みを誤りの分類に用いる.区間 $\mathbf{V}_{i}$ のフレーム系列を, ベクトル $\hat{\mathbf{V}}_{i} \in \mathbb{R}^{d}$ に埋め込む. 各手順 $t_{j}(j \in[1, N+1])$ の文を, ベクトル $\hat{\mathbf{t}}_{j} \in \mathbb{R}^{d}$ にそれぞれ埋め込んで，手順埋め込み系列 $\hat{\mathbf{T}}=\left.\{\hat{\mathbf{t}}_{1}, \hat{\mathbf{t}}_{2}, \ldots, \hat{\mathbf{t}}_{N+1}\right.\}$ を得る. 映像の埋め込みとのコサイン類似度が最も大きい手順を認識する。

区間 $\mathbf{V}_{i}$ の映像の埋め込み $\hat{\mathbf{V}}_{i}$ とアノテーションされた手順 $t_{g t_{i}}\left(g t_{i} \in[1, N+1]\right)$ の文の埋め込み $\hat{\mathbf{t}}_{g t_{i}}$ を積み重ねて， $\mathbf{F}_{i} \in \mathbb{R}^{2 \times d}$ を得る. self-attention 層と続く average pooling 層により一次元目の方向に融合し $\tau, \mathbf{f}_{\mathbf{i}} \in \mathbb{R}^{d}$ を得る. 任意の分類器により, 作業誤りの種類 $m_{l}$ に分類する.

設定 EgoVLPの重みも学習する. 埋め込みの次元 $d=256$ とする. 分類器は 1 層の線形層とする.

結果表 5 に, 手順の認識の結果を示す. Precision は 39.6, Recall は40.0, F1 スコアは 36.9である.

表 6 に，作業誤りの分類の結果を示す. 映像と手順書を用いると，Precision は 19.1, Recall は35.1, F1 スコアは 22.3 だった. F1 スコアの 7 クラス分類におけるチャンスレートの約 14.3 より高性能である. また，映像のみを用いると $\mathrm{F} 1$ スコアが 12.0 低下したため，手順書の参照が有効だといえる.

## 4 終わりに

本研究では，手順書に従う作業の誤り検出のために，一人称視点映像と手順書からなる EgoOops!デー タセットを構築した. 手順書に従う作業を対象とする点, 誤りの種類ラベルも付与している点，作業の領域と誤りの種類が多様な点が貢献である.

収集した作業映像に対して，大規模な一人称視点映像と言語のぺアで事前学習したエンコーダを用いて, 手順認識と作業誤り分類を統合的に行った. 作業誤りの分類では，提案手法の性能がチャンスレー 卜を上回った. また，映像のみを用いた結果との比較により, 手順書の参照が有効だとわかった.

## 参考文献

[1] Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 21064-21074, June 2022

[2] Reza Ghoddoosian, Isht Dwivedi, Nakul Agarwal, and Behzad Dariush. Weakly-supervised action segmentation and unseen error detection in anomalous instructional videos. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10128-10138, 2023.

[3] Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, et al. HoloAssist: An egocentric human interaction dataset for interactive AI assistants in the real world. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 20270-20281, 2023.

[4] Rohith Peddi, Shivvrat Arya, Bhrath Challa, Likhitha Pallapothula, Akshay Vyas, Qifan Zhang, Jikai Wang, Vasundhara Komaragiri, Eric Ragan, Nicholas Ruozzi, Yu Xiang, and Vibhav Gogate. Put on your detective hat: What's wrong in this video? In Proceedings of the 40th International Conference on Machine Learning, Honolulu, Hawai, USA, 2023

[5] Tim J. Schoonbeek, Tim Houben, Hans Onvlee, Peter H. N. de With, and Fons van der Sommen. IndustReal: A Dataset for Procedure Step Recognition Handling Execution Errors in Egocentric Videos in an Industrial-Like Setting. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 4365-4374, 2024.

[6] Guodong Ding, Fadime Sener, Shugao Ma, and Angela Yao. Every Mistake Counts in Assembly, July 2023.

[7] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In Proceedings of the 8th International Conference on Learning Representations, April 2020.

[8] Dandan Shan, Jiaqi Geng, Michelle Shu, and David F. Fouhey. Understanding Human Hands in Contact at Internet Scale. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9866-9875, Seattle, WA, USA, June 2020. IEEE.

[9] Chen-Lin Zhang, Jianxin Wu, and Yin Li. ActionFormer: Localizing Moments of Actions with Transformers. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Proceedings of the European Conference on Computer Vision, Vol. 13664, pp. 492-510, Cham, 2022. Springer Nature Switzerland.

[10] Dingfeng Shi, Yujie Zhong, Qiong Cao, Lin Ma, Jia Li, and Dacheng Tao. TriDet: Temporal Action Detection With Relative Boundary Modeling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 18857-18866, 2023.

[11] Fabian Caba Heilbron, Victor Escorcia, Bernard Ghanem, and Juan Carlos Niebles. ActivityNet: A Large-Scale Video Benchmark for Human Activity Understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 961970, 2015 .

[12] Haroon Idrees, Amir R. Zamir, Yu-Gang Jiang, Alex Gorban, Ivan Laptev, Rahul Sukthankar, and Mubarak Shah. The THUMOS challenge on action recognition for videos "in the wild". Computer Vision and Image Understanding, Vol. 155, pp. 1-23, February 2017.

[13] Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling
Egocentric Vision: Collection, Pipeline and Challenges for EPICKITCHENS-100. International Journal of Computer Vision, Vol. 130, No. 1, pp. 33-55, January 2022.

[14] Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abrham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Ziwei Zhao, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 18973-18990, New Orleans, LA, USA, June 2022. IEEE.

[15] Kevin Qinghong Lin, Jinpeng Wang, Mattia Soldan, Michael Wray, Rui Yan, Eric Z. XU, Difei Gao, Rong-Cheng Tu, Wenzhe Zhao, Weijie Kong, Chengfei Cai, WANG HongFa, Dima Damen, Bernard Ghanem, Wei Liu, and Mike Zheng Shou. Egocentric video-language pretraining. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Proceedings of the Advances in Neural Information Processing Systems, Vol. 35, pp. 7575-7586. Curran Associates, Inc., 2022.

(a) 銅 (左)，亜鉛（中央），マグネシウム（右）の外観の違い. 亜鉛とマグネシウムを見た目から判別するのは困難である.

(b) マイクロ $\mathrm{QR}$ コードを添付した様子．短い直方体（左）と長い直方体（右）は類似している.

図 4: 判別が困難な物体があるため，マイクロ $\mathrm{QR}$ コードを物体に添付.

$
\begin{array}{ll}
\mathrm{d}<2.5[\mathrm{~min}] & 7.5<=\mathrm{d}<10[\mathrm{~min}] \\
2.5<=\mathrm{d}<5[\mathrm{~min}] & 10<=\mathrm{d}[\mathrm{min}] \\
5<=\mathrm{d}<7.5[\mathrm{~min}] &
\end{array}
$

図 5: 映像長（分）の分布.

## A 付録

## A. 1 データセットの構築

マイクロ QR コード名称を埋め込んだマイクロ $\mathrm{QR}$ コードを物体に添付する。作業誤りの中でも物体の誤りを検出するには，操作中の物体を認識する必要がある. しかし, 2.1 節で挙げた作業で用いる物体の中には，小さかったり外観が類似していて判別が困難なものがある. こうした物体を物体検出モデルで認識するのは困難であり，マイクロ $\mathrm{QR}$ コー ドを物体に添付する。なお，本稿の実験では，マイクロ $\mathrm{QR}$ コードの認識を使用していない. 認識結果の作業誤りの検出への活用は，今後の課題である.

映像の統計情報各映像の映像長，区間数，区間長の分布を，作業ごとに分けて示す. 図 5 に示すように，映像長の分布は作業によって異なっている. 積み木ではほとんどの映像が 2.5 分以下だが，段ボール工作では全て 10 分以上である. 図 6 に示すように，区間長の分布も作業によって異なってい

$
\begin{array}{ll}
\mathrm{d}<10[\mathrm{sec}] & 20<=\mathrm{d}<30[\mathrm{sec}] \\
10<=\mathrm{d}<20[\mathrm{sec}] & 30<=\mathrm{d}[\mathrm{sec}]
\end{array}
$

図 6: 区間長（秒）の分布.

図 7: 区間数の分布.

る. 積み木や電気回路では 10 秒以下の区間が最も多いが，ダンボール工作では 30 秒以上の区間が最も多いかつ大半を占めている. 図 7 に示すように，区間数の分布も作業によって異なっている. 光の混色，イオン反応，積み木，段ボール工作では，大半の映像で特定の区間数を含む．こうした傾向は，主に手順書の手順数や手順の複雑さの違いに由来すると考えられ，2.4 節で示した手順書の多様性が，映像の多様性にもつながっている。映像には作業間で多様性があり，さらに同じ作業内でも映像同士が異なっていることがわかる。なお，2.4 節にて，映像の統計情報の各作業における平均値を示した.


# 一人称視点に基づく テキスト駆動型アフォーダンス及び軌跡の学習

吉田智哉 1,2 栗田修平 2 西村太一 3 森信介 1
1 京都大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ LINE ヤフー株式会社
yoshida. tomoya.25h@st.kyoto-u.ac.jp shuhei.kurita@riken.jp
tainishi@lycorp.co.jp forest@i.kyoto-u.ac.jp

## 概要

視覚的アフォーダンス学習は, 入力画像中のインタラクションするべき領域を局限する課題である.先行研究によって，この課題がロボットの把持課題に有効であることが示されている一方で，多様な行動に対するアフォーダンスの学習が次の問題となっている. 本研究では，この問題の解決のためにテキスト駆動型視覚的アフォーダンス及び軌跡の学習を提案する. この課題は，テキストで表現された様々な行動に対して，それを達成するために，画像中のどの領域に，どのようにインタラクションするべきかを学習することを目的とした課題である.この課題を解決するために，一人称視点動画データセットから自動で擬似教師データセットを構築し，それを利用したモデルを提案する. 実験の結果，提案手法が先行研究のモデルと比べて優れた性能を示したことを報告する。

## 1 はじめに

人間は物体のどの領域に，どのようにインタラクションするべきかを理解しており，その知識を利用することで安全に，かつ効率的に作業を行うことができる．例えば，ドアを開けようとする際には，ノブに触れそれを回転させることにより達成する。こうした人間と物体間のインタラクションは短いテキストとして表すことが可能であり，それらで条件づけられた行動のために，視覚中のどの領域に，どのようにインタラクションするべきかを推論可能なモデルは，ロボット工学やヒューマンコンピュータインタラクションの領域において有用なツールになると思われる。

近年，Gibson [1] が提案した，環境が動物に提供する行動の可能性を表すアフォーダンスの概念をロ

(a) 先行研究

(b) 提案手法図 1 テキスト駆動型視覚的アフォーダンス学習.

ボットに適用する試みが盛んに行われており，これらの試みは視覚的アフォーダンス学習課題として定式化されている $[2,3,4,5,6,7]$. 視覚的アフォーダンス学習とは, 図 1 （左）に示されるように，入力画像（もしくは動画）中の物体に対して，インタラクションすべき領域を局限する課題である．先行研究 $[2,3]$ では，主に把持に焦点が当てられており， いくつかの研究によって，それらがロボットに応用可能であることが示されている $[8,9]$. 先行研究により，把持などの手と物体間のインタラクションにおいてアフォーダンスの学習が有効であることが示された一方で，手で把持された道具と物体間のインタラクション $[5,6]$ や目的に応じたインタラクションなどのより高次なアフォーダンス学習が次の問題となっている。

本研究では，この問題を解決するためにテキスト駆動型視覚的アフォーダンス及び軌跡の学習を提案する。この課題は，図1（右）に示されるように，テキストで表現された様々な行動に対して，それを達成するために，画像中のどの領域に，どのような方法でインタラクションするべきかを学習することを目的とした課題である。この課題の解決のために，

図 2 自動で擬似教師データを作成するための手法（左）及び，モデルの概要（右）.

大規模な一人称視点動画データセットから自動で擬似教師データを作成する手法及び，構築したデータセットを利用したモデルを提案する. 実験の結果,提案手法が先行研究におけるモデルと比べて優れた性能であることが確認できた.

## 2 テキスト駆動型視覚的アフォーダ ンス及び軌跡の学習

テキスト駆動型視覚的アフォーダンス学習は, テキストで表現された様々な行動に対して，それを達成するために，画像中のどの領域に，どのような方法でインタラクションするかを学習することを目的とした課題であり，領域は確率分布，方法は軌跡として表現される.この課題の解決のためのデータを人手で作成するには，多くの時間と費用を必要とするため，本研究では自動で擬似教師データを作成する手法を提案する。手法の流れを図 2 （左）に示す.

## 2.1 擬似教師データの作成

大規模一人称視点動画データセット $[10,11]$ には，短いクリップ内の撮影者の行動を表す短いテキスト及び，それらの行動の開始時刻 $t_{o b s}$ と終了時刻 $t_{\text {inter }}$ が付与されている1). 各 $t_{\text {obs }}, t_{\text {inter }}$ に対応する画像フレームを $F_{o b s}, F_{\text {inter }}$ と表記する。

インタラクションの分類. 人間と物体間のインタラクションの種類は大きく, “手と物体間のインタラクション（HOI）”あるいは“道具と物体間のインタラクション（TOI）”に分類可能である．HOI は，手が対象の物体と接触するインタラクションを

1）Ego4D [10] は下流タスクである Short-term action acticipation 課題のためのデータセットを利用した.表し，TOI は，把持された道具が対象の物体と接触するインタラクションを表す. 各クリップがどちらに属すかの分類，さらに TOI の場合は利用されている道具を特定することを狙いとする。これを達成するために，あるクリップとその過去のクリップに付与されているテキスト列を入力として，大規模言語モデル，LLaMA2 [12]を利用する。 適切な出力を得るために，システムプロンプトを与え，数例のサンプルを提示する.プロンプトの詳細は付録 A. 1 に添付する。

インタラクション領域の射影．短い動画クリップ内の隣接する 2 フレームの動きは基本的に小さいため，それらの関係はホモグラフィで表すことができる [13]. したがって，クリップ内の任意のフレーム同士の射影行列はその 2 フレーム間中のフレームらの射影行列を掛け合わせることによって得られる. SURF [14] アルゴリズムを用いて二つのフレーム間の特徴点マッチングを行い，4 つの特徴点ペアをサンプリングし, RANSAC [15] を適用することで $F_{\text {obs }}$ と $F_{\text {inter }}$ 間の射影行列を取得する。次に，任意のテキストを受け付ける物体検出モデル2)を利用し， $F_{\text {inter }}$ フレーム中のインタラクションしている物体（道具もしくは手）のセグメンテーションマスクを取得する．得られたセグメンテーションマスクは，計算した $F_{\text {obs }}$ と $F_{\text {inter }}$ 間の射影行列により， $F_{o b s}$ へと射影される。

軌跡の射影．点追跡モデルである CoTracker [16] を利用し， $F_{\text {inter }}$ 中のインタラクション領域に対し

lang-segment-anything

表 1 擬似テストセットにおける各ベースライン及び提案手法の結果. テキストの有無は，モデルが予測のためにテキスト情報を利用するかどうかを表す.

て 0.5 秒間の領域追跡を行う。各フレームにおける追跡結果の座標平均を計算し，それらの点を，領域の射影と同様の手法によって， $F_{o b s}$ に射影する．操作の詳細は付録 A. 2 に添付する。

## 2.2 モデル

前節で構築したデータセットを用いて，チャンネル数 $c$, 幅 $w$, 高さ $h$ からなる入力画像 $F_{o b s} \in \mathbb{R}^{c \times w \times h}$ と入力テキストに対し，インタラクションするべき領域 $P \in \mathbb{R}^{w \times h}$ 及び，軌跡 $L=\left.\{\left(x_{0}, y_{0}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ を生成する. 図1（右）に示されるように，モデルは MDETR [17] における最終層の出力を利用し， $P$, $L$ を生成する. MDETR は Transformer [18] を利用した物体検出器である DETR [19] をテキストを受け付けるように拡張したモデルであり, 物体検出及び物体セグメンテーションが可能なモデルである.領域予測では，セグメンテーション課題 [20] のためにファインチューニングされた MDETR を利用し, 目的関数 $L_{r e g}$ をバイナリ交差エントロピーとする. 軌跡予測では, 各入力座標は先行研究に倣い，線形層から成る座標エンコーダを介して高次の特徵量に変換される [21]. また，始点は領域 $P$ の中心座標とし, その後の軌跡を学習する. 各座標は MDETR から得られる特徴量を相互注意機構を介して，Transformer デコーダによって再帰的に生成される. 目的関数 $L_{t r a j}$ は二乗誤差とする. 訓練時は,損失を $L=L_{r e g}+\lambda L_{t r a j}$ として同時学習を実施する.また，入はハイパーパラメータである.

## 3 実験

## 3.1 実験設定

データセット・擬似教師データを作成するための一人称視点動画データセットとして Ego4D [10] を利用した. これにより 75,655 件の擬似データの作成を行い，それらを 69,655 件の教師データ，3,000件の検証データ，3,000 のテストデータに分割した.

評価指標. 領域推定では，先行研究や顕著性マップ推定にて一般的に利用される評価指標である，Pearson's correlation coefficient (CC), Similarity metrics (Sim) [22] 及び AUC-Judd (AUC-J) [23]を利用した [2,13]. また, Kullback-Leibler divergence は分布の裾野に敏感であるであるため利用しない [24]. 軌跡推定では, 先行研究にて一般的に利用される評価指標である，Average displacement error (ADE) 及び Dynamic time warping (DTW) [25]を利用した. さらに，座標シーケンス間の偏角を評価する Direction similarity metrics (D-Sim) を利用した. 各指標の詳細は付録 B に添付する.

ベースライン. 視覚的アフォーダンス学習課題に取り組んだ先行研究のモデルである, VRB [8], Hotspots [2] と比較を行う. どちらのモデルも言語を入力としてとらず，対象の物体のみが写っている画像に対して領域推定を行うモデルである.また，言語を介したモデルとの比較のために， Open-vocabrualy object detection において性能が最も優れている Grounding DINO [26] を利用したセグメンテーションモデルである Lang-SAM ${ }^{3)}$ と比較を行う. これらのモデルは領域予測におけるべースラインであり，軌跡予測におけるべースラインではないことを強調しておく. ベースラインの詳細は付録 C に添付する。

## 3.2 結果

表 1 に，擬似テストセットにおける提案手法とベースラインの結果を示す. ヒートマップ推定では，どの評価指標においても提案手法がベースラインよりも優れていることが確認できる．また，領域予測，軌跡予測のどちらにおいてもテキスト情報なしで学習した提案手法の性能が，ありのときよりも

図 3 領域予測及び軌跡予測の例。(a)，(b) は手と物体間のインタラクションの例であり，(c)，(d) は道具と物体間のインタラクションの例を示す. 赤い線は軌跡を表し, 矢印は終点を表す.

低いことからテキスト中に表される行動を利用することが重要であることがわかる. セグメンテー ションモデルである Lang-SAM は，評価指標 CC において他のベースラインよりも優れている一方で， AUC-Jにおいては劣る結果となっている.これは，物体中の局所的な領域でなく物体全体に対して領域を予測しているため，偽陰性に敏感な AUC-Jにおいて低くなっていることが考えられる。

## 3.3 生成例

前節において性能が優れていたべースラインである VRB と Lang-SAM 及び提案手法の生成例を図 3 に示す。また，ベースラインは領域予測のためのモデルであるため軌跡はない，手と物体間のインタラクションである (a)，(b) では，ベースライン，提案手法ともに正しい領域を示していることが確認できる。一方で，道具と物体間のインタラクションである (c), (d) ではベースラインが道具や物体全体など予測に失敗しているのに対して，提案手法では道具がインタラクションするべき領域を予測できている. しかし, 予測された領域は広く, 改善の余地がある.また，Lang-SAM の領域はどの例においても物体全体にかかっており，前節で考察した AUC-Jが低くなっている原因が反映されている.

軌跡予測については，正解データの軌跡と比較して方向のずれは大きくないものの，始点のずれが目立つことが確認できる．始点のずれは領域予測の結果によるものであるため，改善のためには領域予測の精度を向上させる必要がある.

## 4 おわりに

本研究では，新規の課題であるテキスト駆動型視覚的アフォーダンス及び軌跡の学習を提案した.この課題の解決のために, 自動で擬似教師データを作成する手法を提案し擬似データセットを構築した. また，構築したデータセットを利用し，領域と軌跡を予測するためのモデルを提案した．実験の結果，先行研究における手法と比べて提案手法が優れた性能であることが確認できた. 今回の評価は擬似テストデータで行ったが，これはモデルが真に有用であることを示すためには不十分である. 今後の課題として，人手で作成したデータで評価を行うとともに，モデルの改良を行っていきたい.

## 謝辞

本研究は JST さきがけ JPMJPR20C2 および JSPS

科研費 JP22K17983, Microsoft Accelerate Foundation

Models Research の支援を受けたものです.

## 参考文献

[1] James J Gibson. The ecological approach to visual perception: classic edition. Psychology press, 2014.

[2] Tushar Nagarajan, Christoph Feichtenhofer, and Kristen Grauman. Grounded human-object interaction hotspots from video. In ICCV, 2019.

[3] Gen Li, Varun Jampani, Deqing Sun, and Laura SevillaLara. Locate: Localize and transfer object parts for weakly supervised affordance grounding. In CVPR, 2023.

[4] Kuan Fang, Te-Lin Wu, Daniel Yang, Silvio Savarese, and Joseph J. Lim. Demo2vec: Reasoning object affordances from online videos. In CVPR, 2018.

[5] Austin Myers, Ching L Teo, Cornelia Fermüller, and Yiannis Aloimonos. Affordance detection of tool parts from geometric features. In ICRA, 2015.

[6] Zecheng Yu, Yifei Huang, Ryosuke Furuta, Takuma Yagi, Yusuke Goutsu, and Yoichi Sato. Fine-grained affordance annotation for egocentric hand-object interaction videos. In WACV, 2023.

[7] Lorenzo Mur-Labadia, Jose J. Guerrero, and Ruben Martinez-Cantin. Multi-label affordance mapping from egocentric vision. In ICCV, 2023.

[8] Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain, and Deepak Pathak. Affordances from human videos as a versatile representation for robotics. In CVPR, 2023.

[9] Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen, Thieu Vo, Ngan Le, and Anh Nguyen. Open-vocabulary affordance detection in 3d point clouds. In IROS, 2023.

[10] Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In CVPR, 2022.

[11] Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epickitchens dataset. In ECCV, 2018.

[12] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[13] Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, and Xiaolong Wang. Joint hand motion and interaction hotspots prediction from egocentric videos. In CVPR, 2022.

[14] Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool. Speeded-up robust features (surf). Computer vision and image understanding, Vol. 110, No. 3, 2008 .
[15] Martin A. Fischler and Robert C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM, Vol. 24, No. 6, 1981.

[16] Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, and Christian Rupprecht. Cotracker: It is better to track together. arXiv:2307.07635, 2023.

[17] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding. In ICCV, 2021.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.

[19] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020.

[20] Chenyun Wu, Zhe Lin, Scott Cohen, Trung Bui, and Subhransu Maji. PhraseCut: Language-based Image Segmentation in the Wild. In CVPR, 2020.

[21] Francesco Giuliari, Irtiza Hasan, Marco Cristani, and Fabio Galasso. Transformer networks for trajectory forecasting. In ICPR, 2021.

[22] Michael J Swain and Dana H Ballard. Color indexing. International journal of computer vision, Vol. 7, No. 1, 1991.

[23] Tilke Judd, Krista Ehinger, Frédo Durand, and Antonio Torralba. Learning to predict where humans look. In ICCV, 2009.

[24] Zoya Bylinskii, Tilke Judd, Aude Oliva, Antonio Torralba, and Frédo Durand. What do different evaluation metrics tell us about saliency models? PAMI, Vol. 41, No. 3, 2019.

[25] Dynamic time warping. Information Retrieval for Music and Motion, 2007.

[26] Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. arXiv preprint arXiv:2303.05499, 2023.

[27] Dandan Shan, Jiaqi Geng, Michelle Shu, and David F. Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020.

[28] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In ICLR, 2013.

## A 擬似教師データ作成の詳細

## A. 1 インタラクションの分類

大規模言語モデルはオープンソースであり，高い性能を持つ LLaMA2-60B [12]を利用した。また，システムプロンプトは, “<<SYS>> Please analyze the provided sequence of actions, focusing primarily on the last action to determine the tool for the interaction. Context from previous actions can be considered if necessary to fully understand the last action. Sequence of actions: ['action1', 'action2', 'action3', ...] 《</SYS>》 とし, 3 つの例を生成前に提示した.

## A. 2 領域・軌跡の射影

$F_{\text {obs }}$ から $F_{\text {inter }}$ までの射影行列を取得するために, hand-object detector [27]をクリップ中の各フレー ムに対して適用した。これにより，各フレーム中の手の矩形領域と，その手が触れている物体の矩形領域が得られる.これらは射影行列の計算時にマスクする領域として利用され，これを利用することで，射影結果のずれを軽減させる．射影後のセグメンテーションマスクを領域として表現するために，混合ガウスモデル（GMM）を得られたセグメンテー ションマスクに適用し, GMM からサンプリングした点にガウシアンぼかしを適用することで，領域として取得した. これらの作業により，射影結果のずれを緩和させることが期待できる。

## B 評価指標の詳細

領域推定では：
- Pearson's Correlation Coefficient (CC): 2 つの分布間の相関を測定したもの.
- Similarity Metrics (Sim): 2 つの確率分布間の類似度を測る計算したものであり，2つの確率分布間の各座標における最小値を取り，それらを合計で計算される.
- AUC-Judd (AUC-J): Area of Under Curve (AUC) 指標の派生であり，異なる閾値における 2 つの分布の一致率を計算したもの.

を利用した。

軌跡推定では：
- Average Displacement Error (ADE): 2 つの座標シー
ケンス中の各座標における二乗誤差の平均.
- Dynamic Time Warping (DTW): 2 つの座標シーケンス間の距離を，総当たりで計算し，最小となる組み合わせの絶対誤差を計算したもの.
- Direction Similarity Metrics (D-Sim): 座標シーケンスを各座標間の偏角シーケンスに変換し，変換後の 2 つのシーケンスのコサイン類似度を計算したもの.

を利用した。

## C ベースラインの詳細

実験ではベースラインとして, VRB [8], Hotspots [2], Lang-SAM ${ }^{4}$ と比較を行った. VRB と Hotspots は，対象の物体のみが写っている画像に対して領域予測をするモデルであるため，入力テキスト中の物体名を $\mathrm{spaCy}^{5}$ を用いて抽出し，その結果を Lang-SAM に入力することにより，画像中の対象の物体の矩形領域を抽出し，対象の物体のみが写る画像を取得した. また，Hotspots は，事前に定義された数種類の行動ラベルを指定することで，その行動に対応する領域を出力するモデルであるため，入カテキスト中の動詞を抽出後，Word2Vec [28]を用いて, Hotspots の持つ最も類似度が高いラベルに置き換えることで推論を行った。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# PORTER: 最適輸送を用いた Polygon Matching に基づく参照表現セグメンテーション

九曜克之 飯岡雄偉 杉浦孔明
慶應義塾大学
\{katsukuyo, kmngrd1805, komei.sugiura\}@keio.jp

## 概要

自然言語による指示で生活支援ロボットが操作できれば便利であるが，現状，生活支援ロボットの命令文理解性能は十分ではない，そこで，本研究では，複数の参照表現を含む命令文および画像から動作対象の物体のマスクを予測するタスクを扱う．既存研究では，頂点の順番は異なるが同じ多角形を表す場合を区別して扱っているため，正解と近い多角形を予測しているにも関わらず，異なる多角形と判断してしまい，不適切な学習を促してしまうという問題がある。そこで本論文では，複雑な参照表現を含む命令文から対象物のマスクを生成するセグメンテーションモデルを提案する. 本手法の新規性は，最適輸送を用いた Polygon Matching Loss の導入である。命令文，室内環境の画像，対象物のマスクで構成されるデータセットによる評価の結果，提案手法は標準的な評価尺度である mean IoU において， ベースライン手法を 10.41 ポイント上回った.

## 1 はじめに

現代社会で高齢化が進む中，日常生活における介助支援の重要性が高まっているが，その介助を担う在宅介助者は不足している。この解決策として, 被介助者に物理的な支援が可能な生活支援ロボットが注目されている [1]. 生活支援ロボットは，被介助者からの自然言語による指示で物体の把持や移動に関する操作を行うことが期待されている. しかし,現状ではその命令文理解性能は不十分である [2].

本研究では，物体操作に関する命令文が与えられた際，対象物のマスクを生成する Object Segmentation from Manipulation Instructions (OSMI) タスクを扱う。例えば，"Go into the living room and give me the pillow nearest the plant." という命令文が与えられたとき，植物に最も近い枕のマスクを生成することが望まし

Instruction : "Go into the living room and give me the pillow nearest the plant."

図 1: OSMI タスクの具体例

い. 本タスクはロボットによる物体把持において重要である。なぜなら，ロボットが物体を把持する場面では，その形状や位置を特定することが重要であり，マスクによる把持物体の領域予測のほうが，矩形領域による予測よりも望ましいからである。

OSMI タスクと関係が深いタスクとして, Referring Expression Segmentation (RES）タスク [3] がある. RES タスクに比べ，本研究で扱う OSMI タスクでは，ナビゲーション命令から始まる 2 文以上の命令文が多く，対象物を修飾する文が複数含まれている場合があり，単純な RES タスクよりも困難である.例えば，複数の物体の上にキャンドルがおいてある画像に対して，命令文 “Go to the table. And pick up the candle on the right.” が与えられているとする. その際，“the candle on the right” のみでは対象物体を特定できない可能性がある。この例では，“the table" が対象物を間接的に修飾しているため，その表現の理解が重要になる.

RES タスクを扱う既存研究は多く存在する [4-8]. しかし，これらの既存手法では，部分的なマスクしか生成されない場合や，複雑な参照表現を理解できず，対象と同カテゴリの異なる物体のマスクを生成する場合があるため，OSMI タスクのためのモデル

としては不十分である.

多角形に基づくマスクを用いて予測する手法である SeqTR [7] は, 対象物を表す多角形の頂点を予測するため，画素単位でマスクを予測する手法よりも断片的なマスクを生成する可能性は低い. しかし，頂点の順番は異なるが同じ多角形を表す場合を区別して扱っているため，正解と近い多角形を予測しているにも関わらず，異なる多角形と判断し，非効率的な学習を促してしまう問題がある。

そこで，本研究では複雑な参照表現を含む命令文から対象物のマスクを生成するセグメンテー ションモデル Polygon Optimal tRansport TransformER (PORTER) を提案する. 既存手法との主要な違いは,最適輸送を用いた Polygon Matching Loss 導入する点である.これにより, 予測マスクの頂点順序に関係なく正解マスクに近づくような学習が期待される.

本研究の独自性は以下である.

・多角形において頂点の順番が異なっても同じ多角形を表す場合を扱うために，最適輸送を用いた Polygon Matching Loss を導入する。

-大規模言語モデルを用いて，命令文に対して対象物に関する修飾関係を明瞭にする言い換えを行う Paraphraserを導入する。

## 2 問題設定

本研究で扱う OSMI タスク [6] では, 命令文が指す対象物に対して，マスクを生成することが望ましい。図 1 に本タスクの具体例を示す. 例えば，“Go into the living room and give me the pillow nearest the plant." という命令文が与えられた際，紫色の領域で示すマスクの生成を目標とする。 入力は画像および命令文である. 出力は対象物に対するマスクである. 本研究では，対象物は 1 つであることを前提とする。評価尺度として，RES において標準的である mean IoU(mIoU), Precision@k(P@k)を用いる.

## 3 提案手法

提案手法は多角形に基づくマスクを扱う手法 [7] を拡張した，OSMI タスクを扱うモデルである。既存手法では，頂点の順番が異なるが同じ多角形を表す場合を考慮していない。このような場合に対応するため, 提案手法は最適輸送に基づく Polygon Matching Loss を導入する．これは，頂点集合以外の

図 2: 提案手法のネットワーク構造.

追加情報を必要としないため，提案手法は既存の多角形に基づくマスクを扱う手法一般に適用可能であると考えられる。

既存手法との主な違いは以下である.

・多角形において頂点の順番が異なっても同じ多角形を表す場合を扱うために，頂点集合全体として正解マスクに近づける最適輸送に基づく Polygon Matching Loss を導入する。

・大規模言語モデルを用いて，命令文に対して対象物に関する修飾関係を明瞭にする言い換えを行う Paraphraserを導入する。

図 2 に提案手法のモデル構造を示す. 提案手法は大きく分けて Paraphraser, Image Encoder および Optimal Transport Vertex Predictor の 3 つのモジュー ルから構成される.

ネットワークの入力 $x$ は $x=\left.\{x_{\text {img }}, x_{\text {inst }}\right.\}$ である. ここに, $\boldsymbol{x}_{\text {img }} \in \mathbb{R}^{H \times W \times 3}, \boldsymbol{x}_{\text {inst }} \in\{0,1\}^{v \times l}$ はそれぞれ画像，命令文を表す。また， $H, W, v$ および $l$ はそれぞれ画像の高さ，幅，命令文の語彙サイズおよび最大トークン数を表す。

## 3.1 Paraphraser

OSMI タスクでは，対象物を修飾する文が複数含まれている場合があるが，既存手法はこのような場合を考慮していない。そのため，Paraphraser は命令文に対して対象物に関する修飾関係を明膫にする言い換えを行う，入力は $\boldsymbol{x}_{\text {inst }}$ であり，出力は言い換えを行った命令文 $\boldsymbol{x}_{\mathrm{p} \text {-inst }}$ である. 本モジュールでは，大規模言語モデルである gpt-3.5-turbo [9] を用いる.例として， $x_{\text {inst }}$ が “Go to the dining table. Then pick up the candle on the right.” であるとき，gpt-3.5-turbo から “\#Pick up the right candle on the dining table.\#" とい

う文を得る．次に文頭と文末の “\#”を除去することで，最終的に $\boldsymbol{x}_{\text {p-inst }}$ として "Pick up the right candle on the dining table." を得る. その後, OpenAI が提供する text-embedding-ada-002 [10] を用いて $\boldsymbol{x}_{\text {p-inst }}$ から言語特徵量 $L \in \mathbb{R}^{C}$ を抽出した. ここに $C$ は $L$ の次元数を示す.

## 3.2 Image Encoder

実世界のオブジェクトについて，単一の解像度で特徵を抽出するだけでは，小さなオブジェクトや遠くのオブジェクトに対する性能が劣化する場合がある. Image Encoder では，このような場合を扱うために, 異なる解像度を組み合わせて画像特徵の抽出を行う．本モジュールは，DarkNet-53 [11] に基づく疊み込みネットワークで構成される。入力は $x_{\mathrm{img}}$ であり, 出力は解像度の違う $M_{V}$ 種類の中間層における画像特徴量 $\left.\{V_{i}\right.\}_{i=1}^{M_{V}}$ である. ここに $V_{i} \in \mathbb{R}^{H_{i} \times W_{i} \times C_{i}}$ であり, $H_{i}, W_{i}, C_{i}$ は $V_{i}$ の画像サイズおよびチャネル数を示す. 得られた $V_{i}$ に畳み込みを行い，チャネル方向に結合することで，最終的な画像特徵量 $V \in \mathbb{R}^{H_{V} \times W_{V} \times C_{V}}$ を得る. $L$ および $V$ からマルチモーダル特徴量 $h_{M M}=\tanh (V) \odot \tanh (L)$ を得る. ただし，。は要素ごとの乗算を表す.

## 3.3 Optimal Transport Vertex Predictor

多角形に基づくマスクを扱う既存手法 $[7,8]$ では，頂点の順番が異なっても同じ多角形を表す場合を考慮できていない. Optimal Transport Vertex Predictor (OTVP) では，このような場合を扱うために最適輸送を用いてマッチングを行い，多角形の頂点を予測する。このような場合を扱うために最適輸送を用いてマッチングを行い，多角形の頂点を予測する.

OTVPは, $h_{M M}$ および頂点の埋め込み表現 $E$ を入力とし，予測マスクの頂点集合を $\hat{y}=\left.\{\hat{v}_{i} \in \mathbb{R}^{2}\right.\}_{i=1}^{M}$

形を構成する頂点の座標および頂点数を表す。

OTVP は transformer encoder および transformer decoder で構成される. transformer encoder は $n_{\mathrm{enc}}$ 層の transformer layer から構成される。 $h_{M M}$ を transformer encoder に入力し, $h_{\mathrm{enc}} \in \mathbb{R}^{H_{M M} W_{M M} \times d_{\mathrm{enc}}}$ が得られる. ここで， $d_{\text {enc }}$ は次元数を示す. transformer decoder は $n_{\mathrm{dec}}$ 層の transformer layer から構成される. $h_{\mathrm{dec}}$ 及び $E$ を transformer decoder に入力し, $h_{\mathrm{dec}} \in \mathbb{R}^{2 M \times d_{\mathrm{dec}}}$ が得られる. ここで， $d_{\mathrm{dec}}$ は次元数を示す. 最終的に， $h_{\mathrm{dec}}$ に線形変換を行うことで $\hat{y}$ が得られる.表 1: 各手法における定量的結果.

提案する最適輸送に基づくポリゴンマッチングでは，予測マスクの頂点集合と正解マスクの頂点集合とのマッチングのために最適輸送問題を解く. すなわち, 予測マスクの頂点集合 $\hat{y}$ と正解マスクの頂点集合 $y=\left.\{\boldsymbol{v}_{\boldsymbol{i}} \in \mathbb{R}^{2}\right.\}_{i=1}^{M}$ の2つが与えられたとき, 最小の輸送コストで $\hat{y} を y$ に移動させる輸送計画を求める. $\hat{y}$ および $y$ を 2 の離散分布 $\alpha=\sum_{i=1}^{M} a_{i} \delta_{\hat{v}_{i}}$ および $\beta=\sum_{j=1}^{M} \boldsymbol{b}_{j} \delta_{\boldsymbol{v}_{j}}$ とみなす. ここに， $\delta_{\boldsymbol{v}_{i}}$ は $\boldsymbol{v}_{i}$ を中心とするディラックのデルタ関数を表す。重みべクトル $\boldsymbol{a}$ および $\boldsymbol{b}$ は, $\sum_{i=1}^{M} \boldsymbol{a}_{i}=\sum_{j=1}^{M} \boldsymbol{b}_{j}=1$ を満たす.このとき, $\hat{y} と y$ の間の最小輸送コスト，すなわち $\mathscr{L}_{\mathrm{OT}}$ は次のように定義される.

$
\mathscr{L}_{\mathrm{OT}}=\min _{\boldsymbol{P} \in \mathcal{U}(\boldsymbol{a}, \boldsymbol{b})} \sum_{i=1}^{M} \sum_{j=1}^{M} C\left(\hat{\boldsymbol{v}}_{i}, \boldsymbol{v}_{j}\right) \boldsymbol{P}_{i j}
$

ここに，

$
\begin{aligned}
& \mathcal{U}(\boldsymbol{a}, \boldsymbol{b})= \\
& \left.\{\boldsymbol{P} \in \mathbb{R}^{M \times M} \mid \boldsymbol{P}_{i j} \geq 0, \boldsymbol{P} \mathbf{1}_{M}=\boldsymbol{a}, \boldsymbol{P}^{\top} \mathbf{1}_{M}=\boldsymbol{b}\right.\}
\end{aligned}
$

であり， $C$ および $\boldsymbol{P}_{i j}$ は $\hat{v}_{i}$ から $\boldsymbol{v}_{i} へ$ の輸送コストおよび輸送計画である. また, $\mathbf{1}_{M}$ は成分が全て 1 である $M$ 次元べクトルを表す. $C$ は $C\left(\hat{v}_{i}, v_{j}\right)=\left.\|\hat{v}_{i}-v_{j}\right.\|_{2}$

(1)を効率的に計算するためにエントロピー正則化を行い, Sinkhorn アルゴリズム [12]を用いる.

## 4 実験設定

本研究では，SHIMRIE データセット [6] に基づき, SHIMRIEv2データセットを構築した. SHIMRIE データセットには，指示文，対象物に関連する画像，対象物の画素単位のマスクが含まれている. SHIMRIEv2データセットを構築したのは, SHIMRIE データセットには次の 2 つの問題があるためである. (i) 多角形に基づくマスクが必要である. (ii)SHIMRIE データセットには，十分な精度のマスクを持たないサンプルが含まれている. (i) の問題に対して，SHIMRIEv2 データセットでは画素単位のマスクに加えて多角形に基づくマスクを導入した. (ii) の問題に対して,この原因は SHIMRIE デー タセットが Matterport3D データセット [13] に含まれ

"Take down the photo collage of flowers above the black shelf stand in the hallway with a basket of sports balls."図 3: 成功例の定性的結果. (a) LAVT [4], (b) MDSM [6], (c) 提案手法, (d) 正解マスク画像.

るボクセルレベルのクラス情報と，REVERIE デー タセット [2] に含まれる対象物を囲む矩形領域を用いて,半自動的に対象物の 2 次元セグメンテーションマスクを抽出していたためだと考えられる。そこで，SHIMRIEv2 データセットでは手動で精緻化したマスクを導入した。

SHIMRIEv2 データセットには，4,341 枚の画像に対応する，11,371 の命令文および対象物のマスクのペアが含まれている. 命令文の語彙サイズは 3,558,全単語数は 196,541 語, 平均文長は 18.8 である. 本研究では, 計算量削減のため, $640 \times 480$ の元画像を $256 \times 256$ にリサイズした.

## 5 実験結果

## 5.1 定量的結果

表 1 に MDSM [6], LAVT [4] と提案手法との比較に関する定量的結果を示す. 各スコアは，5回実験における平均值および標準偏差を表す. ベースライン手法として, LAVT [4] および MDSM [6] を使用した. LAVT は OSMI タスクと関連の深いRES タスクにおいて，MDSM はOSMI タスクにおいて良好な結果が得られているモデルであるためべースライン手法として選択した。

評価尺度には，mIoU，Precision@ $k(\mathrm{P} @ k)$ を用い

いRES タスクにおける標準的な尺度であるため使用した。また，本実験の主要尺度は $\mathrm{mIoU}$ とした。

表 1 より, 主要尺度である mIoUにおいて, MDSM， LAVT および提案手法はそれぞれ 24.36, 28.16 および 38.57 であり, 提案手法は MDSM より 14.21 ポイント, LAVT より 10.41 ポイント上回った. さらに, P@ 0.5 および $\mathrm{P} 0.7$ においても提案手法は MDSM, LAVT を上回る性能であった. 以上より, 提案手法
が最も良好な性能であったといえる. 主要尺度の mIoU において LAVT と提案手法の性能差は統計有意であった $(p<0.05)$.

## 5.2 定性的結果

図 3 に定性的結果を示す. 図において，(a), (b), (c) および (d)はそれぞれ，LAVTの予測マスク，MDSM の予測マスク，提案手法の予測マスクおよび正解マスクを示す. 図 3 における命令文は, “Take down the photo collage of flowers above the black shelf stand in the hallway with a basket of sports balls.”であり，対象物は画像の右側にある花のコラージュ写真である. LAVT および MDSM では，写真の一部のマスクのみを生成しており，さらに，誤って隣の展示物のマスクを生成している．それに対して，提案手法では正確に花のコラージュ写真のマスクを生成している.

## 6 おわりに

本研究では，物体操作に関する命令文の対象物のマスクを生成するOSMI タスクを扱った. 本研究の貢献は以下である.
- 多角形において頂点の順番が異なっても同じ多角形を表す場合を扱うために，最適輸送を用いた Polygon Matching Loss を提案した.

・大規模言語モデルを用いて，命令文に対して対象物に関する修飾関係を明瞭にする言い換えを行う Paraphraser を提案した。

・本タスクと関連の染いRES タスクにおいて標準的な評価尺度である mIoU，Precision@ $k$ について，提案手法がベースライン手法を上回った.

将来研究として，実機による物体把持タスクへの適用が挙げられる。

## 謝辞

本研究の一部は，JSPS 科研費 $23 \mathrm{H} 03478$ ，JST ムー

ンショット，NEDO の助成を受けて実施されたもの

である.

## 参考文献

[1] Takashi Yamamoto, et al. Development of Human Support Robot as The Research Platform of A Domestic Mobile Manipulator. ROBOMECH, Vol. 6, No. 1, pp. 1-15, 2019.

[2] Yuankai Qi, Qi Wu, Peter Anderson, et al. REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments. In CVPR, pp. 9982-9991, 2020.

[3] Ronghang Hu, Marcus Rohrbach, and Trevor Darrell. Segmentation from Natural Language Expressions. In ECCV, pp. 108-124, 2016.

[4] Zhao Yang, Jiaqi Wang, et al. LAVT: Language-Aware Vision Transformer for Referring Image Segmentation. In CVPR, pp. 18155-18165, 2022.

[5] Peng Wang, et al. OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework. In ICML, pp. 23318-23340, 2022.

[6] Yui Iioka, Yu Yoshida, et al. Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions . In IEEE IROS, pp. 7590-7597, 2023.

[7] Chaoyang Zhu, Yiyi Zhou, Yunhang Shen, et al. SeqTR: A Simple yet Universal Network for Visual Grounding. In ECCV, pp. 598-615, 2022.

[8] Jiang Liu, Hui Ding, Zhaowei Cai, Yuting Zhang, et al. PolyFormer: Referring Image Segmentation as Sequential Polygon Generation. In CVPR, pp. 18653-18663, 2023.

[9] https://platform.openai.com/docs/models/ gpt-3-5.

[10] https://platform.openai.com/docs/models/ embeddings.

[11] Joseph Redmon and Ali Farhadi. YOLOv3: An Incremental Improvement. arXiv preprint arXiv:1804.02767, 2018.

[12] Marco Cuturi. Sinkhorn Distances: Lightspeed Computation of Optimal Transport. In NIPS, Vol. 26, pp. 22922300, 2013.

[13] Angel Chang, Angela Dai, Thomas Funkhouser, et al. Matterport3D: Learning from RGB-D Data in Indoor Environments. In 3DV, pp. 667-676, 2018.

[14] Shagun Uppal, et al. Multimodal Research in Vision and Language: A Review of Current and Emerging Trends. Information Fusion, Vol. 77, pp. 149-171, 2022.

[15] Tao Mei, et al. Vision and Language: from Visual Perception to Content Creation. APSIPA Transactions on Signal and Information Processing, Vol. 9, p. E11, 2020.

[16] Rui Zhou, Cong Jiang, and Qingyang Xu. A Survey on Generative Adversarial Network-based Text-to-image Synthesis. Neurocomputing, Vol. 451, pp. 316-336, 2021.

[17] Fei Chen, Du Zhang, et al. VLP: A Survey on Visionlanguage Pre-training. Machine Intelligence Research, Vol. 20, No. 1, pp. 38-56, 2023.

[18] Jing Gu, Eliana Stefani, Qi Wu, et al. Vision-and-Language
Navigation: A Survey of Tasks, Methods, and Future Directions. In ACL, pp. 7606-7623, 2022.

[19] Yanyuan Qiao, et al. Referring Expression Comprehension: A Survey of Methods and Datasets. IEEE Transactions on Multimedia, Vol. 23, pp. 4426-4440, 2020.

[20] Aishwarya Kamath, Mannat Singh, et al. MDETRModulated Detection for End-to-End Multi-Modal Understanding. In ICCV, pp. 1780-1790, 2021.

[21] Aly Magassouba, et al. Understanding Natural Language Instructions for Fetching Daily Objects Using GAN-Based Multimodal Target-Source Classification. IEEE RA-L, Vol. 4, No. 4, pp. 3884-3891, 2019.

[22] Shintaro Ishikawa and Komei Sugiura. Target-Dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots. IEEE RA-L, Vol. 6, No. 4, pp. 8401-8408, 2021.

[23] Mohit Shridhar and David Hsu. Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction. In RSS, 2018.

[24] Oier Mees, Alp Emek, et al. Learning Object Placements for Relational Instructions by Hallucinating Scene Representations. In IEEE ICRA, pp. 94-100, 2020.

[25] Danny Driess, Fei Xia, Mehdi Sajjadi, Corey Lynch, et al. PaLM-E: An Embodied Multimodal Language Model. arXiv preprint arXiv:1804.02767, 2023.

[26] Jonathan Ho, et al. Denoising Diffusion Probabilistic Models. In NeurIPS, Vol. 33, pp. 6840-6851, 2020.

[27] Sahar Kazemzadeh, Vicente Ordonez, et al. ReferItGame: Referring to Objects in Photographs of Natural Scenes. In EMNLP, pp. 787-798, 2014.

[28] Licheng Yu, Patrick Poirson, Shan Yang, Alexander Berg, and Tamara Berg. Modeling Context in Referring Expressions. In ECCV, pp. 69-85, 2016.

[29] Junhua Mao, Jonathan Huang, Alexander Toshev, et al. Generation and Comprehension of Unambiguous Object Descriptions. In CVPR, pp. 11-20, 2016.

[30] Tsung Lin, Michael Maire, et al. Microsoft COCO: Common Objects in Context. In ECCV, pp. 740-755, 2014.

[31] Jun Hatori, et al. Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions. In IEEE ICRA, pp. 3774-3781, 2018.

[32] Mohit Shridhar, Jesse Thomason, et al. ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In CVPR, pp. 10740-10749, 2020.

## A 付録

## A. 1 関連研究

マルチモーダル言語処理に関する研究は広く行われている [14-18]. [19]では，参照表現理解タスクにおける各手法，標準データセット，標準評価尺度を包括的に紹介している.

Referring Expression Comprehension (REC) は参照表現を含む文および画像を入力とし，その対象物の矩形領域を予測するタスクである． MDETR [20] はこのタスクを扱う代表的な手法であり，モデルの初期段階において画像と言語のモダリティを融合する機構を導入し，良好な結果を得ている. Referring Expression Segmentation (RES) は, REC と同様に対象物の領域を予測するが，対象物の矩形領域ではなくマスクを予測をするタスクである．LAVT [4] はこのタスクを扱う代表的な手法であり，画像特徴量を抽出する段階で, 注意機構を介して言語特徴量と融合した特徴量を抽出する. 近年では, 対象物を画素単位で予測するのではなく，対象物を表す多角形の頂点を予測することでRES を解くアプローチもが存在する $[7,8]$.

一方，生活支援ロボットの参照表現理解を目的として，物体操作の指示文から物体を特定する問題に取り組んだ研究も存在する [21-24]. [23,24] では，対話システムを導入することで指示文の曖昧さを取り除き，物体を特定する手法を提案している。 また, PaLM-E [25] では画像と言語を扱う大規模言語モデルを用いて指示文をもとにタスクの分解および実行を行う. [6] は OSMI タスクに初めて取り組んだ論文であり，OSMI の評価のための SHIMRIE データセットを作成し，二段階のセグメンテー ションモデルである MDSM を提案した. MDSM は, Encoder-Decoder モデルで生成したマスクに対し，DDPM [26] を用いて洗練を行っている.

RES における標準的なデータセットとして RefCOCO [27], RefCOCO+ [28] および G-Ref [29] があげられる.これらはすべて MS COCO [30] から収集された画像に対して，自然言語表現でのアノテーションがされている. PFN-PIC [31] は画像および把持する対象物体に関する指示文から構成されるデータセットであり，約 20 種類の日用品を 4 つの箱に無作為に配置した物体に対する固定視点の画像を用いている. REVERIE データセット [2]表 2: Ablation Study における定量的結果.

は Remote Embodied Visual Referring Expression in Real Indoor Environments (REVERIE) タスクを行うためのデータセットであり, 経路とその終着点にある物体に対して物体操作に関する命令文が与えられている. ALFRED [32] は，自然言語による命令文とロボットのカメラ画像から，家事タスクにおけるロボットの行動を訓練するためのベンチマークである. 提案手法は SeqTR [7] と異なり, 最適輸送を用いた多角形のマッチングによって対象物の予測を行う.

## A. 2 Ablation Studies

表 2 に，提案手法の ablation studies の定量的結果を示す. ablation 条件として以下の 2 つを定めた.
- Polygon Matching Loss ablation $\mathscr{L}_{O T}$ を取り除き， $\mathscr{L}_{O T}$ の性能への寄与を調査した。表 2 より，モデル (i) における $\mathrm{mIoU}$ は 37.28 であり，モデル (iii)よりも 1.29 ポイン卜減少した. P@kにおいても同様に減少した. このことから, Polygon Matching Loss が性能向上に寄与しているといえる。これは, Polygon Matching Loss により，モデルが頂点の順序に関係なく，頂点集合全体として正解マスクに近づくように学習したためであると示唆される.
- Paraphraser ablation

Paraphraser を取り除くことで Paraphraser の有効性を調査した. 表 2 より，モデル (ii) における mIoU は 36.97 であり，モデル (iii)よりも 1.60 ポイント低かった. このことから, Paraphraser が指示文の修飾関係を明瞭にし，言語理解の向上を促したということが示唆される.


# レストラン検索・予約サイトの投稿画像分類における マルチモーダルモデルの適用検証

柳沢勇気
株式会社カカクコム
yanagisawa_yuki@kakaku.com

## 概要

レストラン検索・予約サイトの投稿画像を「料理」や「ドリンク」といった種別に分類することは，ユーザーが目的の写真を効率よく閲覧することに貢献する．大量の画像を人手で分類するのは多大な時間と労力を有するため, 自動分類モデルを用意するのが望ましい. しかし, 従来の教師あり学習モデルは学習データの作成にコストがかかる。 そこ

で，大量の画像-テキストペアで事前学習されたマルチモーダルモデルを使うことで，学習データ作成にかかるコストを無くし, 画像をゼロショットで自動分類することを試みた. その結果, 複数の画像種別において実用的な分類性能を達成し, 人手による作業を大幅に削減できることを確認できた。

## 1 はじめに

レストラン検索・予約サイトにおいて, ユーザー が投稿した画像を「料理」や「ドリンク」といった種別ごとに分類することは, ユーザーが目的の写真を効率よく閲覧することに貢献する。

株式会社カカクコムが運営するレストラン検索・予約サイト「食ベログ」 [1] においては, ユーザ一が投稿した画像を「料理」，「ドリンク」，「メニュー」，「内観」，「外観」，「その他」の種別へ分類している。これにより, ユーザーは飲食店の画像を効率よく探すことができるようになる．食べログでは，日々大量の画像が投稿されており，これを 24 時間体制で適切な種別へ人手で分類している.

大量の画像を人手で分類するのは多大な時間と労力を有するため, 自動分類モデルを用意するのが望
ましい. 解決方法としては, 自前の学習データセッ卜（画像と画像に付与したいラベルがぺアになったデータを集めたもの）を使い，教師あり学習によって学習した自動分類モデルを利用する方法が考えられる。

しかし，これにはモデルを学習させるためのデー 夕を作成する工程に多大な時間と労力がかかる. 特に，実サービスにおける運用では，分類ラベルの追加・変更をすることがある．そのたびにデータの収集とラベリングを繰り返し実施する必要があるという問題がある。

そこで本研究では，大量の画像一テキストペアで学習したマルチモーダルモデルである Contrastive Language-Image Pre-training (CLIP) [2]を活用することで，モデルの学習にかかる時間や労力を抑えつつ，レストラン検索・予約サイトにおける投稿画像の人手での分類作業を削減することを試みた。その結果，複数の画像種別において実用的な分類性能を達成し，人手による画像分類の作業を大幅に削減できた.

## 2 導入方法

食べログでは，ユーザーが投稿した画像を 24 時間体制で適切な種別へ人手で分類している. 分類作業は, 品質向上の観点から 1 画像につき 2 回実施しており, 一次作業で種別の振り分け, 二次作業で再確認して確定という流れである.

人手での分類は高品質な分類を実現する一方で，多大な労力とコストを要する. 本研究では, CLIP によるゼロショット分類を導入し, 一次作業の振り分け作業を「人」から「CLIP での分類」に置き換える方法で人手による一次作業の削減を図った。な

お，置き換えにあたっては，分類確度が高い結果のみを置き換える方針とした。分類確度が低い結果を置き換えると, 分類品質の低下や二次作業での修正増加を招くリスクがあるためである．本研究では，適合率（特定の種別に分類された画像全体のうち，実際にその種別に属している画像の割合）が $80 \%$以上の種別を人手での一次作業の対象から CLIP への分類に置き換える方針とした。

## 導入前

## 導入後

図 1 ゼロショット分類導入前後の比較

## 3 実験

実際にユーザーが投稿した画像を評価データとして，各種別に分類できるかを評価する。また，提案手法に記載した一次作業の削減率も評価する.

## 3. 1 評価データセット

評価データセットは，実際にユーザーから投稿があった画像から 1 万枚をサンプリングしたものを使用した. 種別ごとのデータ数は以下のとおりである.
- 料理: 6,365 件 $(63.7 \%)$

・ ドリンク: 636 件 $(6.4 \%)$
- メニュー: 1,002 件 $(10.0 \%)$
- 内観: 233 件 $(2.3 \%)$
- 外観: 603 件 $(6.0 \%)$
- その他: 1,161 件 $(11.7 \%)$
カッコ内は評価データ全体に対する比率を指しており，これは実際の投稿実績と同等である. 評価デ一タの画像の正解種別は人手で付与した種別を使用した. なお, 学習データはゼロショット学習のモデルを採用しているため不要である.

## 3. 2 分類手法

CLIP による投稿画像のゼロショット分類の手法 （以下，本手法）についての概要を図 2 に示した. CLIP による投稿画像のゼロショット分類にあたっては，分類を行う画像および，分類先である各種別を説明する適切なテキスト（プロンプト）を用意する.

図 2 CLIP を使ったゼロショット分類

上記のプロンプトと画像に対し CLIP の Image Encoder と Text Encoderを使用して，個々のプロンプトと画像をそれぞれ特徴ベクトルに変換する。

画像の特徴ベクトルと各プロンプトの特徴ベクトルとの間のコサイン類似度を計算し，ソフトマックス関数を適用することで, 各プロンプトがその画像に対してどれだけ「適合しているか」という確率を得る. 画像と各プロンプトとの確率を画像がそのプロンプトで説明される種別に分類される確率とみなし, 最も高い確率値を示した種別に画像を分類する.ただし，種別ごとに閾値を設定しておき，確率値が「その他」カテゴリを除く全ての種別の閾値を下回る場合には画像は「その他」カテゴリに分類する.

使用した CLIP の事前学習済みモデルは, rinna 株式会社によって提供された japanese-cloob-vit-b-16 [3] である. このモデルは, Conceptual 12M [4] の 1,200 万の言語・画像ぺアのデータを日本語に翻訳し学習データとして使用している [5] .

## 3.3 プロンプト設計

本研究では, 日本語テキストで学習されたモデルを使用した。そのため，プロンプトも日本語テキストで準備した. プロンプトは，基本的に種別の名称をそのまま使用したが，2つの観点で工夫をした。

## 3.3. 1 メニュー

「メニュー」に分類したいのは，料理やドリンクの名称と価格が記載された，いわゆる食事メニュー である.プロンプトを「メニュー」とした場合，食事メニューではない張り紙や看板などの画像が，「メニュー」に分類されてしまう傾向があった.これらの画像は「その他」種別へ分類したい. そこで本研究では，プロンプトを「フードメニュー」に修正し, 張り紙や看板などの画像と食事メニューが同じ種別に分類される確率が下がるよう工夫した.

## 3. 3.2 その他

「その他」は，「料理」，「ドリンク」，「メニユー」，「内観」，「外観」のどれにも該当しない画像を分類する.「その他」へ分類する画像は多岐に渡るため，プロンプトを網羅的に設計することは難しい，そこで本研究では，その他を表すプロンプトは設定せず，「その他」以外の種別のプロンプトと画像の確率值が一定より下回る場合に「その他」 へ分類するようにした.

## 3.4 確率値の闇値調整

「2. 導入方法」において，適合率が $80 \%$ 以上の種別を人手による一次作業から CLIP での分類に置き換えることとした. そのため，各種別の適合率が $80 \%$ 以上になるように， 3.2 で述べた確率值の閾值を調整した。図 3 に，各種別の適合率と確率値の閾値の関係を示した。

図 3 閾値ごとの適合率の推移

図 3 によると, 「料理」に関しては閾値 0 で適合率 $80 \%$ 以上を満たしていることがわかる。一方で 「ドリンク」については，閾值 0 では $80 \%$ を満たさず 0.48 付近で適合率の $80 \%$ を満たすことがわかる. よって，「ドリンク」に分類された場合には 0.48 を下回る画像を「その他」へ分類する. 同様の手順で「メニュー」，「外観」の閾値も設定した.「内観」の適合率は閾值 $0.4 \sim 0.5$ で 50\%程度まで上昇しているが， 0.5 に到達したところで $0 \%$ になる.これは分類種別が「内観」であるデータで， 0.5 以上の確率値を持つ結果が 0 件であることを示している.よって, 「内観」については, 閾値の調整で適合率 $80 \%$ を満たすことはできなかった。

## 3.5 評価結果

## 3.5. 1 性能評価

本研究による画像分類の種別ごとの性能評価を表 1 に示した.「料理」，「ドリンク」，「メニュ一」，「外観」にて適合率 $80 \%$ 以上を達成することができた. 対して「内観」と「その他」については，適合率 $80 \%$ を達成することができなかった。 そのため，参考として閾値を 0.3 にしたときの結果を記載した。なお，「その他」については全種別に対して閾値 0.3 を設定（閾値 0.3 を下回った際に 「その他」の種別を付与）したときの性能を記載した.

## 表 1 各種別の性能評価(\%)

## 3.5.2 一次作業の削減率

人手での種別の振り分けにおける一次作業の削減数の合計は, 6,949 件であった. 評価データは 1 万件のため, 削減率は $69.49 \%$ を達成できた. 削減の内訳は, 料理: 5,522, ドリンク: 265 , メニュー: 830，外観: 332 である.

## 3.6 考察

本研究の手法で, 全体として $70 \%$ 近くの一次作業を削減できることがわかった。一次作業の削減の内訳としては「料理」が多くを占めている。これは食べログにおける投稿画像の $60 \%$ 以上が「料理」 に該当する画像でありかつ「料理」の種別の分類性能が高かったことに起因する. 分類対象のデータセットの比率の高いデータに対する分類性能が高く出たことから, 本研究の手法は本タスクに対して有効であったと結論付けることができる.

種別ごとの結果を見ると「内観」の性能が低いことがわかる．分類結果を詳細に見たところ，「ビルなどの建物内にある店舗の入口」など「外観」へ分類すべき画像が「内観」とへ誤分類される傾向があった. この問題を解決する手段としては, プロンプトの変更が考えられる．たとえば，「内観」のプロンプトを「飲食店の内部」，「テーブルと椅子が配置された飲食店」などのように「内観」へ分類したい画像の特徴を具体的に説明するようなテキストを設定するなどが考えられる.

## 4 おわりに

本研究では，マルチモーダルモデルである CLIP を使用して，レストラン検索・予約サイトにおける投稿画像の人手での分類作業の削減に取り組んだ. その結果, 人手による分類作業における一次作業をおよそ $70 \%$ 削減することに成功した. CLIPのゼロショット分類を活用することで，モデル学習のためのデータ収集や再学習などの運用コストを低減した自動分類システムの構築が可能であることがわかつた.

今後の課題として, プロンプトの最適化や事前学習モデルの変更などによる, 分類性能の向上が考えられる。また，今回設定した種別以外の分類タスク (ガイドラインに反する画像へタグ付けするなど) への適用検証にも取り組みたい。

## 参考文献

1.レストラン検索・予約サイト「食べログ」。 https://tabelog.com/, 2024/1/10 閲覧

2. Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020, 2021

3. 沢田慶, シーン誠, 趙天雨. 日本語における $\mathrm{AI}$ の民主化を目指した事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会. 2022/12/13 - 2022/12/14

4. Soravit Changpinyo, Piyush Sharma, Nan Ding, Radu Soricut. Conceptual 12M: Pushing Web-Scale ImageText Pre-Training To Recognize Long-Tail Visual Concepts. arXiv:2102.08981, 2021 5. rinna 社、日本語に特化した言語画像モデル CLIP を公開。

https://rinna.co.jp/news/2022/05/20220512.html, 2024/1/10 閲覧


# サッカー実況中継を付加的情報の提供という側面から見る

森雄一郎 ${ }^{1}$ 前川在 ${ }^{1}$ 小杉哲 ${ }^{1}$ 船越孝太郎 ${ }^{1}$
高村大也 ${ }^{2}$ 奥村学 1
1 東京工業大学 2 産業技術総合研究所
\{moriy, maekawa, kosugi, funakoshi, oku\}@lr.pi.titech.ac.jp
takamura.hiroya@aist.go.jp

## 概要

本稿では，スポーツ実況における付加的情報の提供という側面に焦点を当てる。これまでの実況生成に関連する研究は，主要なイベントが起こった際映像上の内容を細かく記述するタスクの解決を志向している。しかし，現害のスポーツ実況者は，主要なイベントを取り上げるだけでなく，映像に関連する付加的な情報を提供し，観客の知的好奇心を満たす. 本研究では，大規模言語モデルを用いて実際のサッカーの試合中継における実況コメントを分析し，付加的情報の提供を担うコメントの割合を調査する。そして，分析により，付加的情報が現実の実況に多く含まれていることを示すとともに，今後の実況生成の研究において付加的情報を考慮する必要があることを主張する。

## 1 はじめに

スポーツにおける実況者の役割は，観客に対してスポーツの魅力を多角的に伝えることにある．特にサッカーのような動的なスポーツでは，実況者は試合の重要なアクションを情熱的に説明し，試合中の出来事を様々な角度から捉えることで観客の興奮を高め続ける。このような実況の重要性にもかかわらず，プロの実況者が不足していることから，見逃し配信やアマチュアスポーツの録画など，広範な領域においてその魅力を十分に伝えきれていない実情がある。そこで，自然言語生成技術を用いた実況生成の自動化が有望な解決策として提案されている $[1,2]$.

従来の研究は, 主に試合映像から発話タイミングを推定し，対応する実況文の生成を行う Dense Video Captioning (DVC) [3] タスクの一つとして実況生成に取り組んできた $[4,5]$. これらは主に映像上の主要なイベントの記述に焦点を当てているのに対して，

図 1 実況の例. 上のコメントは映像の説明を行っており，既存研究で扱われている。これに対して，下のコメントが本研究で扱うコメントであり，資料を参照しつつ映像に関連する付加的な情報を提供している。

本研究では「付加的な情報の提供」という側面に焦点を当てる．現実の実況者は，主要なイベントを取り上げるだけでなく，選手のプロフィールや試合のボール保持率といった，映像に関連する付加的な情報を提供し，観客の知的好奇心を満たすという重要な役割も果たす。例えば，図 1 下の「フィオレンティーナは彼を 700 万ユーロで獲得しました」という実況者のコメントは，フィオレンティーナが劣勢の中，クリスティアン・テージョが交代指示を待つ状況で，実況者が発話したものである。そして，これは「700 万ユーロの価値のあるクリスティアン・ テージョの活躍と，それによるフィオレンティーナの逆転への期待感を高める」という重要な役割を果たす.このように，付加的情報の提供という側面は実況においてなくてはならないものである。

本研究では，付加的情報の提供が実況の重要な側面であることを示すために，サッカー試合中継の実況コメント中に，どのくらい付加的情報が含まれるかを調査する．そのため，我々は大規模言語モデルを用いた few-shot learning を活用し，付加的情報を含むか否かを各コメントにラベル付けした実況コメントデータセットを構築する。具体的には，我々は

SoccerNet-v2 [6] に含まれるサッカー実況中継の音声を書き起こし，実況コメントを得る．得られた実況コメントは非常に数が多いため, 人手でラベル付けするのは，時間的・金銭的コストが大きいという問題がある．そこで，大規模言語モデルを使用し，低コストでラベル付けを実行する。このラベル付きデータセットは，付加的情報の提供を含む実況生成システム構築に利用できる. 最後に, 我々は大規模言語モデルにより付与されたラベルを集計し，その割合を算出することで，付加的情報が現実のサッカー実況中継に多く含まれていることを明らかにする. さらに，付加的情報を含むコメントの時間帯別・イベント別の使用率を調査し, 構築したラベル付きデータセットの特徴を捉える。調査により，使用率が時間帯や関連するイベントの種類で異なることが分かった.

## 2 関連研究

## 2.1 実況生成

スポーツ実況生成の研究は，サッカー $[5,1,2,7]$,野球 [8]，ゲーム映像 [4] などの領域を対象に行われている. 実況生成の研究は主に，テキストやデータを用いる手法と映像を用いる手法，または両方を使う手法がある. Kubo ら [1]の SNS の書き込みを使う手法や Taniguchi ら [2] のデータを使う手法は, 実況者が観戦している映像を用いずに実況文を生成している. 最近は, 急速に発展しているVision and Language の技術を用いて，映像を入力とする実況文生成手法も提案されている. 例えば, Ishigaki ら [4] は，レーシングゲームの映像と追跡データを入力として，(1) 発話タイミングの推定と (2) 実況文の生成を行うタスクを提案している. Mkhallati ら [5] は， SoccerNet-v2 [6] に収録されているサッカー実況中継の試合映像のみを入力とする実況生成タスクを提案している. さらに, Mkhallati らはこのタスク用に SoccerNet-Caption という新しいデータセットを構築した. このデータセットには, サッカーの試合映像に基づいたキャプションが含まれている．映像を入力として用いる実況生成の研究 $[4,5,8]$ は, DVC と呼ばれるタスクから着想を得ている．DVC とは，映像中の重要なイベントを検出し, 各イベントの説明文を生成するタスクである。 そして，DVC タスクを発展させる形で, Qi ら [9] は選手やチーム, プレー に関する知識を補強するための知識べースを用いた
サッカー実況文生成を提案している. これらの研究は映像上のイベントの説明に焦点を当てているのに対して, 本研究では映像だけでは得られない付加的な情報の提供という側面に焦点を当てる。

## 2.2 実況発話のラベリング

発話ラベリングは，音声や発話テキストに対して，話者の意図や発話内容のラベルを予測するタスクであり，これまで多くの応用研究が行われた. 例えば，音声通話の発話意図推定 [10] やメールスレッドを対象とした発話テキストの分類 [11]，会議や日常会話における発話行為のタグ付け [12] がある. 最近では，実況に関連する研究も存在し，上田ら [13] はレーシングゲームの実況発話内容ラベルの推定手法を提案した. 本研究では, 「付加的情報」という新たな視点に基づいて発話ラベリングを行うため，既存の発話ラベルセットを利用せず，独自の基準を設定した（詳細は 3.1 節で述べる）.

発話ラベリングは，分類もしくは系列タグ付けとして定式化されており，近年はラベル付きデータセットを用いてニューラルネットワークを学習する手法が用いられる [13]. 本研究では, 発話ラベリングを分類問題として捉え，大規模言語モデルの few-shot learning [14] によりラベル付けを行う.

## 3 データセット構築

本節では，ラベル付き実況コメントデータ構築の手順を述べる（概要を図 2 に示す)，我々は， 3.2 節の実況コメント収集と 3.3 節の自動ラベリングを行い，最終的に表 1 に示すような 428,834 件のラベル付きコメントデータを作成した。

図 2 データセット構築の概要図.

## 3.1 付加的情報の定義

まず，本研究における付加的情報を定義する．付加的情報とは「実況者が見ている映像からは分から
表 1 構築したラベル付きコメントデータの例. 試合情報は試合の日付，開始時間，チーム名，最終スコアを含む. 付加的情報かは，実況テキストが付加的情報を含むならば Yes，含まないならば Noをとる。

ない，外部から必要な情報」とする．我々は，全ての実況コメントに対して，付加的情報が含まれるか否かという 2 值分類をおこなった。

## 3.2 実況コメント収集

本研究では，SoccerNet-v2 [6] をデータソースとして用いる. SoccerNet-v2には，500 試合の実況音声付きサッカー中継映像があり，そのうち約 $80 \%$ \%が実況者による発話を含む．実況は，英語・スペイン語を中心とする 12 種類の言語により提供される.我々は, SoccerNet-v2 の映像のうち, 実況者の発話を含む試合を対象とした。対象とした試合の映像に含まれる実況音声を Whisper large-v2 [15] で書き起こす. Whisper large-v2 を用いることで, 多言語の音声の書き起こしと，対応する発話時間の推定を同時に行うことができる. なお, Whisper large-v2 の利用にあたり (1)ノイズと (2) 書き起こし単位の問題が発生した。付録 A にそれぞれの詳細と対処法を示す.

## 3.3 大規模言語モデルを用いた自動ラベリ ング

我々は， 3.2 節で収集されたコメントを，大規模言語モデルの few-shot learning で自動ラベリングした. モデルに与えるプロンプト，利用したモデルやパラメータ等の設定を以下で述べる.

プロンプト我々は，モデルへの指示と人手で作成した few-shot 事例, 対象のコメントでプロンプトを構成した. ラベリング例や対象コメントには，参照すべき文脈情報として，(1) 対象の前 2 件のコメント，(2)試合チームと日付・最終スコアを与えた。 ラベリング例には分類した理由も与えており，大規模言語モデルの出力時も同じく理由を述べるように指示した. 図 3 にプロンプトの例を示す. なお， few-shot 事例は，人手で分類した 100 件の実況コメントの比率に合わせ，付加的情報を含むコメント 2 件，含まないコメント 5 件で構成した1).

図 3 プロンプトと大規模言語モデルによる応答の例.応答は，ラベリング対象のコメントに対するラベルとその理由で構成される。

大規模言語モデルの設定我々は, トークンあたりの料金と性能のバランスを考慮し, gpt-3.5-turbo1106 [16] を用いた. デコードのパラメータは，再現性を考慮して temperature $=0$ のみ指定し，残りはデフォルト値を用いた2) ${ }^{2)}$ 自動ラベリングに掛かったコストは約 300USDである.

## 4 分析

本節では，3節の自動ラベリングの性能を評価し，大規模言語モデルにより得られたラベルの信頼性を確認する。また，データセット構築によって得られたラベルを集計して，付加的情報が含まれるコメントの割合を確認し，現実のサッカー実況には付加的情報の提供という重要な側面もあることを定量的に示す. さらに，付加的情報を含むコメントの時間帯別の使用率を調査し，構築したラベル付きデータセットの特徵を捉える. 最後に，擬似的な主要イべントのラベルを用いて，実況者が付加的情報を提供するタイミングについて分析する.

自動ラベリングの評価大規模言語モデルによる自動ラベリングの信頼性を担保するために，無作為にサンプリングした実況コメント 100 件について， 2人のアノテータにより人手で付与したラベル3）と

2) https://platform.openai.com/docs/api-reference/cha t/create

3）人手ラベルの妥当性を確保するため，2 人のアノテータがそれぞれラベリングを行った. 2 人が付けたラベルにおける Cohen の $\kappa$ 係数 [17] は 0.798 であった. ラベルがアノテータ

図 4 時間帯別の付加的情報の使用率. ラベルの割合は 5 分間隔で集計したため，グラフは前・後半それぞれ，アディショナルタイムを含めて 10 個の点で構成される.

の Accuracy, Precision, Recall, $F_{1}$ を評価した.このサンプル 100 件には，人手で付加的情報を含むと判断されたコメントが 14 件，含まないと判断されたコメントが 86 件含まれている。評価結果は，Accuracy が 0.97 , Precision が 1.0 , Recall が 0.75 , そして $F_{1}$ が 0.86 であった ${ }^{4)}$. この結果から，大規模言語モデルは高い精度で実況コメントをラベリングできていることがわかる.

ラベルの割合付与されたラベルごとの実況コメント数を算出すると，「付加的情報を含む」コメントの数は 56,718 で，全体の 13 \%であることがわかった. 一方で，「付加的情報を含まない」コメントの数は 370,396で，全体の 86 \%である. さらに，「その他」のカテゴリーには 1,718 件のコメントが含まれており，これは全体の 1 \%未満である ${ }^{5)}$.この 13\%という值は，付加的情報を含むコメントが無視できない割合で存在することを示している. つまり, 現実の実況において付加的情報の提供という側面も重要であることが分かった.

時間帯別の使用率本研究では，実況コメントが時系列データであるという特性を考慮し, 付加的情報を含むコメントの時間帯別の使用率を分析する。図 4 に示す通り，使用率は時間帯によって大きく異なることが分かる. 特に, 序盤（試合開始から 5 分まで）では約 $21 \%$ のコメントが付加的情報を含んでおり，これは中盤や終盤の約 2 倍に相当する. この傾向は，実際のサッカー実況で一般的に見られる特性と一致している。通常，実況者は試合の展開や大会の全体構造に関する説明から始め，試合序盤には視聴者に有益な情報を多く提供する傾向がある. したがって，試合序盤の高い使用率は，このような実況者の行動傾向を反映していると考えられる.

間で異なる事例は，2 人で議論しラベルを決定した。

4） Precision, Recall, $F_{1}$ は， Yes ラベルに対して算出した.

5）「その他」は，入力可能なプロンプトの上限超過や非英語のコメントの影響など，様々な理由でラベル付けができなかったコメントを指す（詳細は B に示す）.
タイミング SoccerNet-Caption [5]に含まれるキャプションデータには，主要イベントに関するラベル6) が付与されており，これを元に，実況コメントへのラベル付けを擬似的に実施した．具体的には，主要イベントの時間を示すタイムスタンプの前後 5 秒間に発話開始時間が含まれる実況コメントを，その主要イベントに関連する事例として擬似的に対応付けた. その後, 主要イベントに関連する付加的情報を提供するコメントの使用率を算出した結果，主要イベント周辺では，全体における使用率 $13 \%$ に比べて高いことが判明した（詳細は付録 C. 3 に示す). 特に，イエローカードやレッドカードの場面では $23 \%$ であり，この傾向が顕著であった.

## 5 議論・今後の展望

本稿では，大規模言語モデルによる few-shot learning を活用した 428,834 件のコメントのラベリングにより，現実の実況において付加的情報を含むコメントが $13 \%$ 存在することがわかった. つまり，我々は，現実のサッカー実況には映像の説明としての側面だけでなく，付加的情報を提供するという重要な側面もあると定量的に示した. また，分析により，付加的情報の使用率や提供タイミングに関する，構築したラベル付きデータセットの特徵を捉えた. なお，このデータセットは，付加的情報の提供を含む実況生成システム構築に利用できる。

本研究の展望としては, 付加的情報に関する詳細な分析と，この情報を活用した実況生成システムの構築が挙げられる．今後，我々は付加的情報を含むコメントを細かく分類7）することで，付加的情報の内容を詳しく分析する。 つぎに，実況コメントから付加的情報を抽出し，各試合ごとの実況準備資料 （付加的情報の知識ベース）を構築する. そして,この準備資料を活用しつつ付加的情報を含む実況文を適切なタイミングで生成する，新たな実況生成タスクに取り組む.これは，映像の理解と効果的な情報提供を必要とする挑戦的な Vision and Language タスクであり，より現実に近いサッカー実況生成への一歩であると考えられる。

6）コーナーキック，イエローカードの提示，ゴール，選手交代などを指す.

7）付加的情報の分類のラベルセットは，(1) スタッツか経歴やエピソードかといった言及内容，(2) 選手やチームなどの言及対象，(3) 過去か現在の試合かという時間軸を基準に作成する.

## 参考文献

[1] Mitsumasa Kubo, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Generating live sports updates from twitter by finding good reporters. In 2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT), Vol. 1, pp. 527-534. IEEE, 2013.

[2] Yasufumi Taniguchi, Yukun Feng, Hiroya Takamura, and Manabu Okumura. Generating live soccer-match commentary from play data. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 7096-7103, 2019.

[3] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In Proceedings of the IEEE international conference on computer vision, pp. 706-715, 2017.

[4] Tatsuya Ishigaki, Goran Topic, Yumi Hamazono, Hiroshi Noji, Ichiro Kobayashi, Yusuke Miyao, and Hiroya Takamura. Generating racing game commentary from vision, language, and structured data. In Anya Belz, Angela Fan, Ehud Reiter, and Yaji Sripada, editors, Proceedings of the 14th International Conference on Natural Language Generation, pp. 103-113, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[5] Hassan Mkhallati, Anthony Cioppa, Silvio Giancola, Bernard Ghanem, and Marc Van Droogenbroeck. Soccernet-caption: Dense video captioning for soccer broadcasts commentaries. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5073-5084, 2023.

[6] Adrien Deliege, Anthony Cioppa, Silvio Giancola, Meisam J. Seikavandi, Jacob V. Dueholm, Kamal Nasrollahi, Bernard Ghanem, Thomas B. Moeslund, and Marc Van Droogenbroeck. SoccerNet-v2: A dataset and benchmarks for holistic understanding of broadcast soccer videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 4508-4519, June 2021.

[7] Masashi Oshika, Kosuke Yamada, Ryohei Sasano, and Koichi Takeda. Transformer-based live update generation for soccer matches from microblog posts. arXiv preprint arXiv:2310.16368, 2023.

[8] Byeong Jo Kim and Yong Suk Choi. Automatic baseball commentary generation using deep learning. In Proceedings of the 35th Annual ACM Symposium on Applied Computing, pp. 1056-1065, 2020.

[9] Ji Qi, Jifan Yu, Teng Tu, Kunyu Gao, Yifan Xu, Xinyu Guan, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li, and Jie Tang. Goal: A challenging knowledge-grounded video captioning benchmark for real-time soccer commentary generation. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management, CIKM '23, p. 5391-5395, New York, NY, USA, 2023. Association for Computing Machinery.

[10] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor,
Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational linguistics, Vol. 26, No. 3, pp. 339-373, 2000.

[11] Tatsuro Oya and Giuseppe Carenini. Extractive summarization and dialogue act modeling on email threads: An integrated probabilistic approach. In Kallirroi Georgila, Matthew Stone, Helen Hastie, and Ani Nenkova, editors, Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 133-140, Philadelphia, PA, U.S.A., June 2014. Association for Computational Linguistics.

[12] Emile Chapuis, Pierre Colombo, Matteo Manica, Matthieu Labeau, and Chloé Clavel. Hierarchical pre-training for sequence labelling in spoken dialog. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2636-2648, Online, November 2020. Association for Computational Linguistics.

[13] 上田佳祐, 石垣達也, 小林一郎, 宮尾祐介, 高村大也ほか. 実況における発話ラベル予測. 研究報告音声言語情報処理 (SLP), Vol. 2021, No. 1, pp. 1-6, 2021.

[14] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[15] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision. In International Conference on Machine Learning, pp. 2849228518. PMLR, 2023.

[16] OpenAI. Introducing chatgpt. https://openai.com/b log/new-models-and-developer-products-announc ed-at-devday, 2023.

[17] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and psychological measurement, Vol. 20, No. 1, pp. 37-46, 1960.

[18] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python. O'Reilly Media Inc., 2009.

[19] Tibor Kiss and Jan Strunk. Unsupervised multilingual sentence boundary detection. Computational linguistics, Vol. 32, No. 4, pp. 485-525, 2006

## A データ構築の詳細

本節では，データ構築時に Whisper large-v2 を使用したときに発生した問題と対応方法について述べる.

ノイズ実況音声は，観客の歓声などのノイズが含まれるが，Whisper large-v2 の出力はおおむね正確である。しかし，実況者が沈黙しているときに，実況者の最後の発話テキストが繰り返し出力されることがある．この繰り返しによるノイズは，現実の実況を収集する上で不要であり，さらにはコメントのラベルの集計結果に影響を与えうるため，分析において問題となる. 我々は, 繰り返しの初めのテキストのみを残し，それ以降の書き起こしは削除した。

書き起こし単位 Whisper large-v2による音声の書き起こしの際，テキストが途中で断片化（セグメント化）されることがある.これは，一貫性のないラベリング単位を作ることになり，加えて文章として成立していないものを含んでしまうため，大規模言語モデルラベリング性能に悪影響を与える可能性がある. 我々はこの問題を避けるため，nltk [18] の Punkt Tokenizer [19] を使って Whisper large-v2 の書き起こしを適切な文単位に分割する8).

## B 制限

本研究にはデータ構築における課題が残されている. それは，自動ラベリングの不具合と信頼性である.

まず，自動ラベリングの不具合であるが，これにはいくつかの型がある．例えば，大規模言語モデルがロシア語などの実況コメントの文脈情報を汲み取れず，-1や2のような指示外のラベルをつける場合があった. また，Punkt Tokenizer の後処理にも関わらず，実況コメントが 10,000 以上の単語で構成される事例があり，その影響でプロンプトが OpenAI のトークン制限を超過する場合があった.

つぎに，自動ラベリングの信頼性である．4 節で自動ラベルと人手ラベルを比較した際，偽陽性はなかったが，偽陰性は存在した. 偽陰性が発生した原因としては，(1) データ構築処理に起因するものと (2) 大規模言語モデルに起因するものがある. (1) の例として取り上げるのは，「In 2010.」である.

8）分割後の文にも時間情報を付与するため，元の断片的なテキストに付属する時間情報を用いた。その結果，実況コメントの発話区間どうしに重なりが発生した. しかし，この設定は DVC と同様であるため，特に問題はないと考える.表 2 データセットの統計値.

表 3 サッカーの各主要イベントに関連するコメントの付加的情報の使用率.

これは，Punkt Tokenizerによる処理後にもかかわらず，「In 2010.」が 1 文として認識されてしまい，意味のある情報だと判断されなかったことが原因として考えられる。(2) の例として取り上げるのは， $\lceil$ He's been taken under the wing by Victor Fernandez $\cdots$ （省略）」である．本来ならば，この発話は映像外の知識を必要とする。しかし，大規模言語モデルはうまくこの文脈を捉えられず，付加的情報を含まないと判断してしまった.

## C 分析の詳細

## C. 1 自動ラベリングの詳細

本節では， Few-shot 事例に含むラベルの割合を変化させたときの自動ラベリングの性能の変化について調査する．ラベルの割合を同数（付加的情報を含むもの 3 件，含まないもの 3 件）にした場合は， Accuracy が 0.74 , Precision が 0.27 , Recall が $0.67, F_{1}$ が 0.38 となった. これは, 自動ラベリングの際に用いた割合 (付加的情報を含む 2 件と，含まない 5 件) の時と比較して，全ての評価指標で下がっている。

## C. 2 データセットの統計

構築したデータセットの統計を表 2 に示す. 表から，付加的情報を含む実況コメントは，文字数・発話時間ともに，平均より長いことが分かる.

## C. 3 タイミング分析の詳細

各主要イベントにおける付加的情報の使用率を表 3 に示す.


# 日本語投機的デコーディングの検討

林崎由 能勢隆 伊藤彰則
東北大学
hayashizaki.yu.t5@dc. tohoku.ac.jp
\{takashi.nose.b7, akinori.ito.a2\}@tohoku.ac.jp

## 概要

投機的デコーディングは，言語モデルによるテキスト生成において, 出力の精度を低下させることなく推論を高速化する手法として注目を集めている。 この手法ではドラフトモデルと呼ばれるより小規模な言語モデルを利用することで生成の一部並列化による推論速度の向上を害現している。一方，これまでの検討は英語が中心であり, 日本語などの言語固有の性能やドメイン依存のメカニズムについては明らかになっていない. 本研究では, 日本語を対象として，モデルサイズの異なる複数の事前学習済み言語モデルに基づきドラフトモデルを構築し, 日本語要約タスクにおける投機的デコーディングの効果検証およびトークン単位での詳細な分析を行う.

## 1 はじめに

大規模言語モデル (LLM) は，多種多様なタスクを高精度で解くことができる汎用性から, 自然言語処理の根幹を担う技術として注目を集めている [1,2]. その一方，これらのモデルは一般的にパラメータ数が非常に多く, 1 回の推論につき 1 つしかトークンを生成できないため, テキスト生成速度が遅いことが問題となっている. 言語モデルによるテキスト生成を高速化する手法も多く提案されているが $[3,4]$, いずれも出力精度の低下が避けられない. この性質により，マルチモーダル対話 $[5,6]$ や自動運転 [7] などのリアルタイム性と出力品質が同時に要求される用途での応用が妨げられている.

出力の精度を低下させることなくテキスト生成を高速化する手法として，投機的デコーディング (Speculative decoding)[8, 9] が注目されている.この手法では，推論を高速化したい対象の言語モデル (ターゲットモデル) に対し，ドラフトモデルと呼ばれるより小規模な言語モデルにより高速に複数の候補トークンを逐次生成した後，ターゲットモデルに

図 1: 投機的サンプリングの概要図

より並列に出力を検証する投機的サンプリングと呼ばれる処理を繰り返す (図 1). 候補トークンが受理された場合，ターゲットモデルの 1 回の推論につき，同時に複数のトークンを生成することができるため，高速化を実現することができる．ドラフトモデルを追加で運用する必要があるが，この手法で生成されたトークンの分布は単一のターゲットモデルで生成した場合と一致することが理論的に保証されている $[8,9]$ ため，有望な手法であると言える.

一方，投機的デコーディングにより得られる効果はドメインに依存することが知られている. 先行研究では，英語での要約 $[8,9]$, 英独翻訳 [8]，コード生成 [9] でテキスト生成速度が変化することを示しているが，ドメイン依存の詳細なメカニズムについては明らかになっていない，また，言語固有の特徴 $[10,11]$ が影響を与える可能性があるにも関わらず，英語以外での検証も行われていない。

そこで本研究では, 日本語の事前学習済み言語モデルを構築し, 要約生成タスクXLSum[12]により投機的デコーディングの効果検証を行う．また，ター ゲットモデルにより検証されるトークンに着目し， そのメカニズムを分析する。なお，実験で使用したコードとモデルはhttps://github.com/u-hyszk/ japanese-speculative-decoding で公開している.

## 2 投機的デコーディング

投機的デコーディング $[8,9]$ は，言語モデルでのテキスト生成において出力の精度を低下させることなく推論を高速化する手法である.この手法では，推論の対象となるターゲットモデルに対し，より小規模なドラフトモデルを用いて予め $\gamma$ 個の候補トー クンを逐次生成した後，ターゲットモデルにより並列に出力を検証する投機的サンプリング (アルゴリズム 1) による部分的な並列推論を繰り返し行うことでトークンを生成する1). 各投機的サンプリングにおいて，ターゲットモデルでの推論は 1 回しか行われないが2)，アルゴリズム 1 の 10 行目においてトークンが受理された回数に応じて最大で $\gamma+1$ 個のトークンを生成できるため，高速化が期待される. また，この処理で生成されたトークンの分布は単一のターゲットモデルで生成した場合と一致することが理論的に保証されている $[8,9]$.

投機的デコーディングでは, (1) ドラフトモデルの推論速度が速く，(2) ドラフトモデルとターゲットモデルの出力分布が近いほど，高速化が期待される. (2) について，より具体的には，トークンが受理される確率であるトークン受理率 $\beta$ と確率分布 $p(y), q(y)$ 間の全変動距離 $D_{\mathrm{TVD}}(p \| q)$ との間に次式の関係があることが示されている $[8,13]$.

$
\beta=1-D_{\mathrm{TVD}}(p \| q)
$

ただし，全変動距離 $D_{\mathrm{TVD}}(p \| q)$ は以下のように定義される。

$
D_{\mathrm{TVD}}(p \| q)=\sum_{y}\left|\frac{p(y)-q(y)}{2}\right|
$

このトークン受理率 $\beta$ は，一般的には平均トークン受理率 $\alpha$ (検証された総トークン数に占める受理されたトークンの割合) で報告され， ドメインに依存して変化することが知られている。，例えば，Chen ら [9] は，コード生成タスク Human Eval[14] では $\alpha$ が高く, 英語要約タスク XSum[15] では $\alpha$ が低くなる傾向にあることを報告している。

## 3 日本語言語モデルでの検討

本研究では，モデルサイズが異なる複数の日本語事前学習済み言語モデルを構築し, 要約生成タスク

1） $p(y)$ および $q(y)$ はそれぞれドラフトモデル $M_{p}$, ター ゲットモデル $M_{q}$ の出力分布である. また, $y \sim p(y)$ は確率分布 $p(y)$ からトークン $y$ がサンプリングされたことを表す. $U$ は一様分布である.

2）アルゴリズム 1の5 6行目で 1 回のみ並列で推論を行う.

XLSum[12]により，投機的デコーディングの効果検証を行う．本節では，日本語での検証を行うためのドラフトモデルの事前学習 (3.1 項), および追加学習 (ファインチューニング)(3.2 項)について述べる.

## 3.1 日本語ドラフトモデルの事前学習

本研究では，日本語での投機的デコーディングの効果検証を行うために，モデルサイズが異なる複数の日本語言語モデルを事前学習から構築し，ドラフトモデルとして使用することとした．事前学習から行った理由としては以下の 3 つが挙げられる:

1. 投機的デコーディングでは，ターゲットモデルとドラフトモデルの出力分布同士の演算を行うため，両方のモデルで共通の語彙を使用する必要がある.

2. 公開されている日本語の事前学習済み言語モデルのうち，上記の条件 1 を満たしているものは少ない．条件を満たすものについても，異なるモデルサイズが少ないため，分析できる範囲が限られる3)4)。

3. 投機的サンプリングにおける受理率の向上と出力の正確な分析のために，学習に用いるデータセットが同じであることが望ましい.

4) https://www.cyberagent.co.jp/news/detail/id=28817
構築した事前学習モデルのモデルサイズとアー キテクチャは付録 A. 1 の通りである. 重要な点として, 全てのモデルで OpenCALM $1 b^{5}$ )と同じトークナイザを用いることで，共通の語彙を使用できるようにした. また，学習データセットも全てのモデルで共通であり, 日本語 Wikipedia ${ }^{5}$ および日本語 CC-100[16] から 1 億 240 万文を取得して使用した.詳細については付録 A. 1 に示す.

## 3.2 日本語評価タスクでの追加学習

本研究では，日本語における投機的デコーディングの評価に多言語要約データセットの XLSum[12] を採用し, 前項の事前学習済みモデルに対して XLSum を用いた追加学習を行った. 追加学習を行った理由としては，モデルの出力をタスクの内容と一致させることで公平な評価を行うためであ

の要約から構成されたデータセットである.このうち日本語の学習用データ 7110 文により追加学習を行った (付録 A.2). テストデータ 889 文を使用して，自動評価指標 Rouge[17] により評価した結果を付録 A. 2 に示す. また, OpenCALM medium $/ \mathrm{small}^{5}$ ) を同様に追加学習した結果も併記する. 表 3 の結果から, 前項で作成した事前学習済み言語モデルは,先行研究のモデルと同程度の要約性能を有していると考えられる。

## 4 実験

本節では， 3.2 節で作成した要約モデルを使用して，日本語における投機的デコーディングの効果を検証する。まず，実験条件について述べ (4.1 項), 生成高速化実験の結果を示し (4.2 項), 最後に受理されたトークンについて分析を行う (4.3 項).

## 4.1 実験条件

使用データ 3.2 節で述べた XLSum のテストデー タ 889 文のタイトルと本文を入力として使用した.

使用モデル 3.2 節で作成した要約モデルを使用した. ターゲットモデルには 409M パラメータのモデルを使用し，ドラフトモデルにはそれ以外のモデルを使用した.なお，すべての実験はRTX 30901

表 1: 日本語 XLSum による投機的デコーディングの結果. ただし，ターゲットモデルのパラメータ数は 409M である.

枚を搭載した単一の計算機により行った.

評価指標先行研究 $[8,9]$ と同様に, 次式で定義されるスピードアップを評価指標とした。なお， $t_{\text {target }}$ はターゲットモデルの 1 トークンあたりの生成時間， $t_{\text {spec }}$ は投機的デコーディングによる 1 トークンあたりの生成時間である.

$
\text { Speedup }=\frac{t_{\text {target }}}{t_{\text {spec }}}
$

また，ドラフトモデルとターゲットモデルの出力の近さを表す平均トークン受理率 $\alpha$ と, ドラフトモデルの推論速度を確認する指標として，ターゲットモデルに対するドラフトモデルの 1 トークンあたりの生成時間の比 $c$ も同様に報告する. なお，全ての評価指標において 3 回の測定の平均値を報告する.

ハイパーパラメータ出力の多様性を制御する Temperature( $T$ ) は $\{0.0,1.0\}$ で評価した. 候補トークン数 $\gamma$ は $\{1,3,5,7\}$ の 4 種類で評価した.

## 4.2 日本語要約タスクでの生成高速化実験

実験の結果を表 1 に示す.なお，表 1 では最もスピードアップが高かった場合の候補トークン数 $\gamma$ の結果のみを表記し，候補トークン数を変えた場合の結果は付録 A. 3 に示す. Temperature が 0.0, 1.0 の両方の場合において，ドラフトモデルが 47M の場合に最もスピードアップが大きくなり，それぞれ $\mathrm{x} 2.02$, $\mathrm{x} 1.55$ のスピードアップが得られた. 英語要約タスクにおいて 2 倍から 3 倍程度のスピードアップが得

図 2: 受理された回数が多いトークンの上位 15 個

られた先行研究 $[8,9]$ と比較した場合, 若干速度向上の幅は小さいが，これについては言語やモデルサイズの違いが一因であると考えられる。

一方，ドラフトモデルのモデルサイズを変更して $\alpha$ や $c$ が変化した場合，スピードアップが著しく低下する傾向も見られた. この傾向は先行研究 $[8,9]$ と同様であるものの, モデルサイズを細かく調整した本実験の結果から，得られるスピードアップはモデルサイズに対して鋭敏である可能性が示唆された. すなわち，投機的デコーディングによる効果を最大限得るためには，ターゲットモデルに合わせてドラフトモデルのサイズを慎重に選定することが重要であると考えられる。

## 4.3 受理トークンの傾向分析

本項では，投機的デコーディングにより受理されたトークンの傾向を分析する。まず，表 1 において，最もスピードアップが大きくなった，ドラフトモデルのパラメータ数が $47 \mathrm{M}$, Temperature $T=0.0$,候補トークン数 $\gamma=1$ の場合について, 受理されたトークンの上位 15 個を図 2 に示す7). この結果から，受理されたトークンの上位には，句読点や括弧などの補助記号，および助詞が多く含まれていることが分かる。また，XLSum 特有のニュースに関連する名詞も上位に含まれている。

次に，受理されたトークンについて， $\mathrm{MeCab}^{8}$ による形態素解析を行った結果を図 3 に示す9). モデルサイズによる比較のため，パラメータ数 $6 \mathrm{M}$ の場合と $247 \mathrm{M}$ の場合の結果も併記する.この結果から, 出力全体に対しても受理されるトークンの大部

7）被検証トークンとは，アルゴリズム 1 の9行目において検証されたトークンのことを指す。

8) https://taku910.github.io/mecab/

9）複数の名詞から構成されるトークンの場合は「複合名詞」 と表記した. また，複数の品詞から構成されるトークンは，「名詞+助詞」などと表記した。

図 3: 受理されたトークンの品詞分類

図 4: 受理された回数が多い「名詞」トークンのワー ドクラウド

分は名詞や補助記号，および助詞が占めていることが分かる. また，モデルサイズが大きくなるほど，名詞のトークン受理率が高くなる傾向が見られる.

最後に,「名詞」に属するトークンのうち, 受理された回数が多いものをワードクラウドにより可視化した結果を図 4 に示す.この結果から，ニュース特有の「トランプ」「COVID」などのトークンが上位を占めていることが分かる。

以上の結果をまとめると，(1) ターゲットモデルにより受理されるトークンは名詞や補助記号，および助詞が大部分を占めており，(2)このうち名詞にはドメイン特有のトークンが多く含まれていた. 特に (2)については，投機的デコーディングのドメイン依存のメカニズムとして, 名詞トークンの受理率が大きく関連している可能性が示唆された。

## 5 まとめ

本研究では，日本語の事前学習済み言語モデルを構築し，要約生成タスク XLSum により投機的デコーディングによる推論速度向上の効果検証を行った. 分析の結果，日本語でも適切なモデルサイズを選択することで投機的デコーディングが有効であることが確認された．また，ターゲットモデルにより受理されるトークンは名詞や句読点などの補助記号，および助詞が大部分を占め，特に名詞がドメイン依存を引き起こしている可能性が示唆された.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. In ArXiv, 2023.

[3] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. In ArXiv, 2015.

[4] Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Quantized neural networks: Training neural networks with low precision weights and activations. J. Mach. Learn. Res., Vol. 18, No. 1, p. 6869-6898, jan 2017.

[5] Takato Yamazaki, Tomoya Mizumoto, Katsumasa Yoshikawa, Masaya Ohagi, Toshiki Kawamoto, and Toshinori Sato. An opendomain avatar chatbot by exploiting a large language model. In Svetlana Stoyanchev, Shafiq Joty, David Schlangen, Ondrej Dusek, Casey Kennington, and Malihe Alikhani, editors, Proceedings of the 24th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 428-432, Prague, Czechia, September 2023. Association for Computational Linguistics.

[6] Ryota Yahagi, Yuya Chiba, Takashi Nose, and Akinori Ito. Multimodal dialogue response timing estimation using dialogue context encoder. In Svetlana Stoyanchev, Stefan Ultes, and Haizhou Li, editors, Conversational AI for Natural Human-Centric Interaction, pp. 133-141, Singapore, 2022. Springer Nature Singapore.

[7] Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, and Shunsuke Aoki. Evaluation of large language models for decision making in autonomous driving. In ArXiv, 2023.

[8] Yaniv Leviathan, Matan Kalman, and Yossi Matias. Fast inference from transformers via speculative decoding. In Andreas Krause, Emma Brunskill, Kyunghyun Cho, Barbara Engelhardt, Sivan Sabato, and Jonathan Scarlett, editors, Proceedings of the 40th International Conference on Machine Learning, Vol. 202 of Proceedings of Machine Learning Research, pp. 1927419286. PMLR, 23-29 Jul 2023.

[9] Charlie Chen, Sebastian Borgeaud, Geoffrey Irving, Jean-Baptiste Lespiau, Laurent Sifre, and John Jumper. Accelerating large language model decoding with speculative sampling. In ArXiv, 2023.

[10] 貴弘岩畑. 英語と日本語の構文選択における差異について.人文研究 $=$ Studies in humanities, No. 175, pp. 95-122, 2011.

[11] 光弘大村. 文化を映し出すことば：日英比較から文化を言語学する. 人文論集, Vol. 66, No. 2, pp. 81-95, 012016.

[12] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, Online, August 2021. Association for Computational Linguistics.
[13] Yongchao Zhou, Kaifeng Lyu, Ankit Singh Rawat, Aditya Krishna Menon, Afshin Rostamizadeh, Sanjiv Kumar, Jean-François Kagy, and Rishabh Agarwal. Distillspec: Improving speculative decoding via knowledge distillation. In ArXiv, 2023.

[14] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. Evaluating large language models trained on code. In ArXiv, 2021.

[15] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[16] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In ArXiv, No. arXiv:1911.02116. arXiv, April 2020.

[17] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[19] Alex Andonian, Quentin Anthony, Stella Biderman, Sid Black, Preetham Gali, Leo Gao, Eric Hallahan, Josh Levy-Kramer, Connor Leahy, Lucas Nestler, Kip Parker, Michael Pieler, Jason Phang, Shivanshu Purohit, Hailey Schoelkopf, Dashiell Stander, Tri Songz, Curt Tigges, Benjamin Thérien, Phil Wang, and Samuel Weinbach. GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch, 9 2023. https://github.com/ EleutherAI/gpt-neox.

[20] Kenta Shinzato. HojiChar: The text processing pipeline, September 2023. https://github.com/HojiChar/HojiChar.

## A 付録

## A. 1 事前学習の詳細

事前学習では, 表 2 の9種類の Transformer Decoder モデル [18] を構築した. 事前学習ではライブラリ GPT-NeoX[19] を使用した. 日本語 CC-100 データセットについては，学習データ量を絞るため， 1 文あたり 30 文字以上の文のみを使用し，両方のデー タセットで NFKC 正規化を行った. これらの一連の前処理には，ライブラリ hojichar[20]を使用した. テストデータ 50000 文により, perplexityを評価した結果を表 2 に示す。 パラメータ数が増えるにつれて， perplexity が低下していることが確認できる.

表 2: モデルのパラメータ数とアーキテクチャ

## A. 2 追加学習モデルの要約性能

XLSum は日本語の学習用データ 7110 文により 10 エポックの追加学習を行い，損失が最も小さくなったモデルを選択して実験に使用した. テストデータ 889 文による評価結果では (表 3), 同パラメータ数・ トークナイザの OpenCALM medium $/$ small $^{5)}$ と比較しても, 同程度の要約性能となっていることが確認できる.

表 3: 日本語 XLSum による追加学習

## A. 3 候補トークン数を変えた場合の結果

Temperature が $0.0 ， 1.0$ の両方の場合において，ドラフトモデルが $47 \mathrm{M}$ の場合に最もスピードアップが大きくなり，それぞれ $\mathrm{x} 2.02 ， \mathrm{x} 1.55$ のスピードアップが得られた. 一方，ドラフトモデルのモデルサイズを変更して $\alpha$ や $c$ が変化した場合，スピードアップが著しく低下する傾向も見られた. 例えば，表 4 において， $T=0.0, \gamma=1$ のとき，パラメータ数 $47 \mathrm{M}$ と $29 \mathrm{M}$ を比較すると, $\alpha$ と $c$ がそれぞれ 0.027, 0.020 しか変わらないにも関わらず，スピードアップは $x 2.02$ から $x 1.24$ に低下していることが分かる. また，実験設定によっては，スピードアップが等倍より低くなる場合もあった。

表 4: 日本語 XLSumによる投機的デコーディングの結果. ただし，ターゲットモデルのパラメータ数は 409M である


# 拡散過程を用いたキャプション生成における分類器導入の精度 への影響の検証

平野理子 1 小林一郎 1
1 お茶の水女子大学
\{g1920535, koba\}@is.ocha.ac.jp

## 概要

近年，拡散過程を用いた生成モデルは連続領域において最先端の性能を達成しており，離散データ生成においても盛んに研究が行われている。本研究では，拡散言語モデルを使って自然言語処理タスクの一つであるキャプション生成に取り組み，精度向上を目的に画像による制御を言語モデルとは別の構成要素（分類器）によって行う手法と言語モデルのみで実現する手法の性能の違いについて検証を行なった．実験で測定された精度に関して提案手法は比較手法を上回ることができなかったが，提案手法によって画像の内容に応じたキャプションが一定の精度で生成できることを確認した。

## 1 はじめに

自然言語文生成においては，汎用言語モデルの出現により言語モデル中心の文生成が主流となっている。一方，近年，画像生成においては，拡散過程 （Diffusion Process，DP）を採用した手法が，敵対的生成ネットワーク（GAN）による従来の最高性能を超える画像の生成を可能にした [1]. また Li ら [2] によって，本来連続的な情報を扱う DP に対して離散情報である自然言語を扱えるようにした Diffusion Language Model (DLM) が提案されており, 従来の最高性能を超えるような制御可能な自然言語文生成の可能性が示されている.この拡散過程を使った制御可能な自然言語文生成を可能とした先行研究 [2] では，外部の構成要素（分類器）を導入し制御を行い良い精度を達成している一方，分類器を使用せずに良い精度を達成している拡散過程を用いた制御可能な自然言語文生成手法も提案されている [3]. これら背景を踏まえ，本研究は拡散過程を用いた画像キャプショニング手法の開発，また分類器の導入の有無による精度への影響の調査を目的とする。

## 2 関連研究

拡散モデルによる画像生成 Stable Diffusion [4] やDALL・E2 [1] は拡散過程を用いて画像を生成するモデルである。これらは与えられたテキストからその内容に従った画像を生成するタスクや画像から画像への変換タスクなどにおいて，非常に高い精度を達成している. Stable Diffusion はノイズ除去ネットワーク内の U-Net 層にてテキストプロンプトを Cross-Attention を使用して Transformer [5] に条件づけることで，入力テキストに応じた画像生成を可能にしている.

拡散過程を用いた seq2seq 自然言語文生成 DiffusionLM [2] は生成文に小さな制約をかけることに成功したが，より高難度な条件を与える seq2seq タスクにおいても拡散過程を用いたモデルは高い性能を示している. SeqDiffSeq [3] はその一例で，新しいノイズスケジュールを提案しテキストの品質と推論時間に関して他の拡散ベースのモデルと比較して多くの seq2seq 生成タスクの性能を向上させた. ノイズ除去ネットワークにはフルアテンションの BART decoder [6] を使っており，ソースシーケンスも入力として与えることで分類器を含まないモデル構造 (Classifier free) になっている.

SSD-LM 拡散言語モデルであり，革新的な二つの大きな特徵を持つ。一つ目は，多くの拡散言語モデルはシーケンス全体を一度に生成する非自己回帰的である一方，SSD-LM [7] では半自己回帰的にシー ケンス内でトークンを左から右に生成することで出力の長さの柔軟性が向上している。また一般的な自己回帰言語モデルと同じトークナイザーを採用することで，追加の学習なしで外部の既製分類器を使った制御を可能としている。実際に条件付き条件付きでないテキスト生成どちらにおいても競合ベースラインを上回り，高いモジュール性も備えている.

## 3 拡散過程を用いたキャプション 生成

## 3.1 提案手法

本研究は拡散過程を用いたキャプション生成手法の開発と精度向上に取り組んでおり, 画像による制御の方法として言語モデルとは別の構成要素となる分類器（Classifier）を導入する場合としない場合の二つの手法を提案し, 精度や結果の比較を行う. 導入をする場合，提案モデルは拡散過程に基づく言語モデル (DLM:Diffusion Language Model) と分類器の二つの要素から構成され，DLM の自然言語文生成過程を分類器で制御することによって画像の内容を説明するキャプションを生成する．分類器を導入しない場合においては，DLM 内のノイズ除去ネットワーク (DNN:Denoising Neural Network) に画像の情報を渡すことで，入力画像に応じた制御を行う.

## 3.2 拡散過程に基づく言語モデル (DLM)

DLM とは拡散過程を用いた非自己回帰の言語モデルのことである. DLMを構築するには標準的な連続状態を扱う拡散モデルに幾つかの修正を加える必要があり，埋め込みと丸め込みの過程の導入がその一つである. 埋め込み関数を定義することで離散データであるテキストを連続空間に写像し，丸め込み過程によって連続空間のベクトルを単語を表すべクトルに変換する. DLM の学習の対象はピュアなノイズからノイズを徐々に除去し, 最終的に流暢性のある自然言語文を生成する過程である. つまり各タイムステップにおけるノイズの除去 $p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right)$ を実現する際，必要となるパラメータを学習する. 具体的な学習の流れとしては，まず学習テキストデー タをトークン化し，各トークンをべクトル空間に埋め込む. サンプリングされたタイムステップ $t$ によって決められる量のノイズを埋め込み表現に乗せ，ノイズの乗った状態 $\mathbf{x}_{t}$ にする. ノイズの乗った状態 $\mathbf{x}_{t}$ とタイムステップ $t$ をノイズ除去ネットワー ク $f\left(\mathbf{x}_{t}, t\right)$ に与え, 元のノイズの乗っていない状態のデータ $\mathbf{x}_{0}$ を推測させる. 推測した $\mathbf{x}_{0}$ から丸め込んだトークン列 $w$ も求め, 損失関数 (式 (1)) に従ってこれらと元のデータとの損失を計算する。

$
\begin{aligned}
L_{\mathrm{DLM}} & =\mathbb{E}_{q_{\phi}\left(\mathbf{x}_{0: T} \mid \mathrm{w}\right)}\left[\left.\|\tilde{\boldsymbol{\mu}}_{t}\left(\mathbf{x}_{t} ; \mathbf{x}_{0}\right)\right.\|^{2}+\sum_{t=2}^{T}\left[\left.\|\mathbf{x}_{0}-f\left(\mathbf{x}_{t}, t\right)\right.\|^{2}\right]\right] \\
& +\mathbb{E}_{q_{\phi}\left(\mathbf{x}_{0: 1} \mid \mathrm{w}\right)}\left[\left.\|\mathrm{w}-f\left(\mathbf{x}_{1}, 1\right)\right.\|^{2}+\log p_{\theta}\left(\mathrm{w} \mid \mathbf{x}_{0}\right)\right]
\end{aligned}
$

## 3.3 分類器を使用する手法

分類器分類器の役割は, DLM が自然言語文をサンプルする過程の中で反復的に生成する潜在変数に対して勾配更新を行うことにより，最終的に生成される自然言語文を制御することである。このような条件 $c$ を満たすように潜在変数 $\mathbf{x}_{0: T}$ を制御するモデルは式 (2)で表せる. 本研究で条件 $c$ とは画像,特に画像特徵量のことを指す。

$
p\left(\mathbf{x}_{0: T} \mid c\right)=\prod_{t=1}^{T} p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right)
$

右辺の確率を分解すると，

$
\begin{aligned}
p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, c\right) & \propto p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right) \cdot p\left(c \mid \mathbf{x}_{t-1}, \mathbf{x}_{t}\right) \\
& =p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right) \cdot p\left(c \mid \mathbf{x}_{t-1}\right)
\end{aligned}
$

式 (3) 右辺第一因子の各タイムステップでのノイズの除去 $p\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}\right)$ は DLM によってパラメータ化する.つまり式 (3) 右辺第二因子のデータにノイズの乗った状態 $\mathbf{x}_{t}$ から制御条件 $c$ への変換 $p\left(c \mid \mathbf{x}_{t-1}\right)$ が分類器の学習対象である.

学習過程分類器はDLM 内のノイズ除去ネットワーク $f\left(\mathbf{x}_{t}, t\right)$ の出力を使用するため, DLM と分類器は同時に学習を行う. 具体的には, 分類器はノイズの乗った状態 $\mathbf{x}_{t}$ から $f\left(\mathbf{x}_{t}, t\right)$ が推測するノイズの乗る前の状態 $\mathbf{x}_{0}$ を入力として受け取り,これから線形回帰で画像特徵量を予測する. 予測画像特徴量 $\tilde{c}$ と正解画像特徴量 $c$ 間の二乗平均誤差を DLM の損失関数の式 (1) に追加することで（式 (4)), DLM と分類器の同時学習を実現している。

$
L_{\mathrm{DLM} \& C \text { lassfier }}=L_{\mathrm{DLM}}+L_{\mathrm{MSE}}(\tilde{c}, c)
$

生成過程分類器を導入する場合，DLM の生成過程を分類器が制御することで画像に応じた自然言語文が生成される (図 1). 具体的な流れとしては, まず入力としてガウシアンノイズ $\mathbf{x}_{T}$ と画像をモデルに与え, $t=T$ から 1 までの各タイムステップにおいて次の流れを繰り返す.ノイズの乗った状態 $\mathbf{x}_{t}$ から学習をさせた DLM 内のノイズ除去ネットワー ク $f\left(\mathbf{x}_{t}, t\right)$ を使って言語特徴量 $\mathbf{x}_{0}$ を抽出させる. 抽出された言語特徴量から分類器によって予測画像特徵量 $\tilde{c}$ を求め, その予測画像特徴量と正解画像特徴量間の二乗平均誤差と $\mathbf{x}_{t}$ にのっているノイズの量の和から勾配を求め $\mathbf{x}_{t}$ を更新する. 更新した $\mathbf{x}_{t}$ と更新された $\mathbf{x}_{t}$ から改めて推定した $\mathbf{x}_{0}$ を使って, 1 タイムステップノイズを除去した状態 $\mathbf{x}_{t-1}$ をサンプ

図 1 分類器を使用した際のキャプション生成の流れ

図 2 分類器を使用しない場合のキャプション生成の流れ

リングする. この流れを反復的に各タイムステップで実行し，最終的に画像に応じたキャプションの生成を実現している。

## 3.4 分類器を使用しない手法 (Classifier Free)

続いて分類器を導入しない手法について説明をする。制御を行う外部要素がない場合，画像による制御を行うために単純に DLM 内のノイズ除去ネットワークに画像特徴量 $c$ を条件として与える.

$
\tilde{\mathbf{x}_{0}} \approx f\left(\mathbf{x}_{t}, t, c\right)
$

ノイズ除去ネットワークに画像特徴量 $c$ を条件付けする方法として，ネットワーク内の Multi-Head Attention 層において Cross-Attention を導入している. つまりノイズの乗った状態 $\mathbf{x}_{t}$ と画像特徴量 $c$ から, $Q=\mathbf{x}_{t} \cdot W_{Q}, K=c \cdot W_{K}, V=c \cdot W_{V}$ として $Q, K, V$ を用意する。.このようにすることで DLM 内の潜在変数に画像の情報が注入されるようになっている (図 2).

## 4 実験

本実験の目的は提案手法を用いて入力画像から実際に生成されるキャプションの精度を求め評価を行うことで, 分類器の導入の有無による精度の違いを検証することである.

## 4.1 実験設定

データセットデータセットには, Microsoft $\mathrm{COCO}^{1 ｝ \text { を使用する. 広く使われている Karpathy 分 }$割方法 [11] に従って 113,287 枚を学習データ，5,000

1) https://cocodataset.org/\#home枚を評価データとしこれを用いてパラメータ調整を行った. 残りの 5,000 枚をテストデータとし評価を行う. DLM の学習時語彙数は 13,461 , 埋め込み次元は 256 に設定されている。また DLM 内の DNN(ノイズ除去ネットワーク) には BERT Encoder [5] を使用しており，画像から特徴量を抽出する手法には BLIP [12] を採用している.

評価指標他の手法と提案手法の性能比較として，生成されたキャプションを品質と多様性の 2 つの側面から評価する．品質の評価としては 5 つの評価指標を導入している。まず画像キャプショニングの標準的な評価方法に従って 4 つの評価指標 BLEU [13], METEOR [14], ROUGE-L [15], CIDEr [16] を用いる. BLEU や METEOR は機械翻訳，ROUGE-L は要約，CIDEr は画像キャプショニングタスクによく使われる評価指標である.これらは生成文と正解文の間の文字列類似性を図るため，意味的類似性の評価を目的に BERTScore [17] を導入する．続いて多様性の指標として 3 つ導入をしている。一つ目の dist-1 は各生成文内の多様性を測定するものであり，值が低いと生成文に繰り返しの単語がより含まれていることを示唆する．続いて文レべルの自己 BLEUを使って文レベルの多様性を評価する.これは 1 つの画像からの出力セットにおける n-gram 重複を測定するもので，值が低いことは多様性が高いと考えられる．最後に出力セット内の異なる 4-gram の比率を表す多様な 4-gram (div-4)を計算する。提案手法についてひとつの画像ごとに 5 つのサンプルを生成し多様性の評価指標を計算している.

比較手法比較手法として 3 つの手法, OFA [8], LaBERT [9] と DDCap [10] を使って性能を比較する. OFA は現在の SOTA な画像キャプショニング手法の一つであり，モダリティ (画像や言語) とタスクを統合して扱う seq2seq モデルである. LaBERT は文長制御が可能な DLM と同じく非自己回帰的にキャプションを生成する. DDCap は拡散過程を用いてキャプション生成に取り組んでいる Classifier free 手法である．提案手法の DLM では内部のデータは連続状態であるのに対し，DDCap はデータを離散状態のまま DLM 内で取り扱う。

## 4.2 結果

評価指標において，提案手法は分類器の有無に関わらず比較手法と比べて良い精度を達成することは
表 1 実験結果

表 2 分類器の有無による生成キャプション例の比較

有:A man holding a plate of food standing in a kitchen.無:A man that is sitting on in a kitchen.

有: a man sitting on a bench reading a book 無:A bench on the edge of a park bench.

有:Two young people sitting on a court is tire 無:A group of people sitting around a bench or UNK.

有:A classroom vintage of luggage two pieces of various suitcases 無:A luggage suitcase is out in the middle of the luggage.

有:A piece of pizza sitting on top of a green plate.無:A cup of on a plate near a.

有:A man riding a motorcycle down a drive.無:A man riding a motorcycle down the street.

有:A bird perched on a branches of a tree forest in Michael.無:A bird sitting on top of a tree.

有:A papers of buses that are parked on the ground 無:A city is down the street.

理方法について修正が必要であると考えている。

## 5 まとめ

拡散過程を用いた生成モデルは，ピュアなノイズから反復的に少しずつノイズを除去することで，最終的にデータをサンプルする. 本研究では拡散過程を用いた画像キャプショニング手法を開発し，また分類器の導入の有無による精度の比較を行った. 実際に画像からキャプションを生成する実験を通して, 分類器を導入しない手法よりも分類器を使用して制御を行う手法の方が評価指標において高い精度を達成することを確認した. また分類器の導入の有無に関わらず，提案手法は拡散過程を用いて画像から画像の内容を適切に捉えたキャプションを一定の精度で生成できることを示している。一方提案手法は他の拡散言語モデルを使った画像キャプショニング手法を含め比較手法と比べ良い精度を達成できていない. 今後は，言語モデル DLM 内のノイズ除去ネットワーク (DNN) について様々な構造を試したり, 分類器を使わない場合において画像の特徵量の DNN のの力の仕方を改良したり，提案手法の更なる精度の向上に取り組みたい。

## 謝辞

本研究は JSPS 科研費 18 H05521 の助成を受けて

行ったものです.

## 参考文献

[1] Ramesh Aditya, et al. Hierarchical text-conditional image generation with CLIP latents. CoRR, 2022.

[2] Xiang Lisa Li, et al. Diffusion-lm improves controllable text generation. ArXiv, Vol. abs/2205.14217, , 2022.

[3] Yuan Hongyi, et al. Seqdiffuseq: Text diffusion with encoder-decoder transformers. ArXiv, 2022.

[4] Rombach Robin, et al. High-resolution image synthesis with latent diffusion models. CoRR, 2021.

[5] Vaswani Ashish, et al. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[6] Mike Lewis, et al. BART: Denoising sequence-tosequence pre-training for natural language generation, translation, and comprehension. 2020.

[7] Xiaochuang Han, et al. Ssd-lm: Semi-autoregressive simplex-based diffusion language model for text generation and modular control. ACL: Annual Meeting of the Association for Computational Linguistics.

[8] Wang Peng, et al. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. CoRR, 2022.

[9] Chaorui Deng, et al. Length-controllable image captioning. arXiv preprint arXiv:2007.09580, 2020.

[10] Zixin Zhu, et al. Exploring discrete diffusion models for image captioning. arXiv preprint arXiv:2211.11694, 2022.

[11] Karpathy Andrej, et al. Deep visual-semantic alignments for generating image descriptions. CoRR, Vol. abs/1412.2306, , 2014.

[12] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, 2022.

[13] Kishore Papineni, et al. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002.

[14] Satanjeev Banerjee, et al. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. 2005.

[15] Unnat Jain, et al. Two can play this game: Visual dia$\log$ with discriminative question generation and answering. 2018.

[16] Ramakrishna Vedantam, et al. Cider: Consensus-based image description evaluation. 2015.

[17] Zhang Tianyi, et al. Bertscore: Evaluating text generation with bert. 2020 .