# Masked Image Modeling を利用した情景画像中のテキスト認識

三ツ井悠翔 宮崎智 大町真一郎
東北大学大学院
yuto.mitsui.s1@dc.tohoku.ac.jp tomo@tohoku.ac.jp
shinichiro.omachi.b5@tohoku.ac.jp

## 概要

既存のテキスト認識手法は実世界におけるデータセットのサンプル数が少ないため，合成データセットを用いて学習がされているが、実世界で発生する問題に対応できない。そこで，ラベルがない実画像の利用によってテキスト認識モデルの可能性を引き出すことが考えられており，テキスト認識に対する自己教師あり学習手法が検討されている。本研究では、Masked Image Modeling を利用し、文脈情報を考慮した新たなマスキング戦略を提案した。実験の結果，提案するマスキング戦略の有効性が実証された。

## 1 はじめに

情景画像中のテキスト認識は自然なシーンにおけるテキストの読み取りを目標としており，幅広い応用が存在するため重要なタスクとなっている. 光学式文字認識 (OCR) の分野は大きく発展したが，実世界で発生するフォントや文字の形，撮影環境による問題によって，情景画像中のテキスト認識は現在も難しいタスクとなっている．既存のテキスト認識手法の多くは実世界におけるデータセットのサンプル数が少ないため，大規模な合成データセットを用いて学習がされている。しかし，実データと合成デー タのドメインギャップにより，実世界で発生する問題に対応できない．そこで，アノテーションされていない実画像の利用によってテキスト認識モデルの可能性を引き出すことが考えられており，テキスト認識に対する自己教師あり学習手法が検討されている.

これまでの研究では, Contrastive Learning (対照学習）の導入が試みられている. SeqCLR[1]は，テキスト認識のための sequence-to-sequence 対照学習手法を提案した. PerSec[2] はテキスト認識のための階層的な対照学習手法を提案した。自然言語処理では，BERT[3] が Masked Language Modeling (MLM) による大きな成功を収めている.画像分野では BERT に触発され，データの一部を削除し，削除した部分を復元する考え方を画像に適用した Masked Image Modeling (MIM) が提案されている. 2 つの手法は類似しており，PIXEL[4] は文をテキスト画像に変換し，MIM を用いることで BERT と同程度の結果を出している。

本研究では，MIM をテキスト認識に適用し，単語の文脈情報を反映した自己教師あり事前学習を行うことを目的としている. 特に，MIM 手法として Masked AutoEncoder (MAE)[5] を利用し，マスキング戦略に対して変更を行った。具体的には，横方向には，ランダムなスパンに対してマスキングを行い，縦方向には一様なマスキングを行う．ランダムマスキングよりも，意味のある単位（文字や複数文字） をマスクすることで，抽象度の高いモデルを作るような効果があると考えられる．提案するスパンマスキングで事前学習を行うとランダムマスキングよりも $0.8 \%$ 以上高い正解率が得られた。本論文の貢献は以下の 3 点である.

1. テキスト認識に対して初めて MAEを利用した事前学習を行った。

2. 文脈情報を考慮した新たなマスキング戦略を提案した。

3. 提案手法によって事前学習し，テキスト認識でのファインチューニングを行ったところ，事前学習無しの場合よりも $2.7 \%$, 他のマスキング戦略よりも $0.8 \%$ 高い正解率を達成した。

## 2 関連研究

## 2.1 Masked Image Modeling(MIM)

MIM は自然言語処理における MLM の発展とともに，近年発展している．MIM 手法の一つである

MAE はマスクされていない画像パッチに対してのみ動作するエンコーダと潜在表現とマスクトークンから元の画像を構成する軽量なデコーダを用いて，入力画像の $75 \%$ という高い割合でマスクを行うことで有効な事前学習ができることを可能にした.

本研究では，自己教師あり学習手法である MIM に着目し, 計算効率と有効性の観点から MAEを事前学習に用いる.

## 2.2 自己教師ありテキスト認識

提案されている自己教師ありテキスト認識手法は, Sequence-to-Sequence モデルに基づいている. SeqCLR[1] は, テキスト認識のための対照学習手法を提案した。この手法では，順序に関する情報を維持したまま，シーケンスの個々の要素に対照学習を適用することができる. PerSec[2] もテキスト認識のための対照学習を提案している. 提案された手法は, 特徴量の各要素を高レベルと低レベルで比較する階層的な対照学習を行っている.

このようなテキスト認識における対照学習手法の成功に対して、本研究では MIM 手法を活用し, その有効性について検討している。

## 3 方法

## 3.1 Masked Autoencoder

本研究では，自己教師あり事前学習として MIM 手法である Masked Autoencoder(MAE)[5]を利用しており, 以下の 4 つの主要な要素から構成されている.

スパンマスキング画像を非重複パッチに分割し，一部のパッチをマスクする (除去). マスキングの方法として本研究で提案するスパンマスキングと MAE で用いられているランダムマスキングを用いた. ランダムマスキングは一様分布に従ってランダムなマスクを生成する。一方，スパンマスキングはテキスト画像が水平方向に対してのみ文脈情報を保持していると仮定し, 文脈情報を考慮して垂直方向と水平方向で異なるマスキングを行う. 垂直方向に関しては文脈情報を持たないため，一様なマスクを生成する. 水平方向は文脈情報を持つため, PIXEL[4] のマスキング戦略を利用し, 意味のある単位でマスクを生成する，具体的には，スパン間にいくつかのマスクされていないパッチを残しながら，最大 $S=6$ パッチの連続画像スパンに対してマスキングを行う，マスクの割合に関しては，それぞれの戦略について 25,50,75\%の值を適用して実験を行った. マスク画像の例を図 1 に示す.

(a)Random Masking

(b)Span Masking図 1 マスク画像の例

エンコーダ ViT[6] を利用し，マスクされていないパッチのみを処理する。これによって必要メモリを削減して学習速度を上げることに加え, 事前学習とファインチューニング間のミスマッチを減少させている.

デコーダデコーダには，エンコーダの出力とマスクトークンが入力され，画像の再構成タスクが実行される. デコーダは，6層のトランスフォーマー ブロックと全結合層によって構成され, 計算量はエンコーダに対して小さくなるように設計されている.

再構成ターゲットデコーダの出力は再構成された画像に再形成され, 再構成画像と元画像の平均二乗誤差（MSE）が損失関数として利用される. 再構成の対象としてマスクされたパッチの画素値を正規化したものを用いることで性能が向上することがわかっているため [5], この方法を利用する. また，テキスト認識時には RGB 画像ではなく白黒画像を利用するため，再構成の対象として白黒画像を用いる.

## 3.2 テキスト認識

テキスト認識モデルとして Transformer Encoder と予測ヘッドで構成されるViTSTR[7]を用いる. Transformer Encoder 部分で, MAE によって事前学習されたパラメータを継承し，ファインチューニングを行う。その際，予測へッドは初期化する。

## 4 実験

## 4.1 データセット

合成データセット代表的な合成データセットである MJSynth(MJ)[8] と SynthText(ST)[9]を組み合わせて使用した. MJは9M 個のテキスト画像で構成されている. ST は 800k の画像から $8 \mathrm{M}$ のテキスト
表 1 学習設定

画像を切り出したものである.

情景画像中のテキスト認識ベンチマーク情景画像中テキスト認識ベンチマークで評価した. ベンチマークはテキストの難易度やテキストのレイアウトによって regular データセットと irregular データセッ卜に区別することができる.

まず，regular データセットは，文字の感覚が均等で，水平にレイアウトされた比較的容易なテキスト画像が含まれる. IIIT5K-Words(IIIT)[10], Street View Text(SVT)[11], ICDAR2013(IC13)[12] が該当する.

次に, irregular データセットには曲がったテキストや回転, 歪んだテキストなど難しいケースが含まれている. ICDAR2015(IC15)[13], SVT Perspective(SP)[14], CUTE80(CT)[15] が該当する.

## 4.2 実験詳細

自己教師あり事前学習 MAE のエンコーダとして ViT-Tinyを用いた. ViT-Tiny は Patch Size が 16, Embedding Size が 192, Head の数が 3 の ViT であり, 基本的な ViT と比較してパラメータ数が小さいモデルである. 事前学習には合成データセット （MJSynth と SynthText）の両方を用いた. 計算資源の都合上，データ量は $50 \%$ とした. MAE の論文と同様に学習を行い，ハイパーパラメータについても論文に従った。

テキスト認識でのファインチューニング ViTSTR で用いられていた学習設定をそのまま使用した. (表 1) 学習データとして合成データセット（MJSynthと SynthText）の両方を用いた. テストデータには， 4.1 節で紹介した情景画像中テキスト認識ベンチマークを用いた。

## 4.3 事前学習におけるマスク画像の再構成

事前学習において一枚のマスク画像を再構成した際の結果を図 2 に示す. ランダムマスキングの場合，マスクの割合が $75 \%$ という不鮮明な場合でも， ほとんどの場合で文字列を再構成できていた.ここから，モデルが優れた特徴表現を学習していると考えられる。一方で，スパンマスキングでは，マスク

(a)Random Mask (75\%)

(b)Span Mask (25\%)

(c)Span Mask (50\%)

(d)Span Mask (75\%)

図 2 マスク画像の再構成結果（左から原画像，マスク画像，出力画像，マスク+出力画像）

の割合が高くなるにつれて成功率が低くなっていた. マスクの割合が $25 \%$ の時はマスク部分の文字を予測できていることが多かった.ここから，見えなくなっている文字を予測しており，文脈情報を事前学習で獲得していることがわかる. $75 \%$ になると，例のようにマスク部分の文字が不鮮明になってしまっている例が多かった. 隠される文字が多すぎると，正しい文脈情報を獲得することはできていないと考えられる。

## 4.4 テキスト認識

事前学習したモデルをテキスト認識タスクでファインチューニングし, 評価を行った. 表 2 に学習データのすべて（100\%）を使用した結果，表 3 に学習データの $1 \%$ 使用した結果を示す. 評価指標には Top1 Accuracyを用いた。

学習データ全てによる学習では，スパンマスキングで 75\%の割合をマスクした時，他の場合よりも $0.8 \%$ 以上高い正解率が得られた. ランダムマスキングに着目すると，50\%の時に最も良い正解率が得られており，MAE による ImageNet での結果 $(75 \%)$ とは異なっていた。通常の画像とテキスト画像では情報の密度が異なっていることが原因と考えられる。 スパンマスキングでは，マスクの割合が高くなるに
表 2 テキスト認識の結果（学習データ $100 \%$ ）

表 3 テキスト認識の結果（学習データ $1 \%$ ）

つれて正解率が上がっている. マスク部分のスパンの長さが長くなり，より意味のある単位でマスクされたことによりこの結果になったと考えられる. しかし, 事前学習で復元された画像の品質とは結果が異なっており，2つの結果に相関がないと考えられる。

学習データの $1 \%$ で学習では，スパンマスキングで 50\%の割合をマスクした時にスクラッチやランダムマスキングよりも 10\%以上高い正解率が得られた. スパンマスキングが，MAE で利用されているランダムマスキングよりも平均 $10 \%$ 以上正解率が高くなっており，提案手法の有効性が実証された。学習データ全てを用いた時とは傾向が異なっており， マスクの割合が $50 \%$ の時に正解率が最も高くなった. 事前学習時に，75\%では文字をはっきりと予測できていないことが関係していると考えられる.

## 5 結論

本論文ではテキスト認識のための自己教師あり学習として Masked Image Modeling に着目し, 新たなマスキング戦略を提案した. 提案したマスキング戦略は，MAEに用いられているマスキング戦略よりも有効であるということが分かった.

今後は事前学習での実世界データセットの利用やモデルサイズの変更，既存手法との比較実験を行いたいと考えている.

## 参考文献

[1] Aviad Aberdam, Ron Litman, Shahar Tsiper, Oron Anschel, Ron Slossberg, Shai Mazor, R Manmatha, and Pietro Perona. Sequenceto-sequence contrastive learning for text recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 15302-15312, 2021.

[2] Hao Liu, Bin Wang, Zhimin Bao, Mobai Xue, Sheng Kang, Deqiang Jiang, Yinsong Liu, and Bo Ren. Perceiving stroke-semantic context: Hierarchical contrastive learning for robust scene text recognition. AAAI, 2022.

[3] Zhimin Bao Mobai Xue Sheng Kang Deqiang Jiang Yinsong Liu Hao Liu, Bin Wang and Bo Ren. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the $\mathbf{2 0 1 9}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, p. 4171-4186.

[4] Phillip Rust, Jonas F Lotz, Emanuele Bugliarello, Elizabeth Salesky, Miryam de Lhoneux, and Desmond Elliott. Language modelling with pixels. arXiv preprint arXiv:2207.06991, 2022.

[5] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16000-16009, 2022.

[6] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[7] Rowel Atienza. Vision transformer for fast and efficient scene text recognition. In International Conference on Document Analysis and Recognition, pp. 319-334. Springer, 2021.

[8] Max Jaderberg, Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Synthetic data and artificial neural networks for natural scene text recognition. arXiv preprint arXiv:1406.2227, 2014.

[9] Ankush Gupta, Andrea Vedaldi, and Andrew Zisserman. Synthetic data for text localisation in natural images. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2315-2324, 2016.

[10] Anand Mishra, Karteek Alahari, and CV Jawahar. Scene text recognition using higher order language priors. In BMVC-British machine vision conference. BMVA, 2012.

[11] Kai Wang, Boris Babenko, and Serge Belongie. End-to-end scene text recognition. In 2011 International conference on computer vision, pp. 1457-1464. IEEE, 2011.

[12] Dimosthenis Karatzas, Faisal Shafait, Seiichi Uchida, Masakazu Iwamura, Lluis Gomez i Bigorda, Sergi Robles Mestre, Joan Mas, David Fernandez Mota, Jon Almazan Almazan, and Lluis Pere De Las Heras. Icdar 2013 robust reading competition. In 2013 12th international conference on document analysis and recognition, pp. 1484-1493. IEEE, 2013.

[13] Dimosthenis Karatzas, Lluis Gomez-Bigorda, Anguelos Nicolaou, Suman Ghosh, Andrew Bagdanov, Masakazu Iwamura, Jiri Matas, Lukas Neumann, Vijay Ramaseshan Chandrasekhar, Shijian Lu, et al. Icdar 2015 competition on robust reading. In 2015 13th international conference on document analysis and recognition (ICDAR), pp. 1156-1160. IEEE, 2015.

[14] Trung Quy Phan, Palaiahnakote Shivakumara, Shangxuan Tian, and Chew Lim Tan. Recognizing text with perspective distortion in natural scenes. In Proceedings of the IEEE International Conference on Computer Vision, pp. 569-576, 2013.

[15] Anhar Risnumawan, Palaiahankote Shivakumara, Chee Seng Chan, and Chew Lim Tan. A robust arbitrary text detection system for natural scene images. Expert Systems with Applications, Vol. 41, No. 18, pp. 8027-8048, 2014.


# コードネームピクチャーズにおける ヒント決定アルゴリズムの提案と実装

大橋玲音 1 坪倉和哉 2 鈴木丈慈 1 坪井辰馬 1 小林邦和 ${ }^{1}$
1 愛知県立大学情報科学部 2 愛知県立大学大学院 情報科学研究科
\{is211014, im212008, is211046, is211053\}@cis.aichi-pu.ac.jp
kobayashi@ist.aichi-pu.ac.jp

## 概要

本研究では，不完全情報ゲームの一つであるコー ドネームピクチャーズをプレイするアルゴリズムの実装を行った.コードネームピクチャーズは, 画像理解と自然言語理解を介した意図の伝達を行うゲー ムである．そのため，アルゴリズムの実装は，挑戦的なタスクであり, 人間の認知行動の理解にも繋がる. 提案手法では, イメージキャプショニングと翻訳により画像を文章に変換する方法を検討した。その結果は, 提案手法では人間のプレイ能力に及ばないことがわかったが，一部人間と同様のプレイ能力を発揮した. 本成果は, 今後のコードネームピクチャーズの研究に役立ち, 画像と自然言語の融合的理解を進めるものである.

## 1 はじめに

人工知能技術の発展により, 将棋や囲碁といった完全情報ゲームでは，すでに人間の能力を凌駕する力を獲得している. そこで, より高度な知能を獲得することを目指し，より複雑なタスクである不完全情報ゲームを対象とした研究 $[1,2]$ が進められている.

完全情報ゲームとは異なり, 不完全情報ゲームでは，ゲームを行う上で必要な情報全てが明らかになっているわけではない. 不完全情報ゲームの中には，他プレイヤとコミュニケーションを行い，自身の持つ情報を伝えたり, 他プレイヤから必要な情報を引き出すようなゲームもある。例えば，人狼ゲー ムでは, 他プレイヤとの会話に基づき, 交涉や欺瞞を行う必要がある。 また, Hibana のように, 会話ではなく, ルールに基づく行動によりタスク成功に必要なヒントを伝えるゲームもある。これらのゲームは，限られた行動の範囲の中で，自身の意図を他プ
レイヤに伝える能力が必要となる．そのため，このようなコミュニケーションを伴う不完全情報ゲームの研究を行うことで, 高度なコミュニケーションの理解につながる.

本研究では, 不完全情報ゲームの中でも, コー ドネームピクチャーズを扱う。コードネームピクチャーズのルールについては 2 章で詳述するが, 絵が描かれたカードにヒントとなる単語を付与する“ スパイマスター”と，スパイマスターから与えられた単語からスパイマスターの意図するカードを選択する “諜報員”に分かれて行うゲームである。そのため，スパイマスターは，カードに描かれた絵から適切な言葉を抽出し, 意図するカードを諜報員に適切に選択してもらう必要がある。一方で, 諜報員は，スパイマスターの意図を波み取り，適切にカー ドを選択する必要がある。このように，コードネー ムピクチャーズでは, 画像理解と自然言語理解を介した意図の伝達を行うことが求められる.

コードネームピクチャーズと類似したゲームとして，コードネームと Dixit が挙げられる。コードネームピクチャーズはコードネームから派生したゲームである.コードネームピクチャーズはカードに絵が描かれているのに対して，コードネームは， カードに単語が描かれている.コードネームを扱った先行研究はいくつか存在するが $[3,4]$, コードネー ムピクチャーズでは, 自然言語理解だけなく, 画像理解も必要となる. また, Dixit はイラストが描かれたカードと言葉によるヒントを用いてゲームを行うため, Dixit の先行研究 [5] はコードネームピクチャーズの研究にも役立つ. しかし, Dixitにおけるヒントは，推測者全員にカードを当てられず，一部の推測者のみに当てもらう必要があるため，コー ドネームピクチャーズとはヒントの出し方が異な

図 1 コードネームピクチャーズの場の例

図 2 コードネームピクチャーズの色の割り当ての例 (4 × 5 の各タイルに色が割り当てられており, 各タイルは図1の各カードに対応している)

る1).コードネームピクチャーズでは, 味方プレイヤと協力する必要があるため, 味方のプレイヤに単語を用いて意図を伝える能力が求められる。

これまで，コードネームピクチャーズを扱った研究は存在しない. そのため, 本研究では, コードネームピクチャーズの研究の第一歩として，スパイマスターのヒントに着目し，ヒントを決定するアルゴリズムのベースライン実装と人間のスパイマスターにより作成されたヒントとの比較を行う.

以降，2 章では，コードネームピクチャーズのルールを説明する． 3 章では，スパイマスターのヒント決定アルゴリズムについて述べ， 4 章で評価を行う。最後に本稿をまとめる.

## 2 コードネームピクチャーズの ルール

本章では，コードネームピクチャーズのルールについて説明する。コードネームピクチャーズでは, スパイマスター一人と諜報員一人以上からなる 2 チームに分かれる.場には 20 枚の絵（図 1）が書か

れたカードがあり，それらのカードには先攻チームのカード 8 枚 (青色), 後攻チームのカード 7 枚（赤色), 暗殺者のカード 1 枚 (黒色)，一般人のカード 4 枚（肌色）が割り当てられている (図2). スパイマスターは上記のカードの色の割り当てを知っているが，諜報員は色の割り当てを知ることはできない. また，カードに描かれた絵はスパイマスターと諜報員の両方から見ることができる．スパイマスターは自分のチームの諜報員へ向けてヒントを提示，諜報員はスパイマスターから提示されたヒントをもとに自分のチームのカードを推測して選択する。これをそれぞれのチームで交互に繰り返し，先に自分のチームのカードをすべて取ったチームが勝ちとなる.

スパイマスターが提示するヒントは正解の絵を連想させ，ヒントとカードの絵柄が意味的に関係する一語の単語（品詞は問わない）である必要がある.例えば，「あ」から始まる物の絵柄 3 枚のヒントとして「あ」は使用することができない。また，スパイマスターはヒントのほかに諜報員に取ってほしいカードの枚数を指定できる。諜報員はスパイマスターが指定した枚数よりもさらに一枚まで多くとることができる．これは前のヒントのカードをとり逃した場合に役に立つ.

諜報員はスパイマスターのヒントを元に，同じチームの諜報員と相談しながら正解だと思うカードを選ぶ。選んだカードが自分のチームのカードの場合, さらにもう一枚とるか否か選ぶことができる.選んだカードが一般人または相手のチームのカードであった場合，相手にターンを渡す。選んだカードが暗殺者のカードの場合，選んだチームはその時点で負けとなるため，暗殺者のカードを選ぶことは絶対に避けなければならない、スパイマスターは相手チームより先に自分のチームの諜報員に自分のチー ムのカードをすべてとらせるために，一つのヒントでなるべく多くのカードを連想させるヒントを出すことが重要である.

以上のように，スパイマスターはカードに描かれた絵から関連する語を抽出し, 他のカードとの関係も考慮した上でカードの推測に効果的なヒントを提示する。また，諜報員はヒントとなる単語をもとに，単語が示している絵の描かれたカードを選択する必要がある．そのため，コードネームピクチャー ズは，高度な画像理解と自然言語理解を必要とするボードゲームであり，ゲーム AI の実装は挑戦的な

画像(イラスト)

(1)イメージキャプショニング

“a picture of a bus”英語のキャプション

(2)翻訳 (英語 $\rightarrow$ 日本語)

“バスの写真” 日本語のキャプション

(3)翻訳文章から単語を選択

“バス” 単語

図 3 ヒント決定アルゴリズムの概要

画像処理と自然言語処理の両方が必要な融合タスクと言える。

## 3 ヒント決定アルゴリズム

この章では，ヒント決定アルゴリズムについて説明する．アルゴリズムの概要を図 3 に示す。はじめに，コードネームピクチャーズで用いられるカードに対してイメージキャプショニングを行い，そのカードを説明する文章を得る，イメージキャプショニングとは，画像に対して文章の説明を生成する技術であり，イメージキャプショニングを行う際に用いたモデルは OFA [6] である. その後, 得られた文章を英語から日本語へ翻訳する。翻訳には Python ライブラリ googletrans ${ }^{2}$ を用いた.

コードネームピクチャーズではヒントとして用いれるのは一語の単語である.そのため, 翻訳された文章から単語を選択する。まず，日本語形態素解析エンジンである $\mathrm{MeCab}^{3)}$ を用いて，翻訳文章を単語に分割する。言語のみを用いるコードネームの研究において, ヒントとして用いられる単語は名詞が最も高い (名詞: $74.7 \%$, 動詞: $13.1 \%$, 形容詞: $12.1 \%$ )ことが報告されている [4]. そのため, 翻訳文章の単語のうち, 名詞をヒントの候補単語とした。ここで,代名詞はカードを推測するための情報を持たないと考えられるため, 代名詞は除いている。また，翻訳

2) https://pypi.org/project/googletrans/

3) https://taku910.github.io/mecab/文章を人手で確認したところ,「○○の絵」,「○○ のイラスト」,「○○の写真」といった文章が多かった.「絵」,「イラスト」,「写真」の 3 単語は, カードの推測に役立たない $(\bigcirc \bigcirc$ 部分に情報が含まれる）ため, これらの 3 単語もヒント候補から取り除いた.このように選択したヒントとなる単語の候補群から単語を無作為に選択することでヒント単語を決定した.ここで, 上記の方法でヒントの候補群が空となる場合には，動詞または形容詞から単語を無作為に選択した。動詞または形容詞も含まれない場合は，全単語から 1 つ単語を無作為に選択する。

## 4 評価

本章では, 人間が作成したヒントと前章で述べた手法で選択されたヒントの比較を行うことで，提案手法の評価を行う。

## 4.1 評価方法

コードネームピクチャーズのカード全 280 枚から無作為に 50 枚選択し, それらのカードに対して評価を行う．まず，前章で述べた手法により各カードに対してヒント単語を決定する。また, 複数名のヒント作成者（大学生 2 名）により, 各カードに対して, カードの絵を表現するヒント単語を決定した。 その後, 作成者とは別の評価者（大学生 2 名）が, カードとヒント単語を見て，ヒントが適切かを 1 （不適切）から 5 （適切）の 5 段階で評価を行った.

## 4.2 評価結果

人間と提案手法により作成したヒントの両方に対して，そのヒントがどの程度適切かを 1 (不適切) から 5 (適切) の 5 段階で評価した。その結果, 人間と提案手法が作成したヒントの評価値の平均は, それぞれ 4.90 と 2.22 であった. 度数分布表を図 4 に示す. 図から, 人間によるヒントは大半が適切,提案手法は半数が不適切と評価された。また，人間と提案手法によるヒントの評価をウィルコクソンの符号付順位検定を用いて比較すると, $p$ 值は $1.28 \times 10^{-8}$ であった. このことから, 人間が作ったヒントの評価と提案手法によるヒントの評価との間には，平均值に有意な差があるといえる．したがって, 人間が作ったヒントは提案手法によるヒントより適切であるといえる. しかしながら, 人間と提案手法が同じ単語である場合も確認されたことから，部分的には提案手法は人間と同様のヒントを作成す

図 4 人間が作成したヒントと提案手法により作成したヒントの適切性（1 が不適切, 5 が適切)

図 5 イメージキャプショニング，および翻訳の適切性の評価 (1 が不適切, 5 が適切)

る能力があることが確認された。提案手法によるヒントが人間によるヒントと比較して点数が著しく低い結果となった理由としては, イメージキャプショニング，または翻訳が適切に行われなかったことが原因だと考えられる。

この原因を調査するため，コードネームピクチャーズの 280 枚のカードに対して，イメージキャプショニングと翻訳を行って得た説明文章に対して, 評価者 1 名が説明文の妥当性を 5 段階 (1 が不適切, 5 が適切) で評価した。その結果（図 5), 約 $1 / 4$ の説明文章は適切（5 点）と判断されているが,約半数のカードが不適切（1 点）と判断された.この結果から，イメージキャプショニングまたは，翻訳の精度が十分でないことがわかった.

## 5 おわりに

本研究では，コードネームピクチャーズの研究の第一歩として, スパイマスターのヒントに着目し, ヒントを決定するアルゴリズムを提案した。人間と提案手法により作成したヒントを人手で評価した結果, 人間のヒントの方が適切であることがわかった. 提案手法が劣る結果となった原因として，イメージキャプショニング，または翻訳の精度が悪いことが考えられるため, 今後は，イメージキャプショニングと翻訳の精度を向上させる. 具体的には，コードネームピクチャーズの多義的なイラス卜に対して, 適切に説明文章を生成できるように， キャプショニングモデルのハイパーパラメータの調整を行うことが挙げられる.

また, 本研究ではタスクの単純化のため, 1 枚のカードのみに対してヒントを作成したが，コードネームピクチャーズでは複数枚のカードに対して 1 つのヒントを作成することが可能である.そのため, 複数枚の絵に共通する要素を抽出し, それをヒントとして提示する能力が求められる。今後は複数枚の絵に対してヒントを作成する手法の検討も行う. 将来的には, ヒントからカードを推測するプレイヤー（諜報員）の実装も行い，人間とゲームをプレイできる人工知能システムを作成する.

## 参考文献

[1] 片上大輔, 烏海不二夫, 大澤博隆, 稲葉通将, 篠田孝祐,松原仁. 人狼知能プロジェクト (<特集>エンターテイメントにおける ai). 人工知能, Vol. 30, No. 1, pp. 65-73, 2015.

[2] 大澤博隆. Hanabi コンペティション一不完全情報下における相互協力一. 人工知能, Vol. 35, No. 3, pp. $385-389,2020$.

[3] Catalina Jaramillo, Megan Charity, Rodrigo Canaan, and Julian Togelius. Word Autobots: Using Transformers for Word Association in the Game Codenames. Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Vol. 16, No. 1, pp. 231-237, October 2020. Number: 1.

[4] 坪倉和哉, 久保谷空史, 早苗昭尚, 大橋玲音, 堀川裕真,小林邦和. コードネームのゲーム ai 実装に向けたヒント行為の分類. 人工知能学会全国大会論文集, Vol. JSAI2022, 2022.

[5] 岩田航季, 鈴木麗需, 有田隆也. 連想カードゲーム Dixit の AI プレイヤー作成による人間の認知へのアプローチ. 人工知能学会全国大会論文集, Vol. JSAI2020, 2020.

[6] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. Ofa: Unifying architectures, tasks, and
modalities through a simple sequence-to-sequence learning framework, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ホッピングマスクを利用した Stable Diffusion Model による連続画像生成

趙 開顔 ${ }^{1}$ Qiyu Wu ${ }^{1}$ 村田 秀樹 2
石川隆一 ${ }^{2}$ 根之木堸亮 ${ }^{2}$ 山本 覚 ${ }^{2}$ 鶴岡 慶雅 ${ }^{1}$
1 東京大学大学院 ${ }^{2}$ 株式会社電通デジタル
\{zhaokaiyan1006, qiyuw, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp
\{murata.h, ishikawa.r, nenoki.s, yamamoto.sato\}@dentsudigital.co.jp

## 概要

Stable Diffusion Model (SDM) のオープンソース化に伴い，大規模画像生成モデル，特に text-to-image モデルが話題になっている. 既存研究では拡散モデルを改善し，制御可能な画像生成や画像編集を目指している。これらの方法はいずれも有効だが，使われるプロンプトに対する制約が大きく，編集した画像の構成を変えられないなどの欠点が存在する. それに加え，従来のSDM は，生成した画像の表現力が足りず，しばしば品質の低い画像が出力されるなどの問題点を抱えている.これらを踏まえて, 本研究では再学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる手法を提案する ${ }^{1)}$.

## 1 はじめに

近年，拡散モデル（DDPM）[1] の幅広い応用や CLIP [2] などのクロスモーダルモデルの発展に伴い, Stable Diffusion Model [3], DALLE2 [4], Imagen [5] などの大規模画像生成モデルが話題になっている.これらのモデルにより，専門知識の有無を問わず，誰でも高品質な画像を生成することができるようになった. 図 1 に示すように，プロンプト（生成する画像の内容を示すテキスト）さえあれば，モデルが自動的にプロンプトが表す内容を画像で出力することが可能である. このようなテキストから画像を生成する技術は txt2img(text-to-image) と呼ばれている.

2022 年の 8 月，SDM のオープンソース化を機に，画像生成への関心はさらに高まった. 画像生成を改善する方向の一つとして，制御可能性を高める方法
 maskで公開されている.

図 1 txt2img の例

が挙げられる. Hertz ら [6] の prompt-to-prompt という手法により，プロンプトのテキスト編集だけで画像を編集することが可能になった。一方，Kawar ら [7] は一枚の画像と一つのプロンプトだけで，複雑な画像編集を可能にする手法を提案した. Stable Diffusion Model (SDM) への関心を踏まえ，本研究においても SDM である txt2img モデルを使用した.

しかし, Yang ら [8] によると, 従来の SDM にはまだ多くの問題が残っている. まず，SDM は高品質な画像を生成することができるものの，時には学習がうまくいかず，崩れた画像を生成してしまうことがよくある [9]. また，図2 に示したように，入力したプロンプトは「ジョンがバットを振っている」 であるのに，出力された画像は「バットを振っている」という動きをうまく把握していない場合が存在する。これは，生成画像がプロンプトに忠実でないという問題である。そのほかにも，複数の入力（幾つかのプロンプトを同時に入力する場合）に対しては，プロンプト数を認識する機能がなく，叙事的な画像生成 (narrative image generation) は不可能である.これらの問題を踏まえ，私たちはホッピングマスクを提案し，CLIP のエンコーダー側で上記の問題点を改善した。

Wu ら [10] と Huang ら [11] は文間の情報 (crosssentence information)を利用し，入力文のセマンティック情報を強化することで，言語モデルとビデオローカライゼーションの精度を向上させた. こう

Prompt: John is waving a baseball bat.

図 2 SDM が生成した画像がプロンプトに忠実でない例

した手法から着想を得て、我々の提案手法においても文間の情報を利用することで，高品質，高表現力の画像連続生成を実現した.

実験では，同じプロンプト，シードで提案手法により生成した画像と従来の SDM で生成された画像を比較したところ，文節間情報の重要性が示された.

本研究での貢献は以下の通りである：
- 分離符 $<S E P>$ の使用により, 複数のプロンプトを同時にSDM に入力しても，プロンプト数を認識することが可能になった。

・ホッピングマスクを提案し，文間の情報を使用することにより，画像の表現力が向上.
- 提案したホッピングマスクにより，一定の一貫性がある画像を生成することができた。

## 2 関連研究

## 2.1 txt2img 画像生成

テキストから画像の生成という分野は，2016 年の Reed ら [12] の研究から始まった. テキスト記述に基づいた画像を生成するために従来の GAN [13] を拡張し, 小規模なデータセットと小さな画像解像度で動作することが示された. 以来数年間,主な txt2img モデルは GANのネットワーク構造 (Generator と Discriminator 二つのネットワークを互いに競争させるような形で学習する) に従い, 生成画像の品質と解像度の両方を向上させたが, 近年話題になっているものは拡散モデルである.

拡散モデル [14] が提唱されたのは数年前に遡ることができるが，2020 年，Ho ら [1]が初めて何故拡散モデルは GANよりも性能が良いのかに関し数値的
な分析を行った. 拡散モデルの仕組みは非常にシンプルで，まず画像にノイズを付与し，テキストなどの他のモダリティからの情報を通し，ノイズを除去するものである.

しかし，画像をピクセルの配列として直接扱う場合，変数の次元が多くなり，計算量が増加してしまうという問題が存在する。ここで，SDM [3] が提案された. SDM は，ノイズから画像を生成する代わりに，ノイズから潜在表現 (latent)をまず生成し，それを画像へと戻すという 2 段階のプロセスを経て画像を生成するモデルである。

## 2.2 拡散モデルによる画像編集

従来のSDM はすでに高品質な画像を生成することができるが，画像生成を改善する方向の一つとして, 制御可能な画像生成と画像編集が挙げられる.

Hertz ら [6] からの prompt-to-prompt 手法により, プロンプトのテキスト編集だけで画像を編集することが可能になった. Prompt-to-prompt のキーポイントは，ピクセルとトークンの関係を利用し，クロスアテンションマップを拡散過程に埋め込み，生成を制御することである。他の手法と異なり，学習，微調整，追加データや最適化を必要とせず，単に入力プロンプトを変更するだけで，画像の背景を変更せずに小さな部分を変更することや，画像のスタイルを全体に変更することが可能になった．また，新しい情報を追加することも可能になった. しかし, この方法での入力プロンプトに対する制約は大きく， プロンプト間のギャップは数語または数フレーズでなければならない.

一方, Kawar ら [7] は Imagic を提案した. Imagic は，初めて 1 枚の実画像を，テキストのみを用いて複雑な編集をすることを可能にした. 鮮明な画像さえあれば，Imagic は犬を座らせ，又は，ジャンプさせる，また，鳥を羽ばたかせることができる．だが，この方法による編集にも限界があり，編集した画像の構成を変えることはできない.

これらの方法はいずれも有効だが，画像の表現力が不十分な点や，画像編集が制約される等の問題は解決されていない. 本研究において, 私たちは学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる手法を提案する。

## 3 提案手法

## 3.1 SDM による画像生成

提案手法を紹介する前に，従来のSDM によるプロンプトから画像への変換の流れについて説明する.

図 3 左側のように，一つのプロンプトを，まず CLIP [2]のトークナイザー (tokenizer) に入力し，トー クン， $T_{1}, T_{2}, T_{3}, \ldots ＼mathrm{~ への変換を行う . ~ 次に ， 式 ~(1) の ~}$通り，CLIPエンコーダーを使用し，トークンを埋め込みに変換する。

$
e_{i}=\operatorname{Attn}\left(w_{i}\right)
$

ここで， $w_{i}$ は $i$ 個目のトークンの単語埋め込み (word embedding)を示し, $e_{i}$ がアテンションの計算を行ったトークンの埋め込みである。この変換の中で、コーザルマスク (causal mask) [15] が SDM に使用されている. 図 4 の左側に示すように，第一列と第一行は各トークンで，第一列から見ると，青い部分はアテンションを計算する際，計算に含まれることを示す. 例えば， $T_{1}$ は，自分のみを考慮し， $T_{2}$ は， $T_{1}$ と自身に基づき，アテンションを計算する。 つまり，トークンがアテンションを計算する際，その前のトークンと自身のみを認識できるようにしている.このような仕組みを使用した原因としては， トークンの後に, 意味のないパディング (padding) がついているので，意味のあるトークンをパディングを見えないように設定にしている.

続いて，埋め込み $e$ をイズを加えられた潜在表現 (latent) と一緒に U-Net[16] に入力し，埋边みを基にノイズを除去する:

$
\hat{l}=U N e t(l, e)
$

$l$ はノイズを加えられた潜在表現であり，îはノイズを除去した潜在表現である。最後に，ノイズが除去された潜在表現を用い，VAE [17]を通し，ベクトルから画像へ戻す．以下の式で表すことができる。

$
\text { image }=\operatorname{vae}(\hat{l})
$

## 3.2 ホッピングマスクを用いた SDM

文間の情報を利用するために，まず，入力をいくつかの連続プロンプトにする必要がある. モデルが一連の文を明示的にエンコードできるように、セパレータ $<S E P>$ を文に埋め込む. この際，提案した

図 3 SDM 及び提案手法の流れ

手法の入力は以下の式で表すことができる：

$
\begin{aligned}
& x=\text { Prompt }_{1}<S E P>\text { Prompt }_{2}<S E P>\ldots, \\
& \text { Prompt }_{1}=T_{1}, \ldots, T_{n}
\end{aligned}
$

トークン化後，複数のプロンプトが存在するため，トークンが所属するプロンプトの IDを返す関数 $P_{i d}(\cdot)$ を使う．例えば， $T_{8}$ が第三個目のプロンプ卜 (Prompt ( $_{3}$ ) に属する場合, $P_{i d}(8)$ の値は 3 となる.続いて，我々が提案するホッピングマスクについて説明する. Prompt $t_{2}$ の埋め込み (embedding)を計算する際，Prompt $t_{1}$ の情報を踏まえて，アテンションを計算していく. そして, Prompt 3 の埋め込みを計算する際，今回の場合 Prompt $_{2}$ の情報を考慮し， アテンションの計算を行う. 図 4 の右側に示す通り，例えば， Prompt 3 に所属している $T_{8}$ を考えると, $T_{8}$ のアテンションの計算には, Prompt ${ }_{2}$ のトー クンと Prompt $_{3}$ の中で, $T_{9}$ 自分と自分より前のトー クンを考慮し，Prompt ${ }_{1}$ のトークンは含まれていない. 定式化すると，以下のように表される：

$
M_{i, j}= \begin{cases}1 & i \leq j, P_{i d}(i)-P_{i d}(j) \leq 1 \\ 0 & \text { ほか }\end{cases}
$

$M_{i, j}$ は，提案したアテンション行列の $i$ 行目， $j$ 列目のマスク値のことであり，青い部分の値は 1 である. 分離符として使われた $\langle S E P>$ も計算時に考慮する必要がないため, ゼロに設定している.

次に，式 (1)に従い，CLIP エンコーダーでのアテンションの計算結果は以下のようになる：

$
\operatorname{Attn}=\operatorname{Attn}\left(w_{i}\right) * M
$

Causal Attention Mask

Proposed Hopping Attention Mask

図 4 左側はSDM に使われているコーザルマスクで，右側は提案したホッピングマスクである.

## Prompt: John is waving a baseball bat.

SDM

Proposed method

図 5 SDM が生成した画像と提案手法による生成画像の比較

このようなアテンション計算がエンコーダーの各層で行われ，最終的に得られるのは複数のプロンプトからホッピングマスクを使用した埋め込みである．SDM の手順に従い，次にU-Netを使用し，ノイズを除去する際には，入力の各自プロンプトの埋め込みを抽出し，入力プロンプト数と対応している数の潜在表現から，別々で画像を生成する：

$
\hat{l}_{i}=\operatorname{vae}\left(l, e_{i}\right), i \in P_{i d}(\cdot)
$

提案手法により，豊富な文脈情報の取得に成功し，SDM に基づいた生成画像の品質と表現力の向上だけでなく，連続画像生成が可能になった。

## 3.3 分析

$\mathrm{Wu}$ ら [10] と Huang ら [11]によると，文間の情報は，モデルがトークンとプロンプトの意味を正しく理解することに非常に役に立っているとされる. 私たちもホッピングマスクを使用することで，文間の情報を利用し，プロンプトの埋め込みを改善した。

図 5 の右の画像は,「John throws out a baseball」の後に生成された 2 番目の画像である. 右の画像は左の画像と比較し，遥かに表現力があることがわかる. これは，2つ目のプロンプトの埋め込みを計算する際に，1つ目のプロンプトの情報も考慮することで， より入力プロンプトに適合した画像を生成する可能性を高めているためである。つまり，「John throws out a baseball」と「John is waving a baseball bat」は，関連する或いは同じ活動を記述しているため，画像 2 を生成する際に，ジョンが野球をしているという事実が描写される保証が高くなると考えられる。

さらに，提案手法を用いることにより，連続的に生成される画像間の一貫性も向上にも繋がる。これは，異なるプロンプトで同じ名前の人物が現れる場合，後者の名前のトークンは前者のものを参照ことができるため，類似した人物が生成されやすくなったと解釈できる。 その他実験結果については付録を参照していただきたい.

## 4 まとめ

本研究では再学習を必要とせず，連続的に生成される画像間の相関性を改善し，画質や表現力を向上させる手法を提案した. 既存の画像編集方法と比較し，プロンプトの制約が減少し，連続生成した画像の一貫性の向上に成功した。

## 謝辞

この研究は東京大学 $\mathrm{AI}$ センターと株式会社電通デジタルが推進する共同研究の助成を受けています。

## 参考文献

[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems, Vol. 33, pp. 68406851. Curran Associates, Inc., 2020.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[3] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684-10695, 2022.

[4] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022

[5] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes, et al. Photorealistic text-to-image diffusion models with deep language understanding, 2022. URL https://arxiv. org/abs/2205.11487, Vol. 4, .

[6] Amir Hertz, Ron Mokady, Jay Tenenbaum, Kfir Aberman, Yael Pritch, and Daniel Cohen-Or. Prompt-to-prompt image editing with cross attention control. arXiv preprint arXiv:2208.01626, 2022.

[7] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-based real image editing with diffusion models. arXiv preprint arXiv:2210.09276, 2022.

[8] Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022.

[9] Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit H Bermano, Gal Chechik, and Daniel CohenOr. An image is worth one word: Personalizing text-toimage generation using textual inversion. arXiv preprint arXiv:2208.01618, 2022 .

[10] Qiyu Wu, Chen Xing, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. Taking notes on the fly helps language pre-training. In International Conference on Learning Representations, 2020.

[11] Jiabo Huang, Yang Liu, Shaogang Gong, and Hailin Jin. Cross-sentence temporal and semantic relations in video activity localisation. In Proceedings of the IEEE/CVF
International Conference on Computer Vision, pp. 7199-7208, 2021.

[12] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In International conference on machine learning, pp. 1060-1069. PMLR, 2016.

[13] Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arXiv preprint arXiv:1411.1784, 2014.

[14] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pp. 22562265. PMLR, 2015

[15] Xu Yang, Hanwang Zhang, Guojun Qi, and Jianfei Cai. Causal attention for vision-language tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9847-9857, 2021.

[16] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, pp. 234-241. Springer, 2015.

[17] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.

## A 付録 (Appendix)

## A. 1 アテンションマスクの可視化

図 6 提案マスクの可視化表示

## A. 2 実験設定

今回使用した SDM モデルは, stable-diffsuion-v1$4^{2)}$ である. 生成された画像の解像度は 512*512で， U-Net のステップ数は 50 に設定されている.

## A. 3 他の実験結果

実験結果に関しては，比較を行った対象は同じシードを使った生成結果である.

## A.3.1 表現力向上の例

図 7 の中で，左側のほうは従来の SDM が生成した画像であり，右側のは提案手法の生成結果である.上から一組目は John is working in his farm. の次に生成された二番目の画像だ。二組目は John throws out a baseball. $<S E P>$ John is waving a baseball bat. $<S E P>$ John hits a ball with his bat. の次の結果である. 三組目は A mountain is tall and steep. の次に生成された二番目の画像.

Prompt: John is spreading seeds in his farm.

Prompt: John wins a baseball game.

Prompt: Sophie is climbing the mountain.

図 7 表現力向上の例

## A.3.2 一貫性向上の例

図 8 一貫性向上の例

図 8 の上列は提案手法により生成した画像であり，犬の様子は下の SDM が生成した画像より同じふうに見える.

2) https://huggingface.co/CompVis/

stable-diffusion-v1-4


# 個々の役割を指示可能な 入力言語に応じた 2 人のインタラクションの動作生成の検討

田中幹大近藤雅芳藤原 研人
LINE 株式会社
\{mikihiro.tanaka, masayoshi.kondo, kent.fujiwara\}@linecorp.com

## 1 概要

本研究では言語を入力とした， 2 人のインタラクションを伴う動作生成に取り組む. 既存研究では言語と動作の関係を学習し動作生成を行なってきた. よって，インタラクションを生成する際には 2 人分の動作を単一の記述で表現する必要がある. しかし，一部動作においてこの記述には一方は能動態，他方は受動態で表現される非対称な関係性を内包している.この見識に基づき本研究では，インタラクションの記述を受動態・能動態の言語に変換することによって，主体と受け手双方の動作を生成する手法を提案する。また，両者の位置や動作の関係性の考慮のために，動作間のクロスアテンションも導入する．更に，非対称な動作の場合に，一般に 2 人の動作の学習データ全てに主体・受け手のラベリングが必要となる. 本研究では少数のアノテーションを用いて学習データ全体にこのラベリングを行う手法も提案する. 既存手法を拡張する方法と比較し, 文章を解釈し主体と受け手に分けて動作生成を行う提案手法の有効性を実験により示した.

## 2 はじめに

人間の動作のモデリングは，3 次元アバターやキャラクターを利用した高品質な動画像の制作において重要な要素になりつつある.このような動画制作では 2 人以上の人物を登場させる場合， 1 人の時と比べて，個々の動作のモデリングに加えて，両者の位置関係やインタラクションを考慮した，より複雑なモデリングが必要となる. この複数人の動作を自在に作ることができれば，より多様な登場人物からなる映像制作を容易にできる. そこで本研究では，最も直感的なインターフェースの一つである言語に注目し，入力言語に応じた 2 人のインタラクションの動作生成という課題に取り組む.

図 1: 言語入力で提案手法により生成されたインタラクション例を示す。上は非対称な動作例であり，話す側と聞く側が存在する。下は対称な動作例であり，両者共通の握手という動作をしている.

近年言語入力による 1 人の動作生成の研究が進展してきている $[1,2]$. 特に最近では拡散モデル $[3,4,5]$ の発展に伴って, より言語に忠実かつ多様な動作生成が可能になってきた [6,7]. ここで，2人のインタラクションについて考えると，図 1 のように主体と受け手が存在する非対称な動作，また両者共に主体となって共通の行為を行う対称な動作が存在する. 図 1 上の非対称な例では， 2 人のインタラクションを描写した文章は，一方は能動態の囁くという表現，もう一方は受動態の囁かれるという表現で描写される関係性を内包している。 [8] は 2 人の動作生成に取り組む研究だが，動作の主体と受け手の関係性を考慮しておらず，個々の役割を指示することも考えられていなかった.

そこで本研究では，先行研究の 1 人の動作生成モデル [6] を拡張し，2 人のインタラクションの対称・非対称性を考慮して生成する手法を提案する。まず，動作の対称・非対称性を扱うために，個々に対して動作が非対称な時は受動態・能動態の異なる言語を入力とし，動作が対称な時は同じ言語を入力とする．更に，両者の位置や動作の関係性を考慮するために，2人の動作間のアテンションも導入する。

ここで，非対称な動作の生成において図 1 のようにどちらを主体とするか指示するためには，2 人まとめた動作の説明文に加えて，どちらの動作が主
体・受け手かのラベリングが必要となる. 本研究では，アノテーションコストを抑えるべく，音源分離で知られる Permutation Invariant Training[9]を利用することで，後者の主体・受け手のアノテーションは少数のみを用いて，学習データ全体に擬似的にラべル付けするパイプラインを提案する。

## 3 関連研究

## 3.1 動作の認識

人間の動作の解析は，これまでは主に一般的な動画像を用いて行われてきた $[10,11]$. しかし，近年の動作データ取得方法の発展に伴い $[12,13]$, 骨格の動作データが注目を集めている。背景の影響を受けない骨格データによる動作の認識は, 現在活発に研究されているテーマの一つである $[14,15]$. 骨格の関節の座標値をベクトルデータ [16] や 2 次元のグリッドデータ [17]に変換したり，関節の連結性をグラフとして扱ったりして [18] 深層学習のモデルの入力として利用されている. さらには，実施された地点も特定する研究も行われている [19].

動作解析の研究の多くは 1 人の人物を対象にしているが，近年になり，人同士のインタラクションの一般的なベンチマークとして，NTU RGB+D120 デー タセット [20]が構築された. このデータセットを用いて，骨格の動作データを用いた 2 人のインタラクションの認識の研究が始まっている [21, 22].

## 3.2 動作の生成

骨格データの解析結果を活用し，新たな動作を生成しようとする研究も盛んに行われている。従来,動作生成は様々なパターンから最も整合性のある動作を接続することで行われてきたが [23], 深層学習の発展に伴い, データから学習することが現在主流になっている. 行動ラベルが与えられた際に適切な動作を生成する方法や [24, 25], 音楽にあった動作を生成する研究 [26], 動作の周期性に着目し生成する手法 [27] などが提案されている.

CLIP[28] の登場に伴い, 動作生成の研究においても，直感的なインターフェースとして言語が注目されている. CLIP の言語画像空間と動作の特徵空間を対応づけ，言語情報に合った動作データを生成する手法として MotionCLIP[29] が提案された. また,近年登場したテキストと動作の大規模なデータセット $[30,31]$, 及び拡散モデルと学習済み CLIP を活用

図 2: 提案モデルの図を示す.「押す」という 2 人の動作を生成する場合は，受動態・能動態の言語をそれぞれ入力し，対応した動作を出力する．対称な動作の場合は同じ言語を入力する.

することで，入力言語に忠実かつ多様な動作の生成を実現する手法も多く提案され始めている [6,7].本研究に近い研究として [8] らは 2 人の動作生成に取り組んでいるが，動作の対称・非対称性に注目し, 主体と受け手といった役割を個々に指示して生成を行うのは本研究が初めての取り組みである.

## 4 提案手法

本研究では以下を満たすモデルを提案する.

-対称な動作と非対称な動作ともに，個々の役割を指定してインタラクションを生成できる.

・生成された 2 人の動作の辻褄が合っている.

2 人のインタラクションに対し, その動作カテゴリ $c_{i}$ を説明する文章 $y_{i}$ が付与されている状況を想定する. 非対称な動作のカテゴリ $c_{i}$ においては, 本来個々の動作は， $y_{i}$ を受動態・能動態の 2 つの描写に翻訳した文章 ( $y_{i}^{\text {passive }}, y_{i}^{\text {active }}$ ) のどちらに相当するかのアノテーションが必要となる. 本研究では, アノテーションコストを抑えるべく, 少数のアノテー ションから個々の動作が $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちらに相当するかラベリングを行う手法を提案する。

## 4.1 拡散モデルを用いた 1 人の動作生成

まず，言語から 1 人の動作生成で最も性能の良いモデルの一つである, [6] らの拡散モデルを用いた手法を説明する. 動作生成は，ランダムにサンプリングされたノイズからの逆拡散過程として定式化することができる．動作系列を $X^{(0)}=\left[x_{1}, \ldots, x_{F}\right]$ ( $F$ はフレーム数, $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) とした時, 実データからサンプリングした動作系列 $X^{(0)} \sim q\left(X^{(0)}\right)$ に対して， $\mathrm{T}$ ステップのノイズを順に加えたものを $X^{(1)}, \ldots, X^{(T)}$ のように表記する。まず，拡散過程では以下の式のようにガウシアンノイ

ズをマルコフ連鎖に従って付与する形で表せ， $X^{(T)}$ はおよそ $\mathcal{N}(\mathbf{0}, \mathbf{I})$ に従う。( $\beta_{t}$ はハイパーパラメータ $)$

$
\begin{aligned}
& q\left(X^{(1: T)} \mid X^{(0)}\right)=\prod_{t=1}^{t=T} q\left(X^{(t)} \mid X^{(t-1)}\right) \\
& q\left(X^{(t)} \mid X^{(t-1)}\right)=\mathcal{N}\left(X^{(t)} ; \sqrt{1-\beta_{t}} X^{(t-1)}, \beta_{t} \mathbf{I}\right)
\end{aligned}
$

逆拡散過程ではランダムなノイズから始まり，推定された $\mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)$ に従うガウシアンノイズを付与する形でマルコフ連鎖に従ってノイズを除去していき，動作を生成する。

$
\begin{aligned}
p_{\theta}\left(X^{(0: T)}\right) & =p_{\theta}\left(X^{(T)}\right) \prod_{t=1}^{t=T} p_{\theta}\left(X^{(t-1)} \mid X_{t}\right) \\
p_{\theta}\left(X^{(t-1)} \mid X^{(t)}\right) & =\mathcal{N}\left(X^{(t-1)} ; \mu_{\theta}\left(X^{(t)}, t\right), \Sigma_{\theta}\left(X^{(t)}, t\right)\right)
\end{aligned}
$

[6] らは， $\Sigma_{\theta}\left(X^{(t)}, t\right)$ は定数を用い, $\mu_{\theta}\left(X^{(t)}, t\right)$ の推定のみ行なった. 推定器には Transformer[32] をベースとしたモデルを用いた. $\mu_{\theta}\left(X^{(t)}, t\right)$ は推定されたノイズ $\epsilon_{\theta}\left(X^{(t)}, t\right.$, text $)$ から計算できるため，ノイズ $\epsilon$ とステップ数 $t$, データ $X^{(0)}$ をランダムにサンプリングし, 以下の式によってノイズ推定を学習することで，モデルパラメータの最適化を行った.

$\mathscr{L}=E_{t \in[1, T], X^{(0)} \sim q\left(X^{(0)}\right), \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})}\left[\| \epsilon-\epsilon_{\theta}\left(X^{(t)}, t\right.\right.$, text $\left.) \|\right]$

## 4.2 インタラクション生成への拡張

2 人の動作の系列を $X_{1}=\left[x_{0}^{1}, \ldots, x_{F}^{1}\right], X_{2}=$ $\left[x_{0}^{2}, \ldots, x_{F}^{2}\right]$ ( $F$ はフレーム数, $x_{0}$ は最初の位置や体の向き， $x_{1}, \ldots, x_{F}$ は各時刻の姿勢) のように表す.個々の動作に対して，文章が付与されているデータセット $\left(\left(X_{1}, y_{1}\right),\left(X_{2}, y_{2}\right)\right)$ がある場合について考える. 先行研究の単純な拡張によって 2 人のインタラクションを生成する方法として，一つの Transformer で 2 人分の動作を一度に生成する方法が考えられる. しかしこれでは, 非対称な動作を扱う際に個々の役割を指示することができない. そこで，個別の動作をモデリングするために，図 2 のようにパラメータを共有した 2 つの Transformerを用い, 非対称な動作の場合はそれぞれ受動態・能動態の言語を入力することにする. 対称な動作については，双方共に能動態の言語を入力する.

次に，インタラクションでは互いの位置関係や動作のタイミングを合わせた生成が必要となる. 本研究では互いの動作間のクロスアテンションを導入す
る.これにより，作用・反作用といった動作の関係性や，相手に合わせた協調的な動作の学習を図る。

最終的なロス関数は式 3 と同様に, 以下で表せる.

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& \quad\left[\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, y_{1}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, y_{2}\right)\right.\|\right]
\end{aligned}
$

生成時は式 2 に従って， $T$ ステップ分ノイズを除去していくことで，同時に 2 人の動作を生成する.

## 4.3 主体・受け手の擬似ラベルの付与

4.2 節の手法のアノテーションコストを削減するべく, 非対称な動作カテゴリ $c^{i}$ における個々の動作が, $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ のどちらに相当するかのラべリングを半自動的に行う手法を説明する.

ここで, 非対称なクラス $c^{i}$ について, 二つの学習可能なパラメータ $w_{1}^{i}, w_{2}^{i}$ を用意する. 式 4 において, 言語特徴の代わりに $w_{1}^{i}, w_{2}^{i}$ を用いて 2 通りのガイダンスによってノイズを推定し，以下の式のように小さい方を選択して誤差逆伝播を行う。

$
\begin{aligned}
& \mathscr{L}=E_{t \in[1, T],\left(X_{1}^{(0)}, X_{2}^{(0)}\right) \sim q\left(X^{(0)}\right), \epsilon_{1} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}), \epsilon_{2} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})} \\
& {\left[\operatorname { m i n } \left(\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{1}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{2}^{i}\right)\right.\|,\right.\right.} \\
& \left.\left.\left.\|\epsilon_{1}-\epsilon_{\theta}\left(X_{1}^{(t)}, t, w_{2}^{i}\right)\right.\|+\left.\|\epsilon_{2}-\epsilon_{\theta}\left(X_{2}^{(t)}, t, w_{1}^{i}\right)\right.\|\right)\right]
\end{aligned}
$

これは音源分離の分野で用いられる Permutation Invariant Training[9] と同様の手法であり,これによって $w_{1}^{i}, w_{2}^{i}$ は主体か受け手のどちらか一方の特徴を得るように学習することが期待できる。学習した $w_{1}^{i}, w_{2}^{i}$ のどちらが主体・受け手に相当するかは,少数のラベル付きデータと照合することで確かめることができる。 そして最後に，学習データそれぞれにランダムなノイズを付与し， $X_{1}, X_{2}$ のどちらが $w_{1}^{i}, w_{2}^{i}$ に対応するかを式 5 を用いて計算することで，擬似的に個々の動作が主体か受け手かを特定し， $\left(y_{i}^{\text {passive }}, y_{i}^{\text {active }}\right)$ をそれぞれに付与できる.

## 5 実験

## 5.1 実験設定

データセット: NTU RGB+D120 データセット [20] から，2人のインタラクションを扱っている 26 クラスの動作を利用した. 9 クラスの対称な動作，17クラスの非対称な動作が含まれている. Appendix A にクラスの例を載せる。これらの動画像から 3 次元骨格

を BEV[33]によって推定して実験に用いた。登場する被験者が異なるように学習/検証/テストデータを分け，それぞれ 20,306，3,493，3,044 件利用した.

評価指標: 1 人の動作生成の先行研究に倣って以下の評価指標によって定量評価を行う. 生成された動作が大力言語と対応しているかの正解率 (Accuracy) を用いる. また，生成されたものと真のデータの分布の一致具合によって評価する, Frechet Inception Distance(FID) を用いる. そして, 生成される動作の多様性 (Diversity) を評価する。これらの評価を行うには，インタラクションの動作の特徴を抽出するモデルが必要となる. しかしインタラクション認識の標準的なモデルはないため, 本研究では同じ学習データでインタラクションを認識する Transformer をべースとしたモデルを学習させて評価に用いた。

これらに加えて, 本研究では生成された 2 人の動作が相互に矛盾のないものになっているかを表す， MutualConsistency と呼ぶ指標を提案する. より詳細を AppendixC で説明する。

比較手法: まず，提案モデルで 4.3 節の手法により,個々の動作に対して言語ラベルを付与する.このデータを用いて以下の手法により比較実験を行う.

[6] らの手法を個別の役割を指示可能な形で拡張し，2つの Transformer を用いて動作を行う手法をベースラインとし, Ours w/o cross attentionと記す. Ours と記す手法はこれに対して 2 人の動作間のクロスアテンションを加えたものである. 更に，提案手法は 1 人の動作生成手法である [6] らのモデルに新たなパラメータを加える形で設計されており, [6] らの言語特徴抽出器や動作生成モデルの共通部分のパラメータを初期値として学習することができる. これを Ours+pretrained と記す.

また，[6] らの手法を基にして，2 人分の動作を一つの系列として扱うことで一つの Transformer で生成する手法を Single Transformer と記す。この手法は [8] 同様 2 人まとめた指示しかできず，個別に役割を指示できないため，参考値として比較を行う。

## 5.2 定量評価

表 1 に，定量評価の結果を示す. 提案手法はベースラインの Ours w/o cross attention に比べていずれの指標でも良い性能を示し, 特に Accuracy と MutualConsistency で差が出る結果となった. Ours w/o cross attention は Accuracy が 71.3\%あるが, MutualConsistency が $41.7 \%$ となった. これはそのカ表 1: 定量評価の結果を示す. 生成する動作の系列長は可変であり, テストデータと同じ長さとした. 4 回評価実験を行い，95\%信頼区間を土で示した.

図 3: 生成結果を示す. 提案手法は「押す」という動作で，辻褄の合った動作を生成できている.

テゴリらしい動作をある程度生成できているが，生成されたインタラクションの半分以上が辻褄の合わないものになっていることを示している. 個々に付与した擬似ラベルを用いない Single Transformer と比べても，特に 1 人の言語と動作の対応関係の事前知識を用いる Ours+pretrained の Accuracy が高く, 個別の動作のモデリングによってより入力言語に忠実なインタラクションを生成できていることが分かる.

Single Transformer の FID が小さいのは，擬似ラベルのエラーの影響を受けないためと考える.

## 5.3 定性評価

図 3 に「押す」というインタラクションを生成した時の結果を示す. Ours w/o cross attention に比べて，提案手法は一方が手を伸ばして相手を押し，もう一方は押された結果として後ろによろける動作が生成されている.このように, 定性的にも提案手法は言語に忠実かつ 2 人の辻褄の合ったインタラクションが生成できていることを確認できる.

## 6 おわりに

本研究では，個々に役割を指示可能な，言語による 2 人のインタラクション生成に取り組んだ。互いの動作間のクロスアテンションを導入し，動作の関係性を考慮したモデルを提案し，言語に忠実かつ相互に矛盾のない 2 人のインタラクションを生成可能であることを実験によって示した. 物理環境の考慮及び，より自由度の高い言語入力によるインタラクション生成が今後の課題として挙げられる.

## 参考文献

[1]Mathis Petrovich, Michael J. Black, and Gül Varol. TEMOS: Generating diverse human motions from textual descriptions. In $E C C V, 2022$.

[2]Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural $3 \mathrm{~d}$ human motions from text. In CVPR, 2022.

[3]Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020.

[4]Yang Song and Stefano Ermon. Improved techniques for training score-based generative models. In NeurIPS, 2020.

[5]Diederik Kingma, Tim Salimans, Ben Poole, and Jonathan Ho. Variational diffusion models. In NeurIPS, 2021.

[6]Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[7]Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Amit H Bermano, and Daniel Cohen-Or. Human motion diffusion model. arXiv preprint arXiv:2209.14916, 2022.

[8]Shubh Maheshwari, Debtanu Gupta, and Ravi Kiran Sarvadevabhatla. Mugl: Large scale multi person conditional action generation with locomotion. In WACV, 2022.

[9]Morten Kolbæk, Dong Yu, Zheng-Hua Tan, and Jesper Jensen. Multi-talker speech separation with utterance-level permutation invariant training of deep recurrent neural networks. TASLP, 2017.

[10]Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, and Kaiming He. Slowfast networks for video recognition. In ICCV, 2019.

[11]Yutaro Shigeto, Yuya Yoshikawa, Jiaqing Lin, and Akikazu Takeuchi. Video caption dataset for describing human actions in japanese. In LREC, 2020.

[12]Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, and Christian Theobalt. Livecap: Real-time human performance capture from monocular video. ACM Transactions On Graphics, 2019.

[13]Marc Habermann, Weipeng Xu, Michael Zollhofer, Gerard Pons-Moll, and Christian Theobalt. Deepcap: Monocular human performance capture using weak supervision. In CVPR, 2020 .

[14]Raviteja Vemulapalli, Felipe Arrate, and Rama Chellappa. Human action recognition by representing $3 \mathrm{~d}$ skeletons as points in a lie group. In CVPR, 2014.

[15]Yong Du, Wei Wang, and Liang Wang. Hierarchical recurrent neural network for skeleton based action recognition. In CVPR, 2015.

[16]Jun Liu, Amir Shahroudy, Dong Xu, and Gang Wang. Spatiotemporal $1 \mathrm{stm}$ with trust gates for $3 \mathrm{~d}$ human action recognition. In $E C C V, 2016$.

[17]Qiuhong Ke, Mohammed Bennamoun, Senjian An, Ferdous Sohel, and Farid Boussaid. A new representation of skeleton sequences for 3d action recognition. In CVPR, 2017.

[18]Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Twostream adaptive graph convolutional networks for skeletonbased action recognition. In CVPR, 2019.

[19]Qing Yu and Kent Fujiwara. Frame-level label refinement for skeleton-based weakly-supervised action recognition. In AAAI, 2023.

[20]Jun Liu, Amir Shahroudy, Mauricio Perez, Gang Wang, LingYu Duan, and Alex C. Kot. Ntu rgb+d 120: A large-scale benchmark for $3 \mathrm{~d}$ human activity understanding. In TPAMI, 2020.

[21]Yunsheng Pang, Qiuhong Ke, Hossein Rahmani, James Bailey, and Jun Liu. Igformer: Interaction graph transformer for skeleton-based human interaction recognition. In $E C C V$, 2022.

[22]Yoshiki Ito, Quan Kong, Kenichi Morita, and Tomoaki Yoshinaga. Efficient and accurate skeleton-based two-person interaction recognition using inter- and intra-body graphs. In ICIP, 2022.

[23]Michael Büttner and Simon Clavet. Motion matching-the road to next gen animation. Proc. of Nucl. ai, 2015.

[24]Chuan Guo, Xinxin Zuo, Sen Wang, Shihao Zou, Qingyao Sun, Annan Deng, Minglun Gong, and Li Cheng. Action2motion: Conditioned generation of $3 \mathrm{~d}$ human motions. In Proceedings of the 28th ACM International Conference on Multimedia, 2020.

[25]Mathis Petrovich, Michael J Black, and Gül Varol. Actionconditioned 3d human motion synthesis with transformer vae. In ICCV, 2021.

[26]Ruilong Li, Shan Yang, David A Ross, and Angjoo Kanazawa. Ai choreographer: Music conditioned 3d dance generation with aist++. In CVPR, 2021.

[27]Sebastian Starke, Ian Mason, and Taku Komura. Deepphase: periodic autoencoders for learning motion phase manifolds. ACM Transactions on Graphics (TOG), 2022.

[28]Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.

[29]Guy Tevet, Brian Gordon, Amir Hertz, Amit H Bermano, and Daniel Cohen-Or. Motionclip: Exposing human motion generation to clip space. ECCV, 2022.

[30]Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 2016.

[31]Abhinanda R Punnakkal, Arjun Chandrasekaran, Nikos Athanasiou, Alejandra Quiros-Ramirez, and Michael J Black. Babel: Bodies, action and behavior with english labels. In CVPR, 2021

[32]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[33]Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, and Michael J. Black. Putting people in their place: Monocular regression of 3d people in depth. In CVPR, 2022.

[34]Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019.

[35]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, 2019.

## A データセットの詳細

対称な動作は，hugging， shaking hands，walking towards, walking apart, high-five, cheers and drink, carry object, exchange things, rock-paper-scissors の 9 カテゴリ，非対称な動作は，punch/slap，kicking，pushing， pat on back, point finger, giving object, touch pocket, hit with object, wield knife, knock over, grab stuff, shoot with gun, step on foot, take a photo, follow, whisper, support somebody の 17 カテゴリからなる. 本研究ではこれらを文章に変換して用いた。

## B 提案モデルの詳細

図 4 にモデルの詳細な図を示す.モデルの入力の initial position は最初の体の位置と向きを表す 4 次元のベクトルである. pose representation は $\left(r^{v a}, r^{v x}, r^{v z}, r_{h}, \mathbf{j}^{p}, \mathbf{j}^{v}, \mathbf{j}^{r}, \mathbf{f}\right)$ からなる, 263 次元のべクトルである. $\mathrm{y}$ 軸を垂直方向とした時, $r^{v a}, r^{v x}, r^{v z}, r_{h}$ はそれぞれ腰の, $\mathrm{y}$ 軸回りの角速度， $\mathrm{x}$ 方向の速度， $\mathrm{z}$ 方向の速度，高さを表す. $\mathbf{j}^{p} \in \mathbb{R}^{(J-1) \times 3}, \mathbf{j}^{v} \in \mathbb{R}^{J \times 3}$ は $J$ 個の関節の位置と速度を表す. $\mathbf{j}^{r} \in \mathbb{R}^{(J-1) \times 6}$ は各関節の 6 次元の回転 [34] を表す. $\mathbf{f} \in \mathbb{R}^{4}$ は足の 4 点の関節が地面に接しているかを表している。拡散のステップ数は 1,000 とし，式 1 の $\beta_{t}$ は， 0.0001 から 0.02 に線形に増やした.

## C 評価指標の詳細

Accuracy: 生成された動作が入力された言語に対応するかを評価する指標. 図 5 に示す，入力されたインタラクションのカテゴリを予測するモデルを学習させ，評価に用いる．以下 FID，Diversity の評価にも，このモデルによって抽出された特徴量を用いる. 本研究では, 図 5 の Global Average Pooling の後の出力を特徴量として用いた.

FID: 生成モデルの評価で最も用いられる, 生成されたものと真のデータの分布の一致具合を評価する指標. 生成された動作とテストデータの動作の特徵量の平均と共分散をそれぞれ $(\mu, \Sigma),\left(\mu^{\prime}, \Sigma^{\prime}\right)$ と表したときに，以下の式により分布間距離を求める.

$
\mathrm{FID}=\left.\|\mu-\mu^{\prime}\right.\|_{2}+\operatorname{Tr}\left(\Sigma+\Sigma^{\prime}-2 \sqrt{\Sigma \Sigma^{\prime}}\right)
$

Diversity: 生成される動作の多様性を評価する指標. ランダムな文章入力から生成された $S_{d}$ 個の動作の集合を二つ用意し，それぞれから抽出された特

図 4: 詳細な提案モデルの図を示す。パラメータを共有する transformer は $N$ 個のアテンションブロックによって構成され，1 ステップずつノイズを除去し 2 人の動作を生成する. アテンションブロック内では順に，セルフアテンション，言語のクロスアテンション，動作間のクロスアテンション，順伝播型ニューラルネットワークによって処理が行われる.

図 5: Accuracy と MutualConsistency の評価に用いたモデルの図を示す. IEと PE は図 4 と同様.

徴量 $\left[v_{1}, \ldots, v_{S_{d}}\right],\left[v_{1}^{\prime}, \ldots, v_{S_{d}}^{\prime}\right]$ を用いて，以下の式によって生成される動作の多様性を評価する。

$
\text { Diversity }=\frac{1}{S_{d}} \sum_{i=1}^{S_{d}}\left.\|v_{i}-v_{i}^{\prime}\right.\|_{2}
$

MutualConsistency: 本研究で提案する, 生成された 2 人の動作が辻褄の合ったものになっているかを評価する指標. 図 5 に示すモデルを学習させ，評価に用いる。学習時は BERT[35] で用いられる next sentence prediction タスクの学習と同様に, [CLS] と呼ぶトークンを用意し，そこからの出力を用いて動作が正しいペアかを予測させる．例えば押すという動作において，誤ったペアでは，押す・押されるの方向やタイミング，位置関係が誤っているデータとなるため，正しいぺアとの判別を学習することにより，入力された 2 人の動作が辻褄の合っているものかを判定できるようになる. 本研究では正しいぺアと誤ったペアを 1 対 1 の比率で学習させた.このモデルを用いて，生成された 2 人の動作が正しいぺアとなっている割合によって評価する。


# On the Bias of CLIP for Object-Attribute Recognition

Yutaro Yamada ${ }^{1 *}$, Yingtian Tang ${ }^{2 *}$, Ilker Yildirim ${ }^{1}$
${ }^{1}$ Yale University
${ }^{2}$ University of Pennsylvania
\{yutaro.yamada,ilker.yildirim\}@yale.edu yingtian@seas.upenn.edu

## 概要

Large-scale vision-language models such as CLIP have shown impressive performance on zero-shot image classification and image-to-text retrieval. However, such zeroshot performance of CLIP-based models does not realize in tasks that require a finer-grained correspondence between vision and language, such as Visual Question Answering (VQA). We investigate why this is the case, and report an interesting phenomenon of CLIP, which we call the Concept Association Bias (CAB), as a potential cause of the difficulty of applying CLIP to VQA and similar tasks. CAB is especially apparent when two concepts are present in the given image while a text prompt only contains a single concept. In such a case, we find that CLIP tends to treat input as a bag of concepts and attempts to fill in the other missing concept crossmodally, leading to an unexpected zero-shot prediction.

## 1 Introduction

Recent large-scale vision-language models such as CLIP [1] and ALIGN [2] have shown remarkable performance on zero-shot classification and text-image retrieval tasks. These models are trained via cross-modal contrastive learning on web-scale image-text pairs and obtain powerful multimodal representations. Encouraged by these strong zero-shot capabilities, several recent papers explored CLIP for more complicated vision-language tasks. The initial attempt made by [3] reports near chance accuracy for zeroshot performance of CLIP on VQA-v2 [4], a common visual question answering benchmark. However, their approach simply uses "question: [question text] answer: [answer text]" as text input for the text encoder of CLIP, which makes the prediction harder than it should be. A subsequent work [5] proposes a better prompt generation method. They first convert a question into a masked prompt

CLIP: "In this picture, the color of the lemon is purple."

図 1 When we ask CLIP the color of the lemon in the above image, CLIP answers "purple". The text prompt we use is "In this picture, the color of the lemon is [mask]", where CLIP picks one from [red, green, yellow, orange, purple].

(e.g. "What's in the bowl behind the cake" becomes "The [mask] is in the bowl behind the cake"), and filter impossible answers using a language model, which improves CLIP's zero-shot performance on VQA-v2.

However, the zero-shot performance of CLIP on VQAv2 is still not state-of-the-art, which is achieved by taskspecific models [3]. While investigating what makes CLIP hard to adapt to VQA, we discover an interesting phenomenon, which we call the Concept Association Bias (CAB).

To describe this phenomenon, we present a simple image containing a "lemon" and an "eggplant" to CLIP, and ask what color the lemon is, as shown in Figure 1. Surprisingly, CLIP predicts "purple" with high confidence. When we instead ask for the color of the eggplant, CLIP answers "yellow". To cross-check this phenomenon, we formulate a binary zero-shot image classification task on the same image where the two labels are "yellow lemon" and "purple lemon", and find that CLIP predicts "purple lemon" with high confidence.

We hypothesize that this phenomenon comes from the discrepancy between what is described in the image and text input, where CLIP attempts to fill in the missing con-
cept. The association between "purple" and "eggplant" is strong, so when asked to fill in the mask in "[mask] lemon", predicting "purple" instead of "yellow" makes more sense for CLIP, because the text description of "purple lemon" is aligned with the image that contains both a lemon and an eggplant more faithfully than "yellow lemon", which only describes the lemon in the image. In fact, when we randomize the color of the lemon and eggplant (e.g. "red" for lemon and "green" for eggplant), we find that this bias disappears, and CLIP picks the color almost randomly between the two.

Vision-language models such as CLIP are being deployed for increasingly broad range of downstream applications $[6,7,8,9]$. However, the concept association bias suggests caution in such efforts.

## 2 Related Work

Vulnerability of vision and language models There are a number of papers that study the robustness of vision and language models. Some prior work [10] shows that Transformer trained via Masked Language Modeling [11] is insensitive to word orders, suggesting that the success of BERT largely depends on learning higher-order word co-occurrence rather than learning syntactic and semantic abstractions. Many benchmarks are proposed to evaluate robustness of ImageNet models towards various perturbations including common corruption [12], image style change [13], and different viewpoints [14]. Our work differs from these studies that are purely based on language or vision, because CAB is a cross-modal phenomenon, which occurs when both image and language data are used. [15] tests compositional generalization of vision and language models. [16] introduced a probing dataset called Winoground, which evaluates visuo-linguistic compositionality of vision and language models. They evaluate a diverse range of state-of-the-art vision and language models, including CLIP, but all of them perform close to or below random chance. Our work also reveals brittleness of CLIP through the lens of CAB, which has been overlooked in the past.

Peculiarities of CLIP In the image generation community, it has been reported that state-of-the-art models such as DALL-E 2 [6] struggle with composionality [17]. One of the potential causes of such failure has been attributed to the use of CLIP-based image encoder [6]. In fact, image generation models that do not use CLIP such as Imagen and Parti are known to be better at generating images that require compositional reasoning [18, 19]. However, few works go into depth to analyze the behavior of CLIP in zero-shot image classification and visual question answering. Our analysis based on $\mathrm{CAB}$ offers a new perspective on the weakness of CLIP-based models for compositional reasoning.

## 3 The Concept Association Bias

The zero-shot image classification of CLIP is remarkable for images that contain a single concept. However, when there are multiple concepts in the image but the text input does not cover all of them, the zero-shot classification of CLIP can be significantly biased towards the missing concept(s). We call this bias the Concept Association Bias (CAB). We first showcase this bias using color recognition tasks. ${ }^{1)}$ For this analysis, we use the Natural-Color Dataset (NCD) [20], which is a dataset of vegetables and fruits with a white background. We take the following objects: banana, brinjal, broccoli, carrot, cherry, corn, cucumber, lemon, orange, plum, pomegranate, strawberry, tomato. We then randomly sample two images with different vegetable types and place the two objects side-by-side, resulting in 494 images in total. Examples are shown in Figure 2.

図 2 Example images from Natural-Color Dataset (NCD) [20], modified for our color recognition tasks so that each image contains two different objects.

For zero-shot transfer from CLIP to our color recognition task, we ask for the color of one of the objects in the image. The labels we use are "red", "yellow", "purple", "green", and "orange", so it is a 5-way color recognition task. When there is a single object in the image, we use the following text prompt: "In this picture, the color of the object is [mask]." When there are two objects in the image, we specify one of these objects in the prompt. For exam-

ple, if there is a lemon and another object in the image, the prompt takes the following format: "In this picture, the color of the lemon is [mask]."

Zero-shot transfer from CLIP to color recognition

図 3 Zero-shot performance of CLIP on color recognition tasks using NCD [20]. CLIP achieves almost perfect accuracy when there is a single object in the image, but the accuracy significantly drops when there are two objects. "Two object*" refer to the case in which we instead measure the accuracy of predicting the color of the object $B$ when it is asked for the color of the object $A$, where we see $80 \%$ zero-shot accuracy. We claim this gap between Two objects and Two objects* is a result of the Concept Association Bias (CAB).

The results are shown in Figure 3. We first note that the zero-shot performance of CLIP on our color recognition task is almost perfect when there is a single object per image ("Single object" in Figure 3). However, the classification performance considerably degrades to below chance when there are two objects per image ("Two objects" in Figure 3).

How does this happen? We suggest that CLIP does not have a mechanism that stores object-centric representation that correctly binds the object's name and its attribute. In another words, CLIP processes its input as a "bag of concepts".

To inspect this possibility, we look at what kind of mistakes CLIP makes when there are two objects A and B. We find that many mistakes are derived from a common source. That is, when asked for the color of object A, CLIP often predicts the color of object $B$ in the image. In fact, when we measure the accuracy of predicting the color of the object $B$ when in reality it is asked to predict the color of the object A, we see that the zero-shot transfer performance of CLIP is much higher ("Two objects*" in Figure 3), approaching the single object accuracy.

To understand this phenomenon, we find it helpful to consider two variables per object, where each variable rep-

(a) Natural color

(b) Natural color ([mask] = purple)

(c) Unnatural color

図 4 The concept binding diagram. Two variables per object represent the object name and its attribute (e.g. color), respectively. We suggest that the text prompt and the image are represented as two separate "bags of concepts" in CLIP. When a pair of object-attribute concepts are naturally associated with each other, then both concepts can be accounted for by including in the prompt either of the object or the attribute. When only some of the concepts in the image are included in the text, this leaves other concepts in the image unaccounted for.

resents the object's name in the image and the color attribute of the object, as shown in Figure 4. When the colors are natural (Figure 4 (a)), both the object "lemon" and its attribute "yellow" in the image are fully explained by the word "lemon" in the text prompt, resulting in the concept of the eggplant remaining. When CLIP performs zero-shot color recognition, we see that placing the color "purple" in the prompt can most faithfully explain the remaining concept of the eggplant in the image (Figure 4 (b)).

図 5 Examples from UNCD. Single object (Top) and Two objects per image (Bottom).

The above explanation suggests that there is a strong association between the color "purple" and the object "eggplant" in CLIP to the point where "purple" can partially explain the concept of the eggplant. What if we break this strong association? Does the gap between Two objects and Two objects* disappear?

Zero-shot transfer from CLIP to unnatural color recognition

図 6 Zero-transfer performance of CLIP to color recognition on UNCD, where we assign non-associated color to each vegetable. CLIP achieves $80 \%$ accuracy when there is a single object in the image. While the accuracy drops for Two objects, the drop is not as significant as the NCD case. Furthermore, the gap between Two objects and Two objects* vanishes, compared to the NCD case.

To test this, we create a version of NCD, which we call UNnatural-Color Dataset (UNCD), where we artificially change the color of each fruit and vegetable to nonassociated color. Examples are shown in Figure 5. We repeat the same experiment on UNCD. The results are shown in Figure 6. We see that the zero-shot performance for a single object is still high, suggesting that CLIP can pick up the color attribute even if the color is not strongly associated with the object itself. However, for the two object cases, we see that there is almost no difference between Two objects and Two objects* tasks. In other words, CLIP predicts the two non-associated colors in the image with almost equal chance.

Why does the CAB gap disappear when objects are paired with random attributes in images? This result arises from a common mechanism that impacts both the Two objects and Two objects* tasks. To see this, we go back to our diagram in Figure 4 (c). When the colors are unnatural (e.g., a lemon in red color and an eggplant in green color), then the remaining bag of concepts that are yet to be explained by the text include "red", "green", and "eggplant". This is because the color "red" is not associated with the concept of "lemon", and therefore the word "lemon" in the text prompt cannot explain the color "red", unlike the case that uses natural color. As a result, CLIP can choose either "red" or "green" for color recognition. And indeed, surprisingly, CLIP randomly chooses between the two it does not associate the concept of "red" with the lemon, even though in the image the lemon unambiguously ap- pears in red. Likewise, for the Two objects* task (in which the correct prediction is defined as the color of object $\mathrm{B}$ when asked for object A), CLIP essentially randomly picks one of the two colors present in the image, despite the fact that each object has their own very distinct color.

図 7 The Concept Association Bias (CAB) remains regardless of the spatial configurations such as "left \& right", "up \& down", "upper-left \& down-right", and "large \& small". We use the same subset of NCD as in Figure 3.

## 3.1 The spatial arrangement has almost no effect on CAB

In our earlier experiments on NCD and UNCD, two objects are positioned side-by-side. To see if CAB is robust to the positioning of objects, we vary the spatial arrangement of the two objects in the image. Concretely, we test the following spatial configurations: left \& right, up \& down, and upper-left \& down-right. We also vary the size of the two objects for left \& right, which is denoted as "large \& small". As Figure 7 shows, CAB is not affected by either spatial arrangements or the object size.

## 4 Conclusion

Every object has a set of concepts that are roughly associated with it. For instance, the object "lemon" can be associated with "yellow", "fruit", and so on. Such concept association is automatically learned in vision-language models such as CLIP, to the point where the word "yellow" can partially explain the object "lemon" in certain cases. We establish that the Concept Association Bias (CAB) exists for CLIP through a series of experiments. CLIP is increasingly popular in both computer vision and natural language processing. We hope our work raises awareness of the brittleness of CLIP as we develop new models on top of CLIP.

## Acknowlegments

Computational resource of AI Bridging Cloud Infrastructure $(\mathrm{ABCI})$ provided by National Institute of Advanced Industrial Science and Technology (AIST) was used for the experiments in this paper.

## 参考文献

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763. PMLR.

[2] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 4904-4916. PMLR.

[3] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. How Much Can CLIP Benefit Vision-andLanguage Tasks?

[4] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the v in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering. pp. 6904-6913.

[5] Haoyu Song, Li Dong, Weinan Zhang, Ting Liu, and Furu Wei. CLIP Models are Few-Shot Learners: Empirical Studies on VQA and Visual Entailment. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6088-6100. Association for Computational Linguistics.

[6] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical Text-Conditional Image Generation with CLIP Latents.

[7] Renrui Zhang, Ziyu Guo, Wei Zhang, Kunchang Li, Xupeng Miao, Bin Cui, Yu Qiao, Peng Gao, and Hongsheng Li. PointCLIP: Point Cloud Understanding by CLIP. pp. 8552-8562.

[8] Aditya Sanghi, Hang Chu, Joseph G. Lambourne, Ye Wang, Chin-Yi Cheng, Marco Fumero, and Kamal Rahimi Malekshan. CLIP-Forge: Towards Zero-Shot Text-To-Shape Generation. pp. 18603-18613.

[9] Can Wang, Menglei Chai, Mingming He, Dongdong Chen, and Jing Liao. CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields. pp. 3835-3844.

[10] Koustuv Sinha, Robin Jia, Dieuwke Hupkes, Joelle Pineau, Adina Williams, and Douwe Kiela. Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2888-2913. Association for
Computational Linguistics

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics.

[12] Dan Hendrycks and Thomas Dietterich. Benchmarking Neural Network Robustness to Common Corruptions and Perturbations.

[13] Dan Hendrycks, Steven Basart, Norman Mu, Saurav Kadavath, Frank Wang, Evan Dorundo, Rahul Desai, Tyler Zhu, Samyak Parajuli, Mike Guo, Dawn Song, Jacob Steinhardt, and Justin Gilmer. The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization.

[14] Andrei Barbu, David Mayo, Julian Alverio, William Luo, Christopher Wang, Dan Gutfreund, Josh Tenenbaum, and Boris Katz. ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models. In Advances in Neural Information Processing Systems, Vol. 32, pp. 9453-9463.

[15] Ben Bogin, Shivanshu Gupta, Matt Gardner, and Jonathan Berant. COVR: A Test-Bed for Visually Grounded Compositional Generalization with Real Images. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9824-9846. Association for Computational Linguistics.

[16] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality. pp. 5238-5248.

[17] Royi Rassin, Shauli Ravfogel, and Yoav Goldberg. DALLE-2 is Seeing Double: Flaws in Word-to-Concept Mapping in Text2Image Models.

[18] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho, David J. Fleet, and Mohammad Norouzi. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding.

[19] Jiahui Yu, Yuanzhong Xu, Jing Yu Koh, Thang Luong, Gunjan Baid, Zirui Wang, Vijay Vasudevan, Alexander $\mathrm{Ku}$, Yinfei Yang, Burcu Karagol Ayan, Ben Hutchinson, Wei Han, Zarana Parekh, Xin Li, Han Zhang, Jason Baldridge, and Yonghui Wu. Scaling Autoregressive Models for Content-Rich Text-to-Image Generation.

[20] Saeed Anwar, Muhammad Tahir, Chongyi Li, Ajmal Mian, Fahad Shahbaz Khan, and Abdul Wahab Muzaffar. Image Colorization: A Survey and Dataset.


# エッジプロービングを用いた事前学習済みの 視覚と言語に基づくモデルにおける言語知識の分析

白井尚登 1 上垣外英剛 1 渡辺太郎 1
1 奈良先端科学技術大学院大学
\{shirai.naoto.sq5, kamigaito.h, taro\}@is.naist.jp

## 概要

近年 Transformer ベースの Vision-and-Language (V\&L) モデルが次々に提案され, 画像情報に対する質問応答などのマルチモーダルタスクで成功を収めている.一方で，V\&L モデルが適するタスクを把握するためには，V\&L モデルが有する言語処理能力を知ることが必要である. 本研究ではエッジプロービングというフレームワークを採用し, 事前学習済み (V\&L) モデルである VisualBERT と LXMERT が有する言語知識の分析を行う.このプロービング手法を用いることで品詞タグ付けなど 8 つの分類タスクのスコアの算出と，分類に寄与する隠れ層の定量化を実現する. 実験の結果,VisualBERT は全体的に BERT とタスクごとの精度や分類に寄与する層が近しい一方,LXMERT は全体的に精度が低く, より低層の情報が寄与していることが判明した.

## 1 はじめに

近年, Vision-and-Language (V\&L) モデルとして,言語と画像を横断した汎用的なマルチモーダル表現の獲得のために,Transfomer に基づく事前学習済みモデルが次々と提案されている [1].V\&L モデルには BERT [2]を模したエンコーダを用いるものが多く，言語と画像を含む入力に対する扱いの差異によって, Single-stream モデルと Dual-stream モデルに大別される (図 1). Single-stream モデルは言語と画像を一つのエンコーダで処理し, Dual-stream モデルは言語と画像を別々のエンコーダで処理した後, その結果を一つのエンコーダで統合する階層的なモデル構造である.これらのモデルは画像情報を踏まえた質問応答 [3] などマルチモーダルタスクの精度向上に貢献している [1].

現在，これらの V\&L モデルが視覚情報を学習することで，テキストのみを学習したモデルよりも良

図 1 Single-stream(左) と Dual-stream(右) モデルの構成. 入力した視覚情報, 言語情報に対する処理方法が異なる.

い文脈表現を獲得できているのかの調査が行われている. 先行研究 $[4,5]$ では，事前学習済み $V \& L$ モデルの言語理解能力をベンチマーク GLUE [6] で評価し， Single-stream モデルは Dual-stream モデルよりも僅かに高い言語理解能力を有しているが，単に画像情報を学習するだけでは言語理解能力が向上しないことを主張している.また,これらの研究ではテキストのみの評価データに対として入力する視覚情報の差異による性能変化についても議論されている.

このように V\&L モデルにおける検証ではベンチマークスコアに基づいた方法が行われている一方，自然言語処理分野では事前学習済みモデルに対するより詳細な分析手法として，エッジプロービング [7] と呼ばれるフレームワークが提案されている. エッジプロービングは事前学習済みモデルにトークン列からなるスパンを入力し，出力された表現を利用した分類器が対応するラベルをタスクごとに予測することで行われる.この際，分類器に入力するスパン表現はパラメータを固定したモデルの各層に重み付けをするスカラーミキシングにより得られる。 エッジプロービングとスカラーミキシングを組み合わせた手法は学習した各層への重みを参照することで，分類タスクごとに寄与する層を定量的に評価できる利点がある.

自然言語処理分野ではこのアプローチで BERTを
分析することにより,BERT の隠れ層は品詞タグ付け, 構文解析, 固有表現抽出といった深層学習導入以前の自然言語処理で使用されていた逐次的な言語処理と対応する関係を持つという画期的な知見が得られている [8].

一方で, 事前学習済みの V\&L モデルに対しては, エッジプロービングを用いてテキストとともに画像情報を入力する VisualBERT [9], 動画情報を入力する VideoBERT [10] の調査がなされている [11]. この研究でも視覚情報の学習が言語処理能力の大幅な改善に繫がっていないという見解が示された. なお， Dual-stream モデルが有する言語知識に関しては言語エンコーダに限定し, 文埋め込みに基づくベンチマーク SentEval [12] によって評価されている [13].

このように V\&L モデルに対して様々な検証が行われている一方，既存研究では V\&L モデルで各隠れ層がどの分類タスクに寄与しているのかの十分な分析がなされておらず，自然言語処理データで獲得された層間の関係がどれほどモデルに残されるのかも明らかにはなっていない. 同様に Single-stream モデルや Dual-stream モデルといった構造の違いが各層に与える影響についても明らかではない.

本研究ではこれらの点を明らかにするために，事前学習済みの VisualBERT と LXMERT [14] の有する言語知識に焦点を当て，エッジプロービングとスカラーミキシングの手法からタスクごとの精度や自然言語タスクの解決に寄与する層が何かを定量的に示す. 実験の結果，VisualBERT はタスクに応じた層を利用することで視覚情報を学習しながらも BERT に劣らない精度を維持する一方，LXMERT は全体的に精度が低く，より低層の情報が自然言語処理に寄与していることが判明した。

## 2 V\&L モデル

本研究では異なる構造 (Stream) のモデルが有する言語知識を評価するために Single-stream モデルである VisualBERT と Dual-stream モデルである LXMERT を比較する．以下では両モデルの概要を紹介する。

## 2.1 VisualBERT

VisualBERT [9] は最初期の事前学習済み V\&L モデルとして知られており [1]，画像べクトル表現とテキストの埋め込み表現を連結して入力する Single-stream モデルである. 初期化は事前学習済みの BERT $_{\text {BASE }}$ [2] の重みを引き継ぐことで行われ，

図 2 意味役割 (SRL) タスクのプロービングモデルの例.与えられたスパンから”strawberry ice cream” $\left(s_{2}\right)$ が”eat" $\left(s_{1}\right)$ の対象となるか予測する. スパン表現は固定した事前学習済みモデルから得たトークンの表現ベクトル $\mathrm{e}=\left[e_{0}\right.$, $\left.e_{1}, \cdots, e_{n}\right]$ をプーリングすることで獲得する。

MS COCO [15] によって追加の事前学習が行われる. また，VQA [16] などの下流タスクへの適用はファインチューニングで行う. 画像の特徴量は Faster R-CNN [17] でオブジェクト領域のバウンディングボックスを検出し，エンコードすることで獲得される.

## 2.2 LXMERT

LXMERT [14] は画像と言語を別々のエンコーダで学習し，両モダリティの関係性を上層のクロスモダリティエンコーダで学習する Dual-stream のモデルである。事前学習時にはデータセットとして MS COCO,VQA,Visual Genorm [18],GQA [19],VGQA [20]を使用する。入力する画像表現には VisualBERT と同様に Faster R-CNN で検出した特徴量を用いる.

## 3 分析手法

## 3.1 エッジプロービング

本研究は事前学習済みモデルが有する言語知識を調査するために Tenney らが提案したエッジプロー ビング [7] というアプローチを採用する. エッジプロービングは分類器を通して事前学習済みモデルに含まれる言語構造に関する情報を抽出して調査することを目的としている。この分類器は事前学習済みモデルに与えられたトークンのスパンに対する出力を入力として受け取り，品詞情報などタスクに関するラベルを予測する。図 2 に処理手順の例を示

す.この例では分類器はスパン $s_{1}=\left[i_{1}, j_{1}\right)$ とスパン $s_{2}=\left[i_{2}, j_{2}\right)$ に対応する表現を受け取る. スパン表現は与えられたスパンのトークンの埋め込み表現を各層の活性度を重み付け (スカラーミキシング §4) し，プーリングしたものである。なお，事前学習時に獲得した言語知識を調査するためにエンコーダの重みは固定し, 分類器をタスクごとに学習する.

## 3.2 分類タスクとデータセット

本研究では言語知識に関する分類タスクとして8つのラベル付けタスクを対象とし，結果を micro-F1 スコアで評価する. データセットには依存関係（Deps.）に English Web Treebank [21], 非文法的な意味役割 (SPR2) には SPR2 [22], 関係分類（Relations）として SemEval 2010 Task 8 [23] を使用する. そして, 品詞 (POS), 句構造 (Consts.), 固有表現 (Entities), 意味役割 (SRL), 共参照 (Coref.) には OntoNotes 5.0 [24]を用いる.これらタスクの一例は付録 A. 1 に記載している。なお，POS, Consts., Entities は単一のスパンからラベルを予測をするため, プロービングでは図 2 のような $s_{2}$ を使用しない.

## 3.3 入力画像

本分析では言語知識を問うデータセットがテキストのみで構成されているため，V\&L モデルに入力する視覚的特徴が問題となる. 先行研究ではエッジプロービングによって言語知識を定量化する際に事前学習済み $\mathrm{V} \& \mathrm{~L}$ モデルには視覚情報を入力せず，テキスト入力のみで調査している [11]. 一方， GLUE で評価する際には黒画像 $(224 \times 224$ ピクセル)を使用し，特徵量抽出のための Faster R-CNN detector $[25]^{1}$ で最初に検出した 36 個のバウンディングボックスの特徴量をエンコードしている [4].本研究でも黒画像の入力を採用しているが，黒画像はあくまで入力する視覚的特徴の代替案の一つであることに注意されたい. 黒画像の代わりにゼロべクトルや V\&L タスク用データセット内の画像の特徴量平均などを視覚情報の代替として入力することが提案されている [5]. なお, VisualBERT はテキストのみの入力が可能であるが，LXMERT は言語と画像を別々のエンコーダで処理し，クロスモダリティエンコーダでその結果を統合している. したがって， テキストのみを入力する場合にはクロスモダリティ

1）本研究の物体検知には https://github.com/ peteanderson80/bottom-up-attention\#demo で提供されている事前学習済みモデルを使用している。
エンコーダ内の視覚側のエンコーダからの残差接続を無効にする必要がある.

## 3.4 分析モデル

本研究では V\&L モデルとして Huggingface Transformers [26] で提供され,2023 年 1 月現在一番利用されている事前学習済み VisualBERT ${ }^{2}$ 及び LXMERT $^{3)}$ のパラメータを用いてモデルの有する言語知識の調查を行った.VisualBERT は 12 層を使用し, LXMERT は 8 層の言語エンコーダと 5 層のクロスモダリティエンコーダの計 13 層を調查対象とする.また, 自然言語のみで学習されたモデルとして, 12 層の事前学習済み $\mathrm{BERT}^{4}$ を使用する。

## 4 評価方法

我々はプロービングを行う際に言語知識の獲得にモデルのどの層が寄与しているのか定量化する．そのため, ELMo [27] で提案されたスカラーミキシングという手法を使用する. スカラーミキシングは学習可能なパラメータをエンコーダの層の数だけ用意し, 分類タスクごとに寄与する層を重み付けとして学習させることで全層を通した文脈べクトルを導出する. 具体的にはタスク $\tau$ ごとに各層 $\ell=[0,1, \cdots$, L] に対応した学習可能なパラメータ $a_{\tau}=\left[a_{\tau}^{(0)}, a_{\tau}^{(1)}\right.$, $\left.\cdots, a_{\tau}^{(L)}\right]$ を用意し，それらをソフトマックス関数により正規化した重み $s_{\tau}$ や調整パラメータ $\gamma_{\tau}$ からあるトークン $h_{i}$ のタスクに応じた表現ベクトル $h_{i, \tau}$ を導出する。まとめる以下の計算式 1,2 となる.

$
\begin{aligned}
s_{\tau} & =\operatorname{softmax}\left(a_{\tau}\right) \\
h_{i, \tau} & =\gamma_{\tau} \sum_{\ell=0}^{L} s_{\tau}^{(\ell)} h_{i}^{(\ell)}
\end{aligned}
$

重み $a_{\tau}$ はプロービング分類器とともにタスクごとに学習され，ソフトマックス関数により正規化されることで分類タスクに対する各層の寄与度を理解しやすくなる.ここで，各層の重み $s_{\tau}^{(\ell)}$ はどの層の情報をどの程度で使用するかという係数として捉えることができるため，より重みが高いほどその層がその特定のタスクに関連する情報をより多く含んでいることの根拠と解釈することができる.

重心モデルのどの層が主にタスクごとの分類に寄与しているのか分かりやすくするため，本実験で

表 13 回の実験から得たタスクごとの micro-F1 スコアの平均. 括弧内は学習した重みの重心の平均.

図 3 各層に対応する重み付けを視覚化した一例. 左から BERT,VisualBERT,LXMERT. タスクは表 1 の左右が上下に対応.

は学習した重みの重心を以下のように求める 3.

$
\bar{E}_{s}[\ell]=\sum_{\ell=0}^{L} \ell \cdot s_{\tau}^{(\ell)}
$

これは各タスクに寄与した平均的な層を反映しており，この重心の値が分類タスクを解く際に重要な層を示していると解釈できる [8].

## 5 実験結果

## 5.1 分類スコアの比較

表 1 に事前学習済みモデルを使用した分類タスクごとの micro-F1 スコアを示す. VisualBERT は先行研究 [11] と同じく大きな精度低下は見られない. これは引き継いだ BERT のパラメータが画像を含めた追加的な事前学習を経ても維持されているためだと考えられる。一方, LXMERT は BERT に対して全体的にスコアが低い. 特に低下した Relations タスクの詳細は付録 A. 2 に示す.この結果は Single-stream よりも Dual-stream モデルの方が言語処理能力が低いという先行研究の結果 $[4,13]$ と一貫する.

## 5.2 各層の重みと重心

続いて表 1 で示した重心とスカラーミキシングにより学習されたタスクごとの各層の重みを示した図 3 に基づいた議論を進める. VisualBERT は BERT
と同様の傾向を示し, 品詞情報などの語彙に強く依存する情報は下層の，固有表現などの文脈理解を求める情報はより高層の埋め込み表現が分類タスクに寄与している。対する LXMERT は 2 つのモデルとは異なり，タスクの種類に関係なく，低層の情報を使用する傾向がある．特に Entitiesのタスクでは BERT や VisualBERT よりも低い層を重視している. また,LXMERT は 9 層以降の情報をあまり使用していないことからクロスモダリティエンコーダは言語処理タスクにあまり寄与していないと考えられる。以上の結果より,VisualBERT の言語処理能力の高さは BERT で学習された各層の関係が維持されているためであると考えられる。

## 6 おわりに

本研究では VisualBERT や LXMERT の有する言語知識をエッジプロービングとスカラーミキシングによって調査した. その結果，VisualBERT が示す高い性能は BERT により獲得された言語知識が引き継がれているためである可能性が示唆された. また， LXMERT はタスクにあまり関係なく低層の情報が分類タスクに寄与している傾向が判明した. このことより，言語と画像の情報を統合するクロスモダリティエンコーダで学習される表現は言語処理タスクに対してはあまり寄与しないことも明らかにした。

## 謝辞

本研究は JSPS 科研費 JP21K17801 の助成を受けたものです.

## 参考文献

[1] Yifan Du, Zikang Liu, Junyi Li, and Wayne Xin Zhao. A survey of vision-language pre-trained models. arXiv preprint arXiv:2202.10936, 2022.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: visual question answering. CoRR, Vol. abs/1505.00468, , 2015.

[4] Taichi Iki and Akiko Aizawa. Effect of visual extensions on natural language understanding in vision-and-language models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2189-2196, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[5] Lovisa Hagström and Richard Johansson. How to adapt pre-trained vision-and-language models to a text-only input? In Proceedings of the 29th International Conference on Computational Linguistics, pp. 5582-5596, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[6] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. CoRR, Vol. abs/1804.07461, , 2018.

[7] Ian Tenney, Patrick Xia, Berlin Chen, Alex Wang, Adam Poliak, R. Thomas McCoy, Najoung Kim, Benjamin Van Durme, Samuel R. Bowman, Dipanjan Das, and Ellie Pavlick. What do you learn from context? probing for sentence structure in contextualized word representations. In International Conference on Learning Representations, 2019.

[8] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, and Kai-Wei Chang. Visualbert: A simple and performant baseline for vision and language. arXiv preprint arXiv:1908.03557, 2019.

[10] Chen Sun, Austin Myers, Carl Vondrick, Kevin Murphy, and Cordelia Schmid. Videobert: A joint model for video and language representation learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 7464-7473, 2019.

[11] Tian Yun, Chen Sun, and Ellie Pavlick. Does vision-andlanguage pretraining improve lexical grounding? CoRR, Vol. abs/2109.10246, , 2021.

[12] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. CoRR, Vol. abs/1803.05449, , 2018.

[13] Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. CoRR, Vol. abs/2005.07310, , 2020.

[14] Hao Tan and Mohit Bansal. LXMERT: learning crossmodality encoder representations from transformers. CoRR, Vol. abs/1908.07490, , 2019.

[15] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, Lubomir D. Bourdev, Ross B. Girshick, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO: common objects in context. CoRR, Vol. abs/1405.0312, , 2014

[16] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. CoRR, Vol. abs/1612.00837, , 2016.

[17] Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster R-CNN: towards real-time object detection with region proposal networks. CoRR, Vol. abs/1506.01497, , 2015.

[18] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. CoRR, Vol. abs/1602.07332, , 2016

[19] Drew A. Hudson and Christopher D. Manning. GQA: a new dataset for compositional question answering over real-world images. CoRR, Vol. abs/1902.09506, , 2019.

[20] Yuke Zhu, Oliver Groth, Michael S. Bernstein, and Li Fei-Fei. Visual7w: Grounded question answering in images. CoRR, Vol. abs/1511.03416, , 2015.

[21] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Chris Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 2897-2904, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[22] Aaron Steven White, Drew Reisinger, Keisuke Sakaguchi, Tim Vieira, Sheng Zhang, Rachel Rudinger, Kyle Rawlins, and Benjamin Van Durme. Universal decompositional semantics on Universal Dependencies. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1713-1723, Austin, Texas, November 2016. Association for Computational Linguistics.

[23] Iris Hendrickx, Su Nam Kim, Zornitsa Kozareva, Preslav Nakov, Diarmuid Ó Séaghdha, Sebastian Padó, Marco Pennacchiotti, Lorenza Romano, and Stan Szpakowicz. SemEval-2010 task 8: Multi-way classification of semantic relations between pairs of nominals. In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[24] Mitchell Marcus Eduard Hovy Sameer Pradhan Lance Ramshaw Nianwen Xue Ann Taylor Jeff Kaufman Michelle Franchini Mohammed El-Bachouti Robert Belvin Ann Houston Ralph Weischedel, Martha Palmer. Ontonotes release 5.0 ldc2013t19. Web Download. Philadelphia: Linguistic Data Consortium, 2013.

[25] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6077-6086, 2018.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, and Jamie Brew. Huggingface's transformers: State-of-the-art natural language processing. CoRR, Vol. abs/1910.03771, , 2019.

[27] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

## A 付録

## A. 1 タスクの例

表 2 タスクごとの文章, スパン, ターゲットラベルの例.

## A. 2 関係分類 (Relations) タスクの詳細

表 3 関係抽出 (Relations) タスクのラベルと文章例. 各ラベルは因果 (Cause-Effect), 道具と使用者 (Instrument-Agency), 生産物と生産者 (Product-Producer), 物体と入れ物 (Content-Container), エンティティと起源 (Entity-Origin), エンティティと目的地 (Entity-Destination), 構成物と全体 (Component-Whole), 一部と集合したもの (Member-Collection), メッセージとトピック (Message-Topic)との関係性を表す.

表 43 回の実験から得た Relations タスクの micro-F1 スコアの平均. VisualBERT は BERT と比べ, 関係分類タスク全体 (ALL) だけではなくラベルレベルでも精度に大きな差は見られない.一方, LXMERT は BERT に対してタスク全体もラべルレベルでもスコアが低い傾向がある.特に生産物と生産者との関係性を問う PP の精度が大幅に低下している.


# VideoCLIP を用いた実験動画からのプロトコル生成

山本航輝 ${ }^{1}$ 西村太一 ${ }^{1}$ 亀甲博貴 ${ }^{2}$ 森信介 ${ }^{2}$
1 京都大学大学院 情報学研究科 2 京都大学 学術情報メディアセンター
\{yamamoto.koki.76n,nishimura.taichi.43x\}@st.kyoto-u.ac.jp
\{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

本研究では，研究における再現性向上の目的の下，生化学分野における一人称視点の実験映像からの，実験手順を表すプロトコルの自動生成に取り組んだ.プロトコルの生成において，フレームに映っている物体の名称に加え，VideoCLIP により推定した実験者の動作を動詞として利用することで，物体の名称のみを用いた場合よりも多くの情報を用いたプロトコル生成を行なった. その結果, 正しい動詞を利用することでより適切なプロトコルを生成することができた.

## 1 はじめに

心理学や化学など様々な研究領域において, 研究の再現性の低さが問題視されている. Baker の調査 [1] によれば，研究者約 1,500 人の内 $70 \%$ 以上が他の研究者の実験結果を再現できなかった経験があると述べている. 科学的研究結果を普遍的なものにするために，再現性を向上させることが求められている.

研究領域の中でもとりわけ，薬品や実験器具を扱う生化学実験の再現における重要な要素のひとつとしてプロトコルが挙げられる. プロトコルとは必要な器具や薬品の名称とともに実験の手順を時系列順に記した文書であり，実験を再現する研究者はプロトコルを参照することで, 実験手順や試薬の量といった実験の再現に必要な情報を得ることができる.プロトコルに記述漏れや誤りがある場合, 研究者は誤った情報をもとに実験を再現することに繋がり，プロトコルを正しく記述することは実験の再現性に関わる大きな要因のひとつだと言える。

このようなプロトコルの記述漏れや誤りを防ぐ手段のひとつとして，自動的なプロトコルの作成が挙げられる. 人間の手を介さずにプロトコルを記述することにより，ヒューマンエラーによる記述誤りを防ぐと同時に，人手によるプロトコル作成のコストを削減することができる。

本研究では自動的なプロトコル作成の一例として，視覚モデルと言語モデルを用いた，実験映像からのプロトコル生成に取り組む. 本研究で提案する手法は西村らが発表したプロトコル生成手法 [2]を拡張したものである. 西村らは生化学実験の実験映像中に現れる試薬や実験器具の名称を言語モデルに与え，プロトコルの生成を行なっていた. しかし，加える試薬の量や実験者の動作等といった視覚情報が与えられておらず，それらの情報だけでは十分とは言えない，本研究では，実験映像から実験者の動作を推定し，映像中の試薬や実験器具に加え，動作も加味することでより多くの情報を用いたプロトコル生成に取り組んだ。 その結果, 言語モデルに正しい動詞を与えることでより適切なプロトコルが生成できることを確認した.

## 2 BioVL2 データセット

本研究では，生化学分野における一人称視点の実験映像データセットである BioVL2 データセット [2] を用いてプロトコルの生成に取り組む. BioVL2 データセットは，生化学分野における基礎的な 4 種類の実験の様子を撮影した一人称視点の動画像デー タセットである.

BioVL2データセットには, (1) 実験映像に対応するプロトコル，及び (2) 映像フレーム中に現れる試薬，実験器具のバウンディングボックスの 2 種類のアノテーションが与えられている. (1) に関して, プロトコルは各実験映像の実験手順を時系列順に記したものであり，それぞれの手順と，実験映像中の各手順に対応する開始時刻と終了時刻が付与されている。(2)に関して，実験映像から 4 秒ごとにフレームを切り出し，フレーム中に現れる試薬及び実験器具のバウンディングボックス及びそれらの名称が 4 秒毎のフレームに対して付与されている.

図 1 プロトコル生成の手順

## 3 実験映像からのプロトコル生成

本研究で扱う BioVL2 データセットは合計 3 時間ほどの動画像データセットであり, 学習データ量の観点から，映像データを入力として直接プロトコルを生成するような深層学習モデルを構築することは難しい. そこで本研究ではプロトコルの生成手法として西村らの手法 [2] を拡張し, 適用する. 図 1 に手法の概要を示す. 西村らの研究では, 牛久らの手法 [3] を基に，BioVL2 データセットを用いて以下の 4 つの手順により実験映像からプロトコルを生成する. 一つの実験映像に対するプロトコル生成の手順を以下に示す。
1. 4 秒に 1 枚フレームを抽出し，あらかじめアノテーションされた物体名（bio-Named Entity, 以下 b-NEとする）を抽出する。

2. 連続するフレームの b-NE を統合し， b-NE 列を得る. 図 1 の例では， 5 番目のフレームと 6 番目のフレームから'primer1'と'DNA engine'という b-NE が得られ, b-NE 列 $\{$ 'primerl'\}， \{'DNA engine'\}, \{'primer1', 'DNA engine'\} を得る.

3. 得られた b-NE 列を, 事前学習済みの文生成モデルに与え，手順の候補文とその尤もらしさを表すスコアを得る。

4. 手順 3 により得られた候補文の中から，候補文のスコアに基づいたビタビアルゴリズムにより，最も尤もらしい文の組み合わせを探索し，
プロトコルとする.

西村らの手法の問題点は, 手順 3 において実験映像中に現れる b-NE のみを文生成モデルに与えることで候補文の生成を行なっており，映像の視覚的情報を無視してしまっている点である。そこで本研究では上記の手順 3 を，「得られた b-NE 列，及び連続するフレーム間の実験映像から推定される動作を文生成モデルに与え，手順の候補文を生成する」という手順に変更した。

## 3.1 b-NE の抽出と統合

BioVL2 の実験映像では動画の 4 秒毎に，フレー ム中に現れる b-NE がバウンディングボックスによりアノテーションされている.これらのアノテーションから，各フレームにおける b-NE 及び連続するフレーム列における b-NE 列を以下のようにして得る. $i$ 番目のフレームを $f_{i}, i$ 番目のフレームから連続する $l$ 個のフレーム列を $\boldsymbol{f}_{n}^{l}=\left(f_{n}, f_{n+1}, \ldots, f_{n+(l-1)}\right)$ とし, フレーム $f_{i}$ が b-NE 集合 $\varepsilon_{i}$ を持つとする. この時フレーム列 $f_{i}^{l}$ が持 $\supset \mathrm{b}-\mathrm{NE}$ 集合は $e_{n}^{l} \in \varepsilon_{i} \times \varepsilon_{i+1} \times \ldots \times \varepsilon_{i+(l-1)}$ と書ける （×は集合のデカルト積を表す)，西村らの手法と同様に，フレーム列の長さ $l$ について $l=1,2,3$ に対応する b-NE 列を獲得する。例として，図 1 のフレーム $f_{5}, f_{6}$ が b-NE としてそれぞれ'primer1', 'DNA engine'を持つ場合，フレーム列 $f_{5}^{2}$ が持つ b-NE 集合は'primer1', 'DNA engine'となる.

## 3.2 実験映像からの動作推定

続いて，連続するフレーム列の間の実験映像から，実験者の動作を推定する．生化学分野における実験を対象とした大規模動画像データセットは存在せず，実験映像を入力とした動作推定を行うモデルを学習させることは困難である。 よって本研究では動作推定を行うモデルとして，タスクに応じたモデルの再学習を必要とせず，ゼロショットで下流タスクを解くことのできる VideoCLIP [4]を用いる.

## 3.2.1 VideoCLIP

VideoCLIP は動画と言語の対応関係を学習した Vision-Language モデルである. VideoCLIP は HowTo100M [5] データセットを用いた対照的学習により事前学習されている. VideoCLIP は事前学習に用いていない様々な動画像データセットを対象とした Vision-Language タスクにおいて高い精度を記録している.

VideoCLIP や CLIP 等といった，大規模なデータセットで事前学習を行うことによりゼロショットでの下流タスク解決が可能な Vision-Language モデルにおいては，タスクに応じてプロンプトと呼ばれる入力テキストの形式を変えることが精度向上につながることが知られている [6]. タスクに応じたプロンプト最適化の具体例として，VideoCLIPを用いて動画中の動物が犬・猫のどちらであるかを分類するという2クラス分類タスクについて考える.この時，テンプレート文として “a video of \{class\}”という文をあらかじめ用意しておき，テンプレート文中の'\{class\}' の部分を'dog', 'cat' という単語で置き換えることにより，それぞれのクラスに対応したプロンプトを得る．このようなプロンプトをテキスト入力として用いることで, 'dog' や'cat'といったクラス名を直接テキスト入力に使用した場合よりも高い精度を記録できることが知られている。本研究で用いるプロンプトについては 4.2 で述べる.

## 3.2.2 VideoCLIP を用いた動作の推定

連続するフレーム列 $\boldsymbol{f}_{n}^{l}$ 間に対応する部分実験映像を $\boldsymbol{v}_{n}^{l}$ とし， $i$ 番目の動作の候補となる単語を，あらかじめ用意したテンプレート文に埋め込んだプロンプトを $t_{i}$ とする. $v_{n}^{l}$ と $t_{i}$ の類似度を VideoCLIP を用いて算出し, 類似度の高い動詞の組 $a_{n}^{l}$ を動作の候補として選出する。

## $3.3 b$-NE 列及び動作からの候補文生成

続いて，選出された動詞の組 $a_{n}^{l}$ と得られた b-NE 列 $e_{n}^{l}$ を用いて実験手順の候補となる文を生成する. 西村らの手法と同様, 文生成モデルには WLP データセット [7] で事前学習した Transformer にコピー機構を加えたモデルを用いる。コピー機構をモデルに組み込むことで，入力として渡される b-NE 及び動詞を正しく出力に反映させることができる. b-NE 列 $e_{n}^{l}$ と，VideoCLIP を用いて推定された動詞を Transformer に与え，候補文を生成する。

次の手順にて最適な候補文を探索するために，生成された候補文毎に，文の尤もらしさを以下の式によりスコアとして計算しておく.

$
\operatorname{Score}\left(e_{n}^{l}\right)=\prod_{i=1}^{N} p\left(d_{i} \mid d_{1}, d_{2}, \ldots, d_{k-1} ; e_{i}^{l}\right)
$

ここで $d_{i}$ は出力文の $i$ 番目の単語， $N$ は単語列の長さを表す。

## 3.4 候補文を用いたプロトコルの選定

最後に，生成された候補文の中からスコアが最も高い文の系列，すなわちプロトコルを構成する文章として最も尤もらしい文の系列をプロトコルとして出力する。候補文からプロトコルの選定を行うための探索は，西村らの手法に倣い，ビタビアルゴリズムにより行う。

## 4 実験と結果

前節で説明したプロトコル生成手法により， BioVL2 データセットの実験映像からプロトコル生成を行うタスクに取り組んだ。

## 4.1 事前学習

文生成モデルの事前学習には WLP データセット [7]を用いた．WLPデータセットは生物学分野における実験プロトコルを収集したテキストデータセットであり，各プロトコルの文には，単語レベルでの b-NE のアノテーションが付与されている. b-NE のアノテーションは，試薬を表す Reagent や実験器具を表す Device などいくつかのタグに分けられているが，BioVL2において付与されているアノテーションが Reagent, Device, Location であることから，これら 3 種類のタグ及び実験者の動作を表す Action を文生成モデルの入力として与えた.

表 1 自動評価指標によるスコア.太字は各評価指標において最も高いスコアを表す

## 4.2 プロンプト

VideoCLIP を用いた動作推定において，3.2.1 で説明した，動詞の候補を埋め込むテンプレート文を利用した。テンプレート文として，動詞のみを埋め込むテンプレート文と, 動詞と b-NEを埋め込むテンプレート文の 2 種類を用意した. 動詞のみを埋め込むテンプレート文は “a video of $\{$ verb $\}$ in the laboratory, a type of actions”，実験映像中の b-NE と動詞を埋め込むテンプレート文は”a video of $\{$ verb $\}$ using $\{b-N E\}$ in the laboratory, a type of actions”とし，例えば図 1 では, '\{verb\}'に'set'を, '\{b-NE\}'に'primer1 and DNA engine’を埋め込むことでプロンプト “a video of set using primer 1 and DNA engine in the laboratory, a type of actions”を形成する. また，'\{verb \}' に埋め込む動詞の候補として，WLPデータセット中の動詞の中で出現頻度が上位 30 位までの動詞，100 位までの動詞，及び BioVL2 データセット中の 14 の動詞を用いた.

## 4.3 生成プロトコルの評価

提案手法に加え，ベースラインとして，推定した動詞を用いず b-NE のみを文生成モデルに与えた場合，及びあらかじめアノテーションされた正解となる動詞を b-NE と共に文生成モデルに与えた場合についてプロトコルを生成し，比較を行なった. 生成されたプロトコル例を付録に示す. 生成されたプロトコルの自動評価尺度として，BLEU [8], METEOR [9]，ROUGE-L [10] を用い，BLEU の $N$ の値は $N=1,2,3,4$ とし評価を行なった. 各動詞の候補及び b-NE を用いて生成したプロトコルの自動評価尺度による結果を表 1 に示す。この結果から以下の 3 つのことがいえる.

第一に，推定した動詞の情報を文生成モデルに与える場合，正しく動詞を推定しなければ逆に生成結果に悪影響を与えてしまうということである. BioVL2 データセットにおいてあらかじめアノテー ションされた正解となる動詞を b-NE に加えてプロトコル生成を行なった結果がほとんどの評価指標において最も高いスコアを記録しているが，動詞を用いず b-NE のみで生成を行なった結果がそれに続くスコアとなっている. このことから，プロトコル生成に動作の情報を用いることは有用であるが，適切な動作の情報を用いなければそれらがノイズとなってしまうといえる.

第二に，テンプレート文に動詞のみを埋め込む場合よりも，動詞と b-NE の両方を埋め込んで動詞の推定を行う方がよいということである。この原因として'Centrifuge'など，専門的な実験器具を操作する動詞の推定には対象となる実験器具の名称が必要であることが挙げられる。

第三に，候補となる動詞の集合と，BioVL2 デー タセットに現れる動詞の集合との乘離が小さいほど良いプロトコルが得られるということである。これは候補となる動詞の集合が大きくなることで，推定した動詞が BioVL2 データセットに含まれる動詞と異なる確率が高くなり，結果として正解のプロトコルと生成されたプロトコルの差異が大きくなることが原因であると考えられる。

## 5 おわりに

本研究では，実験映像からの実験者の動作を加味したプロトコル生成を行なった. 本研究におけるプロトコルの評価結果は，実験者の動作の情報を与えることは有用であるが，与える動作の情報が正しいものでなければ，プロトコルの生成において悪影響を及ぼすということを示している．今後の方針として，より正確な動詞の推定手法を用いたプロトコルの生成を行うことが考えられる。

## 謝辞

本研究は JSPS 科研費 JSPS 21J20250 の助成を受け

たものです.

## 参考文献

[1] Baker M. 1,500 scientists list the lid on reproducibility. Nature, Vol. 533, pp. 452-454, 2016.

[2] Atsushi Ushiku Atsushi Hashimoto Natsuko Okuda Fumihito Ono Hirotaka Kameko Taichi Nishimura, Kojiro Sakoda and Shinsuke Mori. Biovl2 dataset: Egocentric biochemical video-and-language dataset. Journal of Natural Language Processing, 2022.

[3] Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, and Shinsuke Mori. Procedural text generation from an execution video. In International Joint Conference on Natural Language Processing, pp. 326-335, 2017.

[4] Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, and Christoph Feichtenhofer. VideoCLIP: Contrastive pretraining for zero-shot video-text understanding. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, November 2021. Association for Computational Linguistics.

[5] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In International Conference on Computer Vision, 2019.

[6] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the International Conference on Machine Learning, pp. 8748-8763, 2021.

[7] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu Machiraju. An annotated corpus for machine reading of instructions in wet lab protocols. In North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 97-106, 2018.

[8] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Association for Computational Linguistics, pp. 311-318, 2002.

[9] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Association for Computational Linguistics, pp. 65-72, 2005.

[10] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

 & 手順 1 &  & 手順 1 &  \\

表 2 フェノールクロロホルム法の映像に対するプロトコル生成結果の例

## A BioVL2 データセット

BioVL2データセットは，生化学分野における実験映像を収集した一人称視点の映像データセットである。生化学分野での基礎的な実験である PCR，ミニプレップ法，アガロースゲル作成，DNA 抽出の 4 種類の実験をそれぞれ 8 動画ずつ撮影している。実験映像の撮影は，実験者の頭にヘッドマウントカメラを取り付け行われており（図 2)，計 32 動画，約 178 分の動画像データセットとなっている. また BioVL2 データセットには， (1) 実験映像に対応するプロトコル，及び (2) 実験映像中に現れる試薬, 䒠験器具の映像中のバウンディングボックスの 2 種類のアノテーションが与えられている.

## A. 1 実験映像とプロトコルの対応関係のアノテーション

実験映像に対応するプロトコルは，実験者が実験内容を口頭で説明したものが文書化され与えられている。プロトコルは実験者の動作ごとに手順として区切られており，例えば“Add phenol chloroform and invert violently.”という内容は “Add phenol chloroform”と “Invert violently”という手順に分けられる. また各手順に対して, 実験映像における開始時刻と終了時刻が付与されている.

## A. 2 実験映像中の物体に対するアノテーション

実験映像中の物体対して付与されたバウンディングボックスの例を図 3 亿示す. このアノテーションは，映像から 4 秒ごとにフレームを抽出し，（1）手が物体と触れている，かつ（2）触れている物体がプロトコルに現れる場合に対して， その物体をバウンディングボックスで囲い，物体名を付与することで為されている。

## B 生成プロトコル例

表 2 亿，実験映像からのプロトコル生成例を示す.ここでは，正解のプロトコル，b-NEのみを入力とした場合， BioVL2 の動詞を動詞推定の候補とした場合，及び VideoCLIP による推定ではなく正解となる動詞を与えた場合について例を示している。なお，動詞推定の際のテンプレート文は動詞と b-NEを埋め込むテンプレート文を利用している。

生成されたプロトコルを見ると，正解の動詞を与えることで，正解のプロトコルに近い動詞を出力できていることがわかる。一方で，VideoCLIP により推定した動詞を与えた場合，誤った動詞を出力してしまっている例が多く見られた。 b-NE のみを用いて生成を行うモデルが出力する動詞は，WLPデータセットで事前学習した際の b-NE との共起関係から得られるものであり，そのようにして得られる動詞を用いる場合よりも，誤って推定した動詞を与える方が，モデルへの悪影響が大きいと考えられる.

また，生成されたプロトコル中の “for 5 minutes”や“2001”といった量や時間に関する数值は，WLPデータセット中の共起関係依るものであり，実際の映像からこれらの数值を読み取っているわけではない. プロトコル中のこのような数値が誤っている場合，実験再現の失敗に繋がると考えられるため，実験中の詳細な数値を生成プロトコルに反映する方法について検討する必要がある。

図 2 実験映像撮影の様子

図 3 映像中の物体に付与されたバウンディングボックスの例