# Improving the Image Discrimination Ability for CLIP-Model via Semantic Graphs through Graph Convolutional Network

Sangmyeong Lee ${ }^{1}$ Seitaro Shinagawa ${ }^{1}$ Koichiro Yoshino ${ }^{1,2}$ Satoshi Nakamura ${ }^{1}$
${ }^{1}$ Nara Institute of Science and Technology ${ }^{2}$ Guardian Robot Project, RIKEN
lee.sangmyeong. lo3@is.naist.jp
}

\begin{abstract}
The Contrastive Language-Image Pre-training (CLIP) model is based on plain textual inputs, leading to a challenge in handling structural ambiguity residing inside a text. This paper examines the effectiveness of semantic graphs, the graph format representation converted from syntax trees, using a graph convolutional network (GCN) as the CLIP model's input to address this challenge. Additionally, we leverage the integrated gradient methodology to analyse how semantic graphs are interpreted within the model's architecture.
\end{abstract
## 1 Introduction

Contrastive Language Image Pre-training (CLIP) [1] has demonstrated its effectiveness in Vision and Language (V\&L) tasks like few-shot and zero-shot classification, leveraging large text-image pair datasets, applied to models like Stable Diffusion [2], one of the state-of-the-art text-to-image generation models.

However, CLIP model's heavy dependence on plain textual inputs poses challenges in capturing semantic nuances from structural information in input texts. Among these challenges, we focus on structural ambiguity, where a sentence can be interpreted in multiple syntactic ways. In Figure 1 (A), the position of the bag can differ, either on a chair or in the man's arms, based on the syntactic structure. This raises a concern for the CLIP model's ability to clearly discriminate ambiguous vision and language pairs to meet the user's intention.

In the realm of linguistics, structural information of language is expressed using linguistic formalism, a systematic representation of the lingual structure. Our previous research [3] attempted to insert the syntax tree, the most representative type of formalism, into the CLIP model's

Figure 1 (A) : Multiple meanings of the text "Danny approached the chair with a bag." based on the syntactic structure, (B) : Textualised syntax tree from the same input text, (C) : Semantic graph representing the same meaning with (B).

text encoder by simply treating it as a text consisting of words, POS tags, and brackets (Figure 1 (B)), outperforming the conventional CLIP model in image discrimination. While successful, textualised syntax trees had the following problems:
- With additional brackets and POS tags, the syntax tree's sequence length had potential threats to exceed the CLIP model's limitation.
- Tokenisation was performed in an unintentional manner, leading to wrong inference.

In this paper, we try another formalism called semantic graphs (Figure 1 (C)). Semantic graphs abstract away the core meaning of a sentence by representation of predicates (e.g. verbs) and arguments within (nouns). We expect the semantic graphs to be free from the problems above hence leading to better discrimination performance. We try out a

Graph Convolutional Network (GCN) [4] as the encoding strategy and undergo the analysis of the model's inference principle.

## 2 Related Studies

## 2.1 Limitations of the CLIP model's Plain Textual Inputs

While our research isn't directly related with this aspect, the CLIP model's ability to correctly associate images with the right arrangements of words, known as Visio-Linguistic Compositionality, is reported to be poor in the current CLIP model [5]. As a response, there have been attempts to deal with this challenge by leveraging scene graphs, which shows the visual structural information between the objects appearing inside the image [6,7]. Our research is different from these research in following points:
- Ambiguity is a subject beyond compositionality. Even if the compositionality is solved, disambiguation remains a challenge.
- While scene graph processing is usually done by individually encoding partial triplets of objects and relation, our graph methodology considers the overall flow through nodes and edges.
- Instead of visual structural information, ours employ the linguistic structural information.

## 2.2 GCN for Natural Language Processing

GCN has been applied in the field of Natural Language Processing by encoding graph-structured linguistic formalisms. Examples include syntax trees based on dependency grammar $[8,9]$, semantic graphs $[10,11]$, etc. Our proposal is profoundly based on this idea, by constructing a semantic graph from a sentence then passing it through GCN.

## 3 Proposed Method

The overview of our proposal is illustrated in Figure 2. Compared with the conventional CLIP model, the proposal has two key distinctions. First, during the fine-tuning process, we keep the CLIP model's vision component parameters fixed, since the extensively pre-trained vision encoder is expected to yield high performance without extra training. Second, out model presumes a graph parser transforming the textual input into the graph, and a GCN network to

Figure 2 Overview of the proposal. The sentence is transformed into a semantic graph and then encoded through the GCN encoder.

acquire characteristic vectors from the graph. We combine these vectors with the text vectors independently acquired from the conventional CLIP's text encoder, through concatenation and linear projection. As the graph parser, we employ HanLP [12], and the pre-trained CLIP vision and text encoders are from Huggingface ${ }^{1)}$.

Our GCN is based on Morris et al.'s work [13], where a single node vector undergoes an update according to the formula (from the kth layer to the $(\mathrm{k}+1) \mathrm{th})$ :

$
x_{i}^{k+1}=W_{1} x_{i}^{k}+W_{2}\left(\sum_{j \in \text { Neighbours }(i)} e_{j, i} \cdot x_{j}\right)
$

This formulation involves two essential weight matrices: $W_{1}$ for the self-recurrent computation and $W_{2}$ for managing the weights of neighbouring edges from the node $\left(e_{j, i}\right)$.

## 4 Experiments

There are two research questions our experiments aims to observe:
- Can integrating semantic graphs into the CLIP model enhance its ability to discriminate vision and language pairs with structural ambiguity? (Section 4.1)
- Does leveraging semantic graphs result in sound discrimination quality even in general scenarios irrelevant to ambiguity? (Section 4.2)

We compare three models as follows:
- CLIP $_{\text {plain }}$ : Conventional CLIP model with plain text inputs, which is our baseline.
- CLIP tree as text : Conventional CLIP model architecture fine-tuned with linearised textual syntax trees as inputs[3], which is the other baseline.
- CLIP $_{\mathrm{GCN}}$ : GCN applied to a semantic graph, which is our proposal.

1) https://huggingface.co/openai/clip-vit-base-patch32

## 4.1 Structural Disambiguation Experiment

The focus of this experiment is to leverage the semantic graphs to accurately discriminate vision and language pairs with structural ambiguity. As a dataset, we employ Language And Vision Ambiguities (LAVA) corpus [14], which consists of structurally ambiguous texts with two possible interpretations, two corresponding images, two corresponding syntax trees, and two corresponding semantic parsed information. Since linguistic formalisms are already offered in the corpus, we don't use the parser previously mentioned in this experiment. Evaluation metrics we employ are as follows:

Discrimination Accuracy evaluates the model's ability to successfully discriminate ambiguous vision and language pairs. At every time step, the model is given two vision and language pairs sharing the same plain text but with different interpretations from structural ambiguity. We count the correctly matched pairs, and the accuracy is computed as the ratio of the number of correct matches over the total data pairs.

Recall@K evaluates the model's performance in the context of image retrieval, where we search for the right pair for the input from all the test data. With the values of $\mathrm{K}$ set as 1,5 , and 10 in advance, for each $\mathrm{K}$, we count the number of inputs for which the correct match was found within the top $\mathrm{K}$ search results. We evaluate using this metric bidirectionally-text-to-image and image-to-text.

## 4.2 Generality Evaluation Experiment

The objective of this experiment is to assess the model's performance in diverse scenarios, aiming to determine its ability to generalize across various contexts without being excessively tailored to specific datasets, such as LAVA. To explore this question, we use Microsoft COCO [15], a dataset equipped with a substantial number of vision and language pairs depicting various situations and contexts. This dataset has no language data other than plain texts, hence we use HanLP parser mentioned in Section 3. As for the metrics, we use Recall@K, but not the discrimination accuracy since this experiment has little to do with ambiguity.

## 5 Experimental Results

## 5.1 Structural Disambiguation Experimental Results

The upper part in Table 1 shows the disambiguation experimental results on LAVA corpus. In assessing discrimination accuracy, our proposal outperformed the baselines, with 77.53 in accuracy, suggesting the proposal's effec-

shows largely the best results. And except for the case where $\mathrm{K}$ equals 1 , our proposal is even outperformed by

## 5.2 Generality Evaluation Experimental Results

The bottom part in Table 1 shows the generality evalution results on COCO dataset. In this section, our proposal showed the worst performance. While there has been a decline across almost every aspect compared with LAVA, our proposal showed the worst decline. One notable thing

mance decline is less severe than that of our proposal.

to-text direction. Considering as well the CLIP tree as text $^{\text {'s }}$ best performance across the Recall@K in Section 5.1, one could speculate this performance owing to the model's preservation of the conventional CLIP model's pre-trained structure.

Overall, our proposal showed the best performance in

Figure 3 Discriminating examples where the scenario features a single person. Both graphs are generated from the same sentence, presented in the bottom. The numbers on the red arrows indicate the model's inference probability, and nodes enclosed in red circles highlight the actual differences between the top and bottom graphs. Two different arrows represent the model's matching and the actual right pair. In this case, both inferences are successful, with the top graph of the high probability and the bottom graph of the low probability.

discrimination accuracy but the lowest in generality. This discrepancy in performance of the proposal necessitates further analysis.

## 6 Analysis

For our GCN proposal model, we employed the Integrated Gradients method [16], which involves interpolating between the input and an empty zero baseline input of the same size, accumulating gradient values for each edge.

The focus of our analysis is to see if the model's attention is given to the adequate parts of the graph in disambiguation using the LAVA corpus. The difference between two different graphs from the same sentence is enclosed within red circles in Figure 3 and 4.

Figure 3 shows the successful discrimination examples where the scenario covers a single person. The difference in graphs appear in meaning as the position of the bag, whether on the chair on in the man's arms. In Figure 3 it is evident that the model is concentrating on the right part hence leading to successful matching. Additionally, it is notable that the bottom example shows less attention which is demonstrated by the less thickness of edges, given compared with that given to the upper example, and the inference probability is significantly lower (0.546). This suggests the attribution of semantic graph in its right intention in discrimination tasks.

However, there was a problem observed in scenarios covering two people as shown in Figure 4. In the sen-

Figure 4 Discriminating examples where the scenario features two people. The Figure structure is as same as that of Figure 3. Both graphs are matched to the right images.

tence "Danny looked at Andrei having a yellow chair.", the difference in meaning is 'who' has the bag, Andrei or Danny. As the LAVA corpus assigns distinct personal names, treating them as proper nouns instead of providing general absolute characteristics like appearance descriptions, it becomes challenging to distinguish individuals, such as determining who is Andrei and who is Danny, even with the assistance of semantic graphs. Consequently, in scenarios involving more than two people, the model became excessively tailored to precisely differentiate between these pairs. In Figure 4, while the matching is successful with high inference probability, the upper example doesn't show the model's attention given to the right part to focus on. Throughout the text examples, the model usually chose an extreme strategy to focus on every edge in one pair and pay attention to random few edges in the other. Overall, it could be said that while leveraging semantic graphs showed successful discrimination performance both in quantitative and qualitative manners for certain cases, innate noise included in the data hindered the model's correct inference, calling out a need for a more robust dataset.

## 7 Conclusion

This paper introduces the integration of semantic graphs into the CLIP model to enhance its discrimination performance for disambiguation. Our experiments demonstrate superior accuracy, highlighting the proposal's strength. However, limitations, such as the model's generality and potential impact of noisy parsed linguistic formalism, remain unexplored. The exclusive focus on CLIP raises questions about the generalisability of our findings to other Vision and Language models. Future research will address these limitations to further refine and extend our approach.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Numbers 21K17806.

## References

[1] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[2] Robin Rombach, A. Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In CVPR, pp. 10674-10685, 2021

[3] 李相明, 品川政太朗, 中村哲. Clip におけるテキストの構文情報理解による画像識別能力の向上.画像の認識・理解シンポジウム. [Lee Sangmyeong, Seitaro Shinagawa, and Satoshi Nakamura (2023). Improving Image Discrimination Ability through Understanding of Textual Syntactic Information in CLIP. Meeting on Image Recognition and Understanding (MIRU)], 72023.

[4] Thomas Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. ArXiv, Vol. abs/1609.02907, , 2016

[5] Yutaro Yamada, Yingtian Tang, and Ilker Yildirim. When are lemons purple? the concept association bias of clip. ArXiv, Vol. abs/2212.12043, , 2022.

[6] Yufen Huang, Jiji Tang, Zhuo Chen, Rongsheng Zhang, Xinfeng Zhang, Weijie Chen, Zeng Zhao, Tangjie Lv, Zhipeng $\mathrm{Hu}$, and Wen Zhang. Structure-clip: Enhance multi-modal language representations with structure knowledge. ArXiv, Vol. abs/2305.06152, , 2023.

[7] Harman Singh, Pengchuan Zhang, Qifan Wang, Mengjiao MJ Wang, Wenhan Xiong, Jingfei Du, and Yu Chen. Coarse-to-fine contrastive learning in imagetext-graph space for improved vision-language compositionality. ArXiv, Vol. abs/2305.13812, , 2023.

[8] Diego Marcheggiani and Ivan Titov. Encoding sentences with graph convolutional networks for semantic role labeling. In EMNLP, 2017.

[9] Emanuele Bastianelli, Andrea Vanzo, and Oliver Lemon. Encoding syntactic constituency paths for frame-semantic parsing with graph convolutional networks. ArXiv, Vol. abs/2011.13210, , 2020

[10] He Cao and Dongyan Zhao. Leveraging denoised abstract meaning representation for grammatical error correction. In ACL, 2023.

[11] Weiwen Xu, Huihui Zhang, Deng Cai, and Wai Lam. Dynamic semantic graph construction and reasoning for explainable multi-hop science question answering. ArXiv, Vol. abs/2105.11776, , 2021.

[12] Han He and Jinho D. Choi. The stem cell hypothesis: Dilemma behind multi-task learning with transformer encoders. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, EMNLP, pp. 5555-5577, Online and Punta Cana, Dominican Republic,
November 2021. Association for Computational Linguistics.

[13] Christopher Morris, Martin Ritzert, Matthias Fey, William L. Hamilton, Jan Eric Lenssen, Gaurav Rattan, and Martin Grohe. Weisfeiler and leman go neural: Higher-order graph neural networks. In AAAI, 2018.

[14] Yevgeni Berzak, Andrei Barbu, Daniel Harari, Boris Katz, and Shimon Ullman. Do you see what i mean? visual resolution of linguistic ambiguities. In EMNLP, 2015.

[15] Tsung-Yi Lin, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014.

[16] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In ICML, 2017.


# 大規模視覚言語モデルに関する指示追従能力の検証

塩野大輝 1 宮脇峻平 ${ }^{1}$ 田中涼太 ${ }^{1,2}$ 鈴木潤 1,3
1 東北大学 ${ }^{2} \mathrm{NTT}$ 人間情報研究所 ${ }^{3}$ 理化学研究所
\{daiki.shiono.s1\}@dc. tohoku.ac.jp
\{shumpei.miyawaki.b7, tanaka.ryota.r7, jun.suzuki\}@tohoku.ac.jp

## 概要

大規模言語モデル（LLM）の隆盛を背景に，視覚言語モデルに LLMを組み込んだ大規模視覚言語モデル（LVLM）の提案が盛んに行われている. しかし，追加学習後の LVLM は組み込まれる前の LLM が有していた指示追従能力を示さず，タスク指示に従わない事例が観測されている. そこで本研究では，追加学習後の LVLM の指示追従能力が低下することを世界で初めて定量的に示し明らかにする。 さらに LVLM の指示追従能力の低下の原因となる要素を洗い出し，モデルの指示追従能力を評価した結果，追加学習時の出力形式に関する指示の有無が指示追従能力の低下に大きな影響を与えている可能性があることを示す.

## 1 はじめに

視覚情報と言語情報の意味関係を紐づけたマルチモーダルな知識 [1] を活用して，計算機が人により与えられた指示に基づいて適切な推論を実現することは，人工知能研究が目指す最終目的の一つである. 2024 年現在では，大規模言語モデル（LLM） の技術的進展が目覚ましく，この進展を受けて，画像とテキストを入力として，テキストを出力する GiT [2]，BLIP-2 [3]，LLaVA [4] などのオープンソー スの大規模視覚言語モデル (LVLM) が数多く提案されている. LVLM では言語生成器に LLM を用いることで，多様かつ大規模な言語コーパスで学習された LLM による高度な言語推論能力を活用することができる．LLM / LVLM は，一般に指示文に基づく応答生成ができるほど高いタスク汎化性能を発揮する [5]. また指示文に従う能力は，下流タスクの性能だけでなく, 安全性と信頼性という観点からも重要であり，特に医療などのシナリオでは指示に反する意図しない出力が悲惨な結果を招く可能性もある。そのため，指示文に反する出力の軽減とその

図 1 本研究において取り組む問題の例. LVLM の指示追従能力が LLM に比べて低いという現状を定量的に明らかにし，指示追従能力の低下をもたらす要因を考察する。

評価が，安全性・信頼性において重要であると言える. 視覚的質問応答タスクなど数多の視覚言語タスクにおいて LVLM は優れた推論能力を実現している.しかし，LVLM に組み込まれる前の LLM であれば指示文に従って回答できるような問題であっても，追加学習後の LVLM は指示文に従うことができない事例が観測されている [6].

本研究では，追加学習後の LVLM の指示文に従う能力を定量的に評価し，指示文に従う能力が低下していることを初めて定量的に示し明らかにする。さらに，LVLM の指示文に従う能力低下に対する原因の解明を目指す（図 1).まず，出力形式に関する指示を含んだ追加学習データセットを新たに作成する (3 章). さらに，追加学習後の LVLM の指示追従能力の低下を定量的に示す (4, 5 章). 加えて，LVLM の指示追従能力の低下の原因となる要素を洗い出し，モデルの指示追従能力を評価することで，特定の要素が LVLM の指示追従能力に与える影響を調査する．実験結果より，LVLM の指示追従能力の低下に大きな影響を与えているのは，追加学習時の出力形式に関する指示の有無である可能性が高く，視覚情報による影響は小さい可能性があることを示す。

## 2 関連研究

## 2.1 LLM / LVLM における指示追従能力

人間から与えられた指示に従った応答文を LLM が生成することは, 意図しない応答文の生成を抑制するという観点から社会的実装において重要な役割を持つ. Li らはLLM の “指示追従能力” を，学習データセットから取得可能な文脈知識とは異なる指示文に従う能力とみなし，指示追従能力の評価を試みている [7]. Li らに倣い, 本研究では, 指示追従能力を「モデル（LLM / LVLM）が入力された事前知識と一致しない可能性のある指示文に従う能力」 と定義し, モデルの指示追従能力の評価を実施する. 近年では複雑な人間の指示に高い追従性を示す LLM が数多く提案されており, これらの LLM は多様なタスクに対して，指示文と対象タスクの入出力ペアが対になった指示付きの学習データセットで追加学習 (Instruction Tuning (指示学習)) される. また指示学習の入力データに画像を含めることで，指示追従能力の獲得が視覚言語タスクまで拡張された Visual Instruction Tuning（視觉指示学習）も提案されており [4]，LVLM の学習に広く使用されている。

## 2.2 LVLM の指示追従能力の脆弱性

優れた汎化性能を実現する LVLM であるが，画像中に存在する物体の位置や数を正確に把握できないこと，架空の物体に関する指示に対して誤認した応答を生成することなど，視覚処理および指示追従の観点の一部で脆弱性が定性的に観察されている [6]. しかし, LVLM の指示追従能力の定量的な評価は依然としてなされていない。そこで本研究では，LVLM の指示追従能力を定量的に評価する。

## 2.3 視覚指示学習データセットの課題

先行研究にみられる視覚指示学習データセット $[4,8]$ では, GPT-4 [9] のような LLMを用いて画像キャプションから指示付きの学習データを生成する. しかし, 我々はこれらの視覚指示学習データセットには，出力形式に関するタスク指示が含まれてないことを定性的に確認した. そこで本研究では，出力形式に関するタスク指示が含まれた（視覚）指示学習データセットを新たに作成し, 出力形式に関するタスク指示の有無による LVLM の指示追従能力に対する影響を調査する。

## 3 指示追従データセット

## 3.1 （視覚）指示学習データセットの作成

## 視覚指示学習データの出力形式に関する指示の不足による影響 図 1 では, LVLM が出力形式に関 する指示内容を正しく考慮できていない例を示し た.を対象とした研究分野において，多様性を担保 しながら出力形式を明示的に指示するようなデータ セットは十分に存在しない，そこで我々は追加学習用の二種類の視覚指示学習データセットを作成した （図 2）.まず COC0 2014 [10] の検証データセットか ら 10,000 件の画像を無作為に収集した. 次に，こ れら 10,000 件の画像全てに対して，GPT-4V [11]を 使用して画像キャプションを生成した。また，LLM の指示追従能力を評価するためのデータセットであ る IFEval データセット [12] から出力形式に関する タスク指示を 100 件無作為に抽出した. さらに画像 キャプションと出力形式に関するタスク指示から質問文と解答を GPT-4 により生成した.これにより， \{画像, 画像キャプション, 出力形式に関するタスク 指示, 質問文, 解答 $\}$ のペアを 5,000 件得た. これに より，以下の二種類のデータセットが作成できる.
- Format Oriented Visual Instruction Tuning (FOVIT) データセット（図 2.a）: \{画像, 出力形式に関するタスク指示, 質問文, 解答 $\}$ のペア 5,000 件
- Format Oriented Instruction Tuning (FOIT) データセット(図 2.b) : \{画像キャプション, 出力形式に関するタスク指示, 質問文, 解答 $\}$ のペア 5,000 件

視覚情報による影響追加学習時に入力する情報を言語情報のみに限定した場合，すなわち LVLM のベース LLM をテキストのみで追加学習する場合,出力形式に関する指示の有無がベース LLM の指示追従能力に与える影響を調査する。具体的には，出力形式に関する指示が含まれたデータセットで追加学習した LLM と出力形式に関する指示が含まれないデータセットで追加学習した LLMを 3.2 節で作成した指示追従能力評価データセットで評価する. 3.1 節の結果と本節の結果から, 視覚情報の有無がモデルの指示追従能力に与える影響を調査できる.上述の画像キャプションと質問文から解答を GPT-4 により生成し, \{画像, 画像キャプション, 質問文, 解答\}のペアをさらに 5,000 件得た.これにより，以

図 $2 \mathrm{COCO}$ 画像と，GPT-4Vにより生成された画像キャプション，IFEval データセットから抽出された出力形式に関するタスク指示，GPT-4 により生成された質問文と解答からなる（視覚）指示学習データセットの一例（3.1 節）.

下二種類のデータセットが作成できる（図 2).
- Not Format Oriented Visual Instruction Tuning (NoFOVIT) データセット（図 2.c）:\{画像, 質問文, 解答 $\}$ のペア 5,000 件
- Not Format Oriented Instruction Tuning (NoFOIT) データセット（図 2.d）: \{画像キャプション, 質問文, 解答 $\}$ のペア 5,000 件

## 3.2 指示追従能力評価用データ

Li ら [7] は，LLM の指示追従能力を評価するにあたり, 事前に定義されたラベルの生成が必要な二值分類タスクを評価対象として，LLM が指示文に従うかどうかを評価する verbalizer manipulation を提案している. 例えば感情分類では positive, negative というラベルが定義されるが，分類タスクを解くという指示に従うのであれば $a$ ，bのようなラベルを割り当てることで十分である. Verbalizer manipulation では，ラベルの意味表現と学習時の文脈知識の整合性別に以下の三つのラベル体系を定義して，LLM が分類タスクを解くという指示に追従するか段階的に評価する（図3）：

・ Natural: ラベルと学習時の文脈の意味表現が一致する（整合性が高い）。
- Neutral: ラベルと学習時の文脈の意味表現に関連性がない。
- Unnatural: ラベルと学習時の文脈の意味表現が

## \# 評価データセットの事例

If a movie review is positive, you need to output "\{label_0\}". If a movie review is negative, you need to output "\{label_1\}".

Movie review: lovely and poignant. Answer:

} &  &  \\

図 3 SST-2 のデータを用いた verbalizer manipulation よる評価セットの作成方法. 文脈とラベルの意味表現との整合性に基づいて “Natural”, “Neutral”, “Unnatural” の 3 種類のラベルが定義される.

## 一致しない（整合性が低い）。

Verbalizer manipulation によって，モデルが事前知識に依存しているか，または指示に正確に従うために事前知識を上書きする能力（指示追従能力）を評価することができる.

我々は， $\mathrm{Li}$ ら [7] に倣い，九つの二值分類データセット (SST-2 [13], FP [14], EMOTION [15], SNLI [16], SICK [17], RTE [18], QQP [19], MRPC [20], SUBJ [21]) それぞれに対して 12 セットの verbalizer manipulation を実施して評価データセットを構築した。

## 4 実験設定

視覚指示学習が LVLM の指示追従能力にもたらす影響を調査すべく，LVLM およびその言語生成器であるベース LLMを 3.1 節のデータセットで学習し，各モデルの指示追従能力を 3.2 節のデータセットを用いて評価を行った。

評価対象となるモデル LVLM，LLM の追加学習前のベース LLM には Llama 2-Chat 7B [22]を使用した. 追加学習済みのモデルは LVLM $_{\text {FOVIT }}$, LVLM $_{\text {NoFOVIT }}$, LLM $_{\text {FOIT }}$, LLM $_{\text {NoFOIT }}$, LVLM $_{\text {LLaVA }}$ で表現し，それぞれ FOVIT, NoFOVIT, FOIT, NoFOIT, LLaVA-Instruct-150K で追加学習したことを示す. LVLM，LLM の追加学習時の詳細な設定は付録を参照されたい. 推論時は全てのモデルで最大出力トークン数を 15 ，ビーム幅を 10 とした.

評価データセット 3.2 節で作成した指示追従能力評価データセットで評価した。このデータセットは，九種類の二値分類タスクを対象に図 3 のような verbalizer manipulationを実施したものである. 詳細なデータ件数は付録に示した. LVLMを 3.2 節で作成したデータセットで評価する際には，該当する画像情報が存在しないため, 白塗りの画像を視覚情報として入力した.

評価指標評価指標には，SQuAD v2 [23] で提案された $F_{1}$ 値を採用した. 本指標では，事前に定義した二値分類のラベルを正解のトークン系列とする。言語モデルによって生成された応答トークン系列と正解のトークン系列との重複トークン数に基づいて再現率および適合率が算出され，正解と重複するトークン数が多いほど $F_{1}$ 值が大きくなる.

## 5 実験結果

3.2 節によって作成されたデータセットを用いて，追加学習済みのモデルの指示追従能力を評価した結果を図 4 に示す.

指示追従能力の低下の検証 Verbalizer manipulation における Natural, Neutral および $F_{1}$ 值のマク口平均を示す Allにおいて，追加学習を実施した LVLM $_{\text {FOVIT }}$ を除く全てのモデルがベース LLM である LLM (Llama 2-Chat 7B) よりも低い $F_{1}$ 値となった.特にモデルが事前知識に依存せずに，与えられた指示に従うかを評価する Unnatural においては全ての追加学習済みモデルにおいて LLM (Llama 2-Chat 7B) を下回る結果となった. このことは，ベース LLM

LVLM $_{\text {NoFOVIT }}$, LLM $_{\text {FOIT }}$, LLM $_{\text {NoFOIT }}$, LVLM $_{\text {LLaVA }}$ はそれぞれ FOVIT, NoFOVIT, FOIT, NoFOIT, LLaVA-Instruct-150K デー タセットで追加学習したモデルを表す.また “All” は "Natural", "Neutral", "Unnatural" の $F_{1}$ 值のマクロ平均.

が有していた指示追従能力の低下が追加学習に起因することを示唆している。

## 視覚指示学習データ中の出力形式に関する指示 の有無による影響 Verbalizer manipulation における 全てのラベル体系において， LVLM $_{\text {NoFOVIT }} よ り も$ LVLM $_{\text {FOVIT }}$ の $F_{1}$ 値が高い結果となった. FOVIT は 出力形式の指示が含まれた視覚指示学習データセッ トであることから，出力形式を明示的に与えること によりベース LLM が有している指示追従能力の低下を抑制できることが示唆された。

視覚情報による影響また全てのラベル体系にお

果となった. FOIT は出力形式の指示が含まれた指示学習データセットであることから，追加学習時に入力する情報を言語情報のみに限定した場合であっても, 出力形式を学習データ中に明示的に与えることによってべース LLM が有している指示追従能力の低下を抑制できることが示唆された。

## 6 おわりに

本研究では，LVLM の指示追従能力を定量的に評価した. 実験結果より，LVLM の指示追従能力の低下をはじめて定量的に確認できた。さらに，LVLM のみならず LLM においてもモデル追加学習時の出力形式に関する指示の有無が指示追従能力に大きな影響を与える可能性があることを示唆した. 今後の展望として, 出力形式に関する指示データの量とモデルの指示追従能力との関係を精緻に調査したい.

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011-35 (fundamental research) の助成を受けて実施されたものである. 研究遂行にあたりご助言ご協力を賜りました Tohoku NLP グループの皆様に感謝申し上げます。

## 参考文献

[1] C.K. Odgen and I.A. Richards. The Meaning of Meaning A Study of the Influence of Language upon Thought and of the Science of Symbolism. Routledge \& Kegan Paul Ltd., 1923.

[2] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Lijuan Wang. Git: A generative image-to-text transformer for vision and language. arXiv preprint arXiv:2205.14100, 2022.

[3] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint arXiv:2301.12597, 2023.

[4] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. arXiv preprint arXiv:2304.08485, 2023

[5] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2021.

[6] Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Jinrui Yang, Xiawu Zheng, $\mathrm{Ke} \mathrm{Li}$, Xing Sun, et al. Mme: A comprehensive evaluation benchmark for multimodal large language models. arXiv preprint arXiv:2306.13394, 2023.

[7] Shiyang Li, Jun Yan, Hai Wang, Zheng Tang, Xiang Ren, Vijay Srinivasan, and Hongxia Jin. Instruction-following evaluation through verbalizer manipulation. In NeurIPS 2023 Workshop on Instruction Tuning and Instruction Following, 2023.

[8] Bo Zhao, Boya Wu, and Tiejun Huang. SVIT: scaling up visual instruction tuning. CoRR, 2023.

[9] OpenAI. Gpt-4 technical report, 2023.

[10] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pp. 740-755. Springer, 2014.

[11] OpenAI. Gpt-4v(ision) system card, 2023.

[12] Jeffrey Zhou, Tianjian Lu, Swaroop Mishra, Siddhartha Brahma, Sujoy Basu, Yi Luan, Denny Zhou, and Le Hou. Instruction-following evaluation for large language models. arXiv preprint arXiv:2311.07911, 2023.

[13] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang,
Christopher D Manning, Andrew Y Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 conference on empirical methods in natural language processing, pp. 1631-1642, 2013.

[14] Pekka Malo, Ankur Sinha, Pekka Korhonen, Jyrki Wallenius, and Pyry Takala. Good debt or bad debt: Detecting semantic orientations in economic texts. Journal of the Association for Information Science and Technology, Vol. 65, No. 4, pp. 782-796, 2014.

[15] Elvis Saravia, Hsien-Chi Toby Liu, Yen-Hao Huang, Junlin Wu, and Yi-Shin Chen. Carer: Contextualized affect representations for emotion recognition. In Proceedings of the $\mathbf{2 0 1 8}$ conference on empirical methods in natural language processing, pp. 3687-3697, 2018.

[16] Samuel R Bowman, Gabor Angeli, Christopher Potts, and Christopher D Manning. A large annotated corpus for learning natural language inference. arXiv preprint arXiv:1508.05326, 2015.

[17] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, Reykjavik, Iceland, May 2631, 2014, pp. 216-223. European Language Resources Association (ELRA), 2014.

[18] Ido Dagan, Oren Glickman, and Bernardo Magnini. The pascal recognising textual entailment challenge. In Machine learning challenges workshop, pp. 177-190. Springer, 2005.

[19] Zihang Chen, Hongbo Zhang, Xiaoji Zhang, and Leqi Zhao. Quora question pairs, 2017.

[20] Bill Dolan and Chris Brockett. Automatically constructing a corpus of sentential paraphrases. In Third International Workshop on Paraphrasing (IWP2005), 2005.

[21] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. arXiv preprint arXiv:1803.05449, 2018.

[22] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[23] Pranav Rajpurkar, Jian Zhang, and Percy Liang. Know what you don't know: Unanswerable questions for squad. In ACL 2018, 2018.

[24] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

## A 参考情報

## A. 1 指示追従能力評価データセットの種類別データ件数

表 1 評価データセットの種類別データ件数

3.2 節で構築した指示追従能力評価データセットのデータセット名とラベルタイプの種類別データ件数を表 1 に示す.

## A. 2 追加学習時の学習設定

表 2 LVLM の追加学習時の学習設定

表 3 LLM の追加学習時の学習設定

$\begin{array}{ll}\text { エポック数 } & 1 \\ \text { グローバルバッチサイズ } 32\end{array}$

最適化関数 AdamW

初期学習率 $5.0 \times 10^{-5}$

スケジューラーcosine

最大系列長 1024

LLM

Llama 2-Chat 7B
You are a helpful assistant judging the sentiment of a movie review. If the movie review is positive, you need to output "positive". If the movie review is negative, you need to output "negative". You are only allowed to output "positive" or "negative".

Movie review: there 's ... tremendous energy from the cast, a sense of playfulness and excitement that seems appropriate. Answer (Gold): positive

## LVLMFoVIT : positive

LVLMnofovit: The sentiment of the movie review is positive LLMFoIT: positive

LLMNofort: Yes, the movie review is positive

LVLMLLavA: The sentiment of the movie review is positive LLM (Llama 2-Chat 7B): positive

図 5 評価データセット（SST-2 の “Natural”タイプ）に対する複数モデルの出力結果の一例.

付きのデータセットで LLM (Llama 2-Chat 7B)を追加学習したモデル LVLM $_{\text {FOVIT }}$, LLM $_{\text {FOIT }}$ は与えられた指示に従い正解することができている。一方で，出力形式の指示が含まれないデータセットで追加学

は，指示に従うことができていない。この結果からも, 出力形式の指示が含まれたデータセットの利用が，追加学習前のベース LLM の指示追従能力低下の抑制に役立つ可能性が示唆された.

## A. 4 本研究の限界

3.1 節で作成された追加学習用のデータセットは, GPT-4V により画像キャプションを生成していたため，画像の内容と一致しない情報が含まれてしまう可能性がある．また 5 章では，モデルの指示追従能力をラベルとの一致という限定的な方法のみで評価しているので，包括的に指示追従能力を測れているとは言えない．加えて LVLM の評価の際は，理想的には，視覚情報を参照しながら指示追従能力を評価したいが，現在の方法では，視覚情報を白塗りの画像で補完してしまっており，テキスト情報だけに手がかりがある評価方法になってしまっている.

4 章で説明した LVLM，LLM の追加学習時の設定をそれぞれ表 $2 ， 3$ に示す.

## A. 3 評価データセットにおけるモデル出力の定性評価

5 章において，評価データセット（SST-2 の "Natural" タイプ）の一例に対する複数モデルの出力結果を比較したものを図 5 に示す. 出力形式の指示

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 語義曖昧性解消に着目した 英日マルチモーダル機械翻訳の評価セット構築と分析

佐藤郁子 ${ }^{1}$ 平澤寅庄 ${ }^{1}$ 金輝燦 ${ }^{1}$ 岡照晃 ${ }^{1}$ 小町守 ${ }^{2}$
1 東京都立大学 2 一橋大学
\{sato-ayako, hirasawa-tosho, kim-hwichan, teruaki-oka\}@ed.tmu.ac.jp,
mamoru.komachi@r.hit-u.ac.jp

## 概要

マルチモーダル機械翻訳 (MMT) は, 画像を用いた文脈補完によって単語の曖昧性を解消することを目的としている. しかし, 既存 MMT モデルによる品質改善は限定的で，その理由に評価ベンチマークの制限が挙げられる. 既存 MMT 評価セットに含まれるほとんどの原文は明瞭であり, 翻訳に画像を必要としないため, 視覚情報の効果を正確に評価できない. そこで, 本研究では正しい翻訳を行うために画像が必要な英日 MMT のベンチマークを提案する. 既存 MMT モデルを本データセットで評価した結果, 翻訳品質のわずかな向上が確認された.この結果から, 既存 MMT モデルは画像を必要とするシナリオにおいても画像を十分に活用できていないことがわかる。

## 1 はじめに

自然言語処理とコンピュータビジョンの融合が注目を集めている. マルチモーダル機械翻訳（MMT） は, その融合の一分野であり, 視覚情報を利用して翻訳品質を向上させることが提案されている. 機械翻訳（MT）モデルが曖昧な文を翻訳する場合, 文脈だけでは十分な情報が得られないことがある. そこで MMT はより正確な翻訳のために視覚情報を追加し入力文の文脈情報を補完する. しかし, 既存の MMT システムは, 翻訳品質を効果的に向上できていない $[1,2]$. このような結果の原因として, モデル構造, 学習データ, 評価データが考えられる. 本研究では, 評価データの質の影響に注目する。

MMT の標準的なベンチマークは, Flickr30K デー タセット [3] から英語のキャプションをドイツ語 [4], フランス語 [5], チェコ語 [2], 日本語 [6] に翻訳することで構築されている. 英語のキャプションは画像を曖昧性なく詳細に記述しているため, 正確な翻

En: This is a photo of a seal. En: This is a photo of a seal. Ja: これは封の写真である。 Ja: これはアザラシの写真である。図 1: 英日翻訳における視覚的文脈による曖昧性解消の例.

訳を生成するために視覚情報で補完する必要がないものがほとんどである [7]. したがって,このようなベンチマークは MMT における語義曖昧性解消への画像の寄与を評価するのには適していない。

より正確な評価に向けて, 原文に語義曖昧性を明示的に挿入した評価データセットがいくつか存在する $[8,9]$. Futeral ら [9] は,フランス語に翻訳した際に異なる表層となるような複数の語義を持つ英単語をもとに曖昧性解消指向のベンチマークを提案した. これらの研究はアルファベット言語が対象であり, 文化的距離の遠い非アルファベット言語はあまり注目されていない. そこで我々は, 画像が曖昧性解消の手がかりとなる場合のみを含む英日 MMT 評価セットを構築した. 具体的には, WordNet [10] を用いて複数の語義を持つ英単語を抽出し, 画像を与えることで語義が判別できる 250 ペアを手動で選択した. また, 先行研究 [9] に倣って複数の訳語候補があり得る語義曖昧性を含む文を作成し，その語義に対応する画像を ImageNet [11] から収集した（図 1）.

また, 既存の MMT モデルを我々のデータセットで評価し, 語義曖昧性解消の能力を評価した. さらに, 出力の定性的分析を行った. その結果, MMT システムはテキストのみのシステムよりも翻訳品質が若干向上する程度であり,ほとんどの曖昧な単語を曖昧性解消して翻訳することはできなかった.この結果は, MMT システムが画像を取り込むことができないのは, 評価データによるものではなく, モデル構造や学習データによるものであることを示している。

図 2: データセット構築の概要. $S 1, S 2, S 3$ は語義 1 , 語義 2 , 語義 3 を表す.

## 2 関連研究

MMT を評価するためのデータセットを以下に示す. Caglayan ら [12] は入力文の一部をマスクすることで文脈情報を意図的に制限し, 画像の効果を分析している.この分析から，マスクされた入力文では MMT モデルが MT モデルを上回り画像が有効であることが示された. しかし, マスク大力は実用的な MMT システムには適していない. 本研究では, 入力文をマスクせず語義の曖昧性に着目することで, 翻訳候補が複数存在する設定を提案する。

Lala らは視覚的文脈やテキスト文脈が翻訳にどの程度寄与するかを調査するために, Multimodal Lexical Translation Dataset [8] を構築した. このデータセットは視覚的文脈に限定されておらず, 画像で表現できない単語も含まれているため, MMT における視覚的文脈の寄与を評価するには不向きである. そこで, 視覚的文脈のみによる曖昧性解消のための高品質な MMT 評価データセットを構築する。

CoMMuTE [9] は, 視覚的文脈によって訳語が決定される曖昧文からなる英仏データセットである. 各事例は, 曖昧な英文, 2 つ翻訳可能な対象文, 対象文に対応する 2 つの画像から構成される. 彼らは, 曖昧な英文を談話評価データ [13] から 29 収集し, さらに 21 の文を自作し, 合計 50 の文を作成した. 英仏翻訳で発生する語義の曖昧さは, 英日翻訳でも同じ単語で発生する. しかし, 単にフランス語から日本語に翻訳するだけでは, 評価データセットが比較的小さくなってしまう. そこで, より効率的にデータサイズを拡張するために, WordNetを用いた曖昧語抽出法を提案する。

## 3 データセット構築

## 3.1 語義ペア候補の自動選定

このステップでは, WordNet から画像で表現しやすい名詞を抽出する. WordNetには動植物など専門的な名詞も多く含まれるが, 使用範囲が限定されるため学習データに含まれる可能性は低く, より出現頻度の高い一般的な単語の抽出を目指す。

Step 1: Word-senses extraction from WordNet 以下の条件に従って, WordNet から多義名詞と木構造語義を抽出する. (1) 名詞の長さが 10 文字以下（一般的な単語を抽出するため）. (2) 物理的実体に属する（画像で表現できる語義を抽出する）. 次に, 抽出した語義から語義対を作成する。

Step 2: Distance Filter 語義間の距離は 2 つの語義ノードを結ぶ辺の数として定義される. 距離が 5 未満の語義ぺアは除外する.フィルタリング後の単語数は 725 であり, 各単語の語義対の平均数は 2.07 である. 各単語について, 距離の降順に語義対をソー トする.

Step 3: Image Extraction from ImageNet 各語義に対応する画像を ImageNet から取得する. どちらかのノードに対応する画像がないぺアは削除される。

## 3.2 語義ペアの人手アノテーション

自動的に抽出された語義ぺアの中から, 各単語に適切なぺアを手動で選択する. さらに，選択されたペアに対応する画像が不適切な場合は, 画像を置き換える.アノテーションは, 日本語を母語とし, コンピュータサイエンスの修士課程に在籍する 3 名が担当した. すべてのアノテーターは, 語義対のリストから同じ順序で語義対を選択する。

Step 4: Grounding Filter 単語と意味のペアをチェックし, 両方の意味が一般的で画像で表現できるぺアを選択する. 適切なペアがない場合, 対象語は除外される. 図 2 は, 除外すべき不適切な語義ぺアの例である.

各アノテータはそれぞれ 194, 123, 158 のペアを選択した. 選択された語義ぺアの全ペア中の一致率は, Fleiss の Kappa 值で計算すると $0.256 \%$ であり,おおよそ一致している. 少なくとも 1 人に選択されたぺ
(a) Ringtail

(b) Mimosa

表 $1:$ データセットの統計情報.

アは合計で 197 組ある 11.

また, 対応する語義を適切に表し, 特徵抽出に十分な品質の画像を確保するため, 123 枚の不適切な（解像度が著しく低い, 教師ラベルの語義が正しくない)画像を, Flickr から CC BY ライセンスで取得した代替画像に置き換える。

Step 5: Sentence Generation 対象単語はテンプレート文 “This is a/an/the [ ].” に挿入される.このテンプレート文は文章の文脈から語義が判断できないように曖昧さを維持した形式になっている. 各単語に2つの語義が使われているため, 最終的な文数は対象単語数の 2 倍となる. 構築したデータセットの統計量を表 1 に示す。

## 4 既存モデルにおける評価

## 4.1 実験設定

データ評価には我々のデータセットを使用し，学習と評価の両方に Flickr30k Entities-JP を使用した. Flickr30k Entities-JP は 29,000 の学習データ, 1, 014 の検証データ, 1,000 の評価データがある. 英語は Multi30K task 1 [4] に従ってトークン化し, 日本語は MeCabを使って単語分割した. (IPA 辞書) を用いて単語分割を行った. サブワード分割は BPE を用いて行う.

モデル MMT モデルと MT モデルを比較し，画像の寄与を評価した。テキストベースのMT モデルとして Transformer-Tiny [15] を用いた.また, Transformer-based Attentive multimodal Transformer (Attentive) [16], Gated multimodal Transformer (Gated) [15], Visual Translation Language Modelling (VTLM) [17]を MMT モデルとして用いた. VTLM は Con-

1）データセットを拡張するために, CoMMuTE と Word-inContext Dataset [14] から 53 の語義ペアを選択する. Step 2 の語義ペアを組み合わせることで, 最終的に 250 のぺアを得る. (c) Captain

X 画像から語義を判断するのが困難 ceptual Captions データセットで事前学習されている. CoMMuTE の研究で提案されたモデルは, 大量のキャプションデータに対する事前学習が必要であり, 計算コストの点から本研究では使用しなかった. 画像特徴として CLIP [18], Vision Transformer [19], ResNet-50 [20]を用いた. MT と MMT モデルのアー キテクチャは, 層数を 4 , 注意メカニズムのヘッド数を 4 , 隠れ層の次元数を 256 とした。

評価指標 sacreBLEU [21] と COMET [22]を使用した. 訳文の本質的でない摂動（文末の変更など） の影響を軽減するため, 3 つの参照文を作成し, その平均値を報告する. さらに, モデルの曖昧性解消を評価するために, [8] で提案された指標も採用し, $\frac{C}{N}$ を計算する.ここで, $C$ は出力中の対象単語が参照中の対象単語と正確に一致した回数, $N$ はデータセットサイズである.この指標を本研究では Lexical Accuracy (LA) と呼ぶ.

## 4.2 結果

表 2 は, 既存の MMT モデルの自動評価における性能である. MMT モデルは MT モデルを上回り,画像の寄与が示された. 特に, Attentive (RCNN) は顕著な改善を示し,このモデルが画像に対してより敏感であることを示唆している。

Flickr30k のスコアは, BLEU では -3.61 から 1.06 の範囲, COMET では $-3.40 \times 10^{-3}$ から $1.30 \times 10^{-3}$ の範囲で改善した. 一方, 我々のデータセットは, BLEU で-1.50 から 2.30, COMET で $4.26 \times 10^{-2}$ から $5.24 \times 10^{-2}$ の範囲で改善した. 我々のデータセットは Flickr30kよりも大幅に改善し, 画像の寄与をより敏感に評価することができた.

## 4.3 分析

## 4.3.1 視覚情報による訳語変化

また, システムの出力を詳細に分析した. 図 4 は 2 つの出力例を示しており, MT モデルは TransformerTiny , MMT モデルは (a) VTLM (RCNN), (b) Attentive (RCNN) である. (a) の例では, MT モデルは両方の語

表 2: (M)MT モデルの結果. 太字は, MT モデルを上回っていることを示す.

(a) src: This is a photo of a hood.

(b) src: This is a photo of a liner.

2

図 4: いくつかの出力例. 太字は対象単語を示す.

義を「フード」に翻訳した. 一方, MMT モデルは, 対応する画像を参照することで, 「ボンネット」と区別することができた. しかし, MMT モデルが正しい訳語に変換できたのは 8 例だけであった. また, 目的語以外の単語が変化している例 (文末の変化, 読点の挿入など）も複数あった.これらの結果から, 自動評価スコアの向上は, 対象単語以外の変更によるトークン数の変化に大きく影響される可能性があることが示唆された。

翻訳品質が向上したのは 8 例だけであったが, 視覚情報が出力対象語に影響を与えたと思われる例も複数あった（図 4 の liner など）.このような事例の数をモデルごとに付録 A の表 4 に示す. 画像によって訳語が変化した例のうち, 正しく訳されたのは $7 \%$ だけであった. つまり, 既存のモデルは視覚情報をわずかしか利用しておらず, 改善の余地がある.

## 4.3.2 対象単語の学習/検証データでの存在割合

本研究では英日翻訳の際に曖昧性が生じる単語 （対象単語）をもとに曖昧性のある文対を作成している．4.3.1 節での分析の結果より，翻訳品質の改善は限定的であることが示唆される. この原因として対象単語が学習データに含まれないためその単語についての学習が不十分であることが考えられる. そこで, 本節では対象単語が学習/検証データに含まれる割合を調査する。

表 3 の結果より, 英日双方に含まれる対象単語の割合は 0 であることがわかる。すなわち, 対象単語が評価データと同じ英日翻訳で使用されている文
は学習/検証データには存在しないにもかかわらず， わずかな事例は正確に翻訳できているということである。一方で, $91.6 \%$ の対象単語はソース側の学習データに含まれており, $69.0 \%$ の対象単語はター ゲット側の学習データに含まれている。すなわち， ソース側とターゲット側それぞれで単語が画像中の物体とマッピングされている場合, 画像が仲介することでソース側の表層とターゲット側の語義を対応付けている可能性が考えられる。

モデルが語義と画像の対応関係を学習できているかについても検証を行い，付録 B に示す.

表 3: 全対象単語のうち学習/検証データに含まれる単語の割合. 英語はソース側に対象単語の表層が含まれる割合, 日本語はターゲット側に対象単語の語義が含まれる割合, 英日は対象単語が 1 つの文についてソースとターゲットの双方に含まれる割合を示す。

## 5 おわりに

MMT における視覚情報の寄与を正確に評価するために, 英日評価データセットを構築した. 本データセットで既存のモデルを評価した結果, 画像が翻訳品質を向上させるケースはわずかであることがわかった.つまり, MMT がうまく機能しない原因は，画像を必要としない設定の評価データではなく, モデル構造や学習データに改善の余地があることがわかった。

## 謝辞

本研究は AAMT/Japio 特許翻訳研究会の助成を受

けたものです.

## 参考文献

[1] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018

[2] Loïc Barrault, Fethi Bougares, Lucia Specia, Chiraag Lala, Desmond Elliott, and Stella Frank. Findings of the third shared task on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, 2018.

[3] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. Transactions of the Association for Computational Linguistics, Vol. 2, pp. 67-78, 2014.

[4] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30K: Multilingual English-German image descriptions. In Proceedings of the 5th Workshop on Vision and Language, 2016.

[5] Desmond Elliott, Stella Frank, Loïc Barrault, Fethi Bougares, and Lucia Specia. Findings of the second shared task on multimodal machine translation and multilingual image description. In Proceedings of the Second Conference on Machine Translation, 2017.

[6] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phrase-to-region linking. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020

[7] Stella Frank, Desmond Elliott, and Lucia Specia. Assessing multilingual multimodal image description: Studies of native speaker preferences and translator choices. Natural Language Engineering, 2018.

[8] Chiraag Lala and Lucia Specia. Multimodal lexical translation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Matthieu Futeral, Cordelia Schmid, Ivan Laptev, Benoît Sagot, and Rachel Bawden. Tackling ambiguity with images: Improved multimodal machine translation and contrastive evaluation. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2023.

[10] Christiane Fellbaum, editor. WordNet: An Electronic Lexical Database. MIT Press, 1998.

[11] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV), Vol. 115, No. 3, pp. 211-252, 2015

[12] Ozan Caglayan, Pranava Madhyastha, Lucia Specia, and Loïc Barrault. Probing the need for visual context in multimodal machine translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[13] Rachel Bawden, Rico Sennrich, Alexandra Birch, and Barry Haddow. Evaluating discourse phenomena in neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 1 (Long Papers), 2018

[14] Mohammad Taher Pilehvar and Jose Camacho-Collados. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[15] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021.

[16] Jindřich Libovický, Jindřich Helcl, and David Mareček. Input combination strategies for multi-source transformer decoder. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018

[17] Ozan Caglayan, Menekse Kuyu, Mustafa Sercan Amac, Pranava Madhyastha, Erkut Erdem, Aykut Erdem, and Lucia Specia. Crosslingual visual pre-training for multimodal machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2021

[18] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, 2021.

[19] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In Proceedings of the 9th International Conference on Learning Representations, 2021

[20] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster RCNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems 28, 2015.

[21] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, 2018.

[22] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

## 付録

## A 視覚情報による訳語変化

表 4: 全 MMT モデルにおける視覚情報によって翻訳が変わった事例の数。

## B 画像の識別能力評価

既存 MMT モデルにおいて画像情報の効果が限定的である原因として，エンコードしているモデル自体が語義と画像を結び付けられていない可能性が挙げられる. モデルが語義と画像の対応関係を学習できているか検証するため, 画像の識別能力を調査する。検証では, 対象単語の語義ペアごとに, 各画像についてどちらの語義を表しているかを 2 值分類し， その正解率を報告する. 分類のモデルには CLIP [18] を使用する。

検証の結果, 画像 2 值分類の正解率は $92.4 \%$ で, 500 語義のうち誤分類は 38 語義のみであった. すなわち, モデルはほとんど全ての画像と語義の対応付けを正しく行なっていると言える. 分類結果の一部を図 5 に示し, 定性分析を行う. basket（かご / バスケットゴール, 図 5a) の例では, 画像と対応する語義が正しく分類されている。一方で, cast（型/ギプス, 図 5b) と bath（浴槽 / バスルーム, 図 5c) の例では誤った分類結果となっている. cast の例は, 画像がギプス以外の物体が多く画像のエンコード自体が困難なことが原因として考えられる．bathの例は，浴槽自体がバスルームに包含されるものであるという関係から対応語義を選択することが困難であったと考えられる。

(a) basket（かご/ バスケットゴール）

(b) bath（浴槽 / バスルーム）.

(c) cast（型/ギプス）の例.

図 5: 画像の 2 值分類における分類結果.


# Evaluation of the Adversarial Robustness in LLM-based Visual Dialog System

Yahan Yu Fei Cheng Chenhui Chu
Kyoto University
yahan@nlp.ist.i.kyoto-u.ac.jp \{feicheng, chu\}@i.kyoto-u.ac.jp

## Abstract

Large Language Models (LLMs) are widely employed. However, their susceptibility to adversarial attacks poses a significant security concern. In this paper, we focus on LLM-based visual dialog systems and delve into their sensitivity in the aspect of both visual attack and textual attack. Our work aims to investigate the robustness of these systems, and give researchers the understanding of the security challenges that LLMs may face in practical applications.

## 1 Introduction

In recent years, the field of natural language processing has witnessed a surge in the utilization of Large Language Models (LLMs) [1] and their multi-modal extensions $[2,3,4]$, underscoring their pivotal role in various applications. In contrast to non-LLM-based multi-modal systems, such as ViLBERT-based and CLIP-based, the LLM-based approaches often have more powerful abilities for contextual understanding and transfer learning because of their large-scale training. Despite the success of LLM-based multi-modal systems, an escalating concern surrounds the security robustness [5] of these models, particularly in the face of adversarial attacks [6].

Adversarial attacks [7], characterized by purposeful manipulations of input data, exploit the inherent vulnerabilities in model architectures, posing formidable challenges to the reliability and security of LLMs. In multi-modal scenarios, the system may exhibit varying sensitivities to inputs from different modalities. Attackers can exploit this by selectively targeting the most sensitive modality during adversarial attacks to achieve more effective manipulation. It is necessary to consider the adversarial robustness of the system on multiple modalities simultaneously to obtain a comprehensive evaluation.
In response to this security risk and insufficient research in LLM-based multi-modal systems, our work directs its focus toward the specific domain of LLM-based visual dialog systems [8]. Given that Chatbot [9] represents a foundational function of the application of LLMs, our work aims to evaluate their robustness boundaries. To emulate real-world scenarios, we introduce a zero-shot setting system tailored for the visual dialog task. This system serves to evaluate the robustness of LLM-based multimodal systems against adversarial attacks, incorporating assessments in both text and visual modalities. Specifically, we scrutinize robustness through Fast Gradient Sign Method (FGSM) attacks [7], introducing adversarial noise to images, and coreference attacks [10], manipulating the textual input.

Our contributions are summarised as below:

1. To reflect the real robustness of LLMs, we construct the LLMs-based visual dialog system in zero-shot settings.

2. Our successful execution of FGSM and coreference attacks sheds light on the nuanced vulnerabilities inherent in LLM-based visual dialog systems.

## 2 Related Work

## 2.1 Visual Dialog Task

Visual dialog [8] has been introduced as an extended task of Visual Question Answering (VQA) [11]. In Visual dia$\log$, the system is tasked with responding to a sequence of interconnected questions, leveraging both an image and a dialog history. Prior works have explored attention mechanisms [12] that account for the intricate interactions among modalities of the image, dialog history, and question. Some investigations [13] have delved into uncovering the semantic structures within the dialog through graph neural net-

Figure 1 The proposed structure of LLM-based zero-shot visual dialog system. We evaluate its adversarial robustness against FGSM attack and coreference attack. Example of coreference attack is shown in Table 1.

works. Our work takes into account the excellent zero-shot generalization capability of LLMs, and leverages this capability to facilitate interactions and inference across modalities within the visual dialog system.

## 2.2 Adversarial Attacks on Multi-modal Models

In the domain of multi-modal models, a few studies have recently delved into examining their susceptibility to adversarial attacks. In [14], this work attacked textual inputs using the methods of BERT-Attack and TextFooler, providing the first investigation into the robustness of visual dialog models against textual attacks. In [15], this work demonstrated that imperceptible attacks on images, altering the output of an image caption model, can be exploited by malicious content providers to harm users. In [10], both image and text-level attacks were imposed on a ViLBERT-based visual dialog system, evaluating the adversarial robustness across multiple modalities. Our evaluation builds on these insights, concentrating on LLM-based multi-modal models and demonstrating the effectiveness of the attacks on the visual dialog task.

## 3 Task Definition

For the visual dialog task, we define the input image as $V$, the dialog history as $H=\left.\{H_{1}, H_{2}, \ldots, H_{t}\right.\}$ where $t$ means dialog turns and $H_{t}=\left.\{Q_{t}, A_{t}\right.\}$ means the question $Q_{t}$ and answer $A_{t}$ in one turn, and the final question as $Q_{0}$. The objective of this task is to enable the model to select the appropriate answer Ans from a set containing $N$ candidate answers $\left.\{A n s_{1}, A n s_{2}, \ldots, A n s_{N}\right.\}$ based on the input information.

As for the attacks, we define the visual attack as VA(.) and the textual attack as TA(.). After attacking, we input the perturbed image $V^{\prime}=\mathrm{VA}(V)$ or the perturbed dialog history $H^{\prime}=\mathrm{TA}(H)$ into the model, and expected the answer $A n s^{\prime}$ should be different from the ground truth answer.

## 4 Method

## 4.1 LLM-based Zero-shot Visual Dialog Sysytem

The proposed structure is shown in Figure 1.

Selection for LLM Considering the advanced performance and open-source implementation, we choose BLIP2 [16] as the base model in the zero-shot visual dialog system, which is a recent multi-modal model that gained significant attention. BLIP-2 seamlessly integrates vision and language understanding by combining a pre-trained visual model with a LLM. Consequently, it possesses the capability to handle both visual and textual inputs, leading to the generation of coherent natural language outputs.

Zero-shot Setting We construct a zero-shot system for the evaluation of adversarial robustness. The zero-shot setting aims to closely mimic real-world application scenarios, where models may encounter previously unseen categories or tasks. This configuration better simulates the robustness observed in practical use, providing a more realistic assessment of the model's performance.

Scoring of Answers To select the appropriate answer from the candidate set, we calculate the log-likelihood score [8] of all the candidates because our visual dialog system contains a generative decoder. In the evaluation phase, the rank of the candidate set is given by their loglikelihood scores.

## 4.2 Adversarial Visual Attack

We make the assumption that an attacker possesses the capability to introduce minor perturbations to the visual inputs of the model. Additionally, we assume that the attacker has unrestricted access to all model weights.

In this setting, the Fast Gradient Sign Method [7] is an attack method that introduces perturbations to visual inputs guided by the gradients of the loss concerning the visual inputs:

$
\operatorname{FGSM}(V)=V+\epsilon \cdot \operatorname{sign}\left(\nabla_{V} \operatorname{Loss}(V, \text { label })\right),
$

where $V$ and label represent the visual inputs and their corresponding ground-truth labels, respectively. $\nabla \operatorname{Loss}(\cdot)$ means the gradient of the model. The hyperparameter $\epsilon$ is utilized to modulate the intensity of perturbations. And the $\operatorname{sign}(\cdot)$ is a mathematical function that returns the sign of a real number. Specifically, it maps a positive number to 1 , a negative number to -1 , and zero to 0 . The $\operatorname{sign}(\cdot)$ function is denoted as follows:

$
\operatorname{sign}(x)= \begin{cases}1 & \text { if } x>0 \\ -1 & \text { if } x<0 \\ 0 & \text { if } x=0\end{cases}
$

However, in contrast to the aforementioned configuration, each question in the visual dialog task may have one or more pertinent answers within the list of candidate answers. This is because some candidate answers may be semantically identical (e.g. 'yeah' and 'yes'). So the validation dataset of visual dialog task is annotated with the relevance score [8] between each of the candidate answers and ground truth, which ranges from 0 to 1 . Therefore, we modify the FGSM attack as follows:

$
\begin{aligned}
& \operatorname{FGSM}(V)=V+ \\
& \epsilon \cdot \operatorname{sign}\left(\sum_{n=1}^{N} \operatorname{Re}_{n} \cdot \nabla_{V} \operatorname{Loss}\left((V, H, Q), A n s_{n}\right)\right),
\end{aligned}
$

where $A n s_{n}$ means the $n-t h$ candidate answer, $R e l_{n}$ means the relevent score between ground truth answer and the $n-$ th candidate answer. Equation signifies that the gradients of the loss with respect to all relevant answers are taken into account in the FGSM attack.
Table 1 Example of adversarial textual attack. The red words indicate that the target word for the attack is adults which is replaced with grownup after the attack.

## 4.3 Adversarial Textual Attack

We also investigate adversarial robustness against textual attacks. As shown in Table 1, we employ the coreference attack [10], wherein noun phrases in the dialog history are replaced with their synonyms to deceive the models. Coreference means that the target words and the replacement words not only have semantic similarity but also refer to the same object. In this method, we utilize an off-theshelf neural coreference resolution tool [17] to identify words in the dialog history referring to objects mentioned in a given question. We perform a greedy substitution of words with their synonyms, selecting those with the minimum cosine distance in the counter-fitting word embedding space [18]. After going through these steps, we obtained the attacked text samples.

## 5 Experiments

## 5.1 Dataset

VisDial v1.0 [8] is a version of the Visual Dialog dataset, which is widely used in the visual dialog task. It consists of a collection of dialogues between humans discussing images. The dataset is designed to facilitate research on the intersection of computer vision and natural language processing, particularly in tasks involving dialog understanding and visual reasoning. The VisDial v1.0 dataset contains $123 \mathrm{k}, 2 \mathrm{k}$, and $8 \mathrm{k}$ dialogs as train, validation, and test split. In our zero-shot setting, we only use the validation set.

## 5.2 Implementation

As for the BLIP-2 model, in our work, we opted for CLIP (ViT-L/14) [19] as the Image Encoder and the decoderbased OPT model (2.7B and 6.7B) [20] as the LLM.

Table 2 Results on LLM-based zero-shot visual dialog system without attacks. The ViLBERT-based, CLIP-based and FROMAGe-based approaches are the existing methods, while two BLIP-2-based approaches are our baselines. We emphasize the current state-of-the-art results.

$
\text { w/o attacks }
$

## 5.3 Metrics

We adhere to the standardized evaluation protocol introduced in [8]. Generative tasks for visual dialog models are appraised using retrieval-based evaluation metrics, including normalized discounted cumulative gain (NDCG), mean reciprocal rank (MRR) and recall@k ( $\mathrm{R} @ \mathrm{k}, \mathrm{k}=1,5,10)$. Each dialogue comprises a list of 100 answer candidates for every question, with one ground-truth answer included in the candidates. The model arranges the answer candidates based on log-likelihood scores and is subsequently evaluated using the aforementioned three metrics. NDCG considers all relevant answers from the candidate set, while MRR and $\mathrm{R} @ \mathrm{k}$ take into account the rank of the single ground-truth answer. So, NDCG is considered the primary evaluation metric in current works.

## 5.4 Results on LLM-based Zero-shot Visual Dialog System

Table 2 shows the results on our proposed system without adversarial attacks in contrast with other zero-shot visual dialog systems. In details, BLIP-2 has 188M trainable parameters in the pretraining stage, while ViLBERT has 114M, CLIP has 300M and FROMAGe has 5.5M. The performance and trainable parameters of BLIP-2-based model are close to the existing zero-shot visual dialog models, which can illustrate that the structure of BLIP-2-based models is reasonable, and can be used in the attack process.

## 5.5 Results on Adversarial Visual Attack

Table 3 shows the results on LLM-based zero-shot visual dialog system with the visual attack. Hyperparameter $\epsilon$ adjusts the intensity of perturbations. As the $\epsilon$ rises, the perturbation applied to the image becomes stronger and NDCG drops, which means that the FGSM attack is successful on the BLIP-2-based model. In the ViLBERT-
Table 3 Results on LLM-based zero-shot visual dialog system with adversarial visual attack. We adjust the perturbation strength by varying the hyperparameter $\epsilon$, observing changes in the model's performance.

Table 4 Results on LLM-based zero-shot visual dialog system with adversarial textual attack.

based visual dialog model [10], FGSM usually causes a drop by $30 \%$. In our work, the slight drop in NDCG can be attributed to the robustness of BLIP-2 because of the pretraining on multiple vision datasets such as LAION [23].

## 5.6 Results on Adversarial Textual Attack

Table 4 shows the results on LLM-based zero-shot visual dialog system with the coreference attack. In the ViLBERT-based visual dialog model [10], NDCG usually drops by $4 \%$. But in our work, NDCG improves. We hypothesize that, based on the language understanding and reasoning capabilities of LLMs, the substitution of synonymous words in the text contributes to the semantic completion of the dialog history. This indicates that LLM-based models are robust against our coreference attack.

## 6 Conclusion

In conclusion, our study underscores the widespread utilization of LLMs while highlighting a critical security concern due to their vulnerability to adversarial attacks. The identified weaknesses in security extend not only to LLMs but also to LLM-based multi-modal models. Specifically focusing on LLM-based visual dialog systems, our research finds their sensitivity to visual attacks, and the opposite impact to textual attacks. Future work could involve the design of more advanced adversarial attacks to attain stronger visual attacks and more effective textual attacks. By developing novel adversarial strategies, researchers can gain a deeper understanding of the security boundary in LLM-based visual dialog systems, contributing to robust defense mechanisms.

## Acknowledgements

This work was supported by 京都大学大学院情報学研究科博士後期課程の学生に対する支援事業.

## References

[1] Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B Hashimoto. Stanford alpaca: An instructionfollowing llama model, 2023.

[2] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. arXiv preprint arXiv:2304.08485, 2023.

[3] Xi Chen, Josip Djolonga, Piotr Padlewski, Basil Mustafa, Soravit Changpinyo, Jialin Wu, Carlos Riquelme Ruiz, Sebastian Goodman, Xiao Wang, Yi Tay, et al. Pali-x: On scaling up a multilingual vision and language model. arXiv preprint arXiv:2305.18565, 2023.

[4] Yanzhe Zhang, Ruiyi Zhang, Jiuxiang Gu, Yufan Zhou, Nedim Lipka, Diyi Yang, and Tong Sun. Llavar: Enhanced visual instruction tuning for text-rich image understanding. arXiv preprint arXiv:2306.17107, 2023.

[5] Jun Yan, Vikas Yadav, Shiyang Li, Lichang Chen, Zheng Tang, Hai Wang, Vijay Srinivasan, Xiang Ren, and Hongxia Jin. Virtual prompt injection for instruction-tuned large language models. arXiv preprint arXiv:2307.16888, 2023 .

[6] Andy Zou, Zifan Wang, J Zico Kolter, and Matt Fredrikson. Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043, 2023.

[7] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572, 2014.

[8] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José MF Moura, Devi Parikh, and Dhruv Batra. Visual dialog. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 326-335, 2017.

[9] Sara Montagna, Stefano Ferretti, Lorenz Cuno Klopfenstein, Antonio Florio, and Martino Francesco Pengo. Data decentralisation of 1lm-based chatbot systems in chronic disease self-management. In Proceedings of the 2023 ACM Conference on Information Technology for Social Good, pp. 205-212, 2023.

[10] Gi-Cheon Kang, Sungdong Kim, Jin-Hwa Kim, Donghyun Kwak, and Byoung-Tak Zhang. The dialog must go on: Improving visual dialog via generative self-training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6746-6756, 2023 .

[11] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C Lawrence Zitnick, and Devi Parikh. Vqa: Visual question answering. In Proceedings of the IEEE international conference on computer vision, pp. 2425-2433, 2015.

[12] Idan Schwartz, Seunghak Yu, Tamir Hazan, and Alexan- der G Schwing. Factor graph attention. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2039-2048, 2019.

[13] Zilong Zheng, Wenguan Wang, Siyuan Qi, and Song-Chun Zhu. Reasoning visual dialogs with structural and partial observations. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, $\mathrm{pp}$. 6669-6678, 2019.

[14] Lu Yu and Verena Rieser. Adversarial textual robustness of visual dialog. In 61st Annual Meeting of the Association for Computational Linguistics 2023, pp. 34223438. Association for Computational Linguistics, 2023.

[15] Christian Schlarmann and Matthias Hein. On the adversarial robustness of multi-modal foundation models. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3677-3685, 2023.

[16] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint arXiv:2301.12597, 2023.

[17] Kevin Clark and Christopher D Manning. Deep reinforcement learning for mention-ranking coreference models. arXiv preprint arXiv:1609.08667, 2016.

[18] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. Is bert really robust? a strong baseline for natural language attack on text classification and entailment. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 8018-8025, 2020.

[19] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

[20] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[21] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in neural information processing systems, Vol. 32, , 2019.

[22] Jing Yu Koh, Ruslan Salakhutdinov, and Daniel Fried. Grounding language models to images for multimodal inputs and outputs. In International Conference on Machine Learning, pp. 17283-17300. PMLR, 2023.

[23] Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, et al. Laion-5b: An open large-scale dataset for training next generation image-text models. Advances in Neural Information Processing Systems, Vol. 35, pp. 25278-25294, 2022.


# Out-of-distribution Shape Generation using Large Language Models and Geometry Nodes

Yutaro Yamada ${ }^{1}$, Machel Reid ${ }^{2}$
${ }^{1}$ Yale University ${ }^{2}$ Google DeepMind
yutaro.yamada@yale.edu

## 概要

Recent advancements in text-to-image models have been impressive. Yet, they still struggle with accurately following prompts, especially when asked to create out-ofdistribution objects like a "chair with three legs." In this paper, we introduce a novel method using "Geometry Nodes"-a procedural generation tool for creating shapes in Blender, which is a 3D modeling software. This tool allows for the generation of shapes based on general parameters like 'radius' and 'height.' We use a large language model (LLM) to interpret text prompts and convert them into specific instructions for these shape generators. Our method has proven effective in creating unconventional examples in two categories: Chairs and Tables.

## 1 はじめに

Models like DALL-E-3 [1] and Stable Diffusion [2] have made significant advancements in text-to-image generation, producing images nearly indistinguishable from those created by humans. However, they still face challenges in accurately following prompts, particularly in representing spatial relationships and object-attribute binding. Various solutions have been suggested to overcome these issues. For example, [3] propose to enhance pre-trained diffusion models with additional inputs like scribbles or depth maps. [4] uses compositional linguistic structures during the diffusion guidance.

While these methods show promise, they still struggle with generating images of objects that do not typically exist, like a "a chair with five legs." This difficulty partly arises because such unusual objects are rarely included in the training data. Additionally, it is likely that these models do not separate and understand concepts the way humans do, such as distinguishing the number of legs from the gen-

図 1 Our approach vs. DALL-E-3, one of the most advanced text-to-image models for the task of generating out-ofdistribution samples like "a chair with three legs". For DALL-E3, we use "A chair with three legs. Make sure the background is black, and the object generated is a gray-colored 3D shape." for our prompt. For our approach, our prompt is "a chair with three legs."

eral concept of a chair.

Large Language Models (LLMs) are known for their exceptional reasoning abilities [5]. This raises the question: can we use the reasoning capabilities of LLMs to solve the above problem? Our approach involves using Blender's Geometry Nodes, a tool to create parametric shape generator, in combination with the function-calling ability of LLMs. By feeding specific arguments to the shape generator, we can partially address the above problem.

Geometry Nodes is a tool within Blender, an opensource 3D modeling software, that enables the creation of 3D meshes programmatically. It allows users to build a computational graph of 3D operations and set certain parameters as inputs to this graph. For instance, using a set of Geometry Nodes, one can create various designs of objects by altering the input parameters. An example illustration of Geometry Nodes setup is shown in Figure 3. This flexible system is especially popular among programmer-oriented 3D designers, who use Geometry Nodes to instantly generate diverse shapes by tweaking specific parameters.

In our work, we extend this concept. We have developed two parametric shape generators for chairs and tables. Uniquely, these generators allow for the modification of certain attributes, like the number of legs. Alongside these generators, we provide docstrings - natural language descriptions explaining how to use each shape generator effectively.

## 2 Related Work

Alignment with human intentions for text-toimage models The topic of aligning text-to-image models with human intentions has been gaining significant interest. Recently, there have been various methods to ensure that image generation aligns more closely with what humans intend. One effective approach involves using additional inputs like layout [6], bounding boxes [7], and user sketches [3] to steer the direction of image generation.

Text-guided image editing is another method that incorporates human intentions. Recent advancements include using pre-trained diffusion models along with a spatial mask to focus edits in specific areas, as explored by [8]. Another approach uses cross-attention layers for text-only guidance in image editing, as demonstrated in [9]. Imagic, introduced by [10], stands out for its ability to make complex, non-rigid semantic edits through text-based optimization. The concept of model customization, as explored by $[11,12]$, is particularly noteworthy. These techniques allow diffusion models to create images of a new concept from just a handful examples. Once the model is fine-tuned to understand the concept, it can generate various images of that subject in different contexts.

Prompt following There is ongoing work to improve how diffusion models interpret and accurately follow text prompts. Early versions of Stable Diffusion faced challenges with correctly associating attributes and generating compositions. For instance, they often misassigned colors in images with two concepts or struggled to generate images with multiple concepts. [4] tackles this problem by integrating linguistic structures into the diffusion process. 'Attend-and-excite,' proposed by [13], employs an attention-based semantic guidance method. DALL-E-3 [1] largely resolves these issues by using better, more detailed captions on a larger scale.

Procedural generation In the realm of procedural generation, Geometry Nodes have gained traction in the
3D vision community. For instance, InfiniGen [14] employs Geometry Node-based methods to create 3D scenes, providing an endless source of synthetic data for 2D and 3D vision tasks. There is also a work [15] that combines InfiniGen with Large Language Models (LLMs), using LLMs as a language interface to control world creation. Our method is distinct; we introduce new shape generators based on Geometry Nodes, focusing specifically on creating samples that are outside the usual training distribution.

## 3 Method

Our proposed text-to-3D approach involves LLM's function calling ability and shape generator based on Geometry nodes. The overall approach is shown in Figure 2. We describe each step below.

## 3.1 LLM function calling

The first step in our process is to translate a user's natural language description into a set of parameters for the shape generator. To do this, we utilize the function calling capability of Large Language Models (LLMs). This feature, originally developed by OpenAI, enhances LLMs' chat completion abilities, enabling them to connect seamlessly with external tools and applications. Many external applications offer their functionalities through APIs (Application Programming Interfaces). The ability of LLMs to execute these APIs in response to user text inputs is a natural extension of their capabilities. While it is possible to prompt LLMs to generate strings in a specific format, it is more efficient for them to directly produce outputs in JSON format. To meet this requirement, LLMs can be fine-tuned to output in these specific formats. This approach has been gaining popularity, and there are efforts within the opensource community, like the one led by [16], to replicate OpenAI's function calling feature. To enhance the interaction between LLMs and these applications, we provide detailed natural language descriptions of what each argument represents.

## 3.2 Parametric shape generator based on Geometry Nodes

The second phase in our text-to-3D process involves a parametric shape generator using Geometry Nodes. In Blender, each Geometry Node corresponds to a specific operation, like creating a mesh, extruding mesh surfaces, and selecting certain mesh faces through various selection

図 2 Our text-to-3D pipeline using Large Language Models and Geometry Nodes.

mechanisms. In our project, we have developed two specialized Geometry Node groups specifically for chairs and tables. These groups are designed to be flexible, allowing input parameters to adjust features such as the number of legs, height, width, and curvature of the furniture. An example of our Geometry Node setup are displayed in Figure 3. The arguments to the chair generator are summarized as follows: "number of legs", "leg height", "leg radius", "chair seat height", "chair seat radius", "chair seat corner radius", "Distance to legs from chair seat edge", "backrest height". The arguments for the table generator are summarized as follows: "number of legs", "leg height", "leg radius", "tabletop height", "tabletop radius", "Distance to legs from table edge". We then convert our Geometry Node groups into Python scripts by using a converter ${ }^{1)}$. This allows us to take the arguments we receive from the function calling and pass them directly to the scripted version of the Geometry Nodes.

## 4 Results

Here we showcase how our text-to-3D pipeline works for generating regular chairs and tables via user's text input. We then show how we can also generate out-of-distribution chairs and tables, and compare results from DALL-E-3 and StableDiffusion-XL.

## 4.1 Text-guided generation

We first test our text-to-3D pipeline to generate regular chairs and tables. As shown in Figure 4, we can see that the height attribute in text prompts is correctly reflected in generated 3D mesh.

## 4.2 Out-of-distribution sample generation

Next we compare our approach with some of the most advanced text-to-image models: DALL-E-3 and Stable Diffusion XL. The results are shown in Figure 5 and Figure 6. We see that DALL-E-3 fail to accurately follow the input prompts. SDXL successfully generates "a table with three legs" and "a chair with five legs" (if we consider one of the overlapping legs as the fifth leg.) However, for the rest of cases, we see that SDXL struggle to follow the text prompts. On the other hand, our approach successfully generates desired shapes in all cases. This shows that the reasoning ability of LLMs along with parametric shape generator as a structured prior helps in the case of generating out-of-distribution samples.

## 5 Limitations

Our approach requires parametric shape generators, which limits the applicability of our method. Future work should explore if it is possible to learn to generate these parametric shape generators, which can be written as a code.

## 6 Conclusion

We tackle the issue of prompt following of text-to-image and text-to-3D models. We first show that even the most advanced text-to-image models still struggle with generating out-of-distribution samples. We then introduce our approach that combines Large Language Models and Geometry Nodes. Large Language Models deal with reasoning and translating user prompts into concrete API calls, which then be used to execute Geometry Nodes to create 3D mesh. We show that our approach can generate both regular four-legged chairs as well as out-of-distribution chairs like "a chair with three legs" and "a chair with six legs". Since our approach requires preparing Geomtry Node setups prior to generation, this limits the applicability of our method to pre-defined object categories. However, our approach shows greater flexibility and control over the range of characteristics that are beyond commonly seen attributes in training data, thanks to the reasoning ability of Large Language Models.

図 3 An example geometry node setup. Each box represents a mesh operation such as "Extrude mesh", "Create a curve circle" etc.

"A tall table"

"A short table"

図 4 An example 3D mesh result for tables.

"three legs"

"five legs"

DALL-E-3 SDXL

Ours

図 5 Comparing DALL-E-3, Stable Diffusion-XL (SDXL), and our approach for generating out-of-distribution tables. The prompts we use are: "a table with three legs/five legs/ six legs", respectively.

図 6 Comparing DALL-E-3, Stable Diffusion-XL (SDXL), and our approach for generating out-of-distribution chairs. The prompts we use are: "a chair with three legs/five legs/ six legs", respectively.

## 参考文献

[1] James Betker, Gabriel Goh, Li Jing, Tim Brooks, Jianfeng Wang, Linjie Li, Long Ouyang, Juntang Zhuang, Joyce Lee, Yufei Guo, Wesam Manassra, Prafulla Dhariwal, Casey Chu, Yunxin Jiao, and Aditya Ramesh. Improving Image Generation with Better Captions.

[2] Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna, and Robin Rombach. SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis, July 2023.

[3] Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding Conditional Control to Text-to-Image Diffusion Models. In

Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3836-3847, 2023.

[4] Weixi Feng, Xuehai He, Tsu-Jui Fu, Varun Jampani, Arjun Reddy Akula, Pradyumna Narayana, Sugato Basu, Xin Eric Wang, and William Yang Wang. Training-Free Structured Diffusion Guidance for Compositional Textto-Image Synthesis. In The Eleventh International Conference on Learning Representations, September 2022.

[5] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik R. Narasimhan, and Yuan Cao. ReAct: Synergizing Reasoning and Acting in Language Models. In The Eleventh International Conference on Learning Representations, September 2022.

[6] Zhengyuan Yang, Jianfeng Wang, Zhe Gan, Linjie Li, Kevin Lin, Chenfei Wu, Nan Duan, Zicheng Liu, Ce Liu, Michael Zeng, and Lijuan Wang. ReCo: RegionControlled Text-to-Image Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 14246-14255, 2023.

[7] Yuheng Li, Haotian Liu, Qingyang Wu, Fangzhou Mu, Jianwei Yang, Jianfeng Gao, Chunyuan Li, and Yong Jae Lee. GLIGEN: Open-Set Grounded Text-to-Image Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 22511-22521, 2023.

[8] Omri Avrahami, Ohad Fried, and Dani Lischinski. Blended Latent Diffusion. ACM Transactions on Graphics, Vol. 42, No. 4, pp. 149:1-149:11, July 2023.

[9] Amir Hertz, Ron Mokady, Jay Tenenbaum, Kfir Aberman, Yael Pritch, and Daniel Cohen-or. Prompt-toPrompt Image Editing with Cross-Attention Control. In The Eleventh International Conference on Learning Representations, September 2022

[10] Bahjat Kawar, Shiran Zada, Oran Lang, Omer Tov, Huiwen Chang, Tali Dekel, Inbar Mosseri, and Michal Irani. Imagic: Text-Based Real Image Editing With Diffusion Models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6007-6017, 2023.

[11] Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, and Kfir Aberman. DreamBooth: Fine Tuning Text-to-Image Diffusion Models for SubjectDriven Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 22500-22510, 2023.

[12] Nupur Kumari, Bingliang Zhang, Richard Zhang, Eli Shechtman, and Jun-Yan Zhu. Multi-Concept Customization of Text-to-Image Diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1931-1941, 2023.

[13] Hila Chefer, Yuval Alaluf, Yael Vinker, Lior Wolf, and Daniel Cohen-Or. Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models. ACM Transactions on Graphics, Vol. 42, No. 4, pp. 148:1-148:10, July 2023 .

[14] Alexander Raistrick, Lahav Lipson, Zeyu Ma, Lingjie Mei, Mingzhe Wang, Yiming Zuo, Karhan Kayan, Hongyu Wen, Beining Han, Yihan Wang, Alejandro Newell, Hei
Law, Ankit Goyal, Kaiyu Yang, and Jia Deng. Infinite Photorealistic Worlds Using Procedural Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 12630-12641, 2023.

[15] 3D-GPT: Procedural 3D Modeling with Large Language Models. In The Twelfth International Conference on Learning Representations, October 2023.

[16] Shishir G. Patil, Tianjun Zhang, Xin Wang, and Joseph E. Gonzalez. Gorilla: Large Language Model Connected with Massive APIs, May 2023.


# 自然画像で学習された画像埋め込みにダイアグラムを 特徵づける情報は含まれているか?

吉田遥音 1 工藤慧音 1,2 青木洋一 1,2 田中涼太 ${ }^{1,3}$
斉藤いつみ ${ }^{1}$ 坂口慶祐 ${ }^{1,2}$ 乾健太郎 $4,1,2$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ NTT 人間情報研究所 ${ }^{4} \mathrm{MBZUAI}$
haruto.yoshida@dc. tohoku.ac.jp
\{keito.kudo.q4, youichi.aoki.p2, tanaka.ryota.r7 \}@dc.tohoku.ac.jp
\{itsumi.saito, keisuke.sakaguchi \}@tohoku.ac.jp kentaro.inui@mbzuai.ac.ae

## 概要

ダイアグラムの意味やデザインを考慮して分類や検索，評価を行うための道具として，画像埋め込みがある. しかし, 既存の事前学習済み画像モデルから得られる埋め込みに，ダイアグラムを特徴づける情報が十分に含まれているかは明らかでない。本研究では, エッジの向きやノードの形といった要素が異なるダイアグラムの埋め込み分布を比較し，事前学習済みモデルから得られる画像埋め込みがダイアグラムを特徴づける情報を含んでいるかを調べた。既存の事前学習済みモデルから得られる埋め込みはダイアグラムを特徴づける情報を十分には含んでいない可能性があり，ダイアグラムを扱うことができるモデルの必要性が示唆された.

## 1 はじめに

ダイアグラムは，データや概念を整理し，図示したものである. テキストでの表現に加えて，視覚的な表現を用いることにより理解を促す効果があるため, ビジネス [1] や教育 [2], 学術研究 [3] をはじめとする多くの分野で広く用いられている. また，自然言語からダイアグラムを生成する研究 $[4,5]$ が行われるなど，ダイアグラムの理解・生成に関する研究の重要度は高まっている.

ダイアグラムの視覚的情報には，ノード間を結ぶエッジやテキストなどで表される記号的な意味情報と，それらをさらに見やすく表現するためのレイアウトや色使いといったデザインの大きく 2 つ要素がある. これら 2 つの要素を適切に用いることで，ダイアグラムは効果的に情報を伝達する. そのため, ダイアグラムの分類や検索といった研究を行

図 1 本研究の概念図. 特定の要素が異なるダイアグラムの埋め込み分布の違いを調べた. 分布内での距離が大きいほど，異なるダイアグラムとしてモデルが認識していると考えられる. エッジが逆向きのダイアグラムは,意味的には大きな違いがあるものの，埋め込み空間における距離は小さかった。

うにあたり，ダイアグラムの意味とデザインに焦点を当てることが重要であるといえる.

ダイアグラムが持つ意味やデザインを考慮して分類や検索といった研究を行うための道具として，画像埋め込みがある．実際に画像を扱う研究において, 分類 [6] や検索 [7], 生成画像の評価 $[8,9]$ に至るまで，画像埋め込みが用いられている。つまり， ダイアグラムの特徴を正しく理解可能な埋め込みを構築することで，ダイアグラムの検索や分類といった様々な研究に応用できる.

しかしながら, 既存の画像を埋め込むモデルの学習データは自然画像が中心であり，ダイアグラムは少ないと考えられる.1）ここでの自然画像は，現実世界の一部を切り取った写真のような画像を指している．またダイアグラムは，特定の情報を表現するために意図的に設計されているため，背景の乱雑さや複雑なテクスチャといった情報は抑制されてお

1） 今回実験に用いる Inception V3 は画像分類を行うために学習されたモデルであり, 学習データの中に diagram や figure といったラベルは存在していなかった.

り，自然画像とは本質的に異なる [2]. そのため，既存の画像埋め込みにダイアグラムを特徴づける情報が含まれていない可能性があるが，その検証はなされていない.

そこで本研究では, 既存の画像埋め込みにダイアグラムを特徴づける情報が含まれているかを調査した. その結果, エッジの色や向きといったピクセル数が小さい要素に関する情報が含まれていない，または取り出しにくい形で含まれている可能性があることが明らかになった. この結果は, ダイアグラムを扱うことができる新たなモデルが必要であることを示唆している。

## 2 関連研究

## 2.1 自然画像の埋め込み

自然画像の研究において，分類や検索を目的とした埋め込みが提案されている $[10,11]$. これらの研究は, 自動車 [10] や建造物 [11] といった一般物体に対する埋め込みモデルの構築を目的としている. そのため，画像中の特定の一般物体についての特徴を含んだ埋め込みを得ることに焦点を当てている。一方で, 本研究が対象とするダイアグラムはノードやエッジ，テキストなど記号的な要素が多く，これらの個々の要素に加えて要素間の関係を理解することが重要である.

## 2.2 自然言語処理における埋め込みの分析

自然言語処理の分野では，単語や文の埋め込みが特定の情報を含んでいるかを分析する研究が行われている $[12,13,14]$. 多くの既存研究では, 言語的性質の違いを認識する分類器を学習し, その分類精度やモデルの複雑さを見ることで埋め込みに含まれる情報を調べている $[12,13]$. ただしこれらの手法では，異なる表現に対して異なる分類器を学習する必要があることや，学習時のハイパラメータによって分類精度が変化してしまうといった問題が指摘されている [14]. 本研究では, 重心からの距離によって分類する教師なしの分類手法 [15]を用いる. 具体的な説明は 3.2 節で述べる。

## 3 分析の方針

本稿では，采イアグラムの中でも 2 つのノードとそれらを結ぶ 1 つのエッジからなるシンプルな有向グラフをべースとするダイアグラム対象として，埋
め込みの分布を分析する。

## 3.1 ダイアグラムの準備

$\mathrm{A}, \mathrm{B}$ の 2 つのノードと，Aから B に向かう 1 つのエッジからなる有向グラフをべースのダイアグラムとして，特定の要素を変更したダイアグラムを用意する。変更する要素は，ノードの位置 (16 種類), ノードの形 ( 2 種類 $)$ ，ノードの色 ( 2 種類)，エッジの向き (2 種類)，エッジの色 ( 2 種類)，ノード内のテキストの有無（2 種類）であり，基本的にはこれらの直積をとる形で 384 種類のダイアグラムを作成する. ただし，テキストが無いダイアグラムはノー ドの区別ができないため，そのままでは同一のダイアグラムが複数生成されてしまう，今回はそれらの重複を取り除くため，単純に全ての直積をとった場合の 512 種類とは一致しない.

また本稿では，有向グラフとしての正しさを意味の正しさとし，エッジの向きとテキストの有無を 「意味に関わる要素」, それ以外を「デザインに関わる要素」とする。 さらに，ノードの位置はバリエー ションを出すための要素であり，こちらについての詳細な分析は行わない。

## 3.2 画像埋め込みの定量分析

特定の要素が異なるダイアグラムの埋め込みを入力とし, どれほどの精度で分類できるかを測ることにより，埋め込みに含まれている情報を分析する。本稿では, 既存研究 [15] と同様の方法により分類と定量化を行う．準備として，ダイアグラムの特定の要素についての条件を表す正解クラスを定義する. ここでの正解クラスは，要素の違いを 0 と 1 の二值で表現したものである. 例えばノードの形に注目して正解クラスを定義する場合，ノードの形が円であるか否かをそれぞれ 0 と 1 という 2 つの正解クラスとして定義する.

分類手法図 3 に示す手順により，ダイアグラムを分類する．はじめに，それぞれの正解クラスに属する埋め込みの重心を計算し，それを正解クラスの重心とする. 正解クラス $j \in\{0,1\}$ の重心 $\mathbf{c}_{j}$ は， $j$ に属する埋め込みの集合を $\mathbb{E}_{j}$ として式 1 により計算される。

$
\mathbf{c}_{j}=\frac{1}{\left|\mathbb{E}_{j}\right|} \sum_{\mathbf{e}_{k} \in \mathbb{E}_{j}} \mathbf{e}_{k}
$

次に，それぞれの埋め込みに対して，全ての正解クラスの重心との L2 距離，またはコサイン類似度を

図 2 ダイアグラムの作成過程. すべての要素を 1 つずつ指定することで 1 つのダイアグラムを作成する.

計算し，L2 距離が最小，またはコサイン類似度が最大の正解クラスに分類する.ここで分類されたクラスを予測クラスと呼ぶ。全ての埋め込みの集合を正とすると， $\mathbf{e}_{k} \in \mathbb{E}$ の予測クラス $\hat{y}_{k}$ は式 2 または式 3 により計算される.

$
\begin{aligned}
& \hat{y}_{k}=\underset{j}{\operatorname{argmin}}\left.\|\mathbf{e}_{k}-\mathbf{c}_{j}\right.\| \\
& \hat{y}_{k}=\underset{j}{\operatorname{argmax}} \frac{\mathbf{e}_{k} \cdot \mathbf{c}_{j}}{\left|\mathbf{e}_{k} \| \mathbf{c}_{j}\right|}
\end{aligned}
$

評価指標分類精度を定量化するために，クラスタリングの評価に用いられている Purity と Inverse Purity の調和平均である $\mathrm{F}$ 值 [16] を用いる. 本稿では，Purity と Inverse Purity はそれぞれ「ある予測クラスに分類されたダイアグラムの中に異なる正解クラスのダイアグラムが含まれていないか」と「ある正解クラスのダイアグラムが異なる予測クラスに分類されていないか」を表している。これらを計算するにあたり，予測クラス $i$ に含まれている正解クラス $j$ に属するデータの個数を表す混同行列 $n_{i, j}$ を計算する. $\mathbf{e}_{k} \in \mathbb{E}$ の正解クラスを $y_{k}$ とすると， $n_{i, j}$ は式4 により計算される.

$
n_{i, j}=\left|\left.\{\mathbf{e}_{k} \in \mathbb{E} \mid \hat{y}_{k}=i \wedge y_{k}=j\right.\}\right|
$

$n_{i, j}$ と埋め込みの総数 |E|E を用いて, Purityと Inverse Purity はそれぞれ式 5 , 式 6 により計算される。

$
\begin{gathered}
\text { Purity }=\frac{1}{N} \sum_{i} \max _{j}\left(n_{i, j}\right) \\
\text { Inverse Purity }=\frac{1}{N} \sum_{i}\left(\frac{\max _{j}\left(n_{i, j}\right)}{\sum_{i} n_{i, j}} \sum_{j} n_{i, j}\right)
\end{gathered}
$

最後に，式 7 により Purity と Inverse Purity の調和平均をとる。

$
F=\frac{2 \times \text { Purity } \times \text { Inverse Purity }}{\text { Purity }+ \text { Inverse Purity }}
$

図 3 埋め込みの分類手法. 埋め込みと正解クラスの重心との距離により分類する.

## 3.3 埋め込み分布の可視化

定量分析では分布間の距離や広がりを分析することは難しいため，主成分分析（PCA）[17]を用いて複数の要素における埋め込み分布を 2 次元に圧縮して可視化する. PCA の前処理として標準化を行い， さらに圧縮後に白色化を行う.

## 4 実験

画像を埋め込むモデル画像を埋め込むモデルには, Inception V3 [18] と CLIP [19]（ViT-B/32 [20]） を用いた。また，計算される埋め込みの次元は Inception V3 が 2048，CLIP が 512 である．以降は，画像を埋め込むモデルを「埋め込みモデル」と呼ぶ.

データセット埋め込みモデルの入力には, 3.1 節で述べた 384 種類のダイアグラムを使用した.

## 4.1 定量分析

エッジの向き，テキストの有無，ノードの形, ノードの色，エッジの色の 5 つの観点について $\mathrm{F}$ 值を測定した結果を表 1 に示す.

意味に関わる要素の中でもエッジの向きでの分類は困難： 表 1 より，意味に関わる要素を比較すると，どちらの埋め込みモデルにおいてもテキストの有無に対する $\mathrm{F}$ 値はエッジの向きに対する $\mathrm{F}$ 値より
表 1 各要素に対する $\mathrm{F}$ 值． $F_{\mathrm{L} 2} ， F_{\mathrm{cos}}$ はそれぞれ $\mathrm{L} 2$ 距離，コサイン類似度をもとに計算した。

も高かった。これは，テキストの有無が異なるダイアグラムを埋め込みの違いで容易に分類できるが， エッジの向きが異なるダイアグラムは埋め込みの違いで分類することが困難であることを意味する。つまり，意味に関わる要素の中でも，テキストの有無についての情報は埋め込みに含まれるが，エッジの向きについての情報は埋め込みに含まれない，または取り出しにくい形で含まれる可能性がある.

## デザインに関わる要素の中でもエッジの色での分類は困難： 表 1 より，デザインに関わる要素を比較すると，どちらの埋め込みモデルにおいてもノー ドの形や色に対する $\mathrm{F}$ 值はエッジの色に対する $\mathrm{F}$ 值 よりも高かった.これは，ノードの形や色が異なる ダイアグラムを埋め込みの違いで容易に分類でき るが，エッジの色が異なるダイアグラムを埋め込み の違いで分類することが困難であることを意味す る.つまり，デザインに関わる要素の中でも，ノー ドの形や色についての情報は埋め込みに含まれる が，エッジの色についての情報は埋め込みに含まれ ない，または取り出しにくい形で含まれる可能性が ある.

## 意味・デザインを問わずエッジの違いでの分類は

困難： 表 1 より，エッジについての情報は埋め込みに含まれない，または取り出しにくい形で含まれる可能性がある．今回使用したダイアグラムにおいてエッジは他の要素に比べてピクセル数が少なく，既存の画像埋め込みがピクセル数の多い要素についての情報を取り出しやすい形で含んでいる可能性がある。一方で，今回のエッジのような，ピクセル数は少ないが，ダイアグラムの本質的な意味に関わる要素も多くあるため，そういった要素の情報が取り出しやすい形で含まれる埋め込みが望まれる。

## 4.2 定性分析

意味に関わる要素における埋め込み分布を図 4 に示す. ただし，PCAを行った後の第二主成分までの累積寄与率は Inception V3 で埋め込んだ場合が 0.20 , CLIP で埋め込んだ場合が 0.33 であった.

## CLIP の埋め込み分布は定量分析の結果と整合：表 4 より, CLIPの埋め込み分布については, 基準と なるダイアグラムの埋め込みとエッジが逆向きのダ イアグラムの埋め込みは混ざり合って分布している が，テキストの無いダイアグラムの埋め込みはそれ らとは混ざり合わずに分布していた。これは表 1 の 結果と整合している。一方, Inception V3 の埋め込 み分布は, CLIP の埋め込み分布に比べてテキスト の無いダイアグラムの埋め込みがそれ以外の埋め込 みと混ざり合って分布していた. これは表 1 の結果 と整合しているとは言えない. Inception V3 の PCA における第二主成分までの累積寄与率が CLIP の寄与率よりも低いことから，埋め込み全体を説明する のに不十分であることが原因だと考えられる.

図 4 意味に関わる要素の埋め込み分布. 次元圧縮には PCAを用いた。

## 5 おわりに

本稿では，既存の画像埋め込みに有向グラフをベースとしたダイアグラムのエッジに関する情報が含まれていない，または取り出しにくい形で含まれている可能性があることを明らかにした。この結果は，ダイアグラムを特徴づける情報を取り出しやすい形で含んでいる画像埋め込みを構築する必要性を示唆している.

今後は，ダイアグラムを特徴づける情報を取り出しやすい形で含む埋め込みを構築し， ダイアグラムの分類や検索といった研究に応用することを目指す.また，テキストとダイアグラムにおける埋め込みの対応関係を明らかにする方向性も興味深い。

## 謝辞

本研究は JSPS 科研費 JP21K21343，JP22H00524 の

助成を受けたものです。また，本研究を進めるにあたり多大なご助言，ご協力を賜りました羽根田賢和氏，松墒孝介氏をはじめとする Tohoku NLP グルー プの皆様に感謝いたします.

## 参考文献

[1] Emelie Havemo. A visual perspective on value creation: Exploring patterns in business model diagrams. European Management Journal, Vol. 36, No. 4, pp.441-452, 2018.

[2] Aniruddha Kembhavi, Mike Salvato, Eric Kolve, Minjoon Seo, Hannaneh Hajishirzi, and Ali Farhadi. A Diagram Is Worth A Dozen Images. arXiv preprint arXiv:1603.07396, 2016

[3] Helen C. Purchase. Twelve years of diagrams research. Journal of Visual Languages \& Computing, Vol. 25, No. 2, pp. 57-75, 2014.

[4] Jonas Belouadi, Anne Lauscher, and Steffen Eger. AutomaTikZ: Text-Guided Synthesis of Scientific Vector Graphics with TikZ. arXiv preprint arXiv:2310.00367, 2023.

[5] Abhay Zala, Han Lin, Jaemin Cho, and Mohit Bansal. DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning. arXiv preprint arXiv:2310.12128, 2023.

[6] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. ImageNet Classification with Deep Convolutional Neural Networks. In Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[7] Bingyi Cao, André Araujo, and Jack Sim. Unifying Deep Local and Global Features for Image Search. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, Lecture Notes in Computer Science, pp. 726-743. Springer International Publishing, 2020.

[8] Jack Hessel, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. CLIPScore: A Referencefree Evaluation Metric for Image Captioning. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7514-7528. Association for Computational Linguistics, 2021.

[9] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. arXiv preprint arXiv:1706.08500, 2018

[10] Jonathan Krause, Michael Stark, Jia Deng, and Li Fei-Fei. 3D Object Representations for Fine-Grained Categorization. In 2013 IEEE International Conference on Computer Vision Workshops, pp. 554-561. IEEE, 2013.

[11] Tobias Weyand, Andre Araujo, Bingyi Cao, and Jack Sim. Google Landmarks Dataset v2 - A Large-Scale Benchmark for Instance-Level Recognition and Retrieval. In
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.

[12] Yadollah Yaghoobzadeh, Katharina Kann, T. J. Hazen, Eneko Agirre, and Hinrich Schütze. Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5740-5753. Association for Computational Linguistics, 2019.

[13] Katarzyna Krasnowska-Kieraś and Alina Wróblewska. Empirical Linguistic Study of Sentence Embeddings. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 57295739. Association for Computational Linguistics, 2019.

[14] Yichu Zhou and Vivek Srikumar. DirectProbe: Studying Representations without Classifiers. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5070-5083. Association for Computational Linguistics, 2021.

[15] 坂田将樹, 横井祥, Benjamin Heinzerling. 事前学習済み言語モデルによるエンティティの概念化. 言語処理学会, pp. 1310-1315, 2023.

[16] Enrique Amigó, Julio Gonzalo, Javier Artiles, and Felisa Verdejo. A comparison of extrinsic clustering evaluation metrics based on formal constraints. Information Retrieval, Vol. 12, No. 4, pp. 461-486, 2009.

[17] Jonathon Shlens. A Tutorial on Principal Component Analysis. arXiv preprint arXiv:1404.1100, 2014.

[18] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. arXiv preprint arXiv:1512.00567, 2015.

[19] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning Transferable Visual Models From Natural Language Supervision. arXiv preprint arXiv:2103.00020, 2021.

[20] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations, 2020.

[21] Laurens van der Maaten and Geoffrey Hinton. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol. 9, No. 86, pp. 2579-2605, 2008.

[22] Leland McInnes, John Healy, and James Melville. UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv preprint arXiv:1802.03426, 2020.

## A 埋め込み分布の可視化

## A. 1 t-SNE，UMAP による意味の正しさに 関わる要素についての可視化

t-SNE [21]，UMAP [22]を用いて次元圧縮した場合の意味の正しさに関する要素についての埋め込み分布をそれぞれ図 5 , 図 6 に示す. どちらの次元圧縮手法を用いた場合でも，CLIP の埋め达み分布はテキストの有無によってクラスタが分かれていることが確認でき，これは表 1 の結果と整合している. Inception V3 の埋め込み分布は, $\mathrm{t}$-SNE を用いて次元圧縮した場合にはテキストの有無によってクラスタが分かれていることが確認でき，これは表 1 の結果と整合している。

図 5 意味の正しさについての埋め込み分布. 次元圧縮には $\mathrm{t}-\mathrm{SNE}$ を用いた。

図 6 意味の正しさについての埋め込み分布. 次元圧縮にはUMAPを用いた。

## A. 2 PCA, t-SNE, UMAP によるエッジの 色についての埋め込みの可視化

PCA， t-SNE，UMAP を用いて次元圧縮した場合のエッジの色についての埋め込み分布をそれぞれ図 7, 図 8，図 9 に示す. どの次元圧縮手法を用いた場合でも，両モデルの埋め込み分布がエッジの違いによって明確に分かれている様子は見られなかった. 一方で， $\mathrm{t}$-SNE を用いて次元圧縮した場合には小さなクラスタレベルでは分かれているものもあり，その中にはぺアになっているように見えるものもあった.

図 7 エッジの色ついての埋め込み分布。次元圧縮には PCAを用いた。

図 8 エッジの色についての埋め込み分布. 次元圧縮には t-SNE を用いた.

図 9 エッジの色についての埋め込み分布. 次元圧縮には UMAPを用いた。