# 知識ベースの検索を伴う Video QA タスクの提案

黒田佑樹 1 中島悠太 ${ }^{2}$
1 大阪大学大学院情報科学研究科
2 大阪大学データビリティフロンティア機構
\{y-kuroda@is., n-yuta@\}ids.osaka-u.ac.jp

## 概要

ユーザの過去の発言や行動等の知識をもとに質問に答えられる質問応答システムの登場が期待される. Knowledge-Based Video Question Answering (KBVQA) では，テレビドラマを実世界に見立ててこの問題に取り組んでいる. KBVQA では, 質問に対して必要な知識が紐付けられて利用されている。本研究では質問と知識の紐付けを行わず，全体の長大な知識ベースからの知識検索を伴う VideoQA 夕スクである MAGQAを提案する。また，動画像字幕からの自動知識ベース作成，知識検索及び質問応答を行うベースライン手法を提案し，本タスクの難しさと提案手法の有効性を示す.

## 1 はじめに

ユーザの過去の発言や行動に関する質問応答システムは高度なアシスタント機能の実現に不可欠であり，例えば，

What is the name of the person whom I talked with at one of the past editions of NLP?

のような質問に回答することが期待される。これは，ユーザの発言や行動の長大なログ（映像）から質問に関連する部分（知識）を見つけ出し，その結果に基づいて回答を生成するタスクと考えることができる.

このタスクに関連するタスクとして，KnowledgeBased Video Question Answering (KBVQA) [1] が提案されている。このタスクでは，複数のエピソードから構成されるテレビドラマを対象として，同様の問題に取り組んでいる。質問に答えるための知識ベースとして，作問者によるアノテーション [1] やインターネット上の要約 [2], 動画像から作成されたシーン説明 [2], 映像に付属する字幕から自動作成した要約 [3] を利用する手法が提案されいる.

これらの手法では，各質問に対して対応する知識

図 1 従来の KBVQA タスクと提案する MAGQA タスクの概要. 後者は質問に答えるために必要な情報を紐付けず，検索して得る。

がアノテーションとして提供されている，または質問がどのエピソードに関するものか，などのように知識の範囲を限定できるものとしている．例えば，現在 KBVQA において最も精度の良い手法 [3] は,図1（左）のように予め質問と紐付けられたエピソードの字幕要約のみを用いており，回答を生成する際には要約全文を大力としている。前述のいずれの手法も，学習時には質問に対して必要な知識（または. 少なくとも必要な知識の真値）が紐付いていること前提としている.

質問と知識の紐付けには，質問にアノテーションを付与する必要がある。ユーザの発言や行動のように長大なログ，すなわち大量の知識が提供される夕スクにおいて，質問に答えるための知識等に関するアノテーションは高コストで，例えばドメイン毎の （もしくは巨大なデータセットに対する）アノテー ション付与は難しい。

そこで本稿では，図1（右）のように，映像から質問応答に必要な知識を検索し，利用するタスクである MAGQA を提案する。このタスクでは，検索対象となる知識を限定するためのアノテーションを利用しない，従って，モデルはまず質問をクエリとして知識べースを検索し，その結果に基づいて回答を生成する。学習では，検索と回答生成を合わせて最適化する必要がある。本稿では既存データセットである KnowIT VQA [1]を用いて MAGQA を提案す

る. 本タスクのベースラインとして字幕というテキストモダリティに注目した手法を提案する。

## 2 タスク定義

KnowIT VQA はテレビドラマ Big Bang Theory に関する KBVQA のデータセットで，20 分程度の映像からなる 207 のエピソードから構成されており, 各エピソードは 12,264 のシーンに分割され，各シー ンについて 2 件，合計で 24000 件を超えるサンプルが提供されている. テレビドラマはユーザの発言や行動を記録した映像の代替に適したものであると考える. KnowIT VQA は多肢選択式のタスクとなっており，サンプルは，質問文 $q$, 回答候補 $a=\left.\{a_{1}, a_{2}, a_{3}, a_{4}\right.\}$, 対応するシーン $s=\{v, t\}$ （ただし, $v$ と $t$ はぞれぞれ映像と字幕), 人手で作成され

される. このタスクでは $q, a, s$ が与えられたときに，全てのサンプルの $k$ の集合である知識べース $\mathscr{K}=\{k\}$ から適切な知識を選択し, これを元に $a$ から回答を選択する。このタスクでは，学習時に $k$ を知識の真値として利用できる。

MAGQA はこのデータセットを元にしており，人手で作成された知識ベースである $\mathscr{K}$ に代えて，全ての映像の集合 $\mathcal{S}=\{(v, t)\}$ を知識べースとし, 学習時にも $k$ を真値として利用しない。つまり， $q, a$, $s$ が与えられたときに， $\delta$ から必要な知識を見つけ出し, $a$ から回答を選択する. 自動音声認識技術により，字幕テキスト $t$ の利用は実用上の問題となならないと考える。このタスクにより，冒頭で示したユーザの発言や行動に基づいて質問に回答するシステムを模擬的に評価する。

## 3 提案手法

文献 [3] では，提案タスクと同様に $\mathscr{K}$ を利用せず映像から必要な知識を獲得するアプローチが採用されている，具体的には，質問文 $q$ のシーン $s$ が含まれるエピソードを $e$ とすると，そのエピソードの映像 $S_{e} \subset \mathcal{S}$ から言語モデルを用いて物語文 $n$ を生成し， $q, a, n$ から回答 $c^{\star}$ を生成する.

提案するべースライン手法でも文献 [3] と同様に物語文を利用する（図 2）。ただし，質問文とエピソードが紐付いていないことから, 全てのシーンについて物語文を生成し, その集合 $\mathcal{N}$ を事前に構築する. さらに, Open Domain QA [4] における密べクトルによる文書検索 [5] を援用し, 質問文 $q$, 回答候補 $a$ をエリリとして，知識検索モジュールで $\mathcal{N}$ から知識の検索を行う. 最後に検索して得られた知識 $n^{\star}, q$, および $a$ を質問応答モジュールへの入力として回答 $c^{\star}$ 得る。なお，知識検索モジュールと質問応答モジュールの学習は独立して行う.

## 3.1 知識ベース生成

知識ベース生成モジュールでは，映像集合 $\delta$ から知識べースである物語文集合 $\mathcal{N}$ を生成する。本稿では, 文献 [3] と同様に, 映像 $v$ と字幕 $t$ のうち $t$ のみを利用する。

字幕は質問への回答に必要な多くの情報を含むが，対話形式であることから代名詞を多用するなど，その一部分のみを見ると検索性や了解性が低く, 質問応答の性能に悪影響を及ぼすことが懸念される. そこで提案手法では，要約等の自然言語処理タスクにゼロショットで高い精度を示す LLM である GPT-4 [6] を用いて字幕を物語文へと変換することで，言語モデルがより扱いやすい知識ベースを生成する.

具体的には，図 3 のようなテンプレートを用い， ビデオのシーン $s$ の字幕 $t$ を GPT-4 にプロンプトとして与えることで, 物語文 $n_{s}$ を生成する. 付加的な情報として，そのシーンの文脈を明らかにするためにエピソード内で時間的に手前のシーン $s^{\prime}$ の物語文 $n\left(s^{\prime}\right)$ ，及びそのシーンの場所を表すテキスト $p$ [2] もプロンプトとして入力する. $n_{s}$ を一定の長さ $L$ に分割したものをそれぞれ $n_{s l}$ （ただし. $\left.n_{s}=n_{s 1}+\cdots\right)$ とすると，知識べース $\mathcal{N}$ は次式により得られる。

$
\mathcal{N}=\left.\{n_{s l} \mid s \in \mathcal{S}, l=1, \ldots\right.\}
$

## 3.2 知識検索

知識ベース $\mathcal{N}$ の検索には, Open Domain QA タスク [4] で採用されている密べクトルによる文書検索 [5] を用いる. まず質問 $q$ と回答候補 $a=\left.\{a_{i} \mid i=1, \ldots, 4\right.\}$ からクエリ

$
w_{i}=[\mathrm{CLS}]+q+[\mathrm{SEP}]+a_{i}+[\mathrm{SEP}]
$

を生成する。クエリと知識のエンコーダを $E_{\mathrm{W}}, E_{\mathrm{K}}$ とすると，知識検索モジュールは， $w_{i}$ と $n \in \mathcal{N}$ の類似度 $\operatorname{sim}\left(w_{i}, n\right)=E_{W}\left(w_{i}\right)^{\top} E_{K}(n)$ を計算し, 上位 5 件の知識 $n^{\star}\left(w_{i}\right)=\left.\{n_{j}^{\star} \mid j=1, \ldots, 5\right.\}$ を出力する.

$
\text { エンコーダ } E_{\mathrm{W}}, E_{\mathrm{K}} \text { は, BERT [7] ベースの Spider }
$

[8] を初期パラメータとし, DPR [5] に基づく手法を

図 2 提案手法の概要.

$
\begin{aligned}
& \text { You are a highly skilled AI trained in language comprehension } \\
& \text { and summarization. } \\
& \text { Please summarize the [Dialogue] from the [Scene] in the TV drama, } \\
& \text { following the guidelines below: } \\
& \text { 1. Resolve co-references and avoid using pronouns as much as possible. } \\
& \text { 2. Use the same words as in the [Dialogue] whenever possible, } \\
& \text { to avoid losing information. } \\
& \text { 3. You may use the information from the [Context] if necessary. } \\
& \text { [Scene] }
\end{aligned}
$

$
\text { [Context] }
$

$
\text { [Dialog] }
$

図 3 物語文生成のプロンプト. [Scene] 下部には場所を表すテキスト. [Context] 下部には前のシーンの物語文. [Dialogue] 下部にはそのシーンの字幕が入る. シーン冒頭では [Context] は空である.

用いて，本タスク向けにファインチューニングする. 具体的には，質問 $q$ とその回答に必要な知識 $n^{+}$, 無関係な知識の集合 $\left.\{n_{b}^{-}\right.\}_{b}$ を用いて, 正解 $c$ に対応するクエリ $w_{c}$ と $n^{+}$の類似度が大きくなるよう次式により対照学習を行う.

$
\ell\left(w_{c}, n^{+},\left.\{n_{b}^{-}\right.\}\right)=-\log \frac{e^{\operatorname{sim}\left(w_{c}, n^{+}\right)}}{e^{\operatorname{sim}\left(w_{c}, n^{+}\right)}+\sum_{b} e^{\operatorname{sim}\left(w_{c}, n_{b}^{-}\right)}}
$

本タスクでは $q$ の回答に必要な知識 $n^{+}$についてのアノテーションが存在しない. そのため, $w_{c}$ と, 対応するエピソード内で $w_{c}$ との BM25 [9] スコアが最も高い知識を擬似的な $n^{+}$とする. また, $\left.\{n_{b}^{-}\right.\}_{b}$ はバッチ内の別の質問に対する $n^{+}$を用いる.

## 3.3 質問応答

質問応答では [3] を参考に，検索した知識 $n^{\star}\left(w_{i}\right)$ を BERT [7] ベースのニューラルネットワークの入力として回答を生成する. まず，質問 $q$ の回答候補 $a_{i}$ と知識 $n_{j}^{\star} \in n^{\star}\left(w_{i}\right)$ ごとに BERT と線形層を用い
たスコア $z_{i j}$ を計算する. BERTへの入力 $x_{i j}$ は

$
x_{i j}=[\mathrm{CLS}]+n_{j}^{\star}+[\mathrm{SEP}]+q+[\mathrm{SEP}]+a_{i}+[\mathrm{SEP}]
$

で得られる。スコア $z_{i j}$ は次式で与えられる。

$
z_{i j}=\mathbf{W}^{\top} \operatorname{BERT}\left(x_{i j}\right)+\mathbf{b}
$

ただし， Wとbは線形層のパラメータとする。

次に，質問文 $q$ に対する知識 $n *_{j}$ の重要度を計算する。これには，回答候補 $a_{i}$ それぞれについて，スコア $z_{i j}$ を最大とする $n *_{j}$ が大きければ重要であると考え，温度パラメータ $T$ を用いて次式により与える。

$
\alpha_{j}=\operatorname{softmax}\left(\max _{i} z_{i j} / T\right)
$

最終的な回答候補 $a_{i}$ のスコア $z_{i}^{\prime}$ は.

$
z_{i}^{\prime}=\sum_{j} \alpha_{j} z_{i j}
$

この $z_{i}^{\prime}$ と正解 $c$ とのクロスエントロピーロスにより質問応答モジュールを学習する.

## 4 実験

実験では，検索範囲と回答精度の関係，および知識検索モジュールの回答精度への影響を調査した.知識の分割数 $L$ は予備実験で良好な性能を示した 80 に固定した. これにより．知識ベースに含まれる知識数は 11,964 となる. また，質問応答モジュー ルでは，BERT-base-uncased [7] を用いた.

## 4.1 検索範囲と回答精度の関係

本研究で提案する MAGQA は，学習時に質問への回答に必要な知識の真值が与えられず，推論時にも検索範囲が限定されない点が従来研究 [3] と異なる.例えば文献 [3] の手法では，各質問のシーンが含まれるエピソードが既知であるとし，学習時，推論時のいずれもそのエピソード全体の対話全体の要約を入力している. そこで, 知識の検索範囲が精度にどの程度影響を与えるかを評価した。
表 1 検索範囲を限定した場合の回答精度の比較. 平均知識数は各検索範囲が含む知識数の平均.

実験では，検索対象の知識ベースをシーズン単位 ${ }^{11}$, エピソード単位，シーン単位で限定する. すなわち，ある質問文 $q$ が紐付けられたシー ンを $s, s$ が含まれるエピソードのシーン集合を $\operatorname{Epi}(s) ， s$ が含まれるシーズンのシーン集合を $\operatorname{Sea}(s)$ で表すと，検索範囲をシーズン単位とする場合には知識ベースを $\mathcal{N}_{\text {Season }}(s)=\left.\{n_{s^{\prime} l} \mid s^{\prime} \in\right.$ $\operatorname{Sea}(s), l=1, \ldots\}$, エピソード単位とする場合には $\mathcal{N}_{\text {Episode }}(s)=\left.\{n_{s^{\prime}} \mid s^{\prime} \in \operatorname{Epi}(s), l=1, \ldots,\right.\}$, シーン単位とする場合には $\mathcal{N}_{\text {Scene }}(s)=\left.\{n_{s l} \mid l=1, \ldots,\right.\}$ とする.知識検索モジュールの学習時には，常に全シーンを含む知識べース $\mathcal{N}$ を利用し，質問応答モジュールの学習, および推論時は, 知識検索モジュールで限定された知識べースから得られる知識を利用した。

表 1 にそれぞれの構成での精度をまとめる．検索対象をシーズンやエピソードに限定すると精度が上昇することがわかる.これは検索対象の減少により。検索が容易になったためであると考えられる.シー ンまで限定すると回答精度は減少する.これは検索対象の減少により，回答に必要な情報が含まれなくなったことが原因であると推察できる。知識検索モジュールが仮に必要な知識を必ず見つけ出せると仮定すると，検索範囲が全体の場合の精度がエピソー ドに限定した場合の精度を超える可能性も考えられる. MAGQA において高い回答精度を達成するためには，検索範囲を広くしつつ検索性能を向上させる必要があり，本タスクの難しさがわかる.

また。エピソード単位で知識を利用する文献 [3] の手法では，同じ知識ベースで性能を評価すると平均知識数 26 で回答精度 0.762 となり，提案するべー スライン手法の方が高い性能を示した.この結果から，検索範囲を限定した場合でも提案手法が有用であるといえる。

1） シーズンはエピソードをまとめたもので，KnowIT VQA では The Big Bang Theory シリーズの 9 つのシーズンの映像を含む。それぞれのシーズンに含まれるエピソード数は異なるものの， 1 シーズンは 20 エピソード程度で構成される.表 2 知識検索モジュールごとの回答精度. KnowIT VQA で提供されている質問の分類ごとの回答精度も合わせて示す.

## 4.2 知識検索モジュールによる性能比較

前節の結果から，知識検索モジュールの性能が回答精度を大きく左右すると類推できる。そこで，提案ベースライン手法の知識検索モジュールの替わりに，ランダムな知識を選択する場合．BM25 [9]，エンコーダ $E_{W}, E_{K}$ の事前学習モデルである Spider [8] で回答精度を比較した．また．知識を用いず．質問と回答候補のみを質問応答の入力として用いる場合 (QAのみ) も比較対象とする.

表 2 に結果をまとめる.この結果から，どのような種類の質問に関しても提案べースライン手法の知識検索モジュールを用いた際の回答精度が最も高いことがわかる. 疎な表現による検索方式である BM25 と密ベクトルの学習を用いる方法である Spider を比較するとわずかに BM25 が上回るが， Spiderを本タスク向けにファインチューニングした提案手法はこれを上回る精度を達成した。これより，知識検索モジュールには質問のドメインに対するファインチューニングが必要であり，知識のアノテーションを利用しない MAGQA のようなタスク設計の重要性が示唆される.

## 5 おわりに

ユーザの過去の発言や行動に関する質問応答の模擬タスクとして，知識を必要とする Video QA で大きな知識ベースから必要な知識を検索し, 質問に回答するタスクである MAGQAを提案した。また， LLM による知識ベース作成. 密ベクトルを用いた知識検索. 言語モデルによる質問応答によるべースライン手法を提案した. 実験では，タスクの困難さとベースライン手法の有効性を示した. 一方で， ベースライン手法は基礎的な物となっており，質問応答モジュールからの誤差逆伝播による知識検索モジュールの学習等, さらなる研究が期待される.

## 謝辞

本研究は JST 創発的研究支援事業 JPMJFR216O の助成による.

## 参考文献

[1] Noa Garcia, Mayu Otani, Chenhui Chu, and Yuta Nakashima. KnowIT VQA: Answering knowledge-based qaquestions about videos. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 10826-10834, 2020.

[2] Noa Garcia and Yuta Nakashima. Knowledge-based video question answering with unsupervised scene descriptions. In European Conference on Computer Vision (ECCV), pp. 581-598. Springer, 2020.

[3] Deniz Engin, François Schnitzler, Ngoc QK Duong, and Yannis Avrithis. On the hidden treasure of dialog in video question answering. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 2064-2073, 2021.

[4] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading Wikipedia to answer open-domain questions. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics(ACL), pp. 1870-1879, 2017.

[5] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, 2020.

[6] OpenAI. GPT-4 technical report, 2023.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies(NAACL-HLT), pp. 41714186, 2019.

[8] Ori Ram, Gal Shachaf, Omer Levy, Jonathan Berant, and Amir Globerson. Learning to retrieve passages without supervision. In Proceedings of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), pp. 2687-2700, 2022.

[9] Stephen E Robertson, Steve Walker, Susan Jones, Micheline M Hancock-Beaulieu, Mike Gatford, et al. Okapi at trec-3. NIST Special Publication SP, Vol. 109, p. 109, 1995.


# Genre-based Character Network Analysis and Emotion Sequence Analysis for Manga

Megha Sharma $^{1}$ Yoshimasa Tsuruoka $^{1}$
${ }^{1}$ The University of Tokyo
\{meghas, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp
}

\begin{abstract}
This paper explores the relationship between emotion sequences and character network graphs from Japanese comics to explore trends among different genres. We propose a framework to extract emotion sequences from the manga, and analyse whether significant correlations exist between temporal pages and emotions of the manga as well as between emotion variables. We also detect the peaks and valleys to find correlations with genres. We build social network graphs from the characters in pages to analyse the structural relationship across genres and extract features from the graphs and report on the trends across genres. Our results suggest that some preliminary trends exist in the current scope of the study.
\end{abstract
## 1 Introduction

Japanese comics, manga, are a multi-media art form where visual cues (drawings) and textual cues (dialogues) are used to create a complete story [1]. Additional visual elements such as style and onomatopoeia are used to enhance the reading experience. Manga analysis allows us to understand about the content and organisation of the manga through a social and reflective lens. Manga analysis not only benefits a social interpretation of multi-media, but it also supports applications such as manga translation [2], in-painting [3], and sketch-to-manga conversion [4].

Existing studies on manga analysis show that societal influence plays an important role in the development of manga. Research on gender-based and genre-based division in dialogues reveal mangas are influenced by dialogue patterns that mimic societal usage over the years [5]. In fact, Sugishita and Masuda [6] argue that manga story-lines exhibit character networks that reflect empirical social networks in society.
In this paper, we aim to analyse manga characters and content through a lens of genre. Our contributions are two-fold. We view our work as an extension of Sugishita and Masuda's [6] work by extending the character network analysis to recognise genre-based patterns. Moreover, we also conduct a brief emotion sequence analysis based on genres. Our results find preliminary trends in the sequences and character graphs.

## 2 Method

We short-listed 46 books from the Manga109 dataset [7] [8], which is annotated with face, dialogue and body bounding boxes. There are 12 genres defined in the dataset. We use four books from each genre except for horror where only two books are available. For character network analysis we only use two books from Four-Frame Cartoon (FFC) genre due to available data and annotation conflicts. We approach the analysis using two methods: Emotion sequence analysis and character network analysis. The former utilises the continuous sequence of emotions detected using the character faces and dialogues. The latter builds character networks of the characters appearing in manga and analyses the resulting graphs. In this section, the details of both methods are explained.

## 2.1 Emotion Sequence Analysis

We define emotions using Russell's four quadrant theory that maps emotions as a function of arousal (intensity) and valence (positivity) [9]. Emotion is detected using the dialogues (text) of the manga page as well as the character faces. To do so, a face emotion detection model and a text emotion detection model are trained. The face emotion detection model is trained on a dataset of 509 manga character faces associated with 11 emotion classes ${ }^{1)}$. An

Figure 1 Emotion sequence for manga titled "Paraiso Road" by Kanno Hiroshi. The emotions are normalised from 1 to 5

EfficientNet model [10] with a custom classification layer achieves a validation accuracy of $77.7 \%$. We convert the emotion categories to valence and arousal values based on the NRC-VAD lexicon[11]. We use a pre-trained JapaneseBERT $^{2}$ model for text emotion detection. We fine-tune the model on a dataset of 30,000 social media blog posts [12]. The model achieves an accuracy of $61 \%$ on sentiment (valence) detection. A case study of emotion sequences is shown in fig. 1 , where the normalised emotion variables of arousal and valence are plotted. The plots suggest spikes in arousal at three peaks, with a considerable pace change towards the end of the book at page 100. The sharp change in arousal and valence boosts the emotion to a high point, which can signal a happy end to the story line. This is reflected as the story reaches a positive pay-off in the final few pages. Qualitative analysis of emotion sequences can help understand the emotional arc of the story-line and identify climactic points (points of sharp peaks or valleys).

We extract features from the emotion sequences that will be used to understand behaviour by genre. These features can be categorised into three: detecting (1) temporal relations, (2) manga feature relations, and (3) peaks and valleys. For temporal relations, we calculate the Kendall tau correlation coefficient between temporal (pages) and other continuous manga features such as arousal, valence and text length. We also compute Pearson correlation among the three manga features. Finally, we keep track of number of peaks and valleys detected for each book in both arousal and valence sequences. The peaks and valleys are

2) huggingface.co/minutillamolinara/bert-japanese_finetunedsentiment-analysis defined for emotions above or below a threshold of four and two respectively when normalised on a scale of one to five. The statistics of the results of all features can be found in appendix A.1. These results are made only using the statistically significant coefficients to avoid noise from insignificant correlations.

## 2.2 Character Network Analysis

From the analysis by Sugishita and Masuda [6], we take a social network approach to our manga analysis by genre. Hence, we create temporal bipartite graphs where one layer of nodes are the pages and the other are the characters. An edge between the character and the page exists if the character exists on the page. Using this graph, we can project it on a space of only the character nodes to capture the character network. Examples of extracted character networks are shown in fig. 2 - fig. 4. As seen in the figures, the character graphs can vary from size and structure. Complete graphs show equal distribution of character interactions through the manga, while star-like graph show a protagonist-driven story. On the other hand, subgroups may exist as seen in fig. 4 despite a well-connected "protagonist" (node with highest degree). These might suggest such stories have sub-plots that feature different characters. Our goal is to analyse these properties to detect any trends between the genre of these novels.

Similar to emotion sequence analysis, we extract features from the graphs to study for the discussion. We extract the number of nodes and edges as $N$ and $M$ respectively. We also measure the average degree of the graph as $K$ and the coefficient of variation of the degree as $K C V$. The latter measures the variation trends in the degree of all nodes in the graph by taking the ratio of the standard deviation to the mean. We also measure the degree of the "protagonist", $K P . K P$ is also normalised by dividing by the rest of the number of nodes. Degree assortativity, $R$, measures whether nodes with similar degrees are closer to each other or further apart [13]. Clustering coefficient, $C$, measures the extent of clustering as a triangle in the graph [14].

## 3 Discussion

## 3.1 Emotion Sequence Analysis

We have plotted the average temporal relation coefficients in fig. 5 for each of the 12 genres. Science fiction

Figure 2 A completely connected social graph from OL Lunch by Sanri Youko.

Figure 3 A star-like social graph from Touyou Kidan by Tojo Miho.

Figure 4 A social graph with sub-groups from Tsubasa No Kioku by Sato Harumi. had no statistically significant results in this step. Apart from horror, all genres exhibit mostly a negative correlation with time. This might suggest that the manga has decreasingly lower arousal and valence with the turn of the pages. However, the relationship is not very strong, ranging from 0 to -0.17 at best. Animal genre has the most negative correlation between the dialogue text length and the page number, suggesting that the dialogues get shorter with the story. On the other hand, Suspense and Historical drama both show a positive correlation between text length and page number. Historical drama in particular is the longest manga on average, with a text character length of over $28 \mathrm{~K}$. Horror has the most positive correlation with valence and arousal. However, it should be noted that these significant values are taken from only one book in the genre as the other has no significant relation. This highlights a potential limitation of the study, the limited books used here act as a barrier to the understand the performance across genres.

In particular, we found a very strong correlation between arousal and valence across all genres. The lowest correlation is that of 0.7 (Animal genre), achieving up to 0.9 (FFC genre). This strong correlation seems to point the data mostly stays in the first and third quadrant of Russell's four quadrants. We believe this narrow view of emotion is reflective of the capacity of the emotion detection models rather than the actual manga emotion content. All genres also have a positive correlation between emotion variables (arousal, valence) and text length. This relationship is the lowest for Love Romance and Romantic Comedy and highest for FFC, implying that romantic genres tend to associate little arousal growth with text length of the manga. The relationship between valence and text length remains stable between 0.6 to 0.8 across all genres.

Figure 5 Temporal correlations of emotion sequences by genre. Empty bars suggest no statistically significant results were observed.

Finally, we look into the content of the valence and arousal values across pages using peak and valley detection. In general, the percentage difference between peak and valleys is over $97 \%$, implying valleys are far more common than peaks across genres. In particular, suspense genre has the lowest number of arousal valleys, suggesting that arousal is not usually on the lower end, while Animal has the highest number of arousal valleys, suggesting that arousal is usually on the lower end. Humour and Love Romance also have the highest number of valence valleys, suggesting sentimental lows in the story.

In general, we found that arousal, valence, and text length do not hold significant differences among genre. One reason for such results could be the limited data and model performance. Moreover, manga is more generally differentiated by intended audience such as Shoujo (manga for girls) and Shounen (manga for boys) are more common genre descriptions for Japanese comics [5]. However, we leave the analysis as per gendered genres as future work as it requires simultaneous studies of gender and genre differentiation.

## 3.2 Character Network Analysis

The statistical results from character network graphs is available in table 1. On average, there are 28 characters defined for a manga. However, the variety of network size varies among genres. Our results find that Historical Drama has the largest number of characters and edges on average, which falls in-line with the text length of the books. Four-Frame Cartoons (FFC) tend to have the smallest number of characters and edges. An example graph fig. 2 shows how FFC genre can be different from other genres seen in fig. 4 and 3. This is also confirmed by the low $K C V$ we find for FFC, which indicates that the degree is more homogeneous than diverse, implying a small number of characters interact with similar number of characters throughout the manga.

The coefficient of variation of the degree of graph lies between 0.00 (completely connected graph) to 1.15 (high variation in the graph). On average, $K C V$ takes a value of 0.62 , with a majority of manga falling under 1 . This is consistent with the results by Sugishita and Masuda [6] where smaller social networks, as seen in manga, exhibit similar characteristics. Historical drama achieves the highest graph degree on average, while animal genre has the lowest. These results are intuitively in-line with results from $N$ and $M$, with a positive correlation with both. The normalised degree of the protagonist on average is 0.84 , which shows high level of connectivity in manga social networks. This could suggest, most manga are protagonist driven, a similar conclusion derived in [6]. Romantic Comedy has the significantly lowest $K P$ among the genres at 0.6 , while other genres are all above 0.75 . On structural analysis of the character graphs, it is evident that Romantic Comedy is more likely to exhibit graphs with sub-groups of characters similar to fig. 4. Whether these exist due to sub-plots can not be verified from graph structure and emotion sequence alone. Detailed results are available in appendix A.2.

As seen in fig. 6, character networks are all dissassortative, which means that nodes with dissimilar degrees are closer to each other. This interesting result is also exhibited in [6]. We find that horror and Four-frame cartoons exhibit the lowest dissassortativeness. This is due to the particular well-connected graphs seen in both genres, where the story is not as protagonist-centered as other genres. On the other

Figure $6 R, C$ values for each genre based on the character network graphs. Manga exhibits disassortative networks

hand, all genres exhibit a high level of clustering. These clustering coefficients are largely similar, with an average of 0.83 across all books. This implies the graphs exhibit a large number of triangles.

In general, character network analysis reveals some interesting trends across genres, which can be analysed further with more books and longer volumes.

Table 1 Statistical results for all genres for character network analysis. $N$ is for number of nodes, $M$ is for number of edges, $K$ is for degree of the graph, $K C V$ is the coefficient of variation for the degree, $K P$, is the degree of the "protagonist" of the story, $R$ is the degree assortavity and $C$ is the clustering coefficient

## 4 Future Work and Conclusion

This paper studies the content of manga in different genres through two lenses: emotional and social. Our results discuss some interesting trends revealed in the emotion sequence analysis and the character network analysis. However, these results are based on a limited set of data and requires further investigation to achieve a more substantial study of manga analysis. Hence, we propose the following future directions. An important bottleneck for emotion sequence analysis are the performances of the emotion recognition models, hence, we plan to experiment with different modeling architectures to improve emotion recognition in text and visual cues. We also propose deeper sequence analysis, especially inspired from bio-informatics. Solomon et al. [15] used such sequence analysis techniques to detect motifs in conversations. To conclude, our results invite a further analysis of manga through various lenses.

## References

[1] Toni Johnson-Woods. Manga: An anthology of global and cultural perspectives. Bloomsbury Publishing USA, 2010.

[2] Ryota Hinami, Shonosuke Ishiwatari, Kazuhiko Yasuda, and Yusuke Matsui. Towards fully automated manga translation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 12998-13008, 2021.

[3] Minshan Xie, Menghan Xia, Xueting Liu, Chengze Li, and Tien-Tsin Wong. Seamless manga inpainting with semantics awareness. ACM Transactions on Graphics (TOG), Vol. 40, No. 4, pp. 1-11, 2021.

[4] Ziyuan Liu, Ye Ding, Qi Wan, Zhiyang He, and Qing Zhang. Generating manga images from sketch via gan. 2022.

[5] Giancarla Unser-Schutz. Influential or influenced? the relationship between genre, gender and language in manga. Gender and Language, Vol. 9, No. 2, pp. 223-254, 2015.

[6] Kashin Sugishita and Naoki Masuda. Social network analysis of manga: similarities to real-world social networks and trends over decades. Applied Network Science, Vol. 8, No. 1, p. 79, 2023.

[7] Kiyoharu Aizawa, Azuma Fujimoto, Atsushi Otsubo, Toru Ogawa, Yusuke Matsui, Koki Tsubota, and Hikaru Ikuta. Building a manga dataset "manga109" with annotations for multimedia applications. IEEE MultiMedia, Vol. 27, No. 2, pp. 8-18, 2020.

[8] Yusuke Matsui, Kota Ito, Yuji Aramaki, Azuma Fujimoto, Toru Ogawa, Toshihiko Yamasaki, and Kiyoharu Aizawa. Sketch-based manga retrieval using manga109 dataset. Multimedia Tools and Applications, Vol. 76, No. 20, pp. 21811-21838, 2017.

[9] James A Russell. A circumplex model of affect. Journal of personality and social psychology, Vol. 39, No. 6 , p. 1161, 1980.

[10] Mingxing Tan and Quoc Le. Efficientnet: Rethinking model scaling for convolutional neural networks. In International conference on machine learning, pp. 61056114. PMLR, 2019

[11] Saif Mohammad. Obtaining reliable human ratings of valence, arousal, and dominance for 20,000 english words. In Proceedings of the 56th annual meeting of the association for computational linguistics (volume 1: Long papers), pp. 174-184, 2018.

[12] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A japanese dataset for subjective and objective sentiment polarity classification in micro blog domain. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 7022-7028, 2022.

[13] Mark EJ Newman. Assortative mixing in networks. Physical review letters, Vol. 89, No. 20, p. 208701, 2002.

[14] Duncan J Watts and Steven H Strogatz. Collective dynamics of 'small-world' networks. nature, Vol. 393, No. 6684, pp. 440-442, 1998

[15] Denise Haunani Solomon, Susanne Jones, Miriam Brin- berg, Graham D Bodie, and Nilam Ram. Using sequence analysis to identify conversational motifs in supportive interactions. Journal of social and Personal Relationships, Vol. 39, No. 10, pp. 3155-3179, 2022.

## A Appendix

## A. 1 Statistic Results from Emotion Sequence Analysis

Table 2 Statistical results across all genres. page_arousal, page_valence, page_text, arousal_text, arousal_valence, valence_text are correlation coefficients between both variables. valence_peaks, valence_valleys, arousal_peaks, arousal_valleys are number of peaks and valleys for valence and arousal respectively.

## A. 2 Genre-based Comparison of Character Network Graph Features

Figure 7 Number of nodes and edges divided by genre.

Figure 8 Degree $(K)$, Coefficient of variation of degree $(K C V)$ and protagonist normalised degree $(K P)$ divided by genre.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 環境依存情報を利用しない大規模言語モデルによる コンピュータータスク自動化手法

笹川慶人 河原大輔
早稲田大学理工学術院
\{kate@fuji., dkw@\}waseda.jp

## 概要

大規模言語モデル (LLM)を用いたエージェントによってさまざまなコンピュータータスクを自律的に実行する手法が提案されている。先行研究で提案された手法の多くは HTML のコードなど環境に依存した情報を用いており、それらを用いることのできない環境では使用できず、汎用性に欠ける。本研究では環境に依存した情報を用いずにタスクを実行する手法を提案する。具体的には、コンピューター 画面のスクリーンショットを画面上のテキストとユーザーインターフェースの要素の位置情報に変換し、その情報からマウスやキーボード操作のコマンドを LLM に生成させる。結果としてコンピュー ター画面の画像の入力のみでタスクを実行できるようになり、また、高いタスク成功率を示した。

## 1 はじめに

大規模言語モデル (LLM) はさまざまな分野で応用されており、自律的にコンピュータータスクを実行するエージェントとしても利用される。このようなエージェントは人間から与えられるタスクと現在のコンピューターの状態に基づいて、次に実行するベきアクションを予測し、タスクを完了する。既存の研究の多くは HTML のコードなど環境に依存した情報を LLM に入力することで現在のコンピュー ターの状態を認識させ、次に実行するべきアクションを予測させている $[1,2,3]$ 。そのような手法は特定の環境でしか適用することができない。例えば、 HTML のコードは web ブラウザー以外のソフトウェアでは利用できないことが多い。

この問題に対処するため、本研究では特定の環境でしか利用することのできない情報を使わずに、コンピューター画面のスクリーンショットの内容を描写したテキストのみを使用してコンピュータータス

 \\

図 1 MiniWoB++のタスク例. 左:click-button, 右:click-tab-2.

クを実行する手法を提案する。スクリーンショットの処理には光学的文字認識 (OCR) モデルや物体検出モデルを使い、スクリーンショット上のテキストやユーザーインターフェース (UI) の要素の名称とその位置情報を示したバウンディングボックスに変換する。出力はマウスやキーボード操作のコマンドとなる。モデルの評価にはさまざまなコンピューター タスクからなる MiniWoB++ベンチマーク [4] を用いる。コンピューター画面のスクリーンショットのみを利用しているため他の環境でも使える手法であり、結果としてタスク成功率 9 割を達成した。

## 2 関連研究

## 2.1 コンピュータータスクの自動化

web ブラウザーを使った日常的なタスクを集めたプラットフォームである World of Bits (WoB) [5] の一つに MiniWoB ベンチマークがある。このベンチマークにさらに難しいタスクや全く新しいタスクなどが導入された MiniWoB++ベンチマークがあり、 コンピュータータスクのベンチマークとしてよく用いられている。MiniWoB++ベンチマークには、ボタンをクリックするタスクやテキストを入力するタスクなどの単純なタスクから複数回の画面の遷移を必
要とするような難しいタスクまでさまざまなタスクがある。それぞれのタスクにおいて seed 值を設定することでランダムにタスク環境が生成される。

このようなコンピュータータスクを自動で実行するモデルを構築する手法として強化学習を用いる手法、LLM を fine-tuning する手法、LLM の zero-shot や few-shot による手法がある。強化学習を用いる手法として CC-Net [6] や Pix2Act [7] があるが、モデルを学習するのに人間によるデモンストレーションデータが大量に必要である。LLMを fine-tuningする手法として WebGUM [8] や WebN-T5 [9] があるが、 モデルを学習するコストがかかる。

これらに対して、LLM の zero-shot、few-shotによる手法は必要なデモンストレーションデータの数が少なく、パラメータを更新する必要がないという利点がある。LLM の zero-shot による手法 [10] は人間によるデモンストレーションデータは全く使わないが、難しいタスクにおいて few-shot の手法より成功率が低い。LLM の few-shot による手法である RCI [1] では LLM に実行する予定のアクションのプランを再帰的に修正させることで精度を向上させている。AdaPlanner [2] は環境からのフィードバックによってプランを改善することにより精度を向上させている。Synapse [3] ではタスクの類似度によって LLM に対する入出力例 (exemplar) を選んで入力して精度を向上させている。これらの few-shotによる手法はタスク成功率は高いが、HTML のコードを用いており、それが利用できる環境でのタスクにしか適用することができない。我々の提案手法は HTML のコードを用いていないため、さまざまな環境におけるタスクに適用することができる。

## 2.2 大規模言語モデルのマルチモーダル化

HTML のコードを使わずに画像を使用してコンピュータータスクを解くために、LLM に画像を認識させる必要がある。その手法として LLM とコンピュータービジョンモデル (CV モデル) を直接結合する手法がある。この手法では画像とテキストのアライメントをとる必要があり、BLIP-2 [11] では LLM と CLIP [12] の ViT [13] を Q-Former というモジュールで結合し、画像とキャプションペアのデー タで学習してアライメントをとっている。BLIP-2 をマルチモーダル instruction tuning したモデルとして InstructBLIP [14] があり、性能が向上している。 LLaVA [15] では LLM と CLIP の ViTを線形層で結合し、マルチモーダル instruction tuning することで画像とテキストのアライメントをとっている。

また、CV モデルの出力をテキストとして直接 LLM に入力する手法がある。MM-REACT [16] では ChatGPT $^{1)}$ を画像のキャプションモデルや OCR モデル等の CV モデルと組み合わせて画像に関する質問に答えられるようにした。また、LLaVA では画像のキャプションとバウンディングボックスを GPT-4 に入力することでマルチモーダル instruction tuning 用のデータを生成し、学習に利用している。

## 3 提案手法

## 3.1 概要

本研究では強力な LLM の推論能力を利用するために、コンピューター画面のスクリーンショットをテキストで表現して LLM に入力するという手法を採用する。図 2 に提案手法の概要を示す。まず、コンピューター画面のスクリーンショットを撮って、用意した $\mathrm{CV}$ モデルに入力し、 $\mathrm{CV}$ モデルの出力、 タスクごとに作成した exemplar、タスクの指示、今までの実行したアクション履歴を LLM に入力し、次のアクションを出力させる。この処理をタスクが完了するまで繰り返す。なお、画像を入力としてアクションを決定するモデルとしては 2.2 節で述べたマルチモーダルモデルを使う手法も考えられるが、 zero-shot、few-shot で利用する場合はタスク成功率が低く、また、fine-tuningをする場合は学習データの用意やパラメータの更新などのコストがかかってしまうため採用しない。

## 3.2 テキストによる画像内容の描写方法

LLM にコンピューター画面のスクリーンショットを認識させるために、OCR と物体検出によってスクリーンショット上のテキストとUI の要素を検出し、その名称と位置を表すバウンディングボックスを入力する。OCR モデルは EasyOCR ライブラリ2)を利用して実装する。物体検出モデルとしては YOLOv8を学習し利用する。YOLOv8を学習するために、MiniWoB++ベンチマークのタスクのスクリー ンショットにおいて、UI の要素の位置をアノテー ションしたデータセットを構築する。まず、それぞれのタスクにおいて 10 種類の seed 值を設定して人

図 2 提案手法の概要

手でタスクを解き、画面の遷移が起こるごとにスクリーンショットを撮ることによって画像を収集する。ここで、テキストとしてタスクの指示が与えられるため、スクリーンショットのタスクの指示がかかれている黄色の部分はカットする。画像の解像度はデフォルトの 2 倍の解像度である $320 \times 320$ とした。収集した画像に対してUI の要素の位置とクラスをアノテーションした。クラスラベルをつけにくいUI の要素に関しては “other object” というラベルをつけ、後処理でキャプションを生成する。構築したデータセットのクラス数は 40 、データ数は約 $2.8 \mathrm{k}$ となった。このデータセットを用いて Ultralytics ライブラリ3)を利用して YOLOv8を学習した。

LLM のコンピューター画面の認識精度を上げるため、OCR と物体検出の結果に対して後処理を行う。まず、テキストを含む UI の要素は OCR の結果と組み合わせる。text button などの中に語句を含むオブジェクトは、'Submit'というテキストがオブジェクト内に検出された場合、'Submit' button などのように統合する。text area などの中に文や文章を含むオブジェクトは、中のテキストがわかるように、 text area containing the text 'text'のようにする。 また、"other object”というラベルがつけられたオブジェクトは InstructBLIP によってキャプションを生成してラベルとして利用する。

## 3.3 LLM ヘのプロンプト

タスク成功率を上げるため、LLMへのプロンプトとして ReAct [17] プロンプトを利用する。ReAct プロンプトは思考の出力、アクション生成および実行結果の観察をテキストで組み合わせ、タスク成功率を上げるというものである。具体的には Auto-GPT 4 ) のプロンプトに変更を加えたものを利用する。LLM
に対する指示を記述するシステムプロンプトで、 LLM の役割や制約、実行可能なアクション、バウンディングボックスの表現方法、出力形式、その他補助的な情報等を指示する。ユーザープロンプトはタスクの指示、過去に実行したアクション履歴、CV モデルの出力による現在のコンピューター画面情報とする。ここで、 $\mathrm{CV}$ モデルの出力のバウンディングボックスは $\mathrm{y}$ 座標によってソートする。出力は思考過程と次に実行するアクション列となる。具体的な入出力例を付録 Cに示す。

## 4 実験

## 4.1 実験設定

実験環境として、スクリーンショットを撮って座標を指定したアクションを実行することのできる MiniWob++ベンチマークを使用する。このベンチマークのタスクのうち 74 タスクにおいて評価を行う。実験に使用しないタスクは付録 A に示す。それぞれのタスクごとに exemplarを作成し、one-shot で入力する。LLM は OpenAI が API として提供している gpt-3.5-turbo、gpt-3.5-turbo-16k、gpt-4 を利用する5。gpt-3.5-turbo では、タスク完了までの画面の遷移回数が最小となるようにアクションを実行しても context size におさまらないタスクでは評価を行わない。評価指標としては、タスク環境から返される報酬が正の値であった割合で定義される成功率を用いる。ただし、次のアクションが決定されない、モデルの context sizeを超える、設定された max steps を超えるなどという事象が起きた場合は失敗として扱う。タスクごとに、gpt-3.5-turbo、gpt-3.5-turbo-16k では seed 値を 0-49として 50 回実験し、gpt-4 では seed 値を 0-19として 20 回実験する。その他の詳細設定は付録 B に示す。
5) https://platform.openai.com/docs/api-reference
3) https://github.com/ultralytics/ultralytics

4) https://github.com/Significant-Gravitas/AutoGPT
表 1 全体の成功率とタスク数. 本手法以外の結果は $[1,2,3]$ より引用.

表 2100 個の失敗したタスクの失敗原因

## 4.2 実験結果

本手法と先行研究の few-shot の手法とを比較した結果を表 1 に示す。表において、成功率の平均は夕スクごとの成功率の平均值であり、タスク数はそれぞれの手法において評価が行われたタスクの数である。画像を大力としていること、context size の大きいモデルを使用していること、先行研究の手法ではサポートされていなかったドラッグなどの操作をアクションに追加したことなどの要因から実行できるタスク数が増えた。ただし、先行研究の手法では HTML のコードを利用しているため、評価する意味のないタスクにおいては評価を行っていないということが考えられる。また、本手法の gpt-3.5-turbo-16k の結果と gpt-4 の結果を比較すると、推論能力の高い gpt-4 の方がタスク成功率は高くなっていた。さらに、gpt-3.5-turbo と gpt-3.5-turbo-16k の結果を比較すると、gpt-3.5-turbo の方が解けるタスク数が減っているため、本手法はより大きな context size が必要であることがわかった。

## 4.3 結果の分析

gpt-3.5-turbo-16k と gpt-4 それぞれについて、失敗したタスクから 100 個ランダムにサンプリングして、その失敗原因を分析した。その結果を表 2 に示す。gpt-3.5-turbo-16k と gpt-4 を比較すると gpt-4 ではLLM の推論による失敗が少なかった。CV モデルの推論の原因例として OCR モデルや物体検出モデルの推論が間違っていた場合や、キャプションモ表 3

3 タスクを解くのに必要なステップ数ごとの成功率

デルがわかりやすいキャプションをつけられなかった場合などが挙げられる。LLM の推論が原因で失敗したタスク例として、スクロールして目的のオブジェクトを探すタスクやオブジェクトの数を数えるタスク、オブジェクトの位置関係が重要で、バウンディングボックスによって正確に位置を認識しなければならないタスクなどがあった。その他の原因としてはオブジェクトをドラッグで入れ替えるタスクは判定が厳しく、失敗することが多かった。

表 3 にタスクを解くのに必要なステップ数ごとのタスク成功率を示す。1 ステップタスクは最初のスクリーンショットの情報のみからタスクを完了するためのアクションを全て生成できるタスクであり、 $\mathrm{n}$ ステップタスクはアクションを実行した後の画面の変化を観測し、再びアクションを生成する必要があるタスクである。 $\mathrm{n}$ ステップタスクの成功したタスクにおける平均ステップ数は gpt-3.5-turbo-16k では 3.024、gpt-4 では 3.089 であった。また、gpt-4では $\mathrm{n}$ ステップタスクでもあまり成功率が下がっておらず、複数回の画面の遷移を経るタスクでも正しく推論ができていた。

gpt-3.5-turbo、gpt-3.5-turbo-16k 特有の失敗原因として、exemplar に影響されて失敗するというものがあった。例えば、図 1 の click-tab-2 というタスクにおいて、exemplar で “Tab \#2” に目的のリンクがあった場合、“Tab \#2”に目的のリンクがなかったとしても、“Tab \#2” の別のリンクをクリックしてしまうという現象が起こった。gpt-4 では指定されたオブジェクト名と全く同じオブジェクト名でないとクリックしないという事象が見られた。

## 5 おわりに

本論文では画像のみを用いて座標を指定したマウスやキーボードのアクションを生成する手法を提案した。この手法は HTML のコードを利用せずタスクを解くことができるため、物体検出モデルを構築すれば、web ブラウザー以外のソフトウェアでも使える環境に依存しない手法となっている。今後はマルチモーダルモデルと本手法を組み合わせたい。また、より現実的な環境で実験を行いたい。

## 謝辞

本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Geunwoo Kim, Pierre Baldi, and Stephen Marcus McAleer. Language models can solve computer tasks. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[2] Haotian Sun, Yuchen Zhuang, Lingkai Kong, Bo Dai, and Chao Zhang. Adaplanner: Adaptive planning from feedback with language models. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[3] Longtao Zheng, Rundong Wang, Xinrun Wang, and Bo An. Synapse: Trajectory-as-exemplar prompting with memory for computer control. In NeurIPS 2023 Foundation Models for Decision Making Workshop, 2023.

[4] Evan Zheran Liu, Kelvin Guu, Panupong Pasupat, and Percy Liang. Reinforcement learning on web interfaces using workflow-guided exploration. In International Conference on Learning Representations, 2018.

[5] Tianlin Shi, Andrej Karpathy, Linxi Fan, Jonathan Hernandez, and Percy Liang. World of bits: An open-domain platform for web-based agents. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 3135-3144. PMLR, 06-11 Aug 2017.

[6] Peter C Humphreys, David Raposo, Tobias Pohlen, Gregory Thornton, Rachita Chhaparia, Alistair Muldal, Josh Abramson, Petko Georgiev, Adam Santoro, and Timothy Lillicrap. A data-driven approach for learning to control computers. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 9466-9482. PMLR, 17-23 Jul 2022.

[7] Peter Shaw, Mandar Joshi, James Cohan, Jonathan Berant, Panupong Pasupat, Hexiang Hu, Urvashi Khandelwal, Kenton Lee, and Kristina Toutanova. From pixels to UI actions: Learning to follow instructions via graphical user interfaces. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[8] Hiroki Furuta, Kuang-Huei Lee, Ofir Nachum, Yutaka Matsuo, Aleksandra Faust, Shixiang Shane Gu, and Izzeddin Gur. Multimodal web navigation with instruction-finetuned foundation models. arXiv, 2023. abs/2305.11854.

[9] Izzeddin Gur, Ofir Nachum, Yingjie Miao, Mustafa Safdari, Austin Huang, Aakanksha Chowdhery, Sharan Narang, Noah Fiedel, and Aleksandra Faust. Understanding HTML with large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguis- tics: EMNLP 2023, pp. 2803-2821, Singapore, December 2023. Association for Computational Linguistics.

[10] Tao Li, Gang Li, Zhiwei Deng, Bryan Wang, and Yang Li. A zero-shot language agent for computer control with structured reflection. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 1126111274, Singapore, December 2023. Association for Computational Linguistics.

[11] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. BLIP-2: bootstrapping language-image pre-training with frozen image encoders and large language models. In ICML, 2023 .

[12] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[13] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2021.

[14] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. InstructBLIP: Towards general-purpose vision-language models with instruction tuning. In Thirtyseventh Conference on Neural Information Processing Systems, 2023.

[15] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[16] Zhengyuan Yang, Linjie Li, Jianfeng Wang, Kevin Lin, Ehsan Azarnasab, Faisal Ahmed, Zicheng Liu, Ce Liu, Michael Zeng, and Lijuan Wang. MM-REACT: Prompting chatgpt for multimodal reasoning and action. arXiv, 2023. abs/2303.11381.

[17] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct: Synergizing reasoning and acting in language models. In International Conference on Learning Representations (ICLR), 2023.

## A 実験の対象から除外したタスク

先行研究で除外していた debug tasks (choosedate-easy、choose-date-medium、click-tab-2-easy、 click-tab-2-medium、click-test-transfer、email-inboxdelete、email-inbox-forward、email-inbox-important 、 email-inbox-noscroll、email-inbox-reply、email-inboxstar-reply)、即時的反応が必要なタスク (chase-circle、 moving-items、simon-says)、selenium の仕様上できない動作が必要なタスク (choose-list、click-scroll-list、 highlight-text、 highlight-text-2、 text-editor)、テキストによる指示が不明確なタスク (click-menu-2、 use-colorwheel-2)、バウンディングボックスの情報からアクションを生成するという実験設定に沿わないタスク (grid-coordinate、guess-number、 use-slider、use-slider-2、use-spinner) や exemplar を作成できなかったタスク（book-flight、drag-cube、 drag-sort-numbers、number-checkboxes) も除外する。

## B 実験の詳細設定

本実験で実行可能なコマンドは、マウスカー ソルを動かすMOVE_COORDS、指定された座標をクリックまたはダブルクリックする CLICK_COORDS、 DBLCLICK_COORDS、ドラッグの操作を実行する MOUSEDOWN_COORDS、MOUSEUP_COORDS、スクロールを実行するSCROLL_UP_COORDS、SCROLL_DOWN_COORDS、指定されたキーを押すPRESS_KEY、指定されたテキストをタイプするTYPE_TEXTがある。 PRESS_KEY で使用できるキーボードのキー は"<Enter>"、"<Backspace>"、"C-a"、"C-c"、"C-x"、 "C-v"のいずれかとした。OpenAI の API としては、gpt-3.5-turbo-0613、gpt-3.5-turbo-16k-0613、 gpt-4-0613を使用した。LLM の最大の completion の回数である max steps は 10 回に設定し、出力の max tokens は drag-shapes、choose-date は 1024、clickcheckboxes-large、click-checkboxes-transfer は 1500、その他のタスクは 512 とした。また、completion のパラメーターは temperature を 0、その他の max tokens 以外のパラメーターはデフォルトの値を用いた。さらに、モデルの推論に時間がかかるため、タスクの制限時間はデフォルトの 100 倍の時間に設定した。

## C 入出力例

図 1 における click-button タスクの入出力例を表 4、表 5 に示す。

Task:

Click on the "Ok" button.

Observation 1:

OCR :

'commodo ullamcorper turpis': $[3,88$, 260, 116]

Object Detector:

textbox: $[4,4,283,47]$

'Ok' button: $[4,46,69,90]$

'next' button: $[4,113,86,156]$

'submit' button: $[3,155,114,198]$

textbox: $[3,199,256,242]$

表 5 click-button タスクにおける出力例


# Enhancing Economic Time Series Prediction with News Text Data and Numerical Data: A Transformer-Based Approach

Shangyang Mou ${ }^{1} \quad$ Wenting Zhang $^{1} \quad$ Takuji Kinkyo $^{1} \quad$ Shigeyuki Hamori $^{1}$
Jinhui Chen ${ }^{2}$ Tetsuya Takiguchi ${ }^{1} \quad$ Yasuo Ariki $^{1}$
${ }^{1}$ Kobe University ${ }^{2}$ Wakayama University
205x610x@stu.kobe-u.ac.jp
}

\begin{abstract}
Financial time series such as stock prices can be hard to predict as it is difficult to model short-term and long-term temporal dependencies between data points. In addition, they are influenced by underlying fundamentals that are conveyed through various news feeds. Existing methods for predicting financial time series typically focus on either numerical data or textual information. When considering textual data, the prevailing approach is to utilize sentiment information extracted from news sources as features. This paper introduces a novel methodology that directly integrates financial news content with corresponding time series data, to enhance the accuracy of financial time series forecasting.
\end{abstract
## 1 Introduction

Financial time series forecasting is a challenging signal processing problem, largely because the underlying financial system that generates such data is enormously complex, resulting in data that can exhibit both non-linear and non-stationary characteristics [1]. However, financial data prediction plays a pivotal role in various aspects of the financial domain, from individual investment decisions to macroeconomic policy making [2].

With the growing availability of big data, there has been an increase in research into financial date analysis. For example, from automated trading systems $[3,4]$ to stock price prediction $[5,6]$, the availability and analysis of large financial datasets have enhanced the accuracy and speed of market predictions and investment strategies, significantly impacting the field of financial technology.

In financial time series forecasting, unlike data from weather, traffic, or electricity $[7,8]$, financial time series are influenced by a variety of complex factors. These include historical data as well as macroeconomic policies, global events, and related economic indices [9, 10]. Existing approaches in financial series prediction have utilized either textual or numerical data, with some models considering both types concurrently [11,12]. The most methods employing financial text have predominantly relied on sentiment analysis, using sentiment scores as features to assist model predictions $[13,14]$. These models typically focus on predicting the direction in which the data will fall or rise, rather than directly predicting the data series. However, inaccuracies in sentiment analysis, especially mispredicted sentiment labels, can notably affect the quality and accuracy of financial predictions, leading to significant deviations in forecasted outcomes.

Recently, transformer models have become increasingly popular for time series forecasting tasks, showing impressive outcomes [8, 7, 15, 16, 17]. However, [18] claims that transformers may not be as effective as anticipated, with results showing that linear models outperform the more complex transformer-based models. Despite this, considering the transformers' robust language processing capabilities [19], we explore whether it can effectively handle textual features combined with numerical data for financial data forecasting.

## 2 Proposed Method

This paper proposes a methodology that directly uses news text as a feature combined with numerical data for forecasting. The approach, implemented on transformerbased models, has yielded promising results. The effectiveness of this method illustrates the potential of integrating complex language models with traditional numerical time series analysis, offering a more comprehensive understand-

## Figure 1 FRAMEWORK ARCHITECTURE.

ing of the financial data. For the time series forecasting tasks, we consider the following problem: given a collection of multivariate time series samples with look-back window $L:\left(x_{1}, \ldots, x_{L}\right)$ where each $x_{t}$ at time step $t$ is a vector of dimension $\mathrm{M}$, we would like to forecast $T$ future values $\left(x_{L+1}, \ldots, x_{L+T}\right)$.

Forward Process. We define the $i$-th univariate series of length $L$, starting at time index 1 , as $x_{1: L}^{(i)}=\left(x_{1}^{(i)}, \ldots, x_{L}^{(i)}\right)$, where $i=1, \ldots, M$. The input numerical data $\left(x_{1}, \ldots, x_{L}\right)$ is divided into $M$ univariate series $x^{(i)} \in \mathbb{R}^{1 \times L}$, and each is processed independently through the transformer backbone according to PatchTST [16] model's channelindependence setting. Then the corresponding news text data denoted as $a_{t}=\left(w_{1}, \ldots, w_{e}\right)_{t} w_{t}$ is concatenated to each univariate time series. Since we only use the latest day's news text embedding $w_{L}$, for each time series $\left(x_{1}, \ldots, x_{L}\right)$, the final input to the transformer becomes a concatenation of the numerical series and the textual embedding: $z^{(i)}=\left(x_{1: L}^{(i)}, a_{L}\right)$, with our objective being to forecast $T$ future values $\left(x_{L+1}, \ldots, x_{L+T}\right)$.

## 2.1 Model Architecture

In the study by Nie et al. [16], a novel transformer architecture, named PatchTST, was introduced, innovatively incorporating two pivotal concepts - channel independence and patching - specifically designed for enhancing time series forecasting.

Channel independence. Channel independence is a property of the PatchTST model that allows different channels of the input to be processed independently. In traditional transformers, the same set of attention weights is used for all channels, which limits the model's ability to capture fine-grained information in each channel. In contrast, the PatchTST model applies attention weights separately to each channel, allowing it to better capture the unique features and patterns in each channel.

Patching. Patching is a technique to alleviate the computational burden of self-attention. Rather than attending to every position in the sequence, the input sequence is partitioned into smaller sub-sequences known as patches. Self-attention is then computed between the patches. This approach enables the model to handle longer sequences while avoiding memory constraints and facilitating quicker inference. Additionally, patching enables the capture of localized semantic information that can not be available when using individual point-wise input tokens.

By dividing the input into patches and processing each channel independently, the model can efficiently capture complex patterns and relationships across the entire sequence. Inspired by this, we extend the input to combine with news text, as shown in Figure 1, for each channel we concatenate the correspond news text embedding to the time series.

Transformer Encoder. PatchTST uses the vanilla transformer encoder that maps the observed signals to the latent representations. Initially, the numerical data and textual feature embeddings are concatenated, forming an enriched input sequence. This combined sequence is then mapped to the transformer's latent space of dimension $D$ via a trainable linear projection $W_{p} \in \mathbb{R}^{D \times P}$, where $P$ is the dimension after concatenation. Additionally, a learnable additive position encoding $W_{\text {pos }} \in \mathbb{R}^{D \times N}$ is applied to maintain the temporal order of the concatenated patches: $z_{d}^{(i)}=$ $W_{p} z_{p}^{(i)}+W_{p o s}$, where $z_{d}^{(i)} \in \mathbb{R}^{D \times N}$ denote the combined input fed into the transformer encoder. In the multi-head attention mechanism, each head $h=1, \ldots, H$ transforms the input into query matrices $Q_{h}^{(i)}=\left(z_{d}^{(i)}\right)^{T} W_{h}^{Q}$, key matrices $K_{h}^{(i)}=\left(z_{d}^{(i)}\right)^{T} W_{h}^{K}$, and value matrices $V_{h}^{(i)}=\left(z_{d}^{(i)}\right)^{T} W_{h}^{V}$, where $W_{h}^{Q}, W_{h}^{K} \in \mathbb{R}^{D \times d_{k}}$ and $W_{h}^{V} \in \mathbb{R}^{D \times D}$. The scaled dot-product attention mechanism then generates the attention output $O_{h}^{(i)} \in \mathbb{R}^{D \times N}$ as:

$
\begin{aligned}
\left(O_{h}^{(i)}\right)^{T} & =\operatorname{Attention}\left(Q_{h}^{(i)}, K_{h}^{(i)}, V_{h}^{(i)}\right) \\
& =\operatorname{Softmax}\left(\frac{Q_{h}^{(i)}\left(K_{h}^{(i)}\right)^{T}}{\sqrt{d_{k}}}\right) V_{h}^{(i)}
\end{aligned}
$

The multi-head attention block incorporates BatchNorm layers and a feed-forward network with residual connections. Finally, a flatten layer followed by a linear head
is used after the encoder to obtain the prediction result $\hat{x}_{L+1: L+T}^{(i)}=\left(\hat{x}_{L+1}^{(i)}, \ldots, \hat{x}_{L+T}^{(i)}\right) \in \mathbb{R}^{1 \times T}$.

FinBert. To effectively process news text, we employ the FinBERT model [20], a domain-specific pre-trained BERT architecture specialized for financial contexts. FinBERT is adept at extracting features from financial texts, enabling it to capture the complex sentiment and thematic content inherent in financial news. In our approach, FinBERT is utilized to generate feature embeddings which serve as a rich, contextual representation of the news data.

The integration of textual features and quantitative time series data significantly enhances the model's ability to forecast time series with greater accuracy, leveraging the rich contextual information present in the news text to provide a more comprehensive understanding of the factors influencing the time series trends.

## 2.2 Model Input

For our study, we constructed a dataset focused on the U.S. economy by utilizing a collection of news headlines scraped from the official websites of CNBC, the Guardian, and Reuters ${ }^{1)}$. These headlines provided an overview of the U.S. economy and stock market trends over the past one to two years. To complement this textual data, we aligned it with corresponding period economic time series data, including indices such as the SP 500, MSCI US, NYSE American Composite, Nasdaq Composite, Dow Jones Industrial Average, and the US Dollar Index.

Given the significantly higher dimensionality of textual data compared to numerical data, and the fact that news is not available every day, we only select latest day's news. On days without news, we inserted a 'no news' marker. In our transformer-based approach, we added a masking layer to handle these 'no news' instances by masking them, so the model do not pay attention to them. To align the news data with the corresponding index in dimension and retain as much textual information as possible, we concatenate the latest day's news with a historical window of time series data, as the latest updates tend to have the greatest impact. For instance, to forecast the time series for the upcoming 12 days, we utilise the previous 96-day time series and the latest day's news, reflecting the immediacy and relevance of the latest news in influencing economic trends.

Considering that the U.S. stock market typically has 256 trading days per year, coupled with the scarcity of financial news datasets, we constructed a dataset containing 611 samples. The dataset consists of economic data for the period 2018-03-01 to 2020-07-02 and corresponding news texts. The choice of this time period and the resulting size of the dataset is dictated by the amount of relevant news content available for analysis. The dataset thus provides a comprehensive view of the economic landscape over a given period, combining quantitative market data with qualitative news narratives to provide an integrated approach to financial analysis.

## 3 Experiments

In this section we describe the details of the training process and the experiment setting.

Loss Function. Consistent with PatchTST [16] we use the Mean Squared Error (MSE) loss to measure the discrepancy between the prediction and the ground truth. The loss in each channel is gathered and averaged over $M$ time series to get the overall objective loss:

$
L=E_{x} \frac{1}{M} \sum_{i=1}^{M}\left.\|\hat{x}_{L+1: L+T}^{(i)}-x_{L+1: L+T}^{(i)}\right.\|_{2}^{2}
$

Model Parameters. In Table 1, we compare our dataset US Economy with other popular datasets dedicated to multivariate time series forecasting tasks. Notably, our dataset appears to be relatively small, primarily due to the scarcity of news text data. This peculiarity prompted specific adjustments in our model's parameters. Original PatchTST model configuration consists of 3 encoder layers with the head number $H=16$ and the latent space dimension $D=128$. However, in our adapted model that incorporates news text data, we found it necessary to modify the architecture to better capture the complexity introduced by the additional textual information. To this end, we increased the number of encoder layers to 12 , providing a deeper and more nuanced processing capability for the combined numerical and textual data. Additionally, with our dataset variables, we optimized the head number to 4 , ensuring efficient processing while capturing the intricate patterns in the combined numerical and textual inputs.

Results Analysis. Based on our experiments, integrating news text as a feature into the corresponding economic data time series has demonstrated significant im-

Table 1 Dataset Comparison.

provements in multivariate time series forecasting. Specifically, as shown in Table 2 when only economic data was used, $\mathrm{MSE}=0.5779$. However, upon incorporating the corresponding news text as an additional feature, there was a notable reduction in the MSE to 0.4773 . This substantial decrease underscores the efficacy of including news text in enhancing the accuracy of our forecasting model. The results clearly indicate that the contextual insights provided by the news text play a crucial role in predicting economic trends more accurately, thereby validating our approach of combining qualitative textual data with quantitative time series data.

Table 2 Multivariate time series forecasting results with look-back window $\mathrm{L}$ and number of input tokens $\mathrm{N}$ are predicted.

In our comparative analysis of model performance with and without news content shown in Figure 2, we observed a marked contrast in the optimization trajectories. Using solely economic data, the model rapidly converged to its minimum MSE of 0.5779 within just 7 epochs, after which it began to overfit, as indicated by the subsequent increase in validation loss. This swift convergence suggests that the model finds it relatively straightforward to learn from numerical data, which, although indicative of economic trends, lacks the complexity inherent in textual information.

Conversely, when we incorporated news text into the forecasting model, the optimal MSE of 0.4773 was achieved only after a considerably longer training period of 70 epochs. This prolonged learning curve highlights the complexity that textual data introduces to the model, necessitating a more nuanced and detailed learning process. Notably, the model trained with text data did not exhibit signs of overfitting within the observed epochs, suggesting that it was able to continue learning and integrating insights from the textual content effectively.

The extended training required for the text-enhanced model is indicative of its process to assimilate and interpret the multifaceted influences captured in textual data, which are often non-linear and abstract compared to numerical

Figure 2 Comparison of MSE Loss with \& without News Content.

data. The improved MSE with textual data integration demonstrates the model's enhanced capability to discern and synthesize the latent factors affecting economic tendencies, resulting in wiser and more precise forecasts.

These observations underscore the comprehensive nature of forecasts that incorporate qualitative insights from text data, affirming the value of combining diverse data types for a deeper understanding of economic movements. This approach aligns with the intricate realities of financial markets, where qualitative factors often steer the quantitative indicators, suggesting a promising direction for advancing financial time series forecasting methodologies.

## 4 Conclusions

In conclusion, our method integrates economic news text with economic data for multivariate time series forecasting. This approach adds influential news content to the prediction process, enhancing traditional numerical data analysis. Our experiments demonstrated that features extracted from news text can improve economic sequence forecasting.

However, a key limitation is the limited availability of financial news that high-related to specific economic indicators. The sheer volume of market news makes it challenging to identify news that directly affects certain economic metrics. Moreover, aligning them temporally with economic data is a non-trivial task. Therefore, our validation is conducted on a relatively small dataset.

Moving forward, we plan to extend the scope of our dataset to further validate our findings. A larger dataset will allow a more thorough evaluation of our model and the broader impact of text-enhanced time series forecasting. This direction of research holds the potential to significantly improve the precision of economic predictions by incorporating a richer spectrum of qualitative information.

## References

[1] Adam Atkins, Mahesan Niranjan, and Enrico Gerding. Financial news predicts stock market volatility better than close price. The Journal of Finance and Data Science, Vol. 4, No. 2, pp. 120-137, 2018.

[2] Daniel Broby. The use of predictive analytics in finance. The Journal of Finance and Data Science, Vol. 8, pp. 145-161, 2022.

[3] Yang Liu, Qi Liu, Hongke Zhao, Zhen Pan, and Chuanren Liu. Adaptive quantitative trading: An imitative deep reinforcement learning approach. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 2128-2135, 2020 .

[4] Boming Huang, Yuxiang Huan, Li Da Xu, Lirong Zheng, and Zhuo Zou. Automated trading systems statistical and machine learning methods and hardware implementation: a survey. Enterprise Information Systems, Vol. 13, No. 1, pp. 132-144, 2019.

[5] Sreelekshmy Selvin, R Vinayakumar, EA Gopalakrishnan, Vijay Krishna Menon, and KP Soman. Stock price prediction using lstm, rnn and cnn-sliding window model. In 2017 international conference on advances in computing, communications and informatics (icacci), pp. 1643-1647. IEEE, 2017.

[6] Mehar Vijh, Deeksha Chandola, Vinay Anand Tikkiwal, and Arun Kumar. Stock closing price prediction using machine learning techniques. Procedia computer science, Vol. 167, pp. 599-606, 2020.

[7] Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, and Wancai Zhang. Informer: Beyond efficient transformer for long sequence time-series forecasting. In Proceedings of the AAAI conference on artificial intelligence, Vol. 35, pp. 11106-11115, 2021.

[8] Haixu Wu, Jiehui Xu, Jianmin Wang, and Mingsheng Long. Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting. Advances in Neural Information Processing Systems, Vol. 34, pp. 22419-22430, 2021.

[9] Rakesh Kumar Verma and Rohit Bansal. Impact of macroeconomic variables on the performance of stock exchange: a systematic review. International Journal of Emerging Markets, Vol. 16, No. 7, pp. 1291-1329, 2021.

[10] Torben G Anderson, Tim Bollerslev, Francis X Diebold, and Clara Vega. Micro effects of macro announcements: Real-time price discovery in foreign exchange. American economic review, Vol. 93, No. 1, pp. 38-62, 2003.

[11] Mark Cecchini, Haldun Aytug, Gary J Koehler, and Praveen Pathak. Making words work: Using financial text as a predictor of financial events. Decision support systems, Vol. 50, No. 1, pp. 164-175, 2010.

[12] Renáta Myšková and Petr Hájek. Mining risk-related sentiment in corporate annual reports and its effect on financial performance. Technological and Economic Development of Economy, Vol. 26, No. 6, pp. 1422-1443, 2020.

[13] Ryo Akita, Akira Yoshihara, Takashi Matsubara, and Kuniaki Uehara. Deep learning for stock prediction using numerical and textual information. In 2016 IEEE/ACIS 15th International Conference on Computer and Information Science (ICIS), pp. 1-6. IEEE, 2016.

[14] Bledar Fazlija and Pedro Harder. Using financial news sentiment for stock price direction prediction. Mathematics, Vol. 10, No. 13, p. 2156, 2022

[15] Tian Zhou, Ziqing Ma, Qingsong Wen, Xue Wang, Liang Sun, and Rong Jin. Fedformer: Frequency enhanced decomposed transformer for long-term series forecasting. In International Conference on Machine Learning, pp. 27268-27286. PMLR, 2022.

[16] Yuqi Nie, Nam H Nguyen, Phanwadee Sinthong, and Jayant Kalagnanam. A time series is worth 64 words: Long-term forecasting with transformers. In The Eleventh International Conference on Learning Representations, 2022.

[17] Yong Liu, Tengge Hu, Haoran Zhang, Haixu Wu, Shiyu Wang, Lintao Ma, and Mingsheng Long. itransformer: Inverted transformers are effective for time series forecasting. arXiv preprint arXiv:2310.06625, 2023.

[18] Ailing Zeng, Muxi Chen, Lei Zhang, and Qiang Xu. Are transformers effective for time series forecasting? In Proceedings of the AAAI conference on artificial intelligence, Vol. 37, pp. 11121-11128, 2023.

[19] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[20] Zhuang Liu, Degen Huang, Kaiyu Huang, Zhuang Li, and Jun Zhao. Finbert: A pre-trained financial language representation model for financial text mining. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI'20, 2021.


# Multimodal Large Language Model Meets New Knowledge: A Preliminary Study

Junwen Mo Jiaxuan Li Duc Minh Vo Hideki Nakayama
The University of Tokyo
\{mo, li,vmduc\}@nlab.ci.i.u-tokyo.ac.jp nakayama@ci.i.u-tokyo.ac.jp
}

\begin{abstract}
Multimodal Large Language Models (MLLMs) have achieved impressive performance on established image understanding benchmarks. However, these benchmarks typically include images of objects that are already known, potentially not fully testing MLLMs' ability to understand unfamiliar objects. To address this, we assess the performance of MLLMs on images featuring synthesized novel objects. We use ChatGPT to create descriptions of novel objects by merging characteristics of existing objects and then employ a text-to-image generation model to generate synthesized objects. Using this dataset, we evaluate MLLMs in identifying and describing the elements of novel objects. Experiment results show that state-ofthe-art MLLMs struggle to comprehensively understand images containing novel objects, often leading to hallucinated descriptions.
\end{abstract
## 1 Introduction

Large Language Models (LLMs) have demonstrated remarkable performance in natural language generation and understanding $[1,2]$. To advance the capabilities of intelligent systems, several works $[3,4,5,6]$ have extended LLMs to Multimodal Large Language Models (MLLMs) by incorporating visual elements. Although these MLLMs have achieved significant advancements in established benchmarks for image captioning and Visual Question Answering (VQA), their proficiency in recognizing and understanding novel entities in the open world remains unexplored. Moreover, existing benchmarks are not suitable anymore since MLLMs are trained on large amounts of data that include known objects. Consequently, developing more challenging benchmarks featuring novel objects is crucial for a thorough evaluation of MLLMs' capabilities.

Figure 1 A fruit that blends the characteristics of strawberries, kiwis, and pineapples.

In everyday life, we often come across unfamiliar objects. When describing these new objects, we typically refer to characteristics such as shape and color. To better understand and remember these novel objects, we instinctively draw comparisons to known objects, using our existing knowledge base instead of relying solely on the object's attributes. This necessitates the ability to understand known objects comprehensively.

Inspired by the aforementioned ideas, we construct a new image dataset representing fantasy objects that do not exist in reality. These novel objects are concocted by blending attributes of two or three known objects, utilizing image generation models, in order to evaluate whether current MLLM can identify that the presented objects are not real and can associate them to known concepts. Figure 1 provides an example.

Our contributions are as follows:
- We introduce a challenging new benchmark for MLLMs, comprised of novel objects that do not exist in the real world.
- We evaluate state-of-the-art MLLMs using our new benchmark and observe that these models struggle with novel objects, highlighting the importance of further developing MLLMs for open-world understanding.

## 2 Related Work

Multimodal Large Language Models Due to the difficulty in obtaining image-text pairs, most MLLMs are developed using existing visual models, such as CLIP [7], and language foundation models, like LLaMA [2] and Vicuna [8], rather than being trained from scratch. BLIP-2 [3] proposes a Querying Transformer (Q-former) to fuse vision and language module, which has been adopted by other works, including MiniGPT-4 [6]. For the development of instruction-following MLLMs, LLaVA [5] develops a multimodal instruction-following data, which is widely used by subsequent research [6, 4]. For our experiments, we test three well-known instruction-tuned MLLMs: LLaVA-1.5, MiniGPT-4, and InstructBLIP.

Traditional Benchmark Traditional Image captioning and VQA benchmarks contains large amounts of diverse images, providing robust evaluation for developing MLLMs. Image captioning requires models to recognize the information in an image and describe it accurately. One of the most famous image captioning dataset is MSCOCO [9]. VQA tasks require models to well understand the information in the image and sometimes need reasoning on the visual cues. A lot of VQA datasets are constructed to cover diverse scenarios, including COCOQA [10], VQAv2 [11] and Visual Genome [12]. However, a limitation of these traditional benchmarks is that most images within these datasets contain existing knowledge, such as known objects and common sense, which may has already been included in the training data for MLLMs.

Benchmark with Novel Elements The WHOOPS benchmark introduces images that defy common sense, with the objective of evaluating whether the generation by MLLMs exhibits bias towards common sense and assesses their reasoning ability to identify unusual parts. Additionally, the ISEKAI dataset [13], featuring images with fantasy objects, aims to assess the few-shot learning capabilities of MLLMs. To assess the ability of LLMs when meeting new knowledge, KnowGen [14] is proposed. It is a knowledge generation method by altering entity attributes and relationships to create entities not existing in the world. A Question Answering (QA) benchmark named ALCUNA is constructed using KnowGen. Our work is inspired by KnowGen. The main distinction lies in our focus on MLLMs. Compared to the ISEKAI dataset, we aim to synthesize novel entities with a more complex mixture of objects.

## 3 Image Synthesis

In this section, we introduce how to design new objects and synthesize the corresponding images.

## 3.1 Prompt construction

In our preliminary study, we employed a straightforward procedure to synthesize images. Our approach involved prompting ChatGPT to design novel objects through the combination of existing entities, with a specific focus on animals and fruits. It is instructed to provide detailed descriptions of combining these objects to generate novel ones. This process yielded 100 novel animal descriptions and 50 fruit descriptions.

\#\#\#User: Generate visually rich prompts for Text-to-Image models, envisioning novel fruits by amalgamating physical attributes of diverse fruits. Ensure the following:

1. Keep the prompts non-threatening.

2. Avoid duplicating existing examples.

3. Cultivate creativity in the examples you generate.

4. PLEASE eliminate redundancy and background details unrelated to amalgamating appearance features, like taste and impression. The content should include shape, surface, and flesh.

5. Steer clear of repetition within your examples.

6. Aim for maximum diversity in the generated creature designs.

7. Each created fruit combines the characteristics of 2 or 3 kinds of fruits.

Example:

Melonkiwipear: a pear-shaped fruit that combines the fuzzy skin of a kiwi with the juicy, red, transparent flesh of a watermelon.

\#\#\#ChatGPT :

## 3.2 Data construction

In the second step, we prompt the text-to-image model to synthesize images, utilizing OpenDalleV1.1 [15]. Due to the potential mismatch between the descriptions generated by ChatGPT and the requirements of the image generation model, we employed Promptist [16] to generate refined prompts. Both the original and refined descriptions were fed into the model, resulting in the generation of 9 images for each description.

Finally, to ensure the quality of images for our preliminary experiment, we manually selected 84 satisfactory images based on our judgment of high quality.

## 4 Experiment

## 4.1 Implementation

We employed beam search for inference in our evaluations. For each model, the beam width is set to 5, and the length penalty is set to 1 . The implementation is based on the HuggingFace Transformers library.

## 4.2 Compared methods

We conducted tests on three well-known MLLMs: LLaVA-1.5-7b [5], InstructBLIP [4], and MiniGPT-4 [6], using our selected images.

## 4.3 Evaluation metrics

The evaluation focused on two main aspects:

Entity Identification. The first test aimed to assess the models' capability to identify whether the entities within the synthesized images were artificially generated.

Recognition of Unreal Features. We evaluated whether the models could recognize the source or origin of the features if we inform the models that the entities within the images were unreal.

To achieve these goals, we design 3 questions/instructions:
1) What is the $\{E N T\}$ in this image?

2) Describe this image.

3) The $\{E N T\}$ in the image is a

combination of multiple $\{E N T\}$ s. Please

respond with only the names of the

\{ENT\}s, without additional information. \{ENT\} will be replaced to be either "animal" or "fruit" depending on the image being evaluated.

## 4.4 Results

What is the $\{$ ENT $\}$ in this image? The objective of this question was to assess whether the models could identify that the entities in the images did not exist in the world. The responses are checked manually. We found that all models provided accurate but incomplete answers by correctly naming the main entity. For instance, if presented with an image featuring an elephant with eagle wings, the models will answer "elephant" without expressing doubt about the synthetic nature of the entity. It is observed that the responses were limited to naming the primary entity and did not explicitly acknowledge the artificial or unreal characteristics of the image. One plausible explanation for this limitation is the lack of diversity in the current instruction-tuning dataset, leading the models to overlook expressing doubts about the authenticity of the entities, as discussed in a recent work [17].

Among the analyzed images, responses for 52 out of 64 animal images were consistently aligned across the chosen models, whereas responses for 7 out of 20 fruit images were consistent. One of the inconsistent examples is shown in Table 1 ( $\mathrm{col} 2$ ). The result suggests that our synthesized images for fruits are more confusing for the models.

Image Captioning We prompt models with "Describe this image" for image captioning, aiming to assess their ability to comprehend synthesized entities and recognize unusual parts within them. Due to the lack of ground truth captions for synthesized images, automatic evaluation of this task is unfeasible. Upon observation, we noted a significant issue of hallucination in this test. Most responses do not mention the unusual parts present in the synthesized entities. Even in cases where a model recognized these distinctive features from different entities, it often generated incorrect captions that include hallucinations, shown in Table 1 (col 3). This

 & Q: Describe this image. &  \\

Table 1 Col 2 shows a case where models have varying opinions on the fruit name. Col 3 demonstrates that the models successfully recognize elements of a parrot and a leopard, while they do not notice that these elements constitute a single entity in the captions. Col 4 showcases a component analysis. The features of the cheetah are obvious, while the features of a kangaroo are less distinct, with its characteristics mainly manifested in its movements and paws.

highlights a challenge in the models' ability to accurately capture and describe the unique elements of the synthesized objects.

Component The final test aims to assess whether models could correctly identify the components of synthesized entities when explicitly informed that the entities depicted in the images were synthesized. The results for prediction accuracy are presented in Table 2. Notably, InstructBLIP displayed the highest recall and F1 score, while LLaVA$1.5-7 \mathrm{~b}$ achieved the best precision. It is noteworthy that recalls for all models were close to $50 \%$, indicating that one of the components could be correctly recognized in most cases. Table 1 ( $\mathrm{col} 4$ ) shows an example.

Table 2 Average precision, recall and $\mathrm{f} 1$ score on the prediction of components

## 5 Conclusion

This work is a preliminary study on the ability of three well-known MLLMs on images with synthesized objects. We conducted experiments to assess the ability of MLLMs in understanding novel objects combined with familiar entities. Through the experiments, we found that 1) these MLLMs failed to express doubt about the presented questions. 2) The observed prevalence of hallucination indicates that these MLLMs can identify known elements but often lack a comprehensive understanding of the overall entity.

Limitation The dataset size in our experiments is relatively small, leading to a less convincing conclusion. In our future work, we aim to devise methods to expand both the size and diversity, enabling a more comprehensive analysis. Additionally, most evaluation processes are conducted manually, incurring both time costs and subjective judgments. To enhance the evaluation process, we are considering the utilization of well-developed LLMs, such as ChatGPT, which will be explored in our future experiments.

## References

[1] OpenAI. ChatGPT [large language model], 2024. https://chat.openai.com.

[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurélien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. CoRR, Vol. abs/2302.13971, , 2023.

[3] Junnan Li, Dongxu Li, Silvio Savarese, and Steven C. H. Hoi. BLIP-2: bootstrapping language-image pre-training with frozen image encoders and large language models. In Andreas Krause, Emma Brunskill, Kyunghyun Cho, Barbara Engelhardt, Sivan Sabato, and Jonathan Scarlett, editors, International Conference on Machine Learning, ICML 2023, 23-29 July 2023, Honolulu, Hawaii, USA, Vol. 202 of Proceedings of Machine Learning Research, pp. 19730-19742. PMLR, 2023.

[4] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven C. H. Hoi. Instructblip: Towards generalpurpose vision-language models with instruction tuning. CoRR, Vol. abs/2305.06500, , 2023.

[5] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. CoRR, Vol. abs/2304.08485, , 2023

[6] Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, and Mohamed Elhoseiny. Minigpt-4: Enhancing visionlanguage understanding with advanced large language models. CoRR, Vol. abs/2304.10592, , 2023.

[7] Manling Li, Ruochen Xu, Shuohang Wang, Luowei Zhou, Xudong Lin, Chenguang Zhu, Michael Zeng, Heng Ji, and Shih-Fu Chang. Clip-event: Connecting text and images with event structures. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2022, New Orleans, LA, USA, June 18-24, 2022, pp. 16399-16408. IEEE, 2022.

[8] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with $90 \% *$ chatgpt quality, March 2023.

[9] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco captions: Data collection and evaluation server. arXiv preprint arXiv:1504.00325, 2015.

[10] Mengye Ren, Ryan Kiros, and Richard S. Zemel. Exploring models and data for image question answering. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada, pp. 29532961, 2015.

[11] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the V in VQA matter: Elevating the role of image understanding in visual question answering. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu, HI, USA, July 21-26, 2017, pp. 6325-6334. IEEE Computer Society, 2017.

[12] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Li Fei-Fei. Visual genome: Connecting language and vision using crowdsourced dense image annotations. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 32-73, 2017.

[13] Yan Tai, Weichen Fan, Zhao Zhang, Feng Zhu, Rui Zhao, and Ziwei Liu. Link-context learning for multimodal llms. CoRR, Vol. abs/2308.07891, , 2023.

[14] Xunjian Yin, Baizhou Huang, and Xiaojun Wan. ALCUNA: large language models meet new knowledge. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023, Singapore, December 6-10, 2023, pp. 1397-1414. Association for Computational Linguistics, 2023.

[15] https://huggingface.co/dataautogpt3/OpenDalleV1.1.

[16] Yaru Hao, Zewen Chi, Li Dong, and Furu Wei. Optimizing prompts for text-to-image generation. CoRR, Vol. abs/2212.09611, , 2022.

[17] Fuxiao Liu, Kevin Lin, Linjie Li, Jianfeng Wang, Yaser Yacoob, and Lijuan Wang. Mitigating hallucination in large multi-modal models via robust instruction tuning. arXiv preprint arXiv:2306.14565, Vol. 1, , 2023.


# 音声想起時の脳波における想起区間の推定

鈴木大裕 ${ }^{1}$ 入部百合絵 ${ }^{1}$
1 愛知県立大学 大学院情報科学研究科
im222010@cis.aichi-pu.ac.jp iribe@ist.aichi-pu.ac.jp

## 概要

音声想起時脳波から想起言語を識別する $\mathrm{BCI}$ 研究が始まっている．音声想起識別では想起区間を検出せず，ノイズを含む区間を想起対象データとして扱うため識別精度が低下する傾向にある。そこで想起言語の識別精度向上を目標に, 本稿では音声想起時脳波における想起区間の推定について報告する. 本報告では, 定 $\mathrm{Q}$ 変換によるスペクトログラムをサンプル加算することで想起区間を得て，想起区間を基に 3DCNN で想起区間推定を行った. その結果，加算スペクトログラムで得た反応を想起区間として 3DCNN に入力することで，約 $80 \%$ の精度で想起区間推定に成功した. また，データを加算することで約 $90 \%$ の推定精度を得た。

## 1 はじめに

BCI（Brain Computer Interface）では，神経疾患を持つ方の円滑なコミュニケーションを実現するため，脳波から音声言語情報を抽出する研究が行われている[1]. これらの研究では, 発話時の脳波を対象とするものと, 音声想起 (speech imagery) 時の脳波を用いるものが存在する．音声想起では相手に話しかけるイメージで言語を想起するのみとし, 原則, 発話器官は動かさない. 本研究では, 神経疾患を持つ方々に寄与するため，音声想起時の脳波を対象とする。

発話音声からの音声認識では，発話区間の推定が識別精度に大きく影響する．音声想起でも同様のことが言えるだろう。しかし, 音声想起を用いて想起言語を推定する研究では, 脳波から想起区間を特定することが困難であるため，「無想起区間を多く含む脳波データ」を対象に想起言語を識別せざるを得ない。その結果，無想起区間が干涉することで，想起言語の識別精度が劣化する傾向にある.

本研究では，音声想起区間を特定することで，音声想起における言語推定の精度向上を目指す. 本稿では，音声想起区間の検出手法について提案する.

図 1 左脳側 21 電極の配置

先行研究[2]では, CSP (Common Spatial Pattern) を特徴量とし混合ガウスモデル (Gaussian Mixture Model）に音声想起と無想起の2クラス分類した結果,約 $80 \%$ の精度を得たが，音声想起区間の推定までは行えていない，本報告では，定Q変換[3]を用いた加算スペクトログラムによる想起反応の調査を行い, その想起反応を用いて3DCNN (3 Dimensional Convolutional Neural Network）[4]による想起区間の推定を行う。また，先行研究の手法を用いた区間推定と比較する。

## 2 音声想起時脳波の収録

インフォームド・コンセントを得た右利き成人男性 5 名（A, B, C, D, E）を対象に，日本語母音/a/の脳波を収録した。脳波計測には g.tec 社の g.HIAMP を使用し，サンプリング周波数 $512 \mathrm{~Hz}$ で計測した。電極は拡張 10-20 法に従い，音声想起活動があるとされる左脳側に 21 電極 $(1 ; \mathrm{AF} 3,2 ; \mathrm{AF} 7,3 ; \mathrm{F} 9,4 ; \mathrm{F} 7$, 5;F5, 6;F3, 7;F1, 8;FC1, 9;FC3, 10;FC5, 11;FT7, 12; FT9, 13; T7, 14; C5, 15; C3, 16; C1, 17; CP1, 18; CP3，19; CP5，20; TP7，21; TP9）を配置し（図 1 ; 赤丸は電極番号），基準電極を左の耳朵，アース電極を $\mathrm{AFz}$ （図 1 ; 青丸）とした.

脳波研究では収録実験をする際，プロトコルを用いる. 本研究では, 図 2 のプロトコルを作成した.同じ単語を連続で想起した場合，想起脳波が脳内で

$0.1 \mathrm{sec} 3.0 \mathrm{sec} 3.0 \mathrm{sec} \cdots$

図 2 視覚刺激による収録プロトコル

時間的に重畳され強い反応となり, 識別率が向上する[5]. そこで本収録実験では，想起反応を容易に取得可能にするため, 母音/a/のみをプロトコル内で 10 回想起した。また，事前に実施した実験では純音による強い聴覚反応が観察されたため, 視覚刺激によるプロトコルとした.

収録実験では, 電磁シールドルーム内の椅子に被験者が座り，視覚刺激となるディスプレイを見せながら収録を実施した。想起の時間間隔は $3.0 \mathrm{sec}$ 設けられているが，被験者には画面の十字マークが消えたら即座に/a/と 1 回だけ想起するように伝えた。また，/a/の文字は思い浮かべないこと，音声を想像すること（相手に話しかけるイメージ），瞬きはノイズとして重畳されてしまうため想起中は瞬きを極力しないこと（可能な限り十字マーク表示の際に瞬きをすること）の 3 点を指示した。

以上の実験を被験者 5 名に対して，プロトコル 1 セット 10 回想起を 20 セット行い, 日本語母音/a/の音声想起を被験者毎に 200 サンプル収集した.

## 3 提案手法

本報告で提案する手法は, 前処理, 特徴量抽出,想起区間推定の順で行う。

## 3.1 前処理

脳波データには脳内アーチファクトや電源ノイズの影響があるため前処理を行う，前処理では，直流成分と電極間バイアス，電源ノイズの除去，21電極の加算，逆位相キャンセリングを実施する。

## 3.1. 1 直流成分除去

本研究で使用する g.HIAMP は DC アンプのため, EEG 信号にはオフセットが混在する. 直流成分が含まれると，のちの周波数解析で正しい結果が得られない場合があるため直流成分を除去する. 本研究では除去方法として，時間信号 $x(t)$ に対して前後 $50 \mathrm{~ms}$ の区間を平均化し， $x(t)$ から引き去る．計算式を式 (1)に示す. $x(t)$ は時間信号, $t$ は時間 $(\mathrm{ms}), \bar{x}$ は $t-$ $50 \sim t+50$ までの平均值とする.

$
y(t)=x(t)-\bar{x}
$

## 3.1.2 電極間バイアス除去

各電極で計測される電位は，基準電極と各測定電極の差分として得ているため，電極間で異なるバイアスを持つ．そのため，電極間のバイアスを除去する必要がある，全電極の信号を平均したものを基準值とし，各電極から引く処理を入れることで，電極間のバイアスを平準化する。計算式を式(2)に示す. $c h$ は電極番号, $t$ は時間, $x(c h, t)$ は各電極の時間信号, $\overline{x(t)}$ は全電極を平均した時間信号である.

$
y(c h, t)=x(\operatorname{ch}, t)-\overline{x(t)}
$

## 3.1.3 電源ノイズ除去

収録したデータには，電源ノイズが含まれる，電源ノイズは，脳波波形の観測を困難にする。そのため，必ず除去する必要がある.

電源ノイズは急峻なノイズである。そこで，特定の狭い周波数帯のみを減衰するノッチフィルタによりノイズ除去を行う. 本研究の収録場所は愛知県であるため, $60 \mathrm{~Hz}$ とその高調波 $120,180,240 \mathrm{~Hz}$ に対し，ノッチフィルタを適用することで電源ノイズを除去する.

## 3. 1.421 電極の加算

21 電極加算は, 音声想起の特徵を捉えるための前処理である. 皮質脳波の研究[6]では音声発話と音声想起，聴取のデータを収集し，振幅特性を分析しているが，音声想起反応のある電極にばらつきが生じていた。一方，本研究ではキャップ式脳波計を用いるため，被験者毎に反応電極が異なる事象が発生する. 以上の事由により, 本研究では 21 電極を加算することとした. 計算式を式(3)に示す. CHは総電極数, $c h$ は電極, $t$ は時間, $x(c h, t)$ は各電極の時間信号である.

$
y(t)=\sum_{c h=1}^{C H} x(c h, t)
$

## 3.1.5 逆位相キャンセリング

逆位相キャンセリングは，位相スペクトルを反転させることでノイズを減衰する技術である. ヘッドホンなどに利用されている.

21 電極を加算することで, 全電極に生じる音声想起反応以外の反応（ノイズ）が要因となり，波形にゆがみが観測された。そのため，一定以上の強さをもつスペクトルを位相反転することで, 波形の歪みを減衰させた。これにより，体動のような強いノイズを除去する。

## 3.2 音声想起の特徵量抽出

特徴量抽出では周波数解析を行う。言語表象は high- $\gamma$ 帯域(60-180Hz)に現れると報告されている[7].言語表象は音声想起反応の一部と考えられるため,本研究では high- $\gamma$ 帯域のような高周波帯域も対象に,低周波帯域から広域に亘り周波数分析を行う。 そのため定 $\mathrm{Q}$ 変換を行い, さらに定常雑音を除去するためのスペクトルサブトラクションを施した.

## 3. 2.1 定 Q 変換 [3]

短時間フーリエ変換では, 全ての周波数帯で同じ窓長を用いることで周波数変換をする.それにより，時間分解能を一定に保ち, 高周波数帯では高い周波数分解能を持つ. しかし, 低周波数帯では十分な周波数分解能を持つことができない。そこで, 低周波帯域と高周波帯域を一定の分解能で分析するため,定 $\mathrm{Q}$ 変換を用いる。

定 $\mathrm{Q}$ 変換とは, 中心周波数ごとに窓長を変えることを実現した変換法である. 中心周波数が高い時は空長を狭くし, 低い時は密長を広くすることにより，全ての周波数帯域で一様な周波数分解能を得られる.計算式を式(4)に示す. なお, $n$ は時間サンプル， $x$ は時間信号, $\omega$ は密関数, $k$ は対数周波数のビン数, $N[k]$ は窓長の変化, 指数関数は中心周波数に対するフィルタを表す。

$
y(k)=\frac{1}{N(k)} \sum_{n=0}^{N(k)-1} \omega(n, k) x(n) e^{\frac{-2 j \pi Q n}{N(k)}}
$

## 3. 2.2 スペクトルサブトラクション

収録した脳波データには呼吸や心臓の鼓動, 脳内で定常的に発生している信号など, 胼波中には常に混在するノイズ(定常雑音) が含まれる.これらのノイズを取り除くために定 $\mathrm{Q}$ 変換で得たスペクトログラムに対して, 同サンプル全体の平均値を引き去る. これにより, 定常的に発生する雑音を除去する. 除去の計算式を式(5)に示す.ここで, $c h$ 電極, $k$ は周波数軸, $t$ は時間， $x$ はスペクトログラム, $\overline{x(c h, k)}$ はスペクトログラムにおける全時間の平均である.

$
y(c h, k, t)=x(c h, k, t)-\overline{x(c h, k)}
$

## 3.3 想起区間の推定手法

評価実験では，想起反応が刺激からどのタイミングで発生するか確認し，その区間を想起データとして用いた音声想起区間の推定を行う。

## 3.3.1 スペクトログラムの加算

脳波信号は微弱なため, 本研究では被験者毎に 200 サンプルを加算し, 音声想起反応を観察した. そして，予備実験で収集した発話音声のパワーの範囲を加算したスペクトログラムと比較することで，音声想起反応が現れる範囲を確定した.

## 3. 3.2 音声想起区間推定

時系列に想起の有無を識別する．音声想起反応は時刻とともに複数の frame 上を変移しながら表出されると考え, 識別器には 3 次元の畳夕込みによる 3DCNN を採用した。

学習データは, 想起と想起以外のスペクトログラムを 2 種類用意する. 想起データは 3.3.1で述べた加算スペクトログラムから得られる想起区間を用いる.また, 想起以外のデータは想起区間の後方を採用する. 想起反応が複数の frame 上を変移するという仮定から, 7 frame 窓, 1 frame シフトとして「周波数軸, 7 frame (密長), 時間軸」の 3 次元のデータを作成し，3DCNN に入力する. 3 DCNN の構成を表 1 に示す.出力は想起か想起以外の2クラスである. このモデルをテストデータに適用し, 時系列で想起か想起以外かの結果を得ることで，想起区間の推定を行う。また, 20 分割交差検証で評価する。

## 表 1 3DCNN の構成

バッチサイズ : 64 , エポック数 : 30 , 最適化 : Adam 損失関数 : 交差エントロピー

## 4 推定結果と考察

本実験の評価結果について述べる。実験試料は収録した日本語母音/a/として，各被験者 200 サンプルを使用する。

## 4. 1 加算スペクトログラムの結果 - 考察

被験者Aのスペクトログラムを加算した結果を図 3 に示す. 上図は予備実験で収録した音声発話を時間[sec]-パワーに変換したもの, 下図は音声想起（発話無し）時のスペクトログラムである。横軸は刺激呈示終了時刻を 0 としている. この結果より, 音声想起の反応は, 音声発話に近いタイミングで開始/終了していることが確認できる．また，想起反応は急激に現れるものではなく, 準備段階を経て徐々に生じているように見える. 周波数帯域で比べると, 特に $60 \sim 100 \mathrm{~Hz}$ に強い成分が確認された. 以上の想起反応はすべての被験者に同様の傾向が観察された. よって, この区間を音声想起の正解ラベルとし推定を行う。

## 4. 2 音声想起区間推定の結果・考察

被験者毎に 20 分割交差検証で想起区間を推定した結果を図 4 亿示す。図 4 は，横軸が時間，縦軸は被験者 5 名の 200 サンプル（計 1000 サンプル）に対する accuracy である. 音声想起区間は赤枠の範囲である. 先行研究[2]の手法（図 4 青線）は音声想起区間の accuracy が 0.2 まで低下しているが，提案手法 (図 4 橙線) は安定して 0.8 の accuracyを得ている. この結果から，本手法は想起区間の推定に有効であると言える. しかし, 提案手法の音声想起区間以外の accuracy に目を向けると，音声想起区間外を想起と推定してしまうことが先行研究をよりも多い.この要因は脳内のノイズによる影響であると考えられる. そのため, 加算した 10 サンプルを本手法に適用寸ることで，これらのノイズの低減を図った. 結果は図 4 の緑線である。想起区間の精度は維持しつつも，想起区間外の精度が向上した.この結果より，本提案手法で最適な加算数を検討した. その結果を図 5 に示す. 図 5 は各加算数における全被験者の accuracyを表しており, 青線が全時間の平均 accuracy，橙線が想起区間の最大 accuracy を示す。また，横軸はサンプル加算数, 縦軸が accuracy である. 加算することで想起区間における精度が向上し, 約 90\%の accuracy を得た.また， 10 回加算することで 1 サン

図 3 加算したスペクトログラム（被験者 A）

図 4 全サンプルの時間単位の識別率

図 5 全時間の平均識別率と想起区間の最大識別率プル時と比べ，全時間の平均識別率と想起区間の最大識別率が向上したことから，約 10 回加算するとノイズ低減が可能であると示された.

## 5 おわりに

本報告では，音声想起区間の検出を目的として，定 $\mathrm{Q}$ 変換によるスペクトログラムを用い，3DCNN で音声想起区間の推定を行った. その結果，データを加算することで約 $90 \%$ の精度で想起推定に成功した. 今後は被験者数とデータ数の拡充とともに，連続想起や刺激無し想起の区間推定を目指す.

## 参考文献

[1] Tsuneo Nitta, Junsei Horikawa, Yurie Iribe, Ryo Taguchi, Kouichi Katsurada, Shuji Shinohara, Goh Kawai, "Linguistic representation of vowels in speech imagery EEG”, Front. Hum. Neurosci., 18 May 2023 Sec. Brain-Computer Interfaces, Volume 17, 2023.

[2] 細川晃樹, 山尾元陽, 入部百合絵, 田口亮, 新田恒雄, “共通空間パターンを用いた音声想起時 EEG の識別”，情報処理学会第 83 回全国大会, 2021.

[3] Judith C.Brown, "Calculation of a ConstantQ Spectral Transform”, J.Acoust. Soc. Am. 89, 425 - 434. 1991.

[4] Shuiwang ji, Wei Xu, Ming Yang, Kai Yu, " $3 \mathrm{~d}$ convolutional neural networks for human action recognition”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.35, 2013.
[5] Anne Porbadnigk, MarekWester, Jan-P. Calliess, Tanja Schultz, "EEG-BASED SPEECH RECOGNITION Impact of Temporal Effects", BIOSIGNALS 2009 - Proceedings of the International Conference on Bio-inspired Systems and Signal Processing, 2009.

[6] Stephanie Martin, Peter Brunner, Inaki Iturrate, Jose del R. Millan, Gerwin Schalk, Robert T. Knight, Brian N. Pasley, "Word pair classification during imagined speech using direct brain recordings", Scientific Reports volume 6, Article number: 25803, 2016.

[7] Adeen Flinker, Anna Korzeniewska, Avgusta Y. Shestyuk, Piotr J. Franaszczuk, Nina F. Dronkers, Robert T. Knight, and Nathan E. Crone, "Redefining the role of Broca 's area in speech", PNAS vol.112, no.9, pp.2871-2875, 2015.