# マルチモーダル文書におけるテキストと画像の整合タスクの提案

村岡 雅康 $\dagger,+\dagger$ ・岡崎 直観 $\dagger \cdot$ 小比田凉介 $\dagger \dagger \cdot$ 石井 悦子 $\dagger+\dagger$

本研究では, 複数文および複数画像から成るマルチモーダル文書を理解するシステ ムの構築を目指し，文書内における画像を意味的に望ましいテキストに割り当てる 新たなタスク Image-to-Text Matching (ITeM) を提案する。また，提案タスクのた めに Wikipedia から機械的に 66,947 文書および 320,200 画像からなるデータセット を構築する。提案タスクの妥当性および難易度を検証するため, 既存のマルチモー ダルタスクで最高精度を達成した 2 手法を本タスク向けに改良し，評価実験を行う。結果から, ベースラインの精度を大幅に上回ったものの, 人間の精度に到達するに は改良の余地があることを確認した。また, 既存タスクに対する提案タスクの寄与度を検証する実験では顕著な差は見られなかった一方で, 詳細な分析により, 記事内の画像数が多くなるほど，また，画像が分散して配置される記事ほどタスクが難 しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど, 既存タスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価できることが示唆された。 キーワード：マルチモーダル文書理解，言語と画像，夕スク提案
## ITeM: Image-to-Text Matching for Multimodal Documents

\author{
Masayasu Muraoka $^{\dagger, \dagger \dagger}$, Naoaki Okazaki ${ }^{\dagger}$, Ryosuke Kohita $^{\dagger \dagger}$ and Etsuko Ishil ${ }^{\dagger \dagger \dagger}$
}

We propose a new task called image-to-text matching (ITeM) to facilitate multimodal document understanding. ITeM requires a system to learn a plausible assignment of images to texts in a multimodal document. To study this task, we systematically construct a dataset comprising 66,947 documents with 320,200 images from Wikipedia. We evaluate two existing state-of-the-art multimodal systems on our task to assess the validity and difficulty of our task. Experimental results show that the systems greatly outperform simple baselines while their performances are still far from that of humans. Further, the proposed task does not contribute significantly to the existing multimodal tasks; however, detailed analysis suggests that the task becomes more complex when more images are present in a document and that the proposed task can offer a new capability for image-to-text understanding not achievable through existing tasks, such as multiple image consideration or image abstraction.

Key Words: Multimodal Document Understanding, Language and Vision, Task Proposal

## 1 はじめに

言語と画像という二つの異なるモダリティを橋渡しする技術を確立することは，自然言語処理および画像処理の両分野において重要な目標の一つである。この目標に向けて, これまで複数のマルチモーダルタスクにおいて大きな進歩を遂げてきた. 例えば，画像のキャプション生成タスク (Lin et al. 2014) や画像の質問応答タスク (Antol et al. 2015; Agrawal et al. 2017) は,盛んに研究が行われている代表的なマルチモーダルタスクである (Hossain et al. 2019; Kafle and Kanan 2017; Wu et al. 2017). 画像のキャプション生成タスクでは, 入力画像の内容を短く簡潔な自然言語（キャプション）で記述することを目的とし，画像の質問応答タスクでは，自然言語で問われた画像に関する質問（文）に自然言語で回答することがタスクのゴールである.

しかしながら，普段我々人間が目にする実際のマルチモーダル文書 ${ }^{1}$ は, 複数文および複数画像から成る場合がある。ニュース記事には取り上げている事件・イベントに関連する写真が含まれるし, 料理のレシピには途中の各工程の様子が描かれた画像を載せることがある。また, Wikipedia $^{2}$ の記事には人物，各国の建造物・街並み，電化製品や自動車などの人工物，草花，鉱物, 化学物質など, ありとあらゆる物事が詳しく記述され, それらに関連する画像が付随する. この時，文書の適切な位置に画像が配置されることで，画像は我々人間が文書理解することを助けている，言い換えれば，我々人間は，画像と文書内の（多くの場合はその近辺の）テキストの関連性や対応関係を自然に読み取りながら文書を理解している。一方，画像のキャプション生成タスクや質問応答タスクを含む既存の多くのマルチモーダルタスクでは，夕スクの定義上 1 事例が短文と 1 画像のペアで構成されるため, 複数画像の対応関係や, 文書レベルの長いテキスト，および，データセットのアノテーションコストの都合上多種多様な視覚的概念を扱つていない。これは, 既存のマルチモーダルタスクからでは上述した人間が行う文書理解の仕方を明示的に学習させたり, 既存のタスク上で学習されたモデルをそのまま上述した我々が普段目にする多様なマルチモーダル文書に適用できないことを示唆している.

この問題に対処するため, 我々は実際に Web 上に存在するマルチモーダル文書を対象とした新しいタスク, Image-to-Text Matching (ITeM) を提案する ${ }^{3}$.これにより実応用可能なマルチモーダルシステムを構築するための新たな研究の方向性を切り開くことが本研究の目的である.図 1 に提案タスクの概要を示す 4 . このタスクの目標は, ある 1 つの入力文書と入力画像集合が与えられた時, 読者の文書理解を助けるような画像の文書内における配置位置, すなわち, 関連度の高い部分テキストを予測することである。このタスクを解くためには，複数文および複数画像を考慮することが要求される。それに加え, このタスクには既存のマルチモーダルタスク
^{4}$ https://en.wikipedia.org/w/index.php?title=Headset_(audio)\&oldid=899726384
}

では扱われていない次の 3 つの技術課題が含まれる。(i) 文書レベルの長いテキスト，および，内在する文書構造を考慮すること。(ii) 複数の画像を関連づけること。例えば, 図 1 の最初の 2 つの画像は，対比しながら見ることで視覚的形状の違いを強調させつつ，対応するテキスト （"Bluetooth"セクション）を補完している。(iii) 既存のマルチモーダルタスクで扱われる事前に定義された限られた種類の視覚的概念たけでなく，固有名詞を含む幅広いドメインで扱われる多様な語彙知識に対処すること。これらの技術課題を含む提案タスクによって，新聞記事の見出し生成や適切な画像選定, 物語からの自動絵本生成, イベント写真からのアルバム生成など，マルチモーダル文書に関する新たな研究や応用を期待できる.

また, ITeM タスクを提案するにあたり, 我々は Wikipedia dump から 66,947 文書および 320,200 画像からなる大規模なデータセットを低コストで機械的に構築する。Wikipedia に着目したのは，1つの記事ぺージを 1 つのマルチモーダル文書とみなすことができ，また，夕スクのゴールである文書内のテキストと画像の対応関係がマークアップファイルに明示的に記述されているためである，それに加え，Wikipediaでは，様々なトピック・事柄について扱われており，さらに Wikipediaのセクション構造を擬似的な文書構造（段落構造）とみなすことができる。従って，Wikipedia は上述した 3 つの技術課題を全て満たす言語資源である。また，構築したデー夕セットは, 既存の単一言語からなるマルチモーダルデータセットと比べ, 画像数, 文書数, 語

文書 (セクションに分割済み)

図 1 提案タスクの概要. 英語版 Wikipedia “Headset (audio)”より引用，一部改変.
彙数の観点で大規模であることを 4 節で示す.

提案タスクの妥当性と難易度を調査するため, 過去に既存のマルチモーダルタスクで最高精度を達成した手法 (Pythia (Jiang et al. 2018), OSCAR (Li et al. 2020))を本タスク向けに改良を行い，評価実験を行う，実験結果から，改良した既存手法はベースラインを大幅に上回り，提案タスクを解くことができる可能性を示したものの, 人間の精度に到達するには改良の余地があることも確認された。また，提案タスクを事前学習の一種とみなし，提案タスクで学習させたモデルを既存のマルチモーダルタスクで fine-tuning し，性能評価を行った。その結果，提案タスクで学習を行わなかったモデルとの明らかな差は見られなかった一方で，定量分析および定性分析により，記事内の画像数が多くなるほど，また，画像が分散して配置されている記事ほどタスクが難しくなる傾向にあることや，タスクを解くためには複数画像を同時に考慮したり画像中の物体情報を抽象化しなければならないなど，既存のタスクとは異なる側面の画像理解・言語理解能力を提案タスクによって学習・評価していることが示唆された.

## 2 関連研究

これまでに提案された代表的なマルチモーダルデータタスクおよびデータセットについて述べる. Lin et al. (2014)によって画像のキャプション生成のベンチマークデータセットとして, MS COCO が構築された. MS COCO には 12 万 3 千以上の画像が含まれ，各画像には 5 つ以上の正解キャプションが付けられている。画像は Flickr 5 と呼ばれる画像の管理共有サービスから収集され，一方キャプションは Amazon Mechanical Turk6用いて別々にアノテーションされた. Goyal et al. (2017) は, 初期の VQA データセット (Antol et al. 2015) で問題となっていた言語的バイアスの問題に対処し, よりバランスの取れた VQA v2 データセットを提案した.約 20 万 4 千を超える画像を含む. Visual Genome (Krishna et al. 2017) は詳細なアノテーションが付与されたマルチモーダルデータセットであり，物体ごとの矩形の座標情報や，それら矩形ごとの説明フレーズ, 物体の属性情報, 物体間の関係, シーングラフ, QAペアなどのアノテーションが付けられている。各画像には平均 50 個の矩形のアノテーションがなされており,各矩形には説明フレーズとしてその矩形に描かれた内容をフレーズレベルの短い自然言語で記述されたものが付与されている。これら上記のデータセットにアノテーションされた説明文等のテキストは, その画像が撮影された背景やコンテキストを知らないクラウドワーカーによって独立して付与され，誰が見ても納得する客観的なテキストを付与するように指示されたため,撮影した当事者しか知らないような情報や固有名詞などを含まず，一般的な語を用いて記述さ

れている。それに対し, Shah et al. (2019) が作成したKVQA は固有名詞に特化したデータセットであり，世界知識に関する推論を目的として作成された。夕スクを解くためには, Wikipedia の記事が存在するような有名人に関する知識が要求される.

上記のデータセットは多くのマルチモーダル研究で使用される一方, いずれのデータセットにおいても，文書レベルの長いテキストや，1 事例内で複数の画像を扱っていない。それらを扱った研究も存在するが, 数は限られている. Krause et al. (2017) は, 説明文ではなく説明パラグラフからなるパラグラフキャプション生成のデータセットを構築した. 従って, パラグラフレベルで一貫性のあるキャプションの生成技術が要求される. TQA (Kembhavi et al. 2017) と呼ばれるデータセットは, 小学校中学年の理科の教科書から構築され, 1 事例が 1 レッスンに対応する．1レッスンは 1 つの科学トピックについて書かれた複数のパラグラフからなり, 化学反応などの複数のイラストや図を画像として含む. また, 教科書にある練習問題が, TQAのタスクとして解くべき問題として設定されているため，そのタスクを解くシステムも同様に 1 レッスン全体を理解することが求められる. ISVQA (Bansal et al. 2020)は, 屋内または屋外で撮影された複数の画像に対し, 1 組の質問および解答が付与された複数画像からなるVQAデー タセットである。約 3 割の事例は複数の画像を考慮しないと質問に解答できない事例になっている。これらのデータセットは，1節で述べた提案タスクに含まれる技術課題 (i) から (iii)のいずれかを満たすものであるが，3つ全てを同時に満たすものではない.

Srinivasan et al. (2021) は本研究と同様 Wikipedia から大規模かつ多言語のマルチモーダルデータセット WIT を構築している。我々がマルチモーダル文書として Wikipedia の 1 記事全体を本タスクの 1 事例とするのに対し, WIT 内では Wikipedia 中の画像を主とし，その画像のキャプション, および, 画像が使われている記事の第 1 セクションのテキスト, 画像が言及されているセクションのテキストを組み合わせて 1 事例としている。従って，画像を参照していないセクションはWITデータセットに含まれていない. 一方, 本研究では一部のテキストを除外したりせず，1つの完結した文書の中でテキストと画像の関連性を捉えることを目指す.

本研究と関連する研究分野として文書画像理解 (Document image understanding, DIU) がある (Xu et al. 2020, 2021; Mathew et al. 2021; Tito et al. 2021; Mathew et al. 2022). DIU では, machine-readable ではない画像化された文書データを対象として情報抽出を行うことを目指している。例えば, 商品レシート画像から特定の商品の値段を抽出したり, 手書きの手紙画像から差出人の名前や郵便番号を抽出することが目標である。そのため, このタスクを解くためにはレイアウト情報を考慮することが重要であることが示されている (Xu et al. 2021). 一方で, 本研究で扱うデータは Wikipedia のマークアップファイルから得られるため既に machine-readable な形式になっており，本タスクを解くためには，レイアウト情報よりむしろ，テキストと画像の意味的な関連性および内容を考慮することが求められる。

近年, 代表的な画像のキャプション生成や画像に関する質問応答以外の, 萌芽的なマルチモー

ダルタスクもいくつか提案されている。ここでは本研究と関連があるものを取り上げる．Zhu et al. (2015)は, 映画の動画フレームとその元になっている本のパッセージとの対応関係を求めるタスクを提案した. Agrawal et al. (2016) は，シャッフルされた画像とキャプションのペア集合（全て同じある 1 つのストーリーに関するもの）を，時系列順に並び替えるタスクを提案した.また, Bosselut et al. (2016) は，結婚式などの代表的なイベントの典型的な流れ（新郎新婦入場から退場までなど）をフォトアルバムを用いて学習する試みを行った. Iyyer et al. (2017) は, 漫画からデータセットを構築し, 台詞やコマの穴埋め問題をタスクとして提案した。この夕スクを解くためには，漫画のストーリーの一貫性や流れ，さらには明示的に描かれていない行間を理解することが求められる. Biten et al. (2019)は, 新聞記事のキャプション生成タスクに取り組んだ。キャプション自体はこれまでのキャプション生成タスク同様，画像の内容に関する短い文を想定していたが，クラウドソーシングを使ってキャプションを付与したデータセットと異なり，様々な固有表現に対処する必要があった. Hessel et al. (2019) は，既存のマルチモー ダルデータセットを用いて，テキストと画像の対応関係を教師なしで学習する手法を提案した。彼らの研究は我々の問題意識と共通する点があるものの，扱っているデータセットの規模や種類において大きく異なり，彼らがモデルの学習に使用したデータセットは上記の MS COCO のようなテキストが独立してアノテーションされたデータセットであるのに対し, 我々が使用するのは Web 上に実際に存在するデータから構築したデータセットである． Radford et al. (2021) は，CLIP (Contrastive Language-Image Pre-training) と呼ばれるマルチモーダル表現の学習手法を提案し, 事前に定義された物体クラス情報を用いるのではなく, キャプション付き画像デー タセットから画像中の物体とそれに対応するキャプション中のテキスト表現の対応関係を自然に学習できることを示している。学習によって得られたマルチモーダル表現が zero-shot タスクで高成績を収めることも示した. より最近では Tanaka et al. (2021)が, 画像の質問応答タスクの枠組みで入力画像がマルチモーダル文書のスクリーンショットになっているデータセットおよびタスクを提案している。上述のマルチモーダルタスクではそれぞれ異なる技術課題に着目しているが，本研究ではそれらとはまた異なる新たな技術課題に取り組む。詳しくは 4.2 節で述べる。

## 3 タスクの定式化

本節では，論文中で使用する用語の定義と提案タスク ITeM の定式化を行う ${ }^{7}$. ITeM で扱うマルチモーダル文書は, 図 1 のような文書と複数画像から成る。1つの文書は数十から百数十の文からなり，言語的構造，もしくは，番号付きリストやネストされたリストのような順序的階

層的構造を持つ. 本タスクにおける文書は, これらの構造に従ってあらかじめ文やパラグラフ, セクションといった意味のあるテキストの単位に分割されているものとする。本研究ではセクション単位に分割されていると仮定する。画像はキャプションを伴うことができ，テキストで記述された文書を視覚的に補完し, 読者の文書読解を助ける役割を担う。本タスクのゴールは, ある 1 つの文書に関する画像の集合と分割されたテキストの集合のペアが与えられた時, テキスト集合中のあるテキストを補完するような画像からテキストへの尤もらしい割り当て（図 1 中央の画像とテキスト間のエッジ）を求めることである.

このタスクを以下のように定式化する。あるマルチモーダル文書 $d$ に含まれる画像集合を $V$, テキスト集合を $S$ で表す. それぞれの要素数は $|V|$, および， $|S|$ で表される。画像集合 $V$ 中の要素 $v$ は, 実際の画像と, キャプションがある場合はそのキャプションのペアから構成され, テキスト集合 $S$ 中の要素 $s$ （およびキャプション）は単語列から構成される. これにより, マルチモーダル文書 $d=\langle V, S\rangle$ は $|V|$ 個の画像と $|S|$ 個のテキストを頂点に持つ（無向） 2 部グラフとみなすことができる。画像と画像が割り当てられるべきテキスト間にのみ 2 部グラフのエッジが張られる。

上記より，提案タスクは画像集合 $V$ とテキスト集合 $S$ 間のあり得るエッジを予測するグラフ補完問題として定義される．グラフを補完するためには，グラフ全体で推論する必要がある. すなわち, 複数のテキスト $S$ と複数画像 $V$ と同時に考慮する必要がある. エッジの割り当て行列を $\mathbf{A} \in[0,1]^{|V| \times|S|}$ で表すと，行列 $\mathbf{A} の(i, j)$ 成分（ただし， $i$ は行， $j$ は列のインデクスをそれぞれ表す）は， $i$ 番目の画像が $j$ 番目のテキストに割り当てられる確率を表す. 画像集合中の各画像は必ずただ 1 つのエッジを持つが8，テキスト集合中のテキストは必ずただ 1 つのエッジを持つとは限らない. エッジを持たない場合（画像が紐づかないテキスト）や1つのテキストが複数のエッジを持つ場合（複数の画像が割り当てられるテキスト）があることに注意されたい.この性質を満たすように，割り当て行列 $\mathbf{A}$ に次の制約を加える.

制約各行 $\mathbf{a}_{i}$ の確率值の和は必ず 1 にならなければならない：

$
\Sigma_{j} a_{i j}=1
$

これにより, 各行 $\mathbf{a}_{i}=\left[a_{i 1} a_{i 2} \cdots a_{i|S|}\right]$ はテキスト集合 $S$ 上の確率分布となり, 確率質量関数 $\phi_{i}: S \rightarrow[0,1], \phi_{i}\left(s_{j}\right)=a_{i j}$ で表される.

従って, 求めるべきマルチモーダル文書 $d$ におり各画像のテキストへの割り当て $\mathbf{y}$ は, 割り当て行列 $\mathbf{A}$ の各行 $\mathbf{a}_{i}$ の確率最大となる次元を見れば良い.
^{8} 2$ つ以上のエッジを持つ場合も考えられるが, 本研究では扱わない. 本研究でデータセット構築のために使用するWikipedia においては（4 節)，そのガイドラインに「画像は関連するセクション“内”に配置すること」とあり，無関係なセクションにむやみに画像を配置することや，あるセクションに配置された画像をそれ以外の異なる複数のセクションから言及することはなるべく避けるような指示がなされているため, このように定義しても問題ないと考える.
}

$
\begin{aligned}
\mathbf{y} & =\left[\begin{array}{lll}
y_{1} & \cdots & y_{|V|}
\end{array}\right], \\
y_{i} & =\underset{j \in\{1, \ldots,|S|\}}{\operatorname{argmax}} a_{i j} \\
& =\underset{j \in\{1, \ldots,|S|\}}{\operatorname{argmax}} \phi_{i}\left(s_{j}\right),
\end{aligned}
$

ただし， $y_{i}$ は $i$ 番目の画像 $v_{i}$ が割り当てられるテキストのインデクスを表す.この基準を緩め,各画像について確率値 top- $k$ 個のテキストを考慮することで, top- $k$ の割り当てを考えることもできる.

提案タスクを解くシステムの精度は accuracy@k で評価する。accuracy@k とは, 各画像に関して top- $k$ 個の割り当てを考慮した際の精度であり，top- $k$ 個の中に正解テキストが含まれている場合に正解したとみなす。実験では， $k \in\{1,3,5\}$ を使用し, accuracy@k は正解した画像数を評価セットに含まれる全画像数で割った平均値を算出し，評価セット全体の精度を求める.

## 4 データセット

## 4.1 データセット構築

ここでは提案タスクのためのデータセット構築方法を提案する．先に述べた通り，Wikipediaのマークアップ MediaWiki ${ }^{9}$ に着目し, 英語版 Wikipedia からデータセットを構築する. Wikipedia のマークアップファイルには HTML の $\langle\mathrm{h}\rangle$ タグに相当する見出しタグで囲まれたセクションのテキストと， $\langle\mathrm{img}\rangle$ タグに相当する画像夕グ（キャプションを伴うことができる）が含まれる.画像夕グが記述されたセクションをその画像が割り当てられているセクションとみなす。これにより，Wikipediaの各記事から，提案タスクの入力となるテキスト集合と画像集合，および，予測対象となる画像からテキストへの正解の割り当てが得られ，機械的に大規模なマルチモー ダルタスク（提案タスク）のデータセットを構築することができる。この構築方法は, 機械的に低コストで構築するため，多少のノイズは含まれるものの ${ }^{10}$, 次節で説明するような既存のマルチモーダルデータセットには含まれない難解な事例が含まれていたり， マークアップのフォー マットが変わらない限りWikipediaの他の言語にも適用できるといった特長を持つ.

以下に実際の手続きを詳述する ${ }^{11}$ 。まず，英語版 Wikipedia dump ${ }^{12}$ に含まれる全ての記事からセクション，画像，および，キャプションを抽出した。この時，インフォボックスや表形式

のデータはセクションのテキストには含めなかった。また, マークアップ言語の解析に失敗した記事も除外した。その結果， 5,870,656 文書が得られた。次に，セクションの数が 10 以上 50 以下で，かつ，画像数が 2 以上 30 以下の文書のみ保持した。 下限値を設定したのは，タスクとしての難易度が簡単すぎるものを除外するためであり，上限値を設定したのは，画像が極端に多い記事はテキストがほぼ無い写真ギャラリーのような記事になり ${ }^{13}$, 本タスクには不適切と考え，それらを含めないようにするためである。これにより，161,763 文書が残った。続いて，残った文書に含まれる全ての画像を収集した。この時, 拡張子が jpeg, JPEG, jpg, JPG, png, PNGのいずれかである画像を収集対象とした，加えて，全ての画像をRGB 形式に変換し，画像のファイルサイズを圧縮する後処理を行った。最終的に， 66,947 文書および 320,200 画像からなるデータセットが得られた.

## 4.2 分析

表 1，2 に構築したデータセットの統計情報を示す.また， 2 節で言及した，広く使われている既存の代表的なマルチモーダルデータセットも合わせて載せている14. 本節では，提案夕スクのために構築したデータセットの特徴を定量的・定性的に述べる。

文数および単語数はいくらか?

公平な比較を行うため, 表 1 にある全てのデータセットに対し, 同一のライブラリ spaCy (Honnibal

 \\

表 1 ITeM データセットの統計情報, および, 既存の代表的なマルチモーダルデータセットとの比較. データセットによってテキストとして扱われる言語単位が異なるため，単位も合わせて記載.

表 2 文書, テキスト, 文単位における統計情報。*1画像に紐付いている全てのテキストを集めて文書とみなして算出（例えば，MS COCO において， 1 画像に紐付いている独立した複数のキャプション間に文書構造は存在しないが, それらを無視し文書とみなして算出).

and Montani 2017) ${ }^{15}$ を用いて, 文数および単語数をカウントした. その結果, 我々のデータセットには 1 千万以上の文が含まれており，各セクションは平均 8.9 文から構成されることが確認された。平均文長は 22.3 単語であり, 平均セクション長は 198.4 単語であった. また, 1 文書は平均 150.4 文から構成され，表 2 中の 2 番目に平均文数が大きい TQA データセットの約 2 倍であり， 1 文書に含まれる平均単語数は約 3.6 倍であった。このことから，提案タスクを解くためには，既存のマルチモーダルタスクに比べてより長いテキストの読解が要求されることがわかる.

## 1 文書および 1 セクションの平均画像数はいくらか?

我々のデータセットに含まれる画像数は 32 万以上で，表 1 の中でも大規模である．先述したように，我々のデータセットにおける 1 セクションには複数の画像が割り当てられうる（実際には平均 1.3 枚）が，TQA を除く他のデータセットにおけるテキスト（1キャプションや 1 質問文）にはタスクの設定上必ず 1 枚の画像しか結びつかない. これに加え，我々のデータセットは 1 文書あたり，すなわち， 1 事例あたり，平均 4.8 枚の画像を含む。従って，タスクを解くためには，複数の画像を考慮した推論が必要になると考えられる。

## 語彙数はどのくらい大きいか?

表 2 の語彙数を見ると, 我々のデータセットの語彙数は非常にロングテールであり, 他と比べても 2 桁規模が大きいことがわかる. Wikipedia はインターネット上にある最大の百科事典の一つであり，誰でも編集可能な性質を持つことから，我々のデータセットが普通名詞や固有名詞に限らず，一般常識および世界知識に関する多種多様な事柄をカバーすることは明らかである.このことから，既存のマルチモーダルタスクとは異なり，普段我々人間が目にするマルチモーダル文書を読み解く時と同じように，このタスクを解くシステムは多種多様な語彙を扱わ

## なければならない.

## ITeM タスクを解くために対処すべき技術課題は？

構築したデータセットからランダムに抽出した事例（サブセット）を著者らが確認し，夕スクを解くために対処しなければならない技術課題を特定，分類した. 1 節で述べた大きな 3 つの技術課題 (i)-(iii) に加え, 個別の事例を解くためには, 次のような技術課題に対処する必要があることを確認した。具体的には，キーフレーズ抽出，物体とキーフレーズのマッチング，シーン予測, 文字認識 (OCR), 図の理解, 文書全体からの情報統合や選択などである. 図 2 に具体例

(a)
シーン予測文字認識

## Wine

Oak wine barrels

## Storage

Wine cellars, or wine rooms, if they are above-ground, are places designed specifically for the storage and aging of wine. Fine restaurants and some private homes have wine cellars. (followed by 261 words but neither the words "oak" nor "barrels" appeared) (b)

(c)

文書全体からの情報統合/選択,文字認識, キーフレーズ抽出, 物体とキーフレーズのマッチング

## Montacute House

First floor: 1: Library (formerly known as the Great Chamber); (followed by names of the remaining numbered rooms)

First floor

The first floor contains one of the grandest rooms in the house, the Library. The room was formerly known as the Great Chamber; (followed by 444 words to describe the rooms in the floor)

## Railway platform

A common marking at curved platforms on the London Underground

## Curvature

(73 words precede) Usually such platforms will have warning signs, possibly auditory, such as London Underground's famous phrase "Mind the gap". (followed by 77 words)
Diagram illustrating how the relative over the course of the project Iterative and incremental (10 words precedes) The Elaboration

セクション Construction and Transition phase are divided into a series of timeboxed iterations. (followed by 54 words) the relative effort and emphasis will change over the course of the project.

Second-floor plan. Key: 1 : Long Gallery, (followed by names of the remaining numbered rooms)

## Second floor

A notable feature of the house is the 172-foot ( $52 \mathrm{~m}$ ) second-floor Long Gallery, spanning the entire top floor of the house; (followed by 192 words to describe the rooms in the floor)

(e)

図 $2 \mathrm{ITeM}$ データセットの具体例。図中のセクションは画像が割り当てられる正解テキスト．各事例を解く際に対処すべき技術課題も合わせて提示（図中の下線部はそれらに関連する部分）。

を示す ${ }^{16}$. 図中 (a)の画像の正解セクションを予測するには，画像中の物体が "spidertrike"であることを認識し，（キャプションを使用したとしても）約 200 語からなるセクションから同じテキスト表現（"spidertrike”という単語）を抽出し対応付けなければならない. 図中 (b)の例では画像中の個々の物体ではなく, 画像全体としてのシーン（ワインの貯蔵庫, storage であること）を認識する必要がある。また，キャプションに含まれる“Oak”や“barrels”といった表現は正解セクション中では使われていないため，直接的な手がかりになり得ない. 図中 (c) は OCR (Optical Character Recognition, 光学文字認識）を使用すれば，画像中の文字を手がかりに正解セクションを予測することが可能である，図中 (d) は OCR に加え，グラフ読み取りが必要な例である。グラフ中の列名を認識し，それを手がかりとして正解セクションの記述がグラフの説明であることを読み取らなければならない，図中 (e)では画像の類似性および互いに隣接し合うセクションの記述内容の類似性から，複数の画像のそれぞれの正解セクションを同時に予測しなければならない。また, 図はある建物のフロアマップを表しているため, OCR を行うかキャプション内の表現と，セクション内のテキスト表現のマッチングも行う必要がある. これらの技術課題は網羅的なものではないが，確認した事例において頻出したものである。上記の例を通して，実際のマルチモーダル文書における画像の使われ方は多岐にわたることが確認できる.

## 5 実験

本節では, 既存のマルチモーダル手法を提案タスク上で学習することによって提案タスクの妥当性および難易度を検証する。仮に, 既存の最高精度を達成したマルチモーダル手法を本夕スクで学習し極端な高成績を収めた場合，タスクの難しさとして既に簡単すぎるため，新たなマルチモーダルタスクとしての価値は低いかもしれない。逆に，既存の最高精度を達成した手法をもってしても全く解けなかった場合，タスクとして難しすぎるか，構築したデータセットに問題がある可能性がある．タスクとして難しすぎる場合，将来的に多くの研究者が取り組みたがらなければ，これもタスクの価値として大きいとはいえないだろう，従って，既存の手法がある程度提案夕スクを解くことができるが，改善の余地もある状態というのが適切な難易度であり，妥当なタスク設計であると考えられる，また，単に性能を評価するだけではなく，現在のマルチモーダル手法の限界や課題を見つけ，今後の研究に生かすことができる示唆に富む分析を行うことも重要であると考える.

## 5.1 検証モデル

提案タスクの妥当性および難易度を検証するモデルとして, Pythia (Jiang et al. 2018) および OSCAR (Li et al. 2020)の 2 手法を考慮する．Pythia は 2018 年に画像の質問応答タスクで最高精度を収めた手法であり，OSCAR は 2020 年に画像の説明文生成や質問応答を含む複数の代表的なマルチモーダルタスクにおいて最高精度を達成した Transformer (Vaswani et al. 2017) ベー スの手法である。1 節で述べたように, これら既存のマルチモーダルタスクは, 短文と 1 画像のペアが 1 事例として構成されているため, Pythia および OSCAR も入力データ形式が異なる本タスクではそのままの形では学習できない。そのため, 本タスクで学習を行うために, 複数文および複数画像を 1 事例として受け付けるための拡張を行う 17 . それぞれの手法の拡張を行った部分について以下で詳しく説明する。

## 5.1.1 拡張 Pythia

Pythia は画像の質問応答タスクを解くモデルとして提案された。画像と質問文が入力として与えられた時, Pythia はまずそれぞれをテキストエンコーダーと画像エンコーダーで特徴ベクトルに変換する，続いて，その特徴べクトルを用いて Attention 層を計算する。これは入力質問文に基づいて，入力画像のどの部分に注目するかを求めるためである。最後に, Attention が考慮された特徴べクトルから質問文に対する答えを生成する.

我々はこのモデルを複数テキストおよび複数画像を入力として受け取り, それらの入力に対して Attention 層を計算するように拡張する。このように拡張されたPythia は, 複数テキストおよび複数画像間のインタラクションを扱うように学習されることが期待される。図 3 に拡張 Pythia の概要を示す. 下記に拡張 Pythia 内部の計算方法を示す.

図 3 拡張 Pythia の概要. 灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す. $W$ と書かれたオレンジの円は提案タスクで学習対象のモデルパラメータを表す. 記号 $\otimes$ は行列積を表す. 灰色の数字は各操作後の特徴量の次元を表す.

テキストの処理に関しては, まず WordPiece tokenizer (Wu et al. 2016) を適用し18, 入力テキストに対するサブワード列を得る。次に，事前学習済みの BERT (Devlin et al. 2019)を用いて,得られたサブワードの最初の 512 語から特徵ベクトルを得る。 入力テキストが 512 サブワードを超える場合，それ以降のサブワードは使わないことになるが，表 2 より，我々のデータセットの 1 つのテキストに含まれる平均単語が 198.4 語であることを考慮すると, 512 という数字は十分大きいと考えられる。入力テキストが 512 サブワードを超えない場合は, ゼロベクトルで padding を行う. BERT から得られる各入力テキストの特徴ベクトルは, 最終隠れ層の [CLS] トークンに対応する出力を使用し, $d_{\mathrm{txt}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{txt}}=768\right)$.

画像の処理に関しては，事前学習済みの Convolutional Neural Networks (CNN) を使用する。具体的には， 18 層の Residual Network (ResNet) (He et al. 2016)を用いる. 提案タスクを解くためには, 画像全体を捉えることに加え, 画像の特定の領域に注目することが求められるため,画像全体の特徴べクトルに加え，画像の小領域の特徴ベクトルも取得する。 1 つの画像を $3 \times 3$ の小画像に分割し，それぞれの特徴べクトルを得ることで， 1 画像につき，合計 $K=10$ 個の画像ベクトルを得る（うち１つは全体画像の画像べクトルである）。各画像ベクトルは ResNet の最終 average pooling 層の出力を使用し， $d_{\mathrm{img}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{img}}=512\right)$.従って, 1 画像の画像特徵量は, $K \times d_{\mathrm{img}}$ の行列になる. 画像のキャプションも使用する場合は, 上述と同様のテキスト処理により BERT でキャプションの特徴べクトルを得た後, 各画像ベクトルと結合し画像特徴量とする。この時, 次元は $K \times\left(d_{\mathrm{img}}+d_{\mathrm{txt}}\right)$ となる.

続いて, 得られたテキストと画像の特徴量から, 入力テキストに基づいて注目すべき画像の領域 （小領域を含む）を求めるために，以下の方法で Attention層を計算する。まずテキストと画像の特徴量を結合した後, 線形変換を行い, 最後に softmax 関数を適用する， $\mathbf{S} \in \mathbb{R}^{|S| \times d_{\mathrm{txt}} \text { を文書内の }}$

とする． $\mathbf{S}$ を行べクトルに変形しつつ $\mathbf{V}(i)$ と結合し，テンソル $\mathbf{M}=[\mathbf{M}(1) \cdots \mathbf{M}(|V|)]$ を得る.

層 $\alpha$ を計算する。

$
\alpha=\operatorname{softmax}\left(\left(g_{2} \circ f \circ g_{1}\right)(\mathbf{M})\right) .
$

ただし, $f(\mathbf{X})=\operatorname{ReLU}(\mathbf{X}), g_{j}\left(\mathbf{X} ; \mathbf{W}_{j}, \mathbf{B}_{j}\right)=\mathbf{X} \mathbf{W}_{j}^{\top}+\mathbf{B}_{j}$ であり, $\mathbf{W}_{j}$ および $\mathbf{B}_{j}$ はモデルパラメータである。また, 計算された Attention 層は $\alpha \in[0,1]^{|V| K}$ の列べクトルとなる. 画像特徴量 $\mathbf{V}(i)$ に関して $\alpha$ による重み付き和を計算することで, Attentionを考慮した画像特徴量 $\widehat{\mathbf{V}}(i)$ を得る。

$
\widehat{\mathbf{V}}(i)=\Sigma_{k=1}^{K} \alpha_{(i-1) K+k} \mathbf{V}(i, k)
$

上記の式において $\mathbf{V}(i, k)$ は $i$ 番目の画像の $k$ 番目の小領域に対応する画像べクトルを表す.最終的に各画像 $v_{i} \in V$ の割り当て確率分布 $\phi_{i}$ は $\widehat{\mathbf{V}}$ と $\mathbf{S}$ を用いて, 次式で求める.

$
\phi_{i}=\operatorname{softmax}\left(\left(g_{3} \circ f\right)(\widehat{\mathbf{V}}(i)) \cdot\left(g_{4} \circ f\right)(\mathbf{S})^{\top}\right)
$

$g_{3}$ および $g_{4}$ による線形変換後のべクトルの次元が 256 となるように重み行列 $\mathbf{W}_{3,4}$ および $\mathbf{b}_{3,4}$ の次元を指定した．各画像に関する割り当て確率分布 $\phi_{i}$ を結合することで，割り当て行列 $\mathbf{A}=\left[\phi_{1} \cdots \phi_{|V|}\right]$ が得られる.ここから，各画像の予測割り当て $\mathbf{y}$ も $y_{i}=\operatorname{argmax} \phi_{i}$ として求められる，学習時には, 正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し, モデルの学習を行う.

## 5.1.2 拡張 OSCAR

OSCAR は MS COCO や Visual Genome を含む複数のマルチモーダルデータを結合した大規模データを用いて BERT のように事前学習を行い, さまざまなダウンストリームタスクで特徴量抽出器として使用される Vision and Language モデル (Khan et al. 2022)の一つである. Pythia や他の Vision and Language モデルと異なり，入力としてテキストと画像の他に画像中に含まれる物体の夕グも受け付ける点が特徴的である。物体夕グをテキスト表現の一種として扱うことで，画像中の物体に関する情報と入力テキストをより効果的に関連づけられることが期待される。 入力テキストと物体タグはテキストエンコーダーで特徴ベクトルを抽出し, 画像は画像エンコーダーで特徴ベクトルを抽出する。 その後, 得られた 2 種類の特徴ベクトルを結合したものを Transformerに渡し， self-attentionによりテキスト，物体タグ，画像をそれぞれ互いに関連づけた特徴表現を得る。

Pythia 同様, OSCAR を複数テキストおよび複数画像を受理するように拡張する ${ }^{19}$. 図 4 に拡張 OSCARの概要を示す.テキストの処理に関しては, OSCAR 自体にテキストエンコーダーとして事前学習済みの BERT を内包しているため, それを用いて特徴べクトルを得る. 各特徴べクトルは, 最終隠れ層の [CLS]トークンに対応する出力を使用し, $d_{\mathrm{txt}}$ 次元の実数ベクトルで表される $\left(d_{\mathrm{txt}}=768\right)$. 画像の処理に関しては, 事前学習済みの物体検出器である Faster R-CNN (Ren et al. 2016) を用いて特徴べクトルを計算する. Faster R-CNN は入力画像に対して, 重複を許容した最大 50 個の物体領域座標 $\left(6\right.$ 次元 $\left.{ }^{20}\right)$, その物体領域の特徴ベクトル $(2,048$ 次元 $)$, および，物体タグを確信度付きで返す。拡張 OSCARではこのうち確信度上位 K 個を使用する

図 4 拡張 OSCAR の概要. 灰色および白色の長方形はそれぞれ事前学習済みモデルおよび特徴量に対する操作を表す. オレンジの長方形および円は学習対象のモデルパラメータを表す. 記号 $\otimes$ は行列積を表す．灰色の数字は各操作後の特徴量の次元を表す.

$(K=15)^{21}$. 特徴ベクトルと物体領域座標を結合したべクトルに対し線形変換を行い, テキストの特徵ベクトルと同じ次元数 $d_{\mathrm{txt}}$ のベクトルを得る。線形変換には事前学習済みの OSCAR に内包されている Linear 層を用いた。一方で物体夕グは空白で区切って一列に並べ，キャプションがある場合は [SEP] トークンで結合し, OSCAR に内包された事前学習済み BERT 内の Embedidng 層に渡し, 対応する単語埋め込みを抽出する。この時点では self-attention を計算する前の単語埋め込みであることに注意されたい。これを $d_{\mathrm{txt}}$ 次元に線形変換された画像べクトルと結合し, OSCAR の Transformer 層で self-attention を計算し, 最終隠れ層の [CLS] トークンに対応するべクトルを入力画像の特徴ベクトルとする。この特徴ベクトルの次元数はテキストの特徴べクトルと同じである $\left(d_{\mathrm{img}}=d_{\mathrm{txt}}=768\right)$.

得られた $|S|$ 個のテキストと $|V|$ 個の画像の特徴量から，それぞれの関連度を計算するために，行列積を計算する。

$
\phi=\operatorname{softmax}\left(\left(\mathbf{V} \mathbf{W}_{\mathrm{img}}^{\top}+\mathbf{b}_{\mathrm{img}}\right) \cdot\left(\mathbf{S} \mathbf{W}_{\mathrm{txt}}^{\top}+\mathbf{b}_{\mathrm{txt}}\right)^{\top}\right) .
$

$\mathbf{V} \in \mathbb{R}^{|V| \times d}$ は文書内の全画像の特徴量であり, $\mathbf{S} \in \mathbb{R}^{|S| \times d}$ は文書内の全テキストの特徴量である $\left(\left(\right.\right.$ ただし,$\left.d=d_{\mathrm{txt}}=d_{\mathrm{img}}\right)$. また, $\mathbf{W}_{\mathrm{txt}, \mathrm{img}} \in \mathbb{R}^{d^{\prime} \times d}$ および $\mathbf{b}_{\mathrm{txt}, \mathrm{img}} \in \mathbb{R}^{d^{\prime}}$ はモデルパラメータである $\left(d^{\prime}=256\right)$.

既存研究 (Radford et al. 2021) においても行列積のみから十分効果的な特徵表現を学習でき, テキストと画像の関連度を計算できることが示されているため，得られた行列積 $\phi$ そのまま割り当て行列 $\mathbf{A}$ とみなし, 各画像のテキストの割り当て $\mathbf{y}$ を $y_{i}=\operatorname{argmax} \phi_{i}$ から求める. 学習時には, 拡張 Pythia 同様, 正解のテキストの割り当てとのクロスエントロピーを損失関数として使用し, モデルの学習を行う。

## 5.2 実験設定

4.1 節で構築したデータセットを $8: 1: 1$ にランダムに分割し, それぞれ訓練, 開発, 評価セットとした，分割した結果，それぞれのセットのデータサイズは $53,557,6,695,6,695$ 文書であった。学習時, 各事例内の画像の出現順をシャッフルし, モデルが画像の内容ではなく, 順番によって子予測を行わないようにした。一方で，セクションは文書としての前後のつながりがあるため, シャッフルせずに出現順を保持した. バッチサイズを 16 とし, 20 エポック学習を行い, 各エポックの終了時, 開発セットでの評価結果が最も高いエポックのモデルを保存した. Pythiaに関しては，原著論文に従い，AdaMax (Kingma and Ba 2015) で最適化を行い，学習率は 0.001 から始め, 1000 ステップで学習率が 0.01 になるまで単調に増加させ (warm-up), その後 5000 ステップ時から 2000 ステップ毎に学習率をその時点の学習率の 1/10 だけ減少させた. OSCARに関しても原著論文に従い, AdamW (Loshchilov and Hutter 2019) で最適化を行い，学習率は 0.00005 から始め, warm-up は行わず, 毎ステップ係数 0.05 で weight decay を行った ${ }^{22}$.

## 5.3 結果

表 3 に評価セットにおける実験結果を示す. 2 つ検証モデルはそれぞれ学習時に開発セットにおいて accuracy@1 で最高精度を達成した時のモデルパラメータを使用した。それに加え， 2 つのべースラインの結果も載せている。「ランダム」は各画像のテキスト割り当てをランダムに予測した場合の精度であり，「最頻値」は，訓練セットにおいて最も割り当てが多かったテキストの位置（インデクス）を常に予測した場合の精度である。表の最下部には，著者ら 3 人が個別に提案タスクを解いた時の accuracy@1 の平均值を載せている 23.

2 つ検証モデルは 2 つのべースラインに $12 \sim 45$ ポイント以上の差をつけ上回った. このことから，既存のマルチモーダル手法を用いたとしても，ある程度提案タスクに適合するように

表 3 提案タスクの実験結果.

学習されることを示している。 また, 拡張 OSCAR は拡張 Pythia に対して, 10１2 ポイント上回る結果となった。これは既存のマルチモーダルタスクで見られる傾向と同様で, 提案タスクにおいても近年の Transformer に基づくモデルが，それ以前の self-attention を用いないモデルよりも汎化性能が高いことを示している。しかしながら，拡張 OSCARでも人間の精度の約半分となっており，大きな改善の余地があることは明らかである。このギャップを埋める手法を構築することが今後の課題である.

次に, 検証モデルの提案タスクにおける学習の振る舞いをより詳しく見るために，入力データにおける Ablation study を行った。，具体的には，画像側の入力を画像のみ，または，キャプションのみとしたモデルを上記と同じ実験設定で学習し，評価セット上で比較した，結果を表 4 に示す. 両方の検証モデルにおいて，キャプションのみを使用したモデルが，両方のモダリティを使用したモデルより僅かに上回った（拡張 Pythia は accuracy@ $\{1,3,5\}$ の全てにおいて，拡張 OSCAR は accuracy@1のみにおいて)。これは，両モデルが画像とキャプションの特徴量を効果的に考慮できていないことを示唆する。一方で, Wikipedia から構築されたデータセットで提案タスクを解くにはキャプションのみで十分という可能性も考えられるが, 既存のマルチモーダルタスクにおいても, 同様の結果（画像とキャプションの特徴量を効果的に考慮できていないことを示唆する結果）が得られており (Kembhavi et al. 2016, 2017), この結果は使用したモデルに起因する可能性が高い，実応用として，本タスクを解いて得られたモデルをインター ネット上に存在するマルチモーダル文書データに適用することを考えると（例えば， Amazon ${ }^{24}$ のレビューや食べログ $25 \cdot$ TripAdvisor ${ }^{26}$ のロコミなどのテキストと画像が分離されているデー 夕), 必ずしもキャプションがついているとは限らないため, 画像のみ, または, 画像とキャプションの両方を使用するモデルの性能を向上させる方法を模索することが望ましい.

また, 本タスクが 1 節で述べた技術課題「(i) 長いテキストの読解」「(ii) 複数画像の考慮」が

表 4 検証モデルの Ablation study.

必要なタスクになっていることを検証するために，上記で結果が良かった拡張 OSCAR を用いて，以下の 2 つの実験設定で追加実験を行った.

(i) 各セクションの冒頭文 1 文のみをモデルに入力

(ii) 画像を複数枚同時ではなく個別にモデルに入力

結果を表 5 に示す. 構築したデータセットの分析（表 2）において，1 セクションに含まれる平均単語数が 198.4 であり長いテキストになっていたが, セクションの冒頭文だけ考慮しても夕スクが解けてしまう場合,「長いテキストの読解」が要求されるタスクにはなっていないことになる.しかしながら, 冒頭文のみを使用した場合, 精度が大きく下がったことから (accuracy@1で $32.41 \% \rightarrow 24.22 \%$ ), 本タスクを解くためには長いテキスト（複数文）を考慮する必要があることがわかる。また，拡張 OSCAR モデルは複数の画像を同時に入力することで, self-attention により他の画像情報も考慮するように拡張されたが，画像を個別に入力することで，他の画像情報を使わずに予測を行うこともできる。表 5-(ii)より, 画像を個別に入力した時, 精度 (accuracy@1) が約 1.5 ポイント下がることが確認された. このことから，複数の画像を同時に考慮しなければ解けない事例が含まれていることが示唆される27.

続いて，人間の精度が 6 割にとどまった原因を考察する。原因は, 今回実験で用いたデータセットは Wikipedia から構築されたものであり, 提案タスクを解くためには非常に幅広い知識を要求され, 人間にとってもやや難しいタスクになっていたためと考えられる。これを調べるため, 評価者 3 人の回答一致率を調べたところ, 3 人全員の回答一致率は $48.0 \%, 2$ 人以上の回答一致率は $91.0 \%$ であった. また, 記事毎の回答一致率も確認したところ, ばらつきが大きく,回答が一致する記事と全く一致しない記事の差が顕著であった. これは, Wikipedia には世界中のさまざまな事柄について詳細に記事に記されており，評価者の持つ知識がそれぞれ異なることで，容易に答えられる記事とそうでない記事が評価者によって異なったためと考えられる。 エンティティ関係抽出などの本研究と同様に世界知識を求められるタスクにおいても，夕スクの設定によっては人間の正解率が 7 割程度になったり (Yao et al. 2019), エンティティ間の関係認識タスクのデータセットにおけるアノテーション一致率もばらつきが大きくなる傾向にある (Hendrickx et al. 2010)など, 人間の精度に関して同様の傾向が報告されている.

表 5 提案タスクの特徴の検証実験.

られているためと考えられる。
}

## 5.4 分析

本節では, 提案タスクの事例の特徴，および，前節で評価実験を行った 2 つの検証モデルの提案タスクにおける学習傾向を定量的・定性的に分析する. 以降の分析は全て開発セットで行った.

## 5.4.1 定量分析

## 1 記事の画像数が多いほどタスクとして難しいか？

本タスクを解く場合，各画像について最も適切なテキスト（セクション）を与えられた記事内から選ばなければならないためセクション数が多くなるほどタスクが難しくなることは明らかである。一方で， 1 記事に含まれる画像数はタスクの難しさにどのように関係しているだうか.ここではその関係性について分析する。直感的には 1 記事に含まれる画像数が多くなるほど，画像同士の関係が複雑化し適切なテキスト割り当てを予測することが難しくなると考えられる。また，複数画像が含まれる記事でも，同じセクションにまとまって画像が割り当てられる記事は，画像同士の関連性が高く予測が比較的易しいと考えられ，逆にさまざまなセクションに分散して画像が割り当てられる記事は，画像同士の関連性は低くむしろそれぞれの画像とセクションの関連度を個別に考慮しなければならないため, タスクとしての難易度が高くなる考えられる。これを確かめるため, 1 記事に含まれる画像数と各画像が割り当てられているセクションの全セクション数に対する割合（すなわち，画像の割り当ての記事内でのばらつき度合い)，および，2つの検証モデルの精度との関係を分析した。それぞれの関係を表したのが，図 5 から図 7 である.

画像数

図 51 記事に含まれる画像数（横軸）とそれらの画像のばらつき度合い（散布図，左縦軸）および平均セクション数（折れ線，右縦軸）の関係. ばらつき度合いに関しては，色が濃いほどそのデー夕点における事例数が多く高頻度であることを示している。
図 5 の散布図を見ると， 1 記事あたり 8 枚以下の画像が含まれる記事は，画像が 1 セクションに集中して割り当てられてるものから（縦軸の値が小さいもの）, 別々のセクションに分散して割り当てられている記事まで（縦軸の値が大きいもの）おおよそ等しく分布しているが 28 , 9 枚以上含まれる記事では全セクションの 2 割から 7 割程度のセクションに画像が割り当てられている記事が多いことがわかる。このことから多くの画像が含まれている記事内では，複数画像が同一七クションに割り当てられることがあり，画像間である種のクラスタのようなものが形成され，同じトピックを表す画像はまとまって同じセクションに割り当てられると考えられ，この潜在的なトピックに気付くことが提案タスクを解くポイントになると思われる。一方で, 画像数と平均セクション数の関係（折れ線）を見ると, 画像数に関わらず平均セクション数は $25 \sim 35$ となっている ${ }^{29}$. このことから画像数とセクション数の間に強い相関はないことが示唆される.

図 6,7 は，それぞれ記事あたりの画像数と検証モデルの精度, 画像のばらつき度合い（画像が割り当てられているセクションの割合）と精度をプロットしたものである. どちらの検証モデルも，画像数が少ない記事や画像のばらつき度合いが小さい，すなわち，画像がまとまって割り当てられる記事ほど完璧に解けている（精度 1.0 の）記事数が多いが, 画像が多くなるにつれ，また，画像のばらつき度合いが大きくなるにつれ精度が下がっていることがわかる．特に Pythia はどちらの図においても右上の範囲のデータ点が OSCAR より少なく, この傾向が顕著である。これらの結果から，画像数が多くなるにつれ，また，画像が記事内の複数セクションに

図 6 記事毎の画像数 (横軸) と検証モデルの記事毎の精度 (縦軸) の関係. 色が濃いほど高頻度.

図 7 記事毎の画像のばらつき度合い（横軸）と検証モデルの精度（縦軸）の関係。色が濃いほど高頻度.

図 8 画像のばらつき度合いのヒストグラム。

図 9 正解と検証モデルの予測間の画像のばらつき度合いの差のヒストグラム。

分散して割り当てられている記事ほどタスクとして難しくなること，および，Pythia は OSCAR より画像間の潜在的なトピックを認識できていない可能性が高いと考えられる.

後者の可能性をさらに分析するため, 各記事の正解の画像のばらつき度合いと，検証モデルの予測による画像のばらつき度合い（予測された割り当てセクションの全体に対する割合）を比較した。図 8 に結果のヒストグラムを示す。図から, 正解 (gold) および OSCAR の予測によるばらつき度合いはともに $[0.1,0.2)$ が最頻値なのに対し, Pythia は $[0.0,0.1)$ が最頻値となっている。これは複数画像ある記事でも Pythiaの予測は特定のセクションに集中する傾向にあることを示唆している。図 9 は正解と検証モデルの予測による画像のばらつき度合いの差のヒストグラムである。これを見ると，OSCAR は正解との差が 0.1 未満である記事が大多数であるのに対し, Pythia は正解との差が大きい記事（差 0.2 以上）が一定数存在している. したがって，やはり Pythia は画像間の潜在的なトピックを考慮しているというより，画像が割り当てられるであろうセクションを記事内で選択し，そこに集中的に画像を割り当てていると考えられる。一方 OSCAR は，画像や画像に描かれた物体の類似性などからトピックのようなものを学習し，各トピックに合致するセクションに画像を分散させて割り当てていると考えられる.

## 検証モデルはキャプションに大きく頼ってタスクを解いているか？

構築したデータセットに含まれる画像にはキャプションがついているものが多い. 4.2 節で述べたように，構築したデータセットには多くの固有名詞が含まれており，画像のキャプションも同様である。キャプションに含まれる固有名詞表現と同じ（または一部重複する）表現が含まれるセクションを選べば正解となる可能性がある。その場合, 画像を全く考慮せずにタスクを解けてしまうことになるが，我々が目指すマルチモーダルモデルの学習にはなっていない，我々が今回使用した検証モデルの学習では, そのような望ましくない学習が起きていないと期待する.

この仮説を検証するため, 画像のキャプション中の単語とセクション中の単語の重複率と,検証モデルの精度の関係を調べた。単語の重複率は単語 uni-gram の Simpson 係数 (Vijaymeena

図 10 画像のキャプションと正解セクションの単語の重複率のヒストグラム。検証モデルでは正解した画像のみを考慮。

図 11 画像のキャプションと検証モデルの予測セクションの単語の重複率のヒストグラム。検証モデルでは不正解だった画像のみを考虑.

and Kavitha 2016)によって算出し, 算出の際, ストップワードおよび句読点等の記号は重複率の計算からは除外した ${ }^{30}$. Simpson 係数（重複率）は次式で求めた ${ }^{31}$.

$
\text { Simpson 係数 }(\text { 重複率 })=\frac{\text { 共通単語数 }}{\min (\text { キャプションの単語数, セクションの単語数 })} .
$

結果のヒストグラムを図 10,11 に示す. 図 10 の正解セクションとの重複率のヒストグラム (gold) から, 構築したデータセットには, キャプションとセクションの単語の重複率の観点において多少の偏りはあるものの，バランス良く事例が含まれていることがわかる．また，ヒストグラムの各ビンに注目すると，正解セクションとの個々の重複率の頻度におおよそ比例して，2 つの検証モデルもどの重複率においてもタスクを解けていることがわかる. 図 12 (b) にキャプションがない画像でも 2 の検証モデルが正しく正解セクションを予測した具体例を示す（次節で詳述する）。これより，検証モデルが画像を無視しキャプションに大きく依存してタスクを解いている可能性は低いと考えられる。図 11 は検証モデルが予測を誤った事例の予測セクションとキャプションの単語の重複率のヒストグラムである. 両モデルとも重複率が 0.5 以下の頻度が多くなっていることから，単語の重複率が小さいセクションに誤った予測を行っていることがわかる. キャプションに大きく依存しているならば，逆に重複率の大きいセクションに誤った予測を行うだろうから，この結果も検証モデルがキャプションのみに依存してタスクを解いていないことを示唆している。両モデルともセクション・キャプションの特徴べクトルとして BERT の [CLS] トークンに対応する隠れ層を使用しているため, 予測に必要な特定の固有名詞の情報がエンコード時に欠落し特徴ベクトルに十分反映されていないことがこの原因の一つとして考えられる．BERTの特徴表現に加えて，単語の重複情報も考慮するようなモデル

設計を行うことでこの問題が改善される可能性がある ${ }^{32}$.

## 提案タスクは既存のマルチモーダルタスクの性能向上に寄与するか？

表 1 に示したように Wikipedia から構築したデータセットは, 既存のマルチモーダルタスクのデータセットに比べて大規模であり，多様な言語表現および視覚概念を含む. このことから，提案タスクにおける学習もVision and Languageの事前学習の一種とみなし, 提案タスクで学習したモデルを既存のダウンストリームタスクで fine-tuning することで性能向上できるのではないかと考えた。そこで表 3 の評価実験の結果が良かった拡張 OSCARを，ITeM タスク固有のモデルパラメータを取り去り（具体的には，式 (6) に関係するモデルパラメータ), 原著論文 (Li et al. 2020)に従って同じハイパーパラメータおよび実験設定を用いて，5つのダウンストリームタスク(VQA，GQA，NLVR2， Image Captioning, Image/Text Retrieval) でそれぞれ fine-tuning を行った ${ }^{33}$.

表 6 に結果を示す. GQA タスクでは提案タスクで事前学習を行わなかった OSCARをわずかに上回ったものの，それ以外のタスクでは同等か下回る結果になった.したがって，期待に反してダウンストリームタスクにおける性能向上にはつながらなかった. 原因として, 提案夕スクの学習で用いたデータとダウンストリームタスクにおけるデータのテキストおよび画像のデータ分布の乘離が考えられる。ダウンストリームタスクで使用されるデータには固有名詞はほとんど出現せず，地図や国旗，グラフのような Wikipediaで使用されるイラスト画像も含まれない. このようなドメインの異なるデータで事前学習を行ったことが, 性能向上に至らなかった可能性が高い，既存研究においても，ドメインの異なるマルチモーダルデータでモデルの評価を行うと，たとえ大量のデータでモデルを学習したとしても，同じドメインでの結果ほど高い精度が得られないことが報告されている (Srinivasan et al. 2021). しかしながら，より直接的な原因を特定するためには詳しい分析が必要である.

表 6 Vision and Languageのダウンストリームタスクの実験結果. タスク名の下にはそれぞれのタスクの評価指標を示してある。acc は精度，B@4 は BLUE@4，M は METEOR， C は CIDEr， S は SPICE, T@ $\{1,5\}$ は text-to-image の Recall@ $\{1,5\}, \mathrm{I}\{1,5\}$ は image-to-text の Recall@ $\{1,5\} を$ それぞれ表し，全て数字が大きいほど良い性能である.

実用的なマルチモーダルシステムの構築を目指すならば，Wikipediaのような Web 上に存在するマルチモーダルデータもうまく扱うことができることが望ましい. 既存のべンチマークとして使用されているマルチモーダルデータセットにおいてこれらの性能が正しく評価されているかという点についても継続的な議論を行っていくべきであると考える。一方で, ドメインの異なるタスク・データにモデルを適用させる際は, 転移学習が有効であることも知られている.例えば，BERT などの事前学習済み大規模言語モデルを他ドメインに適用させる際は，そのドメインのデータで追加事前学習を行ったり (Gururangan et al. 2020), fine-tuning 時に単語分割器も同時に最適化する (平岡他 2022)などの手法が有効であることが知られている. これらの手法の適用可能性や有効性を検証することは今後の課題である.

## 5.4.2 定性分析

ここでは, 検証モデルが実際に学習できた事例, 学習に失敗した事例を通して提案タスクと検証モデルの特徴について考察する。開発セットにおいて，2つの検証モデルが共に正解セクションを正しく予測できた割合は全体の $7.7 \%$ （2,421画像）だった. これらの事例を人手で確認したところ, 共通して学習できたと思われるテキストと画像間の対応関係パターンが見つかった.例えば，図 $12(\mathrm{a})^{34}$ に示すように，白黒画像やセピア調の画像は過去の出来事を説明しているセクションに割り当てられる傾向にあることを学習した。他にも, 衛生画像や広範囲の景色を映したランドスケープ・パノラマ画像，および，地図画像は国や地域に関する記事の地理・地形を説明しているセクションに対応することを学習し（図 12 (a) 中央の例), 建造物の外観全体を映した画像は著名な建築物や有名な観光スポットを説明するセクションに対応することを学習している（図 12 (a) 右の例）ことが複数確認された. 白黒画像や地図画像, それらのキャプション中やセクション中に現れる固有名詞表現等は表 1 に挙げた既存のマルチモーダルデータセットにはほとんど含まれないため，本タスクを通してそれらの画像やテキストの特徴およびその対応関係を学習したといえる。

より難しい事例として，キャプションが全くない画像が考えられる．正解セクションを予測するには，画像のみを手がかりとし画像中の物体を正しく認識し，時には画像間の関連性も考慮しながら適切なセクションを選ぶ必要がある。開発セットにキャプションがついていない画像は 97 件含まれていた。このうち, Pythia は 12 件 (12.37\%), OSCAR は 30 件 $(30.93 \%)$ 正しく正解セクションを予測できた。具体例を図 $12(\mathrm{~b})^{35}$ に示す. 図中の 4 枚の画像は全てキャプションがついておらず，またこの記事は 14 セクョンから構成される記事だったが，2つの検

satellite image Map of Sylt (North of Sylt Frisian, German ...

Geography

With 99.14 square kilometres

( 38.28 square miles), Sylt is the fourth-largest German ... the Togo National Museum

Lomé

bu

Architecture and urbanism Notable landmarks in the city include Lomé Grand Market, the Togo National Museum ..

学習した典型的なテキストと画像の対応関係の例.

Rushey Mead

## The World Tree

Located in Rushey Mead, on the corner of Melton Road and Troon Way, is a 5m high steel セクション tree sculpture with bronze light bulbs on the branches. It stands opposite the former site of the GE-Thorn Lighting factory, in which a Sainsbury's supermarket now occupies. It cost $£ 62,000$ and was paid for by Sainsbury's. It was unveiled on the 4th of March 2016 by the Speaker of the House of Commons John Bercow in the attendance of Mayor of Leicester Peter Soulsby and Leicester East MP Keith Vaz.

(b) 検証モデルがキャプションなし画像に対して正しく正解セクションを予測できた例.

予測された

セクション

正解

セクション
Boot

Boot hooks (left) and a boot jack (right) are sometimes required to put on or take off some types of boots

## Boot

A boot or boots is a type of footwear and not a specific type of shoe. ...

## Boot parts and accessories
- Spats

- Boot jack

- For the parts of a boot, see Hiking boot\#Parts (link)

5-megapixel camera phones from 2007: Nokia N95, ...

The bottom left image has a diffusion filter applied to the original image (shown in the top left)...

## Camera phone

A camera phone is a mobile phone which is able to capture photographs, ...

## History

... In 2005, Nokia became the world's most sold digital camera brand. In 2006, half of the world's mobile phones

## Photographic filter

In photography and cinematography, a filter is a camera accessory consisting of an optical filter ..

## Diffusion

A diffusion filter (also called a softening filter) softens subjects and generates a dreamy haze ...

(c) 検証モデルが予測を誤ったよりハイレベルな読解力が求められる例.

図 12 検証モデルの予測例. キャプションやセクションが長い場合は一部のみ抜粋.
証モデルは 4 枚全ての画像を正しいセクション「The World Tree」に割り当てた. これらの画像は全て「The World Tree」(図 12 (b)の一番左端の画像に描かれた木の彫刻) とその周辺の物を描いたものである．各画像を独立に考慮してしまうと 4 枚の画像のうち左端を除く 3 枚の画像が木の彫刻（の全体）が描かれていないため正解セクションに関連する画像であると推測することが難しくなると思われるが 36,2 つ検証モデルは画像間の背景が似ていることや式 (5) および (6) から画像間の関連性を考慮し，正しいセクションを予測したと考えられる。したがってこの例は，本タスクによって，既存のマルチモーダルタスクで扱われてこなかった複数画像を関連づける処理が学習できていることを示唆している．5.3 節の実験結果から精度上は人間の性能にまだ及ばないものの，人間がマルチモーダル文書を読む上で自然に行っているこのような処理を適切なタスク設計することで学習可能であることを示唆する結果が得られたことは非常に興味深い.

しかしながら，人間の性能とのギャップを埋めるためにモデルが改善すべき点もいくつか確認された. 図 12 (c)に具体例を示す 37 . 図 12 (c) 左の例は, 画像中の物体やキャプションの情報を抽象化するのに失敗した例である。描かれた物体はブーツの部品や付属品の具体例であり， これらは「ブーツ」に関する記事の「Boot parts and accessories」を説明しているセクションに割り当てるのが妥当である。キャプションと正解セクションには「boot jack」という単語列も共通して現れている。しかしながら，2つの検証モデルはいずれもこの画像を第 1 セクション， すなわち，記事タイトル直下のブーツの概要を説明しているセクションに割り当てた。おそらくこの原因は，第 1 セクションおよびキャプション中にブーツに関連する表現 (boots, footwear, shoe や put on, take off など）があり，それらが強く結び付いてしまったためと考えられる。この事例は画像中の物体そのものを考慮するのではなく, 物体は例示の目的で使われていることを認識し，抽象化して正解セクションを予測しなければならない，図 12 (c) 中央の例は，描かれている物体の時代変化を認識することに失敗している。人工物や生物は, それを呼称する名前（商品名, 個人名, 概念としての名称）は変わらなくとも, 時が経つにつれてその視覚的特徴 (外観, 形状など）がしばしば変化する。図 12 (c) 中央の画像は 2000 年代のカメラ機能付き携帯電話を映したものであり，2，3世代前の携帯電話であることから，記事「Camera phone」の 「History」セクションに割り当てるのが正しい. キャプションからも画像中の「camera phone」 が「2007」年のものであることを読み取れるし,「History」セクションも各年代ごとにその年代を代表する「camera phone」の説明をしている。しかし, この例も上記の例と同様, 2 つの検証モデルは画像中の物体が「(camera) phone」であることにのみ注目し「camera phone」の概要

を述べている第 1 セクションに誤って割り当てている。このことから両モデルは（カメラ付き）携帯電話の視覚的特徴が時代変化することをうまく学習できていないと思われる. これまでのマルチモーダル手法も，ある時に一度だけ画像を収集し作られたデータセット上（MS COCO (Lin et al. 2014) や Visual Genome (Krishna et al. 2017) など) で学習されていたため, これと同様の問題が起きる可能性がある。図 12 (c) 右の例は, 画像中の物体に注目するのではなく,画像（小領域）の変化/差分を認識しなければ解けない事例である。画像は 4 つの小領域で構成され，左上の小領域に対して，異なる画像処理 (photographic filter) を適用した結果が残りの小領域となっている。左上の小領域から左下の小領域への変化が正解セクションで説明されている「Diffusion」と呼ばれる画像処理であり, 小領域の視覚的差分がこれに合致することを認識しなければならない. マルチモーダル文書における画像の 1 つの用法としてこのような対比が使われることがある。例えば，ある処理の適用前後の対比や同一視点・同一被写体の時間変化 (夜空の星の動きなど), taxonomy 上で同じ階層に位置する概念の比較（ゴールデンレトリバー とラブラドールレトリバーの比較等）などがある. この他にもマルチモーダル文書における画像の使われ方はさまざまであり，Marsh and White (2003) はその使用法について実際に存在する Web 記事を調査し， 49 種類の使用法があることを発見し， taxonomyを構築している．実用的なマルチモーダルシステムを構築するためには, これらの用法に合わせた画像理解ができるように改善を今後していくことが望ましい，我々は，本タスクおよびこれらの分析が，より有用なマルチモーダル手法の構築に繋がることを期待する.

## 6 おわりに

本研究では, 実用的なマルチモーダルシステムの構築を目指し, マルチモーダル文書中の画像とテキストのマッチングを求める新たなタスク Image-to-Text Matching (ITeM) を提案した. また, マークアップに着目し英語版 Wikipedia から機械的に提案タスク用のデータセットを構築する方法も提案した，構築したデータセットは，既存の単一言語からなるマルチモーダルデー 夕セットと比べ, 画像数, 文書数, 語彙数の観点で大規模であり, 多様な言語表現, 視覚的概念, 画像の用法を含むことを示した．提案タスクの妥当性, 難易度を測るために，既存のマルチモーダル手法を本タスク上で動作するように最低限の改良を施し，評価実験を行った。その結果, 既存のマルチモーダル手法は 3 割から 7 割の精度でタスクを解くことができることを確認したが，人間の性能との間にはまだ差があり改善の余地があることがわかった．定量的および定性的に結果を分析したところ，1文書あたりの画像数が多くなるほど，また，画像が文書内に散りばめられている文書ほど問題が難化する傾向にあることを確認した。一方で，これまでのマルチモーダルタスクで扱われてこなかった複数画像を考慮するという処理など興味深い学習が行われていることを示唆する結果も得られた。今後は提案タスクで事前学習したモデル

が既存のマルチモーダルのダウンストリームタスクで性能向上が見られなかった原因を調査し，提案手法およびその他のダウンストリームタスクでも性能向上を達成する手法の開発を目指す. また, 本研究を発展させ, 本研究で扱った 1 節の技術課題を含むマルチモーダルデータと同種のデータ（Amazon や食ベログ，TripAdvisor 等のレビューや Facebook 等の投稿, ウェブニュー スの記事などのテキストと画像が分離されているデータ）や提案タスクに類似する夕スク（新聞記事の適切な画像選定や物語からの自動絵本生成等）に取り組む研究や実応用に繋がることを期待する。

## 謝 辞

本研究は JSPS 科研費 $19 \mathrm{H} 01118$ の助成を受けたものです。本稿の査読にあたり，查読者の方から本稿をより良くするため，多くの有益で建設的な意見をいただいたことに感謝いたします。本稿を執筆するにあたり，研究室の学生からたくさんのご助言をいただきました。ここに感謝します。

## 参考文献

Agrawal, A., Lu, J., Antol, S., Mitchell, M., Zitnick, C. L., Parikh, D., and Batra, D. (2017). "VQA: Visual Question Answering." International Journal of Computer Vision, 123 (1), pp. 4-31.

Agrawal, H., Chandrasekaran, A., Batra, D., Parikh, D., and Bansal, M. (2016). "Sort Story: Sorting Jumbled Images and Captions into Stories." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 925-931.

Antol, S., Agrawal, A., Lu, J., Mitchell, M., Batra, D., Lawrence Zitnick, C., and Parikh, D. (2015). "VQA: Visual Question Answering." In Proceedings of the IEEE International Conference on Computer Vision, pp. 2425-2433.

Bansal, A., Zhang, Y., and Chellappa, R. (2020). "Visual Question Answering on Image Sets." In Proceedings of the European Conference on Computer Vision (ECCV), pp. 51-67.

Bird, S., Klein, E., and Loper, E. (2009). Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O'Reilly Media, Inc.

Biten, A. F., Gomez, L., Rusinol, M., and Karatzas, D. (2019). "Good News, Everyone! Context Driven Entity-aware Captioning for News Images." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 12466-12475.

Bosselut, A., Chen, J., Warren, D., Hajishirzi, H., and Choi, Y. (2016). "Learning Prototypical

Event Structure from Photo Albums." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1769-1779.

Changpinyo, S., Sharma, P., Ding, N., and Soricut, R. (2021). "Conceptual 12M: Pushing WebScale Image-Text Pre-Training To Recognize Long-Tail Visual Concepts." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3557-3567.

Desai, K., Kaul, G., Aysola, Z. T., and Johnson, J. (2021). "RedCaps: Web-curated Image-text Data Created by the People, for the People." In 35th Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Goyal, Y., Khot, T., Summers-Stay, D., Batra, D., and Parikh, D. (2017). "Making the V in VQA matter: Elevating the Role of Image Understanding in Visual Question Answering." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6904-6913.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. $770-778$.

Hendrickx, I., Kim, S. N., Kozareva, Z., Nakov, P., Ó Séaghdha, D., Padó, S., Pennacchiotti, M., Romano, L., and Szpakowicz, S. (2010). "SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations between Pairs of Nominals." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 33-38.

Hessel, J., Lee, L., and Mimno, D. (2019). "Unsupervised Discovery of Multimodal Links in Multiimage, Multi-sentence Documents." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 2034-2045.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2022). 単語分割と後段モデルの損失値を用いた同時最適化. 自然言語処理, 29 (1), pp. 112-143. [T. Hiraoka, et al. (2022). Joint Optimization of Word Segmentation and Downstream Model using Downstream Loss. Journal of Natural

Languege Processing, 29 (1), pp. 112-143].

Honnibal, M. and Montani, I. (2017). "spaCy 2: Natural Language Understanding with Bloom Embeddings, Convolutional Neural Networks and Incremental Parsing.".

Hossain, M. Z., Sohel, F., Shiratuddin, M. F., and Laga, H. (2019). "A Comprehensive Survey of Deep Learning for Image Captioning." ACM Computing Surveys (CSUR), 51 (6), pp. 118:1-118:36.

Iyyer, M., Manjunatha, V., Guha, A., Vyas, Y., Boyd-Graber, J., Daume, H., and Davis, L. S. (2017). "The Amazing Mysteries of the Gutter: Drawing Inferences between Panels in Comic Book Narratives." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7186-7195.

Jiang, Y., Natarajan, V., Chen, X., Rohrbach, M., Batra, D., and Parikh, D. (2018). "Pythia v0.1: The Winning Entry to the VQA Challenge 2018." arXiv preprint arXiv:1807.09956.

Kafle, K. and Kanan, C. (2017). "Visual Question Answering: Datasets, Algorithms, and Future Challenges." Computer Vision and Image Understanding, 163, pp. 3-20.

Kembhavi, A., Salvato, M., Kolve, E., Seo, M., Hajishirzi, H., and Farhadi, A. (2016). "A Diagram is Worth a Dozen Images." In European Conference on Computer Vision, pp. 235-251.

Kembhavi, A., Seo, M., Schwenk, D., Choi, J., Farhadi, A., and Hajishirzi, H. (2017). "Are You Smarter than a Sixth Grader? Textbook Question Answering for Multimodal Machine Comprehension." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4999-5007.

Khan, S., Naseer, M., Hayat, M., Zamir, S. W., Khan, F. S., and Shah, M. (2022). "Transformers in Vision: A Survey." ACM Computing Surveys (CSUR), 54 (10s), pp. 1-41.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15.

Krause, J., Johnson, J., Krishna, R., and Fei-Fei, L. (2017). "A Hierarchical Approach for Generating Descriptive Image Paragraphs." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 317-325.

Krishna, R., Zhu, Y., Groth, O., Johnson, J., Hata, K., Kravitz, J., Chen, S., Kalantidis, Y., Li, L.-J., Shamma, D. A., Bernstein, M. S., and Fei-Fei, L. (2017). "Visual Genome: Connecting Language and Vision using Crowdsourced Dense Image Annotations." International Journal of Computer Vision, 123 (1), pp. 32-73.

Li, X., Yin, X., Li, C., Zhang, P., Hu, X., Zhang, L., Wang, L., Hu, H., Dong, L., Wei, F., et al. (2020). "Oscar: Object-semantics Aligned Pre-training for Vision-language Tasks." In European Conference on Computer Vision, pp. 121-137.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., and Zitnick, C. L. (2014). "Microsoft COCO: Common Objects in Context." In European Conference on Computer Vision, pp. 740-755.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings of the 7th International Conference on Learning Representations, pp. 1-18.

Marsh, E. E. and White, M. D. (2003). "A Taxonomy of Relationships between Images and Text." Journal of Documentation, 59, pp. 647-672.

Mathew, M., Bagal, V., Tito, R., Karatzas, D., Valveny, E., and Jawahar, C. (2022). "InfographicVQA." In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1697-1706.

Mathew, M., Karatzas, D., and Jawahar, C. (2021). "Docvqa: A Dataset for VQA on Document Images." In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer vision, pp. 2200-2209.

Muraoka, M., Kohita, R., and Ishii, E. (2020). "Image Position Prediction in Multimodal Documents." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4265-4274.

Ordonez, V., Kulkarni, G., and Berg, T. (2011). "Im2Text: Describing Images Using 1 Million Captioned Photographs." In Proceedings of the 24th International Conference on Neural Information Processing Systems, Vol. 24, pp. 1143-1151.

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., and Sutskever, I. (2021). "Learning Transferable Visual Models from Natural Language Supervision." In International Conference on Machine Learning, pp. 8748-8763.

Ren, S., He, K., Girshick, R., and Sun, J. (2016). "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks." IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (6), pp. 1137-1149.

Schuhmann, C., Beaumont, R., Gordon, C. W., Wightman, R., Cherti, M., Coombes, T., Katta, A., Mullis, C., Schramowski, P., Kundurthy, S. R., Crowson, K., Wortsman, M., Vencu, R., Schmidt, L., Kaczmarczyk, R., and Jitsev, J. (2022). "LAION-5B: An Open Large-scale Dataset for Training Next Generation Image-text Models." In 36th Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

Schuhmann, C., Vencu, R., Beaumont, R., Kaczmarczyk, R., Mullis, C., Katta, A., Coombes, T., Jitsev, J., and Komatsuzaki, A. (2021). "LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs." In NeurIPS Workshop Datacentric AI, No. FZJ-2022-00923,
pp. $1-5$.

Shah, S., Mishra, A., Yadati, N., and Talukdar, P. P. (2019). "KVQA: Knowledge-Aware Visual Question Answering." In Proceedings the 33rd AAAI Conference on Artificial Intelligence, Vol. 33, pp. 8876-8884.

Sharma, P., Ding, N., Goodman, S., and Soricut, R. (2018). "Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565.

Srinivasan, K., Raman, K., Chen, J., Bendersky, M., and Najork, M. (2021). "Wit: Wikipediabased Image Text Dataset for Multimodal Multilingual Machine Learning." In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2443-2449.

Tanaka, R., Nishida, K., and Yoshida, S. (2021). "VisualMRC: Machine Reading Comprehension on Document Images." Proceedings of the AAAI Conference on Artificial Intelligence, $\mathbf{3 5}$ (15), pp. 13878-13888.

Thomee, B., Shamma, D. A., Friedland, G., Elizalde, B., Ni, K., Poland, D., Borth, D., and Li, L.-J. (2016). "YFCC100M: The New Data in Multimedia Research." Communications of the $A C M, 59(2)$, pp. 64-73.

Tito, R., Karatzas, D., and Valveny, E. (2021). "Document Collection Visual Question Answering." In International Conference on Document Analysis and Recognition, pp. 778-792.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, Vol. 30, pp. 6000-6010.

Vijaymeena, M. and Kavitha, K. (2016). "A Survey on Similarity Measures in Text Mining." Machine Learning and Applications: An International Journal, 3 (2), pp. 19-28.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Wu, Q., Teney, D., Wang, P., Shen, C., Dick, A., and van den Hengel, A. (2017). "Visual Question Answering: A Survey of Methods and Datasets." Computer Vision and Image Understanding, 163, pp. 21-40.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y.,

Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint arXiv:1609.08144.

Xu, Y., Xu, Y., Lv, T., Cui, L., Wei, F., Wang, G., Lu, Y., Florencio, D., Zhang, C., Che, W., Zhang, M., and Zhou, L. (2021). "LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591.

Xu, Y., Li, M., Cui, L., Huang, S., Wei, F., and Zhou, M. (2020). "Layoutlm: Pre-training of text and layout for document image understanding." In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \&S Data Mining, pp. 1192-1200.

Yao, Y., Ye, D., Li, P., Han, X., Lin, Y., Liu, Z., Liu, Z., Huang, L., Zhou, J., and Sun, M. (2019). "DocRED: A Large-Scale Document-Level Relation Extraction Dataset." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777.

Zhu, Y., Kiros, R., Zemel, R., Salakhutdinov, R., Urtasun, R., Torralba, A., and Fidler, S. (2015).

"Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books." In Proceedings of the IEEE International Conference on Computer Vision, pp. 19-27.

## 略歴

村岡雅康：2016 年東北大学大学院情報科学研究科博士前期課程修了. 同年,日本アイ・ビー・エム株式会社に入社. 2020 年 10 月より東京工業大学情報理工学院博士後期課程に在学. 言語処理学会会員.

岡崎直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て，2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.

小比田涼介：2018 年奈良先端科学技術大学院大学情報工学科博士前期課程修了.同年, 日本アイ・ビー・エム株式会社に入社.

石井悦子：2019 年東京大学工学部計数工学科卒業. 同年より Department of

Electronic \& Computer Engineering, The Hong Kong University of Science and Technology, 博士課程に在学. ACL 学生会員.

(2022 年 5 月 31 日受付)

(2022 年 8 月 31 日再受付)

(2022 年 9 月 29 日採録)


# 景気単語極性辞書の構築とその応用

五島 圭一 $十$ ・新谷 元嗣 $\dagger \cdot$ 高村 大也 ${ }^{\dagger \dagger}$

本稿では，マクロ経済分野に特化した景気単語極性辞書の構築とその応用例を示す。

日本経済新聞の新聞記事コーパスから景気関連の単語の選定し, 複数人のエコノミ ストによるクラスラベルの付与を行った。さらに教師あり学習で収録単語を補完し た.また, 構築した極性辞書の応用例として, 景気動向を迅速に捕捉することが可能な経済ニュース指数を作成した。

キーワード：極性辞書，マクロ経済学，景気循環
## Sentiment Dictionary for Business Cycle Analysis and its Applications

\author{
Keilchi Goshima $^{\dagger}$, Mototsugu Shintani $^{\dagger}$ and Hiroya Takamura ${ }^{\dagger \dagger}$
}

In this study, we construct a sentiment dictionary for the macroeconomic domain and present its applications. Our dictionary contains words selected by several economists from a corpus of newspaper articles on topics related to the economy. This was supplemented with additional words by using supervised learning. We use our sentiment dictionary to construct a daily business cycle index designed to capture the current state of the economy in a timely manner.

Key Words: Sentiment Dictionary, Macroeconomics, Business Cycle

## 1 はじめに

適切な経済政策の運営には，足もとの景気動向をできるだけ迅速かつ正確に把握することが肝要である。ところが，一国のマクロ経済活動の最も重要な指標である GDP（国内総生産）は, 3 か月に 1 度しか観測されない四半期データであり, 対象とする四半期の終了から一次速報値の公表までに約 6 週間を要する。景気の現状判断のための速報性を重視した景気動向指数の一致指数については，より観測頻度の高い月次データである鉱工業生産指数，有効求人倍率，全産業の営業利益, 小売業や卸売業の商業販売額等, 合計 10 個の一致系列を統合することで計算されるが，それでも対象とする月から 1 か月以上公表が遅れてしまう。そこで景気動向指数の採用系列のような数値による伝統的な構造化データに代わり, テキスト情報, 位置情報, 決済情

報, 衛星画像情報を含む非構造化データやオルタナティブデータを利用することによって高頻度かつ高精度に足もとの経済活動を把握する，いわゆるナウキャストの試みが近年進められている。特に，直近の新型コロナ感染症拡大に伴う景気後退局面では，位置情報のデー夕を用いた生産活動のナウキャストやクレジットカード決済情報のデータを用いた消費活動のナウキャストが注目を集めた (王他 2021 ; 日本銀行 2020)，本稿では，テキスト情報のデータを用いた景気動向のナウキャストや将来予測に有用であると考えられるマクロ経済分野の新しい極性辞書（以下，景気単語極性辞書）の構築とその応用可能性に関する技術報告を行う.

伝統的なデータでは直接観測することが困難であったマクロ経済の変動要因を，政府や民間のテキストデータから定量化する研究は, 当初は英語圈の欧米経済の分析を中心に進められてきた. 著名な研究例としては，新聞のニュース記事中の経済政策の不確実性に関する単語の出現頻度を数値化した経済政策の不確実性指数があり，この指数はマクロ経済活動に占める不確実性の波及効果の分析で頻繁に利用されている (Baker et al. 2016). また, 中央銀行の議事録に対してトピックモデルを適用し, 様々なマクロ経済現象の中から, 特に中央銀行が重視するトピックを抽出することによって金融政策の要因分析を行う試みもある (Hansen and McMahon 2016). さらに GDP, インフレ率, 失業率等の主要なマクロ経済変数の将来予測についても, 伝統的なデータのみを用いる従来の方法に比べて，新聞記事等のテキストデータを活用することで予測力が改善されるという共通認識も広まっている (Kalamara et al. 2022). これらのマクロ経済分析で用いられたテキストデータの数值化では, 計算言語学や自然言語処理等の分野で開発されてきた分析手法や言語資源等が重要な役割を担ってきた.

このようにテキストデータを利用した分析は近年のマクロ経済研究に大きく寄与している一方で, 多くの研究は英語を対象としたものであり, 日本語を対象とした研究の数は相対的に少ない. この理由としては, 日本語で記述されたテキストデータの分析を研究対象とするマクロ経済学者が少ないことに加えて，マクロ経済分野に適した日本語の言語資源の不足がある。例えば，前述の (Kalamara et al. 2022)は, 英語の新聞ニュース記事を用いた英国マクロ経済の将来予測の分析であるが, 複数の極性辞書やルールからテキストデータを指数化することによって予測変数を作成している。このように, 英語の分析では評価の定まった辞書やルールが利用できる一方で, マクロ経済分野で確立された日本語の極性辞書は存在しない1. さらに, 英語の先行研究と同じ一般的な手続きを採用しようとしても, 経済分析に適した単語分割やストップワードの除去等の日本語の前処理方法に関する研究の蓄積も十分とはいえない.このような日本語の言語資源の不足は，テキストデータを用いたマクロ経済研究の敷居を高める要因となっ

ている。以上の問題意識から, マクロ経済分野, 特に景気動向の現状把握と将来予測に適した日本語の景気単語極性辞書の構築は，テキストデータを用いた経済研究の発展に貢献できると考えられる².

## 2 関連研究

日本語の極性辞書の構築を試みた先行研究は数多くあり，その一部では，研究成果として極性辞書が公開されている (小林他 2005; Takamura et al. 2005; Kanayama and Nasukawa 2006; Kaji and Kitsuregawa 2007). ただし，こうした先行研究で公開されている極性辞書は一般的な用途を想定したものが多く，特定のドメインに対してはうまく機能しない可能性がある．実際に，テキスト分析におけるドメイン考慮の重要性は周知であり, (Turney 2002) や (Qiu et al. 2009) では一般的な辞書で全てのドメインに対応することは難しく， ドメインごとに辞書を新たに構築する必要があると論じている。また, (Liu 2012)では, センチメント分析はドメイン依存性が高いことを指摘している，以上の観点から，本稿のようにマクロ経済ドメインに特化した極性辞書の構築は重要な課題であると言える.

## 3 景気単語極性辞書に収録する単語候補の選択

本章では，景気単語極性辞書に収録する単語の選択手順について記述する。本稿では，マク口経済分析, 特に景気循環の分析に適した極性辞書の構築を目的としていることから, 経済や景気と関連のある単語を取得するために株式会社日本経済新聞社が発行する日本経済新聞の記事データ（朝刊・夕刊・電子版）を利用する。使用する新聞記事データの期間は 1981 年 10 月から 2020 年 12 月であり，約 510 万記事が収録されている。また，新聞記事デー夕に含まれる単語数については, 異なり数が 1,631,065 語, 延べ数が 1,621,203,196 語である．はじめに，「景気」,「経済」もしくはそれらの合成語と各単語の共起回数を算出する。具体的には，各単語について,「景気」,「経済」もしくはそれらの合成語の少なくともいずれか一つと共起した記事数を共起回数とする。 さらに, 共起回数による単語のランキングを作成する。ここで, 考慮する単語は名詞, 動詞, 形容詞のみとし, またすべての単語は基本形に変換されている。単語分割,品詞推定および基本形の推定には MeCabを利用した。また, マクロ経済に関連する新語や複合名詞を収録することが重要であるため，形態素解析辞書には mecab-ipadic-NEologd を採用した (佐藤他 2017 ). 次に, 共起回数のランキング上位から, 経済や景気と関連があり, 収録の候補

となる単語を，マクロ経済学及びファイナンスをそれぞれの専門分野とする筆者 2 人が独立に 2,000 語を選択した。ただし，過去の特定のイベントと関連する単語を収録してしまうと，過去に過剩適合した経済分析になってしまうことから,「リーマンショック」や「新型コロナウイルス」などの特定のイベント固有の単語は使用せず，景気に関する一般的な単語のみを選択することとした。それぞれが選択した単語の重複を排除した後, 調整を行い, 総単語数が 3,000 語となるように，候補単語のリストを作成した。この結果，単語リストの品詞の内訳は形容詞： 309 語, 動詞 : 989 語, 名詞 : 1,702 語となった.

## 4 アノテーションとその信頼性評価

3 章で得られた単語リストに収録されている 3,000 語に対して, 景気動向の観点で各単語から連想される意味について, ポジティブ・ニュートラル・ネガティブの 3 つのクラスラベルの付与を行うアノテーションを行った. 本稿のアノテーションには経済システムや景気動向に関する深い理解が必要であることから，アノテータとしてマクロ経済分析に従事する 3 人の専門家に依頼した。なお景気の見方については, 個人の経歴や立場によって異なる可能性があるため, クラスラベルが特定の業種の意見を反映しないように，アノテータはそれぞれ別の職種の専門家（政府・中央銀行エコノミスト，民間金融機関エコノミスト，報道機関エコノミスト）を選定した.アノテータへの指示書は以下のとおりである.

アノテータへの指示書

・景気動向の観点から, 各単語から連想される意味について, ポジティブ/ネガティブ/ニュー

-一般的には良い意味でも, 景気の文脈では悪い意味の場合はネガティブ, どちらとも言えない場合はニュートラルとしてください，悪い意味についても同様にお願いします.
- 一般的に文脈に依存する単語や係り受けによって意味が反転する単語の場合でも, 可能な限り, 景気が良い時期や内容に利用される場合が多い単語はポジティブ, 悪い時期や内容に利用される場合が多い単語はネガティブとしてください. どちらとも言えない単語については，ニュートラルとしてください。例：「不確実」は一般的には係り受けによってどちらの意味にもなりうるが, 景気の文脈だと悪い局面に使用される場合が多いのでネガティブと判断する.

・ポジティブ/ネガティブとニュートラルの境目にあると考えられる場合は, ニュートラルに分類してくたさい.

-ひらがなについては, 複数の漢字が当てはまる場合であっても, 景気の文脈で最も多く使われる使用法を念頭に選んでください.
表 1 には，各アノテータによるクラス分類の結果とそれらを多数決によって集計した結果が示されている，アノテータ間で各クラスへの分類割合は多少変わるものの，ニュートラルが一番高く，次いでネガティブ，ポジティブの順に低くなる傾向が共通に観察される。分類割合が異なっている要因の一つとしては, 各アノテータの判断基準の閾値の違いが想定される.

また, 表 2 にはアノテータ間の評価に関する混同行列, 表 3 には評価の一致度が示されている.表 2 からは, クラス分類がアノテータ間で不一致だった単語のほとんどがポジティブとニュー トラルあるいはネガティブとニュートラルの間であり，ポジティブとネガティブの間で不一致たっった単語はわずかであることがわかる，実際に逆のクラスラベルを付与されたのは，「カネ

表 1 アノテーションの集計結果

(a) A vs. B

(b) A vs. C

(c) B vs. C

表 2 アノテータ間の混同行列

表 3 アノテータ間の一致度.

注 : 各組み合わせの評価の一致度はコーエンの $\kappa$ 係数, 3 人の評価の一致度はフライスの $\kappa$ 係数により計算されている.

余り」や「過熱感」,「バブル」といった単語であり, これらは立場によって判断が分かれる可能性が高い単語であると考えられる。表 3 によると，評価の一致度を測る $\kappa$ 係数は 0.5 から 0.6 程度であり，アノテータの立場の違いを考慮に入れた場合には十分に信頼できる水準といえる。 これらの結果を踏まえて，アノテータの多数決によって 3,000 語に対するクラスラベルを決定した.

## 5 収録単語の補完

本章では， 4 章で得られた極性辞書への収録単語の補完を行う．現段階では，新聞記事デー夕において「景気」及び「経済」とそれらの合成語と共起した単語のみが辞書に収録されているが, これら以外の単語について取りこぼしの可能性を考慮して辞書を補完することが望ましいだろう。しかしながら，人手によって全ての追加単語を選定するのは多くの時間と労力を要する.このため本稿では単語の埋め込みベクトルと教師あり学習を導入することで単語の補完を行う (Tang et al. 2014a, 2014b; 佐藤他 2016). 具体的な手順は以下のとおりである.

（1）はじめに，単語の埋め込みべクトルを作成する，単語べクトルを作成する際のコーパスとしては，日本経済新聞の新聞記事データを利用している。なお，本稿では極性辞書に基本形のみを収録するため，入力テキストを形態素解析によって基本形に変換している.単語ベクトルを作成する際の手法として, Skip-gram (word2vec), GloVe, fastTextの 3 種類を採用した (Mikolov et al. 2013; Pennington et al. 2014; Bojanowski et al. 2017). イパーパラメータはデフォルトを指定しているが, ベクトルの次元は $100,200,400,800$ の 4 種類を試行している。

(2) 次に, 単語リストの 3,000 語の単語ベクトルを入力, クラスラベルを出力として教師あり学習を行う。教師あり学習の手法としては, 多項ロジスティック回帰 (MLR), サポー トベクトルマシン (SVM), 順伝播型ニューラルネットワーク (FFNN), LightGBM を用いる。なお，SVMに関しては線形カーネル，ガウシアンカーネル，多項式カーネル，シグモイドカーネルの 4 つのカーネル関数を試行するとともに, one-versus-rest 法によっ

て3クラス分類を行った ${ }^{3}$. また，表 1 が示すとおりクラスラベルの割合にばらつきがあることから，その逆数を掛けて損失関数への寄与度を調節している。

（3）それぞれの手法の組み合わせについて 5 分割交差検証によって分類性能の評価を行い,分類性能の最も高い組み合わせを利用して，収録単語以外の単語のラベルを推定する ${ }^{4}$.分類性能を測る評価基準として, F-尺度 (F-measure)，適合率 (precision)，再現率 (recall) のそれぞれについて, 加重平均 (weighted average), マイクロ平均 (micro average), マクロ平均 (macro average)の 3 つの方法で集計した計 9 個の指標を用いる ${ }^{5}$.

（4）推定されたラベルをもとに，再度人手で極性辞書に収録する単語を選定する．具体的には，固有名詞を除外し，経済関連単語のみを抽出する。

表 4 は，各組み合わせにおける分類性能の評価の結果をまとめたものであり，初期値を変えて各モデルの推定と予測を 5 回試行した際の平均値が示されている。また，各指標の最も高い数値は太字で表示している。なお, SVMについては, 最も分類性能の高かった多項式カーネルの結果のみを記載している。表 4 から, 総じてSVM と Skip-gramの組み合わせの分類性能が最も高いことがわかる。また, 学習モデルによって異なるものの, 総じて Skip-gram と fastText は GloVe よりも分類性能が高い傾向にあった。このほか, 次元は大きいほど分類性能が高まる傾向にあるが，400 次元と 800 次元とではほぼ同程度, もしくはわずかに 800 次元の方が良いことがわかる。これらの結果から，収録単語以外の単語のクラスラベル推定における組み合わせには，SVM と 800 次元の Skip-gram を採用する ${ }^{6}$. そして，改めてアノテーション済みの 3,000 語を用いて学習し，新聞記事データに含まれる全単語のクラスラベルを推定する。コーパス内に極性値を持たない単語が含まれていることが想定されることから，最終的に辞書には収録されないものを除外するために，ニュートラルのクラスラベルを含めた 3 クラス分類の分類器を構築している。ポジティブあるいはネガティブのクラスラベルが付与された単語からアノテー ション済みの単語を除外したのち，経済や景気と関連のある単語及び固有名詞を再度筆者 2 人によって選定した，推定された各クラスの単語と追加収録単語の内訳については，表 5 の示すとおりである。この結果, 追加収録する単語数は, ポジティブが 39 語, ネガティブが 152 語の計 191 語となった。

表 1 のアノテーションの多数決結果からニュートラルを除外した単語と, 追加収録単語を合わせて，最終的な景気単語極性辞書の収録単語数は 874 語となった。その内訳は表 6 に示すと

表 4 極性分類の結果

表 5 推定された各クラスの単語と追加収録単語の内訳

表 6 景気単語極性辞書の収録単語の内訳

 &  \\

表 7 景気単語極性辞書の収録単語のサンプル。注：*印は追加収録単語.

おりである7．また，表 7 には収録単語のサンプルとして，各品詞についてポジティブ単語とネガティブ単語がそれぞれ 5 語記載されている。なお追加収録された単語は $(*)$ で示されている.

## 6 景気単語極性辞書の応用例：経済ニュース指数の作成

本章では，構築した景気単語極性辞書の使用例として，経済ニュース指数を作成し，その有用性を検討する8。まず 1980 年 10 月から 2021 年 12 月までの日経新聞記事の全ての朝刊記事に

おける日ごとに出現する辞書収録単語を

に従って数え上げることで, (センチメント）スコアを算出する. ここで, Positive Words $s_{t}$ と Negative Words $s_{t}$ はそれぞれ, $t$ 日に配信された新聞記事中に出現したポジティブな単語の数とネガティブな単語の数を表す。ただし，休刊日のスコアは前日と同じ値を用いることとする.日次単位で計測したスコアは不規則変動が多く, 景気の転換点を判定するような場合には平滑化が望ましい，本稿では，初期値を News Index ${ }_{1}=$ Score $_{1}$ とし， $t \geq 2$ について

$
\text { News Index }_{t}=\text { Score }_{t} \times \alpha+\text { News Index }{ }_{t-1} \times(1-\alpha)
$

で計算されるスコアの指数平滑移動平均を経済ニュース指数として定義した。ここで， $\alpha=$ $2 /(n+1)$ は平滑化係数であり, 過去 1 か月間の変動が特に重視されるように, $n=30$ と設定した.また, 特定のドメインを考慮しない一般的な極性辞書である (Takamura et al. 2005)の単語感情極性值対応表を用いて, 同様の経済ニュース指数を作成し, 景気連動性に関して, 景気単語極性辞書による経済ニュース指数との比較も行う ${ }^{9}$ 。なお, 単語感情極性値対応表には 55,125 語が収録されており，そのうちの $0.72 \%$ そたる 397 語が景気単語極性辞書と重複している.

図 1 は，2つの辞書を用いて構築した経済ニュース指数の月末值の推移を示している。たたし実線が経済ニュース指数，灰色の領域が内閣府によって認定された景気基準日付に基づく景気後退期の期間である ${ }^{10}$. 図 1 の（a）からは，景気単語極性辞書から作成された経済ニュース指数がバブル崩壊や IT バブル崩壊, 世界金融危機等の景気後退期において低下した様子が観察される。また, 2020 年の新型感染症拡大初期においても急速に指数が低下しており, 景気との連動性の高い経済ニュース指数であることが確認できる。一方で, 図 1 の (b) の単語感情極性値対応表から作成された経済ニュース指数については, 景気後退期に低下する場合があるものの, (a)と比較して景気との連動性が総じて低いことがわかる.

次に，(1) パターン分析, (2) Bry-Boschan 法, (3) 各景気指標との時差相関の3つの手法を通じて, 経済ニュース指数と景気動向との関係について考察を行う。パターン分析と Bry-Boschan 法は全米経済研究所 (NBER) で開発された景気循環分析の標準的な手法であり, 時差相関と合わせて個別系列の景気との連動性評価に用いられることが多い。例えば内閣府が公表する景気
_{t}=\frac{\text { Labels }_{t}}{W o r d s_{t}} \times 100
$

ここで， Labels $s_{t}$ とords $s_{t}$ はそれぞれ， $t$ 日に配信された新聞記事中に出現した単語の極性値の総和と単語の数を表す。なお，単語を数え上げる際には，重複を許している。

10 景気基準日付 (山と谷) については, 内閣府のウェブページから取得可能である.
}

(a) 景気単語極性辞書による経済ニュース指数

(b) 単語感情極性値対応表による経済ニュース指数

図 1 経済ニュース指数の概観

動向指数の採用系列の変更の際にもこれらの手法が利用されている (内閣府 2015).まずパター ン分析は, 対象となる景気の 1 循環を 9 ステージに分割し, 系列の挙動をステージごとに要約する手法であり, 複数の循環の動向を比較することで, 景気基準日付に対する先行遅行関係の
安定性を調べることができる11.なお経済ニュース指数が計算できる標本期間と対応させるため, ここでは戦後の景気循環のうち第 10 循環から第 16 循環まで（1983 年 2 月から 2020 年 5 月まで）の 7 つの景気循環を分析対象としている。図 2 は， 2 つの極性辞書を用いて作成した

(a) 景気単語極性辞書による経済ニュース指数

（b）単語感情極性値対応表による経済ニュース指数

図 2 パターン分析

11 パターン分析の詳細な手順については, 付録 B を参照されたい.

 & 1985/1-2020/12 &  \\

表 8 各景気指標のまとめ

ニュース指数に対して，パターン分析を適用し，7つの景気循環の各ステージ（横軸）における標準化された値（縦軸）を図示したものである.

パターン分析においては, 第 5 ステージが景気の山に対応するが，図 2 の (a)が示すように，景気単語極性辞書による経済ニュース指数の最大值の多くは第 3 ステージと第 4 ステージに位置している，また，第 9 ステージが景気の谷に対応するが，同じ経済ニュース指数の最小值は概ね第 8 ステージに位置している，経済ニュース指数の極值が，内閣府による景気の山谷に対して 1 から 2 ステージ程度前に観察されることから, 景気の拡大局面と後退局面に先行して変動していることがわかる。つまり景気単語極性辞書による経済ニュース指数には, 将来の景気動向の予測に有益な情報が含まれていることを示唆している。一方，図 2 の (b)では，単語感情極性値対応表による経済ニュース指数は，景気単語極性辞書による経済ニュース指数に比べて，景気との関連性は弱く，特に景気拡大局面の先行性を見出すことはできない．

Bry-Boschan 法とは, 山と谷との間隔を5か月以上とする, 1 循環の長さを 15 か月以上とするなどの制約を課した上で，移動平均等の変換と組み合わせて景気の山谷を判定するアルゴリズムである (Bry and Boschan 1971). Bry-Boschan 法から計算された系列の山谷のタイミングと景気基準日付との先行遅行関係を調べることで, 景気循環における系列の挙動の特徴を把握することができる，図1の（a）に示されている黒丸と四角は景気単語極性辞書による経済ニュー 入指数に Bry-Boschan 法を用いることによって計算された山と谷である. 図中の景気後退期は景気基準日付による山から谷までの期間として定義されているため, 灰色の領域が始まる点が山，終わる点が谷に対応している。まず景気単語極性辞書による経済ニュース指数の振動回数は景気基準日付の景気循環より多いものの，そのタイミングは概ね景気基準日付と一致している.また，指数の山と谷は，両者ともに政府が認定した景気循環より早めに転換点が来ている

(相関係数)

(a) 景気単語極性辞書による経済ニュース指数

0.8

×先行き判断DI

(b) 単語感情極性値対応表による経済ニュース指数

図 3 内閣府が公表する景気指標との時差相関

ことがわかる。一方で，図 1 の（b）の単語感情極性値対応表による経済ニュース指数については特に前半の期間において, 山と谷のタイミングが景気基準日付と一致していないことが多い.最後に, 内閣府及び日本銀行によって公表されている各景気指標と経済ニュース指数の先行

（b）単語感情極性値対応表による経済ニュース指数

図 4 日本銀行が公表する景気指標との時差相関

遅行関係を，時差相関係数を用いて考察する，時差相関係数は比較する 2 の変数のうち，一方をラグ変数とした場合の相関係数として計算される. 複数のラグについてこのような時差相関係数を計算することによって，両系列の先行遅行関係を分析することができる．比較対象となる各景気指標については表 8 にまとめられている.

図 3 と図 4 には, 経済ニュース指数と各景気指標との時差相関係数が示されている. ここで
縦軸は相関係数, 横軸は時差（月/四半期）であり，横軸の左方向は経済ニュース指数が先行する方向, 右方向は経済ニュース指数が遅行する方向を示している. 図 3 の (a) からは, 景気単語極性辞書による経済ニュース指数は内閣府が公表している各景気指標と高い相関があり，景気動向を的確に捉えていることが分かる。また景気動向指数に対しては先行性が見られ，先行指数とは -2 か月，一致指数とは -4 力月で相関係数が最も大きい値を取ることから，景気動向をいち早く捕捉できる可能性を示唆している。景気ウォッチャー調査に対しては，先行性は見られないものの同時点で相関係数が 0.8 と非常に高い值を取っており，景気との連動性が高いことがわかる。また，図 4 の (a) からは，景気単語極性辞書による経済ニュース指数は日本銀行が公表している各景気指標とも高い相関があることがわかる。特に日銀短観に対しては, -3 四半期または -2 四半期で相関係数が最も大きい値を取ることから，明確な先行性が観察される。生活意識に関するアンケート調査に対しては，景況感-前年比とは -1 四半期，景況感-予想とは同時点で相関係数が最大となっている。 さらに, これらの指標は集計から発表までのラグがあるため，経済ニュース指数はナウキャストの目的でも有用であるといえる。一方で, 図 3 の (b) と図 4 の (b) からは, 単語感情極性値対応表による経済ニュース指数は総じて各景気指標との相関が低いことがわかる。以上の結果から，本稿で構築した景気単語極性辞書のマクロ経済分析における有用性を確認することができた，特に景気単語極性辞書を用いることで，景気動向をいち早く捕捉できる経済ニュース指数が作成できる可能性が示唆された.

## 7 まとめ

本稿では, 経済研究における日本語テキスト分析に寄与することを目的として, マクロ経済分野に適した極性辞書の構築と景気動向分析への応用例を示した。具体的には, 日本経済新聞の新聞記事コーパスから選択された単語について, 複数人の専門家によるアノテーションを行い, 景気単語極性辞書を構築した。また，景気単語極性辞書を用いて作成された経済ニュース指数は，景気動向を迅速に捕捉する上で有用であることが確認された．景気単語極性辞書の少量コーパスへの適用や景気動向分析以外への応用は今後の課題である.

## 謝 辞

本稿の作成に当たっては，リサーチアシスタントの上田佳祐氏には多岐にわたり助力を頂いた.ここに記して感謝したい。

## 参考文献

Baker, S. R., Bloom, N., and Davis, S. J. (2016). "Measuring Economic Policy Uncertainty." The Quarterly Journal of Economics, 131 (4), pp. 1593-1636.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Bry, G. and Boschan, C. (1971). Cyclical Analysis of Time Series: Selected Procedures and Computer Programs. National Bureau of Economic Research, Inc.

五島圭一，高橋大志 (2017)，株式価格情報を用いた金融極性辞書の作成. 自然言語処理, $\mathbf{2 4}$ (4), pp. 547-577. [K. Goshima and H. Takahashi (2017). Building a Sentiment Dictionary for News Analytics using Stock Prices. Journal of Natural Language Processing, 24 (4), pp. 547-577.].

Goshima, K., Ishijima, H., Shintani, M., and Yamamoto, H. (2021). "Forecasting Japanese Inflation With a News-based Leading Indicator of Economic Activities." Studies in Nonlinear Dynamics 8 Econometrics, 25 (4), pp. 111-133.

Hansen, S. and McMahon, M. (2016). "Shocking Language: Understanding the Macroeconomic Effects of Central Bank Communication." Journal of International Economics, 99 (S1), pp. S114-S133.

Ito, T., Sakaji, H., Tsubouchi, K., Izumi, K., and Yamashita, T. (2018). "Text-Visualizing Neural Network Model: Understanding Online Financial Textual Data." In Phung, D., Tseng, V., Webb, G., Ho, B., Ganji, M., and Rashidi, L. (Eds.), Advances in Knowledge Discovery and Data Mining. PAKDD 2018. Lecture Notes in Computer Science, Springer, vol. 10939, pp. 247-259.

Kaji, N. and Kitsuregawa, M. (2007). "Building Lexicon for Sentiment Analysis from Massive Collection of HTML Documents." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 1075-1083.

Kalamara, E., Turrell, A., Redl, C., Kapetanios, G., and Kapadia, S. (2022). "Making Text Count: Economic Forecasting Using Newspaper Text." Journal of Applied Econometrics, 37 (5), pp. 896-919.

Kanayama, H. and Nasukawa, T. (2006). "Fully Automatic Lexicon Expansion for Domainoriented Sentiment Analysis." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 355-363.
風戸正行, 黒崎哲夫, 五島圭一 (2019). 日本銀行による景気判断のトーン分析. 金融研究所ディスカッションペーパーシリーズ 2019-J-16, 日本銀行. [M. Kazato et al. (2019). Nihonginko niyoru Keikihandan no Ton Bunseki. The IMES Discussion Paper Series 2019-J-16, Bank of Japan.].

小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一 (2005). 意見抽出のための評価表現の収集. 自然言語処理, 12 (3), pp. 203-222. [N. Kobayashi et al. (2005). Collecting Evaluative Expressions for Opinion Extraction. Journal of Natural Language Processing, 12 (3), pp. 203222.].

Liu, B. (2012). Sentiment Analysis and Opinion Mining, Vol. 5. Morgan and Claypool Publishers. Loughran, T. and McDonald, B. (2011). "When Is a Liability Not a Liability? Textual Analysis, Dictionaries, and 10-Ks." Journal of Finance, 66 (1), pp. 35-65.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

内閣府 (2015). 第 16 回景気動向指数研究会議事要旨. 資料. 内閣府経済社会総合研究所景気統計部. [Cabinet Office, Government of Japan (2015). Dai 16 Kai Keiki Doko Shisu Kenkyukai Giji Yoshi Shiryo. Naikakufu Keizai Shakai Sogo Kenkyusho Keiki Tokeibu.].

日本銀行 (2020). 経済・物価情勢の展望（2020 年 10 月 30 日）. [Bank of Japan (2020). Outlook for Economic Activity and Prices (October 30, 2020).].

王悠介，須合智広，高橋耕史，松村浩 (2021). 位置情報デー夕による経済活動のナウキャスティング. ワーキングペーパーシリーズ No. 21-J-2, 日本銀行. [Y. Oh et al. (2021). Ichijohodeta niyoru Keizaikatsudo no Naukyasutingu. Working Paper Series No. 21-J-2, Bank of Japan.].

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Qiu, G., Liu, B., Bu, J., and Chen, C. (2009). "Expanding Domain Sentiment Lexicon through Double Propagation." In Proceedings of the 21st International Joint Conference on Artificial Intelligence, pp. 1199-1204.

佐藤貴俊, 高村大也, 奥村学 (2016). 分散表現を用いた単語の感情極性抽出. 情報処理学会, 2016-NL-228 12 号, pp. 1-6. [T. Sato et al. (2016). Bunsanhyogen wo Mochiita Tango no Kanjo Kyokusei Chushutsu. IPSJ SIG Technical Report, 2016-NL-228 (12), pp. 1-6.].

佐藤敏紀, 橋本泰一, 奥村学 (2017). 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討。言語処理学会第 23 回年次大会発表論文集， pp. 875-878. [T. Sato et al. (2017). Tango Wakachigaki Jisho mecab-ipadic-NEologd no Jisso
to Jouho Kensaku niokeru Kokateki na Shiyo Hoho no Kento. The 23th Annual Meeting of the Association for Natural Language Processing, pp. 875-878.].

Takamura, H., Inui, T., and Okumura, M. (2005). "Extracting Semantic Orientations of Words using Spin Model." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 133-140.

Tang, D., Wei, F., Qin, B., Zhou, M., and Liu, T. (2014a). "Building Large-Scale TwitterSpecific Sentiment Lexicon : A Representation Learning Approach." In Proceedings of the 25th International Conference on Computational Linguistics: Technical Papers, pp. 172-182.

Tang, D., Wei, F., Yang, N., Zhou, M., Liu, T., and Qin, B. (2014b). "Learning SentimentSpecific Word Embedding for Twitter Sentiment Classification." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. $1555-1565$.

Turney, P. D. (2002). "Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 417-424.

山本裕樹, 松尾豊 (2016). 景気ウォッチャー調査の深層学習を用いた金融レポートの指数化. 第 30 回人工知能学会全国大会論文集. 3L3OS16a2, [Y. Yamamoto and Y. Matsuo (2016). Sentiment Summarization of Financial Reports by LSTM RNN model with the Japan Economic Watcher Survey Data. The 30th Annual Conference of the Japanese Society for Artificial Intelligence, 3L3OS16a2.].

## 付録

## A ハイパーパラメータの選択

本稿では，FFNN 以外の各モデルについて，訓練データに対する５分割交差検証とグリッドサーチによって，ハイパーパラメータを決定した後，全ての訓練データを利用してモデルを学習している。具体的には，訓練データを 5 分割し, そのうちの 1 つ副標本を検証データとし,残りのデータで学習を行う，その際，検証データを用いた分類評価指標（F-尺度の加重平均）をパラメータのグリッド上の各点で計算する。この作業を別の副標本を検証データとした場合にも繰り返し, 5 回の分類評価指標の平均値が最も高いパラメータの値を選択する。チューニングしたハイパーパラメータとその探索範囲は表 9 のとおりである.

FFNN については隠れ層を 3 層とし, 各層の次元数は入力ベクトルのサイズの 3 倍, 4 倍, 1

表 9 各モデルのハイパーパラメータとその探索範囲

倍としている。加えて，各層にドロップアウトを採用している。最適化手法は Adam を採用し，訓練データのうち $20 \% を$ 検証データとしたエポックの早期打ち切りを行っている.

## B パターン分析

本稿で用いたパターン分析の手順を以下に示す.

（1）まず，景気の 1 循環は内閣府で定めた景気基準日付の谷から次の谷までとする。1 循環の最初の谷，山， 2 番目の谷のそれぞれについて，該当する月とその前後 1 か月を合わせた計 3 か月を，順に第 1 ステージ，第 5 ステージ，第 9 ステージと定める.

(2) 景気の拡張期である第 1 ステージと第 5 ステージの間を 3 等分し，第 2 , 第 3 及び第 4 ステージに分割する。

(3) 景気の後退期である第 5 ステージと第 9 ステージの間を 3 等分し，第 6 , 第 7 及び第 8 ステージに分割する。

（4） 9 個のステージに該当する期間ごとに平均値を計算する．等分する際に割り切れなかった月については， $2 / 3$ または $1 / 3$ の重みを付することで調整する。

（5）各ステージの値を 1 循環分（9 ステージ）の平均值で割って 100 を乗じることで標準化する.

（6）以上の計算を 1 循環ごとに繰り返し，ステージを横軸にした図に重ねて表示する。

## 略歴

五島圭一：2012 年慶應義塾大学経済学部卒業. 2017 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士後期課程修了. 博士 (工学). 日本銀行金融研究所, 早稲田大学商学部講師, 東京大学エコノミックコンサルティング株式会社などを経て 2022 年 5 月より株式会社三菱 UFJ 銀行にて産業リサーチ業務に従事. 早稲田大学産業経営研究所招聘研究員を兼任.

新谷元嗣：1991 年大阪大学経済学部卒業. 2000 年米イェール大学で博士号 (経済学) 取得. 慶應義塾大学商学部講師, 米ヴァンダービルト大学経済学部教授, 東京大学先端科学技術研究センター教授を経て, 2018 年より東京大学大学院経済学研究科教授, 2020 年より東京大学エコノミックコンサルティング株式会社アドバイザー（兼任）。

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウイーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年から 2021 年 3 月まで同教授. 2017 年より産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長. 計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興味を持つ.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 共同研究における資料等の管理・利用と発表時の考慮事項

影浦峡 $\dagger$

## 1 はじめに

自然言語処理のような学際的領域では，異分野の研究者が共同で研究を進めることが少なくない. 分野が異なっていても, 研究倫理の一般的な基準や著作権の規定は変わらないが, 資料の扱いや共著の範囲などは, 共通の基準に従えば自動的に決まるわけではなく, 分野ごとに慣例が異なることも少なくないため，誤解が生じることがある。それとは別に，共同作業が密に進められる中で，個々の参加者の貢献が見落とされてしまうこともありうる。こうした問題を避けるために，筆者が代表を務める共同研究プロジェクト（以下単に「プロジェクト」と言う） では, 著作権と研究倫理の確認を行うとともに，それを踏まえて資料等の管理・利用と発表時の考慮事項を整理した．本稿ではその基本的な部分を紹介する。

以下では，まず，資料・概念等の管理と利用について，著作権法と研究倫理の一般的な枠組みを整理した上で，共同研究で問題となりうることを例示し，プロジェクトで採用した手続きの概略を述べる，次に，共著のあり方について原則を確認し，著者の範囲を決める際に採用した手続きを簡単に述べる。本稿が扱う話題は, 研究倫理のうち特に共同研究に関わる部分に限っており，また，特定の共同研究を想定しているため，考慮されていない要素もあるだろう。そうした限界はあるものの，一定の参考にはなると思う。

## 2 資料や概念の利用について

## 2.1 一般的な指針

研究とその発表において, 他の人が発案したアイディアや概念, 他の人が作成した資料等を利用する場合，しかるべき手続きが必要となる。研究倫理の観点から，そのために適切な引用の方法を説明する資料やサイトは多いが (Badenhorst 2018; Carabine 2016; Munch and Deming 2019; The Writing Lab \& The OWL at Purdue and Purdue University 2021; 東京大学大学院教育学研究科 2017), 著作権法との関係も含めた注意点が明確にされていないこともある。共同研究では, 公表されていない資料等の扱いも考慮する必要があるため, 著作権法の基本と著作権法上の引用, 研究実践で一般に行われている引用の重なりと差異を把握することが重要になる.

まず，それぞれについて，基本的なことを確認しよう。

著作権国によって異なる面もあるが，基本的に，(1) 創作的なものを対象とし，(2) アイディア・思想・概念といった内容ではなく表現を対象とし，（3) 自動的に発生する (著作権法 2022；文化庁 $\mathrm{nd})$ ．著作物を利用する際は，その都度，許諾を得，場合によっては対価を支払う必要がある 1 .

著作権法上の引用日本の著作権法は，第 32 条で，引用を「公表された著作物は，引用して利用することができる。この場合において，その引用は，公正な慣行に合致するものであり, かつ, 報道, 批評, 研究その他の引用の目的上正当な範囲内で行なわれるものでなければならない」と規定している (著作権法 2022; 文化庁 $n d$ ). 当然だが，ここで定められた引用は著作権者の同意・許諾を必要としない.

研究実践での引用研究実践での引用は，一般に，参考にした論を自分の論と明確に区別し，元の論文や発表を適切な形式で示す行為であり，大きく以下の二つに分かれる.

文字通りの引用元の表現をそのまま引く場合で，一般に，引用符で囲むかブロック引用のかたちで文字通りであることを明示する．多くの分野で，文献情報だでなく当該ぺージ数を明示するのが原則となっている.

アイディア・思想・概念の引用や参照元の主張を言い換えたり一般化して自論文で使う場合が主なものだが，「最近・・・の研究が多くなされている」といった主張の証拠として文献をあげる「証拠参照」などもある.

著作権法の規定と研究実践の慣例とには，以下のようなずれがある.

創作性著作権法は，創作性を狭く捉えており，科学は普遍を目指すので創作性は少ないとみなす傾向がある $(\text { 比良 } 2017)^{2}$. 研究では, データや数式も含め広く捉える慣例であり, 共有知でないものについては33, 引用の必要がある.

表現と内容著作権法は，第一義的に表現を対象とする先が，研究実践においては，アイディア・

思想・概念等の内容も対象であり，適切に引用しないと倫理違反になる．写真や絵画等

は，著作権法上はその都度転載許可を得ることが原則だが，論文の図表は日本の著作権法では一般に文字通りの引用として扱うことができるようである.

公表の有無著作権が認める引用は公表されたものに限り，未公表のものは個別の承諾を要す
^{4}$ UK Copyright, Designs and Patents Act 1988 (1988)では, “descriptions of work"に関わるものとされ, “(a) original literary, dramatic, musical or artistic works, (b) sound recordings, films or broadcasts, and (c) the typographical arrangement of published editions.” とある (UK Copyright 1988). 著作物の考え方は日本の著作権法と共通していることが伺える。
}

る.ただし，研究実践では「私信」が引用される分野もある.

## 2.2 共同研究における留意点と手続き

共同研究においては, 内容が共同で精緻化され, その途上で未公開のアイディア・思想・概念や資料が共有されるため，研究の発表において，公開された成果の引用とは異なる配慮が必要となる。．例えば，あるサブグループで共有された $\mathrm{A}$ さんの未公開のアイディアを $\mathrm{B}$ さんが別のサブグループの研究で発展させつつ利用し，その成果を $\mathrm{A}$ さんを共著とせず許諾も得ずに発表することは，密な議論を繰り返し $\mathrm{A}$ さんのアイディアを共同で精緻化する中で，悪意ではなく不注意から起こりうるが，これは盗用に相当する，また，研究者は概念やアイディア，内容を重視しがちであるため，A さんが提案した概念をわかりやすく示すために B さんが作った未

たことが起こりうるが, これは B さんの著作権の侵害になる 5.

こうした問題の発生を防ぐために，プロジェクトでは，「原稿・スライド等に関するチェックリスト」を作成し，利用を始めた。チェックリストは，研究成果の発表にあたり，論文等で使われている (a) 命題・論・概念, (b) 図, (c) 表・数值, (d) データ, (e) プログラム等について, （1）権利者は誰か，（2）既公表かどうか，（3）アイディア・思想・概念か表現そのものか，（4）権利者が共著者かどうか等を，共著者全員が各自の分担部分についてチェックし，それに応じて求められる許諾や引用がなされているかどうかを確認した上で, 主著者が全体を確認する手続きを定義したものである.

## 3 共著について

## 3.1 一般的な指針

前節で，共著者全員が自分の分担部分について許諾や引用をチェックする方針を述べたが，著者の範囲をどう考えるかは分野によって異なる．工学系では当然共著者に相当すると見なされる貢献をしても，人文系の一部では共著者とならないことがある．異分野の研究者が参加する共同研究では, 最終的に著者の範囲をどう決めるとしても, 共著を前提とする領域の基準を出発点として著者の範囲を検討するのが適切であろう.

著者についての考え方は分野に依存した側面が少なくないが (American Psychological Association 2015), 比較的よく参照されるハーバード大学医学部のガイドラインは, 著者の要件について，以下の 6 点を挙げている (Harvard Medical School 1999).
$ さんによるもので，概念そのものは $\mathrm{B}$ さんの論文で公開されており， $\mathrm{A}$ さんがそれを引用していたとしても，未公開の $\mathrm{B} さ$ んの図を掲載するためには別に許諾が必要となる。
}

（1）著者は，その仕事に対して実質的，直接的，知的な貢献をしている必要がある．研究資金の獲得や，技術・患者・材料の提供などは，それだけでは著者となることを正当化するに十分な貢献ではない.

（2）その仕事に対して実質的な知的貢献をした人は全員著者となるべきである。それ以外の実質的貢献をした人は謝辞で名前を挙げられるべきである.

（3） 極めて専門性の高い参加者から構成されるチームで研究が行われる場合，個々人の貢献と責任はその研究の特定の側面に限定されていてよい.

(4) 著者は全員, 草稿の検討や最終稿の承認を通して, 原稿の執筆に参加しなくてはならない.

（5）その仕事のすべての部分にわたり十分な理解がない場合でも，著者の一人が，全体に対する主な責任を負わなくてはならない.

（6）この主著者は, 著者全員が著者となる基本的な基準を満たしていることを確認し，当該の仕事に対する各著者の貢献を簡潔に書面で記述し，全著者の承認を得る必要がある。この記録は所属組織に残しておく必要がある。

ギフト／ゲスト・オーサーシップ（例えば予算を取ってきた人だから，研究室の主任だから，著者に加わると箔が付くから等々と，その研究に実質的な貢献をしていない人を著者とすること)，ゴースト・オーサーシップ（例えば学部学生たからと実質的な貢献をしているにもかかわらず著者に加えないこと）を防止し，著者の範囲を適切に定めるための検討の出発点としては，概ね妥当な指針であろう。

## 3.2 共同研究における留意点と手続き

この基準は出発点としては有用であるが，「実質的，直接的，知的な貢献」の範囲が自動的に決まるほど具体的ではないし，分野による認識の違いもある。例えば，この基準では，「技術・患者・材料の提供」だけでは「著者となることを正当化するに十分な貢献ではない」とあるが，自然言語処理においては，データの構築と提供は極めて重要な貢献である．著者範囲の捉え方

なアイディアを，別のサブグループで A さんが紹介し，不注意からそのサブグループではそれ

共著をめぐる問題が発生することを防止するために, プロジェクトでは,「共著に関するチェックリスト」を作成し利用している．基本的に，まず広い範囲で著者候補を考え，合意に基づいて著者を決める，大枠だけ述べると，このチェックリストは，(1) 主著者用と共著者用に分かれ， (2) 投稿・発表の決定から投稿までの間, 採択から掲載・発表までの間, 不採択から次の投稿までの間，掲載・発表後のチェック項目を提示している。投稿・発表の決定から投稿までの間のチェック項目は特に重要で, この段階で, 主著者は潜在的な著者の範囲を広く列挙して, 仮著者と著者順，仮謝辞対象者を決め，連絡をした上で仮著者と仮謝辞対象者から情報を得て漏れ

がないかを確認する，仮著者は自分の貢献に基づき共著者となるかどうか，貢献の範囲と論文執筆等の分担について主著者との間で合意する.

共同研究を適切に進めていれば，著者の範囲は自明に決まるのでこのような煩雑な手続きは不要ではないかと思われるかもしれない，多くの場合はそうであろうが，思わぬ見落としが起きる可能性を減らすことができるし，さらに，前節で述べた資料や概念の不適切な利用を防止することにもつながる.

## 4 おわりに

本稿では，著作権と引用，共著について，一般的な指針を整理した上で，共同研究で起こりうる問題を想定し, 筆者が代表となっている共同研究プロジェクトで導入した手続きの概略を述べた。紙幅の関係から，二種類のチェックリストを詳細に紹介することはできなかったが， いずれもhttps://tntc.p.u-tokyo.ac.jp/データ/で公開しているので，参考にしていただると幸いである。こうしたチェックリストに対しては, 煩雑であるためあるいは作ることで満足してしまうため有効に活用できないだろうとか，複数人がチェックすることを想定するとかえって責任が曖昧になり形骸化するたろうといった批判がなされることもある．しかしながら， チェックリストそのものは，いずれにせよ必要な手続きを明確化したものであるから，その手続き自体を軽視するのでなければ，チェックリストを活用することに負の側面があるわけではない. また，仮に形骸化して問題が起きたとしても，どこでどのように問題が起きたかを共同で検証するための準拠枠を提供するという点で，有益であろう.

本稿で参照した指針と枠組みは，どちらかというと伝統的な研究発表の環境を想定したものであるが，データ出版やオープンサイエンス化の流れの中でも，本稿で述べたような基本的な点に立ち戻って, 研究の貢献とその認定を丁寧に行うことの重要性は変わらないと予想される. また, 本稿で述べた権利者や責任者の明確化は, プロジェクト終了後の知的資産を整理し, 参加者それぞれがその後の研究に適切に活用していくことを可能にする前提としても有用であろう.

## 謝 辞

本解説は科学研究費基盤 (S) $19 \mathrm{H} 05660$ における共同研究のために整理した指針に基づいている. 科研の分担者である阿辺川武氏・内山将夫氏・藤田篤氏・宮田玲氏・山田優氏, 研究員の朴惠氏・宮内拓也氏・山本真佑花氏, 大学院学生の本田友乃氏に感謝します.

## 参考文献

American Psychological Association. "Tips for Determining Authorship Credit." https://www. apa.org/science/leadership/students/authorship-paper.

Badenhorst, C. "Avoiding Plagiarism." https://www.youtube.com/watch?v=q0GMpNL9kkw.

文化庁. 著作権制度の概要. https://www.bunka.go.jp/seisaku/chosakuken/seidokaisetsu/ gaiyo/. [Agency for Cultural Affairs, Government of Japan. Overview of the Copyright System. https://www.bunka.go.jp/seisaku/chosakuken/seidokaisetsu/gaiyo/].

Carabine, R. "Harvard Referencing \& Avoiding Plagiarism." https ://www . youtube . com/watch? $\mathrm{v}=\mathrm{qsGBj}$ RObago.

著作権法. 著作権法. https://elaws.e-gov.go.jp/document?lawid=345AC0000000048. [The Copyright Law. https://elaws.e-gov.go.jp/document?lawid=345AC0000000048].

Harvard Medical School, Harvard Dental School, Harvard School of Public Health Ombuds Office. "Harvard Medical School Authorship Guidelines." https://hms.harvard.edu/sites/ default/files/assets/Sites/Ombuds/files/AUTHORSHIP\%20GUIDELINES.pdf.

比良友佳理 (2017). 論文執筆をめぐる著作権法上の諸問題—裁判例の分析を中心に一. 京都教育大学紀要, 130, pp. 71-82. [Y. Hira (2017). Research Paper and Copyright Law: Case Law Analysis. Bulletin of Kyoto University of Education, 130, pp. 71-82.].

Law Shelf Educational Media. "Part 1 Module 2: Unprotected "Ideas" vs. Copyrightable Tangible Expressions." https://lawshelf.com/videocoursesmoduleview/ part-1-module-2-unprotected-ideas-vs-copyrightable-tangible-expressions.

Munch, J. and Deming, S. "Aoviding Plagiarism and Self-Plagiarism." https://www.youtube. com/watch?v=FkN_Rytt0JE.

The Writing Lab \& The OWL at Purdue and Purdue University. "Purdue Online Writing Lab." https://owl.purdue.edu/owl/purdue_owl.html.

特許庁. 知的財産権について. https://www.jpo.go.jp/system/patent/gaiyo/seidogaiyo/ chizai02.html. [Japan Patent office. Chiteki Zaisankan ni tsuite. https://www.jpo.go. jp/system/patent/gaiyo/seidogaiyo/chizai02.html].

東京大学大学院教育学研究科 (2017). 信頼される論文を書くために第 3 版. テクニカル・レポート, 東京大学大学院教育学研究科. [The Faculty of Education, The University of Tokyo (2017). Shinrai sareru Ronbun wo Kaku tameni, 3rd ed. Tech. rep. The Faculty of Education, The University of Tokyo.].

UK Copyright. "Copyright, Designs and Patents Act 1988." https://www.legislation.gov uk/ukpga/1988/48/contents.

## 略歴

影浦峡：1986 年東京大学教育学部卒業. 1993 年マンチェスター大学 $\mathrm{PhD}$.

学術情報センター, 国立情報学研究所を経て, 現在, 東京大学大学院教育学研究科教授. 専門語彙論, 翻訳論, 文書論の研究に従事. 言語処理学会, 図書館情報学会, 計量国語学会各会員.


# コロナ禍で国際会議へ現地参加してみた！

金子 正弘 $\dagger$

## 1 はじめに

本稿では, 2022 年 5 月 22 日 27 日にアイルランドのダブリンで開催された 60 th Annual Meeting of the Association for Computational Linguistics (ACL)と 2022 年 7 月 10 日〜15 日にアメリカのシアトルで開催された Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL) について報告する. ACL と NAACL はともに自然言語処理分野のトップカンファレンスとして見なされている. 両会議ともハイブリット開催であり，金子はどちらも現地参加した.

## 2 会議の概要

## 2.1 ACL 2022

今回の ACL は 60 周年の記念開催であり，3,267 人の参加者のうち 1,578 人は現地参加, 1,689 人はリモート参加であった。 オンラインでの口頭発表は Underline 上での Zoom, ポスター発表は GatherTown を用いて行われた。投稿された 3,378 本の論文のうち 701 本が本会議に採択され，採択率は $20.75 \%$ であった. また, Findings に関しては 361 本が採択された。 スペシャルトラックの "Language Diversity: From Low-Resource to Endangered Languages" には 94 本の投稿があり 24 本が本会議に，11 本が Findings に採択された．查読プロセスにおいては，ARRに 9 月は 312 本 (再投稿 7 本), 10 月は 363 本（再投稿 7 本）が投稿されたのに対し，最終締切の 11 月は 2,916 本（再投稿 208 本）と投稿が殺到した。そのため, 查読件数を分散し査読者の負荷を軽減するという ARRの目標は実現できていないと感じた.

最優秀論文としては “Learned Incremental Representations for Parsing”, 最優秀スペシャルテーマ論文には "Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization”，最優秀資源論文としては “DiBiMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation”，最優秀言語的洞察論文には “KinyaBERT: a Morphology-aware Kinyarwanda Language Model”が選ばれている.

金子は "Interpretability for Language Learners Using Example-Based Grammatical Error Correction" という論文 (Kaneko et al. 2022b)の口頭発表とポスター発表を行った. 事例ベースのモデルにおける解釈性が言語学習者に有益であることをを明らかにした。そして, “Sense Embeddings are also Biased - Evaluating Social Biases in Static and Contextualised Sense Embeddings" という共著論文 (Zhou et al. 2022) もポスター発表があった. この発表では, 多義語を考慮した埋め込みにおける差別的なバイアスを評価する方法とデータを提案した．久しぶりの現地発表であったが, 多くの人が聞きに来て活発な議論ができた.

## $2.2 \quad$ NAACL 2022

1 月と 2 月に合計 2,103 本の論文が ARR に投稿され，442 本が本会議に，209 本が Findings に採択された。それぞれ $22 \%$ と $41 \%$ の採択率である. 投稿件数は過去の NAACL と比較して最高を記録し，初めて 2,000本を超えた. スペシャルトラックの “Human-Centered Natural Language Processing”には, 52 本の投稿があり 14 本が採択された.

最優秀新タスク\&資源論文には “Automatic Correction of Human Translations”，最優秀効率論文には “FNet: Mixing Tokens with Fourier Transforms”，最優秀新タスク論文として“FRUIT: Faithfully Reflecting Updated Information in Text”, 最優秀手法論文として “NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics”, 最優秀スペシャルトラック論文として “User-Driven Research of Medical Note Generation Software”が選ばれた.

金子は “Gender Bias in Masked Language Models for Multiple Languages” という論文 (Kaneko et al. 2022a)の口頭発表を行った. 対訳データと英語の単語リストだけを使うことで，さまざまな言語で事前学習モデルの公平性を評価する手法を提案した. さらに, “ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization” (Loem et al. 2022)という共著論文のポスター発表もあった。この論文では, 抽出型要約と言い換えによる生成型要約の訓練デー夕拡張を提案している.

## 3 コロナ禍での国際会議

ACL 2022 と NAACL 2022 はどちらもハイブリッド開催であり, ACL はコロナ禍が始まって以降 ACL 系の国際会議では初めての現地開催であった. ACL 2022 の時と比較して NAACL 2022 の時の方がコロナ対策は世界的に緩和されていた。この章では入出国や会場でのコロナ対策について報告する.

まず入出国については，アイルランドとアメリカどちらも入国時に PCR 検査の結果は必要なく，ワクチン接種の証明さえあれば問題なく入国することができた。なお，アメリカ入国の場合は，ワクチン接種記録を含む渡航書類を事前にネットで申請するかチェックイン時に書類

図 1 ACLのソーシャルイベントのご飯

図 2 NAACL のソーシャルイベントの展示

をもらい記入する必要がある．トランジット先によってはワクチン証明や陰性証明の提出が求められる可能性があるため，それらをできるかぎり必要としない空港を探した。帰国時はアイルランドとアメリカどちらも出国前 72 時間以内の PCR 検查証明書提出が必須であり，あらかじめオンラインでの事前検疫手続が可能な MySOS アプリに陰性結果を登録した. MySOSを使うことで到着時の手続き時間を短縮することができる。チェックイン時や搭乗までの待ち時間に MySOS やワクチン証明の提示を求められた。現地での PCR 検查に関しては, 厚労省フォー マットで検查結果を作成してくれる検査場を現地日本大使館の検査機関リストから選び検查を行った．ダブリンからの帰国時は成田空港でも PCR 検查が行われ，到着してから空港を後にするまで 2 時間以上かかった。一方，アメリカからの帰国時は水際対策の緩和により到着時の $\mathrm{PCR}$ 検査はなかったが，空港での混雑を避けるために機内に 30 分近く待機したり，長いこと空港内を歩き回り MySOS や陰性結果を提示する必要があったため合計 1 時間近くかかった。各国のコロナ対策は情勢に合わせて目まぐるしく変わるため，その都度各自で国や大使館ホームページなどで確認する必要がある。例えば，アメリカへの入国には PCR 検查が必要であったが直前に不要になった。

会場でのコロナ対策に関しては, 両会議ともマスク着用が強く推奨され，会場では多くの参加者がマスクを着用していた，ポスター発表では発表者は基本的にマスクをつけていたが，口頭発表の時は多くの発表者がマスクを外していた，図 1 と図 2 のようにソーシャルイベントはコロナ以前の上うに開催され，そこではほとんどの参加者はマスクをしていなかったので注意が必要であった. ACL のソーシャルイベントでは密を避けるためにフロアごとに人数制限があっ

た. さらに， ACL と NAACL 両方で名札にシールを貼ることで自分のソーシャルディスタンスを表明できるようになっていた。例えば，ACLでは名札に赤, 黄, 緑のシールを貼ることができた. 赤は距離を必要とする, 黄はボディータッチ禁止, 緑は握手とハグ OKを意味する。そして, 会議中の健康状態を把握できるように, 会場では無料のコロナ検査キットが配布されていた。使用義務はなかったが，毎日自分で検査してから会場に向かう参加者もいた，なお，著者は会期中にコロナに感染しなかったが，NAACL でコロナに感染した方の体験談ブログ 1などもあり参考になると思われる.

このようにどちらの会議も多くの工夫が行われていたが, 一方でハイブリット開催ならではの問題もいくつかあった. 例えば, オンラインのポスターセッションの時間帯が, 現地のイベントや食事と重なり参加することが困難であった. そのためか, 多くのオンラインポスターセッションは盛り上がりに欠けた。さらに， 口頭発表ではオンラインとオフラインの切り替えがうまくいかずに，オフラインの発表者が発表者ツールを使えないことがあった．また，発表者はオンラインとオフライン両方の発表と資料作成が必要であり, 作業負荷がコロナ以前と比較して上がっていることも改善の余地があると感じた。このように現地とオンラインでの会議の連携をとることの難しい面もあるが，現地にいながらも招待講演や発表の録画を見直すことができることはありがたかった. そして, やはり対面で研究について議論したり親睦を深めることは何事にも変え難い経験たと思った.

## 4 おわりに

本稿では，主にコロナ禍における国際会議の現地参加について報告した，今後ますますハイブリット開催の国際会議は増えていくと思われる。しかし, 今回 ACL 2022 と NAACL 2022 に参加した所感としては，コロナ以前と比較して日本からの参加者が少ないと感じた．そのため,本稿がコロナ禍での学会参加について報告することで, 日本からの参加者が少しでも安心して国際会議に参加できる手助けになれば幸いである.

## 参考文献

Kaneko, M., Imankulova, A., Bollegala, D., and Okazaki, N. (2022a). "Gender Bias in Masked Language Models for Multiple Languages." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Lan-

guage Technologies, pp. 2740-2750, Seattle, United States. Association for Computational Linguistics.

Kaneko, M., Takase, S., Niwa, A., and Okazaki, N. (2022b). "Interpretability for Language Learners Using Example-Based Grammatical Error Correction." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7176-7187, Dublin, Ireland. Association for Computational Linguistics.

Loem, M., Takase, S., Kaneko, M., and Okazaki, N. (2022). "ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 16-24, Hybrid: Seattle, Washington + Online. Association for Computational Linguistics.

Zhou, Y., Kaneko, M., and Bollegala, D. (2022). "Sense Embeddings are also Biased - Evaluating Social Biases in Static and Contextualised Sense Embeddings." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1924-1935, Dublin, Ireland. Association for Computational Linguistics.

## 略歴

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京 (現東京都立大学) システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021 年博士後期課程修了. 博士 (情報科学). 同年より東京工業大学情報理工学院研究員. 現在に至る.


# NTCIR-16: NII Testbeds and Community for Information access Research

加藤 誠 $\dagger \cdot$ 山本 岳洋 ${ }^{\dagger \dagger} \cdot$ 神門 典子
## 1 はじめに

NTCIR (NII Testbeds and Community for Information access Research) は，情報検索，情報推薦，テキスト要約，情報抽出，質問応答などの情報アクセス技術の発展を目的とした，コミュニティ主導の評価型ワークショップである。ワークショップの参加者は提案されたタスクの中から興味のあるタスクを選んで参加し，システム出力結果を提出することで評価結果を得ることができる。また，参加者は開発したシステムに関して論文を執筆し NTCIR カンファレンスにて発表・議論を行う。一般的な Shared task と対比すれば，NTCIR は各回 1.5 年の期間をかけて長期的に実施される試みであり，また，NTCIRの「C」が Community を指すように「コミュニティ」を重視した活動となっている。これには以下のような理由が挙げられる：

（1）夕スク運営者と参加者の積極的な議論（評価方法の検討, 査読付きの学会では困難な失敗事例の共有など),

（2）データセットやッールなどの基盤形成（情報アクセス技術向けの大規模なデータセットの構築には，夕スク運営者や評価者のみならず参加者による貢献が必要不可欠である $\left.{ }^{1}\right)$,

(3) 国際協調とそれに伴う多言語化（NTCIR では多くの多言語タスクが運営されてきた）,

（4）参入障壁を下げ研究分野を活性化（参加者にとっては研究の支援が受けられ，運営者にとってはタスクに取り組む人口が増えることで自身の専門分野の発展につながる).

本解説記事では，これまでに NTCIR にて運営されてきたタスクの傾向について説明し，その後，NTCIR-16 (Yamamoto and Dou 2022)（2020 年 12 月～2022 年 6 月実施）で運営されたタスクの概要について解説する。これまでに NTCIR が情報アクセス分野においてどのような貢献

 & QA & & & & & $\star$ & $\star$ & * & * & & & & & & & & \\

表 1 NTCIR-1 から NTCIR-16 までに運営されたタスク。

をしてきたかについては，書籍「Evaluating Information Retrieval and Access Tasks: NTCIR's Legacy of Research Impact」(Sakai et al. 2021)にて解説されている. オープンアクセスであるため，興味のある方はぜひご覧いただきたい.

## 2 これまでの NTCIR タスク

1997 年に NTCIR プロジェクトが発足して以来, 合計 16 回の NTCIR が開催されてきた $(2022$年 9 月時点). NTCIR-1 から NTCIR-16 までに, 表 1 に示すようなさまざまなタスクが運営されてきた。

NTCIR-1 から NTCIR-4 の最初期には, 多言語検索やウェブ検索, 情報抽出, テキスト要約,質問応答, 特許検索などがタスクとして提案された。その後, トレンド情報要約, 多言語質問応
答, 意見情報抽出，特許マイニング，地理時間情報検索，特許翻訳などが登場した，NTCIR-11 では，それまでのタスクが一新され，対話的情報検索，多言語エンティティリンキング，モバイル検索，含意関係認識，発話文書検索など，夕スクの多様化が進んだ。その後，数式検索，医療文書からの情報抽出，入試問題や議会議事録などを対象にした質問応答，時間情報を考慮した情報検索, レシピ検索，ライフログ検索といったように，検索・分析対象も多様になっていった，NTCIR-13では，新タスクが多く運営されるようになっていき，対話生成，質問文検索，知識グラフ構築, 感情要因抽出, 脳波に基づく画像分類, ウェブ検索などが提案され, NTCIR-14 から NTCIR-16 では, 数值情報の分類, 対話評価, 多言語文書分類, データ検索, 行動認識, 視線情報に基づく情報検索，セッション検索，ランキング学習などのタスクが提案された。

近年（NTCIR-16 実施時点）のタスクの特徴としては以下の 3 点が挙げられる：

（1）ユーザ行動情報. 従来のタスクにおいて，ユーザから与えられる入力はキーワードクエリなどテキスト情報が一般的であったが，さまざまなウェアラブルデバイスの普及によって, ライフログや脳波, 視線情報など, 多様な情報が入力として想定されるようになってきている.

（2） 数值情報. テキスト情報の理解・検索に加えて，数值情報の理解や統計データの検索がタスクとして取り組まれてきている。他の固有表現と比べ, 数値自体からその意味を読み取ることは難しく, 周辺情報に基づく推定が必要になるため新たな技術が必要となっている.

(3) 対話. チャットベースのアプリケーションやスマートスピーカなどの普及，また，テキスト生成技術の発展などに伴って, 対話関連のタスクがいくつか提案されてきている.

## 3 NTCIR-16

NTCIR-16では, 表 1 の最右列に示される通り, 合計 10 種類のタスクが運営された (Yamamoto and Dou 2022). タスク数は過去最多であり, 固有表現抽出や情報抽出などの自然言語処理関係のタスクから，ウェブ検索やライフログ検索，データ検索などの情報検索関係のタスク，さらに対話評価や視線情報活用など，運営されたタスクの多様さも際立った回であったといえる。また，FinNum では金融文書，QA Lab-PoliInfo では政治関連文書，そして，Real-MedNLP では医療文書など，特定のドメインに特化した自然言語処理タスクが多く提案されているのも特徴的な点である.

以下では, Core タスク（タスク設計や評価方法がある程度確立されたタスク）から Pilot タスク （タスク設計や評価方法などについて検討の余地がある比較的新しいタスク）の順に, NTCIR-16 のタスクの概要を説明する。

## 3.1 Data Search 2 (Core) (Kato et al. 2022)

本タスクはデータ検索を対象としたタスクであり, e-Statやdata.govなどのサイトで公開されている，統計データを検索対象とした検索タスクを提供している．例えば，「What is the largest causes of death in United State in 1999-2016」という情報要求があって, 「causes of death us 1999-2016」というキーワードクエリが与えられた場合に, 死因の統計データを上位に順位付けるようなシステムの開発を目的としている。特に，情報量の少ないメタデータとクエリをどのようにマッチングさせるか, また, 数值から構成される統計データをどのように扱うかが技術的な課題として設定されている.

## 3.2 DialEval-2 (Core) (Tao and Sakai 2022)

NTCIR-12 から NTCIR-14 までに, Short Text Conversation (STC) という，与えられた短い会話文に対して適切な回答を生成するタスクが運営されていた. DialEval はSTCの流れを汲んだタスクであり，ヘルプデスク対話データの評価をタスクとし，参加者が行った評価の評価を行ったタスクである。タスクは 2 種類設定されており, Dialogue quality サブタスクでは対話全体の評価値の推定, Nugget detection サブタスクでは各発話の種類（問題の説明, 解決方法, など）の推定を行う．両タスクとも複数の評価者が正解ラベルを付与しており，タスク参加者はそれらの平均や最頻値などではなく，分布を正しく推定することが求められる。

## 3.3 FinNum-3 (Core) (Chen et al. 2022a)

本タスクは金融関連のテキスト情報における数値情報の理解に焦点を当てたタスクであり， これまでに同様のトピックで 3 回のタスクが運営されている。今回のタスクでは, 株式アナリストが書いた文書と企業の収支報告書を対象としており，「売上成長率が $40 \% を$ 超える見达みだ」といったような専門家による数値的予測を含む主張を発見することを目的としている。また, 過去の FinNum タスクで提案された数値の分類もタスクに含まれており, 数値が金額, 值段, 時間, 量, 型番, 順位などの分類のうち, どれに該当するかを予測をすることが求められている.

## 3.4 Lifelog-4 (Core) (Zhou et al. 2022)

その名の通り，本タスクはライフログ情報を対象とした検索タスクであり，1名のライフロガーの４ケ月に渡るライフログデータの中から特定の情報を探し出すタスクを提供している. ライフログデータは, (1) 時間, 場所, 生体情報などのメタデータ, (2) ウェアラブルカメラで撮影された画像データ, (3) 画像デー夕に対して物体認識を行った結果, から構成されており, これらと「家で泠蔵庫中を司いたとき」や「道に迷って人に訪ねているとき」といったテキス卜入力を対応付けて検索することが求められている。一般的なシステム評価に加えて，ユーザ

が関与するインタラクテイブなシステムの評価も行っておりユニークなタスクとなっている.

## 3.5 QA Lab-PoliInfo-3 (Core) (Kimura et al. 2022)

本タスクは地方議会議事録に対する自然言語処理タスクであり，あるトピックに対する各政党の賛否を推定するなど，政治関連文書の理解を支援するための技術について取り組んできている。NTCIR-16においては以下の 4 つの問題に取り組んでいる. QA alignment サブタスクでは，与えられた質問への回答を議事録の中から発見し，Question answering サブタスクでは，与えられた質問への回答を議事録に基づいて生成する. Fact verification サブタスクは, 与えられた議事録要約文を含意するような箇所を発見するタスクで, Budget argument mining サブタスクは，議事録中の数値と予算案中の数値を対応付けるタスクである.

## 3.6 WWW-4 (Core) (Sakai et al. 2022)

ウェブ文書検索は, NTCIR-3 (2002 年)から取り組まれてきた課題であり，情報検索技術の応用先として非常に重要な問題である．WWWはウェブ文書検索を扱ったタスクであり，NTCIR-13 （2017 年）から継続的にタスクを運営し, ウェブ情報検索の代表的なベンチマークとしての役割を果たしてきた，本タスクのユニークな点としては，再現可能性の重視と技術的進歩の測定が挙げられる。WWW-3（NTCIR-15にて開催）においてもっとも良い成績を収めた参加チー ムは，WWW-4（NTCIR-16にて開催）において同システムの結果を提出することが求められており，これによってWWW-4 において実際に技術革新があったかどうかを検証することができるようになっている，また，WWW-3においてもっとも良い成績を収めた参加チームの結果を，他のチームが再現することも推奖されており，これによって再現可能性を検証することも行っている.

## 3.7 RCIR (Pilot) (Healy et al. 2022)

本タスクは，より詳細なユーザ情報を活用しようとするタスクの 1 つであり，文書内におけるユーザの視線情報を情報アクセス技術のために利用しょうとする試みである。特に本タスクでは, 視線情報からの文書理解度の推定, および, 凝視情報に基づいたパッセージ検索タスクを提供している. 本タスクで提供されているデータセットは，9名の実駼協力者から得られた， 96 パッセージに対する視線情報，および，その理解度に関するデータであり，視線情報を活用した他の研究にも活用されることが期待される.

## 3.8 Real-MedNLP (Pilot) (Yada et al. 2022)

MedNLP タスクは医療関連文書に対する自然言語処理タスクであり，過去には固有表現抽出や国際疾病分類コードの付与タスクなどを提供してきた．NTCIR-16 の Real-MedNLP は 4 度
目のタスク提案であり，これまでには提供できなかった，実際の医療文書（症例報告）を対象として，2 種類のタスクを， 2 言語（日英）にて提供している．1つ目は症状などの固有表現抽出であり, 少数の文書にのみアノテーションが与えられている設定や固有表現の各クラスの定義文のみを学習データとして用いられる設定など，低リソース下を想定したタスクとなっている.もう1つは応用寄りのタスクであり, 医療文書からどのような薬物有害事象が起こるかを予測することを目的としている。

## 3.9 SS (Pilot) (Chen et al. 2022b)

これまでの多くの情報検索タスクは 1 つのクエリに対して1つの検索結果リストを返却するシステムを想定していたが, 多くの検索タスクでは複数のクエリを入力し, 複数の検索結果リストを閲覧する必要がある。本タスクは，あるセッション（複数の検索を含む検索行動の単位） が与えられた上で，クエリに対し適合する文書を検索するタスクである。例えば，「東京観光秋」といったクエリの後に「東京観光寺」というクエリで検索した場合には, 紅葉がきれいな東京の寺に関する情報がより適合すると考えられる。 TianGong-ST というSogou（捜狗）検索エンジンのクリックログを利用したタスク設計となっており，大規模な実ユーザの検索行動情報を利用可能である.

## 3.10 ULTRE (Pilot) (Zhao et al. 2022)

本タスクはランキング学習に関するタスクであるが，特に近年着目されているクリック情報のバイアスに焦点を当てたタスク設計となっている. ランキング学習は, クリック情報などを活用しランキングモデルを学習することで, 利用者にあったランキングを生成する技術であるが，クリック自体にバイアス（例えば，検索結果の上位にある結果はクリックされやすいという「順位バイアス」がある）が存在するため，学習によって得られるモデルにもバイアスが生じてしまう。このタスクでは，バイアスを含まないランキングモデルの構築を目的として，シミュレーションによるクリックデータの提供，および，学習されれたランキングモデルの評価を行っている。

## 4 おわりに

本解説記事では, NTCIR にて運営されてきたタスクの傾向について説明し, NTCIR-16で運営されたタスクの概要について解説した．NTCIR はこれまでにさまざまな自然言語処理タスクを扱ってきており, 近年, その多様性は増している。もしコミュニティ単位で取り組みたいような, 情報アクセス関連の研究課題をお持ちであれば, 次回の NTCIRでのタスク提案を検討していただければ幸いである.

## 謝 辞

NTCIR の運営は非常に多くの方に支えられており以下の方々に対してここに記して謝意を表したく存じます. タスクの選定にあたっては NTCIR-16 プログラム委員会, タスク運営にあたっては NTCIR-16の各タスク運営者の皆様にご尽力をいただきました．また， NTCIR-16参加者の皆様にも, システム結果の提出, 論文執筆, NTCIR-16 カンファレンスでの発表および議論等をいただき，各タスクが設定する研究課題に対して貢献をいただきました． NTCIR-16 カンファレンスの実施にあたっては, 詳細なチュートリアルを提供してくださった酒井哲也先生, キーノートスピーカーの皆様, NTCIR-16 カンファレンス実行委員会の皆様, それから, カンファレンス運営を支えてくだっっ石下円香様, 大須賀智子様, 篠原清子様, 河田友香様にもお礼申し上げます.

## 参考文献

Chen, C.-C., Huang, H.-H., Huang, Y.-L., Takamura, H., and Chen, H.-H. (2022a). "Overview of the NTCIR-16 FinNum-3 Task: Investor's and Manager's Fine-grained Claim Detection." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 87-91.

Chen, J., Wu, W., Mao, J., Wang, B., Zhang, F., and Liu, Y. (2022b). "Overview of the NTCIR16 Session Search (SS) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 353-358.

Healy, G., Le, T.-K., Tran, M.-T., Nguyen, T.-B., Quach, B. M., and Gurrin, C. (2022). "Overview of the NTCIR-16 RCIR Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 258-265.

Kato, M. P., Ohshima, H., Liu, Y.-H., Chen, H.-L., and Nakano, Y. (2022). "Overview of the NTCIR-16 Data Search 2 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 12-18.

Kimura, Y., Shibuki, H., Ototake, H., Uchida, Y., Takamaru, K., Ishioroshi, M., Yoshioka, M., Akiba, T., Ogawa, Y., Sasaki, M., Yokote, K., Kadowaki, K., Mori, T., Araki, K., Mitamura, T., and Sekine, S. (2022). "Overview of the NTCIR-16 QA Lab-PoliInfo-3 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 156-174.

Sakai, T., Oard, D. W., and Kando, N. (2021). Evaluating Information Retrieval and Access Tasks: NTCIR's Legacy of Research Impact. Springer Nature.

Sakai, T., Tao, S., Chu, Z., Maistro, M., Li, Y., Chen, N., Ferro, N., Wang, J., Soboroff, I.,
and Liu, Y. (2022). "Overview of the NTCIR-16 We Want Web with CENTRE (WWW-4) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 231-242.

Tao, S. and Sakai, T. (2022). "Overview of the NTCIR-16 Dialogue Evaluation (DialEval-2) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 51-65.

Yada, S., Nakamura, Y., Wakamiya, S., and Aramaki, E. (2022). "Real-MedNLP: Overview of REAL document-based MEDical Natural Language Processing Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285-296.

Yamamoto, T. and Dou, Z. (2022). "Overview of NTCIR-16." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 3-7.

Zhao, Y., Niu, Z., Wang, F., Mao, J., Ai, Q., Yang, T., Zhang, J., and Liu, Y. (2022). "Overview of the NTCIR-16 Unbiased Learning to Rank Evaluation (ULTRE) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 370-376.

Zhou, L., Gurrin, C., Healy, G., Joho, H., Nguyen, T.-B., Albatal, R., Hopfgartner, F., and Dang-Nguyen, D.-T. (2022). "Overview of the NTCIR-16 Lifelog-4 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 130-135.

## 略歴

加藤誠 : 筑波大学図書館情報メディア系准教授. 2012 年京都大学大学院情報学研究科博士後期課程修了．博士 (情報学)．情報検索の研究に従事．NTCIR9 から夕スク運営者として関わり，NTCIR-12 から NTCIR-15 ではプログラ厶共同委員長, NTCIR-16 からは共同実行委員長を務める.

山本岳洋 : 2011 年京都大学大学院情報学研究科博士後期課程修了. 博士（情報学). 現在, 兵庫県立大学大学院情報科学研究科准教授. 主に情報検索におけるユーザインタラクションやユーザ理解に関する研究に従事． NTCIR-10 から NTCIR-14 にかけてタスク運営者として関わり, NTCIR-16, NTCIR-17 ではプログラム共同委員長を務める。

神門典子：1994 年慶應義塾大学大学院文学研究科後期博士課程修了. 博士 (図書館・情報学)，現在，国立情報学研究所教授，主に情報検索・情報アクセス技術の研究に従事. 1997 年末に NTCIR を開始し, 以降, 国内外の多くの研究者と協力し多様なタスク提案・運営・国際協調等を進めてきた．ACM SIGIR Academy Inaugural Inductee. 言語処理学会, 人工知能学会, 情報処理学会, ACM，ACL，ASIS\&T 各会員.