# 抽象度を制御可能な エンティティレベルの画像キャプション生成

加藤駿弥 Chenhui Chu 黒橋 禎夫
京都大学
\{s-kato, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

画像キャプション生成は近年盛んに研究されてきたが, 先行研究は正確性, 多様性, 差別化を重視し, 抽象度は軽視してきた. 本研究では, Inverse Document Frequency (IDF) とエンティティレベルの含意関係認識を用いて, 抽象度を制御可能なエンティティレべルの画像キャプション生成手法を提案する. 含意関係認識を用いて抽象度を評価したところ, 先行研究と比べ, 提案手法は抽象度をより制御可能になり, 具体的なキャプションの生成において $15.7 \%$ の精度向上が確認された。

## 1 はじめに

画像キャプション生成は与えられた画像を正しく説明する分を生成するタスクであり, 物体, 物体間の関係などを正しく理解する必要がある. また,画像全体のキャプションを生成する研究 [1] だけでなく, Dense Captioning のようにエンティティに対してキャプションを生成する研究 $[2,3,4]$ も行われている.

従来のキャプション生成に関する研究は,より正確もしくは多様なキャプションを生成することに焦点を当てており, 抽象度の制御を軽視してきた. しかし, 人間は視覚情報を言語化するとき,物体認識を行うだけではなく, 常識などをもとに認識した物体や物体間の関係を具体的な概念と結びつけて形容する. 例えば, 図 1 のようにスーツを着てネクタイを締め, 革靴を履いている男性は, 常識をもとに「男性」 だけではなく「ビジネスマン」という概念と結びつけられる。

本研究では, エンティティレベルにおける物体認識のようなより抽象的なキャプションと常識推論がいるより具体的なキャプションの生成を制御することを目指す. そのために, IDF と含意関係認識を

図 1 抽象的,具体的なキャプションの例

用いた抽象度の制御するためのデータセットの構築手法を提案する. 提案手法の概要を図 2 に示す.具体的には，まず, エンティティには複数のキャプションが付与されており，これを 1 つの文書とみなしてキャプション生成に含まれる uni-gram の IDF を計算する。次に，あるエンティティにつけられた複数のキャプションの中で, IDF とその他のキャプションに対して含意関係である割合の和が高いものを Fine(具体的), そうでないものを Coarse(抽象的) であるとラベル付けすることで, 各エンティティにおける Coarse/Fine なキャプションを生成するためのデータセットを構築する。

実験の結果, 先行研究と比べてより抽象度を制御可能になったことを示した. そして, 先行研究では単一エンティティのみで学習していたが, 本研究では複数エンティティも含めて学習させ, 単一エンティティと同様に抽象度を制御可能になったことを示した.

## 2 前提知識

エンティティレベルの画像キャプション生成には, $\mathrm{Li}$ ら [5] の研究がある. まず, $\mathrm{Li}$ ら [5] はエンティティレベルの多様なキャプション生成というタスクを提案した.このタスクはエンティティのキャプションを生成するタスクで, 複数の正解キャプションがある点で Dense Captioning とは違う.

また, ターゲットエンティティと同じ画像に含まれる他のエンティティ (neighbors) の情報を考慮す

図 2 提案手法の概要

図 3 E-C2F のアーキテクチャ

るための E-Attn という新たな Attention 機構を提案し，それを組み込んだ E-C2F というモデルを提案した. E-C2F のアーキテクチャを図 3 に示す. E-C2F は 2 階層構造のモデルであり, Coarse と Fine という 2 つの抽象度の違うキャプションを生成できる.この 2 階層構造により,データセットのキャプションを Coarse と Fine に分割する必要があるが, Li ら [5] はキャプションごとの bi-gram の IDF の和を用いて分割した. E-C2F は提案されたエンティティレベルの多様なキャプション生成タスクにおいて SOTAを達成した. 注意点として Li ら [5] は複数エンティティはデータセットから除いた.

## 3 提案手法

## 3.1 IDF と含意関係認識を用いた分割

先行研究には以下の 3 つの問題点がある.

・Li ら [5] は, 同一エンティティに付与されているキャプションからそれらのペアを全通り作り， ペアの中で bi-gram の IDF の和が小さいキャプションを Coarse, 大きいキャプションを Fine と
した. しかしこの手法は, あるペアでは Coarse となったキャプションが, 別のペアでは Fine となってしまうことがあり,データセットに一貫性がない.

・IDF の和で計算しているため, キャプションの語数が長いほどスコアが高くなる.

・bi-gram の IDF を計算しているため, キャプションが 1 単語だとスコアが 0 となる.

これらを改善するため, uni-gram の IDF と含意関係認識を用いた Coarse, Fine の分割手法を提案する.

## 3.1.1 IDF

先行研究では, エンティティに付与されているキャプションを 1 つの文書とみなし, bi-gram の和を用いて Coarse, Fineを分割したが, 本研究では uni-gram のIDFを用いる.

## 3.1.2 含意関係認識

キャプションの抽象度の高低を予測するため,含意関係認識を用いる. 既存の含意関係認識モデルは文で事前学習されているため, エンティティのデータセットでの fine-tuning が必要である. 本研究では, エンティティの含意関係認識データセットとしてChu ら [6] のデータセットを用いる.このデータセットは 2 つのキャプション (pharse1, phrase2) を alternation, forward entailment, reverse entailment, equivalence, independence の 5 クラスに分類したが, NLI は neutral, entailment, contradiction の3クラスであるのでそのまま fine-tuning できない. ここでは, 表 1 のようにマッピングを行った. 表中の Forward はデータセットの phrase1 を前提, phrase2 を仮説にしたもので, Reverse は逆である.

図 4 複数エンティティの定義 (緑: ターゲットエンティティ,ピンク: neighbors)

## 3.1.3 Coarse, Fine の分割

まず Chu ら [6] がアノテーションしたデータにラベルを付与する.アノテーションしてないデータについては, fine-tuning した RoBERTa でラベルを付与する.ここで, Chu らの手法と同様に stop words は除外する. 次に, 含意関係認識において,キャプションが前提のとき, 含意関係となる割合を計算する. さらに, uni-gram の IDF を計算し, キャプション中の単語の IDF の最大値をIDF のスコアとする.ここで含意関係認識と IDF の寄与が同一になるようにIDF のスコアを正規化する. 最後に含意関係の割合とIDF のスコアの和を計算する。

## 3.2 複数エンティティのキャプション生成

次に複数エンティティに焦点を当てる. $\mathrm{Li}$ ら [5] は複数エンティティはデータセットから除いている. 本研究では, 図 4 のように, ターゲットエンティティを複数の bounding box 結合したものと定義し， neighbors はその他のエンティティにターゲットの複数エンティティを加えたものと定義する。

## 4 実験

## 4.1 実験設定

本研究では, 画像からのエンティティの特徴べクトル抽出は ResNet-152[7] を用いた. データセットは Flickr30k Entities[8]を用いた. Flickr30k Entitiesに表 2 データセットの統計と fine-tuning の結果

は約 3 万枚の画像があり,それぞれの画像に 5 つのキャプションが付与されている. そしてキャプション中のフレーズと画像中のエンティティが紐づけられている. エポック数は 40 で統一し, 他の設定は Li ら [5] に従った. 本研究では正確性, 多様性, 抽象度の評価をした. 正確性の評価指標として, BLEU, METEOR, ROUGE_L, CIDEr を用いた. 多様性の評価指標として, LSA, self-CIDEr, n-gram, DIV-nを用いた.抽象度の評価指標として, 含意関係の割合を用いた。 モデルには 4.2 で fine-tuning した RoBERTaを用いた.

## 4.2 含意関係認識のための fine-tuning

含意関係認識モデルには SNLI[9], MNLI[10], FEVER-NLI[11], ANLI (R1, R2, R3)[12] で事前学習済み RoBERTa-Large ${ }^{1)}$ を用いた. データセットの統計と fine-tuning した結果が表 2 である. fine-tuning 前の RoBERTa の精度は $67 \%$ であったが, fine-tuning により,テストデータにおいて $91 \%$ の精度を達成した。

## 4.3 単一エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 単一エンティティのキャプション生成の正確性と多様性の実験結果を表 3 に示す.データセットが異なるので直接的な比較はできない. 提案手法により, 正確性は少し低下したが, 多様性は非常に向上した. 提案手法の Fine の正確性が低い原因として，より具体的なキャプションを生成するタスクの難易度が高いことが考えられる。

次に抽象度の評価を行った. E-C2F の生成した Fine のキャプションと, 提案手法の生成した Fine のキャプションに対して含意関係認識を適用し, それぞれのキャプションを前提, 仮定としたときに含意関係である割合を比較した. E-C2F から生成されたキャプションが前提で提案手法から生成されたキャプションが仮定のとき,含意関係となるものは $3.5 \%$ であったのに対し, 逆は $19.2 \%$ であった. よって提案手法により，より具体的なキャプションを生成でき

1) https://huggingface.co/ynie/roberta-large-snli_mnli_ fever_anli_R1_R2_R3-nli
表 3 正確性と多様性の結果

表 4 生成されたキャプションの例

ることが示された

生成されたキャプションの例を表 4 の左に示す.先行研究と比較して, より抽象的, 具体的なキャプションを生成することを達成した。

## 4.4 複数エンティティのキャプション生成

Coarse, Fine の数をおおよそ等しくするため, 本研究では提案手法の閾値を 0.55 とした. まず正確性,多様性の評価を行った. 複数エンティティのキャプション生成の正確性と多様性の実験結果を表 3 に示す. 単一エンティティに比べ, 多様性は近い值を得ているが, 正確性は低下した. 原因として複数エンティティのキャプション生成のほうが考慮する情報が多く, より難易度が高いことが考えられる. また単一エンティティに比べ, データが少ないので語彙数が少なくなっている.

次に抽象度の評価を行った. E-C2F は複数エンティティをデータセットから除いており, 単一エンティティのような比較ができないので, 生成された Coarse, Fine のキャプションで比較実験を行った. Coarse が前提で Fine が仮定のとき,含意関係となるものは 3.9\%であったのに対し, 逆は 47.2\%であった.単一エンティティではあるが, E-C2F で同様の実験を行ったところ, Coarse が前提で Fine が仮定のとき，含意関係となるものは $7.1 \%$ であっのに対し, 逆は 23.6\%であった. よって提案手法により, E-C2F に比べ, 抽象度を制御可能であることが示された.

生成されたキャプションの例を表 4 の右に示す.先行研究と比較はできないが, 抽象的, 具体的なキャプションを生成することを達成した。

## 5 おわりに

本研究では, IDF と含意関係認識を用いて抽象度を制御可能なエンティティレベルのキャプション生成手法を提案し, 従来の手法より多様性を向上させ, より具体的なキャプションを生成可能にし, 抽象度の制御を可能にした. またエンティティの抽象度を制御可能にすることで, 常識推論の導入, そして画像全体の深い理解に繋がると考える. 今後の展望として, 本研究の手法を画像全体に拡張することが挙げられる。

## 謝辞

本研究は富士通株式会社の助成を受けたものである。

## 参考文献

[1] Matteo Stefanini, Marcella Cornia, Lorenzo Baraldi, Silvia Cascianelli, Giuseppe Fiameni, and Rita Cucchiara. From show to tell: A survey on deep learning-based image captioning. In arXiv, 2021.

[2] Justin Johnson, Andrej Karpathy, and Li Fei-Fei. Densecap: Fully convolutional localization networks for dense captioning. In CVPR, 2016.

[3] Linjie Yang, Kevin Tang, Jianchao Yang, and Li-Jia Li. Dense captioning with joint inference and visual context. In CVPR, 2017.

[4] Guojun Yin, Lu Sheng, Bin Liu, Nenghai Yu, Xiaogang Wang, and Jing Shao. Context and attribute grounded dense captioning. In CVPR, 2019.

[5] Linwei Li, Xiangyu Lin, Chenhui Chu, Noa Garcia, Yuta Nakashima, and Teruko Mitamura. Achieving entity-level diverse caption generation via attention over neighbors. Computer Vision and Image Understanding (under review).

[6] Chenhui Chu, Vinicius Oliveira, Felix Giovanni Virgo, Mayu Otani, Noa Garcia, and Yuta Nakashima. The semantic typology of visually grounded paraphrases. Computer Vision and Image Understanding, Vol. 215, No. 103333, 2022.

[7] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016.

[8] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. In ICCV, 2015 .

[9] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In EMNLP, 2015.

[10] Samuel R. Bowman Adina Williams, Nikita Nangia. A broad-coverage challenge corpus for sentence understanding through inference. In NAACL, 2018.

[11] Yixin Nie, Haonan Chen, and Mohit Bansal. Combining fact extraction and verification with neural semantic matching networks. In AAAI, 2019.

[12] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Proceedings of the 58th annual meeting of the association for computational linguistics. In ACL, 2020.

## A 提案手法のスコアの例

提案手法のスコアの例を表 5 に示す.

表 5 提案手法のスコアの例


# 文字情報を考慮したシーン画像検索

宮脇峻平 ${ }^{1}$ 長谷川拓 ${ }^{2}$ 西田京介 ${ }^{2}$ 加藤拓真 ${ }^{1}$ 鈴木潤 1,3
${ }^{1}$ 東北大学 ${ }^{2} \mathrm{NTT}$ 人間情報研究所 ${ }^{3}$ 理化学研究所
\{shumpei.miyawaki.q1, takuma.kato.r3\}@dc.tohoku.ac.jp jun.suzuki@tohoku.ac.jp
\{taku. hasegawa.ps, kyosuke.nishida.rx\}@hco.ntt.co.jp

## 概要

本研究では，Vision and Language の分野で，テキストと視覚領域の意味表現を紐づけるための手法として注目される，画像とテキストを独立したモデルでエンコードするデュアルエンコーダ型の検索モデルを用いて画像検索に取り組む. デュアルエンコーダでは，特に画像エンコーダが画像中の文字情報であるシーンテキストと視覚情報を融合して理解できているかどうかが明らかでないことから， TextCaps [1] を用いて画像検索を行い，シーンテキストの影響について調査を行う．実験の結果より， シーンテキストと周辺視覚情報の融合的な理解を助けるモデル化が効果的であることを示す.

## 1 はじめに

計算機によるテキストや視覚情報の適切な理解を実現することは, 人工知能研究における最終目的の一つである. Vision and Language の分野では，この目的の実現に向けてテキストと視覚領域の意味表現の紐付けを行うための方法論が研究されている。一般的に，1) テキストと視覚情報を連結して一つの Transformer [2] ベースのモデルに入力し，異なるモダリティ間でアラインメントを学習するクロスエンコーダ，2) 画像・テキストに関する二つの独立したエンコーダを用いて対照学習の枠組みを導入してアラインメントを学習するデュアルエンコーダ，の二つの方法論が広く用いられる. クロスエンコーダは異なるモダリティの理解を行いやすいが，画像検索などの高速かつ大規模な推論が必要なタスクには適していないことが知られている [3].

本研究では，高速に推論可能なデュアルエンコー ダを用いてシーンテキストと視覚領域の意味表現を適切に紐づけることを目的として, 画像中の文字情報を考慮する画像検索モデルを提案する．本研究の貢献は以下の通りである.
・デュアルエンコーダを対象に，画像中の文字情報と視覚情報を融合して理解するための拡張を行い，シーンテキストを周辺視覚情報から読むための事前学習を提案する。

・クロスエンコーダを用いた先行研究と同様に,実験結果から画像中の文字情報と周辺視覚情報の融合的な理解がモデルの検索性能に有効な影響を示すことを明らかにした。

## 2 関連研究

## 2.1 デュアルエンコーダによる検索手法

オープンドメイン質問応答タスクでは，Karpukhin ら [4] が提案したデュアルエンコーダを用いた密なベクトル意味空間での類似度に基づく検索手法であ

る Dense Passage Retrieval（DPR）が広く用いられており，デュアルエンコーダにおけるモダリティの関係性についても研究されている $[5,6]$.

デュアルエンコーダを用いた検索手法は画像検索でも研究されており $[3,7,8,9]$, Jia ら [8] はWEB から収集した画像とテキストのペアからなる大規模な学習データを用いることで，線形演算可能なテキストと視覚情報の埋め込み表現を学習している.

またクロスエンコーダについても研究されており [10,11, 12, 13], UNITER [11] は Transformer [2] の注意機構を用いてテキストと視覚領域のクロスモー ダルなアラインメントを学習している。

さらに多言語を考慮したモデルも注目されており [14, 15], Huang ら [16] はデュアルエンコーダの枠組みを用いて多言語マルチモーダル検索における事前学習法を提案している.

## 2.2 画像中の文字情報のモデル化

標識や商品名など我々の身の回りにはシーンを説明するために有効なテキスト情報が溢れており，

図 1 ベースラインモデルの概要

シーンテキストは類似するシーン画像に対してより詳細な意味情報を提供する $[17,18]$. 先行研究ではシーンテキストの意味情報として，テキストの言語情報や視覚情報だけでなく, 文字単位の特徵量 (PHOC) [19] やレイアウト [20, 21, 22, 23], シーンテキスト間の位置情報 [24] などが使用される。しかしデュアルエンコーダによる画像中の文字情報と周辺視覚情報の融合した理解については明らかでなく，特にシーンテキストをモダリティの対象としない CLIP [7] では画像中の文字情報と物体の視覚情報の意味的な紐付けが難しい [25, 26].

また撮影場所や生産地などに依存するシーンテキストはゼロショットの語彙となる場合があるため [1], 先行研究におけるシーンテキストはテキストエンコーダが持つ語彙とは異なるものとして扱われる [27, 28, 24]. また大規模なテキストコーパスを用いて事前学習を行うことでシーンテキストの語彙を広くカバーするモデルも提案されている [23].

その他，シーンテキスト検出・検索タスクでは, 従来より注意機構 [29] や Connectionist Temporal Classification (CTC) ロス [30] などが使用される. Wang ら [31] は CTC ロスに加え，シーンテキストおよび視覚表現のクロスモーダルな類似関係をモデル化するシーンテキスト検索モデルを提案している.

## 3 文字情報を考慮した画像検索

本章では，高速に推論可能なデュアルエンコーダを用いて画像中の文字情報を考慮した画像検索モデルを提案する。

## 3.1 ベースラインモデル

本研究ではデュアルエンコーダにおける詳細なアラインメントを学習することを目的として，画像全体を入力する CLIP [7] ではなく，Faster R-CNN を用いた物体検出器 [32] により分割された物体領域を扱う LightningDOT [3] をべースラインモデルとして用いる（図 1). 画像・テキストエンコーダには， UNITER [11] および BERT [33]を用いる.

LightningDOT では，画像 $\boldsymbol{v}$ とキャプション $\boldsymbol{w}$ のペアからなるデータセット $D$ をそれぞれ画像エンコーダ $E_{v}$ およびテキストエンコーダ $E_{w}$ に入力する。 そして，ベクトル化された二つの CLS べクトルについて，対応するぺアに対して内積值 $\operatorname{sim}(\boldsymbol{w}, \boldsymbol{v})=E_{w}\left(\boldsymbol{w}_{\mathrm{CLS}}\right)^{\top} E_{v}\left(\boldsymbol{v}_{\mathrm{CLS}}\right)$ が高くなるようモデルパラメータを最適化する Cross Modal Retrieval （CMR）を行う（式1）。お負例の選択についてはインバッチネガティブサンプリングを採用し，ミニバッチ $B$ 内の他の画像とキャプションをそれぞれ負例として扱うこととする.

$
\begin{gathered}
\mathscr{L}_{C M R}(B)=\frac{1}{2 B} \sum_{b=1}^{B} \mathscr{L}_{T R}^{\left(v_{b}\right)}+\mathscr{L}_{I R}^{\left(w_{b}\right)} \\
\mathscr{L}_{I R}^{\left(w_{b}\right)}=-\log \frac{\exp ^{\operatorname{sim}\left(\boldsymbol{w}_{b}, \boldsymbol{v}_{b}\right)}}{\sum_{k=1}^{B} \exp ^{\operatorname{sim}\left(\boldsymbol{w}_{b}, \boldsymbol{v}_{k}\right)}} \\
\mathscr{L}_{T R}^{\left(v_{b}\right)}=-\log \frac{\exp ^{\operatorname{sim}\left(\boldsymbol{v}_{b}, \boldsymbol{w}_{b}\right)}}{\sum_{k=1}^{B} \exp ^{\operatorname{sim}\left(\boldsymbol{v}_{b}, \boldsymbol{w}_{k}\right)}}
\end{gathered}
$

CMR の他，[MASK] に置き換えられたトークン $\boldsymbol{w}_{m}$ を周辺テキスト $\boldsymbol{w}_{\backslash m}$ および視覚情報 $\boldsymbol{v}_{C L S}$ から予測する Visual Masked Language Modeling (VMLM)

1）（式 2）また $\mathbf{0}$ ベクトルに置き換えられた物体領域のベクトル表現 $\boldsymbol{v}_{m}$ を周辺視覚情報 $\boldsymbol{v}_{\backslash m}$ およびテキスト情報 $\boldsymbol{w}_{C L S}$ から予測する Semantic Masked Region Modeling（SMRM)2)（式 3）を行う3).

$
\begin{aligned}
& \mathscr{L}_{M L M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}) \sim D} \log P_{\theta}\left(\boldsymbol{w}_{m} \mid \boldsymbol{w}_{\backslash m}, \boldsymbol{v}_{\mathrm{CLS}}\right)(2) \\
& \mathscr{L}_{M R M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}) \sim D} f_{\theta}\left(\boldsymbol{v}_{m} \mid \boldsymbol{v}_{\backslash m}, \boldsymbol{w}_{\mathrm{CLS}}\right)
\end{aligned}
$

## 3.2 シーンテキストと周辺視覚情報の理解

先行研究における画像中の文字情報を組み込んだクロスモーダルモデルについては，クロスエンコー ダを用いた手法が広く研究される [17, 23, 20, 21, 22]一方で，画像中の文字情報がデュアルエンコーダに与える影響については明らかでない. そこで本研究では, LightningDOT [3] の画像エンコーダである UNITER [11] を対象に，シーンテキストを新たなモダリティの対象として考慮する（図 1).

## Masked Scene-Text Modeling (MSM)

シーンテキストに対して物体の視覚情報やキャプションとの適切なアラインメントをデュアルエンコーダに学習させるため， 3.1 節で説明した VMLM を拡張し，シーンテキストに対してマスク予測に基づく最適化を行う ${ }^{4)}$. ここではシーンテキストのテキスト情報のみをマスクすることにより，モデルが「周辺の視覚情報からシーンテキストを読む」ことが期待できる。具体的には $t$ をマスクするトークン数として，マスクするインデックスを $\boldsymbol{m} \in \mathbb{N}^{t}$ とし，マスクされたシーンテキストのトークン列を $s_{m}$ ，マスクされていない周辺文脈としてのシーンテキストのトークン列を $s_{\backslash m}$ とし, 式 4 の negative log-likelihoodを最小化する.

$
\mathscr{L}_{M S M}(\theta)=-\mathbb{E}_{(\boldsymbol{w}, \boldsymbol{v}, \boldsymbol{s}) \sim D} \log P_{\theta}\left(\boldsymbol{s}_{m} \mid \boldsymbol{s}_{\backslash m}, \boldsymbol{v}, \boldsymbol{w}_{\mathrm{CLS}}\right)
$

## 4 実験設定

画像中の文字情報を考慮した画像検索を行うため，アノテータによって画像中のテキストを読

1）Devlin ら [33] の設定に従い，入力トークン列のうち $15 \%$ のトークンに対して，うち $80 \%$ をマスクトークン [MASK] に置換，10\%をランダムなトークンに置換，残り $10 \%$ は置換なしとして処理を行う。

2）SMRM では，0にマスクされた物体領域のベクトル値を予測する Masked Region Feature Regression，およびマスクされた物体領域の物体クラスを予測する Masked Region Classification の二つのサブタスクからなる $[3,11]$.

3）各イテレーションで無作為にタスクを一つ選択する。

4）VMLM と同様に Devlin ら [33] と同様の設定で行った.表 1 学習データセット

表 2 TextCaps の開発セットにおける検索性能

解するように生成された ${ }^{5}$ TextCaps [1] を利用する （表 1）. TextCaps [1] では，キャプションと画像のぺアに加え, Rosseta-en [34]を用いたシーンテキストの情報がデータとして与えられる 6 ) 。学習時のパラメータについては Appendix. A. 1 を参照されたい.

## 5 実験

## 5.1 文字情報を考慮する検索モデルの評価

3.2 節で説明した，画像中の文字情報を視覚情報として考慮するための手法について評価した（表 2).評価指標は，キャプションをクエリとした画像検索（IR）および画像をクエリとしたキャプション検索（TR）の両方について，Recall@kを用いた。また表 2 には，TextCaps [1] で学習された STARNet [18] の検索性能を同時に示す. さらに 2.2 節で述べたように，テキストエンコーダが持つ語彙ではシーンテキストを多くカバーすることが難しい $[27,28,24]$ ため，テキストエンコーダの語彙数を増やした多言語 BERT [33] の評価も行った ${ }^{7)}$.

表 2 より，シーンテキストを新たなモダリティとして画像エンコーダに入力した場合に，英語 BERT および多言語 BERT の両設定で検索性能が大幅に向上した.これは TextCaps [1] がシーンテキストに

5） Mafla ら [18]は，TextCaps における少なくとも一つのシーンテキストに言及するというバイアスについて言及している。

6） TextCaps [1] は，シーンテキストを含む画像およびシーンテキストに言及するキャプションが，それぞれ $96.9 \%$ および $81.3 \%$ と高く（COCO [35] では，それぞれ $12.7 \%$ および $2.7 \%$ ), 評価セットには訓練および開発データ中に含まれない OCRトークンが 2901/6329 個と多く含まれる.

7）なお英語 BERT および多言語 BERT の語彙数は，それぞれ 28,996, 119, 547 である.
表 3 視覚情報に対するアブレーション

 & $\checkmark$ & - & 15.7 & 35.0 & 45.8 & | 19.7 & 42.1 & 53.0 \\

言及するキャプションデータであるというバイアス [18] が要因であると考えられるが，少なくともシーンテキストを含むデータセットに対してシーンテキストと周辺視覚情報を融合するモデル化が効果的であることを示している. また 3.2 節で述べた MSM については，多言語 BERT を用いた場合に検索性能が向上した．MSMによる画像中の文字情報のモデル化について 5.2 節で詳細な評価を行う。

## 5.2 視覚情報に対するアブレーション

5.1 節では，視覚情報として画像中の文字情報を考慮することで検索性能が改善することを示した。本節では，視覚情報として画像中の文字情報（ST） および物体の視覚情報（IMG）の融合的な理解ができているか調査するため, 視覚情報のモダリティ選択についてアブレーションを行った（表3）。

表 3 より，画像エンコーダに入力するモダリティを， IMG・ST のみとした場合にモデルの検索性能が大きく低下したことから, 画像エンコーダから画像中の文字情報および周辺視覚情報が共存した視覚情報がエンコードされることが分かる．またSTのみを対象とする場合に，MSM ありの検索性能が MSM なしに比べて高い值を示したことから，MSM による事前学習がシーンテキストをモデル化するために有効な手法であることが分かる。一方 IMG のみを対象とする場合に，MSM ありの検索性能が低くなった結果は，テキストエンコーダから出力されるキャプションに対して，テキストとしての情報を持つ ST との親和性が IMG よりも高くなったのが原因と考えられる. このことから，キャプションと物体の視覚情報におけるクロスモーダルな関係を損なうことなく, シーンテキストを視覚情報として融合できるような工夫が今後必要となる.表 4 シーンテキストとキャプションのトークン重複数に対する検索結果（MSMあり）

## 5.3 トークン重複数別の検索性能の変化

シーンテキストが TR・IR に与える影響について更なる調査を行うため，キャプションとの親和性が高くなる要因の一つであるトークンの重複数に対する検索性能を，TextCaps [1] の開発セットを用いて Accuracy@k で評価した ${ }^{8}$ ）(表 4).

表 4 から，TRではキャプションとのトークン重複数が多くなるほど検索性能が高い値を示したことから，シーンテキストとキャプション間で重複するトークンが，画像中の文字情報とキャプションの親和性を高める要因の一つであることが分かる。また IRにおいてトークン重複数に依存しない結果を示したのは，トークン重複数と検索対象である視覚情報のモダリティ間の差異や，シーンテキストには権限性の低い文字情報が多く含まれることが原因と考えられる。

## 6 おわりに

本研究では TextCaps [1]を対象に，画像中の文字情報をデュアルエンコーダに組み込んだ際の影響について調査を行った. 実験の結果より，デュアルエンコーダにおいてもシーンテキストが有効であることを示すと同時に，シーンテキストのモデル化について MSM が効果的であることを示した.

今後の展望としては，クロスモーダルな意味関係についてより詳細な紐付けを行う工夫を模索したい. また Jia ら [8] のような大規模な学習データを用いた影響や，TextCaps 以外の評価データについても同様効果があるかどうかデータ横断的な調査を行いたい. 本研究で得られた知見は，文字情報の理解に強い Vision and Language の事前学習モデルの構築や，事前学習モデルに基づく大規模かつ高速な画像検索の重要な基礎・応用課題に貢献できる.

8）なおシーンテキストは spaCyを用いて (“ADJ","ADV","NOUN","PROPN","VERB”) の内容語からなる品詞に限定した.

## 参考文献

[1] Sidorov Oleksii, Hu Ronghang, Rohrbach Marcus, and Singh Amanpreet. Textcaps: A dataset for image captioning with reading comprehension. In ECCV, pp. 742-758, 2020.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS. Curran Associates, Inc., 2017.

[3] Siqi Sun, Yen-Chun Chen, Linjie Li, Shuohang Wang, Yuwei Fang, and Jingjing Liu. LightningDOT: Pre-training visual-semantic embeddings for real-time image-text retrieval. In NAACL-HLT, pp. 982-997, 2021.

[4] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769-6781, 2020.

[5] Ruiyang Ren, Shangwen Lv, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, and Ji-Rong Wen. PAIR: Leveraging passage-centric similarity relation for improving dense passage retrieval. In ACL, pp. 2173-2183, 2021.

[6] Yingqi Qu, Yuchen Ding, Jing Liu, Kai Liu, Ruiyang Ren, Wayne Xin Zhao, Daxiang Dong, Hua Wu, and Haifeng Wang. RocketQA: An optimized training approach to dense passage retrieval for open-domain question answering. In NAACL-HLT, pp. 5835-5847, 2021.

[7] Radford Alec, Wook Kim Jong, Hallacy Chris, Ramesh Aditya, Goh Gabriel, Agarwal Sandhini, Sastry Girish, Askell Amanda, Mishkin Pamela, Clark Jack, Krueger Gretchen, and Sutskever Ilya. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[8] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, pp. 4904-4916, 2021.

[9] Lu Yuan, Dongdong Chen, Yi-Ling Chen, Noel Codella, Xiyang Dai, Jianfeng Gao, Houdong Hu, Xuedong Huang, Boxin Li, Chunyuan Li, Ce Liu, Mengchen Liu, Zicheng Liu, Yumao Lu, Yu Shi, Lijuan Wang, Jianfeng Wang, Bin Xiao, Zhen Xiao, Jianwei Yang, Michael Zeng, Luowei Zhou, and Pengchuan Zhang. Florence: A new foundation model for computer vision. CoRR.

[10] Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for visionand-language tasks. In NeurIPS, pp. 13-23, 2019.

[11] Chen Yen-Chun, Li Linjie, Yu Licheng, El Kholy Ahmed, Ahmed Faisal, Gan Zhe, Cheng Yu, and Liu Jingjing. UNITER: universal image-text representation learning. In ECCV, pp. 104-120, 2020.

[12] Li Xiujun, Yin Xi, Li Chunyuan, Zhang Pengchuan, Hu Xiaowei, Zhang Lei, Wang Lijuan, Hu Houdong, Dong Li, Wei Furu, Choi Yejin, and Gao Jianfeng. Oscar: Object-semantics aligned pretraining for vision-language tasks. In ECCV, pp. 121-137, 2020.

[13] Pengchuan Zhang, Xiujun Li, Xiaowei Hu, Jianwei Yang, Lei Zhang, Lijuan Wang, Yejin Choi, and Jianfeng Gao. Vinvl: Revisiting visual representations in vision-language models. In CVPR, pp. 5579-5588, 2021.

[14] Minheng Ni, Haoyang Huang, Lin Su, Edward Cui, Taroon Bharti, Lijuan Wang, Dongdong Zhang, and Nan Duan. M3p: Learning universal representations via multitask multilingual multimodal pre-training. In CVPR, pp. 3977-3986, 2021.

[15] Mingyang Zhou, Luowei Zhou, Shuohang Wang, Yu Cheng, Linjie Li, Zhou Yu, and Jingjing Liu. Uc2: Universal cross-lingual crossmodal vision-and-language pre-training. In CVPR, pp. 4155-4165, 2021.

[16] Po-Yao Huang, Mandela Patrick, Junjie Hu, Graham Neubig, Florian Metze, and Alexander Hauptmann. Multilingual multimodal pre-training for zero-shot cross-lingual transfer of vision-language models. In NAACL-HLT, pp. 2443-2459, 2021.

[17] Zhengyuan Yang, Yijuan Lu, Jianfeng Wang, Xi Yin, Dinei Florencio, Lijuan Wang, Cha Zhang, Lei Zhang, and Jiebo Luo. Tap: Text-aware pre-training for text-vqa and text-caption. In CVPR, pp. 8751-8761, 2021.

[18] Andres Mafla, Rafael S. Rezende, Lluis Gomez, Diane Larlus, and Dimosthenis Karatzas. Stacmr: Scene-text aware cross-modal retrieval. In WACV, pp. 2220-2230, 2021.

[19] Jon Almazán, Albert Gordo, Alicia Fornés, and Ernest Valveny. Word spotting and recognition with embedded attributes. IEEE, pp. 2552-2566, 2014.

[20] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In SIGKDD, pp. 1192-1200, 2020.

[21] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei A. F. Florêncio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. Layoutlmv2: Multimodal pre-training for visually-rich document understanding. In ACL/IJCNLP, pp. 2579-2591, 2021.

[22] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In AAAI, pp. 13878-13888, 2021.

[23] Ali Furkan Biten, Ron Litman, Yusheng Xie, Srikar Appalaraju, and R. Manmatha. Latr: Layout-aware transformer for scene-text VQA. CoRR, 2021.

[24] Jing Wang, Jinhui Tang, Mingkun Yang, Xiang Bai, and Jiebo Luo. Improving ocr-based image captioning by incorporating geometrical relationship. In CVPR, pp. 1306-1315, 2021.

[25] Gabriel Goh, Nick Cammarata $\dagger$, Chelsea Voss $\dagger$, Shan Carter, Michael Petrov, Ludwig Schubert, Alec Radford, Chris Olah. Multimodal neurons in artificial neural networks. Distill, 2021.

[26] David A. Noever and Samantha E. Miller Noever. Reading isn't believing: Adversarial attacks on multi-modal neurons. CoRR, 2021.

[27] Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, and Marcus Rohrbach. Towards VQA models that can read. In CVPR, pp. 8317-8326, 2019.

[28] Ronghang Hu, Amanpreet Singh, Trevor Darrell, and Marcus Rohrbach. Iterative answer prediction with pointer-augmented multimodal transformers for textvqa. In CVPR, 2020

[29] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015.

[30] Alex Graves, Santiago Fernández, Faustino J. Gomez, and Jürgen Schmidhuber. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In ICML, pp. 369-376, 2006

[31] Hao Wang, Xiang Bai, Mingkun Yang, Shenggao Zhu, Jing Wang, and Wenyu Liu. Scene text retrieval via joint text detection and similarity learning. In CVPR, pp. 4558-4567, 2021.

[32] Peter Anderson, Xiaodong He, Chris Buehler, Damien Teney, Mark Johnson, Stephen Gould, and Lei Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, pp. 6077-6086, 2018.

[33] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 4171-4186, 2019.

[34] Fedor Borisyuk, Albert Gordo, and Viswanath Sivakumar. Rosetta: Large scale system for text detection and recognition in images. In SIGKDD, pp. 71-79, 2018.

[35] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár, and C. Lawrence Zitnick. Microsoft COCO captions: Data collection and evaluation server. CoRR, Vol. abs/1504.00325, , 2015 .

## A 参考情報

## A. 1 学習パラメータ

4 章で説明したモデルの学習設定を図 5 に示す.

## 表 5 実験設定

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Visually-Guided Named Entity Recognition by Grounding Words with Images via Dense Retrieval

Wang Yao ${ }^{1} \quad$ Naoki Yoshinaga ${ }^{2}$
${ }^{1}$ The University of Tokyo $\quad{ }^{2}$ Institute of Industrial Science, the University of Tokyo
yao-w@tkl.iis.u-tokyo.ac.jp ynaga@iis.u-tokyo.ac.jp
}

\begin{abstract}
We can verbally communicate with others since words are grounded with real-world meanings such as entities. In this study, instead of multimodal natural language processing (NLP) that assumes supplemental images along with text, we propose to ground each word in the text with images via dense retrieval (vokenization) to solve text-only NLP tasks using multimodal NLP models. We focus on named entity recognition (NER) and modify the existing NER model to refer to the retrieved images. We evaluated our methodology on two multimodal named-entity recognition datasets and confirmed the advantage of the proposed framework.
\end{abstract
## 1 Introduction

Humans learn language from experience based on sense including feeling, smelling, and especially looking. Multimodal natural language processing (MNLP) has been thereby studied to consider multimodal input in existing NLP tasks such as machine translation [1], multimodal NER [2], and video captioning [3]. Multimodal NLP is motivated to address two challenges in NLP: lexical ambiguity, and out of vocabulary words. With images, people can easily understand the meanings of footballs (soccer or American football) which are sometimes unclear from text-only input. Images can also provide rich knowledge of rare and unseen words.

Current studies in multimodal NLP, for example, in multimodal machine translation, show that visual information is indeed useful for improving the quality of outputs (here, translation) [4]. However, recent research shows that visual content is not as useful as expected and it might play the role of regularization [5]. The current multimodal NLP suffers from two limitations: data sparsity and the utility of images on the task. The biggest multimodal dataset is

Figure 1 Applying multimodal NLP models to text-only NLP tasks via image retrieval.

still far smaller than the text-only counterpart. For example, in multimodal machine translation, multi30k [1] (29k training pairs) vs. ParaCrawl (51M training pairs for v5 fr-en [6]). The utility of the supplied images needs to be doubted as well. In real-world situations, the irrelevant text-image pairs account for a very large proportion. The supplied images do not always include all information in the text and sometimes images are just used to be ironic or make a funny.

In this paper, we purposed to exploit using dense image retrieval [7] to ground each word in the text with images to provide visual information for text-only NLP tasks (Figure 1). Considering image pool as an extra knowledge base, our framework can be viewed as a recently popular knowledge-based NLP that utilizes instance-wise knowledge via retrieval [8].

We evaluate our multimodal framework on the multimodal NER (MNER) task. We first train a dense retriever based on the text-image pair of the training split in the datasets, twitter-2015 [9], and twitter-2017 [2]. Then we use dense retrieval to retrieve images as visual input to the multimodal NER to train a multimodal NER model.

## 2 Related Work

In this section, we first review multimodal named entity recognition. We next introduce pre-trained language and vision models followed by cross-modal dense retrieval, both of which are used in our method.

Multimodal Named Entity Recognition (MNER): MNER is a new challenge generated from NER. Formally, given a sentence $S$ and its associated image $V$ as input, the goal is to classify entities in $S$ to the predefined types.

Moon et al. [10] first introduced the MNER task and proposed a modality attention module at the input of a NER network. To solve the problem of irrelevance between image and text, Sun et al. [11] purposed a text-image relation propagation-based BERT model which reaches the stateof-the-art performance.

Pretrained Language and Vision Model: Incorporating different modalities to improve representation learning is very popular after pretraining and self-supervision become a fashion. In computer vision, Clip [12] proposed the idea of language supervision; training on image-text pair via contrastive learning can help a lot on zero-shot image classification. In NLP, although research by Tan et al. [7] shows that vision-and-language pre-trained models now can hardly get improvement in text-only tasks, some research like imagination [13] in machine translation also shows the potential of using visual information to benefit text-only tasks.

Cross-modal Dense Retrieval: Dense retrieval is a key technique in the text-only Question Answering (QA) task [14]. The idea of dense retrieval is to generate a new representation for both query and key in a shared subspace. Cross-modal dense retrieval is very similar to text-only dense retrieval. The difference is that the gap between different modalities is much bigger. To solve this problem, Tan et al. [7] proposed vokenization to ground words instead of sentences with images via dense retrieval.

## 3 Preliminaries

This section introduces how vokenization ground words with real-word images in our retrieval-based multimodal NLP.

## 3.1 Vokenization

The main idea of vokenization [7] is to learn a crossmatching model that can map text and image to the shared subspace from a text-image dataset and then build a "vokenizer" that can ground a given word with images using maximum inner product search (MIPS). The crossmatching model consists of two independent encoders for image encoder $_{\text {img }}$ and text encoder ${ }_{\text {lang }}$. The model takes an image $v$ as input and a sentence $s$ composed of a sequence of tokens $w_{1}, w_{2}, \ldots, w_{3}$. The output $r_{\theta}\left(w_{i}, v ; s\right)$ is the relevance score between the token $w_{i} \in S$ and image $v$. The relevance socre is the inner product of the language features $f_{\theta}\left(w_{i} ; s\right)$ and the visual feature $g_{\theta}(v)$. The formulation is:

$
r_{\theta}\left(w_{i}, v ; s\right)=f_{\theta}\left(w_{i} ; s\right)^{\top} g_{\theta}(v)
$

Since two encoders do not project image and text into the same dense space, the cross-matching model applies two multi-layer perceptrons (MLP) $w_{m l p}$ and $v_{m l p}$. Then the language features $f_{\theta}\left(w_{i} ; s\right)$ and visual features $g_{\theta}(v)$ can be computed by

$
\begin{aligned}
f_{\theta}\left(w_{i} ; s\right) & \left.=w_{m l p}\left(\operatorname{encoder}_{l a n g}\left(w_{i}\right)\right)\right) \\
g_{\theta}(v) & =v_{m l p}\left(\operatorname{encoder}_{i m g}(v)\right)
\end{aligned}
$

The model is then optimized by maximizing the relevance score of these aligned token-image pairs in image-text datasets. Given this cross-matching model, the retrieval problem could be formulated as a maximum inner product search.

## 4 Methodology

We proposed to first annotate text-only NLP tasks with images via vokenization, and then use the retrieved images to turn the original input into multimodal input. Then we add two modifications to an existing text-only model to effectively utilize the retrieved images. We concretely explain the modifications using a BERT-CRF NER model [15] as an example, since in this study we evaluate our framework on NER.

## 4.1 Retrieving images for words in inputs

First, we use the text-image pairs in the training split to train the vokenizer we have explained in Section 3.1. We retrieve images for words in the task inputs using the trained vokenizer and some pool of images (in this case, all images

Figure 2 Multimodal BERT-CRF NER model with multiple image inputs.

in the training dataset). We then obtain multimodal input with a sentence $S$ composed by tokens $\left.\langle w_{1}, w_{2}, \ldots, w_{i}\right.\rangle$ and a series of retrieved images $x<v_{1}, v_{2}, \ldots, v_{i}>$ that correpond to every word $w_{i}$ one by one.

## 4.2 Modification to Multimodal Model

Here, we introduce two types of modifications on BERTCRF [15] to take a series of retrieved images as input: 1) Fuse Model 2) Visual Attention Model (Figure 2). In the following, we explain these two modifications.

## 4.2.1 Fuse Model

BERT-CRF model is a variant of BERT by adding a CRF layer after representation learning.

$
\begin{array}{r}
\qquad f_{\theta}\left(w_{i} ; s\right)=\operatorname{BERT}(s) \\
\text { Output }=\operatorname{CRF}\left(f_{\theta}\left(w_{i} ; s\right)\right)
\end{array}
$

We first extract text and image representation with pretrained models from the input series of images. In this case, we take ResNet [16] as a pre-trained vision model.

$
g_{\theta}\left(v_{u} ; x\right)=\operatorname{ResNet}(x)
$

To alleviate the visual bias for different words, we ap-
Table 1 The detailed information of two MNER datasets.

plied a gate $\lambda \in[0,1]$ to weigh the expected importance of retrieved image representation for each word.

We then learn word representation by

$
\left.f_{\theta}\left(w_{i} ; s\right)=(1-\lambda) \cdot f_{\theta}\left(w_{i} ; s\right)+\lambda \cdot g_{\theta}\left(v_{u} ; x\right)\right)
$

Finally, we fed the fused word representation to the CRF layer.

## 4.2.2 Visual Attention Model

We further integrate a visual attention module based on multi-head attention [17] to the fuse model.

$
\operatorname{Attention}(Q, K, V)=\operatorname{Softmax}\left(\frac{Q K^{\top}}{\sqrt{d_{k}}}\right)
$

Query vector is generated from the word representations and both key and value are generated from visual representations.

## 5 Experiment and Analysis

We evaluate our methodology on the NER task based on the BERT-CRF model.

We choose two multimodal NER datasets @ $[2,9]$ to test our methodology. Following the common settings in [18], we labeled them as twitter-2015 and twitter-2017. Table 4 shows the detailed information.

The multimodal NER dataset provides image-text pair that can test the difference between our joint model using a given image and using vokenized images. We take the whole image part as candidates for the vokenizer.

For implementation detail, we trained our crossmatching model for vokenizer using ResNet152 and BERT as the backbone of the image encoder and the text encoder. We then add two linear multi-layer perceptrons $m l p_{0}$ and $m l p_{1}$ which have two fully-connected layers with 256-dimensional intermediate outputs (followed by ReLU activation) and 64-dimensional final outputs, which mean we project two types of vectors to a 64-dim dense space.

To do fast retrieval, we built the vokenizer with FAISS [19]. We trained our cross-matching model on the training split of the dataset. In other words, we use only the image-text pairs in the training split. In validation and test,

Table 2 Results of NER and our retrieval-based multimodal NER.

Table 3 Ablation test.

we only use retrieved images as visual information rather than given images in the original dataset.

## 5.1 Results

In Table 2, we compared different methods on both twitter-2015 and twitter-2017 datasets with $F_{1}$ scores of different types of entities, total precision, recall, and weighted average $F_{1}$ score. Based on the result, we can find that in most cases, our methods can slightly improve the text-only model. In our cases, adding an attention mechanism cannot improve the performance of the multimodal NER model. Simply using the fuse model (Section 4.2.1) is more effective.

## 5.2 Analysis

To investigate the effectiveness of using the images retrieved by the vokenizer, we also consider using the given images to train our model. Table 3 shows the results. In both datasets, the model using vokenized images can outperform the model using the original image which means that vokenization may help solve the irrelevance between image and text.

We also compared our model with the given images with the state-of-the-art multimodal NER model. Table 4 shows that our proposed method still has an over 3\% gap between the state-of-the-art MNER model, which means our method may not be good enough to incorporate visual information with textual information.
Table 4 Comparison to the SOTA multimodal NER model.

## 6 Conclusions

In this paper, we first point out two challenges of multimodal NLP: data sparsity and the utility of images on the task. To overcome these challenges, We introduce using a dense retriever to ground words in inputs of text-only NLP tasks with images. Moreover, to use more than one image (usually, normal multimodal models assume a single image), we also proposed two easy multimodal models which can incorporate a series of images to guide the final prediction. The experimental results demonstrate that our method could consistently provide useful information in the two different multimodal NER datasets.

There are several future directions for this work. First, considering the performance comparison with the stateof-the-art MNER model, our model is still not that good to capture and incorporate visual information. Second, in this paper, we only consider using about $6 \mathrm{k}$ images in the MNER dataset as candidates for very limited retrieval. For a better study, we may collect a larger image-text dataset (e.g., Twitter dataset) to better understand the effectiveness of vokenization. Last but not the least, since the result only shows the difference in metrics, we have to dig more into the cases in the future study.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number JP21H03494 and JST CREST Grant Number JPMJCR19A4.

## References

[1] Desmond Elliott, Stella Frank, Khalil Sima'an, and Lucia Specia. Multi30k: Multilingual english-german image descriptions. In Proceedings of the 5th Workshop on Vision and Language, pp. 70-74. Association for Computational Linguistics, 2016.

[2] Di Lu, Leonardo Neves, Vitor Carvalho, Ning Zhang, and Heng Ji. Visual attention model for name tagging in multimodal social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1990-1999, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, and Juan Carlos Niebles. Dense-captioning events in videos. In Proceedings of the IEEE international conference on computer vision, pp. 706-715, 2017.

[4] Quanyu Long, Mingxuan Wang, and Lei Li. Generative imagination elevates machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5738-5748, Online, June 2021. Association for Computational Linguistics.

[5] Zhiyong Wu, Lingpeng Kong, Wei Bi, Xiang Li, and Ben Kao. Good for misconceived reasons: An empirical revisiting on the need for visual context in multimodal machine translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 6153-6166, Online, August 2021. Association for Computational Linguistics.

[6] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth Heafield, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson, William Waites, Dion Wiggins, and Jaume Zaragoza. ParaCrawl: Web-scale acquisition of parallel corpora. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555-4567, Online, July 2020. Association for Computational Linguistics.

[7] Hao Tan and Mohit Bansal. Vokenization: Improving language understanding with contextualized, visual-grounded supervision. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2066-2080, Online, November 2020. Association for Computational Linguistics.

[8] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[9] Qi Zhang, Jinlan Fu, Xiaoyu Liu, and Xuanjing Huang. Adaptive co-attention network for named entity recogni- tion in tweets. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018

[10] Seungwhan Moon, Leonardo Neves, and Vitor Carvalho. Multimodal named entity recognition for short social media posts. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 852-860, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[11] Lin Sun, Jiquan Wang, Kai Zhang, Yindu Su, and Fangsheng Weng. RpBERT: A text-image relation propagationbased BERT model for multimodal NER, 2021.

[12] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, 2021.

[13] Desmond Elliott and Ákos Kádár. Imagination improves multimodal translation. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 130-141, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[14] Kenton Lee, Ming-Wei Chang, and Kristina Toutanova. Latent retrieval for weakly supervised open domain question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6086-6096, Florence, Italy, July 2019. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, Los Alamitos, CA, USA, jun 2016. IEEE Computer Society.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[18] Jianfei Yu, Jing Jiang, Li Yang, and Rui Xia. Improving multimodal named entity recognition via entity span detection with unified multimodal transformer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3342-3352, Online, July 2020. Association for Computational Linguistics.

[19] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with gpus. arXiv preprint arXiv:1702.08734, 2017.


# 動画タイトルを用いたサムネイル画像の自動選択手法の提案

嘉田 紗世 ${ }^{1}$ 山野陽祐 ${ }^{1}$ 新美 茜 ${ }^{1}$ 田森秀明 1 小海則人 ${ }^{1}$ 岡崎 直観 ${ }^{2}$ 乾 健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{kada-s, yamano-y, niimi-a, tamori-h, kokai-n\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

本研究では，動画のフレームから動画タイトルに関連した最適なサムネイル画像を自動で選択する手法を提案する。さらに，隣接するフレーム間の相関が高いという動画の特徵（㔯長性）に対応し，性能を向上させるための手法についても言及する。本手法は画像とテキストのマルチモーダルな事前学習済みモデルを利用し，学習データに動画自体を必要としない. 先行研究と性能を比較し, 有効性を確認した．また，朝日新聞社の動画を使った実験で，構築したパイプラインの有効性を示した.

## 1 はじめに

サムネイルは画像や動画の情報量を削減したもので，ユーザの第一印象を左右する。 ゆえに，その品質は重要である。一方，サムネイルの素材となるフレームを選ぶ作業（以下，サムネイル選択と呼ぶ） は労力を要するため，動画を大量に制作する現場では，効率化の観点からサムネイルの自動生成に対する期待が高い。

サムネイル選択の自動化では，動画とサムネイルのパラレルデータを用いた教師あり学習でモデルを構築するアプローチが考えられる. しかし現状，動画制作者によって手動で作成された動画・サムネイルデータは少なく, 特に日本語のデータセットは筆者らの知る限り, 存在しない. そこで本研究では, それらの代替として，画像とテキストのパラレルデータを用いたモデルを利用する。このようなデー タセットは日本語でも存在し ${ }^{1)}$, 特に朝日新聞社では，掲載された過去の記事から大規模かつ効率的にデータセットを構築することが可能である.

タイトルは動画制作者が動画を端的に説明する

ために付与したものであるため，動画とそのタイトルの間には，動画（画像の集合）からテキストへのマルチモーダルな「要約」の関係が成り立つと考えられる。そこで，タイトルとの関連性が高いフレー ムは動画の主題を表すと考え，画像とテキストの類似度を測るモデルを用いてサムネイルを選択する。 さらに，動画の冗長性の排除を狙いとしたピーク検出2) と，複数のサムネイル候補の相対的な順位を考慮するランキング学習についても検討した. なお,本研究は，サムネイル画像として適切なフレームを動画から選択する作業の支援を目的としている.

事前に画像とテキストのパラレルデータで学習したモデルで各フレームと動画タイトルの類似度を計算し, 最も類似度が高いフレームをサムネイルとする手法の有効性を, 先行研究との性能を比較することにより確認した。また，朝日新聞社の報道動画を使った実験では，ピーク検出により動画の冗長性を排除し，効果的にサムネイル候補（キーフレーム） を抽出できることや，ランキングモデルを組み合わせることで性能が向上したことを確認した.

## 2 関連研究

サムネイル選択手法として，美的品質と代表性などの視覚情報に基づく手法が提案されている. 代表的な手法として, Song らの研究 [2] がある. Song らは，暗い・ボケといった低品質のフレームの破棄,視覚的に類似したフレームのクラスタに基づく重複フレームの破棄, 抽出したキーフレームの美的品質及び代表性（キーフレームを含むクラスタサイズから算出）による評価，という手順でサムネイル選択を行った. 本研究では報道動画での実応用を見据え，視覚情報に加えて動画の主題との関連性も重視する. そこで, Song らとは異なり, 動画のタイトル情報を活用する手法を検討する。

図 1 提案手法の概要. CLIP によりフレームとタイトルの類似度を計算する. ピーク検出によって冗長性を排除し， キーフレームを抽出する．CLIP で計算した類似度，ランキングモデルの結果を組み合わせ，キーフレームを順位付ける。

タイトル情報を活用する先行研究に $\mathrm{Yu}$ らの研究 [3]がある. Yu らは，視覚情報に加えて動画のタイトルや説明文，および動画中の音声を用いた埋め込み表現を学習したモデルを構築し，このモデルにより生成された動画を表すべクトルと最も類似度が高いフレームをサムネイルとして選択した. 本研究では，動画を学習データに用いる手法とは異なり，画像とテキストのマルチモーダル事前学習済みモデルを活用したサムネイル選択手法を提案する。

## 3 提案手法

図 1 亿本手法の概要を示す. 前述のとおり，動画の主題をよく表すフレームを選択するために，画像とテキストの類似度を測るモデルを用いる. 本研究では Contrastive Language-Image Pre-Training (CLIP) [4] を採用する (3.1 節)。しかし，動画中には同じようなフレームが多数存在することから， CLIP のみでサムネイルとなるフレームを選び出すのは困難である．そこで，テキストとの類似度に加えてピーク検出を導入する（3.2 節）。さらに，編集者の画像評価を再現するランキングモデルを構築し，より最適なサムネイルを候補から選択する（3.3 節）。

なお，本研究では動画から一つ以上のサムネイルを抽出する。一つ以上とするのは，本手法で選択した複数のフレームからサムネイルを人手で選択するという，実際の業務フローを想定するためである.

## 3.1 CLIP

CLIP は，2021 年に OpenAIが提案したニューラルネットワークである. 大量の画像・テキストペアの対照学習を通してマルチモーダルな埋め込み表現を学習し, 多くのタスクにおいてゼロショット学習で優れた精度を達成している. CLIPを使用することで画像とテキストをそれぞれ特徴量としてべクトル化し，その類似度を計算できる。本研究で CLIP を用いる理由は，画像とテキストの対応関係を直接学習することで，その相互理解に向けたより汎用的なモデルが構築できると期待できるからである．タイトルに基づくサムネイル選択を実現するには，物体認識モデルの利用も考えられる.しかし, 本研究の主な対象である報道動画においては，主題を表しているが即物的でないタイトル (例: 「晚秋の尾瀬，金色に輝く今だけ見られる景色」）も含まれているため，従来の物体認識モデルだけでは不十分である．そこで，テキストの文脈を考慮できるモデル構築が可能な CLIPを採用し， CLIP で計算される各フレームとタイトルの類似度 （以下，CLIP スコアと呼ぶ）をサムネイル選択に利用する．与えられた動画の各フレームの CLIP スコアを算出し， CLIP スコアがより高いものを動画の主題をよく表すフレームとする。

## 3.2 ピーク検出によるキーフレーム抽出

罙長性を排除しつつ CLIP スコアの高いフレームを取得するため，以下の手順でピーク検出を行い， キーフレームを抽出する。

1. CLIP スコアを時系列データとする

2. CLIP スコアの移動平均を算出

3. CLIP スコアの移動平均からピークを検出

4. ピークの近傍からキーフレームを抽出

概要を図 2 に示す. 手順 1 でプロットした CLIP スコアに対して, 手順 2 で移動平均を算出して外れ値を除去する。手順 3 では，移動平均が極大となるフレームを見つける。手順 4 では，手順 3 で抽出したフレームの前後 30 枚から, 同一シーン内で CLIP スコアが最大のフレームを抽出する.

この段階では，キーフレーム間の順位は CLIP スコアから決定する．また，再生時間は動画毎に異なるため，抽出されるキーフレーム数は不定である.

図 2 キーフレーム抽出の概要. 凡例と本文中の手順 1～ 4 は対応している.

## 3.3 ランキングモデル

サムネイルは動画の顔であるため，動画の主題を表すだけでなく，ユーザの興味を引くフレームを動画制作者は選択したい。そこで， 3.2 節で抽出された複数のキーフレームに対し，より良い画像を順位付けするランキングモデルを構築する。このランキングモデルの学習データには，朝日新聞デジタルの記事に含まれる画像と，その表示順を利用する．記事に複数の画像が付与されているとき，それらの画像は編集者の考える優先度順に並べられる. この順序を学習させ，編集者の画像評価を再現するモデルを構築する。

キーフレームの最終スコア $x$ は CLIP スコアでの順位 $m$ ，ランキングモデルでの順位 $n$ を考慮し，以下の式から算出する.

$
x=2^{-m}+2^{-n}
$

ここでは，どちらかの順位が高ければ $x$ が高くなるスコア付けをする. なお， $x$ が等しい場合，ランキングモデルの順位を優先してフレームを採用する。

## 4 実験

本研究では，2つの実験を通じて提案手法を評価する. 4.1 節では, 先行研究との性能比較により, 各フレームと動画タイトルとの関連性によるサムネイル選択の有効性を検証する４.2 節では，本研究の主な応用先である朝日新聞社の報道動画を用いて，提案手法の有効性を検証する. 実験は以下の設定で行う.
- CLIP: 全フレームから CLIP スコアの上位 $k$ 個を選択

-CLIP+peak: 3.2 節の手法でキーフレームを抽出・順位付けし，上位 $k$ 個を選択
- CLIP+peak+rank: 3.2 節の手法で抽出したキー フレームを式（1）から算出した最終スコアで順位付けし，上位 $k$ 個を選択

なお，4.1 節では単純に CLIP スコアによるサムネイル選択の性能を評価するため，CLIP の結果のみを示す.

## 4.1 先行研究との性能比較

この実験では，正解フレームとの一致に基づいた評価を行うため，正解フレームを収録した Yahoo データセット3）を用い，Song ら，Yu らの手法と性能を比較する。評価指標として，Yuらの実験で採用されたものを用いる。

データセット Yahoo データセットには，動画制作者が生成したサムネイルに対応するフレーム番号が含まれており，そのフレームを正解とする。Yu らの実験で使用された 71 件の評価データを特定できなかったため，Yahoo データセットの 429 件の動画（取得できた動画のうち，タイトルが英語のもの）からランダムに 71 件の動画を評価データとして抽出し，性能評価に用いる。評価データセットは 5 つ作成し，5 回の実験の平均値を結果として示す.

評価指標 $\mathrm{Yu}$ らの指標に従い，最上位 $(k=1)$ のサムネイル候補 $c$ が正解フレーム $f^{*}$ と一致する場合に予測が正しいと見なし，適合率によって性能評価を行う． 2 枚の一致は，VGG16 モデル [5] で抽出した特徴量の近さから判定する. VGG16 モデルの実装は Keras のものを用いた ${ }^{4)}$ ．動画内には類似したフレームが存在することを考慮し，閾值 $\theta$ 以下で一致とみなす。与えられた $\theta$ に対して，サムネイル候補 $c$ と正解フレーム $f^{*}$ の間に,

$
\left.\|v\left(f^{*}\right)-v(c)\right.\|_{2}^{2} \leq \theta
$

という関係が成り立つとき，サムネイル候補 $c$ の抽出は正しい（真陽性）と判定する.ここで， $v($.$) は$ VGG16 で計算されたフレームの特徴ベクトルを表す. $\theta$ の值を変えながら適合率を計算する。

CLIP モデル Yahoo データセットのタイトルは英語のため，OpenAI 提供の CLIP を使用する5).

実験結果表 1 に Song ら，Yu らのモデルと， CLIPでのサムネイル選択の実験結果を示す. CLIP による選択は， $\theta=\{750,1000\}$ では先行研究よりも性能が劣るが，より厳密な評価である $\theta=500$ では

3) https://github.com/yalesong/thumbnail

4) https://keras.io/ja/applications/

5) https://github.com/openai/CLIP
表 1 Yahoo データセットにおける性能. Song ら，Yu らの手法を CLIP スコアのみを用いた手法と比較した.

先行研究よりも性能が高い.この結果から，タイトル及び CLIP スコアがサムネイル選択に有効であることが分かった.

## 4.2 報道動画での実験

データセット朝日新聞社 YouTube アカウントで 2021 年 9〜 11 月に公開された動画を使用する. 長時間のノーカット会見や，制作フローが違うと考えられるマンガ動画は対象から除外した。 さらに，サムネイルに対応するフレームが動画内に存在しない動画を破棄し，204 本の動画を評価対象とした（平均再生時間 81.4 秒). サムネイルに対応するフレームの有無と正解フレーム番号は目視で確認した.

評価指標 3 節で述べた実際の業務フローを想定し, 本手法で予測した上位 $k$ 個 $(k \in\{1,3,5\})$ の候補のうち，少なくとも一つが正解フレームと一致する場合に予測が正しいとみなす. 4.1 節同様，真陽性は式（2）によって判定する. 簡単のため $\theta=500$ の結果のみを示す.

CLIP モデル日本語の動画に適用するため，日本語の CLIP モデルを構築した. データセットとして，朝日新聞デジタルに掲載された記事に含まれる画像とテキストから作成したパラレルデータ，計 548,117件を用いた. テキストには, 画像キャプションと見出しを使用しており，1 枚の画像に対して 2 つのパラレルデータを作成した. 実装は Moein のものを用いだ). Text Encoder には Sentence-BERT [6], Image Encoderには Vision Transformer [7] を使用した.

キーフレーム抽出 3.2 節の手順による. 手順 2 における移動平均の窓幅は，全フレーム数 $N$ を用いて, $\left.\lfloor\frac{N}{10}+0.5\right.\rfloor$ とした. 手順 3 では, 移動平均線の極大値を検出する。ここで，極大値同士の距離 distance および極大值前後の高低差 prominence はそれぞれ, distance $\geq 60$, prominence $\geq 0.008$ とし, これらのパラメータは実験的に決定した. 手順 4 では，検出したピークと異なるシーンのフレームの抽

6) https://github.com/moein-shariatnia/OpenAI-CLIP表 2 構築したパイプラインの性能検証結果．朝日新聞社の動画を評価に用いた。

出を防ぐため，ニューラルネットワークを用いたシーン境界検出 [8]を行い，その結果を利用した。

ランキングモデルモデルは CatBoost [9]，損失関数は StochasticRank [10] を使用した. 学習データには朝日新聞デジタルの記事画像と表示順序情報 70,737 件 ( 1 記事の画像が $5 \sim 10$ 枚の記事 11,379 件分)を使用した. 画像の特徴量は Vision Transformer で抽出した。評価尺度として $\mathrm{nDCG}^{0} 5$ を用い，テストデータで $\mathrm{nDCG} @ 5=0.855$ と確認した.

実験結果 3 つの実験設定での性能評価の結果を表 2 に示す. CLIP のみでは，動画の冗長性から，似通ったフレームが選択されてしまい， $k$ を 3 や 5 に増やしても性能があまり上がらない. CLIP+peak の結果から，ピーク検出によるキーフレーム抽出は多様で適切なサムネイルを選択するのに効果的であることが示された. なお，ピーク検出で得られたキーフレーム数の平均値は 8.6 であった. さらに， CLIP+peak+rank において， $k=\{3,5\}$ では約 $2 \%$ の性能向上が確認できた. 以上の結果から，提案手法が実際の業務フローに役立つ可能性が示唆される.

## 5 おわりに

本研究では，画像とテキストの類似度，ピーク検出，ランキング学習を使って最適なサムネイル画像を選択する手法を提案した. 実験から，画像とテキストのマルチモーダル事前学習済みモデルを用いたサムネイル選択の有効性を示した。 また，ピーク検出，ランキングモデルを組み合わせることで，性能が向上することが示唆された.

本研究の今後の課題として，動画制作現場における実証実験が挙げられる. 特に, 本手法で不正解となったフレームに対して，動画制作者の主観的な評価を行い，実運用における性能検証を進めたい。また，現状では計算に GPU を用いているが，実運用では限られた計算資源で，短時間で大量の処理が必要となる。処理パイプラインの軽量化をしつつ，サー ビスとしての完成度の向上に取り組みたい.

## 参考文献

[1] 吉川友也, 重藤優太郎, 竹内彰一. Stair captions:大規模日本語画像キャプションデータセット.言語処理学会第 23 回年次大会, pp. 537-540, 2017.

[2] Yale Song, Miriam Redi, Jordi Vallmitjana, and Alejandro Jaimes. To click or not to click: Automatic selection of beautiful thumbnails from videos. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 659-668, 2016.

[3] Zhifeng Yu and Nanchun Shi. A multi-modal deep learning model for video thumbnail selection. arXiv preprint arXiv:2101.00073, 2020.

[4] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.

[5] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[6] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[7] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In International Conference on Learning Representations, 2020.

[8] Tomáš Souček and Jakub Lokoč. Transnet v2: An effective deep network architecture for fast shot transition detection. arXiv preprint arXiv:2008.04838, 2020.

[9] Anna Veronika Dorogush, Vasily Ershov, and Andrey Gulin. Catboost: gradient boosting with categorical features support. arXiv preprint arXiv:1810.11363, 2018.

[10] Aleksei Ustimenko and Liudmila Prokhorenkova.
Stochasticrank: Global optimization of scale-free discrete functions. In International Conference on Machine Learning, pp. 9669-9679. PMLR, 2020.


# 実況発話ラベル予測モデルにおける 状況認識素性の活用

上田佳祐 ${ }^{1,2}$ 石垣達也 1 小林一郎 1,3 宮尾祐介 ${ }^{1,2}$ 高村大也 1
1 産業技術総合研究所 2 東京大学 3 お茶の水女子大学
\{ueda.keisuke, ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp
koba@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp

## 概要

本稿では実況発話ラベル予測問題として，とくにレーシングゲーム実況に対する発話ラベル予測問題に着目し，レース状況やレーシングカーの状況を認識する新たな素性を用いた予測モデルを提案する.既存研究で取り組まれている 1) 実況テキストが与えられテキストに対する発話ラベルを予測する設定，2) 実況テキストは与えられず対象時刻の発話ラベルを予測する設定の 2 つ問題を扱う．レーシングゲーム実況において実況者は，“プレイヤー第 1 コーナー抜けて一気に加速” といった実況発話を行う。この発話では，プレイヤーの運転する車という言及対象に対し，一気に加速するという動作に関する言及がペアとして述べられている。 ラベル予測問題を正しく解くためには，カーブを抜けるというレースの状況や，レーシングカーの速度といった車両に関する状況を正しく認識することが重要である. そこで，本研究では，レース状況や，速度などの車両の状況に関する状況認識素性を発話ラベル予測に活用する．実験より状況認識素性が特に後者のタスクに有効であることが分かった。

## 1 はじめに

多くのスポーツやゲーム映像には表 1 に示すような実況が付与される. 実況者はレースの進捗やイベントを正しく認識し，適切な言及対象や発話内容をリアルタイムに決定した上で，“ターン 1 ，しっかりブレーキ”といった発話を行う．視聴者は映像を視聴しながら実況を聞くことで，よりイベントを理解し，映像を楽しむことが出来る。

従来，サッカー，野球，レーシングゲーム等を主な対象とし，実況テキストを自動生成する研究が行われている。一方，上田ら [1] は特にレーシング

 &  \\

表 1 レーシング実況発話とその発話ラベルの例. 上から 3 発話は空撮映像に対し実況者が付与した実況，末尾 3 発話はドライバー視点の映像に対しプレイヤー自身が付与した実況である。

ゲームの実況テキストの言及対象や内容を表現した発話ラベルを予測する問題に着目し，1) 実況テキストが与えられ，発話ラベルを予測する問題 (対象発話ラベル予測)，2）過去の発話と次の発話タイミングが与えられ，発話ラベルを予測する問題 (未来発話ラベル予測) を提案している。前者は発話テキストに対する言語理解問題であり，実況テキストの要約といった下位タスクへの応用を想定している．後者は未来の発話内容を予測するプランニング問題と捉えられ，実況自動生成への応用を想定している.

本研究では従来モデルに対し，レース状況を認識するための素性を追加し，その効果を検証する。既存発話ラベル予測モデルでは，2つの問題に対する共通の入力素性として，直前の発話テキストおよび発話ラベル，実況者が視聴した映像カメラの視点ラベル，レース開始からの時間経過時間ラベルを入力として用いる。一方，実際の実況においては，“ ターン 1、しっかりブレーキ”といった発話のようにレーシングカーの動きに関する言及が多く見られ

る. 特に未来発話ラベル予測においては，レーシングカーの速度やブレーキの踏み込みといったレース状況を捉える素性はラベル予測の重要な手がかりとなる. そこで本研究では従来用いられてきた素性に加え，レース状況やレーシングカーに関する状況を捉える素性を用いる。具体的には，実況対象のレー シングカーの速度，ハンドル角度，ラップタイムといった車両の状況に関する素性および周回数，0から 1 の区間で表現されたレースの進捗状況などレー スの進行状況を認識する素性を提案する．実験より提案素性を用いた予測モデルは特に対象発話ラベル予測において，性能を向上させることが分かった.

## 2 関連研究

実況テキストを対象とした研究は，主に言語生成の分野において, サッカー $[2,3,4]$, 野球 [5], ゲーム映像 [6] などを対象に行われている。一方，実況発話のラベル予測の研究は, レーシングゲーム映像に対する実況データ [6] を対象としたもののみである.

本稿における対象発話ラベル予測は，発話テキストに対するラベル予測であり，従来，電話応答発話 [7] やメール [8]を対象とした言語理解タスクとして取り組まれている. 従来，「質問」「意見」といった言語行為論 $[9,10]$ に基づくラベル設計を用いるのが一般的であるが，レーシングゲームに対してはそのまま適用できない、レーシングゲーム実況に適用可能な発話ラベルとしては，Ishigaki ら [6] が実況テキストの特徴分析に用いたラベルアノテーションを用いる。一方，未来発話ラベル予測タスクは，「次に何について言及するか」を決定する従来の言語生成研究におけるプランニング [11,12] の問題と捉えることができ，将来的には言語生成問題への応用を想定している.

発話ラベル予測問題は, 分類問題もしくは系列夕グ付け問題として定式化され，近年はニューラルネットワークによる手法 [1] が用いられる。 入力の観点からは多くはテキストのみを扱う手法 [13] であるが，映像や発話音声を用いる手法 [14] が存在する. 本研究では, 上田らの提案したマルチモーダルなエンコーダを拡張し，レーシングカーやレースに関する状況を認識するための素性を導入する。

## 3 発話ラベル予測

本節では対象発話ラベル予測および未来発話ラべル予測の問題の入力と出力について定義する. その

表 2 レース状況素性の一覧. 最後の 2 つのパラメータについては Ishigaki ら [6] によって計算されたものである.

後，提案モデルについて述べる.

## 3.1 入力と出力

対象発話ラベル予測問題はラベル付与対象とするテキストを主な入力として扱う．上田ら [1] はさらに, 補助的な入力として, 直前の発話テキストおよび発話ラベル，カメラの視点情報として「ヘリコプター視点」もしくは「ドライバー視点」のいずれかを取る視点ラベル，さらにレースのスタートから終了までの時間を 4 分割し，それぞれ序盤，中盤の前半および後半, 終盤としたレース進捗に関する離散ラベルも用いた.レース序盤ではサーキットの特徴について述べられやすく，終盤ではラップタイムについて述べられやすい. よって，このような離散ラベルはラベル予測問題に対して効果的であると考える. 本研究では従来の提案素性に加え，レーシングゲーム Assetto Corsa の APIを用いて表 2 に示す情報を用いる。これらのデータは二值もしくは連続值で表現される。例えば，現在のラップの進捗は 0.0 から 1.0 までの間の連続値を取り，ピットに入っているか否かの情報は二值を取る。これらをレースゲー 厶映像の録画開始時刻から 1 秒ごとに取得し，ラべル分類時刻の過去 10 秒分の数値列をレース状況を捉える素性として用いる. 未来発話ラベル予測問題の入力は上述した素性から対象発話テキストを除いたものとなる.

いずれのモデルも既存研究 [6] で定義されたラベルを出力する. ラベル定義を表 3 に示す. 実況発話においては，サーキットやレーシングカーなどの言及対象および，タイムやレーシングカーの具体的な動きといったより詳しい内容を含めることが重要である. よって，ラベルは言及対象について表現する

} & 例 \\

表 3 サブラベルの一覧 [6]. ラベルは 2 つのサブラベルの組み合わせとして定義される。

図 1 対象発話を与える設定の予測モデル. 次の発話ラベルを予測する設定では，このモデルから「対象発話」が除去される.

サブラベルおよび具体的な内容を定義したサブラベルの 2 種類のペアを 1 つのラベルとして表現し，合計 40 ラベルが定義される. 例えば，“ここは華麗な追い抜き，決めていく。”という発話であれば，“ プレイヤーの車動き”というラベル出力が正解となる. 1 つの発話に複数のラベルが付与されることを許容するマルチラベル分類の設定となる.

## 3.2 提案予測モデル

次に図 1 に示す提案ラベル予測モデルについて述べる. このモデルは，上田ら [1] の手法に提案素性を追加したモデルである. 2 つの問題設定においてほぼ同様のエンコーダで入力ラベルやテキストを読み込む．ただし，未来発話ラベル予測タスクでは対象発話テキストを入力として与えない. 以後, 対象発話テキスト予測モデルについて述べる.

まず，テキストデータは単語列で表現する。すなわち，対象発話テキスト $T=\left.\{w_{1}, \ldots, w_{u}\right.\}$, 直前の発話テキスト $T^{\prime}=\left.\{w_{1}^{\prime}, \ldots, w_{u^{\prime}}^{\prime}\right.\}$ となる. なお，対象発話がレース全体の最初の発話である場合は，直前の発話ラベルは与えられない。

$T$ は， MeCabにより分かち書きをした後に，各トークンに対応する埋め込み表現へと変換され，単語ベースの双方向 LSTM [15] で読み込む: $\overrightarrow{\mathbf{h}}_{i}=$ $\operatorname{LSTM}\left(\overrightarrow{\mathbf{h}_{i-1}}, \operatorname{emb}\left(w_{i}\right)\right)$ および蒙 $=\operatorname{LSTM}\left(\overleftarrow{\mathbf{h}_{i+1}}, \operatorname{emb}\left(w_{i}\right)\right)$. ここで, emb は対象の単語の埋め込み表現を返す関数である. さらに, ベクトル $\overrightarrow{\mathbf{h}_{i}}, \overleftarrow{\mathbf{h}_{i}}$ を結合して, ベクトル $\mathbf{h}_{i}$ を得る: $\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right]$. 合計 $u$ 個の縦ベクトル $\mathbf{h}_{i}^{T}$ を横方向に並べて，行列 $\mathbf{H}$ を得る: $\mathbf{H}=\left[\mathbf{h}_{1}^{T} \cdots \mathbf{h}_{u}^{T}\right]$.直前の発話テキスト $T^{\prime}$ についても別の双方向 LSTM で同様に読み込み，行列 $\mathbf{H}^{\prime}$ を得る．LSTM の隠れ状態の行列 $\mathbf{H}$ は，次に深さ $r$ の自己注意機構 [16] に渡される：

$
\begin{aligned}
\mathbf{A} & =\operatorname{Softmax}\left(\mathbf{W}_{2} \tanh \left(\mathbf{W}_{1} \mathbf{H}\right)\right), \\
\mathbf{M} & =\mathbf{A H}^{T} .
\end{aligned}
$

ここで，A は自己注意機構の重み行列であり，行列 $\mathbf{W}_{1}, \mathbf{W}_{2}$ を用いて推定される. $\mathbf{W}_{1}, \mathbf{W}_{2}$ のサイズは, LSTM の隠れ状態の次元数を $d_{l s t m}$, 自己注意機構の深さを $r$ として，それぞれ $d_{a} \times 2 d_{l s t m}, r \times d_{a}$ となる.ここで， $d_{a}$ は自己注意機構の重みを推定するニューラルネットワークの行列のサイズを制御するパラメータである. 自己注意機構の出力である行列 $\mathbf{M}$ のサイズは $r \times 2 d_{l \text { stm }}$ となる. 行列 $\mathbf{M}$ の各行要素は以下のように結合べクトル $\mathbf{t}$ に変換される: $\mathbf{t}=\left[\mathbf{m}_{1} ; \ldots ; \mathbf{m}_{r}\right]$. ここで, $\mathbf{m}_{i}$ は行列 $\mathbf{M}$ の第 $i$ 行目成分を表す。このようにして得られた $\mathbf{t}$ を対象発話テキスト $T$ に対する最終的なエンコーダ出力とする.直前の発話テキスト $T^{\prime}$ に対しても同様に別の自己注意機構で読み込み，エンコーダ出力 $\mathbf{t}^{\prime} を$ 得る。

構造化データについては, 既存研究 [1] の提案素性である視点ラベル $D_{1}$, 時間ラベル $D_{2}$, 直前の発話ラベル $D_{3}$ に加え本研究ではレーシングカーおよびレース状況に関する状況認識素性を数値列データ $E_{1}, \ldots, E_{e}$ も用いる. これらはそれぞれ別のエンコー ダによって分散表現に変換し，結合べクトルをエンコーダの最終出力とする．視点情報データ $D_{1}$ は実況者の視聴した映像に関する情報を表現し，“空撮視点”，“ドライバー視点”のいずれかを取り，時間情報データ $D_{2}$ はレース開始から終了までの時間を 4 分割した区間のうち，分類対象発話の発話時刻の
区間を表す. 本研究で追加する状況認識素性は，分類対象発話の発話時刻から過去 10 秒分を 1 秒ごとに取得し大きさ 11 のベクトルとして表現する.

既存素性 $D_{n}$ および提案素性 $E_{l}$ は, one-hot 表現 $\mathbf{d}_{n}$ および $e_{l}$ とし，埋め込み表現に変換する: $\mathbf{d}_{n}^{\prime}=$ $\mathbf{d}_{n} \mathbf{W}_{n}+\mathbf{b}_{n}, \mathbf{e}_{l}^{\prime}=\mathbf{e}_{l} \mathbf{W}_{l}+\mathbf{b}_{l}$. そして $, \mathbf{t}, \mathbf{t}^{\prime}, \mathbf{d}_{1}^{\prime}, \ldots, \mathbf{d}_{3}^{\prime}$ を結合し, この結合べクトルのサイズがラベル種類数と同一サイズのベクトルとなるよう重み行列 $W_{3}$ で線形変換する:p $=\operatorname{sigmoid}\left(\left[\mathbf{t} ; \mathbf{t}^{\prime} ; \mathbf{d}_{1}^{\prime} ; \mathbf{d}_{2}^{\prime} ; \mathbf{d}_{3}^{\prime} ; \mathbf{e}_{1}^{\prime}, \ldots ; \mathbf{e}_{L}^{\prime}\right]\right)$.最終的に sigmoid 関数によって各次元が確率値となるよう正規化され，各ラベルに対するスコアを表現するベクトル $\mathbf{p}$ を得る.

なお，未来発話ラベル予測タスクにおいては，上式から $\mathbf{t}$ が除去されスコアを表現するべクトル $\mathbf{p}$ を得る．スコアが閾値 $t$ 以上のラベルを最終的に出力する. $t$ は開発セットでの $\mathrm{F}$ 値が最も高くなるよう調整する．また，上記の予測モデルは二值交差エントロピー損失を最小化するよう学習される。

## 4 実験

提案素性の効果を確認するため，それらを用いない既存手法 [1] と比較する。また，ヒューリスティックによるベースラインとして，データセットにおいて出現頻度が上位 $k$ 個のラベルをすべての発話に付与する単純な手法とも比較する。 データセットにおける $k$ の平均値は 1.44 であるため, $k=1$ および $k=2$ の設定をべースラインとして用いる.

実験には Ishigaki ら [6] のアノテーションデータを用い，訓練データを $80 \%$ ，評価データを $20 \%$ とし 5 分割交差検定により評価した. 各分割で訓練デー タとして用いるデータのうち $25 \%$ を開発データとしてハイパーパラメータの調整に使用し，残りのデー タをモデルの訓練に用いた. 視点ラベル，時間ラベル, 直前ラベル, 状況認識素性それぞれの埋め込み層の行列サイズは， $2 \times 10,4 \times 10,24 \times 10,11 \times 10$ とした. その他の学習に用いたパラメータなどは既存手法 [1] と同様のものを用いた.

## 5 結果

結果を表 4 に示す. 表の上から順にベースライン手法，未来発話ラベル予測タスク，対象発話ラベル予測タスクでの各モデルの評価値を示す.

未来発話ラベル予測タスクにおいては，従来研究で用いられていた素性のみを用いるモデルは $\mathrm{F}$ 值において. 298 と低い值を示すが，レース状況素性を加

表 4 対象発話ラベル予測タスク及び未来発話ラベル予測タスクでの性能評価.

えると. 307 に向上した. さらに，レース状況素性のみを用いたモデルは. 357 と従来素性との組み合わせモデルよりも性能が高い。これは，従来素性の中にはむしろ性能を劣化させる素性が含まれている可能性や学習データの不足の可能性が考えられる. 今後，従来素性および提案素性の適切な組み合わせ手法やデータ拡張手法について検討したい。

レース状況認識素性の追加により，未来発話ラべルの予測性能が向上した例について述べる。“インをキープしながら曲がっていく。”という発話に対しては “実況対象の車動き変化あり”という予測ラベルが正解となる.このラベルを正しく予測するためには，プレイヤーの車の走行状況を正しく認識する必要がある．提案素性に含まれるハンドルの角度が与えられたことで，モデルがプレイヤーの車の走行状況を認識でき，この発話についてラベルを正しく予測出来た.

対象発話ラベル予測タスクにおいては，発話テキストのみを用いるモデルが $\mathrm{F}$ 值において性能が最も高く，レース状況素性の追加による性能向上は確認できなかった.これは既存研究 [1] においても議論されているが，発話ラベルはその対象の発話テキス卜に大きく依存しており，他の追加情報は大きな手がかりとならないにも関わらずモデルのパラメータが増大し学習が難しくなるものと考えられる。

## 6 おわりに

本研究ではレーシング実況を対象とした発話ラベル予測問題について，レース状況やレーシングカー の状況と捉える素性を用いる手法を提案した. 実験より，発話テキストを入力として用いない未来発話ラベル予測タスクにおいて，状況認識素性の追加による性能向上を確認した。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) の結果得られたものである. 産総研の AI 橋渡しクラウド $(\mathrm{ABCI})$ を利用し実験を行った.

## 参考文献

[1] 上田佳祐, 石垣達也, 小林一郎, 宮尾祐介, 高村大也.実況における発話ラベル予測. 情報処理学会自然言語処理研究会 2021-NL-251 (1), pp. 1-6, 2021.

[2] Kumiko Tanaka-Ishii, Koiti Hasida, and Itsuki Noda. Reactive content selection in the generation of real-time soccer commentary. In Proceedings of the 17th International Conference on Computational Linguistics (COLING1998), 1998.

[3] Yasufumi Taniguchi, Yukun Feng, Hiroya Takamura, and Manabu Okumura. Generating live soccer-match commentary from play data. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI2019), Vol. 33, No. 1, pp. 7096-7103, 2019.

[4] Mitsumasa Kubo, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Generating live sports updates from twitter by finding good reporters. In 2013 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT), Vol. 1, pp. 527-534, 2013.

[5] Byeong Jo Kim and Y. Choi. Automatic baseball commentary generation using deep learning. Proceedings of the 35th Annual ACM Symposium on Applied Computing, pp. 1056-1065, 2020.

[6] Tatsuya Ishigaki, Goran Topic, Yumi Hamazono, Hiroshi Noji, Ichiro Kobayashi, Yusuke Miyao, and Hiroya Takamura. Generating racing game commentary from vision, language, and structured data. In Proceedings of the 14th International Conference on Natural Language Generation (INLG2021), pp. 103-113, 2021.

[7] Andreas Stolcke, Klaus Ries, Noah Coccaro, Elizabeth Shriberg, Rebecca Bates, Daniel Jurafsky, Paul Taylor, Rachel Martin, Carol Van Ess-Dykema, and Marie Meteer. Dialogue act modeling for automatic tagging and recognition of conversational speech. Computational Linguistics, Vol. 26, No. 3, pp. 339-374, 2000.

[8] Tatsuro Oya and Giuseppe Carenini. Extractive summarization and dialogue act modeling on email threads: An integrated probabilistic approach. In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL2014), pp. 133-140, June 2014.

[9] John Langshaw Austin. How to do things with words. William James Lectures. Oxford University Press, 1962.

[10] John R. Searle. Speech Acts: An Essay in the Philosophy of Language. Cambridge University Press, 1969.

[11] Karen Kukich. Design of a knowledge-based report generator. In Proceedings of 21st Annual Meeting of the Association for Computational Linguistics (ACL1983), pp. 145-150, June 1983.

[12] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI2019), pp. 6908-6915, 2019.

[13] Hamed Khanpour, Nishitha Guntakandla, and Rodney Nielsen. Dialogue act classification in domainindependent conversations using a deep recurrent neural network. In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers (COLING2016), pp. 2012-2021, 2016

[14] Paul Pu Liang, Yao Chong Lim, Yao-Hung Hubert Tsai, Ruslan Salakhutdinov, and Louis-Philippe Morency. Strong and simple baselines for multimodal utterance embeddings. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 2599-2609, June 2019.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[16] Lin Zhouhan, Feng Minwei, dos Santos Cicero Nogueira, Yu Mo, Xiang Bing, Zhou Bowen, and Bengio Yoshua. A structured self-attentive sentence embedding. In Proceedings of the International Conference on Learning Representations (ICLR), 2017.


# 日本語版 CoLA の構築

染谷大河 大関洋平
東京大学
\{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、ニューラル言語モデルが自然言語の統語知識をどれほど有しているかを、容認性判断課題を通して検証する研究が行われてきている。しかし、このような言語モデルの統語的評価を行うためのデー タセットは、主に英語を中心とした欧米の諸言語を対象に構築されてきた。本研究では、既存のデー タセットの問題点を克服しつつ、このようなデー タセットが構築されてこなかった日本語を対象とした初めてのデータセットである JCoLA (Japanese Corpus of Linguistic Acceptability)を構築した上で、それを用いた言語モデルの統語的評価を行った。

## 1 はじめに

近年、ニューラル言語モデルの成長は著しく、特に Transformer [1] をべースとしたモデルは、様々なタスクで高い精度を発揮している $[2,3]$ 。一方、理論言語学の分野においては、伝統的に自然言語には一種の統語構造が存在しているということが主張されており $[4,5]$ 、その構造の姿を解明すべく研究が進められている。確かに、先述のニューラル言語モデルは多くの自然言語処理タスクにおいて非常に高い精度を発揮することが確認されているものの、如何にしてこれらのタスクを解いているのか、特にこれらのニューラル言語モデルが自然言語の統語知識をどれほど有しているのかについては多くが分かっていない。

このような背景から、近年ではニューラル言語モデルが実際にどれほどの統語知識を獲得しているのかを検証する研究が盛んに行われている [6,7,8,9,10,11]。しかし、その多くは英語を中心とした欧米の限られた言語を対象とした検証に終始し、性質の異なる言語に対象を拡張した検証は多くは行われておらず $[12,9]$ 、中でも幅広い統語現象を扱った包括的な検証はごく限られた言語でしか行われていない $[13,14,15,16]$ 。本研究では、そのような状況に鑑みて、既存のデータセットの問題点を解決しつつ、幅広い統語現象について言語モデルの統語的評価を行う日本語データセットである JCoLA (Japanese Corpus of Linguistic Acceptability)を構築し、それを用いた言語モデルの性能検証を行う。

## 2 言語モデルの統語的評価

容認性判断課題とは、提示された文が容認可能 （文法的）か容認不可能（非文法的）かの判断を下す課題である。近年、この容認性判断課題を用いた言語モデルの統語知識の検証が多く行われている。 こうした研究の端緒となった Linzen et al. (2016) [6] では、言語モデルが英語の主述の一致 (subject-verb agreement)を捉えることができるかを以下のようなミニマルペアを用いて検証し、実際に LSTM 言語モデルが主述の一致を一定程度解くことができる統語知識を有していることが確認された。

(1) a. The keys to the cabinet are on the table. $\mathrm{b} *$ The keys to the cabinet is on the table.

このような文脈から、より広範囲の統語現象を扱い、かつデータの規模としても大きいデータセットの開発も進んでいる。Warstadt et al. (2019) [13] は、英語を対象とした大規模な言語理解ベンチマークである GLUE [2] に含まれるデータセットの一つとして、理論言語学のジャーナル論文や教科書から例文を抽出し、言語モデルの 2 值分類性能をテストする大規模データセットである CoLA (Corpus of Linguistic Acceptability)を構築したが、CoLAを用いて言語モデルの統語知識を検証するためには、言語モデルとは別に容認性の予測を出力するための分類器等を学習する必要があった。したがって、このような方法では得られた予測の良し悪しが言語モデルがテキストから学習した内部表現によるものなのか、分類器を教師ありで学習する際に獲得した表現によるものなのかが必ずしも明確ではないとい

う問題があることが指摘されている。この問題点を克服すべく、Warstadt et al. (2020) [14] は、島の制約 (island constraint) や動詞の項構造 (argument structure) をはじめとした 12 の現象を扱うミニマルペアを自動生成してまとめた大規模データセット BLiMP (The Benchmark of Linguistic Minimal Pairs for English) を構築した。これにより、言語モデルが正例に対して、負例よりも高い尤度を付与する確率分布を学習できていれば、言語モデルはそのミニマルペアの容認度の違いを正しく捉えているという仮定のもと、個別の分類器を学習することなく、言語モデルの出力を直接用いてその統語知識の検証を行うことが可能となった。

一方で、以上の言語モデルの統語知識を検証する試みは、その大多数が英語を対象としたものである。一部の研究で対象を英語以外にも拡張した検証 $[9,12,17,18]$ が行われてはいるが、主述の一致等の限られた統語現象を対象にした検証にとどまっており、幅広い統語現象を対象とし、かつ英語以外で検証を行った研究は非常に限られている $[16,15]$ 。特に日本語においては自然言語処理の分野で広く使われる言語モデルの統語知識を評価するべンチマー クとなるようなデータセットは存在していない。1) このような状況では、言語モデルが英語等の一部の言語だけではなく、自然言語一般の統語現象を捉えられているかどうかについての明確な証拠を得ることはできない。本研究では、そのような現状に鑑みて JCoLA (Japanese Corpus of Linguistic Acceptability)を構築し、 それを用いて既存言語モデルの統語的評価を行う。 また、JCoLA は理論言語学のジャーナル論文から抽出した容認度と統語現象のアノテーションが付いた例文（2,323 文）と、それをもとに構築したミニマルペア（369ペア）を収録したデータセットである。 したがって複雑な統語現象を扱い、かつミニマルペアの形で提示できるという特徴を併せ持っており、既存のデータセットの問題点を克服したデータセットとなっている（表 1)。

表 1 既存の統語的評価用大規模データセットと JCoLA

1) Futrell et al. (2019)[10] と概ね同じタイトルである Futrell et al. (2018)[19] においては、日本語の否定極性項目についての議論が行われている。

## 3 JCoLA の構築

## 3.1 データ収集

言語モデルが理論言語学で重要とされている統語現象を捉えられているかを検証するため、本研究では東アジア・東南アジア言語の言語学のジャーナルとして著名な JEAL (Journal of East Asian Linguistics) に 10 年間（2006 年から 2015 年）で掲載された 133 本の論文の中で、特に日本語の統語論を扱っている論文 28 本を対象とし、その論文で提示されている全てのデータポイント（2,323 文）を抽出した。ここでの「全てのデータポイント」は、脚注や付録を含む本文の全ての日本語の例文の中で、構造分析のために提示された例文を除いたもののことである。

## 3.2 タイプ分類

単純な全データポイントに対する正解率による比較に終始することなく、個別の統語現象ごとのモデル評価を可能にするため、前節で抽出した例文を統語現象のタイプによって分類した。本研究では、全データポイントを 3 つの粒度で分類する。分類の名称については、BLiMP [14]を参考にした。

まず、大分類として各データポイントが問題としている容認性判断の性質や、本文中での提示のされ方に基づいて 8 種類に分類した。

## ACCEPTABILITY

特定の解釈・文脈に依存しない容認性判断。

## INTERPRETATION

特定の文脈・解釈に依存する容認性判断。

## Coreference

指示詞や照応形の共参照に関する容認性判断。

## LEXICAL

統語現象一般ではなく、特定の語彙項目に関する容認性判断。

## FOOTNOTE

論文の脚注で提示されている例文。

## APPENDIX

論文の付録で提示されている例文。

## RePEAT

既に提示された例文の繰り返しであることが、本文で明示的に断られている例文。

## VARIATION

既に提示された例文と比べ、理論構築に無関係な要素のみにしか違いがない例文。
次に、中分類として各データポイントがどのような統語現象を扱っているのかに基づく分類を行った(phenomenon)。中分類は、基本的に BLiMP における 12 の現象に OTHERS を加えたものであるが、今回対象とする日本語のデータに合わせてその一部を変更した (付録 A)。また、データポイントが二つ以上の現象に分類されうると判断された場合には、 phenomenon-2 を用意して分類した。ただし、言語モデルの統語現象ごとの評価の際には phenomenon の分類が優先される。

最後に、小分類として中分類 (phenomenon)よりさらに粒度の細かい、個別の統語現象ごとに 39 種類の分類を行った (paradigm)。これにより、エラー 分析の際により粒度の細かい分析が可能となる。

## 3.3 ミニマルペアの作成

まず、前節でタイプ分類が行われたデータセットのうち、以下の全ての条件を満たすものを抽出する。
- 非文として提示されている（?や*などのマーキングがされている）もの。ただし、?などのマー キングがされつつも、本文中で正例としてみなされているものは除く。

-大分類が variation、repeat、footnote、appendix $の$ いずれでもないもの。

・中分類が others でないもの。

次に、言語学の論文において提示された全ての負例には、対応する正例が存在するという仮定のもと [20]、以上により抜き出された負例のぞれぞれに対応する正例を、論文の中から採用するか、本文の内容を確認しつつ筆者が作例することにより構築した。この際、解釈により容認度が変わる例は、 JCoLA に含めない不適切な例として、ミニマルペア構築の対象外とした。また、重複している例文や、語彙項目が異なるのみで検証対象が同じである例文も除外した。以上の手順により、合計で 369 ペアのミニマルペアが作成された（表 2、付録 B）。

## 4 実験

## 4.1 言語モデル

以上で構築した JCoLA のミニマルペアを用いて、 Kuribayashi et al. (2021) [21] で学習済みの言語モデルを評価する。モデルの種類は、2つの異なるサイ表 2 中分類ごとのミニマルペアの数

ズの GPT-2 言語モデル（Trans-LG: 400M パラメー タ、Trans-SM: 55M パラメータ）と LSTM 言語モデル、さらに 3-gram、4-gram、5-gram 言語モデルの合計で 6 種類である。それぞれの言語モデルは、学習データ量2) ・学習ステップ数（100、1,000、10,000、 $100,000)$ ・ランダムシード（3 種類）を変えた複数の設定で学習された (ただし、n-gram 言語モデルは学習データ全体で学習された)。また、学習データとしてはニュース記事と日本語版ウィキぺディアに含まれる約 5,000,000 文からなるコーパスが用いられた。3)

## 4.2 評価方法

ミニマルペアの正例に負例よりも高い尤度を付与できた場合に正解とみなし、各言語モデルの JCoLA における正解率を算出する。その際、系列長の違いを考慮するために、Lau et al. (2017) [24] で提案された正規化関数の一つである、MeanLPを用いて尤度を算出する ( $|X|$ はサブワード単位の文の長さ)。

$
\text { MeanLP }=\frac{\log p(X)}{|X|}
$

## 5 結果

全学習データを用い、100,000 学習ステップの学習を行った 3 種類のニューラル言語モデルと 5 -gram 言語モデルの全ミニマルペアに対する正解率を図 1 にまとめた。全ての言語モデルにおいて、正解率は $70 \%$ 程度に留まっている。したがって、JCoLA は複

2）各モデルについて、学習データのうち $1 / 100(\mathrm{SM})$ を用いて学習されたもの, 1/10(MD) を用いて学習されたもの, 全て (LG)を用いて学習されたものの 3 種類が用意された。

3）学習コーパス内の各文は、MeCab [22]により国語研短単位に分割された上で、Byte Pair Encoding(BPE)[23]を用いてサブワード単位に分割されている (vocab $=100,000$ 、character coverage $=0.9995$ )。

図 2 中分類ごとの正解率。LSTM・Trans-SM・Trans-LG は、全学習データ・100,000 学習ステップの設定で学習されたものである。エラーバーは 3 つのランダムシードの標準偏差である。

図 1 全ミニマルペアに対する正解率。LSTM・Trans-SM・ Trans-LG は、全学習データ・100,000 学習ステップの設定で学習されたものである。エラーバーは 3 つのランダムシードの標準偏差である。

雑な統語現象の理解が求められ、ゆえに既存の言語モデルではその容認度の差を捉えるのが難しいミニマルペアを収録したデータセットであることが示唆される。

また、各中分類 (phenomenon) ごとの正解率を見ると、言語モデルが捉えられている統語現象と必ずしも捉えられていない統語現象が存在することが明らかになった（図 2）。まず、語の活用等を扱う morphology や名詞句内の構造を扱う nominal structure 等においては、5-gram 言語モデルを含め全ての言語モデルが高い精度を示したが、これは (2) のような比較的狭い範囲の情報のみを用いて正解することが可能な例が含まれていることが要因と考えられる。

(2) a. 私が昨日見た人は素敵だった。 $\mathrm{b} *$ 私が昨日見たの人は素敵だった。

一方、filler-gap や verbal agreement では各モデル精度が低下しているが、これらは先ほどより長距離の依存関係を伴う統語現象である。verbal agreement の例としては、以下のような主語敬語 (subject honorification) の例がある。

（3） a. 伊藤先生がメアリーをお集めになった。 b*私がメアリーをお集めになった。

(3) を正解するためには、主語と述語の一致関係を捉え、「お褒めになった」という表現が、一人称主語では許されないということを正しく理解する必要があるが、このような日本語の一致現象を言語モデルは必ずしも捉えることができないということが明らかになった。

以上より、英語を中心とした欧米の言語を対象とした既存研究では、一定の統語知識を備えていることが確認され、かつ様々な下流タスクで高い性能を発揮する LSTM・Transformer ベースの言語モデルも、N-gram 言語モデルが学習する以上の統語知識を必ずしも得ることができていないことが明らかになった。特に、日本語特有の表現である敬語表現等を含め、比較的長距離の依存関係を伴う統語現象についての精度が低いことが確認された。

## 6 おわりに

本研究では、既存のデータセットの問題点を解决しつつ、日本語を対象とした統語的評価のための初めてのデータセットである JCoLAを構築した。 JCoLA を用いた評価では、LSTM・Transformer ベー スのモデルも長距離の依存関係を伴う統語現象を捉えきれないことが示唆された。JCoLAを用いたより詳細な言語モデルの統語的評価、及びデータセットの規模の拡大は今後の課題としたい。

## 謝辞

本論文は、筆者が東京大学の卒業研究として行った内容を記したものです。また、本研究は JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In International Conference on Learning Representations, 2019.

[3] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. Superglue: A stickier benchmark for general-purpose language understanding systems. CoRR, Vol. abs/1905.00537, , 2019.

[4] Noam Chomsky. Syntactic structures. Mouton, 1957.

[5] Martin B H Everaert, Marinus A C Huybregts, Noam Chomsky, Robert C Berwick, and Johan J Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends Cogn. Sci., Vol. 19, No. 12, pp. 729-743, December 2015.

[6] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[7] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 11921202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[8] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about Filler-Gap dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[9] Kristina Gulordava, Piotr Bojanowski, Edouard Grave, Tal Linzen, and Marco Baroni. Colorless green recurrent networks dream hierarchically. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1195-1205, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Rui P Chaves. What don't RNN language models learn about Filler-Gap dependencies? Proceedings of the Society for Computation in Linguistics, Vol. 3, No. 1, pp. 20-30, 2020.

[12] Shauli Ravfogel, Yoav Goldberg, and Francis Tyers. Can LSTM learn to capture agreement? the case of basque. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 98-107, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Alex Warstadt, Amanpreet Singh, and Samuel R Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, November 2019.

[14] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[15] Beilei Xiang, Changbing Yang, Yu Li, Alex Warstadt, and Katharina Kann. CLiMP: A benchmark for Chinese language model evaluation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2784-2790, Online, April 2021. Association for Computational Linguistics.

[16] Daniela Trotta, Raffaele Guarasci, Elisa Leonardelli, and Sara Tonelli. Monolingual and cross-lingual acceptability judgments with the Italian CoLA corpus. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2929-2940, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[17] Aixiu An, Peng Qian, Ethan Wilcox, and Roger Levy. Representation of constituents in neural language models: Coordination phrase as a case study. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2888-2899, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18] Aaron Mueller, Garrett Nicolai, Panayiota Petrou-Zeniou, Natalia Talmina, and Tal Linzen. Cross-linguistic syntactic evaluation of word prediction models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 2020. Association for Computational Linguistics.

[19] Richard Futrell, Ethan Wilcox, Takashi Morita, and Roger Levy. RNNs as psycholinguistic subjects: Syntactic state and grammatical dependency. September 2018.

[20] J Sprouse, C T Schütze, and D Almeida. A comparison of informal and formal acceptability judgments using a random sample from linguistic inquiry 2001-2010. Lingua, Vol. 134, pp. 219-248, September 2013.

[21] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[22] Takumitsu Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005.

[23] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[24] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cogn. Sci., Vol. 41, No. 5, pp. 1202-1241, July 2017.

## A 中分類 (phenomenon) の基準

CONTROL/RAISING

コントロール (control) や繰り上げ (raising) 構文に関する容認

性え判断。ｺントロール動詞と V-V 複合動詞を形成できる動詞の種颣に関する容認性判断等が含まれる。

a. 夾々損权る。

(Kishimoto, 2012)

主語の性筫が動調の形態に反旺される現象や、動詞が主語の性筫に制約

を与えるような現象に

例えば、主語敬語 (subject honorification) に閲する容認性判

断等が含まれる。

*メメアリーが伊藤先生をお隹めになった。
(Kishimoto, 2012)

NOMINAL STRUCTURE

BLiMP で、限定詞 (determiner) と名河の一致に関する例文では、ょり一般に名詞句の内部構造に関わる容認性判断を含む中分類として, NOMINAL STRUCTURE を採用した。

例えぱ、「の」の分布に関する容認性判断等が含まれる。

(9) a. 私が昨日見た人。
b. *私か昨日見たの人

(Saito et al., 2008)

MORPHOLOGY BLiMP では、例文を、IREGULAR FORMS としてまとめている JCOLA ではより幅広く形態論に閲する容認性判断を含む中分類として MORPHOLOGY を採用した

例えぱ、形容動詞の活用纪関する容認性判断等が含まれる。

a. ぞの粒子は計测可能を゙とジョンは思っている。
b. *その粒子は計測可能なとジョシは思っている。 (Sudo, 2015)

OTHERS

BLiMP を元汅して作成した以上の中分類のい゙゙れても当てはまらな基ういて分類している。例えば、比較表垷に関する容認性判断等が含

れる。

(11) a. ジョンはベッドが長い以上揹が高い

(Sudo, 2015)

## B JCoLA のミニマルペア例

 &  &  \\


# 大規模振り仮名注釈付きコーパスを用いた 同形異音語の読み分類

佐藤文一 ${ }^{1}$ 吉永直樹 ${ }^{2}$ 喜連川優 ${ }^{3,2}$
${ }^{1}$ 東京大学大学院情報理工学系研究科/国立国会図書館 ${ }^{2}$ 東京大学生産技術研究所 ${ }^{3}$ 国立情報学研究所
\{fsato0609, ynaga, kitsure\}@tkl.iis.u-tokyo.ac.jp

## 概要

視覚障害者は，漢字交じりの文書を音声で聞いているが，読み誤りが起きると理解が困難になる。このため, 漢字の振り仮名の自動付与の精度向上が強く望まれている. 本研究では，振り仮名が付与された国立国会図書館の書誌データのタイトルや校正済みの点字データなどを活用し, 機械学習のための振り仮名付きコーパスを半自動構築し，書誌のタイトル数約 1650 万，約 3.4 億文字，青空文庫の本数 1944 冊，約 5200 万文字を公開した.このコーパスをもとに 203 語の同形異音語の出現頻度を分析し，その中から東北大学の事前学習済み BERT に含まれる語彙の 93 語, 読みの総数 223 個に対して転移学習による読み推定を行い，コーパスの有効性を確認した。

## 1 はじめに

「読書バリアフリー法」が施行され, 誰も取り残されない社会の実現に向けた具体策として，読むことに困難がある児童生徒向けにマルチメディアディジー教科書が製作・提供されている[1]. これらを制作するために，漢字交じりの文書を正しく読み上げられるよう読みを付与する必要がある. 例えば，「表に出る」を「ひょうにでる」と読み上げられると理解が困難になる．視覚障害者が使用する画面読み上げソフトウェアでも同様の現象が起きるが，誤った漢字の読みを繰り返し聞くことは望ましくない.

このような背景から, 漢字の振り仮名の自動付与精度の更なる向上が強く望まれている。近年, 自然言語処理では, BERT [2]に代表される汎用事前学習済みモデルを用いて，転移学習の枠組みで様々な自然言語処理タスクが低コストで解かれるようになった.しかしながら, 同形異音語（読み方が複数ある単語）の読みを分類問題として機械学習で扱うためには，読みに曖昧性がある漢字ごとに正しい振り仮名が付いた学習事例が必要となる，そのため，機械学習の適用に耐えうる規模の言語資源を整備することが依然，求められている。

このような背景から，我々はこれまで校正済みの振り仮名データを利用して振り仮名注釈付き日本語コーパスを半自動構築する取組を進めている[3]. しかし，データサイズとしては，国立国会図書館の提供する書誌データ[4]に含まれる幅広い年代の図書・雑誌のタイトルとタイトルの分かち書きされた振り仮名から作成した「書誌コーパス」（タイトル数約 1650 万，約 3.4 億文字）に大きく偏っており，多様なテキストに読みを自動付与する学習データとしては不十分であった.

そこで本研究では, これまでに構築した振り仮名付きコーパスのうち, 青空文庫[5]の公開作品のテキストデータと視覚障害者情報総合ネットワーク「サピエ」[6]が視覚障害者に提供している点字データから作成した「青空文庫コーパス」について規模を改善する。具体的には，振り仮名を付与する本の数を増やすと共に，見出しを抽出し，テキストを章単位に分割することで，点字の途中にある長文の注解等と青空文庫の文のぺアのマッチングミスが伝播することを防ぎ, 収集率 (注釈が付与できた文字の割合) を改善した。さらに，旧仮名使い，踊り字，大字の漢数字に対応して，漢字振り仮名の語彙数を大幅に増やすことで収集率を改善した。得られたコーパスのうち，収集率が $90 \%$ 以上の本 1944 冊，約 5200 万文字を青空文庫コーパスとして前述の書誌コーパスと合わせて NDL Labから公開した $[7,8]$.

実験では，本研究で構築したコーパスを用いて BERT による振り仮名の自動付与を行い，コーパスの有用性の評価を行う。具体的に, 東北大学の事前学習済み BERT[9]を利用した転移学習により, 93 種類，読みの総数 223 個の同形異音語に対して，読み推定の実験を行い，コーパスの有用性を評価した.

## 2 関連研究

日本語の漢字の読み推定は, 形態素解析, 仮名漢字変換, 音声合成などのタスクと関連して, 主に機械学習を適用するための学習データをどう構築するかに焦点を当てて研究が行われている $[10,11,12]$.

羽鳥らは Web から教師なし学習によって獲得した単語・読みのペアと, 辞書を用いて, 読み推定を行う手法を提案している[10]. 高橋らは仮名漢字変換のログを，ノイズを含んだ注釈データとみなして単語分割・読み推定の学習データとして利用する手法を提案している[11]. 西山らは同形異音語の各読みに対応する読みの曖昧性のない同義語に注目し,各読みの例文を収集する手法を提案している[12]. これら既存の手法を用いて得られた注釈データはラベルに少なからずノイズが含まれるため，学習ベー スで読み推定の精度を改善する際に本質的な限界がある。

読み推定と同様に, 単語単位の分類問題として定式化される語義曖昧性解消タスクでは, 近年, 事前学習済みモデルである BERT の利用による性能改善が報告され始めている $[13,14]$. 読み推定でも BERT により計算される文脈化単語埋め込みを用いて似た文脈で出てくる単語の類似性を捉えることが有効であると期待される. 我々も，これまで少数の同形異音語に対して人手で読み推定の正解ラベルを付与したデータセットを用いて BERT で読み推定の予備実験[15]を行い, その効果を確認したが，学習データの構築コストが課題であった.

本研究では, 既存の言語資源を組み合わせて深層学習の適用に耐えうる規模の振り仮名注釈コーパスを半自動構築する. 得られたコーパスを用いて実際に BERT による読み推定を行い, その有効性を評価する。

## 3 振り仮名注釈付コーパスの構築

本節では，文（書）レベルで読みが付与されたテキストを利用して, 振り仮名注釈付きコーパスを半自動構築する手法を説明する. 具体的には, 国立国会図書館の提供する書誌データと青空文庫を用いる.書誌データでは，書誌のタイトル（例えば「吾輩は猫である」）に対し，「わがはいわねこである」のように振り仮名が付与されている. 一方, 青空文庫では，本全体に対して「サピエ」により点字で読みが付与されている（以下, 点字データ）. 我々は,漢字仮名交じり文とその分かち書きされた振り仮名のペアを作成し, 事前に収集した漢字に対する振り仮名候補に基づく文字レベルのマッチングを行い，本コーパスを構築している。

## 3.1 文字種毎の振り仮名候補の収集

3.4 節の振り仮名注釈の作成のために, 各文字種 (漢字, 記号, 英字, カタカナ, 数字) の各単語に対して，辞書をもとに振り仮名候補を収集した。具体的には, 下記の形態素解析辞書の「表層」と「読み」から, 形態素を単語とみなして単語とその読みを収集した。
- MeCab[16]のIPA 辞書, MeCab-ipadic-neologd [17], 国語研究所の現代書き言葉 UniDic と現代話し言葉 UniDic [18], sudachi [19]

また作成したコーパスに加えて, 約 280 万件の著者名・団体名とその振り仮名のある書誌データからもコーパスを作成し, その振り仮名候補も追加している. 結果として, 漢字の語彙として 250 万語以上を収集することができた。

## 3.2 前処理

書誌データは, 近代から現在までの幅広い年代に出版された書誌のタイトルを含むため, 下記の前処理を行なっている.
- 英数字を半角に, カタカナを全角に正規化.
- 英文と繁体字・Hangul 文字を含むタイトルの除去（日本と中国で共通の漢字だけのタイトルは除去できていない）。
- 旧字体の漢字 (472 文字) を新字体に変換.

青空文庫の漢字仮名交じりのテキストに対しては,下記の前処理を行っている.
- 英数字を半角に, カタカナを全角に正規化.
- ルビ, 入力注を削除.
- JIS X 0213 の面区点番号を漢字の文字に変換.
- 見出し, ルビとその漢字のデータを収集.

点字データに対しては, 次の前処理を行っている.
- 点字の BES, BSE, BET のバイナリーデータを仮名のテキストに変換.
- 旧仮名を新仮名に変換（例:「くあれ」->「かれ」).
- 目次から, 本のタイトルとページを抽出.
- インデントから見出しを抽出.
- 表紙, 目次, 注記, 注解, 奥付を削除.

## 3.3 パタンマッチングによる文ペア抽出

青空文庫については文単位で読みとの対応がついていないため, 以下の手順で対応する文ぺアを抽出した.

まず，前処理で得られた目次の情報から，青空文庫の本と点字の本のペアを, さらに見出しの情報から，章単位で文章と読みのぺアを抽出した。最終的に, この章単位のぺアから, 文単位のぺアを次の手順で抽出する. 形態素解析を用いて青空文庫のテキストを読みに変換し, 点字のテキスト（点字読み） とのパタンマッチングを行う. 青空文庫と点字の本は, 現代仮名遣いにした訳者や版が異なっていたり，片方だけに注解が含まれていたり, 形態素解析器から得られる仮名等の不一致があるが, レーベンシュタイン距離の情報と句読点の位置を手掛かりにペアの文を抽出する. 点字の文と対応づけられた青空文庫の読みを元の漢字仮名交じり文に戻すことにより，漢字仮名交じり文と点字の仮名の文単位でのペアが得られる。

## 3.4 振り仮名注釈の作成

前節までで得られた文と読みのペアについて，漢字仮名交じり文を文字種単位で分割し, 各単語に対して振り仮名を付与する. 漢字・記号・数字は 3.1 節で作成した振り仮名候補の中に該当の振り仮名があるかを調べ，さらに平仮名等は， 1 文字ずつ振り仮名を割り当てる．書誌データでは「底力」が「そこじから」と記述され, 点字データでは「京都へ」が 「きょーとえ」と記述されるように，分かち書きされた振り仮名は, 現代仮名遣いと一部異なっているため $[20,21,22]$, 表層と読みが一致しない平仮名 （例：「へ」と「え」，「は」と「わ」等）の対応付けを行っている. 更に次の処理を行っている.
- 漢数字の大字 (例:「弐萬」と複数読み（例 :「二二」「十二三」）への対応.
- 繰り返し文字 (〉、ડ゙ド) ・踊り字に対応.
- 漢字(単語)の部分は, 部分文字列の振り仮名候補辞書から生成したラティスのグラフ探索 (深さ優先探索) で処理.
- 漢字の送り仮名で，「何にでも」の「何」が 「な」「なに」のように漢字の読み候補だけから読みが確定できない場合に, 後続する文字も考慮した読みの対応付け。表 1 青空文庫コーパスの作家数等

以上により構築された振り仮名付きテキストに対して, コーパス特有の後処理を行い，収集率を改善した. 具体的には，書誌コーパスに対しては，「コ ーヒ-」->「コーヒー」のように，'-'を長音一'に変換している。青空文庫コーパスの点字データの作成時期が古いデータは, データ構造が統一されていないため, 目次や注記等の修正・削除の一部を手作業の後処理で行っている.

後処理で数箇所修正することにより, 収集率が 100\%になる点字の本, 約 450 冊に対して修正を行い, コーパスの注釈が正しく付与されていることを確認した.

コーパスの公開後もこの節の手法で拡張しており，青空文庫コーパスの $90 \%$ 以上の収集率での公開時と公開前後での作家数等を示したのが表 1 である. 次節の実験はこの公開後のデータを用いて行っている.更新したコーパスは今後, [8]で公開予定である.

## 4 読み分類実験

本節では，前節で得られた本コーパスから，同形異音語の出現数を調査した結果と, 同形異音語の読みのクラス分類の実験結果を報告する.

## 4.1 同形異音語の出現数の調査

対象の同形異音語として，書誌データの「文字・読みの基準」[21]を参考にして 203 種類[付録]を選び， その読みの出現数を調査した. 「国立駅」のように 「国立」と「駅」からなる複合語は基本的に，読みが一つに確定するので, 出現数から除外した.

表 2 のドメインの「書誌」「青空」は，該当のコ一パスを示している. 「東北大 $\mathrm{v} 1 \cdot \mathrm{v} 2 」$ は, 東北大学の 2 種類の事前学習済み BERT のどの語彙に含まれているかを示している。

最大の出現数の単語は,「変化」の 88,322 個で,最小は「日供」の0 個, 出現数が 30 個以上の単語は 197 個であった. 頻度にばらつきはあるが，全体的には機械学習のデータ数としては十分と思われる.
表 2 同形異音語の出現数

 &  & 合計 & 読み0 & 書誌 & 青空 & 読み1 & 書誌 & 青空 \\

また, 各読みの出現数はドメインによって大きな差があることが確認された. 青空文庫コーパスの出現数の少ない読みとしては, 国立（こくりつ，くにたち），表（ひょう）がある．ちなみに「国立駅は大正 15 年開業」である. 書誌コーパスの出現数の少ない読みとしては, 大分 (だいぶ) であった. 一方,書誌コーパスは，「競売（けいばい: 法律用語）」,

「口腔（こうくう：慣用読み,医学) 」，「礼拝（らいはい: 仏教・神道）」，「現世（げんせ：仏教）」 の出現頻度から, 用途別の読みもある程度カバーしていることを確認した. 用途については[21]を参考にした.

## 4.2 同形異音語の読みのクラス分類の実験

東北大学の事前学習済み BERT (v2) を使用して,同形異音語の読み推定をクラス分類として定式化して以下の方法で分類器の学習を行った.

BERT の転移学習を使う手法である. token 数は学習最大 128 に制限した。学習, 推論は, huggingface_transformers[23]の例を参考に，固有表現，品詞分類で使われる token classification で, 複数の同形異音語の読みのクラス分類を行った. 各単語の読み毎にラベルを割り当てている。例えば，表（ひょう）, 表（おもて）, 角（かく）, 角（つの）を, それぞれ $1,2,3,4$ のラベルを割り当てる. 該当しない単語は, ラベル 0 を割り当てる. BERT に token 列とラベル列を入力し, 推論の出力値の最大のインデックス（ラベル）を得ることにより, 同形異音語の読みの予測值が得られる。書誌と青空文庫コーパスを結合し，得られたコーパスを学習・開発・テストデータとして 6:2:2 の割合で分割し, かつ, 各読みも同じ割合で分割して実験を行った.表 3 書誌・青空文庫コーパスでの読み分類結果

 & 読み0 & 読み 1 &  &  &  &  & & - accuracy &  \\

表 3 では, 書誌と青空文庫の両方のコーパスを結合して使用している. 同形異音語の数は, 93 種類[付録]で, 読みのラベルの総数は 223 個である. 表 3 は, その抜粋である。表 3 の「正解数 0 」は，「読み $0 」$ の「出現数」の中で，予測が正解になった数が「正解数 0」である. 表 3 の「外れ」は, 予測した読みのラベルが, ラベル 0 になった個数である.この「はずれ」の数が少ないので, 全体からは除外した。

表 3 の結果から，「大分」「表」のように意味の異なる読みに対しては，読みのクラス分類ができていることを確認した。

## 5 おわりに

本論文では, 振り仮名注釈付きコーパスを用いて, 203 種類の同形異音語の出現数を調查し, その中の 93 種類に対して読みのクラス分類を BERT により転移学習により行った. 得られた結果から, 本コー パスは意味の異なる読みを区別するのに対して有効であり, 一度に複数の同形異音語を学習・推論できるのは大きな利点であることを確認できた. 今後は,読みの分類の精度の改善, 事前学習済み BERT に含まれない語彙に対しても読みの分類ができる手法の検討，また，ドメインを拡張も行いたいと考えている. 今後も視覚障害当事者の観点から, 視覚障害者の情報障害の課題に取り組んでいきたい.

## 謝辞

青空文庫コーパスの作成と公開にあたっては，全国視覚障害者情報提供施設協会及び日本点字図書館のご理解とご協力を賜りました。この場を借りて御礼申し上げます。

## 参考文献

1. 令和 3 年版障害者白書（全体版）- 内閣府 https://www8.cao.go.jp/shougai/whitepaper/r03hak usho/zenbun/index-pdf.html

2. Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).

3. 佐藤文一, 吉永直樹, 喜連川優. "書誌データ・青空文庫・点字データを用いた振り仮名注釈付き日本語コーパスの構築." 研究報告アクセシビリティ (AAC) 2021.13 (2021) : 1-8.

4. 国立国会図書館サーチが提供する OAI-PMH https://iss.ndl.go.jp/information/api/api-lists/oaipmh_info/

5. 青空文庫 Aozora Bunko

https://www.aozora.gr.jp

6. サピエとは

https://www.sapie.or.jp/sapie.shtml

7. 国立国会図書館の書誌データから作成した振り仮名のデータセット https://github.com/ndllab/huriganacorpus-ndlbib

8. 青空文庫及びサピエの点字データから作成した振り仮名のデータセット

https://github.com/ndl-lab/huriganacorpus-aozora

9. GitHub - cl-tohoku_bert-japanese BERT models for Japanese text https://github.com/cl-tohoku/bertjapanese

10. 羽鳥潤, 鈴木久美. "機械翻訳手法に基づいた日本語の読み推定." (2011).

11. 高橋文彦, 森信介. "仮名漢字変換ログを用いた単語分割・読み推定の精度向上." 研究報告自然言語処理（NL）2014.15（2014）: 1-10.

12. 西山浩気, 山本和英, 中嶋秀治. "読み曖昧性解消のためのデータセット構築手法." 人工知能学会全国大会論文集第 32 回全国大会 (2018). 一般社団法人人工知能学会, 2018.

13. 曹鋭, et al. "BERT を利用した教師あり学習による語義曖昧性解消." 言語資源活用ワークショップ発表論文集= Proceedings of Language
Resources Workshop. No. 4. 国立国語研究所, 2019.

14. 新納浩幸, 馬ブン."BERT の Masked Language Model を用いた教師なし語義曖昧性解消." 言語処理学会第 27 回年次大会発表論文集

$
\text { (2021) : 1039-1042. }
$

15. 佐藤文一, 喜連川優. "事前学習済夕 BERT の単語埋め込みベクトルによる同形異音語の読み誤りの改善（福祉情報工学）." 電子情報通信学会技術研究報告 $=$ IEICE technical report: 信学技報 119.478 (2020) : 17-21.

16. MeCab: Yet Another Part-of-Speech and Morphological Analyzer https://taku910.github.io/mecab/

17. GitHub - neologd/mecab-ipadic-neologd: Neologism dictionary based on the language resources on the Web for mecab-ipadic https://github.com/neologd/mecab-ipadic-neologd

18.「UniDic」国語研短単位自動解析用辞書最新版ダウンロード

https://ccd.ninjal.ac.jp/unidic/download

19. GitHub - WorksApplications_Sudachi A Japanese Tokenizer for Business https://github.com/WorksApplications/Sudachi

20. 書誌データ $\mathrm{Q \& A} \mid$ 国立国会図書館一National Diet Library https://www.ndl.go.jp/jp/data/faq/index.html

21. 文字・読办の基準 | 国立国会図書館一National Diet Library

https://www.ndl.go.jp/jp/data/catstandards/characte rs/index.html\#yomi

22. 『点訳のてびき第 4 版』（特定非営利活動法人全国視覚障害者情報提供施設協会, 2019 年 2 月発行)

23. GitHub - huggingface_transformers Transformers State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX

https://github.com/huggingface/transformers

## 付録

出現数を調查した同形異音語(203 種類)

## 1.東北大事前学習済み BERT $\mathrm{v 1 \cdot \mathrm{v} 2$ 両方の語彙 $(87)$}

'表', '角', '大分', '国立', 人人気', '市場', '気質', '役所', '上方', '上手', '下手', '人事', '金星', '仮名', '内面', '礼扯', '遺言', '口腔, '後世', '骨', '一途', '一言', '最中', '一目', '係', '足跡', '今日', '明日', '生物', '変化', '大事', '水車', '一見', '一端', '大家', '心中', '書物', '一角', '一行', '一時', '一定', '一方', '一夜', '下野', '化学', '火口', '花弁', '玩具', '強力', '金色', '経緯', '故郷 ', '紅葉', '行方', '根本', '左右', '山陰', '十分', '上下', '身体', '水面', '世論', '清水', '大手', '大人', '大勢', '中間', '日向', '日時', '夫婦', '牧場', '末期', 利益', '工夫', '一味', '魚', '区分', '施行', '施工', '転生', '博士', '法華', '真面目', '眼鏡', '文字', '文書', '律令'

## 2.東北大事前学習済み BERT v1 の語彙(10)

'教化', '見物', '清浄', '谷間', '追従', '墓石', '大文字', '漢書', '作法', '兵法'

## 3.東北大事前学習済み BERT v2 の語彙(6)

'現世', '日中', '夜中', '前世', '二人', '立像'

## 4.東北大事前学習済み BERTに含まれない語彙(102)

'大人気', '半月', '黒子', '外面', '競売', '開眼', '求道', '血脈', '施業', '借家', 頭蓋骨', '法衣', '昨日', '水柱', '風車', '寒気', '背筋', '逆手', '色紙', '生花', '白髪', '貼付', '一回', '一期', '一月', '一所', '一寸', '一声', '一石', '一日', '一分', , 一文', ,一片 ', '何時', '何分', '火煙', '火傷, '火床', '火先', 火火筒', '芥子', ,気骨', '銀杏', '元金', '五分', '後々', '後生', '御供', '細々', '細目', '三位', '疾風', '菖蒲', '世人', '世路', '船底', '早急', '相乗', '造作', '他言', '東雲', '頭数', '二重', '日供', '日次', '日暮', '日来', '梅雨', '風穴', '仏語, '分別', '面子', '木目', '目下', '夜直', '夜来', '夜話', '野鬼', '野馬', '野分', '野辺', '野面', '野立 ', '冷水', '連中', 飛沫', 翡翠', '餃子', '一足', '意気地', '一昨日', “一昨年', '十八番', '十六夜', '明後日', '石綿', '公文', '読本', '仏国', '古本', '町家', '遊行'