# 画像ベースとテキストベースのモデルを用いた 表の構造解析の性能検証

四條光 ${ }^{1}$ 進藤裕之 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学大学
\{shijo.hikaru.sf3, shindo, taro\}@is.naist.jp

## 概要

表は科学論文，web サイト，新聞など様々な媒体に現れるため，表を解析することは膨大な文書を管理するために重要である. 表の構造解析を解くために，深層学習ベースの画像エンコーダとテキストデコーダから構成される画像ベースのモデルが考案され，非常に高い精度を達成している。一方，エンコーダにマルチモーダルのモデルを使用する研究が登場している。こうした背景から実際にエンコーダには画像ベースのモデルとマルチモーダルのモデルのどちらが優れているか比較することは重要である. 本研究では，表の構造解析のエンコーダ・デコーダモデルを構築し，エンコーダに画像ベース， テキストベース, マルチモーダルの 3 つの異なるモデルを使用し，表の構造解析のスコアを比較することで，どのモデルが優れているのかの比較を行なった. 実験の結果，画像ベースのアプローチが良いと示唆された.

## 1 はじめに

表の構造解析とは，表画像から表の構造的要素 (行，列，ヘッダー)を抽出し，対応する HTML や LaTeX に変換するタスクのことである。本タスクにより，世の中に存在する多くの表を機械的に処理しまとめることで，文書管理や情報抽出 [1] などの多くの技術の応用につながる. 表の構造解析の初期の研究 $[2,3]$ ではルールベースにより表の解析を行っていたが近年では深層学習の発展とともに様々な解析モデルが発展してきた. 数ある手法の中でも特に主流になっているのが image-to-text のモデルである $[4,5,6,7]$. これらは, 画像エンコーダ・テキストデコーダから構成され, 画像エンコーダで特徴量を抽出し, テキストデコーダにより HTML タグを生成していく.一方で画像のみではなく，画像とテキス

(a) TableFormer (HTMLのタグとセルの座標を生成)

(b) TableVLM( HTMLのタグのみを生成)

図 1 先行研究との比較

トの両方を入力とするマルチモーダルのエンコーダを用いたモデル [8] が登場しているが，実際にどちらの特徴量を扱うモデルが表の構造解析に適しているのかというのは検討の余地がある。図 1 の (a) は画像ベースの Tableformer であり，HTML タグとそのセルの座標を別々に出力するのに対し，(b) はマルチモーダルの TableVLM であり，HTML のタグのみを出力する。

本研究では (c) のような HTML 全てを 1 つのデコー ダで出力するという枠組みのなかで，Encoder をテキストベース，画像ベース，またはマルチモーダルの 3 つのモデルで表の構造解析のベンチマークである PubTabNet と FinTabNet の精度を比較することで優れているモデルを分析した。その結果として以下の知見が得られた。

・完全な HTML(タグとセルの内容)を生成する方が,他の生成の仕方よりも優れている。

・テキストベースやマルチモーダルモデルは, データ効率が良く少量のデータでも精度が得られる

・大量のデータが得られる状況下では，画像べー スが一番優れている

表画像

$><$ tr $>$ /tbody $><$ table $>$

表のHTML

図 2 モデルの概要: 表画像から対応する表の HTML を生成するエンコーダ・デコーダモデル. エンコーダで表の潜在表現を得て，デコーダで自己回帰的に HTML のトークンを生成する

## 2 実験方法

画像ベース, テキストベース, または画像とテキストを組み合わせたマルチモーダルのモデルの 3 つを表解析のデータセットで評価し，比較する。

## 2.1 モデル構造

図 2 に示すように，単純なエンコーダ・デコー ダモデルを使用する. テキストデコーダには BARTdecoder をエンコーダにはテキストベースのモデルとして LayoutLMv3-L と画像ベースのモデルとして Swin Transformer、そしてマルチモーダルモデルとして LayoutLMv3を使用する.

## 2.1.1 Swin Transformer エンコーダ

Swin エンコーダ [9] には，表画像 $x \in \mathbb{R}^{\left(3 \times W_{0} \times H_{0}\right)}$ を固定の長方形 $(3, H, W)$ に変形する.この時アスペク比は保持され，長さが足りない場合はパッディングされる．変形された画像はパッチに分割され入力される. 入力されたパッチはマージを繰り返して最終的には，潜在表現 $z \in \mathbb{R}^{(N, d)}$ に変換される. $(N$ は最終的なパッチの数, $d$ は潜在表現の次元である。)

## 2.1.2 LayoutLMv3 エンコーダ

LayoutLMv3 エンコーダ [10] には，表画像から OCR で得られたテキストを WordPiece[11] により分割するしたトークン $t_{i}(0 \leq i<L)$ とそのバウンディングボックス $b_{i} \in\left(x_{0}, y_{0}, x_{1}, y_{1}\right)(0 \leq i<L)$, また,表画像 $x \in \mathbb{R}^{\left(3 \times W_{0} \times H_{0}\right)}$ を固定の正方形 $(3, H, W)$ に変形する。以上の 3 つを，マルチモーダルトランスフォーマーに入力することで，レイアウトの関係性を捉えることができ，最終的には，それぞれの単語と画像の潜在表現 $z \in \mathbb{R}^{(L+N, d)}$ に変換される. $(N$ は画像パッチの数である。)

## 2.1.3 LayoutLM3-L エンコーダ

LayoutLMv3-L エンコーダは，LayoutLMv3 エンコーダとは入力に画像を使わなことが異なる.つまり入力には，表画像から OCR で得られたテキストを WordPiece[11] により分割するしたトークン $t_{i}(0 \leq i<L)$ とそのバウンディングボックス $b_{i} \in\left(x_{0}, y_{0}, x_{1}, y_{1}\right)(0 \leq i<L)$ のみである. よって最終的な出力は, $z \in \mathbb{R}^{(L, d)}$ に変換される.

## 2.1.4 デコーダ

エンコーダから得られた潜在表現 $z$ を transformer デコーダを使って HTML にデコードする. デコー ダの Self-Attention と Cross-Attention により，自己回帰的に HTML のトークンを生成する.

## 2.2 実験設定

Swin Transformer には， $(H, W)=(448,896)$ の画像を入力とし， window size $=7$, 層が $[2,2,14,2]$ のパラメータ数 $77 M$ のモデルを使用した. LayoutLMv3 エンコーダには， 6 層の $d=768$ ，最大系列長 $L=512$ のパラメータ数 $81 M$ のモデルを使用している.また LayoutLMv3-L エンコーダも LayoutLMv3 エンコーダと同様の設定とする. ここで，3つのモデルの比較を行うためにパラメータ数を近づけた設定にしていることに注意されたい。デコーダには，4 層の BART デコーダを使用し， $d=1024 ＼mathrm{~ ， 最 ~}$大系列長 $L=1024$ に設定した. それぞれのモデルは事前学習済み重みで初期化を行った。モデルの学習は AdamW[12] 最適化手法を利用して，学習率を 0.0001 ，重み減衰を $0.02 ，\left(\beta_{1}, \beta_{2}\right)=(0.9,0.99)$ として，バッチサイズが 192 で 20 エポックが学習する.また，初期の学習の全体の $5 \%$ wamp up させ，線形的に学習率を 0.0001 まで増加させる. また，生成する HTML の系列長や入力のテキストの系列長がモデルの最大系列長 $L$ を超える場合は，

モデルの最大系列長 $L$ の長さで切り詰めることにする。また, LayoutLMv3 エンコーダ, LayoutLMv3-L エンコーダの入力には比較のために PaddleOCR ${ }^{31}$, Tesseract $\mathrm{OCR}^{4)}$ ，またアノテーションから得られた完全なテキスト 5）の3つを使用する.

## 2.3 データセット

PubTabNet[6]: PubTabNet は，509K の科学論文の表画像と対応する HTML でアノテーションされている大規模なデータセットである。このデータセットを，97\%と $3 \%$ の割合で学習，評価データに利用する.

FinTabNet[13]: FinTabNet は,112K の S\&P 500 企業の年次報告書からの複雑な表と対応する HTML 情報がアノテーションされている。また PubTabNet の表と比べてグラフィカルな線が少なく, 色の変化がより多い傾向がある．このデータセットを $81 \%$, 9.5\%，9.5\%で学習，検証，評価データに利用する.

## 2.4 評価方法

表の構造解析の評価指標として用いられる Tree-Edit-Distance-Simmilarty(TEDS)[6] により生成した HTML の評価を行う. TEDS は以下の式で与えられる。

$
\operatorname{TEDS}\left(T_{a}, T_{b}\right)=1-\frac{\operatorname{EditDist}\left(T_{a}, T_{b}\right)}{\max \left(\left|T_{a}\right|,\left|T_{b}\right|\right)}
$

$T_{a} ， T_{b}$ は HTML の木構造を表し，EditDist () は二つの木構造編集距離を求める。また $|T|$ は $T$ のノー ドの数を表す. 評価として HTMLのタグのみの木構造を $T$ として，編集距離を求める TEDS-Struc と， HTML のすべて (タグとセルの中身) の木構造を $T$ とする TEDS の2つを用いて評価を行う。表 2 FinTabNet での Swin Transformer-BART のスコア

## 3 実験結果

図 3 PubTabNet においての学習曲線

表 1 に TEDS で評価した結果を示した. TableFormer と SLANet はベースラインとして追加したものである. TableFormer と SLANet どちらも画像エンコーダ・Dual デコーダの構造をしており，得られたセル座標から PDF のマッチングや OCR を用いて， セルのテキストを取得し, HTMLを生成する。

ベースラインとの比較: 画像ベースのモデルを比較すると，PubTabNet において TableFormer や SLANet に比べて Swin Transfomrer-BART の方が TEDS が高く，このことから HTML 全てを生成する有効性を示すことができた.

モデルの比較: PubTabNet では，Swin TransformerBARTがTEDS の一番スコアが高い。一方, FinTabNet

1）得られたセルの座標より PDF とのマッチングを行う

2）得られたセルの座標より PaddleOCR を使用する

3) https://github.com/PaddlePaddle/PaddleoCR

4) https://github.com/tesseract-ocr/tesseract

5） 正解の HTML から得られたセルのテキストとその bbox を入力とする
表 3 入力を完全なテキストと bbox にした際の，TEDS での評価5）

(a)

(b)

図 4 OCR の出力が誤りを含むときの予測: (a) は tesseract の出力である．緑の長方形が検知したバウンディングボックスであり，青の長方形は誤っているバウンディングボックス．赤の文字が読み取ったテキストであり，青は誤って認識した文字である. (b) は (a)の OCR の出力を layoutlmv3-BART に入力したときの生成された HTML である.

では傾向が異なり, PaddleOCR+LayoutLMv3-BART が一番スコアが高く，Swin Transformer-BART が一番スコアが低い結果となっている。これは FinTabNet と PubTabNet のデータ数の違いが原因である. 図 3 には， validation loss のステップごとの変化を表しているが， Swin Transformer-BART だけが極端に loss が下がるのが遅いことがわかる. このことから画像ベースのモデルには多くのデータセットが必要であり，少ないデータしかない FinTabNet で精度が悪化したと考えられる (逆に，テキストベースやマルチモーダルはデータ効率が良い). そこで表 2 では Swin Transformer-BART を PubTabNet で学習した後に FinTabNet で finetune した結果を示した. やはりデー タ数を増やすと精度が上昇することが確認できた。以上から表 1 と 2 の結果を合わせて比較すると，以下のことが言える

・少量のデータしか得られない場合は，テキストベースやマルチモーダルが適している.

・大量のデータが得られる状況下では，画像ベー スが一番優れている

しかし，近年は大規模なデータを入手が可能なため画像ベースの方が適していると考える.

理想的な入力の際の LayoutLM 系の TEDS: 表 3 には, 入力に完全なテキストを使用した時の TEDS の結果を示している.TableVLM は, LayoutLMv3-BART と同じ構造であり, 出力は HTML のタグのみを出力するモデルである. TEDS-struc に関しては，図 1 の (b) の tableVLM のスコアを超えており，このことか
ら HTML のタグのみを生成するよりも HTML の全てを生成した方が結果として表の構造の予測の精度を上げられると考えられる。また, 表 1，39 結果を比較すると LayoutLMv3-BART, LayoutLMv3-L-BART も OCR を使用した時よりも精度が向上しており， LayoutLMv3-BART が Swin Transfomrer-BART の結果を上回り非常に精度が高くなることがわかる. よって非常に精度が高い OCR を使用することができる環境ならマルチモーダルやテキストベースの方が良いが, 現状そこまで精度の高い OCR を得ることは難しいため, やはり画像べースの方が良いと言える.

OCR の影響：図 4 には， TesseractOCR から得られた文字と座標を (a) に，それらを LayoutLMv3-BART に入力した際の出力結果を (b) に示している. (a) に示すように, Tesseract から得られるテキストは誤りがある上に，検知されない文字や，誤った bbox を出力してしまう。しかし，それらを入力してもある程度正しい表が生成されている。これはモデルが内部的に誤り訂正をしていることや，表の構造のルー ルを保持していることが考えられる. このことから，図 1 の (a)のように，後から OCR でセルのテキストを得るよりも，HTML 全てを生成する方法の方が優れていることがわかる.

## 4 おわりに

本研究では，HTML を生成するエンコーダ・デコーダモデルを構築し，表の構造解析に適しているエンコーダを調査した. 結果として画像ベースのアプローチが良いと示唆された。

## 謝辞

本研究は，JST ムーンショット型研究開発事業グラント番号 JPMJMS2236 の支援を受けたものです.

## 參考文献

[1] Hiroyuki Shindo Yuji Matsumoto Masashi Ishii Hiroyuki Oka, Atsushi Yoshizawa. Machine extraction of polymer data from tables using xml versions of scientific articles, science and technology of advanced materials: Methods. Vol. 1, , 2021.

[2] T. Hassan and R. Baumgartner. Table recognition and understanding from pdf files. In Ninth International Conference on Document Analysis and Recognition (ICDAR 2007), Vol. 2, pp. 1143-1147, 2007.

[3] Ermelinda Oro and Massimo Ruffolo. Pdf-trex: An approach for recognizing and extracting tables from pdf documents. In 2009 10th International Conference on Document Analysis and Recognition, pp. 906-910, 2009.

[4] Ahmed Nassar, Nikolaos Livathinos, Maksym Lysak, and Peter Staar. Tableformer: Table structure understanding with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4614-4623, June 2022.

[5] Jiaquan Ye, Xianbiao Qi, Yelin He, Yihao Chen, Dengyi Gu, Peng Gao, and Rong Xiao. Pingan-vcgroup's solution for icdar 2021 competition on scientific literature parsing task b: Table recognition to html, 2021.

[6] Xu Zhong, Elaheh ShafieiBavani, and Antonio Jimeno Yepes. Image-based table recognition: data, model, and evaluation, 2020.

[7] Chenxia Li, Ruoyu Guo, Jun Zhou, Mengtao An, Yuning Du, Lingfeng Zhu, Yi Liu, Xiaoguang Hu, and Dianhai Yu. Pp-structurev2: A stronger document analysis system, 2022.

[8] Leiyuan Chen, Chengsong Huang, Xiaoqing Zheng, Jinshu Lin, and Xuanjing Huang. TableVLM: Multi-modal pre-training for table structure recognition. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2437-2449, Toronto, Canada, July 2023. Association for Computational Linguistics.

[9] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 10012-10022, October 2021.

[10] Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, and Furu Wei. Layoutlmv3: Pre-training for document ai with unified text and image masking, 2022.

[11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku
Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.

[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2019.

[13] Xinyi Zheng, Doug Burdick, Lucian Popa, Xu Zhong, and Nancy Xin Ru Wang. Global table extractor (gte): A framework for joint table identification and cell structure recognition using visual context, 2020.

## A 付録

## A. 1 Ablation Study

完全な HTML か HTML のタグのみを予測するかでの影響を調べた．表 2 では，Swin Transformer-BART で完全な HTMLを学習したものと、HTMLのタグのみを学習したものでのスコアを比較している．その結果 html のタグのみを予測するよりも TEDS-Struc の精度が上昇している．よって，HTML のタグを予測するよりも全ての HTML を出力した方が良いことがわかる.

## A. 2 データセット

(a)PubTabNetの解像度

(b)FinTabNetの解像度

図 5 データセットの表画像の解像度

図 5 に実験に使用したデータセットの表画像の解像度の散布図を示した.このようにどちらも同じ分布をしている.またこの解像度の分布より Swin Transformer の解像度を $(448,896)$ と決定した.

## A. 3 OCR

(a) Tesseract OCRから得られるbbox

(b) Paddle OCRから得られるbbox

図 6 OCR の例: (a) が TesseractOCR の例，(b) が PaddleOCR の例

図 6 は，実験に使用した OCR の出力の例を示している。（a) は TesseractOCR の例， (b) は PaddleOCR の例である. TesseractOCR は単語ベースで認識するのに対して，PaddleOCR ではセグメント単位で認識するという違いがある。また OCR の精度としては PaddleOCR の方が TesseractOCR よりも精度が高い.


# Hol-CCG 構文解析と拡散モデルの統合による 構文構造を陽に考慮した画像生成

山木良輔 ${ }^{1}$ 品川政太朗 2 持橋大地 ${ }^{3}$ 谷口忠大 ${ }^{1}$
1 立命館大学
2 奈良先端科学技術大学院大学 ${ }^{3}$ 統計数理研究所
\{yamaki.ryosuke, taniguchi\}@em.ci.ritsumei.ac.jp
sei.shinagawa@is.naist.jp daichi@ism.ac.jp

## 概要

近年，拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している。しかし，構文的曖昧性を有するテキストに対して，特定の構文的解釈に対応する画像を選択的に生成するという点において課題がある。そこで本研究では，テキストが有する構文構造を分散表現として計算可能な構文解析モデルである Hol-CCG [1] と，画像生成モデルである Stable Diffusion [2] を統合し，特定の構文的解釈に対応する画像を選択的に生成可能なモデルを提案する。

## 1 はじめに

テキストの内容に沿った画像を生成するテキスト画像生成において，画像生成モデルはテキストに含まれる意味的情報だけでなく，構文的情報も合わせて理解することが求められる．例えば，入力されるテキストに構文的曖昧性が存在する場合，複数存在する構文的解釈の中から，特定の解釈に対応する画像を選択的に生成することが必要となる。このように，テキストが有する構文的情報に基づいた画像生成が可能なモデルの実現は，工学的に有用であると同時に，自然言語の構文構造と実世界情報の関係性を計算論的に捉えるという観点からも重要である.本研究では，構文解析モデルと拡散モデルに基づくテキスト画像生成モデルを統合することで，構文的曖昧性を有するテキストに対して特定の構文的解釈に対応する画像を選択的に生成可能なモデルを提案する。

近年，拡散モデルに基づくテキスト画像生成モデルが高度な画像生成を実現している [3,2]. ただし，構文的曖昧性を有するテキストに関しては，各構文

図 1: 構文的曖昧性を有するテキストに対する画像生成の例.

的解釈に応じて生成すべき画像が大きく異なる．例えば，図 1 に示すように，"A man enters the room with flowers.” という文は，前置詞句 “with flowers” が動詞句と名詞句のいずれを修飾するのかによって，「花を持った男性が部屋に入る」または「花が存在する部屋に男性が入る」という二つの構文的解釈が可能である。そして，これらの解釈を画像にする場合，画像中の物体同士 (A man, the room, flowers) は異なる関係性を有するべきである。

本研究では，テキストが有する構文構造を構文解析手法によって分散表現に変換し，それらを画像生成モデルが使用する言語特徴量とすることで,特定の構文的解釈に対応する画像を選択的に生成するためのモデルを提案する．具体的には，埋め込み空間上で組み合わせ範疇文法 (Combinatory Categorial Grammar; CCG) [4] に基づく構文解析を行うモデルである Holographic CCG (Hol-CCG) [1] と Stable Diffusion [2] を統合することによって，テキストが有する構文構造を分散表現に変換し，それらの情報を元に特定の構文的解釈に対応する画像を選択的に生成する。

実験では，Hol-CCG が計算するテキストの構文構造に関する情報を含んだ分散表現を，画像生成に使用するモデルと使用しないモデルの比較により，本提案モデルの有効性を示す.

## 2 先行研究: TIED

曖昧性を持つテキストに関する画像生成に関して, Mehrabi らは Text-to-ImagE Disambiguation framework (TIED) [5] を提案している.

TIED では曖昧性を有するテキストに対して，曖昧性を解消するための質問を GPT-2 [6] などの言語モデルによって生成し, 質問に対するユーザの回答を元のテキストに付与することで，曖昧性が解消された新たなテキストを作成する. そして，この曖昧性が解消されたテキストを画像生成モデルに入力することによって，特定の解釈に基づく画像の生成を実現しようとしている.

## 3 準備

## 3.1 Stable Diffusion

近年の拡散モデル [7] の顕著な発展により, 写実性の高い画像の生成が実現されている [3, 2]. 拡散モデルでは，ランダムなノイズに対して段階的にノイズを除去する過程を繰り返すことによって，画像の生成を実現する。ここで，拡散モデルのノイズを除去する過程において，テキスト情報を付与することでテキストの内容に沿った画像の生成が可能となる.

本研究では，これらのテキスト画像生成モデルの中でも特に Stable Diffusion [2]を使用する. Stable Diffusion では，画像の潜在空間上でノイズ除去を行い, 得られた画像特徴量を VAE [8] のデコーダによって画像に復号することで画像の生成を行う.

## 3.2 Hol-CCG

筆者らは CCG [4] に基づく構文解析モデルとして Holographic CCG (Hol-CCG) [1] を提案している.図 2 に Hol-CCG のモデル概要を示す. Hol-CCG は Span-based Parsing [9] に基づく句構造解析アルゴリズムによって，テキストが有する尤もらしい句構造を探索する.ここで，Hol-CCG は句構造の探索と同時に，テキストが有する構文構造を明示的に反映した句の分散表現を計算することができる．また， Hol-CCG では分散表現を計算するための演算自身には学習が必要となるパラメータが存在しないことが特徴であり，大規模かつ複雑なデータセットに対しても適用可能である.

そこで本研究では，構文的曖昧性を有するテキス

図 2: Hol-CCG [1] のモデル概要図. 大力文はテキストエンコーダによって単語分散表現へと変換され， それらの分散表現は句構造に従って句の分散表現へと再帰的に合成される。

トに対して, 各構文構造 (構文的解釈) に応じた句の分散表現を Hol-CCG によって計算し，これらの分散表現を画像生成の際の言語特徵量として用いることで，特定の構文的解釈に対応する画像を選択的に生成するモデルを提案する.

## 4 提案モデル

## 4.1 モデル概要 : Hol-CCG と Stable Diffusion の統合

本研究では， Hol-CCG と Stable Diffusion を統合することによって，構文的曖昧性を有するテキストに対して特定の構文的解釈に対応する画像を選択的に生成するモデルを提案する. 本提案モデルの概要を図3 に示す.

本モデルでは，まず事前学習済みの CLIP [10] によってテキスト中の各単語及びテキスト全体に対する分散表現を得る。そして，Hol-CCGによってこれらの単語分散表現を構文構造に従って再帰的に合成し，構文構造に関する情報を含む句の分散表現を得る. これらの単語・句・テキスト全体の分散表現は, Stable Diffusion に与えられ，特定の構文的解釈に基づいた画像を生成するために使用される.

## 4.2 モデルの学習

提案モデルの学習はテキストエンコーダの学習と Stable Diffusion の学習の 2 段階に大別される. なお,実験時に使用したハイパーパラメータ等に関しては，付録 Aに記す。

図 3: 提案モデルの概要図. 入力テキストは CLIP によって各単語とテキスト全体の分散表現へと変換される。単語分散表現は Hol-CCG によって句の分散表現へと再帰的に合成され，これらの分散表現を Stable Diffusion に与えることで画像を生成する。

## テキストエンコーダの学習

まず，第 1 段階目として，テキストを分散表現に変換するテキストエンコーダ部分の学習を行う. 前述の通り, 本モデルのテキストエンコーダは事前学習済みの CLIP と Hol-CCG によって構成される。これら 2 つのモデルを結合した状態で以下の誤差関数 ( $\left._{\text {fine-tuning }}\right)$ を最小化するように誤差逆伝播法によるファインチューニングを行う。

$\mathscr{L}_{\text {fine-tuning }}=\mathscr{L}_{\text {contrastive }}+\mathscr{L}_{\text {word }}+\mathscr{L}_{\text {phrase }}+\mathscr{L}_{\text {span }}$ ここで， $\mathscr{L}_{\text {contrastive }}$ は CLIP の対照学習に基づく誤差, $\mathscr{L}_{\text {word }}, \mathscr{L}_{\text {phrase }}, \mathscr{L}_{\text {span }}$ は Hol-CCG の学習に使用される CCG のカテゴリ分類に基づく誤差をそれぞれ表す.これらの誤差の詳細については元論文 $[10,1]$ を参照されたい. $\mathscr{L}_{\text {fine-tuning }}$ を最小化するようにテキストエンコーダのファインチューニングを行うことで，意味的情報と構文的情報の両者を分散表現に含めることが可能となる.

## Stable Diffusion の学習

次に, Stable Diffusion の学習を行う. Stable Diffusion がノイズを段階的に除去する際に，ノイズ除去後の潜在変数と元の潜在変数との間の平均二乗誤差を計算し, この誤差を最小化するようにモデルの学習を行う。これにより，Stable Diffusion はテキストエンコーダから受け取った分散表現に含まれる構文構造に関する情報を元に，特定の構文的解釈に対応する画像を生成することが可能となる.

## 5 実験

## 5.1 データセット

データセットには LAVA Corpus [11]を使用した.本データセットには構文的曖昧性を含むテキストと各構文木及びそれらに対応する画像が格納されている. 本データセットに対する前処理の内容に関しては付録 B に記す。

## 5.2 モデル比較条件

以下の 2 つの比較条件を設けることで，提案モデルの有効性を検証した。

## (1) テキストエンコーダの学習の有無

4.2 節で述べた通り，事前学習済み CLIP と Hol$\mathrm{CCG}$ を結合したテキストエンコーダを学習することで，意味的情報と構文的情報を含んだ分散表現を計算することが可能となる。ここで，テキストエンコーダが構文的情報を捉えることの有効性を検証するために，テキストエンコーダをファインチューニングするか否かという比較条件を設けた。

## (2) 句の分散表現の使用の有無

Stable Diffusion は Hol-CCG が計算した句の分散表現を画像生成時の言語特徴量として使用することで，特定の構文的解釈に対応する画像を生成することが可能となる. ここで，Hol-CCG が計算する句の分散表現を画像生成時の言語特徴量として使用することの有効性を検証するために，句の分散表現を画像生成に使用するか否かという比較条件を設けた。

## 5.3 評価方法

実験結果に関して，VQAによる自動評価と人手による評価の 2 種類の評価を行った。

## VQA による自動評価

各モデルによって生成された画像が指定された構文的解釈に対応したものになっているかを自動的に評価するために，Mehrabi らが提案した VQAによる自動評価手法 [5] を採用した. 本評価手法では，生成された各画像が指定された構文的解釈に対応している場合に，その答えが“Yes” となるような質問文を用意する。そして，質問文と生成された画像の組に対して VQA が “Yes” と回答した割合を評価指標として使用する。本評価手法の詳細に関しては，元論文 [5] を参照されたい.

## 人手評価

人手による評価では，各モデルによって生成された 20 組の画像とそれぞれに対応する質問文を 19 名

(a) VQAによる自動評価の結果.

(b) 人手評価の結果.

図 4: VQA及び人手による評価の結果.

図 5: “Danny left the chair with a green bag.”に対する生成画像の例．上段は「Danny が bag を持っている」解釈，下段は「bag が chair に置かれている」解釈にそれぞれ対応する.

の実験参加者に提示し，VQAによる自動評価と同様のプロセスを実行する。すなわち，各実験参加者は提示された画像の内容に基づいて，質問文に対する回答を“Yes” か “No” から選択する。そして，実験参加者による質問文への回答が“Yes”となった割合を各モデルごとに比較した。

## 6 結果・考察

図 4 にVQA による自動評価及び人手評価の結果を示す. なお，グラフ中の值は指定された構文的解釈に対して各モデルが生成した画像の Accuracy を表している。まず，VQAによる自動評価に関しては，5.2 節で示した比較条件の (1)・(2)をいずれも適用しなかった Baseline モデルが最低の性能となっており，提案モデルの方が高い性能を発揮している. また，比較条件 (1)・(2) の一方もしくは両者を適用したモデル間での性能差はほとんど見られない.

人手による評価に関しては，(2)の比較条件のみを適用した場合に最も性能が高くなっており，TIED を上回る性能を発揮している。ただし，比較条件 (1)・(2)を両方とも適用したモデルの性能が他のモデルに比べて著しく低くなっており，これらの条件
を同時に適用することがモデルの学習に対して悪影響を与えている可能性を示唆している.

また, 図 5 に実際に生成された画像の例を示す. これより，提案モデルの内，比較条件 (2) のみを適用したモデルは，各構文的解釈に対応する画像を選択的に生成できていることが分かる.

以上より，特定の構文的解釈に対応する画像を選択的に生成するという本研究の目的に関して, Hol-CCG が計算した句の分散表現を画像生成時の特徵量として使用することは有効であるといえる.

## 7 おわりに

本研究では，構文解析モデルである Hol-CCG と Stable Diffusion を統合することで，構文的曖昧性を持つテキストに関して，特定の構文的解釈に対応する画像を選択的に生成するためのテキスト画像生成モデルを提案した. 実験より, Hol-CCG がテキストに対して計算する句の分散表現を画像生成に使用することの有効性を示す結果が得られた. 今後の展望としては，より大規模なデータセットを使用した提案モデルの有効性の検証や，構文的曖昧性の種類ごとでのより詳細な結果の分析などが挙げられる.

## 謝辞

本研究は JSPS 科研費 JP23H04835 の助成を受けたものです.

## 参考文献

[1] Ryosuke Yamaki, Tadahiro Taniguchi, and Daichi Mochihashi. Holographic CCG parsing. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 262-276, Toronto, Canada, July 2023. Association for Computational Linguistics.

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 10684-10695, 2022.

[3] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily L Denton, Kamyar Ghasemipour, Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim Salimans, et al. Photorealistic text-to-image diffusion models with deep language understanding. Advances in Neural Information Processing Systems, Vol. 35, pp. 3647936494, 2022.

[4] Mark Steedman. The syntactic process. MIT press, 2001.

[5] Ninareh Mehrabi, Palash Goyal, Apurv Verma, Jwala Dhamala, Varun Kumar, Qian Hu, Kai-Wei Chang, Richard Zemel, Aram Galstyan, and Rahul Gupta. Resolving ambiguities in text-to-image generative models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 14367-14388, Toronto, Canada, July 2023. Association for Computational Linguistics.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[7] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, Vol. 33 , pp. $6840-6851$, 2020.

[8] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.

[9] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 818-827, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[10] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learn- ing transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

[11] Yevgeni Berzak, Andrei Barbu, Daniel Harari, Boris Katz, and Shimon Ullman. Do you see what I mean? visual resolution of linguistic ambiguities. In Lluís Màrquez, Chris Callison-Burch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1477-1487, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[13] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023.
表 1 : テキストエンコーダの学習時に使用したハイ

パーパラメータ.

表 2: Stable Diffusion の学習時に使用したハイパーパラメータ.

## A モデルの学習に関するハイパー パラメータ

提案モデルの学習時に使用した事前学習済みモデル及びハイパーパラメータを表 1,2 にそれぞれ示す.なお，実験には NVIDIA A100 GPU [80GB] を 1 台使用した。

## Bデータセットの前処理

本研究における実験では LAVA Corpus [11] に対し

て以下の 2 つの前処理を適用し，データセット全体を 9:1 の割合で学習用と評価用のサブセットに分割して使用した。

1. 構文木の変換：LAVA Corpus では構文的曖昧性を有するテキストの各構文的解釈に対して PCFG による構文木のアノテーションが付与されている. これらの PCFGによるアノテーショ

2. 評価用質問文の作成：VQAによる自動評価で使用するための質問文を各テキストの各構文的解釈に関して作成する．例えば，“Danny approached the chair with a yellow bag” というテキストに対して「Dannyが bag を持っている」 という解釈をする場合，“Is the man carrying $a$ yellow bag?" という質問文を作成し，同じテキストに対して「bag が chair に置かれている」という解釈をする場合，“Is the chair accompanied by a yellow bag?” という質問文を作成する. なお，これらの質問文の作成には GPT-4 [13] を使用した.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 人工画像を用いた Text-to-Image モデルの事前学習

中尾 純平 1 磯沼 大 ${ }^{1,2}$ 片岡 裕雄 3 森 純一郎 1,4 坂田 一郎 1
1 東京大学 2 エディンバラ大学 3 産業技術総合研究所 4 理研 AIP
jnmsww99@g.ecc.u-tokyo.ac.jp \{isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
hirokatsu.kataoka@aist.go.jp mori@mi.u-tokyo.ac.jp

## 概要

近年，大規模 Text-to-Image (T2I) モデルの事前学習に用いるデータセットに対して倫理面の問題が指摘されている．そこで本研究では人工画像を用いた T2I モデルの事前学習を検討する。人工画像にはキャプションが付与されていないことが事前学習に用いる際の難所となるが，本研究では CLIP を活用して人工画像に疑似的なキャプションを付与することでこの点にアプローチした．評価実験では，人工画像と実画像でそれぞれ事前学習したモデルを，複数の実画像データセットでファインチューニングした後の生成画像の精度で比較することで，人工画像を用いた事前学習が実画像を用いた事前学習に迫る有効性を示すことと共に，人工画像の色による多様性と輪郭という性質が重要であることを確認した。

## 1 はじめに

近年，大規模 Text-to-Image (T2I) モデルの発展が目覚ましい。例えば，Stable Diffusion [1] は任意の入力テキストの内容に応じた画像を生成できるモデルとして脚光を浴びた.これらの T2I モデルは， LAION-5B [2] など数十億規模の画像及びキャプションがペアリングされたデータセットで事前学習を行い，その後特定のドメインのデータセットを用いてファインチューニングすることで構築される. 大量の画像を用いた事前学習が，T2I モデルの高い汎化性能をもたらした.

しかし，LAION-5B のような大規模データセットは倫理面の問題が指摘されている.これらは主に web クロールで機械的に画像-キャプションペアを収集して構築される. 従って，プライバシー侵害や著作権違反，公序良俗に反したコンテンツが含まれることが多い [3] が，その規模から人手による全数把握は極めて困難である。 さらに，LAION-5B は欧州の個人データ保護規則である General Data Protection

図 1: 提案手法の概要

Regulationを侵害するとして，現在安全面での審査やデータ改善中と報告されている1).

近年，データの倫理問題解決に向けた人工画像を用いた事前学習が行われており, 画像認識タスクでは実画像データセットの事前学習と比較してほぼ同等の精度が得られることが示されている $[4,5,6]$. この取り組みを踏まえて，本研究では，図 1 のように既存の T2I モデルが事前学習に用いている実画像を人工画像に置き換えることで，T2I モデルの構築が可能か検証する. 人工画像は数式等のアルゴリズムで機械的に生成されるため，プライバシーや著作権，公序良俗に反するコンテンツを一切含まない.

T2I モデルの事前学習において，人工画像を用いる際の最大の難所は，人工画像に対応したキャプションの付与である. 生成される人工画像にはキャプションが付与されておらず，事前学習に有効なキャプションも自明でない。そこで我々は，画像及びテキストの事前学習済みモデルである CLIP [7] の潜在空間を活用して実画像に対し疑似的なキャプションを付与する Lafite [8] に着目した. 人工画像に対して，Lafite と同様に疑似キャプションを付与することで T2I モデルの事前学習を試みる。

評価実験では，人工画像で事前学習したモデルを複数の実画像データセットでファインチューニングし，生成された画像の評価を行った. 事前学習を行わない場合に比べて，人工画像を用いた事前学習が

生成画像の精度と学習効率を高めることを確認すると共に，事前学習の文脈において倫理面で完全にクリアな T2I モデルを構築しつつ実画像で事前学習した場合に迫る精度が得られることを確認した。

## 2 提案手法

本研究では Lafite [8] と同様に, StyleGAN2 [9] をベースとした T2I モデルを用いる. ただし，提案する人工画像を用いた事前学習は diffusion model など他のモデルの事前学習にも利用できる.

本研究で使用するモデルは生成器と識別器で構成される. 生成器はキャプションを入力として画像を生成する一方, 識別器は大力画像が訓練画像か生成画像か判定する. 生成器・識別器はそれぞれ次の損失関数 $L_{G}^{\prime}, L_{D}^{\prime}$ を最小化するように学習される.

$
\begin{array}{r}
L_{G}^{\prime}=L_{G}+\gamma L_{C o n D}+\lambda L_{C o n G} \\
L_{D}^{\prime}=L_{D}+\gamma L_{C o n D}
\end{array}
$

ただし， $\gamma, \lambda$ は各項の重みを調整するハイパーパラメータである． $L_{G}$ と $L_{D}$ はいずれも GANで一般に用いられる損失関数で， $L_{G}$ は識別器が生成画像を訓練画像と誤識別するほど小さくなる一方， $L_{D}$ は識別器が入力画像を正しく識別できるほど小さくなる. すなわち, 生成器は識別器が訓練画像と誤識別する画像を生成するように, 識別器は入力画像を正しく識別できるように学習する。また， $L_{C o n G}$ と $L_{C o n D}$ は生成器がキャプションを適切に反映した画像を生成するように設計された損失関数である ${ }^{2}$.

本研究では学習に用いられる画像を人工画像に， キャプションを疑似キャプションに置き換えて事前学習を行う．以下ではそれぞれについて説明する。

## 2.1 事前学習に用いる人工画像

本研究では, 下記の 3 種類のアルゴリズムで生成された人工画像を用いる. 近年，T2I モデルで生成された画像を事前学習に用いる取り組み [10] があるが, これらの画像もまたプライバシーや著作権などの問題が拭えない. 従って本研究ではアルゴリズムで生成された人工画像のみを用いる. 図 2 にこれらの人工画像の例を示す.

Visual Atoms [11] Kataoka ら [4] は数式で定義された関数により, 多様な人工画像とそのクラスの機械的な生成を可能にする Formula-Driven Supervised

(a) Visual Atoms

(b) Shaders $21 \mathrm{k}$

(c) Improved Frc.図 2: 本研究で用いる人工画像の例

Learning (FDSL) を考案した. Visual Atoms は FDSL の一種で, Visual Transformer (ViT) [12] の学習にオブジェクトの輪郭が重要である示唆 [5] から, 正弦波の重ね合わせによる多様な輪郭表現を意図して設計された. Visual Atomsを用いた ViT の事前学習は， クラス分類やセグメンテーションにおいて，実画像を事前学習した場合とほぼ同等の精度を達成した。

Shaders21k [6] Baradad らは既存の人工画像が単一アルゴリズムで生成されていることに着目して Shaders21kを考案した. Shaders21k は OpenGL から取得した 21,000 件のアルゴリズムで生成された多様な人工画像で構築される. Shaders $21 \mathrm{k}$ は単一アルゴリズムで生成された人工画像と比較して，クラス分類で高い精度を達成している。

Improved FractalDB [13] Kataoka ら [4] は多様なグレースケールのフラクタル画像を含む FractalDB を考案した。しかし, FractalDBを構築するアルゴリズムには疎な画像が生成されうる等の問題点があった. Anderson らはこの問題点を解消したアルゴリズムを考案し, 更に色の付与で多様性を高めたデータセット3を構築した. クラス分類では FractalDB と比較して高い精度を達成している。

## 2.2 疑似キャプションの付与

人工画像に疑似キャプションを付与する単純な手法として既存のキャプション生成モデルの利用が考えられる. しかし， モデルが人工画像に付与するキャプションは多様性が著しく低いことを実験的に確認している。例えば Visual Atoms には，その大半に “a black and white photo of an abstract design" といったキャプションが付与されてしまう.

Wang ら [14] は VQ-GAN [15] と CLIP [7]を活用して，画像のみで T2I モデルを学習する Clip-gen を考案した. しかし, Clip-gen は生成器が VQ-GAN 等のデコーダに制限される久点がある.

図 3: Lafite による疑似キャプション生成の概要図.点線で示した画像特徴量に近い領域に疑似キャプションが生成される.

そこで本研究は Zhou ら [8] の Lafite に着目した. Lafite では CLIP の潜在空間を活用して画像自体に疑似キャプションを表すべクトルを付与する．従って，モデルに対する依存性が小さく，本研究で用いるモデル以外でも利用可能である.

CLIP は画像とキャプションを共通した超球面上の潜在空間に埋め込む. このとき，ペアの画像とキャプションはコサイン類似度が大きくなるように埋め込まれる。従って，ある画像に対応したキャプションの文章特徴量は, 共通潜在空間上の画像特徴量に近い領域に存在していると考えられる.この考察から Zhou らは画像特徴量にガウスノイズで摄動を加えて，対応したキャプションの文章特徴量の近似を検討した。具体的には画像を $\mathbf{x}$ ，CLIP の画像工ンコーダを $f(\cdot) ，$ ガウスノイズを $\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ とすると, 画像 $\mathbf{x}$ に対する疑似キャプション $\mathbf{h}^{\prime}$ は次式 (3) で計算される。

$
\mathbf{h}^{\prime}=\frac{\tilde{\mathbf{h}}}{\|\tilde{\mathbf{h}}\|}, \quad \tilde{\mathbf{h}}=f(\mathbf{x})+\xi \epsilon \frac{\|f(\mathbf{x})\|}{\|\epsilon\|}
$

ただし，\|$\cdot$\|は L2ノルムであり， $\xi$ は摂動の強さを調整するハイパーパラメータである。図 3 に疑似キャプション生成の概要を示す. 本研究では, Lafite を用いて人工画像に疑似キャプションを付与する.

## 3 実験

## 3.1 実験設定

事前学習本論文では Visual atoms [11], Shaders21k [6], Improved FractalDB [13] について,
それぞれ 100 万枚の画像を用いて前述のモデルを事前学習した. また, ベースラインとして事前学習を行っていないモデル（Scratch）と，広範な力テゴリの実画像で構成されたデータセットである Conceptual Captions (CC3M) [16] の内 100 万枚を用いて事前学習したモデルを用意した。この $\mathrm{CC} 3 \mathrm{M}$ の事前学習では既存手法と同様にキャプションを用いて学習する設定 (CC3M+caption) と, 疑似キャプションを用いて学習する設定 (CC3M+pseudo) を用意した. なお，事前学習時のエポック数はいずれのモデルにおいても 10 エポックで統一した.

ファインチューニングファインチューニングに利用するデータセットとして， MSCOCO [17], CUB [18]，CelebA-HQ [19] を用いる。MSCOCO は 91 種類の広範なカテゴリを含む画像で構成され， 82,612 件を取得した. CUB は 200 種の鳥類を写した画像で構成され，8,849 件を取得した. CelebA-HQ は様々な人間の顔を写した画像で構成され，24,000 件を取得した. ファインチューニングでは各データセットからランダムにサンプルされた $10 \%$ の画像とそれに付与されたキャプションを用いる。

生成された画像の評価指標として, Inception Score (IS) [20] 及び Fréchet Inception Distance (FID) [21] を用いる. IS は生成された画像の品質と多様性を評価する指標で，高い值が望ましい。一方，FID は生成した画像とテストデータセットの画像の潜在空間上での分布間距離を表す指標で，低い値が望ましい。

実装の詳細については Appendix A. 4 に記す。

## 3.2 生成された画像の精度評価

各事前学習モデルを CUB データセットでファインチューニングした場合について，学習ステップごとの FID の減少過程を図 4 に示す. 実画像と人工画像のいずれにおいても，事前学習を行うことでファインチューニング後の生成画像の精度と学習効率が向上することがわかる.

ファインチューニング後の生成画像を複数のデー タセット・指標で評価した結果を表 1 に示す.

人工画像 vs. Scratch 人工画像で事前学習したモデルは，事前学習を行わない場合（Scratch）と比較して CelebA-HQ の IS を除きいずれも高い精度を示した. 人工画像での事前学習がファインチューニングでの精度を向上させることがわかる.

人工画像 vs. CC3M 人工画像を事前学習したモデルと比較して，実画像である CC3M で事前学
表 1: 生成画像の精度評価 (IS は大きい程良く，FID は小さい程良い). 上段は Scratch を除き実画像を，下段は人工画像を事前学習に使用. 各段ごとに最もよい値を太字で表示.

図 4: ファインチューニングにおける FID の減少過程（横軸は学習ステップ数）

表 2: 色を欠損させた場合の FID (小さい程良い)

習したモデルは，いずれのデータセットでファインチューニングしても高い精度を示す。一方で，Improved FractalDB で事前学習したモデルは CC3M+pseudo に迫る精度を達成しており，実画像と比較しても人工画像の事前学習について一定の有効性が示された。

CC3M+caption vs. CC3M+pseudo CC3M+caption と CC3M+pseudo を比較すると, CC3M+caption の方が精度が高いことがわかる. 従って，疑似キャプションの利用が事前学習の有効性を低下させる可能性が示唆され，他の疑似キャプション付与方法の検討も今後の課題であると考えられる.

## 3.3 事前学習に適した人工画像の分析

3.2 節の結果より，事前学習の有効性が人工画像間で異なることがわかる. 本節では, 事前学習に適表 3: 輪郭を欠損させた場合の FID (小さい程良い)

## した人工画像の性質を色と輪郭の観点で分析する.

色の重要性の分析既存研究では，色による人工画像の多様性の向上が事前学習に重要であるという示唆がある [13]. そこで Improved FractalDB と，それをグレースケールに変換した画像 (w/o color) でそれぞれ 10 エポック事前学習したモデルの比較を行い色の重要性を検証する. 表 2 に示す結果から， w/o color が Improved FractalDB に劣ることがわかる.従って，色による人工画像の多様性は事前学習に重要な性質と考えられる。

輪郭の重要性の分析既存研究は人工画像の輪郭欠損が画像認識タスクにおける事前学習の有効性の低下を招くことを示した [5]．そこでImproved FractalDB の背景を黒色にした画像 (w/o background) と既存研究に倣い w/o background に黒色の直線をランダムな長さ・位置で 100 本描画して輪郭を欠損させた画像 (corrupted contour) でそれぞれ 10 エポック事前学習したモデルの比較を行い輪郭の重要性を検証する。表 3 に示す結果から，corrupted contour が w/o background に劣ることがわかる．従って，人工画像の輪郭は事前学習に重要な性質と考えられる。

## 4 おわりに

本研究では T2I モデルの人工画像を用いた事前学習を検討した. 評価実験では人工画像での事前学習が実画像での事前学習に迫る有効性を示すことを確認した。また，色による多様性と輪郭という性質が人工画像に重要な性質である示唆を得て，T2I モデルの事前学習に用いる人工画像の方向性を示した.

## 謝辞

本研究は，NEDO JPNP20006 及び JST CREST JPMJCR21D1 の支援を受けたものである.

## 参考文献

[1] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 10684-10695, 2022.

[2] Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, et al. Laion-5b: An open large-scale dataset for training next generation image-text models. Advances in Neural Information Processing Systems, Vol. 35, pp. 25278-25294, 2022.

[3] Abeba Birhane and Vinay Uday Prabhu. Large image datasets: A pyrrhic win for computer vision? In 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1536-1546. IEEE, 2021.

[4] Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, and Yutaka Satoh. Pre-training without natural images. In Proceedings of the Asian Conference on Computer Vision, 2020.

[5] Hirokatsu Kataoka, Ryo Hayamizu, Ryosuke Yamada, Kodai Nakashima, Sora Takashima, Xinyu Zhang, Edgar Josafat Martinez-Noriega, Nakamasa Inoue, and Rio Yokota. Replacing labeled real-image datasets with autogenerated contours. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 21232-21241, June 2022.

[6] Manel Baradad, Richard Chen, Jonas Wulff, Tongzhou Wang, Rogerio Feris, Antonio Torralba, and Phillip Isola. Procedural image programs for representation learning. Advances in Neural Information Processing Systems, Vol. 35, pp. 6450-6462, 2022.

[7] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

[8] Yufan Zhou, Ruiyi Zhang, Changyou Chen, Chunyuan Li, Chris Tensmeyer, Tong Yu, Jiuxiang Gu, Jinhui Xu, and Tong Sun. Towards language-free training for textto-image generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 17907-17917, 2022.

[9] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 8110-8119, 2020.

[10] Yonglong Tian, Lijie Fan, Phillip Isola, Huiwen Chang, and Dilip Krishnan. Stablerep: Synthetic images from text-to-image models make strong visual representation learners. arXiv preprint arXiv:2306.00984, 2023.

[11] Sora Takashima, Ryo Hayamizu, Nakamasa Inoue, Hirokatsu Kataoka, and Rio Yokota. Visual atoms: Pretraining vision transformers with sinusoidal waves. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1857918588, 2023.

[12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020.

[13] Connor Anderson and Ryan Farrell. Improving fractal pre-training. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1300-1309, 2022.

[14] Zihao Wang, Wei Liu, Qian He, Xinglong Wu, and Zili Yi. Clip-gen: Language-free training of a text-to-image generator with clip. arXiv preprint arXiv:2203.00386, 2022.

[15] Patrick Esser, Robin Rombach, and Bjorn Ommer. Taming transformers for high-resolution image synthesis. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 1287312883, 2021.

[16] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, 2018.

[17] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pp. 740-755. Springer, 2014.

[18] Catherine Wah, Steve Branson, Peter Welinder, Pietro Perona, and Serge Belongie. The caltech-ucsd birds-200-2011 dataset. 2011.

[19] Weihao Xia, Yujiu Yang, Jing-Hao Xue, and Baoyuan Wu. Tedigan: Text-guided diverse face image generation and manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 2256-2265, 2021.

[20] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans. Advances in neural information processing systems, Vol. 29, , 2016.

[21] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. Gans trained by a two time-scale update rule converge to a local nash equilibrium. Advances in neural information processing systems, Vol. 30, , 2017.

(a) w/o color

(b) w/o background (c) corrupted con.

図 5: 分析のため導入した人工画像の例

表 4: 各キャプション生成モデルで付与したキャプションの語彙数

## A 付録

## A. 1 キャプション生成モデルによるキャ プション付与

2.2 節にて述べた，既存のキャプション生成モデルが人工画像に付与するキャプションの多様性が著しく低いことの分析結果を示す. 具体的には， MSCOCO と Visual Atoms からランダムにサンプルした各 1000 件それぞれに BLIP と ClipCap でキャプションを付与し，それらのキャプションに含まれる語彙数を比較することで分析を行った. 表 4 の結果から，いずれのモデルにおいても Visual Atoms に付与されたキャプションは MSCOCO に比べて語彙数が少ないことがわかり，キャプションの多様性の低さが確認される。

## A. 2 色・輪郭の重要性分析で用いた人工画像

3.3 節では，色と輪郭の性質が人工画像に重要な性質であることを示すために Improved FractalDB をグレースケールに変換した w/o color, Improved FractalDB の背景を黒色にした w/o background，w/o background の輪郭を欠損させた corrupted contourを導入した. これらの人工画像の例を図 5 に示す.

## A. 3 生成画像例

Scratch と CC3M+caption, CC3M+pseudo, Improved FractalDB で事前学習したモデルを, MSCOCO でファインチューニングした各モデルの生成画像例を図 6 に示す.

図 6: 各事前学習モデルの生成画像例

## A. 4 実装の詳細

損失関数と疑似キャプション生成時のハイパーパラメータは Lafite ${ }^{4)}$ の実装に従って設定した. 損失関数のハイパーパラメータは $\gamma=5, \lambda=10$ で，疑似キャプション生成時の摄動の強さを調整するハイパーパラメータは $\xi=0.25$ である. 事前学習時の学習率は, 生成器・識別器のいずれも $2.5 \times 10^{-3}$ で統一している。一方，ファインチューニング時は MSCOCO に対して生成器は $2.5 \times 10^{-3}$, 識別器は $1.0 \times 10^{-3}, \mathrm{CUB} \cdot$ CelebA-HQ に対して生成器・識別器はいずれも $1.0 \times 10^{-3}$ とした. 最適化手法としては Adam を用いている。

ファインチューニング後の精度評価では，ファインチューニングに用いたデータセットと対応した検証データセットを評価に用いており，各モデルが FIDの観点で収束した時点での結果を取得している.


# 日本語特化の視覚と言語を組み合わせた事前学習モデルの開発 Developing Vision-Language Pre-Trained Models for Japanese

王直 ${ }^{1}$ 細野健人 ${ }^{1}$ 石塚湖太 ${ }^{1}$
奥田悠太 ${ }^{1}$ 川上孝介 ${ }^{1}$
1 株式会社博報堂テクノロジーズ
\{zhi.wang, kento. hosono, kota.ishizuka, yuta.okuda, kosuke.kawakami\}
@hakuhodo-technologies.co.jp
}

\begin{abstract}
視覚と言語を組み合わせた事前学習 (VisionLanguage Pre-training; VLP) は、多くのタスクに対し て Fine-Tuningなしでも一定の性能を発揮する。特 に、VLP モ゙ルルの一つである CLIP は、ゼロショッ トで教師あり ResNet-50 と同等の画像分類性能を持 つとされるが、その多くは英語向けであり、日本語特化 CLIP での性能は 10-25\%劣る。我々は、画像 エンコーダと訓練データを 7-10 倍大にし、さらに 言語エンコーダの拡大を行うことで、日本語特化 CLIP の画像検索性能 R@5を14\%改善させた。これ は、OpenAI が公開する英語版 CLIP の精度を $2 \%$ 上回るものである。追加実験でハイパーパラメータの 影響を調査し、大きなバッチサイズが性能向上に重要であることを明らかにした。
\end{abstract
## 1 Introduction

Task-agnostic foundation models [1], owing to their adaptability across a diverse spectrum of downstream tasks without compromising quality, have attracted significant public attention subsequent to the unveiling of ChatGPT empowered by the underlying Generative Pretrained Transformer (GPT) model [2], concurrently presenting numerous opportunities and challenges. The pretraining methodology adopted by the foundation models has expanded into the domain of multimodal learning, catalyzed by the release of the Contrastive Language-Image Pre-training (CLIP) model [3] developed by OpenAI.

The CLIP model integrates an image encoder and a text encoder to align multimodal inputs within a shared embedding space. The image encoder and text encoder undergo joint training to maximize the cosine similarities between the image and text embeddings of matching pairs within the batch, while simultaneously minimizing those for mismatching pairs. The paper [3] demonstrates CLIP model's noteworthy zero-shot classification capability on ImageNet-1k [4] comparable to that of the original ResNet50 [5], suggesting its potential generalizability to downstream tasks such as image captioning, image retrieval, and visual question answering (VQA). Nevertheless, the aforementioned CLIP model is devoid of multilingual support, rendering it unsuitable for non-English environments.

Several endeavors have been undertaken to address this challenge. Chinese CLIP [6], for instance, adopted a twostage training strategy. Italian CLIP [7] was developed contemporaneously with the original CLIP release. The "sonoisa" model [8] implemented transfer learning to align the embeddings of Japanese text with their English counterparts. The company rinna has introduced a series of Japanese models [9]. The recent release of Japanese Stable CLIP [10] has attained an unprecedented top-1 accuracy of $62.06 \%$ on Japanese ImageNet-1k $[9,11]$.

Notwithstanding these efforts, the accuracy remains more than 10 points lower than that of the English CLIP model of a comparable size [12] (75.3\%). It remains unexplored whether this performance gap is intrinsic to language differences or is a consequence of inferior training methods and/or a smaller dataset.

Compounding the issue is that the evaluation metric for Japanese CLIP is presently limited to ImageNet-1k classification accuracy. As articulated in the OpenAI CLIP paper [3], validating CLIP's transferability on image and text retrieval-the tasks for which it is pre-trained-is necessary. It is noteworthy that the CLIP models demonstrate weaker performance on these tasks [3,13], particularly on the MS-COCO dataset [14]. We opt to address the more challenging task to genuinely test the model's versatility.

Therefore, we define our evaluation metric as zero-shot image recall and text recall on MS-COCO, while reassessing the baseline CLIP models using the same metric.

For the broad community of Japanese AI developers and users with an interest in multimodal representation, we strive to enhance Japanese CLIP to the level of English models.

## 2 Accuracy gap

To clarify the underlying reason for the accuracy gap between English models and Japanese models, we began by evaluating the text-to-image recall and image-to-text recall on the 5K validation set of MS-COCO [14] for English models and STAIR Captions [15] (Japanese MS-COCO) ${ }^{1)}$ for Japanese models.

The obtained results are summarized in Table 1. Notably, the accuracy gap ranges between 10 to 25 points, which can be decomposed into the following:
- The gap of $\sim 10$ percentage points between English and Japanese, as indicated by the comparison between JA ViT-B/16 and EN ViT-B/16, potentially due to differences intrinsic to the language and/or inconsistent size of the dataset (12M for JA vs $400 \mathrm{M}$ for EN).
- $\sim 3$ percentage points attributable to model size, demonstrated by comparison between EN ViT-B/16 and EN ViT-L/14.
- 1 to 2 percentage points associated with prompt engineering, inferred from differences between our results without prompt engineering and the previously reported ones [3] for the same model, which is consistent with the discussion in the paper [3].

In contrast to prompt engineering boosting the performance of English CLIP models, Japanese CLIP models suffer from such a technique, as evidenced by our results of 1 to 4 points weaker $\mathrm{R} @ 1$ performance after prepending and/or appending prompts to the original text. As the Japanese captions consist of a mix of nominals and complete sentences, no single prompt might consistently function well in terms of grammatical structure. This could be the source of the aforementioned detrimental effect of prompt engineering. See details in Appendix A.

## 3 Larger image encoder and dataset

## 3.1 Training strategy

The rinna CLIP model [9] was chosen as the starting point and the baseline since it was the one with the highest zero-shot top- $k(k=1,5)$ accuracy on the ImageNet validation set amongst Japanese CLIP models accessible to the public at the time of our study.

Note that the model was trained on Conceptual $12 \mathrm{M}$ (CC12M) [16] with captions translated into Japanese, the size of which, $\sim 12$ million, is merely $3 \%$ of the dataset size employed in the development of the OpenAI CLIP models [3]. In light of the preference for a larger albeit noisy dataset over a smaller one in VLP [3, 17], CC12M is deemed unfavorable compared with the Japanese subset of LAION-5B [18], consisting of approximately 120 million Japanese captions paired with corresponding images. For this reason, the latter dataset was employed in this work.

It is additionally observed that, in terms of the number of parameters, the image encoder, ViT-B/16, of the rinna baseline model [9] (86M) is less than a 50th of that in the currently best-performing publicly available CLIP model, EVA-02-CLIP-E/14+ [13] (4.4B). However, the size of the image encoder is shown to be positively correlated with the model's zero-shot performance on image classification, video classification, and retrieval $[3,12,13]$. Balancing between training/inference time and the resulting performance, we selected the "Huge" variant of Vision Transformer with $14 \times 14$ input patch size (ViT-H/14) [19], with $632 \mathrm{M}$ parameters, as the architecture for the image encoder. This size is approximately the geometric mean of the base size and the size of the best-performing one.

Considering training efficiency, we initialized our model by combining the well-performing ViT-H/14 image encoder pre-trained for vision-language tasks by OpenCLIP [12] and the text encoder from the rinna Japanese CLIP model [9]. The rationale is that images should be perceived similarly regardless of the native language of the viewer, whereas text is intrinsically language-dependent.

For enhanced data- and compute-efficiency, we applied "Locked-image Tuning" (LiT) [20], the strategy of optimizing the model with a frozen pre-trained image encoder, since it has yielded superior models compared with fromscratch CLIP [3] or A Large-scale ImaGe and Noisy-text

Table 1: Zero-shot retrieval on MS-COCO [14, 15]. The Japanese (JA) ViT-B/16 CLIP model is developed by rinna [9], while the English (EN) models are OpenAI CLIP models [3], in which the ViT-L/14 model is the best OpenAI model pre-trained at a 336-pixel resolution. All external models are re-evaluated without prompt engineering, using an internal script employed consistently throughout the study, with the exception that the row labeled asterisk corresponds to previously published data [3]. Unless stated otherwise, all model comparisons in this study are conducted without prompt engineering to ensure equal conditions. Bold indicates best in category performance for each metric. $\mathrm{R} @ k(k=1,5,10)$ is short for recall @ $k(\%)$.

embedding (ALIGN) [17] models and has proven its capability to train a non-English CLIP model [6].

## 3.2 Results and discussion

Combining the ideas of replacing the dataset with a 10times larger one [18], employing a 7.3-times larger image encoder [19], combining pre-trained encoders from various sources $[9,12]$, and the efficient "LiT" training strategy [20], we trained our CLIP model for Japanese, named "Base", with details delineated in the Appendix B.1. As indicated in Table 1, our Base model beats the baseline rinna model [9] by 2 to 5 points in zero-shot retrieval on Japanese MS-COCO [15].

For ablation study on hyperparameters, multiple models were trained in parallel, with various settings. We summarize our discoveries as follows.

Batch size. We have conducted two sets, $A$ and $B$, of experiments, with the batch size in set $B$ being 8 times that in set A. Image retrieval R @ 5 on Japanese MS-COCO [15] was evaluated for each saved checkpoint, and the last values of $\mathrm{R} @ 5$ for each experiment were extracted for the following analyses. Since the sample standard deviations are consistently less than 0.2 point, the experiments should be considered converged. For comparison, the expected R@5

Table 2: Estimated image retrieval $\mathbf{R} @ 5$ on Japanese MS-COCO [15] for each setting. The BS for set B (131072) is 8 times that for set A (16384). The width of $95 \%$ confidence intervals is consistently 0.5 point.

are listed in Table 2, with details described in Appendix C. Notably, two sets of confidence intervals are disjoint, manifesting a significant improvement from $\mathrm{A}$ to $\mathrm{B}$.

Careful scrutiny of Table 2 signifies that such improvement is not influenced by the learning rate (LR) and, therefore, should be attributable to the increased the batch size. Upon comparing the 3rd and 5th settings, we discern a 0.8 -point increase despite the fixed LR. In reference to the linear scaling rule for LR [21], one might argue that LR should scale proportionally with the batch size (BS). Comparing 1st vs 6th, 2nd vs 7th, and 3rd vs 8th experiments, we recognize consistent enhancements under a controlled LR-to-BS ratio.

Having seen such results, we hypothesize that the significance of BS may arise from the construction of the loss function calculated from the cosine similarity matrix, containing $O\left(N^{2}\right)$ mismatching pairs, i.e., off-diagonal elements, with $N$ representing the batch size. Given that the information encoded into the loss function grows faster than the BS, a larger BS is expected to be beneficial.

Learning rate. The overlapping confidence intervals within each set suggest that the LR is not a determinant. However, as revealed in the set B, an increase in LR tends to reduce $\mathrm{R} @ 5$, albeit insignificantly, implying that an overlarge LR could potentially lead to accuracy degradation. Conversely, an excessively small LR might adversely impact training efficiency, as demonstrated in another experiment with an LR of $10^{-6}$ where the $\mathrm{R} @ 5$ shows a slow increase across 3 epochs without any sign of convergence.

## 4 Larger text encoder

Despite its improvement over the Japanese baseline model [9], our Base model still lags behind ViT-L/14, the best OpenAI model trained for English [3], by 7.5 points of text-to-image recall @5 (see Table 1).

As both the image encoder and dataset are enlarged, the
text encoder (111M parameters) may become a bottleneck, limiting the full potential of the model. Building on previous studies of CLIP that involved scaling the text encoder along with the image encoder $[3,12,13]$, we explored the possibility of increasing the size of the text encoder to enhance our Japanese CLIP model, Base.

## 4.1 Model initialization

Considering the risks associated with training the text encoder from scratch, such as the possibility of falling into local minima or even divergence and low training efficiency, we proposed two potential solutions, both of which involve initializing the larger text encoder using our original model, Base.

Modified ZerO. ZerO [22], a fully deterministic initialization technique using only zeros and ones, is reported to maintain the expressivity of the model architecture while ensuring training reproducibility. Noticing its effectiveness in handling ultra-deep networks due to dynamical isometry [23, 24], we employed it with minor modifications to initialize a doubly deeper text encoder (Appendix D).

Model Fusion. As an alternative to expanding the Transformer-based text encoder [25] along the layer dimension, we constructed a wider text encoder by doubling the number of attention heads, followed by initialization that we refer to as "Model Fusion" of two Base models, which involves concatenating all vectors and stacking all weight matrices into block diagonal matrices, with the exceptions explained in Appendix E.

## 4.2 Results and discussion

We have trained the Deeper model with modified ZerO and the Wider model with Model Fusion. Details are delineated in the Appendix B.2. As shown in Table 1, our models with larger text encoder greatly improve from the rinna baseline [9] as well as the previous model, Base, and attain best performances in Japanese models. Notably, the Wider model outperforms the best OpenAI CLIP model [3] by a margin of 2.0 point of text-to-image recall@ 5 .

Initially, there was apprehension that the Wider model might suffer from the degeneracy issue, i.e., not exhibiting expressivity surpassing that of Base, given that it was initialized with identical copies of two Base models. However, as the model evolved over iterations, the two identical components appeared to diverge, potentially influenced by accumulated errors (such as floating-point errors and numerical errors due to parallelization [26]) and/or randomness introduced by Dropout layers [27]. As a result, the Wider model turned out to outperform the Deeper model across all metrics but text retrieval R@ 1 (Table 1). ${ }^{2 \text { ) }}$

## 5 Conclusion and future work

In summary, our contributions comprise:
- The development of a high-quality Japanese CLIP model, Wider, outperforming the best OpenAI CLIP model [3] in image retrieval $\mathrm{R} @ 5$ by 2.0 points.
- The ZerO initialization adapted for the Transformer architecture, and the Model Fusion technique aiming at the inheritance of previously achieved accuracy by initializing a larger model with two smaller ones.
- Investigation into hyperparameters for training CLIP, highlighting the significance of a large batch size and the learning rate within an appropriate range.
- Insights into the accuracy gap observed between English CLIP models and Japanese CLIP models, primarily attributed to different languages and slightly influenced by model size and prompt engineering.
- Additional evaluation on MS-COCO [15] for existing Japanese CLIP models.
- Applicability of the scaling laws (image encoder, text encoder, dataset) for Japanese CLIP.

Our future work on this project entails a comparison of our models with Japanese Stable CLIP [10], a release that was not available at the time of our study. ${ }^{3}$

Another avenue for future work involves the application of our models in downstream tasks beyond retrieval, concurrently with a comparative examination against other available Japanese CLIP models [8, 9, 10].

A third idea would be proportional scaling of all dimensions for either/both encoder(s), as is recommended for Vision Transformer [19].

Lastly, alternative initialization techniques, for example, Linear Growth Operator (LiGO) [28], could be investigated and compared with our approaches.

2) However, this does not necessarily indicate that expanding width is superior to increasing depth or that Model Fusion is better than modified ZerO, given the inconsistent parameter counts, with 196M for the Deeper text encoder and 278M for the Wider text encoder.

3) It is noteworthy that the latter model was partially trained on Japanese MS-COCO [15], impeding the assessment of its zero-shot performance on the dataset. Consequently, the evaluation metric must be carefully designed.

## Acknowledgments

Special thanks to all current and past members in the same team, Hiroshi Kamiya, Xuan Zhang, Tamotsu Kurioka, team members incentivizing the development of Model Fusion, Tomoki Hoshino, Kai Kurogi, Nobuhito Nishihara, Marcus Jackson, Joe Foran, and the representative director Dai Shibayama. We are grateful to NVIDIA and Amazon Web Services for their infrastructures this project used. We would also like to thank the developers of software packages used in this project including but not limited to PyTorch [29], NumPy [30], Matplotlib [31], pandas [32], the Transformers library [33], Accelerate [34], Black [35], Jupyter [36], Wolfram Engine [37]. Last but not least, we appreciate the Association for Natural Language Processing organizing NLP2024.

## References

[1] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[2] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are fewshot learners. In Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria Florina Balcan, and Hsuan-Tien Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[3] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning transferable visual models from natural language supervision. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 8748-8763. PMLR, 18-24 Jul 2021.

[4] Jia Deng, Wei Dong, Richard Socher, et al. ImageNet: A large-scale hierarchical image database. In 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, 2009.

[5] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. arXiv preprint arXiv:1512.03385, 2015.

[6] An Yang, Junshu Pan, Junyang Lin, et al. Chinese CLIP: Contrastive visionlanguage pretraining in Chinese. arXiv preprint arXiv:2211.01335, 2022.

[7] Federico Bianchi, Giuseppe Attanasio, Raphael Pisoni, et al. Contrastive language-image pre-training for the Italian language. arXiv preprint arXiv:2108.08688, 2021.

[8] sonoisa clip-vit-b-32-japanese-v1.

[9] 沢田慶シーン誠. 日本語における言語画像事前学習モデルの構築と公開. In The 25th Meeting on Image Recognition and Understanding, 2022.

[10] Makoto Shing and Takuya Akiba. Japanese Stable CLIP ViT-L/16. https: //huggingface.co/stabilityai/japanese-stable-clip-vit-l-16.

[11] Gregor Geigle, Radu Timofte, and Goran Glavaš. Babel-ImageNet: Massively multilingual evaluation of vision-and-language representations. arXiv preprint arXiv:2306.08658, 2023

[12] Mehdi Cherti, Romain Beaumont, Ross Wightman, et al. Reproducible scaling laws for contrastive language-image learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2829, June 2023.

[13] Quan Sun, Yuxin Fang, Ledell Wu, Xinlong Wang, and Yue Cao. EVACLIP: Improved training techniques for CLIP at scale. arXiv preprint arXiv:2303.15389, 2023

[14] Tsung-Yi Lin, Michael Maire, Serge Belongie, et al. Microsoft COCO: Common objects in context. In David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, editors, Computer Vision - ECCV 2014, pp. 740755, Cham, 2014. Springer International Publishing.

[15] STAIR Captions: Constructing a large-scale Japanese image caption dataset. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 417-421, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[16] Soravit Changpinyo, Piyush Sharma, Nan Ding, and Radu Soricut. Conceptual 12M: Pushing web-scale image-text pre-training to recognize longtail visual concepts. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3558-3568, June 2021.

[17] Chao Jia, Yinfei Yang, Ye Xia, et al. Scaling up visual and vision-language representation learning with noisy text supervision. In Marina Meila and
Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 4904-4916. PMLR, 18-24 Jul 2021.

[18] Christoph Schuhmann, Romain Beaumont, Richard Vencu, et al. LAION-5b An open large-scale dataset for training next generation image-text models. In Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2022.

[19] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2021.

[20] Xiaohua Zhai, Xiao Wang, Basil Mustafa, et al. LiT: Zero-shot transfer with locked-image text tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1812318133, June 2022

[21] Priya Goyal, Piotr Dollár, Ross Girshick, et al. Accurate, large minibatch SGD: Training ImageNet in 1 hour. arXiv preprint arXiv:1706.02677, 2018

[22] Jiawei Zhao, Florian Schäfer, and Anima Anandkumar. ZerO initialization: Initializing neural networks with only zeros and ones. arXiv preprint arXiv:2110.12661, 2022.

[23] Andrew M. Saxe, James L. McClelland, and Surya Ganguli. Exact solution to the nonlinear dynamics of learning in deep linear neural networks. arXiv preprint arXiv:1312.6120, 2014

[24] Minmin Chen, Jeffrey Pennington, and Samuel Schoenholz. Dynamical isometry and a mean field theory of RNNs: Gating enables signal propagation in recurrent neural networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning Vol. 80 of Proceedings of Machine Learning Research, pp. 873-882. PMLR, 10-15 Jul 2018.

[25] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2019

[26] Fabienne Jézéquel, Jean-Luc Lamotte, and Issam Saïd. Estimation of numerical reproducibility on CPU and GPU. In 2015 Federated Conference on Computer Science and Information Systems (FedCSIS), pp. 675-680, 2015 .

[27] Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan R. Salakhutdinov. Improving neural networks by preventing coadaptation of feature detectors. arXiv preprint arXiv:1207.0580, 2012

[28] Peihao Wang, Rameswar Panda, Lucas Torroba Hennigen, et al. Learning to grow pretrained models for efficient transformer training. arXiv preprint arXiv:2303.00980, 2023

[29] Adam Paszke, Sam Gross, Francisco Massa, et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. In Hanna Wallach, Hugo Larochelle, Alina Beygelzimer, et al., editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 8024-8035. Curran Associates, Inc., 2019.

[30] Charles R. Harris, K. Jarrod Millman, Stéfan J. van der Walt, et al. Array programming with NumPy. Nature, Vol. 585, No. 7825, pp. 357-362, September 2020 .

[31] John D. Hunter. Matplotlib: A 2d graphics environment. Computing in Science \& Engineering, Vol. 9, No. 3, pp. 90-95, 2007.

[32] The pandas development team. pandas-dev/pandas: Pandas, February 2020.

[33] Thomas Wolf, Lysandre Debut, Victor Sanh, et al. Transformers: State-of the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[34] Sylvain Gugger, Lysandre Debut, Thomas Wolf, et al. Accelerate: Training and inference at scale made simple, efficient and adaptable. https: //github.com/huggingface/accelerate, 2022.

[35] Lukasz Langa and contributors to Black. Black: The uncompromising Python code formatter

[36] Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Pérez, et al. Jupyter notebooks - a publishing format for reproducible computational workflows. In F. Loizides and B. Schmidt, editors, Positioning and Power in Academic Publishing: Players, Agents and Agendas, pp. 87-90. IOS Press, 2016.

[37] Wolfram Research, Inc. Wolfram engine, Version 13.3. Champaign, IL, 2023.

[38] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification. In 2015 IEEE International Conference on Computer Vision (ICCV), pp. 1026-1034, Los Alamitos, CA, USA, December 2015. IEEE Computer Society.

[39] Ilya Loshchilov and Frank Hutter. SGDR: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983, 2017.

[40] Harald Cramér. Mathematical Methods of Statistics. Princeton University Press, Princeton, NJ, US, 1946.

[41] Gokarna Aryal and Saralees Nadarajah. Information matrix for beta distributions. Serdica Mathematical Journal, Vol. 30, No. 4, pp. 513-526, 2004.

[42] Sean Rangel. Confidence interval for the mean of a beta distribution, December 2021.

[43] Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, et al., editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017

[44] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

## A Prompt engineering

Prepending "a photo of" boosted OpenAI CLIP's R@1 by 1-2 points [3]. However, we tested multiple prompts on rinna CLIP [9] where braces were replaced with captions, resulting in the following sequence with increasing retrieval performance: $\lceil\{\} 」$ の画像 < 「\{\}」の写真 < \{\}の写真 < \{\}の画像 $<$画像の中で \{\}$<$ 写真の中で \{\}$\leq\{\}$. Note that the captions in Japanese MS-COCO [15] are a blend of full sentences such as “テーブルの上に花瓶に入った花が置いてある”, and nominals such as “草むらに座る亜麻色のクマの近影”.

## B Details of training

## B. 1 Base model

Due to the discrepancy in embedding dimensions (i.e., the output dimensions of the final image/text projection layer) between the rinna Japanese CLIP model [9] (512) and the OpenCLIP ViT-H/14 model [12] (1024), the final text projection layer was reshaped to match the final image projection layer and randomized with a Kaiming uniform initializer [38].

Given the re-initialization of the text projection layer from scratch, the training commenced with a BS of 8192 and a linearly increasing LR from 0 to $10^{-6}$ for 2000 iterations, subsequently transitioning to constant-LR training, amounting to 3 epochs. The BS was subsequently elevated to 131072 , accompanied by a linearly increasing LR reaching its maximum value of $4 \times 10^{-4}$ within 500 iterations. Such training persisted for 1 epoch, succeeded by an additional training of $\sim 2$ epochs, equipped with a cosine annealing LR scheduler [39] decaying to $1 \%$ of its max value. Other configurations remained consistent with the procedures previously published $[3,9]$.

## B. 2 Deeper and Wider model

Deeper. The LR decayed from $10^{-4}$ to $10^{-6}$ using a cosine annealing LR scheduler [39] for 1 epoch, with frozen pre-trained component (i.e., the shallow half of the text encoder), followed by repetitive warm restarts, spanning $\sim 8$ epochs, with the relaxation of all constraints on the text encoder.

Wider. The initialized text encoder was freely trained for $\sim 7$ epochs, through a sequence of 3 warm restarts of LR, cosineannealed [39] from $10^{-4}$ to $10^{-6}$.

## C Confidence interval

Consider retrievals using the $i$-th checkpoint within an experiment as $n_{i} \in \mathbb{Z}^{+}$independent and identically distributed (i.i.d.) Bernoulli trials, out of which $s_{i} \in\left.\{0, \ldots, n_{i}\right.\}$ are successful, in which case the likelihood of $s_{i}$ has a binomial distribution $\operatorname{Bin}\left(n_{i}, p\right)$ given the recall $p$ as a parameter assumed to follow the conjugate prior, i.e., beta distribution $\operatorname{Beta}(a, b)$, with hyperparameters $\alpha, \beta>0$ and support $p \in[0,1]$. With the assumption that all observations of $s_{i}$ are independent, of which the set $S$ consists, it can be derived that the posterior probability $\mathbb{P}(p \mid S ; a, b)$ is $\operatorname{Beta}\left(a+\sum_{i} s_{i}, b+\sum_{i}\left(n_{i}-s_{i}\right)\right)$. We can calculate the confidence interval (CI) with a significance level of $\alpha \in(0,1)$ as $\left(p_{\min }(a, b ; \alpha), p_{\max }(a, b ; \alpha)\right)$ such that

$
\begin{aligned}
& \mathbb{P}\left[p \leq p_{\min }(a, b ; \alpha) \mid S ; a, b\right]=\frac{\alpha}{2} \\
& \mathbb{P}\left[p \geq p_{\max }(a, b ; \alpha) \mid S ; a, b\right]=\frac{\alpha}{2}
\end{aligned}
$

Note that $\sum_{i} s_{i} \gg 1, \sum_{i}\left(n_{i}-s_{i}\right) \gg 1$. When $a$ and $b$ are small, $\mathrm{CI}$ can be estimated as $\left(p_{\min }(1,1 ; \alpha), p_{\max }(1,1 ; \alpha)\right)$, the latter of which is equivalently the case of uniform prior.

Alternatively, it can be assumed that $\mathrm{R} @ 5$ values for an experiment are i.i.d. samples from beta distribution $\operatorname{Beta}(\phi \mu, \phi(1-\mu))$, with $\mu \in(0,1)$ being the mean and precision denoted as $\phi \in(0,+\infty)$. Since each $\mathrm{R} @ 5$ is calculated from $n_{i}=25000$ samples, with 5 captions corresponding each of the 5000 images, the posterior probability derived above implies that the precision parameter $\phi$ should be no less than $n_{i}$. Therefore, $\phi$ is fixed to the value for the most conservative estimation of CI. Thanks to the asymptotic normality of maximum likelihood estimators (MLE) [40], we can calculate the CI from Fisher information matrix [41] following established procedures [42]. Note that the MLE for the mean $\mu$ coincides with the average $\mathrm{R} @ 5$, $\left(\sum_{i} s_{i}\right) /\left(\sum_{i} n_{i}\right)$, and that two approaches of CI calculation yield identical results-the mean $\mu$, summarized in Table 2, is the midpoint of the $95 \%$ CI whose width is 5 points, consistently.

## D Modified ZerO initialization

All layers of the Base text encoder are inherited by the larger text model, and the newly added deeper Transformer layers [43] are initialized with zeros, with exceptions listed as follows.
- ZerO is applied to both the query weight matrix and the dimension-increasing weight matrix of the feed-forward network for each added layer.
- The weights of newly added LayerNorm [44] are set to 1 .
- The output weight matrices of multi-head attention in deeper layers are either randomized with a Kaiming uniform initializer [38] or initialized with ZerO. Both yield models with similar performance, and therefore, we report results generated from the former initialization.

## E Model Fusion

Denote two text models with a shared tokenizer as $A$ and $B$. Let the common dimensionality of the inner-layer of the feed-forward networks within the layers be $d_{f f}$, and the Transforer hidden size be $d_{\text {model, } A}$ and $d_{\text {model, } B}$, respectively. Model Fusion generates a combined model by concatenating all vectors and stacking all weight matrices into block diagonal matrices, with the exceptions listed as follows.
- The feed-forward networks expressed by

$
\mathbf{z}_{i} \in \mathbb{R}^{d_{\text {model }, i}} \mapsto a\left(\mathbf{z}_{i} \mathbf{W}_{1, i}^{\top}+\mathbf{b}_{1, i}\right) \mathbf{W}_{2, i}^{\top}+\mathbf{b}_{2, i}
$

where $i$ is either $A$ or $B, a$ denotes activation function, $\mathbf{z}$ is the input row vector, $\mathbf{W}_{1, i} \in \mathbb{R}^{d_{f f} \times d_{\text {model, }, i}}, \mathbf{W}_{2, i} \in$ $\mathbb{R}^{d_{\text {model }, i} \times d_{f f}}$ are weight matrices, and $\mathbf{b}_{1, i} \in \mathbb{R}^{d_{f f}}, \mathbf{b}_{2, i} \in$ $\mathbb{R}^{d_{\text {model, }, i}}$ are row vectors for the bias term, are combined into

$
\mathbf{z} \in \mathbb{R}^{\sum_{i} d_{\text {model }, i}} \mapsto a\left(\mathbf{z} \mathbf{W}_{1}^{\top}+\mathbf{b}_{1}\right) \mathbf{W}_{2}^{\top}+\mathbf{b}_{2},
$

where

$
\begin{aligned}
\mathbf{W}_{1} & =\left[\begin{array}{ll}
\frac{1}{2} \mathbf{W}_{1, A} & \frac{1}{2} \mathbf{W}_{1, B}
\end{array}\right] \\
\mathbf{b}_{1} & =\frac{1}{2}\left(\mathbf{b}_{1, A}+\mathbf{b}_{1, B}\right), \\
\mathbf{W}_{2} & =\left[\begin{array}{ll}
\mathbf{W}_{2, A}^{\top} & \mathbf{W}_{2, B}^{\top}
\end{array}\right]^{\top},
\end{aligned}
$

and $\mathbf{z}$ and $\mathbf{b}_{2}$ are obtained from concatenation.
- The final projection matrix of the text encoder is treated similar to $\mathbf{W}_{1}$ to generate averaged outputs from both models.


# 自然言語処理における属性単位での反学習

沖村 樹 1 小島 武 1 岩澤 有祐 ${ }^{1}$ 松尾 豊 ${ }^{1}$
1 東京大学
okimura@weblab.t.u-tokyo.ac.jp

## 概要

機械反学習（Machine Unlearning）は有害なデータセットからの影響を軽減できる注目すべき手法である. 特に自然言語処理領域では利用者の視点から，特定の個別情報を削除できるかに主に焦点が当てられている. しかし， モデル提供者の視点からは，反学習が要求に対して特定の個別情報にのみ適用される限りでは，モデルがリスクとなる情報を出力する可能性は排除できない.この問題に対処するため,本研究ではモデル提供者がリスクのある属性に関する情報を抑制するため, 属性単位での反学習が汎化しているかを評価する新しいデータセットと問題設定を提案する。提案したデータセットを用いて，既存の手法が属性単位での反学習にどれだけ適応できるかを調査し，また，提案手法であるラビング （Rubbing）が代表的な手法と比較して安定して性能を発揮できることを示す.

## 1 はじめに

深層学習モデルの学習に際し，データ内に偏りや破損を含む例が存在した場合，訓練されたモデルが有害なバイアスを示すなど，望ましくない生成を行う場合がある.こうした問題を背景として注目を集めているのが反学習である. 反学習はモデルが学習されたデータの特定のサブセットからの影響を取り除く問題として定義される. また，近年では人々が過去に公開されてしまった個人情報を削除することを求められる「忘れられる権利」を背景として自然言語処理領域でも検証されている. 従来の自然言語処理における反学習はで利用者側の視点に立ってある個別の情報を削除できるかに力点が置かれる. そのため, 既存の手法は特定の個別情報に対して反学習アルゴリズムを適用した場合に，その個別情報を削除できているかを検証するものが主である [1].

一方で，モデル提供者側の視点に立った場合，要求に応じて特定の個別情報で反学習を適用するのみ
では対応できない問題が存在している. それが，モデルが提供者側にとってリスクとなる情報を出力することである．例えば，提供しているモデルが個人情報を吐き出してしまった場合，モデルを提供していた責任問題へと発展する。実際，韓国のチャットボット Iruda は特定の人々の名前，住所，口座番号といった情報を生成してしまうことが明らかになり利用が停止された [2]. そのため，モデル提供者側がリスクを削減するために望ましくない情報に対し，予め反学習を用いることは有望な方向性である.しかし，モデル提供者にとってコーパスが含む反学習したい全ての個別情報を網羅することは困難であり，ごく一部のサブセットしか利用できないと想定される。すなわち，このような状況では，一部のサブセットだけを用いて，電話番号や口座番号のような特定の属性へと汎化させて反学習を行うことが求められる。これは現在主流である特定の個別情報で反学習後の評価を行う設定とは乘離している.

そこで, 本研究ではある属性についての反学習が汎化しているかを検証するためのデータセットと問題設定を提案する. 反学習の評価のために設計されたデータセットは確認される限り, 初めてのものである. 提案データセットは主体と主体に紐づく複数の属性の情報で構成され，ある主体の他の属性の知識を維持しながら，対象の属性の知識を反学習できるか検証できる．本データセットを用いて，既存研究で用いられている手法が属性単位での反学習に適応可能か調査する. さらに，設定下で提案手法であるラビング (Rubbing) が代表的な反学習手法と比較して，サンプル効率や敵対的な入力に対する頑健性において安定して性能を発揮できることを示す.

## 2 関連研究

## 2.1 個人情報保護

大規模言語モデルの高性能が故に直面している問題の一つが，個人情報の保護に関する問題である.
特に，大規模言語モデルはコーパス上の情報を記憶できること [3] や敵対的な攻撃を通じて学習した内容を抽出できること [4] が知られており，プライバシーの観点から問題を引き起こす可能性がある．こうした問題を引き起こす個人情報を含むデータに対応するための手法として，個人情報スクラビング [5] がある. 個人情報スクラビングは固有表現抽出を用いて, 個人情報に該当する箇所を特定し, 決まった文字列に置き換えてマスクする.

本実験においてはモデルがすでに学習してした情報を保護するという観点から，個人情報スクラビングを追加学習に用いた反学習も比較する.

## 2.2 自然言語処理における反学習

自然言語処理領域においてもモデルが個人情報やプライバシーに関連する情報を学習しないようにする手段として役立つ反学習は着目されている. 特に自然言語処理においては，モデルの大規模化に伴い，追加学習を用いた反学習が検討されている。 [6] では, 本来尤度を下げる学習目的を尤度を上げる学習目的へ変更する非尤度学習 [7] という手法で追加学習を行うことで, 反学習を行った。また, [8] では，ハリーポッターシリーズの著作物を題材に，対象の著作物のテキストを可換なトークンで置き換えたテキスト群を作成し，そのテキスト群で言語モデルを微調整する手法を検証した。このように自然言語処理における反学習も検討されているが, 問題点も指摘されている．特に画像領域において，特定のクラス単位での反学習が目指される場合が主である $[9,10]$ のに対し, 特定の部分集合を反学習する方向性について検証が十分でない [11] とされている.

本研究においては，自然言語処理においても特定の属性に関しての反学習が可能か検証する.

## 3 提案データセット : CountryQA

検証にあたり, CountryQA という新しいデータセットを作成した. 個人の名前に紐づく口座番号のような, 特定の属性単位での反学習を検証するためのデータセットを作成することを目標とした. この目標の達成のため, 事前学習を通じて学習されると想定され, ある主体と主体に紐づく複数の属性を持つ対象の情報をデータセットとして作成した. 本データセットは上記の条件に該当する国という主体と首都，通貨のような属性を題材とし，図 1 のように人名とその個人情報の紐付き方を模している。

図 1 個人情報と国の情報の紐付き方の対応関係

本データセットは以下の手順で作成された.

1. 国，首都，通貨のトリプレットに関する情報を英語 Wikipedia から取得する。

2. 首都と言える都市が複数存在するなどの理由で紐付き方が一意に定まらない例を取り除く。

3. 反学習を行う訓練データ (175 件) と, 反学習の性能を評価するテストデータ (20 件) に分割する.

このデータセットを用いて，主体とある属性のペアに関し，訓練データで反学習を行うことで，テストデータで特定の属性の反学習が実施できるか, 他の属性の反学習が暴発しないかを検証できる.

## 4 比較手法

本実験では 3 種類のベースライン手法と新たに提案する手法の計 4 種類の手法で性能を評価する。

## 4.1 ベースライン手法

非尤度学習訓練データのそれぞれのサンプルで，属性に対する質問と回答の組み合わせ (例 “Q: What is the capital of Albania? A: Tirana”)を用いて, 尤度を上げる目的関数で学習する。

虚偽学習訓練データのそれぞれのサンプルで,属性に対する質問と別のサンプルの回答の組み合わせ (例 “Q: What is the capital of Albania? A: Kabul”) を用意し，尤度を下げる目的関数で学習する。

スクラビング訓練データのそれぞれのサンプルで，属性に対する質問とその属性を示す特定の単語列の組み合わせ (例 “ $\mathrm{Q}$ : What is the capital of Albania? A: [MASKED]”) を用意し，尤度を下げる目的関数で学習する。

## 4.2 提案手法: ラビング

本実験において，スクラビングにマルチタスク学習を組み合わせた手法であるラビングでも性能を検
証する．前述したスクラビングの設定においては決まったマスクされた回答を出すことを学習した結果，過剩に特定のトークンの尤度を下げてしまい， そのトークンしか出力しない一種の過学習に陥る可能性がある。そこで，反学習を行いながらその他の能力への影響を抑えるためラビングを提案する．ラビングではマスクして特定の属性についての回答を抑制するデータとマスクせずにその他の事柄について回答するデータを混合したデータで追加学習を行う．本実験ではマスクするデータセットとしてスクラビングで処理したデータを，マスクしないデータセットとして一般的な常識推論のデータセットである CommonsenseQA[12]を用いて，それぞれサンプル数を基準に $50 \%$ ずつ混合した。

## 5 実験

## 5.1 反学習設定

モデルは, [8] と同様に, Llama-2-7b-chat[13]を利用し，訓練データ上においてそれぞれのアルゴリズムを動作させたデータで反学習を行う. また, 反学習には国名とその国の首都のぺアの情報を用いた。 この時全てのアルゴリズムで，学習率は $5.0 \times 10^{-6}$ に固定し，それぞれ $1 ， 3 ， 5$ エポック反学習を行い，評価の対象とする。

## 5.2 評価設定

それぞれの反学習が成功できているかを反学習に用いた属性に関する質問を与えたときの出力の正解率を計測し, 反学習のパフォーマンスを測定した. この数值が低いほど反学習に成功していることを示す.この時，それぞれのサンプルについてはある一定のトークン数 $T_{n}$ を出力させた場合に，その出力した系列の中に回答が含まれるかで正解かどうかを判定した. 本実験において $T_{n}$ は 15 とした.

そして，同一属性で反学習が汎化できるかを検証するために，訓練データとテストデータの両方で性能を計測する。 さらに，別属性の反学習まで同時に生じるかを計測するため，別属性に対する質問を与えた場合の性能もテストデータにおいて計測する。 ここで，国とその通貨のペアデータを用いて，反学習に使用しない別の属性に関する質問 (“Q: What is the current currency of Albania?") を与えたときの出力の正解率を計測した. この時の正解率が高いほどその他の属性の反学習が生じていないことを示す.表 1 摂動を与えた場合のテキスト

図 2 対象属性の性能 (左: 訓練データ, 右: テストデータ)

加えて，敵対的な入力に対する頑健性も評価するため，摂動を与えた評価セットで正解率の評価も実施した. 与える摂動は表 1 の通りである.

## 6 結果

## 6.1 対象属性での性能

まず，訓練データでの性能が図 2 左である。この設定では実際に反学習を行ったサンプルでの反学習のパフォーマンスが測られる。虚偽学習は訓練デー タにおける設定でも，エポックごとに性能が大きく変動し，安定しない。一方，その他の手法はサンプル効率に差があれどエポック数が増えるほど正解率を減少させており, 徐々に訓練データ上での反学習が行われている.

そして，テストデータでの性能が図 2 右である. この設定では反学習を行っていないサンプルでの反学習のパフォーマンスが測られる。訓練データでの結果と同様に，虚偽学習は訓練データにおける設定でも，エポックごとに性能が大きく変動し，安定しない。一方，その他の手法は 3 エポックあたりから正解率を減少させており，テストデータ上でも汎化して反学習が行われていることがわかる。

## 6.2 別属性での性能

次に，別属性での性能が図 3 である。この設定では実際に反学習を行っていない属性で反学習が生じていないかを明らかにする、スクライビングの設定においては，別属性に関しても正解率を著しく下げてしまっており，特定の属性に収まらず，反学習を行ってしまっていることがわかる。一方，その他の設定では一定正解率を維持できており，その割合はそれぞれ非尤度学習が 9 割，ラビングが 6 割，虚偽学習が 3 割程度となっている。

図 3 別属性での性能

図 4 単語レベルの摂動を与えたデータの性能 (左 : 訓練データ，右:テストデータ)

## 6.3 単語レベルの摂動を与えた場合の性能

さらに，単語レベルの摂動を与えた場合の性能が図 4 である. 非尤度学習と虚偽学習において訓練データ，テストデータの設定で正解率の目立った減少が見られなかった. このことは単語レべルの摂動を受けた場合, 反学習が機能していないことを示す. 一方，スクライビングとラビングにおいては正解率の減少傾向が見られ, 単語レベルの摄動に対して一定の頑健性を持つことが示された.

## 7 議論

## 7.1 属性ごとの反学習の性能

対象属性での反学習においては, スクラビング, ラビング, 非尤度学習の順に訓練データとテストデータの両方で一定反学習の達成が確認できた. 特に，スクラビング，ラビングは反学習のかなり早い段階で回答を抑制する効果が見られた。このことは，スクラビング，ラビングが対象のデータについてマスクされた結果を決まって出力するということを学習しているためだと考えられる。一方で, 虚偽学習においては性能が乱高下し, 反学習の安定が確認できなかった。これは，虚偽学習はある意味であべこべな回答を生成する学習を行っていると言え，学習の進度によってどのような回答を生成するか制御が困難であったと考えられる。

一方，別属性での反学習を評価すると，図 3 に示されるように，スクラビングは反学習の対象ではない他の属性も反学習してしまっていることがわかる.これはスクラビングの設定において，特定の属性についての回答を反学習するのでなく，特定の主体についての回答を全て反学習するといった学習に陌ってしまっている可能性がある.

## 7.2 摄動に対する反学習の性能

また，今回捸動を与えたサンプルでの評価を通じて既存手法の問題点が発見された. その一つが，非尤度学習における単語レベルでの摂動に対する弱さである. 図4 で示されるように, 非龙度学習では単語レベルでの摂動を含むサンプルではほとんど反学習が機能しなかった. これは非龙度学習において，特定の系列に対しての回答の尤度を下げる学習を行うため, その一部が異なったような違う系列での学習解除が不十分となりやすいと考えられる。

## 7.3 今後の展望

今回，複数の評価軸で既存の手法と提案手法を評価してきたが，特に対象属性のみを反学習することにおいて難しさが存在していた。 スクラビングは別属性の反学習も並行して引き起こし, 非尤度学習は単語レベルでの摂動に対して頑健性を持つことができない。提案手法であるラビングは比較的安定した性能を発揮できるものの, やはり別属性の反学習も一部見られ, 元の 6 割程度の性能へと低下させてしまう．今後の方向性として，データセットを通じた重みの変化以外のアプローチ，例えば特定の知識に関するサブネットワーク [14] の利用などが有効になる可能性が考えられる。

## 8 まとめ

本研究では，モデル提供者側の視点から，特定の属性についての反学習を実施した際に，その反学習が汎化しているかを検証するためのデータセットと問題設定を提案した. この設定において既存の非尤度学習やスクラビングなどを適用した場合に，摄動に対する頑健性や他の属性への反学習の暴発などの問題があることを示した. そして，提案手法であるラビング (Rubbing) が代表的な反学習手法と比較して，サンプル効率や敵対的な大力に対する頑健性において安定して性能を発揮できることを示した。

## 参考文献

[1] Jiaao Chen and Diyi Yang. Unlearn what you want to forget: Efficient unlearning for llms. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 12041-12052, 2023.

[2] Sim Jun-sung. Risk of giving personal information as seen by "iruda" case. The UOS TIMES.

[3] Valentin Hartmann, Anshuman Suri, Vincent Bindschaedler, David Evans, Shruti Tople, and Robert West. Sok: Memorization in general-purpose large language models. arXiv preprint arXiv:2310.18362, 2023.

[4] Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, and Chiyuan Zhang. Quantifying memorization across neural language models. In The Eleventh International Conference on Learning Representations, 2022.

[5] Nils Lukas, Ahmed Salem, Robert Sim, Shruti Tople, Lukas Wutschitz, and Santiago Zanella-Béguelin. Analyzing leakage of personally identifiable information in language models. In 2023 IEEE Symposium on Security and Privacy (SP), pp. 346-363. IEEE Computer Society, 2023.

[6] Joel Jang, Dongkeun Yoon, Sohee Yang, Sungmin Cha, Moontae Lee, Lajanugen Logeswaran, and Minjoon Seo. Knowledge unlearning for mitigating privacy risks in language models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 14389 14408, Toronto, Canada, July 2023. Association for Computational Linguistics.

[7] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. Neural text generation with unlikelihood training. In International Conference on Learning Representations, 2020.

[8] Ronen Eldan and Mark Russinovich. Who's harry potter? approximate unlearning in 11ms, 2023.

[9] Shashwat Goel, Ameya Prabhu, Amartya Sanyal, Ser-Nam Lim, Philip Torr, and Ponnurangam Kumaraguru. Towards adversarial evaluations for inexact machine unlearning. arXiv preprint arXiv:2201.06640, 2022.

[10] Aditya Golatkar, Alessandro Achille, and Stefano Soatto. Eternal sunshine of the spotless net: Selective forgetting in deep networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9304-9312, 2020.

[11] Thanveer Shaik, Xiaohui Tao, Haoran Xie, Lin Li, Xiaofeng Zhu, and Qing Li. Exploring the landscape of machine unlearning: A survey and taxonomy. arXiv preprint arXiv:2305.06360, 2023.

[12] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. Commonsenseqa: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, 2019.
[13] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models, 2023.

[14] Deniz Bayazit, Negar Foroutan, Zeming Chen, Gail Weiss, and Antoine Bosselut. Discovering knowledgecritical subnetworks in pretrained language models. arXiv preprint arXiv:2310.03084, 2023.

[15] Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, and Oyvind Tafjord. Think you have solved question answering? try arc, the ai2 reasoning challenge. arXiv preprint arXiv:1803.05457, 2018.

[16] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. Hellaswag: Can a machine really finish your sentence? arXiv preprint arXiv:1905.07830, 2019.

[17] Denis Paperno, Germán Kruszewski, Angeliki Lazaridou, Quan Ngoc Pham, Raffaella Bernardi, Sandro Pezzelle, Marco Baroni, Gemma Boleda, and Raquel Fernández. The lambada dataset: Word prediction requiring a broad discourse context. arXiv preprint arXiv:1606.06031, 2016.

[18] Yonatan Bisk, Rowan Zellers, Jianfeng Gao, Yejin Choi, et al. Piqa: Reasoning about physical commonsense in natural language. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 7432-7439, 2020.

## A 文レベルの摂動を与えた場合の 性能

## A. 1 結果

文レベルの摂動を与えた場合の性能が図 5 である. 虚偽学習において訓練データ，テストデータの設定で正解率の目立った減少が見られなかった.このことは文レベルの摂動を受けた場合でも，反学習が機能していないことを示す。一方，その他の手法においては正解率の減少傾向が見られ，文レベルの摄動に対して頑健性が観察された。

## B 一般的なベンチマークでの性能検証

## B. 1 設定

また，反学習を通じて，言語モデルとしての性能が失われていないかを一般的な自然言語処理データセットを用いて評価した。ここで用いるデータセットは, ARC Challenge[15], HellaSwag[16], LAMBADA[17], PIQA[18] であり，以上の 4 つの夕スクのスコアの平均で評価する。 それぞれのデータセットでの正解率を平均した値をスコアとして計測した. また，プロンプト内で与える事例 (Shot) 数は ARC Challenge が 25 , HellaSwag が 10 , LAMBADA と PIQA が 1 とした.

## B. 2 結果

一般的な自然言語処理データセットで計測したスコアが図 6 の通りである．提案手法であるラビングが最も性能を維持できているものの，全体としての性能の減少幅は $1.0 \%$ 未満であり，手法の間でそこまで大きな差は存在しなかった。

## C 定性的な生成結果

それぞれのアルゴリズムを通じて，5 エポック学習解除を実施したモデルに関して定性的な生成結果を添付する。同一属性のテストデータでの結果が表

図 5 文レベルの摂動を与えたデータの性能 (左：訓練データ，右:テストデータ)

図 6 他ベンチマークでの性能

表 2 同一属性のテストデータでの生成結果

表 3 別属性のテストデータでの生成結果

 \\

2 の通りである。また，別属性のテストデータでの結果が表 3 の通りである.


# 文法誤り検出 BERT のためのマルチタスク追加事前学習

岡本昇也 ${ }^{1}$ 南條浩輝 ${ }^{2}$ 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m002@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では，文法誤り検出システムを実装し，文法誤りの検出性能の向上を目的として取り組んだ.我々は，追加の事前学習として対照学習と MLM のマルチタスク学習を提案した. 実験の結果，追加の事前学習を行うモデルは追加の事前学習を行わないモデルに比べて性能が向上した. この追加の事前学習により，各単語の意味表現，文の意味表現を維持しつつ，文が誤りを含むか含まないか区別させる学習ができたと考えられる。

## 1 はじめに

我々は，日本語学習者の作文支援システムの構築を目的として，文法誤り検出 (Grammatical Error Detection: GED) の研究を行っている [1].これは， ユーザが文法誤りを含む文を書くとその箇所が自動的にユーザに提示されるシステムであり，作文支援システムの基本となる重要な技術である。

文法誤り検出（GED）に関しては，近年では深層学習を用いた研究が盛んであり，英語では文献 [2] など，多くなされている。これに対して，日本語では深層学習を用いての文法誤り検出は先行研究 [3] などが行われているものの，十分であるとは言えない.このような背景に基づき，我々は日本語を対象とした深層学習に基づく文法誤り検出，具体的には，BERT に基づく系列ラベリングを用いた文法誤り検出を研究している [1]. 本研究では, この枠組みにおける BERT の学習方法である，新たな追加事前学習方法を提案し，その効果を示す。具体的には，BERT に誤りを含む文と含まない文を区別させる追加事前学習を提案する。すなわち，BERT から得られる文 embedding が文法誤りを含むか含まないかを区別できるように事前学習させることで，文法

図 1 BERT を用いた系列ラベリングによる文法誤り検出

誤り検出において誤りを含まない文の token に対して，誤りラベルを付与してしまうことの抑制を狙う。その際，NSP の代わりに対照学習を導入することを提案する。これと MLM を同時に追加事前学習する（マルチタスク追加事前学習する）ことで，その後の下流タスクである系列ラベリングに基づく文法誤り検出性能が向上することを示し，提案手法の有効性を示す。

## 2 系列ラベリングによる文法誤り 検出

## 2.1 BERT を用いた系列ラベリング

文法誤り検出は，各単語に正解または誤りラベルを付与するタスクに該当する．BERTの系列ラベリングを用いた文法誤り検出の様子を図 1 に示す. 出カラベルの I（誤り）と C（正解）は IO 法の I と O に対応している。このような，モデルを用いて学習するために各単語に正解または誤りのラベルが付与されている必要がある.

## 2.2 系列ラベリングを用いた文法誤り検出 のためのデータセット

系列ラベリングを用いた文法誤り検出のため，我々は Lang-8 コーパス [4] を使用したデータセット
表 1 日本語誤用タグ付きデータセット（学習データ，検証データ，テストデータの内訳）

を構築している [1]. その概要を説明する。

## 2.2.1 Lang-8

Lang-8 コーパスは学習者の作文であるエッセイとその添削結果からなるコーパスである.ここから，日本語学習者が書いた添削前の文である誤用例と日本語母語話者が添削した文である正用例のペア 72.2 万文対を取りだした。

## 2.2.2 データセットヘの単語の正誤ラベル付与

誤用例文のどの単語が誤り単語であるかの情報が必要であるが元の誤用例文の各単語に直接的に誤りラベルが付与されているわけではない. したがって，誤用例文の各単語にアライメントツール [5] を使用して，正誤ラベルを付与した。具体的には 72.2 万文対の日本語誤用例文と正用例文の対にそれぞれに対して，アライメントツールを用いて単語アライメントをとり，一致しているところをC (正解)，一致しないところをI（誤り）とした。すなわち, 学習者作文における置換誤りと挿入誤りの語に I のラべルを付与した。なお，本研究では，正用例の語に対応する誤用例の語がない（作文における削除誤り） は扱っていない。

このラベル付けされた誤用例データをデータセットとして実験で使用する．本論文では，このデータセットを日本語誤用タグ付きデータセットとよぶことにする。これを学習データ，検証データ，テストデータに分割した（表 1).

## 3 系列ラベリングによる文法誤り検出用 BERT の追加事前学習

日本語誤用タグ付きデータセットに対する BERT を用いた系列ラベリングによる文法誤り検出精度を向上させるため, BERT に対する追加の事前学習手法を研究する. 具体的には，対照学習と MLM のマルチタスク学習を提案する。

## 3.1 対照学習

対照学習 [6] とは，あるデータの表現 (embedding) を同じクラスに属するデータの表現に近づけ，異なるクラスに属するデータの表現からは遠ざけるよ
う学習する手法である. 自然言語処理においては,文の意味表現を得るために，ある文の embedding を，同じ意味をもつものの表層表現が異なる文の embedding に近づけ，意味が異なる文の embedding から遠ざけるというような使い方が一般的である.

本研究では，文法誤り検出を目的としており，分類したいクラスは文法誤りを含まない/含むの 2 值である。そこで，文法誤りを含まない文 (positive sample) の embedding を他の文法誤りを含まない文 (anchor sample) の embedding と近づけ，文法誤りを含む文 (negative sample) の embedding とは遠ざけることを行う。ここで， anchor sample は positive sample と表層的にも意味的にも類似している必要はない。一方，文法誤りを含む negative sample としては positive sample と表層的に似通っている（結果的に意味的に似通っている）文とする。このような sample は敵対的 sample ともいえる. 意味や表層の違いに惑わされず，文法誤りを含まない文とは embedding が近づくように，文法誤りを含む文とは離れるように学習を行う。

## 3.2 MLM (Masked Language Model)

MLM (Masked Language Model) とは，文の穴埋めを行う言語モデルであり，このタスクは BERT の事前学習に用いられている. BERT の事前学習 MLM タスクでは，前後のコンテキストからマスクされた token を予測するよう学習がされており，これにより，各 token に対する BERT の出力は文脈を考慮した token の表現となるといえる．BERTを 3.1 節で述べた対照学習を行うと，文法誤りを含まない文同士は，意味が異なっても近い embedding になるように学習される。このことは，BERT がもつ各 token の意味表現を破壊しているとも考えられる．そこで， BERT に対して前述の対照学習を行う際に，MLM も同時に行うことを提案する。このようにすることで各 token の意味表現, 文の意味的表現を維持しつつ，文法誤りを含まない文と文法誤りを含む文を分離できるようになることが期待できる.

## 4 追加事前学習の設定

## 4.1 実験データ

対照学習用データにも，Lang-8 のデータを使用する。

追加事前学習のためのデータセットとして,

図 2 BERT での対照学習

表 2 対照学習のデータ

Anchor, Positive，Negative のデータをそれぞれ用意した. 本研究では, 日本語誤用タグ付きデータセットの学習データ 720,000 文から用意した. Negative は誤用例文，Positive は Negativeのペアとなる正用例文，Anchor は Positive と異なる正用例文を用いた （表 2）. Anchor と Positive を別の正用例文とするため，720,000 のデータを 2 つにわけた。具体的には，誤用例文から 360,000 の negative sample を抽出し， それに対応する正用例文の 360,000 の positive sample を得た. 残りの正用例文 $360,000 を$ anchor sample とした.

## 4.2 学習設定

BERT の事前追加学習（対照学習）の方法を図 2 に示す.

Anchor の文ベクトルを出すBERT（BERT_A） と Positive, Negative の文 embedding を出す BERT （BERT_PN）の二つの BERT を用意し, Anchor, Positive，Negativeの文を入力しそれぞれの文 embedding を求め，損失関数を Triplet Loss として学習する. なお，いずれの BERT も同じ事前学習モデルを用いる. anchor 文に対しては embedding が変わらないようにするため，BERT_Aのパラメータは固定する。

文 embedding の求め方は，予備実験によって最も性能が良かった Average pooling とした. 対照学習の学習を行う際の BERT のハイパーパラメータとしては表 3 のとおりである.

## 5 実験

## 5.1 評価方法

各単語に対して正誤ラベルを推定し，誤ラベルの一致度でその性能を評価する。評価尺度には，全ての誤ラベルのうち，どの程度を正しく検出できたかを表す再現率（Recall）と，誤ラベルと検出した中で正しく誤ラベルであった適合率（Precision），これらの調和平均である $\mathrm{F}$ 値（式（1））を用いる.

$
F(\beta)=\frac{\left(\beta^{2}+1.0\right) \times \text { Precision } \times \text { Recall }}{\beta^{2} \times \text { Precision }+ \text { Recall }}
$

言語学習のための誤り箇所の指摘においては，正確なフィードバックの方がカバレッジの高い誤り検出よりも学習効果があるとされている [7]. つまり,多くの文法誤りをきちんと誤りとフィードバックす
表 4

表

日本語文法誤り検出における追加の事前学習の効果

る（再現率が高い）ことよりも，与えた誤りであるというフィードバックが正しい（適合率が高い）ことが学習にとって望ましい，本研究では，適合率を重視する $\mathrm{F}(0.5)$ で評価する。

## 5.2 実験条件

本研究で，東北大学が公開している日本語事前学習済みの BERT モデルを用いる1)。日本語誤用タグ付きデータセットの学習データを用いて系列ラベリングモデルを学習し，評価データで評価する。

事前学習済み BERTをそのまま系列ラベリングモデルとして学習したものと, 事前学習済み BERT に対して対照学習と MLM で追加の事前学習を行った上で系列ラベリングモデルとして学習したものを比較する。

系列ラベリングモデルの学習のためのハイパーパラメータは表４のとおりである。

## 5.3 実験結果

文法誤り検出における追加の事前学習の効果を表 5 に示す.

追加事前学習を行ったモデルと追加事前学習を行っていない BERT とでは，適合率 (Precision) と再現率 (Recall), $\mathrm{F}(0.5)$ 全てにおいて追加事前学習を行わない BERT に比べて追加事前学習をした BERT の方が上回っている. 特に Precision が大きく向上しており，言語学習の GED モデルに適しているといえる。この結果は，提案する追加事前学習が GED のための系列ラベリングモデル学習にとって有効であったことを示している.

## 5.4 Ablation Study

次に，追加の事前学習において対照学習のみの場合と MLM のみの場合を比較した．結果を表 6 に示
$ oc/bert
}

表 6 追加事前学習 (Ablation Study)

す. 追加事前学習を行わない BERT に比べて性能の向上は見られなかった. 対照学習のみでは文法誤りを含むと含まない文の表現（各単語 embedding の平均）の区別は学習はできるものの同時に各単語 embedding を適切に修正できていなかったため，系列ラベリングモデル学習に効果が見られなかった可能性があると考えられる。また，MLM のみでは文法誤りを含むと含まない文の表現の区別は学習できないことに加え，もともとの BERT が持っていた単語 embedding を過剩に修正してしまったことが性能が向上しなかった原因の一つと考えられる。

提案法では，各単語の意味表現，文の意味的表現を維持しつつ，文法誤りを含まない文と文法誤りを含む文を分離できるよう学習ができたと考えられる。

## 6 おわりに

BERTを用いた文法誤り検出システムの研究を行った。追加の事前学習として対照学習と MLM のマルチタスク学習を提案した。提案した追加事前学習を行ったモデルと行わなかったモデルとの比較を行い，追加の事前学習の効果を確認した。

各単語の意味表現，文の意味的表現を維持しつつ，文法誤りを含まない文と文法誤りを含む文を分離できるよう学習ができたと考えられる。

## 謝辞

Lang-8 のデータ使用に際して，快諾くださった株式会社 Lang-8 社長喜洋洋氏に感謝申し上げます。 なお，本研究は JSPS 科研費 19K12241 の助成を受けたものです.

## 参考文献

[1] 岡本昇也, 南條浩輝, 馬青. Bert による系列ラベリングを用いた文法誤り検出. 言語処理年次大会, 2023.

[2] M. Rei and H. Yannakoudakis. Compositional sequence labeling models for error detection in learner writing. In Proceedings of ACL, pp. 1181-1191, 2016.

[3] 新井美桜, 金子正弘, 小町守. 日本語学習者向けの文法誤り検出機能付き作文用例検索システム. 人工知能学
会論文誌, Vol. 35, No. 5, pp. A-K23_1-9, 2020.

[4] M. Tomoya, M. Komachi, and M. Nagata. Mining revision $\log$ of language learning sns for automated japanese error correction of second language learners. In Proceedings of the 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[5] Z. Dou and G. Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In Conference of the European Chapter of the Association for Computational Linguistics (EACL), 2021.

[6] Ashish Jaiswal, Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee, and Fillia Makedon. A survey on contrastive self-supervised learning. Technologies, Vol. 9, No. 1, p. 2, 2020.

[7] R. Nagata and K. Nakatani. Evaluating performance of grammatical error de tection to maximize learning effect. In Proceedings of COLING, pp. 894-900, 2010.