# ラウンドトリップ翻訳を用いた ニューラル機械翻訳のデータ拡張

紺谷 優志 秋葉 友良 塚田 元
豊橋技術科学大学
\{kontani.yushi.qu,akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) は学習に膨大な規模の対訳コーパスを必要とするが，ドメインによっては大量の学習データを用意することが難しい場合もある. 本研究では，ラウンドトリップ翻訳を用いて学習データを追加のリソースを用いることなく拡張する手法を提案する．疑似対訳コーパスを用いて翻訳モデルの性能を向上させる手法である Iterative Back Translation に本手法を結合した実験を行った結果，本手法がモデルの翻訳性能を有効に向上させられることが分かった。

## 1 はじめに

近年，機械翻訳手法の一つであるニューラル機械翻訳（NMT）が従来手法である統計的機械翻訳を大きく上回る翻訳性能を持つことが報告されている. しかし NMT を構築するためには数十万〜数百万文という大量の対訳コーパスが必要であり，十分な量の対訳コーパスを用意できない場合は十分な性能の翻訳モデルを作ることはできない．また，翻訳モデルは学習データのドメイン (分野) にも強い影響を受ける. ドメインによっては大量のデータを用意することが困難な場合もあり，そのような場合においても良質な翻訳モデルを構築するのは困難となる。

本研究では，ある言語の文を別の言語の文に翻訳し，その結果を元の言語の文に逆翻訳するプロセスであるラウンドトリップ翻訳を用いて，対訳コーパスをデータ拡張する手法を提案する。 そして本デー 夕拡張手法を Iterative Back Translation と組み合わせることで，追加の学習データなしで翻訳精度を向上できることを示す.

## 2 関連研究

モデルの精度向上の方法として，対訳コーパスに何らかの操作を行うことで，データを拡張する手法が提案されている. Fadaee ら [1] は，大量の単言語データで学習した言語モデルを活用し，対訳文中の一部の単語を低頻度語に入れ替え学習データに加える方法を提案している。張ら [2] は，単語アライメント情報を用いて対訳コーパスから抜き出した部分的な対訳文を用いて学習データを拡張する方法を提案している。

また，別の学習データを活用するアプローチも取られている. Sennrich ら [3] は目的言語の単言語コーパスを原言語へと逆翻訳して疑似対訳コーパスを生成し，対訳コーパスと合成して翻訳モデルの再学習に使う手法を提案した。森田ら [4], Hoang ら [5], Zhang ら [6] は Sennrich ら [3] の手法を双方向かつ反復的に拡張することで，2つの翻訳方向のモデルを相互に改善する方法である Iterative Back Translation(IBT) を提案した. IBTでは対訳コーパスと，比較的入手が容易な単言語データを用意し，対訳コーパスを単言語データでデータ拡張し，各方向の翻訳モデルを反復更新する．IBTによって， Sennrich ら [3] の手法を大幅に上回る翻訳性能を達成できることが報告されている。

## 3 提案手法

## 3.1 データ拡張手法

本論文では random sampling を交えたラウンドトリップ翻訳を行うことで，データ拡張を行う手法を提案する。ここで，ラウンドトリップ翻訳とは，ある言語の文を別の言語の文に翻訳し，その結果を元の言語に逆翻訳するプロセスのことを指す。また， random sampling は文の翻訳を行う際，出力される単
語にランダム性を加える方法である．NMT モデルは対訳コーパスから入力文に対する出力文の事後確率分布を学習する。通常の翻訳では，この事後確率分布に従い, 入力された単語列に対して最も出力される確率が高い単語列が出力される. それに対して, 事後確率分布に基づきランダムに単語列を選択し出力するのが random sampling である. random sampling をラウンドトリップ翻訳と組み合わせることでパラフレージングに似た効果を期待できる。

2 つの言語の文 $D_{X}$ と $D_{Y}$ から成る対訳コーパスを用いて $\mathrm{X} \rightarrow \mathrm{Y}$ 方向と $\mathrm{Y} \rightarrow \mathrm{X}$ 方向の翻訳モデルを学習したと仮定する. 両方向の翻訳モデルを用いて， $D_{X}$ を翻訳して言語 $\mathrm{Y}$ の文 $D_{Y}^{\prime}$ を生成し， $D_{Y}^{\prime}$ を翻訳して $D_{X}^{\prime}$ を生成したとき, 対訳文 $D_{X}-D_{Y}$ と疑似対訳文 $D_{X}^{\prime}-D_{Y}^{\prime}$ は表現の大きく異なる対訳文になると考えられる.これが，本研究で提案するラウンドトリップ翻訳によるデータ拡張の基本的な流れである.

本論文では，ラウンドトリップ翻訳と random sampling を用いて目的言語の表現を多様化する 3 つのデータ拡張手法を提案する。なお，すべてのパターンにおいて, $\left(D_{X}^{\prime}, D_{Y}^{\prime \prime}\right)$ を疑似対訳コーパスとし，モデルの再学習に使用する.

(a) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow D_{Y}^{\prime \prime}$ (図??)

(b) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow$ $D_{Y}^{\prime \prime}$ (random sampling で生成)（図??)

(c) $D_{Y} \rightarrow D_{X}^{\prime}$ (random sampling で生成) $\rightarrow D_{Y}^{\prime \prime}$ (図??)

(a) 手法 a

(b) 手法 b

(c) 手法 c

図 1: ラウンドトリップ翻訳で目的言語を多様化するデータ拡張手法（提案手法）

## 3.2 提案手法の双方向反復的適用

提案手法を用いて行う実験全体の流れを以下に示す.

1 対訳コーパス $D_{X}-D_{Y}$ を用いて X-Y 方向と Y-X 方向の翻訳モデルを学習する.

2 両方向の翻訳モデルを用いて $D_{X}$ に対してラウンドトリップ翻訳によるデータ拡張を行い，疑似対訳コーパス $D_{X p}^{Y-X}-D_{Y p}^{Y-X}$ を生成する.

3 元の対訳コーパス $D_{X}-D_{Y}$ と疑似対訳コーパス $D_{X p}^{Y-X}-D_{Y p}^{Y-X}$ を結合した学習データを用いて，Y $\rightarrow \mathrm{X}$ 方向の翻訳モデルを更新する.

また，以上の手順を逆向きの言語方向に適用することで， $\mathrm{X} \rightarrow \mathrm{Y}$ 方向の翻訳モデルも構築できる. 本実験ではこれらの手順を森田ら [4] の手法のように双方向に繰り返し適用することで両方向の翻訳モデルを更新していく，全体的な手順を図 2 に示す.

## 4 実験

## 4.1 データセット

学習用データセットとして TED の講演内容を書き起こした話し言葉のコーパスである IWSLT 2017 データセット [7] を使用した. training データは IWSLT2017 データセットに含まれる英日コーパス（223,108 文）を用いた. dev データと test データはデータセット内の 2010 年版のデータ（それぞれ 871 文と 1,549 文）を用いた。

前処理として英語文，日本語文ともに NFKC 正規化し, 英語文は Moses[8] に付属するトークナイザーと truecaser でトークナイズと大文字小文字の表記統一を行った. 学習前の事前処理として SentencePiece[9] によるサブワード化を行った.

## 4.2 実験設定

NMT システムには OpenNMT-py[10] の Transformer を使用した. エンコーダ，デコーダともに 6 層とし，隠れ層の次元を 512 とした. 初期モデルは訓練データを 25000 ステップまで学習させて作成した.以降のモデルは 1000 ステップごとに保存した. 性能評価には BLEU[11]を用いた. 英日翻訳モデルを評価する際には，テストデータの翻訳結果をデトー クナイズした後 MeCab[12] により分かち書きし評価を行った. また，本実験内で random sampling 翻訳

図 2: 提案手法を用いた双方向反復的データ拡張の流れ

を行う際は，いずれも事後確率の上位 10 語の中から語彙をランダムに選択し出力するオプションを指定した.

## 4.3 実験条件

3.1 節に示した 3 パターンのデータ拡張法で実験を行った．また，ラウンドトリップ翻訳による目的言語のデータ拡張の有効性を検証するため, 図 3 に示すような比較手法の実験も行った. なお，すべてのパターンにおいて，最後の 2 つのデータを疑似対訳コーパスとする。また，図 1 と同様，図 3 中の内容は $\mathrm{Y} \rightarrow \mathrm{X}$ 方向の翻訳モデルを学習するための疑似対訳コーパスの作成内容である. $\mathrm{X} \rightarrow \mathrm{Y}$ 方向の翻訳モデルを学習するためには, 図中の内容を逆向きの言語方向に行い，疑似対訳コーパスを作成する.

(d) $D_{X} \rightarrow D_{Y}^{\prime}$ （図??)

(e) $D_{X} \rightarrow D_{Y}^{\prime}$ (random sampling で生成)（図??)

(f) $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}$ (random sampling で生成) (図??)

(d) 手法 d

(e) 手法 e

(f) 手法 $\mathrm{f}$図 3: 比較手法手法 d は森田ら [4] の手法で単言語データから疑似対訳コーパスを作成する手順と同一である。また，手法 $\mathrm{f}$ は $D_{Y}^{\prime}$ と $D_{X}^{\prime}$ のペアを用いて $\mathrm{Y} \rightarrow \mathrm{X}$ 方向のモデルを学習している。全ての実験において baseline のモデル (モデル 0) には全て同一のモデルを使い，IBTで 4 回モデル更新を行った（モデル 1～ $4)$.

## 4.4 実験結果

手法 $\mathrm{a} \sim \mathrm{f}$ までの英日翻訳モデルと日英翻訳モデルの BLEU スコアの推移を図 4 と図 5 に示す. 提案手法 $\mathrm{a} \sim \mathrm{c}$ はいずれもモデル 4 までの時点で，モデルの更新に従って BLEU スコアが順調に増加しており，中でも手法 a は突出したスコアを記録しており，英日方向の BLEU は baseline の 8.97 からモデル 4 で 10.09 まで，日英方向の BLEU は baseline の 9.53 から 10.77 まで増加した. それと比べ，比較手法 d f は BLEU スコアがごく僅かな増加に留まっており，モデル 1 やモデル 2 以降の段階で減少に転じているものがほとんどである.

以上のことから，提案法により元の対訳コーパスのみでモデルの性能を改善できること，比較手法よりも性能向上の効果が大きいこと，ラウンドトリップ翻訳によるデータ拡張の構成として
- $D_{X} \rightarrow D_{Y}^{\prime} \rightarrow D_{X}^{\prime}($ random sampling で生成 $) \rightarrow D_{Y}^{\prime \prime}$ という組み合わせが最も良い効果を発揮することが示された. 本手法により, 例えば表 1 の $D_{X}^{\prime}-D_{Y}^{\prime}$ の

図 4: 英日翻訳における各手法の BLEU の推移

図 5: 日英翻訳における各手法の BLEU の推移

## ような新たな対訳が学習データに追加される.

ラウンドトリップ翻訳を用いない手法 $\mathrm{d} \sim \mathrm{f}$ に関して, 手法 $\mathrm{d}$ ではモデルの学習に使用した学習デー タをそのまま疑似対訳コーパスの作成に流用している.そのため, 元の対訳コーパスと疑似対訳コーパスの内容がほとんど変化しないためデータ拡張としての意味をなさず，モデルの精度向上にもつながらなかった。

手法 $\mathrm{e}$ は手法 $\mathrm{d}$ と異なり原言語側 $D_{Y}^{\prime}$ の表現は多様化するが, 目的言語側 $D_{X}$ の表現は多様化しない.このことが，翻訳精度向上に結びつかない原因だと考えられる. 手法 $\mathrm{f}$ は $D_{Y}^{\prime}$ が $D_{Y}$ とほぼ同じになるため, random sampling を用いて目的言語側の表現を多様化させてはいるものの, self training と同等の処理となるため，翻訳精度向上に結びつかなかったと考えられる。

## 5 おわりに

本研究ではラウンドトリップ翻訳を用いたデータ拡張手法を提案し，提案手法とIBT の手法を結合した実験を行いその有効性を検証した. 実験の結果， 4 度のモデル更新を通して BLEU が英日方向で 1.12,日英方向で 1.24 の増加を達成し, 本手法が元の対訳コーパスだけでモデルの精度を向上させられること表 1: 手法 a での翻訳結果の一例

 \\

を示した．また，比較手法により目的言語の多様化が精度向上の鍵となっていることが示唆された。

## 謝辞

本研究は JSPS 科研費 $19 \mathrm{~K} 11980$ および $18 \mathrm{H} 01062$ の助成を受けた。

## 参考文献

[1] Marzieh Fadaee, Arianna Bisazza, and Christof Monz. Data augmentation for low-resourse neural machine translation. In Proc. 55th Annual Meeting of the Assoc. for Computational Linguistics (Volume 2: Short Papers), pp.567573, Vancouver, Canada, 2017.

[2] 張津一, 松本忠博. ニューラル機械翻訳における長文分割によるコーパスの拡張. 言語処理学会第 25 回年次大会発表論文集, pp. 683-686, 2019.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[4] 森田知熙, 秋葉友良, 塚田元. 双方向ニューラル機械翻訳の反復的な教師なし適応の検討. 言語処理学会第 25 回年次大会発表論文集, pp. 1451-1454, 2019.

[5] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[6] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data, In AAAI, 2018.

[7] M. Cettolo, M. Federico, L. Bentivogli, J. Niehues, S. Stüker, K. Sudoh, K. Yoshino, and C. Federmann. Overview of the IWSLT 2017 evaluation campaign. In Proceedings of the 14th International Workshop on Spoken Language Translation(IWSLT), 2017.

[8] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, Evan Herbst, Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual

Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[9] Taku Kudo, John Richardson, SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[10] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, Alexander M. Rush. OpenNMT: Open-Source Toolkit for Neural Machine Translation, In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.


# Prompting Candidate Words for Refined Word-Level Quality Estimation

Yizhen $\mathrm{Wei}^{1}{ }^{1}$ Takehito Utsuro $^{1}$ Masaaki Nagata $^{2}$
${ }^{1}$ Deg. Prog. Sys.\&Inf. Eng., Grad. Sch. Sci.\&Tech., University of Tsukuba
 }^{2}$ NTT Communication Science Laboratories, NTT Corporation, Japan

\begin{abstract}
Based on refined word-level $\mathrm{QE}$, we propose a new function that prompts candidate words for replacement and insertion. In order to implement such a function, we models prompting candidate words as a blank infilling task. Methodologically, we adopted several pre-trained language models including BERT, XLM-R, and mBART to solve the task. En-Zh experiments using a small-scale manually annotated dataset and a large-scale pseudo dataset are conducted. Best performance reaches $34.11 \%$, indicating that over one-third of the blanks whose answers can be correctly prompted by our model.
\end{abstract
## 1 Introduction

Post-editing refers to the process of editing a rough machine-translated sentence (MT) into a correct one.

There are many methods for post-editing assistance to help post-editors doing their work. Schwartz et al. [8] revealed the importance of word alignment for post-editing assistance as showing alignment statistically significantly improves the post-editing quality. However, simple word alignment fails to tell where translation errors are. Original word-level quality estimation (word-level QE) is another traditional method for post-editing assistance [9]. This task outputs QE tags expressed as OK or BAD. However, such a dualistic judgement is not enough because BAD is too ambiguous for post-editors to determine a specific operation. Wei et al. [10] proposed a new task that incorporates source-MT word alignment (referred to as extended word alignment) with the original word-level QE [9]. They succeeded in indicating specific operations for post-editors, which is believed to be an improvement for post-editing efficiency. We consider their task as refined word-level QE. Nevertheless, refined word-level QE only points out where certain operations including replacement, insertion, and deletion should be done. For an operation like insertion or replacement, post-editors still need to think for themselves about specific content to be inserted into MT.

Based on refined word-level $\mathrm{QE}$, we take a step further, proposing a novel downstream function which prompts a list of candidate words for replacement and insertion. To implement it, we trained pre-trained language models including BERT [3], XLM-RoBERTa [1] (XLM-R), and multilingual BART [5] (mBART) for blank infilling task.

We conduct En-Zh experiments to prove the feasibility of our method. Results show that the best model pre-trained by a large pseudo dataset successfully prompts correct answers for more than one-third of the blanks in the test set.

## 2 A Useful New Function for Refined Word-Level QE

## 2.1 Original and Refined Word-Level QE

According to Specia et al. [9], word-level QE is a task that takes a pair of a source sentence and its machinetranslated counterpart (MT) as input. In the original settings, word-level QE outputs QE tags for source words, MT words and gaps between MT words (MT gaps). All those tags are expressed either as OK or BAD.

Regarding the fact that BAD is ambiguous and cannot indicate specific operations, Wei et al. [10] proposed a method that incorporates extended word alignment with original word-level QE. In the proposal of Wei et al. [10], they adopted a supervised method based on multilingual BERT [3] proposed by Nagata et al. [6] to extract extended word alignment. They illustrated a user interface showing extended word alignment and original QE word tags. According to them, BAD-tagged words with aligned counterpart indicate replacement while BAD-tagged null-aligned words indicate insertion (at the source side) or deletion (at the MT side). Therefore, post-editors know what operations to do after seeing the interface.

Figure 1 Enhancing refined word-level QE by prompting candidate answers for REP-tagged MT words and INS-tagged MT gaps.

To make the previous proposal easier to understand, we refine BAD into specific tags including REP, INS, and DEL representing different operations. We refer to such a task as refined word-level QE.

## 2.2 Prompting Candidate Words for Refined Word-Level QE

In terms of post-editing assistance, the usefulness of refined word-level QE can be further enhanced if the function of prompting candidate words is implemented. Refined word-level QE succeeds in indicating specific operations, but an operation like replacement or insertion needs further assistance. Namely, correct words to be added into the MT still needs manual consideration.

We formally illustrate the new function we propose in Figure 1. As it is shown, based on refined word-level QE, an MT word like “黒 $W$ " that is tagged as REP is a mistranslation to be replaced. Instead of asking posteditors to come up with correct translations on themselves, our system prompts several candidate answers. Among those candidate answers, there is an appropriate one “白い”. Same process could be applied to INS-tagged MT gaps such as the one between “猫” and “が好き”.

We believe that prompting candidate words for REPtagged and INS-tagged elements in refined word-level QE makes a system for post-editing assistance more useful.

## 3 Methodology

## 3.1 Multi-Candidate Blank Infilling

We model the task that prompts candidate words as a blank infilling task. Generally, blank infilling is a task that takes a sentence with some spans substituted by blanks as input. Models are trained to fill in the blanks with proper words to restore the original sentence.
In our case, when given a pair of source sentence and MT along with refined word-level QE tags, it is clear that REPtagged MT words and INS-tagged MT gaps are positions where new content should be added. Therefore, we can turn those elements into blanks, training models to fill in the blanks with correct answers. Moreover, keeping DEL-tagged MT words in the context is meaningless (even adding noise), so that we remove them. For example, if we are given a pair of source sentence and MT like Figure 1 shows, we could build a blanked version of MT as follows “私は [blank] 猫 [blank] が好きだ”. Here, [blank] stands for a special token. Note that we also want the model to output multiple candidates with high probability. We will describe the specific implementation in the next sections.

## 3.2 Blank Infilling with Encoder Architecture

We firstly introduce approaches based on pre-trained language models of transformer encoder architecture.

Masked language model [3] (MLM), the representative task to pre-train BERT, is a simple approach for blank infilling. The input sequence of MLM is a monolingual sentence with partial tokens masked. Because the input must be monolingual, we cannot incorporate source sentence which contains important information for post-editing.

To address this issue, we have also tried translation language model [2] (TLM) based on XLM-R [1]. TLM takes a pair of concatenated parallel sentences with some tokens masked as input. ${ }^{1)}$ TLM evolves from MLM but the model is trained to attend to not only intra-lingual but also inter-lingual information to unmask tokens. In our case, by inputting a concatenation of source sentence and blanked MT, we expect the model to be able to mimic human post-

1) Note that being different from the original TLM, only MT tokens are masked in our case.

(a) Blank infilling with BERT

(b) Blank infilling with XLM-R

Figure 2 " $[\mathrm{M}]$ " in the input sequences stands for mask token. Some text for illustration in (b) is omitted. Please refer to (a).

editors, using the source sentence as reference.

Both approaches based on transformer encoder architecture have a same issue. There might be multiple words (multiple tokens of course) corresponding to a blank token. But output tokens of transformer encoder strictly corresponds to input tokens one by one. As we do not know the token number of the answer, we do not know how many mask tokens should be there in the input sequence.

As a solution, we try multiple values ${ }^{2}$ ) in parallel. Then, we select the top candidates with highest token-wise mean of probability among all output. Figure 2 shows the image of using BERT and XLM-R to do blank infilling.

## 3.3 Blank Infilling with Encoder-Decoder Architecture

Inspired by Donahue et al. [4], we also developed a method that utilizes pre-trained language models based on encoder-decoder architecture to do blank infilling task. Donahue et al. [4] proposed a monolingual text infilling framework which output concatenation of answer spans joined by an answer token after a blanked sentence. Unfortunately, their method only supports monolingual text infilling and they trained a GPT-2 [7] which is also monolingual. To adapt the method for our purpose, we adopt multilingual BART [5], an encoder-decoder architecture. Figure 3 illustrates our idea.

Specifically, we concatenate source sentence and the blanked MT, keeping blank tokens unchanged. The decoder is trained to do beam search and freely decodes multiple answer sequences which are concatenation of answer spans corresponding to blanks in blanked MT in order. Because mBART generates answer sequence freely, we no longer need to worry about the issue mentioned in Section

2) We tried a range from one to five masks for a blank independently.
3.2. As for multiple candidates, we analyze each answer sequence and split answer spans in order. For each blank, we select answers with top sequence-wise frequency as results. $\left.{ }^{3}\right)$

## 4 Experiment

## 4.1 Dataset and Experimental Settings

We generated the training and test sets based on a smallscale annotated En-Zh datasets for refined word-level QE following the method described in Section 3.1. As a result, we obtained 597 pairs of source and blanked MT along with correct answers for training and 136 pairs for test.

Besides of the training data above, we also created largescale pseudo data. Based on randomly sampled 1 million of sentence pairs from the parallel data provided by WMT20 QE task ${ }^{4}$, we randomly blanked out $15 \% \%^{5}$ ) of words in a target sentence to make a blanked MT. That provides us an additional 0.8 million of sentence pairs.

As for number of candidates, we expect the models to output top 10 candidate answers which is a reasonable quantity in practice. For BERT and XLM-R, we simply set the model to output 10 tokens for each mask. For mBART, we set number of beams to 10 during beam search.

We used pre-trained language models provided by Huggingface ${ }^{6}$. We adopted bert-base-chinese for BERT, $x l m$ roberta-large for XLM-R, mbart-large-cc 25 for mBART.

3) Note that number of answer spans in a sequence is not necessarily equivalent to number of blanks because of free decoding. If number of answer spans is greater, we ignore redundant spans.

4) https://www.statmt.org/wmt20/ quality-estimation-task.html

5) We set the blank probability to 0.15 because we observed such a probability in the annotated set.

6) https://github.com/huggingface/transformers

Figure 3 " $[\mathrm{B}]$ " stands for the blank token and " $[\mathrm{A}]$ " stands for the answer token. Following the settings of mBART, we append language tokens at the end of source and blanked MT. The first token input for decoding is the token of target language " $<$ ja>".

The script run_language_model.py from transformersv3.3.1 is modified for our own experiments. For pretraining on pseudo data, we train all models for 2 epochs with a learning rate of 3e-5. For training on the annotated data, we train all models for 10 epochs with a learning rate of 3e-5. All the other hyper-parameters are kept unchanged as default of the original scripts. All experiments run on an NVIDIA TITAN RTX (24GB) with CUDA 10.1.

## 4.2 Experimental Results

We evaluate the performance of models by counting answer spans that exactly match the top 1 candidate answer (Top-1 Match Rate) or exists in the top $\mathrm{K}$ candidate answers $(\text { Top-K Match Rate })^{7}$. Among 136 sentence pairs in the test set, there are 384 blanks need to be infilled. As the target language is Chinese, we remove all spaces between words during evaluation. For each model, we tried both training on the annotated dataset only, or pre-training on large-scale pseudo dataset and then training on the annotated dataset. ${ }^{8)}$ The results are shown in Table 1.

According to the result, we confirmed the effectiveness of pre-training. Except for the top 1 match rate for BERT, in most cases pre-training on large-scale pseudo dataset boosts the performance. Nevertheless, the best top-K match rate of pre-trained BERT reaches $34.11 \%$, which means that BERT successfully provides a correct candidate in its predictions for over one-third of the blanks in the test set.

7) For mBART, because of possible candidate duplication, we cannot guarantee that there are same number of candidate answers as beam number (which is 10 in our experiments) for each blank. That is the reason we call it Top $\mathrm{K}$ rather than Top 10.

8) We have tried to do blank infilling with off-the-shelf BERT and XLM-R directly. But the performance is very poor.
Table 1 Top-1 and Top-K match rate of all models. "pt" stands for pre-training.

 &  \\

As a comparison of different architectures, BERT as a monolingual model outperforms XLM-R and mBART. Such a phenomenon is beyond our expectation as we believe that source sentence is an important reference to predict candidate answers correctly. It may proves that our current way to encode source sentence is not proper. In the future, we would like to investigate into more variants that exploit information in the source sentence better.

## 5 Conclusion

In order to improve post-editing assistance efficiency, based on refined word-level $\mathrm{QE}$, we further propose a new function that prompts candidate words for those MT words and gaps tagged as REP and INS. Such a function is modeled as a blank infilling task and we adopted architectures including BERT, XLM-R, and mBART to solve the task. Specifically, we generate a large-scale pseudo dataset by randomly blanking out some tokens as well as a small-scale manually annotated dataset. Results of En-Zh experiment shows that our best model can do it for more than one-third blanks, giving 10 candidate answers in which the correct one exists.

## References

[1] A. Conneau, K. Khandelwal, N. Goyal, V. Chaudhary, G. Wenzek, F. Guzmán, E. Grave, M. Ott, L. Zettlemoyer, and V. Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proc. 58th ACL, pages 8440$8451,2020$.

[2] A. Conneau and G. Lample. Cross-lingual language model pretraining. In Proc. 33rd NeurIPS, pages 7059-7069, 2019.

[3] J. Devlin, M. Chang, K. Lee, and Toutanova K. BERT: Pretraining of deep bidirectional transformers for language understanding. In Proc. 17th NAACL-HLT, pages 41714186, 2019.

[4] C. Donahue, M. Lee, and P. Liang. Enabling language models to fill in the blanks. In Proc. 58th ACL, pages 2492-2501, 2020.

[5] Y. Liu, J. Gu, N. Goyal, X. Li, S. Edunov, M. Ghazvininejad, M. Lewis, and L. Zettlemoyer. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, pages 726-742, 2020

[6] M. Nagata, K. Chousa, and M. Nishino. A supervised word alignment method based on cross-language span prediction using multilingual BERT. In Proc. EMNLP, pages 555-565, 2020.

[7] A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever. Language models are unsupervised multitask learners. OpenAI blog, 1(8):9, 2019.

[8] L. Schwartz, I. Lacruz, and T. Bystrova. Effects of word alignment visualization on post-editing quality \& speed. In Proc. MT Summit XV, 2015.

[9] L. Specia, F. Blain, M. Fomicheva, E. Fonseca, V. Chaudhary, F. Guzmán, and A. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proc. 5th WMT, pages 741-762, 2020.

[10] Y. Wei, T. Utsuro, and M. Nagata. Word-level quality estimation for machine translation based on source-mt word alignment. In Proc. 27th Annual Meeting of the Association for Natural Language Processing, pages 16641668, 2021.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 確信度を考慮した言語モデルの関係知識評価

吉川和 ${ }^{1,2}$ 岡崎直観 1
1 東京工業大学 情報理工学院 2 富士通株式会社 富士通研究所
\{hiyori.yoshikawa@nlp., okazaki@\}c.titech.ac.jp

## 概要

本稿では，事前学習済み言語モデルが学習の過程で獲得した関係知識を評価する LAMA probe タスクにおいて，モデル出力に対する確信度を考慮した選択的予測の設定を導入し，その評価を行う。選択的予測の設定では，クエリに対する予測結果の確信度を算出し，予測結果を出力するか否かを決定する. これにより，予測を行った事例に対する精度に加え，誤った予測を出力するリスクをどの程度低減できるかを考慮した評価が可能となる．本稿では，言語モデルのパラメータと出力のみを用い，追加の訓練データを必要としない複数の確信度指標を提案し, LAMA probe タスクを選択的予測の設定で評価する. 実験では，特定の確信度指標の組み合わせが複数のデータセットで有効であり, さらに予測に直接用いた場合に予測精度そのものを改善できることが示された。

## 1 はじめに

近年，大量のテキストで学習した言語モデルを様々な後段タスクに転用する研究が盛んである $[1,2]$. このようなことが可能となる背景として，言語モデルが事前学習の過程で語彙や文法といった言語知識 $[3,4]$ だけでなく常識や世界知識 $[5,6]$ をテキストから獲得していることが示唆されている. しかし, これらの知識は言語モデルのパラメータに埋め込まれており，シンボリックな知識べースに対するような明示的なアクセスや編集は困難である.

Petroni ら [7] は, 言語モデルの保持する常識や事実といった関係知識の量を評価することを目的とし, ベンチマークタスク LAMA probe を提案した. LAMA probe では，問い合わせたい関係知識を自然文の穴埋めタスクに変換し，言語モデルが正しく穴埋めできた場合，言語モデルがその関係に関する 「知識をもつ」と判断する．実験により，BERT 言語モデル [1] がテキストからの関係抽出に基づく手法
と同等かそれ以上の精度を達成すると報告された..一方で，このようにして言語モデルから取り出された知識の信頼性, 逆に言うと誤った知識が出力されるリスクは LAMA probe の枠組みでは考慮されない. シンボリックな知識ベースにおいては，知識ベースに含まれる三つ組の信頼性を人手やシステムにより評価し，信頼性の高い三つ組のみを残すことで知識ベースの質が担保される $[8,9]$. 結果として,実用上は知識ベースに含まれる三つ組は信頼性の高いものとみなすことができる. しかしながら，知識への明示的なアクセスができない言語モデルにおいては，個々の関係知識の信頼性を評価し，編集・削除する方法が確立されていない。ゆえに，知識べー スや言語モデルから知識を取り出すとき，次のような違いが生じる．知識べースでは，問い合わせに対して適切な関係知識が存在しない場合，空の結果を返す。一方，LAMA probe などでの言語モデルへの問い合わせでは，与えられた問い合わせに対して何らかの出力を行うことを前提としているため, 学習で獲得できなかった知識に対して常に誤った出力を返す. 誤った出力は正しい出力と一見して区別がつかないため，この違いは解答される知識の信頼性を重視する様々な応用において，重大な障壁となる.言語モデルの性能を向上させたとしても，学習コー パスに無い事実に関する問い合わせや，答えの存在しない問い合わせ [10] は存在しうるので，モデルが誤った知識を出力するリスクを無視できない.

こうした背景から, 本研究では言語モデルが返す知識の誤りリスクを定量化するため，予測に対する振る舞いを考慮したシステムおよび評価方法を検討する。具体的には， LAMA probe タスクに選択的予測 (selective prediction) [11,12] の設定を導入する. 選択的予測は機械学習の枠組みの一つで，システムはモデルの予測結果に基づき予測を実際に出力するか控えるかを選択できる。本研究では特に， Geifman と El-Yaniv [12] により提案されたリスク保証のある設定を考える。この枠組みでは，予測に基

づき計算される確信度スコアにより, 予測の出力可否を判断する. システムの評価では，決められた予測精度を保証しつつ，如何に多くの事例に対し予測を出力できるかを測定する.

本研究では，言語モデルの知識評価に選択的予測の設定を適用するため，言語モデルの出力のみを用いて計算可能な複数の確信度指標を提案し, 実験を通じて最適な指標を比較検討する. 実験の結果, 最適な確信度指標はモデルやデータセットにある程度依存するものの, 特定の確信度指標の組み合わせが一貫して有効であることが確認できた. さらに, 確信度計算に有効な指標は予測の決定に直接用いた場合においても有効であることを確認した。

## 2 選択的予測

本節では機械学習一般における選択的予測 $[11,12]$ の枠組みについて説明する．選択的予測の設定では, 入力に応じて予測結果を実際に出力するかを判断する選択的分類器 (selective classifier) を導入する. 入力空間 $x$ からラベル集合 $y$ かの分類問題を考える. 選択的分類器はもとの分類モデル $f: X \rightarrow Y$ および選択関数 (selection function) $g: X \rightarrow\{0,1\}$ の組 $(f, g)$ として定義される. 選択関数は, 分類器が入力 $x \in \mathcal{X}$ に対する予測 $f(x) \in \mathcal{Y}$ を実際に出力するかを決定する：

$
(f, g)(x):=\left.\{\begin{array}{ll}
f(x) & \text { if } g(x)=1 \\
\text { don't know } & \text { if } g(x)=0
\end{array} .\right.
$

Geifman と El-Yaniv [12] は，確信度指標に基づく選択関数を用いたリスク保証ありの設定 (selection with guaranteed risk; SGR) を導入した. SGR では選択関数として, 確信度に基づく以下の関数を考える:

$
g(x)=\left.\{\begin{array}{ll}
1 & \text { if } \phi(x) \geq \beta \\
0 & \text { if } \phi(x)<\beta
\end{array} .\right.
$

ここで $\phi(x): X \rightarrow \mathbb{R}$ は $f$ 確信度関数 (confidence score function) で，その值が閾値 $\beta \in \mathbb{R}$ を超えたときに限り分類器は予測結果を出力する. この形式では， $\beta$ の值を適切に設定することによってシステムに課す誤りリスクの許容範囲を調整できる。 $\beta$ が大きければ大きいほど，予測を出力する事例数が減少するが，誤った予測を行うリスクを低減できる。

リスク保証ありの設定においては，選択的分類器が誤った予測を行うリスク

$
\text { Risk }=\frac{1-N_{\text {corr }}}{N_{\text {pred }}}
$

と実際に予測を行った事例の割合（カバレッジ）

$
\text { Coverage }=\frac{N_{\text {pred }}}{N}
$

との間にトレードオフ (risk-coverage tradeoff) が存在する。ここで， $N, N_{\text {pred }}, N_{\text {corr }}$ はそれぞれ全事例数，実際に予測を行った事例数，正しい予測を行った事例数である．選択的分類器の性能は選択関数 (式 (2)) の閾値 $\beta$ を動かして得られるリスクーカバレッジ曲線の AUC (RC-AUC) を用いて評価する. RC-AUC の值が小さいほど，予測を行った事例に対してリスクが小さく，良い分類器とみなされる.

## 3 LAMA Probe タスクへの選択的予測の適用

## 3.1 LAMA Probe タスクとモデル出力

LAMA probe では，問い合わせたい関係知識をテンプレートにより自然文に変換して言語モデルに入力する。例えば “Dante” と born-in の関係にあるエンティティについて問い合わせる際には, “Dante was born in [MASK]." という文がモデルへの入力となる.ここで [MASK] は単語マスクを示す特別なトー クンで，このトークンに対して予測された単語をクエリに対する回答と見なす. ${ }^{1)}$ テンプレートは関係の種類ごとに人手で作成されている.

本研究における実験では Petroni ら [7] と同様に，双方向言語モデルを評価対象とする．モデルへの入力は，関係知識を問うクエリを単語マスクを含む自然文に変換したものである (例: “Dante was born in [MASK].”). 言語モデルは位置 $t$ がマスクされた大力文 $x=W_{\backslash t}:=\left(w_{1}, \ldots, w_{t-1}\right.$, [MASK], $\left.w_{t+1}, \ldots, w_{|W|}\right)$ を受け取り, 位置 $t$ の単語の予測確率 $P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)$ を出力する. すなわち, 言語モデルによる予測確率最大の単語 $w^{\prime}$ を予測単語とする:

$
f(x)=w^{\prime}:=\arg \max _{w_{t}} P_{\mathrm{LM}}\left(w_{t} \mid W_{\backslash t}\right)
$

以下，マスク付き入力文 $W_{\backslash t}$ のマスク位置を予測単語 $w^{\prime}$ で置き換えた文を $W^{\prime}$ と表す。

## 3.2 確信度関数

LAMA probe はもともと言語モデルが学習で獲得した関係知識を評価するものであることから，確信度関数を構築するときには新しいデータによる言語

1）ここでは，言語モデルとして特に masked language model のような双方向言語モデルを想定している. また，簡単のため予測対象は一単語からなるエンティティに限定されている.

モデルの追加学習を必要としないことが望ましい.本節ではこの前提のもと，言語モデルの出力のみを利用するいくつかの確信度関数を提案する.

Token ( $\mathrm{T}$ ) マスク位置における単語 $w^{\prime}$ の対数予測確率を用いる:

$
\phi_{\mathrm{T}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right) .
$

予測単語の推定（式 (5)）に用いた指標をそのまま確信度計算に用いることに相当する。

Sent (S) 文の容認性やファクトチェックの文脈では，文としての確からしさの指標として言語モデルによる文の生成確率が用いられている [13, 14]. ここでは，マスク付き言語モデルに基づく文の擬似尤度 (pseudo-log-likelihood; PLL) [15] を文長で正規化したものを採用する. マスク位置を予測単語 $w^{\prime}$ で置き換えた文 $W^{\prime}$ に対し，確信度は以下のように計算される:

$
\phi_{\mathrm{S}}(x)=\frac{1}{\left|W^{\prime}\right|} \sum_{u=1}^{\left|W^{\prime}\right|} \log P_{\mathrm{LM}}\left(w_{u} \mid W_{\backslash u}^{\prime}\right)
$

Gap (G) 予測単語における予測確率が他の単語のものと比べて顕著に大きいときにモデルが確信をもって予測を行っているという仮定に基づく. マスク位置における予測確率が最大の単語 $w^{\prime}$ と二番目に大きい単語 $w^{\prime \prime}$ との対数予測確率の差を用いて，次にように確信度を計算する:

$
\phi_{\mathrm{G}}(x)=\log P_{\mathrm{LM}}\left(w^{\prime} \mid W_{\backslash t}\right)-\log P_{\mathrm{LM}}\left(w^{\prime \prime} \mid W_{\backslash t}\right) .
$

Reranking (R) 異なる指標で予測を評価した際にも，評価対象の予測が他の単語と比べて一貫して優位にあるとき，予測確信度が高いという仮定に基づく．まず，式 (5) にあるようなマスク位置における単語予測確率に基づき上位 $K$ 件の予測候補 WV を得る. 次に，得られた予測候補を別の指標 $\psi$ を用いて並べ替える。並べ替え後の $w^{\prime}$ の順位を $\operatorname{rank}_{\psi}\left(w^{\prime}\right)$ としたとき，確信度指標は以下の式で求められる:

$
\begin{aligned}
\phi_{\mathrm{R}}(x) & =\log _{2} \frac{K}{\operatorname{rank}_{\psi}\left(w^{\prime}\right)} \\
& =\log _{2} K-\log _{2} \operatorname{rank}_{\psi}\left(w^{\prime}\right) .
\end{aligned}
$

上式は本質的には並べ替え後の順位のみに基づく指標であり，言語モデルによるプライバシー情報の記憶リスクの評価にも用いられている [16]. 実験では $K=100$ とし， $\psi$ としては Sent スコア $\phi_{S}(x)$ を用いる.表 1 データセット毎の RC-AUC. 確信度が $X+Y$ のように表記されている場合，複数の確信度指標の和を用いている. GRE: Google-RE, TR: TREx, CN: ConceptNet, SQ: SQuAD，All: 全データセット。

## 4 実験

## 4.1 実験設定

本実験で用いる LAMA probe タスク [7] は言語モデルのもつ関係知識を評価するためのベンチマークタスクであり, Google-RE, TREx, ConceptNet, SQuAD の 4 つのサブタスクから構成される. 事前学習済み言語モデルとしては BERT-base および BERT-large [1] を用いる. 評価データ中のクエリの全てについて, Wikipedia 内に少なくとも一つの正解が存在する. BERT は Wikipedia で学習されているため, クエリに正解するための情報は学習データに含まれると考えられる. システムは，言語モデルがクエリに回答する知識を学習によって獲得できている場合には正答を返し，そうでない場合には予測を行わないことが求められる。

## 4.2 結果

## 4.2.1 モデル・データセットと確信度関数

表 1 に，各確信度指標を用いた場合の RC-AUC を示す. 全データセットに対する結果を見ると，単独の確信度指標を用いた場合，Token (T)が最もよい性
表 2 予測に用いる指標を変えた場合の予測精度 (P@1) と，RC-AUC の最小值とそれを達成した確信度指標.

能を示した. 2 つの確信度指標を組み合わせた場合には, Token と Reranking を組み合わせた場合 $(\mathrm{T}+\mathrm{R})$ に最もよい性能となった. この傾向は BERT-base, BERT-large に共通であった.

データセット中の全ての事例に回答した場合の誤りリスクは BERT-base で 0.757, BERT-large で 0.739 である。これに対し， $\mathrm{T}+\mathrm{R}$ を確信度指標として用いた場合，いずれのモデルについてもカバレッジを 0.3 程度に設定することで誤りリスクを 0.5 未満まで抑えることができた. 具体的なリスクーカバレッジ曲線は付録 $\mathrm{A}$ 節に示す。

次に，データセット毎にそれぞれ RC-AUC を計算した結果を見ると，BERT-base では TREx を除いた 3 つのデータセットにおいて Token と Reranking の組み合わせ $(\mathrm{T}+\mathrm{R})$ が最高性能であるのに対し， BERT-large ではこれらのデータセットにおいて Token (T) を単独で用いた場合に最高性能であった. しかしながら， $\mathrm{T}+\mathrm{R}$ を確信度指標として用いた場合の結果は，各データセットにおける最高性能と比較して大きく劣るものではなかった．このことから， $\mathrm{T}+\mathrm{R}$ を確信度指標がいずれのデータセットにおいても比較的よい性能を示すが，最適な確信度指標はモデル・データセット毎に異なる場合があることが示唆される. TREx データセットについて関係の種類毎の比較を行った結果を付録 B 節に示す。

## 4.2.2 予測指標と確信度関数

3.2 節で提案した確信度指標の一部は, 最適な予測を決めるための指標として式 (5) の代わりに用いることができる．そこで，各指標を予測に直接用いた場合に LAMA probe の精度 (P@1) を改善できるか，またそれぞれの予測指標に対しどの確信度指標を組み合わせることが最適かを調べた。予測指標と
して用いたのはToken (T)，Sent (S)，Reranking (R) およびそれらの組み合わせである. Reranking については，順位付けに用いる指標 $\psi$ として Token (T) と Sent (S) の二種類を用い， R の添え字で区別する． S と $\mathrm{R}_{\mathrm{S}}, \mathrm{T}$ と $\mathrm{R}_{\mathrm{T}}$ をそれぞれ単独で用いた場合の予測は定義から同一になることから，Reranking を単独で用いた場合の結果は省略する。また，Gap (G) は予測指標が決まって初めて定義される指標であるため対象外とする．なお，計算コストの都合上， $\mathrm{T}$ 以外の各予測指標に基づく予測結果の決定においては，まず $\mathrm{T}$ による指標（式 (5)）により候補を上位 100 件に絞り込んだのち，各予測指標を用いてリランキングすることで予測結果を近似した.

表 2 に結果を示す. BERT-base，BERT-large いずれにおいても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を予測に用いた場合に最高精度を達成した. さらに，いずれの指標を予測指標として用いた場合においても， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ を確信度指標として用いた場合に RC-AUC が最善となった.このことから， $\mathrm{T}+\mathrm{R}_{\mathrm{S}}$ が予測指標としても確信度指標としても有効な指標であると考えられる。

## 5 まとめ

本稿では，言語モデルのもつ関係知識を評価する LAMA probe タスクに選択的予測の設定を導入し， モデル出力の精度に加え，モデル出力の正しさを何らかの確信度指標を用いて判別できるかを評価した. 実験結果から，一般的に予測に用いられるマスク単語の予測確率値をそのまま用いるよりも，提案した Reranking スコアと組み合わせて用いることが予測・確信度計算双方において効果的であることが示唆された。また，適切な確信度指標は用いるモデルや評価対象のデータセットによって異なる場合があることを示した. 今後は，対象タスクやモデルと最適な確信度指標の関係を詳細に調査し, 多様なモデル・タスクにおけるモデル出力の信頼性を担保するための手法を検討したい。

## 謝辞

本研究は JSPS 科研費 19 H01118 の助成を受けたものです.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chap-
ter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[3] Alex Warstadt, Yu Cao, Ioana Grosu, Wei Peng, Hagen Blix, Yining Nie, Anna Alsop, Shikha Bordia, Haokun Liu, Alicia Parrish, Sheng-Fu Wang, Jason Phang, Anhad Mohananey, Phu Mon Htut, Paloma Jeretic, and Samuel R. Bowman. Investigating BERT's knowledge of language: Five analysis methods with NPIs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2877-2887, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Alessio Miaschi, Dominique Brunato, Felice Dell'Orletta, and Giulia Venturi. Linguistic profiling of a neural language model. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 745-756, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5418-5426, Online, November 2020. Association for Computational Linguistics.

[7] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Chun How Tan, Eugene Agichtein, Panos Ipeirotis, and Evgeniy Gabrilovich. Trust, but verify: Predicting contribution quality for knowledge base construction and curation. In Proceedings of the 7th ACM International Conference on Web Search and Data Mining, WSDM '14, pp. 553-562, New York, NY, USA, 2014. Association for Computing Machinery.

[9] Shengbin Jia, Yang Xiang, Xiaojun Chen, Kun Wang, and Shijia. Triple trustworthiness measurement for knowledge graph. In The World Wide Web Conference, WWW '19, p. 2865âĂŞ2871, New York, NY, USA, 2019. Association for Computing Machinery.

[10] Najoung Kim, Ellie Pavlick, Burcu Karagol Ayan, and Deepak Ramachandran. Which linguist invented the light- bulb? presupposition verification for question-answering. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3932-3945, Online, August 2021. Association for Computational Linguistics.

[11] Ran El-Yaniv and Yair Wiener. On the Foundations of Noise-free Selective Classification. Journal of Machine Learning Research, Vol. 11, No. 53, pp. 1605-1641, 2010.

[12] Yonatan Geifman and Ran El-Yaniv. Selective Classification for Deep Neural Networks. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS' 17, pp. 4885-4894. Curran Associates Inc., 2017.

[13] Jey Han Lau, Carlos Armendariz, Shalom Lappin, Matthew Purver, and Chang Shu. How furiously can colorless green ideas sleep? sentence acceptability in context. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 296-310, 2020.

[14] Nayeon Lee, Yejin Bang, Andrea Madotto, and Pascale Fung. Towards few-shot fact-checking via perplexity. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1971-1981, Online, June 2021. Association for Computational Linguistics.

[15] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[16] Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, and Dawn Song. The secret sharer: Evaluating and testing unintended memorization in neural networks. In Proceedings of the 28th USENIX Conference on Security Symposium, SEC'19, pp. 267-284, USA, 2019. USENIX Association

## A リスク-カバレッジ曲線

図 1 LAMA probe データセット全体に $\mathrm{T}$ おび $\mathrm{T}+\mathrm{R}$ を用いた場合のリスクーカバレッジ曲線.

図 1 に予測指標を $\mathrm{T}$, 確信度指標を $\mathrm{T}$ または $\mathrm{T}+\mathrm{R}$ とした場合のリスクーカバレッジ曲線を示す. 図中の最も右，カバレッジが 1.0 の場合のプロットが全ての事例に対し予測を行った場合のリスクに相当する.いずれのモデルにおいても全ての事例に対し予測を行った場合の誤りリスクは 0.7 を超えているのに対し，いずれかの確信度指標を用いて選択的予測を行った場合，カバレッジを 0.3 程度に抑えることでリスクを 0.5 未満に抑えることができる.

## B 関係タイプによる比較

実験に用いたデータセットのうち，TREx データセット中では一対一関係 (1-1)，多対一関係 (N-1),多対多関係 (N-M)をもつ複数の関係タイプに関するクエリが混在している。関係タイプごとに RC-AUC を計算した結果を表 3 に示す. 用いる確信度指標による性能差は，多対一や多対多の関係においてより顕著であることが見て取れる. 関係の種類ごとに最適な確信度指標は異なるが，BERT-base では G+R， BERT-large では $\mathrm{T}+\mathrm{R}$ が一貫して最適な確信度指標表 3 TREx データセットにおける，関係タイプ毎の RC-AUC．表記方法は表 1 に準ずる。

に匹敵する性能を示している。


# 否定の理解への prompt-based finetuning の効果

田代真生 ${ }^{1}$ 上垣外英剛 2 船越孝太郎 ${ }^{2}$ 奥村学 ${ }^{2}$
1 東京工業大学工学院 2 東京工業大学科学技術創成研究院
\{masaki@lr.,kamigaito@lr., funakoshi@lr., oku@\}pi.titech.ac.jp

## 概要

自然言語処理において否定の理解は重要な課題の一つである．否定は文章の極性や論理的関係を変える役割がある一方で，その理解は現状の自然言語処理モデルでも難しく，否定の理解の不足を指摘する研究は多くある $[1,2,3]$. 否定の理解において, 大量のラベルなしコーパスから事前学習を通じて獲得された否定に関する知識は有用と考えられる。そこで本研究では様々な自然言語処理タスクを言語モデリングタスクに変形して解くことにより, 事前学習で得られた言語知識をより効率的に活用することを考える.そのための手段として prompt-based finetuning に着目し，テキスト分類タスクにおける否定の理解に与える効果を調査する。

## 1 はじめに

否定は命題の真偽を変化させる役割があり，自然言語処理において無視できない要素である.そのため，様々な研究において否定を理解するような自然言語モデルが調査されているが，近年開発された事前学習済み言語モデルでも否定の理解が不十分であることが指摘されている。事前学習済み言語モデルは大量のラベルなしコーパスにおける言語モデルの自己教師あり学習を通して様々な言語的知識を獲得しており, 幅広いタスクにおける性能の向上を達成している. Saunshi ら [4] は事前学習の効果を多くの自然言語処理タスクが言語モデリングへの変形によって解けることを用いて説明している.

prompt-based finetuning はこのようなアイデアから生まれたものである. 後段のタスクを言語モデリングの形式に変形することで，事前学習タスクと後段タスクとの差異を低減する。それにより訓練事例が少数しか利用できない few-shot な設定下の広範なタスクにおいて性能向上を達成した。ここから prompt-based finetuning は, 事前学習済みモデルの利用法として一般的である [CLS] トークンの出力から
ラベルを予測する従来の head-based な手法 [5] に比べ，事前学習によって得た言語的な知識を学習のより初期段階から引き出せていると考えられる。

そこで，本研究では現状の自然言語処理モデルにおいて課題となっている否定の理解についても prompt-based finetuning を利用することで事前学習により獲得された知識を活用できるかを調べた. 具体的には，自然言語処理タスクの一例であるテキスト分類タスクとして, 感情分析 (SST-2, SST-3, SST-5) と自然言語推論 (RTE, MNLI) を対象とし, head-based な手法と prompt-based な手法で学習したモデルの性能を，average data points advantage [6](ADPA)を用いて比較する. 否定評価用テストデータと否定評価用でないテストデータ両方で調査し比較することによって少数データの条件においては prompt-based finetuning が否定の理解に効果的であることを示す.

本研究は ADPA を用いることで，評価が難しかった自然言語処理モデルの否定理解の度合いを定量化し，それによって今まで理解が進んでいなかった prompt-based finetuning が否定の理解に与える影響を示した.このことは否定を理解する自然言語処理モデルの作成に役立ち，また prompt-based finetunig への理解を促すものであると考える。

## 2 関連研究

## 2.1 prompt-based finetuning

prompt-based finetuning は自然言語処理のタスクを言語モデリングのタスクに変形し，分類ラベルと対応づけたトークンを予測する学習方法である $[7,8]$. prompt-based finetuning を構成する要素としては元の文章を事前学習時の入力形式に変形するルールである template と，マスク箇所された箇所の出力を対象タスクのラベルに変換するルールである verbalizer の 2 つがあり，その二つは合わせて prompt と呼称される [9]. 例えば, 感情分析タスクは表 1 のように元の文章 ‘Best pizza ever!’ を 'Best pizza ever! It was
表 1: 利用した template と verbalizer

[MASK].' のような入力に変形し, [MASK] の部分について，ラベルが正例のときは 'great'を，負例のときは 'terrible'を予測するようにモデルを学習することで，事前学習と同じような形でタスクを解くことができる.

prompt-based finetuning は [CLS] トークンの出力からラベルを予測する従来の head-based finetuning に比べて few-shot で良い性能を発揮することが知られている. Scao ら [6] はこの promptがもたらす効率性を average data points advantage (ADPA) という指標を用いて定量的に示した. 本研究ではこの ADPA の考え方を用いて prompt-based finetuning が否定の考慮に有用であることを示す.

## 2.2 自然言語処理における否定の処理

否定は命題の真偽を変化させるものであり，文章の意味を正しく理解する上で否定を理解することが重要であるため自然言語処理においても様々な研究で取り組まれてきた課題である [10]. しかし，近年の自然言語処理モデルでも否定を含む文章の処理を適切にできないことを指摘する研究は多くある.

Ettinger や Kassner ら [11, 12] は否定を含む穴埋め式質問応答タスクにおいて，事前学習済み言語モデルの出力が大力中の否定語の有無に影響されないことを示している。また, Ribeiro ら [1] は否定を含んだ人工のテキストのデータセットである checklist を用いて事前学習済み言語モデルや多くの商用の自然言語処理モデルが否定を含んだ入力に対して間違いやすいことを確認している. Hossain ら [2] は自然言語推論タスクにおいて多くのデータが否定を考慮せずに解ける問題を指摘し, 否定の考慮が必要なテストセットにおいて既存のモデルが低い性能であることを指摘した。

本研究はこのような現状の自然言語処理における課題を解決することに prompt-based finetuning が有用であるかを調べる.

## 3 提案手法

本稿では prompt-based finetuning の否定理解の効果を測る手法として ADPA (average data points advantage)を用いることを提案する. ADPA は Scao ら [6] によって提案されたものであり, prompt-based にすることによって得られる利得を学習データの数で表現したものである. 本節では 3.1 節で ADPAを紹介し，3.2節で ADPAを利用することによって，これまで評価が難しかった prompt-based finetuning $の$否定理解に与える影響を，定量的に調べることができると考える理由を示す。

## 3.1 Average Data Points Advantage

ADPA は比較対象のモデルがベースラインとなるモデルと比べてどの程度効率的に学習を進めることができるかを定量化した指標である. ベースラインモデルと比較モデルを複数のデータサイズの設定で学習，評価を行い性能を比較することで，比較モデルが平均的にどのくらい少ないデータでべースラインモデルと同程度の性能を達成できるか表現している.

ADPA はデータサイズが $x$ 以下の時のモデルの性能を示す関数 $\operatorname{Model}(x)$ を用いて $\frac{1}{X_{\text {max }}-X_{\text {min }}} \int_{X_{\text {min }}}^{X_{\text {max }}} \operatorname{Model}_{A}(x)-\operatorname{Model}_{B}(x) d x$ と表される.ここで $X_{\text {min }}, X_{\text {max }}$ は実験を行ったデータサイズの内最小のものと最大のものを示しており， $\operatorname{Model}(x)$ は離散的に得られた結果から線形補間されたものとなっている.

## 3.2 否定理解に関する指標

本研究では ADPA を否定理解を測る指標として， その他の指標に比べて適切であると考えた. 以下にその理由を説明する。

否定理解を測るその他の指標としてまず考えられるのが否定を含むデータセットにおける正答率である.これは確かに否定の理解の度合いと評価値が相関するため否定の度合いを測ることにつながると考

図 1: MNLI におけるデータサイズと性能の関係. 右側は否定のテストデータでの性能, 左側は一般のテストデータでの性能を示している. 赤線（上）が prompt-based で，青線（下）が head-based の正解率を示す.

えられる。しかし，複数モデルを比較する際に否定理解以外の要素によって差が生まれ得るため，この指標では否定理解の能力を直接的に測ることが難しい.

次に考えられる指標としては否定を含まないデー タでの評価値と否定を含むデータでの評価値の差分をとる指標である．しかし，この指標は，性質の異なる二つの「評価値の差分」の比較においては解釈が困難であり，手法間の比較には適さない。

一方で ADPA の指標は，モデルによってもたらされる利得を両方のテストデータで共通する「訓練データ数」の単位で表現しているため, 否定用テストデータと一般のテストデータでの評価值の性質の違いに影響されず，否定を含むテストデータでの利得と否定を含まないテストデータでの利得を比較することができるという利点がある.

## 4 実験

prompt-based finetuning $と$ head-based finetuning $に$ よって少数データの設定で感情分析タスクと自然言語推論タスクを学習し, その結果をADPAを利用した否定理解の指標を用いて実際に評価することで， prompt-based finetuning がテキスト分類タスクにおける否定理解に与える影響を調査する。

## 4.1 実験設定

実験では感情分析タスクとして SST-2, SST-3, SST-5 [13] を選択し, 自然言語推論タスクとしては RTE [14], MNLI [15] を選択した。これらはタスク中に否定を含む文章が一定割合含まれており，かつ否定の考慮が必要となるテストデータが入手可能であるタスクとして選んだ $[13,2]$.

実験は，各ラベルごとに $\mathrm{N}$ 個ずつ抽出した訓練データと検証データを用いた学習・検証と評価を繰
り返しながら，少数データ (数千データ以下) の範囲で $\mathrm{N}$ を増加させて行った (付録表 5 参照)，学習は Gao らの条件 [9] を参考に, 学習率 1e-5, 学習回数 1000step で行った. 100step ごとに検証データで評価した中で最も性能の良かったモデルを用いてテストデータでの性能を評価した。その評価値で ADPAを計算した．実験は性能の分散を考慮して 10 回ランダムシードを変えて行い，テストデータでの評価について対応のある両側 $\mathrm{t}$ 検定を行った. 事前学習済み言語モデルとしては Scao らの研究 [6] で prompt-based finetuning にて一貫した結果を示すと報告された roberta-large ${ }^{1)}[16]$ を利用した。

prompt は表 1 のものを使用した. SST に関しては，Gao らの研究 [9] を参考にし, 既存研究で利用されることの多い人手で作成された prompt を利用した. 一方で, MNLI, RTE については, 人手で作成された prompt に問題があったため, Gao らの研究で自動生成された prompt を利用した.（この点については比較結果を後で示す.)

テストデータで評価をする際には否定評価用のテストデータ (Negation) と否定評価用ではないテストデータ (Not Negation) の両方における prompt-based finetuning の ADPAを比較することによって否定理解の度合いを評価した。

SST では, 先行研究 [17] を参考に否定要素 (Negation cue) の候補を用意し（付録表 6),一般のテストデータのうち否定要素を含む文章を否定用のテストデータに分割して，否定を含むテストデー タ (Negation) と否定を含まないテストデータ (Not Negation)を作成した.

RTE・MNLI では既存の否定評価用データ [2]を Negation に用いた. Not Negation には各タスクのオリジナルのテストデータを用いた． Not Negation の

1) https://huggingface.co/transformers/
性質が SST と異なることに注意されたい.

RTE と MNLI の否定用テストデータはオリジナルのデータを元に人手で否定を加えて作成されており，SST では同じデータセットから分割されている.このことから, どちらの実験でも二つのテストデータの性能の差は基本的に否定の理解によってのみ変化することを仮定している。

## 4.2 結果

## prompt-based finetuning $の$ 効果

表 2 にテキスト分類タスクにおける prompt-based finetuning の ADPAを示す.この表より少数データの条件の自然言語推論のタスクにおける prompt-based finetuning の否定理解の性能の高さを読み取れる.図 1を見ても, prompt-basedがはじめから比較的高い性能を示している一方で，head-based では否定の理解は比較的緩やかに進み, prompt-based の性能に追いつくために多くの訓練データが必要であることがわかる。ここから，否定理解を事前学習済み言語モデルが事前学習によって獲得しており，言語モデリングの形でタスクを解くことによって，獲得された情報を活用可能であると考えられる。

一方で感情分析タスクにおいては, prompt-based finetuning の否定理解に対する効果を確認することができなかった.この理由としてはSST に含まれる否定の理解が言語モデルにとって容易であることが考えられる（付録表 7). 実際に 1024 データで SST-2を学習したモデルの Negationを含まないテストセットと含むテストセットでの正答率はそれぞれ 0.949, 0.942 でほとんど違いがなく, head-based でも容易に学習可能な知識であったことが考えられる。

表 2: average data points advantage

## template, verbalizer $の$ 影響

自然言語推論の template については'<SentA>? [MASK], <SentB>' [7] というものが考案されている (付録表 8).しかし, この template では<SentB>が否定を含む際に，<SentA>と<SentB>の関係に関わらず [MASK] 部が No となってしまうという問題が生
じることがある．例えば SentA='That man is young.', SentB='That man is not old.' という条件において，事前学習済み言語モデルが前の文は後の文を含意していること理解していても，英語の文法的には矛盾の label と対応する 'No'を予測することが正しいため,不正解の 'No'を予測してしまう．このような問題に対処するため本研究では NLI に関しては自動生成された prompt [9]を用いたが，表 3 に自動生成された prompt と人手で作成された prompt の比較結果を示す. 表の結果は，上記の template が否定の考慮に不適であることを示しており, prompt 設計の重要性に関する先行研究 [18] の主張とも一致している.

表 3: MNLI における template と verbalizer の影響

## モデル比較

roberta-large は Talmor ら [3] や田代ら [19] が主張するように，事前学習によって否定に関する知識を比較的多く獲得していると考えられるが，否定をあまり理解していないと考えられるモデルにおいても prompt-based finetuning による効果が観測されるかを調べるために，そのようなモデルの一つである roberta-base を選択し，MNLI データを利用して表 4 に示すように roberta-large モデルとの性能比較を実施した.

結果を見ると roberta-base では prompt-based finetuning が否定の理解に与える影響を確認することができなかった，ここから roberta-base の様に事前学習において多くの否定知識を獲得していないモデルにおいては prompt-based finetuning を用いても性能が向上するとは言えないことがわかる.

表 4: モデルサイズの影響

## 5 おわりに

本研究では prompt-based finetuning の事前学習知識を生かしやすい特性に着目し，テキスト分類タスクの否定を含むテストデータと一般のテストデータにおける average data point advantage を比較することによって, prompt-based finetuning が少数データの設定において否定の理解へ有用であることを示した。

## 参考文献

[1] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[2] Md Mosharaf Hossain, Venelin Kovatchev, Pranoy Dutta, Tiffany Kao, Elizabeth Wei, and Eduardo Blanco. An analysis of natural language inference benchmarks through the lens of negation. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9106-9118, Online, November 2020. Association for Computational Linguistics.

[3] Alon Talmor, Yanai Elazar, Yoav Goldberg, and Jonathan Berant. oLMpics-on what language model pre-training captures. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 743-758, 2020.

[4] Nikunj Saunshi, Sadhika Malladi, and Sanjeev Arora. A mathematical exploration of why language models help solve downstream tasks. In International Conference on Learning Representations, 2021.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Teven Le Scao and Alexander Rush. How many data points is a prompt worth? In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2627-2636, Online, June 2021. Association for Computational Linguistics.

[7] Timo Schick and Hinrich Schütze. Exploiting clozequestions for few-shot text classification and natural language inference. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 255-269, Online, April 2021. Association for Computational Linguistics.

[8] Timo Schick and Hinrich Schütze. It's not just size that matters: Small language models are also few-shot learners. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2339-2352, Online, June 2021. Association for Computational Linguistics.

[9] Tianyu Gao, Adam Fisch, and Danqi Chen. Making pretrained language models better few-shot learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3816-3830, Online, August 2021. Association for Computational Linguistics.
[10] Roser Morante and Caroline Sporleder. Modality and negation: An introduction to the special issue. Computational Linguistics, Vol. 38, No. 2, pp. 223-260, June 2012.

[11] Allyson Ettinger. What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 2020.

[12] Nora Kassner and Hinrich Schütze. Negated and misprimed probes for pretrained language models: Birds can talk, but cannot fly. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7811-7818, Online, July 2020. Association for Computational Linguistics.

[13] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[14] Ido Dagan, Oren Glickman, and Bernardo Magnini. The pascal recognising textual entailment challenge. In Proceedings of the First International Conference on Machine Learning Challenges: Evaluating Predictive Uncertainty Visual Object Classification, and Recognizing Textual Entailment, MLCW’05, p. 177-190, Berlin, Heidelberg, 2005. Springer-Verlag.

[15] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Ro $\{$ bert $\}$ a: A robustly optimized $\{$ bert $\}$ pretraining approach, 2020.

[17] Prakash Kumar Singh and Sanchita Paul. Deep learning approach for negation handling in sentiment analysis. IEEE Access, Vol. 9, pp. 102579-102592, 2021.

[18] Albert Webson and Ellie Pavlick. Do prompt-based models really understand the meaning of their prompts? CoRR, Vol. abs/2109.01247, , 2021.

[19] 田代真生, 上垣外英剛, 船越孝太郎, 高村大也, 奥村学. 事前学習済み言語モデルにおける否定の理解能力の調査. 情報処理学会研究報告, 第 2021-NL-249 巻, jul 2021.

## A 付録 : 実験条件の詳細

表 5: 各実験の $X_{\text {min }}$ と $X_{\text {max }}$

表 6: 否定要素の候補

表 7: 否定用テストデータの例

 &  \\

\cline { 2 - 3 } &  & \multirow{2}{*}{ contradiction } \\
\cline { 2 - 3 } &  & \multirow{2}{*}{ neutral } \\

表 8 : 人手で作成された自然言語推論用 prompt


# 単語埋め込みに効果的なノイズの検証

田屋侑希 小林一郎
お茶の水女子大学
\{g1620525,koba\}@is.ocha.ac.jp

## 概要

近年自然言語処理の分野においても，敵対的学習の研究が盛んに行われている。敵対的学習は，ある入力データに対してモデルを騙すような摂動を，正解ラベルに基づいて計算し, 求めた摄動を入力デー タに加えて学習する手法である. 敵対的学習ではモデルの頑健性や予測性能の向上が確認されているが，摄動の解釈性が乏しく，摂動の大きさはハイパーパラメータとなっている. そこで，摂動ではなく，入力データ付近に位置するようなノイズでも効果をもたらすのではないかという着眼点から, 本研究では，摂動の代わりに，類似している単語の方向に単語埋め込みをずらすことによる精度の向上を検証する。

## 1 はじめに

近年，自然言語処理の分野において，汎用言語モデル（BERT[1]，RoBERTa[2] 等）は様々なタスクで大きな成功を収めている。一方で，入力データの変化に敏感であることが知られている。例えばクラス分類問題において, 入力文のある文字を別の文字に，または一部の単語をその類義語に変換することでモデルの予測結果が変わることが確認されている [3][4][5]. このようなモデルの脆弱性から，入力データの変化に対するモデルの頑健性を向上させるため, 敵対的学習という学習手法が提案された [6][7]. 敵対的学習は，画像処理分野だけではなく, 自然言語処理分野においてもモデルの頑健性と予測性能の向上に有効であることが確認されている [8][9][10]. 敵対的学習は，ある入力データに対してモデルを騙すような摂動を，正解ラベルに基づいて計算し, 求めた摂動を入力データに加えて学習する手法である．また，摂動を加えていないデータをモデルに入力して，予測した值に基づいて摄動を計算する，仮想敵対的学習（VAT）も提案された [11].自然言語処理分野では，摂動を計算した後，単語埋
め込みに摂動を加算して新しい単語埋め込みを作成しているが，ここで加算される摂動の大きさはハイパーパラメータとなっている．摄動の大きさによって予測性能も変化し，摄動の大きさを大きくすると予測性能は低下する傾向を確認した（付録 B の図 3 参照)。一方で，摂動の大きさが小さい場合 (SMART のデフォルト値), 汎用言語モデルの低層

摄動の効果が見られないことを主成分分析 (PCA) の可視化を用いて確認した (付録 A の図 2 参照). その理由として, Transformerをべースとした言語モデルでは，トークンの埋め込み (Token Embeddings) だけではなく, 文埋め込み (Segment Embeddings),位置埋め込み（Position Embeddings）が加算された後，正規化と DropOutを施して単語埋め込みを作成しているため, 同じトークンでも入力データによって単語埋め込みが異なり，ばらつきがあることが考えられる。すなわち， RNN 等の従来の言語モデルに比べて，汎用言語モデルは比較的入力データの微量な違いに疎いモデルであるといえる. 本研究における手法の説明をする前に用語の定義を行う. 本論文では，逆伝播を用いて計算した摂動と区別するため，逆伝播を用いずに作成したべクトルをノイズと記す. 本研究では，摂動の代わりに類似している単語の方向にノイズを加えることで，逆伝播を用いて摄動を計算せずに予測性能を維持できるモデルを提案する。また，シソーラスである WordNet [12]を用いた類義語置換と提案手法を比較して，埋め込み空間上で似ている単語の方向にベクトルをずらす効果について検証する。

## 2 敵対的学習

一般的に，敵対的学習では式 1 を目的関数として用いる.

$
\min _{\theta} \mathbb{E}_{(x, y) \sim D}\left[\max _{\delta} l(f(x+\delta ; \theta), y)\right]
$

この式は，データセット $D$ の入力 $x$ に摂動 $\delta$ を加
算したベクトルをモデル $f$ （パラメータ $\theta$ ） に入力し，正解ラベル $y$ との誤差が最大になる摄動 $\delta$ を求め，この摂動 $\delta$ を加えた入力データ $x+\delta$ を作成し, モデル $f$ の全体の損失 $\mathbb{E}$ が最小になるパラメータ $\theta$ を求めることを意味する。この式 1 における， $l$ を敵対的損失と呼び，PGD (Projected Gradient Descent) [7] を解くことで $\delta$ を求める. 本研究では提案手法の比較対象として SMART [9]を利用した. SMART は仮想敵対的学習 [11]を用いており，目的関数は式 2 のとおりである.

$
\begin{array}{r}
\min _{\theta} \mathbb{E}_{(x, y) \sim D}[l(f(x ; \theta), y)+ \\
\left.\alpha \max _{\delta} l(f(x+\delta ; \theta), f(x ; \theta))\right]
\end{array}
$

式 1 と異なる点は, 正解ラベル $y$ ではなく, 自身のモデルの予測結果 $f(x ; \theta)$ との誤差に対して摄動を求めている点である. 仮想敵対的学習における敵対的損失 $l$ は，入力データ $x$ とその近傍のデータ $x+\delta$ はモデルが同じ予測をするという制約を意味する正則化項とみなすことができる．SMART での摂動 $\delta$ の求め方を簡単に記す.まず初めに，正規分布に従いランダムに生成したノイズ (\|init_noise $\|_{\infty} \leq \epsilon$, $\epsilon$ はハイパーパラメータ)を $\delta$ として入力データに足し合わせ，敵対的損失が最大になるような摂動を計算する. 求めた摂動 $\left(\frac{\delta}{\|\delta\|_{\infty}}\right)$ に係数（SMART では 0.001）を掛けて，初めにランダムに生成したノイズ（init_noise）に足し合わせて摂動 $\delta$ とする。また，式 2 の $\alpha$ は一般的な損失と敵対的損失のトレー ドオフを制御するハイパーパラメータで，本研究では SMART と同様， 1.0 に設定した.

## 3 提案手法

提案手法の概要図は図 1 に示す. 図 1 の Step 1 は通常のファインチューニングであり, Step2 で式 2 における敵対的損失を求めている。 まず，提案手法に必要な事前準備について述べた後，図 1 における Step2 の Token Embeddings として効果的な単語埋め込みを検証するため，提案手法を実験 1 から実験 3 に分けて説明する。

## 3.1 事前準備

BERT の出現語彙（30,522 単語）の単語埋め込み （Token Embeddings）同士のコサイン類似度を総当たりで計算する．後の手順の利便性のため，単語ごとにコサイン類似度が降順になるように単語 ID を並び替えた状態で保存しておく。また，RoBERTa（出現語彙数：50,265 単語）においても同様の処理を行う.

## 3.2 実験 1 : 類似単語の方向にノイズ付加

Step1 で大力したそれぞれの Token Embeddings ( $\left.\boldsymbol{E}_{\text {original }}\right)$ に対して，最もコサイン類似度が高い単語の Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ を求めて, これら

$
\boldsymbol{E}_{\text {diff }}=\boldsymbol{E}_{\text {similar }}-\boldsymbol{E}_{\text {original }}
$

Step2 の全部（BERT では [CLS]，[SEP]，[PAD], RoBERTa では<s>，</s>，<pad>以外）の Token Embeddings に差ベクトル $\left(\boldsymbol{E}_{\text {diff }}\right)$ を足し, 新しい Token Embeddings（ $\boldsymbol{E}_{\text {new }}$ ）を作成する（提案手法 1-1）.

$
\boldsymbol{E}_{\text {new }}=\boldsymbol{E}_{\text {original }}+\text { noise_size } \times \boldsymbol{E}_{\text {diff }}
$

ここで，類似度が高い単語の Token Embeddings にどの程度近づけるかを，noise_size 係数 $(0 \leq$ noise_size $\leq 1$ ）を用いて決定する. noise_size が 1 の場合は，コサイン類似度が高い単語の Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ を Step2 に入力していることを意味する。本手法では，noise_size を 0.5 に設定した. つまり Step2 の Token Embeddings は Step1 の Token Embeddings $\left(\boldsymbol{E}_{\text {original }}\right)$ とコサイン類似度が高い Token Embeddings $\left(\boldsymbol{E}_{\text {similar }}\right)$ の中間に位置するべクトルである. noise_size のアブレーションスタディの結果は付録 B に載せる。また，本研究では，Step1 の Token Embeddings に加算される noise_size $\times \boldsymbol{E}_{\text {diff }}$ をノイズと定義する。提案手法 1-1 では，常時コサイン類似度が一番高い単語が選ばれてしまうため, コサイン類似度が高い 10 単語の中からランダムに選択して $\boldsymbol{E}_{\text {similar }}$ とする設定でも実験を行った（提案手法 1-2).

## 3.3 実験 2 ：部分的な単語にノイズ付加

次に全部の単語ではなく一部（1文の $15 \%$ ）の単語にノイズを加える実験を行なった。ノイズを加える単語を部分的にすることの効果を確認する。ノイズの加え方は提案手法 1-1 と同様の手法を用いる.新しい Token Embeddings（ $\boldsymbol{E}_{\text {new }}$ ) に置き換える単語の決め方は，下記の 3 通りを実験した。

## 提案手法 2-1 ランダム

提案手法 2-2 Saliency の値が高い単語

提案手法 2-3 Saliency の値が低い単語

提案手法 2-2，2-3 における Saliency [13] の値とは, Step1 の損失を用いて，Step1 の Token Embeddings に

図 1 提案手法の概要図

対する勾配を計算し，勾配の絶対値を単語埋め込みの次元数分足し合わせたものである. 一般的に， Saliency の值は，予測結果の判断根拠を解釈するために利用されている。つまり，Saliency の値が高いほど，予測結果に影響を与えている単語であると解釈することができる.

## 3.4 実験 3 : WordNet を用いたノイズ付加

次に，Step2 に入力する単語として，類義語またはコサイン類似度が高い単語のどちらが効果的かを確認する. 図 1 の Step1 で入力した単語の類義語を WordNet ${ }^{1}$ ) で検索し，類義語が存在する場合は類義語を Step2 に入力した（WordNet_1.0). 類義語が複数存在する場合は，ランダムに 1 つ選んで入力した. この時, Step2の Token Embeddings は Step1 の単語の類義語そのものを意味するため, 実験 1 におけるnoise_size は 1.0 と解釈できる。また，提案手法 1-1 でnoise_sizeを 1.0 とした場合，つまり Step2 でコサイン類似度が最も高い単語を入力した場合の実験（提案手法 1-1_1.0）も行い比較する。また，WordNetを用いて，Step2 に入力する類義語を決定し，noise_size を 0.5 に設定した実験も行った

(WordNet_0.5).

## 4 実験

使用するデータセットデータセットは ANLI (Adversarial Natural Language Inference) ${ }^{2}$ [14] 利用した. ANLI は汎用言語モデル (BERT，RoBERTa） が予測を誤るデータを積極的に検証データとテスト

1) https://wordnet.princeton.edu/

2) https://dl.fbaipublicfiles.com/anli/anli_v1.0.zip
データに集めたものである。また，データセットは $\mathrm{A} 1 \cdot \mathrm{A} 2 \cdot \mathrm{A} 3$ から成り, $\mathrm{A} 1, \mathrm{~A} 2, \mathrm{~A} 3$ の順にモデルが予測を誤りやすいものになっている。データ数は表 1 の通りである.

評価方法評価指標は正解率 (Accuracy)を用いる。また，SMART の実験方法に倣い， ANLI（A1・ $\mathrm{A} 2 \cdot \mathrm{A} 3$ ）の訓練データを用いて学習し， A1・A2・ A3 それぞれの検証データ，テストデータに対して評価を行った。

実験設定実装は, $\mathrm{MT}^{2}-\mathrm{DNN}^{3}{ }^{3}[15][16] をも$ とに行い，事前学習済み言語モデルは BERT $_{\text {BASE (uncased)[1], 及び RoBERTa }}^{\text {LARGE }}$ [2] を用いた. ファインチューニングの設定として, 学習率は $2 \times 10^{-5}$, バッチサイズは $32\left(\right.$ BERT $\left._{\mathrm{BASE}}\right), 16$ $\left(\right.$ (oBERTa $\left._{\text {LARGE }}\right)$, エポック数は 6 , 最適化手法は Adam [17] を用いた. また，全学習ステップのうち始めの $10 \%$ で，学習率を 0 から設定した学習率まで線形に学習率を増加させる warm up を用いた. 先行研究の SMART [9] における摄動の大きさ等はデフォルトの設定を利用した。

## 4.1 実験結果・考察

実験結果は表 2 , 表 3 に示す. A1・A2・A3 それぞれのテストデータで評価し，その算術平均を取った值を表 2 , 表 3 に，各データセット（A1・A2・A3） に対する正解率は付録 C の表 4 に記す. また，実験結果は異なるシード値で 6 回実験を行い，その評価結果の平均を取った値である. 表 2 , 表 3 の 1, 2 行目は通常のファインチューニングと SMART の再実験結果である. 以降，テストデータにおける正解率について言及する。

案手法 1-1・1-2 は，通常のファインチューニング・ SMART と比較して正解率が向上した. 提案手法 2-1・2-2・2-3 の結果からは部分的にノイズを加えるより文全体にノイズを加える方（提案手法 1-1）が効果的であることが確認できた. また， Saliency の值が低い単語より高い単語にノイズを加える方が効果があった. RoBERTa LARGE では，提案手法 1-1・ 1-2 は通常のファインチューニングと同等の結果となった. 一方，部分的にノイズを加えた提案手法 2-1・2-3 は SMART より正解率が向上した.また, BERT $_{\text {BASE }}$ とは異なり, Saliency の値が高い単語よりも低い単語にノイズを加えた方が効果的であることが確認できる。

表 3 実験結果（実験 3 における正解率）

実験 3 表 3 から，BERT ${ }_{\text {BASE }}$ において Step2 に入力する単語を，WordNetを用いて類義語にした （WordNet_1.0）よりStep1 の単語埋め込みとのコサイン類似度が高い単語に置き換えた方（提案手法 1-1_1.0）がやや効果があることが確認できた. ま
た，提案手法 1-1 と同様，WordNetを用いた場合においても，類義語そのもの（WordNet_1.0）より類義語との中間に位置するように Step2 の Token Embeddings を作成した方（WordNet_0.5）が正解率が高いことが確認できた. RoBERTaLARGE においては， BERT ${ }_{\mathrm{BASE}}$ の結果とは異なり，コサイン類似度が高い単語よりも WordNet における類義語の方が正解率が高い結果となった. WordNetを用いて類義語に置き換える際，類義語が存在しない単語もあるため, 結果的に 1 文の約 40\%（BERT BASE は約 30\%）の単語が置換されている. 実験 2 の結果も踏まえて, RoBERTa $_{\text {LARGE }}$ では部分的にノイズを加えることに効果があると考えられる. noise_size に関しては, $\mathrm{BERT}_{\mathrm{BASE}}$ と同様，0.5 にしたほうが正解率は高くなることが確認できた。また，WordNet_0.5 は SMART よりも大きく精度が向上した.

ノイズの大きさ付録 B の図 3 において, noise_size 0.5 の時が一番精度が良くなる理由として，全ての単語にできるだけ大きなノイズを加える場合，どの単語からもちょうど中間となる 0.5 のサイズが大きなノイズになると考えた。

また，単語埋め込みに対する摂動またはノイズの大きさ（L2ノルム）の割合を計算したところ， SMART における摄動は約 $0.003 \%$ ，提案手法 1-1 のノイズは約 30\%，WordNet_0.5 のノイズは約 70\%であり，ノイズの大きさを大きくしてもノイズの方向性に意味がある場合，精度が低下しないことが確認できた.

## 5 まとめ

本研究では，敵対的学習における摂動の代わりに，類似している単語の方向にノイズを加えることで SMART と同等の精度が出ることを確認した. また，通常のファインチューニングと比較して順伝播が 2 回，逆伝播が 1 回多い敵対的学習を，順伝播が 1 回のみ多いモデルに置き換えることができ，計算時間を約 $23 \%$ 削減することができた. 敵対的学習において，必ずしも摂動が重要ではないことを示唆する一つの手法を提案した。一方，提案手法のノイズの大きさが，モデルの予測性能向上に有効である証拠が不十分であるため，ノイズの有効性について検証していきたい. 本研究では, BERT $_{\mathrm{BASE}}$ と RoBERTa $_{\text {LARGE }}$ を用いて実験を行ったが，それぞれで異なる実験結果が確認できたため，各モデルの特徵や埋め込み空間の調査を継続したい。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[3] Shuhuai Ren, Yihe Deng, Kun He, and Wanxiang Che. Generating natural language adversarial examples through probability weighted word saliency. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1085-1097, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. Is bert really robust? a strong baseline for natural language attack on text classification and entailment, 2020.

[5] Linyang Li, Ruotian Ma, Qipeng Guo, Xiangyang Xue, and Xipeng Qiu. BERT-ATTACK: Adversarial attack against BERT using BERT. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6193-6202, Online, November 2020. Association for Computational Linguistics.

[6] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572, 2014.

[7] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083, 2017.

[8] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Thomas Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for language understanding. arXiv preprint arXiv:1909.11764, 2019.

[9] Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong Liu, Jianfeng Gao, and Tuo Zhao. Smart: Robust and efficient fine-tuning for pre-trained natural language models through principled regularized optimization. arXiv preprint arXiv:1911.03437, 2019.

[10] Xiaodong Liu, Hao Cheng, Pengcheng He, Weizhu Chen, Yu Wang, Hoifung Poon, and Jianfeng Gao. Adversarial training for large neural language models. arXiv preprint arXiv:2004.08994, 2020.

[11] Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, and Shin Ishii. Virtual adversarial training: a regularization method for supervised and semi-supervised learning. IEEE transactions on pattern analysis and machine intelligence, Vol. 41, No. 8, pp. 1979-1993, 2018.

[12] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, p. 39-41, nov 1995.

[13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps, 2014.

[14] Yixin Nie, Adina Williams, Emily Dinan, Mohit Bansal, Jason Weston, and Douwe Kiela. Adversarial NLI: A new benchmark for natural language understanding. In Pro- ceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4885-4901, Online, July 2020. Association for Computational Linguistics.

[15] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4487-4496, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Xiaodong Liu, Yu Wang, Jianshu Ji, Hao Cheng, Xueyun Zhu, Emmanuel Awa, Pengcheng He, Weizhu Chen, Hoifung Poon, Guihong Cao, and Jianfeng Gao. The microsoft toolkit of multi-task deep neural networks for natural language understanding. arXiv preprint arXiv:2002.07972, 2020.

[17] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. ICLR (Poster) 2015, 2015.

## A 単語埋め込みの可視化

図 2 主成分分析（PCA）による単語埋め込みの可視化：she，he，you の 3 単語を BERT $\mathrm{BASE}_{\mathrm{BAS}}$ に入して作成した単語埋め込み（BERT Embeddings）(丸で囲まれている点集合)，SMART を用いた摂動を加えた単語埋め込み，提案手法 1-1を用いてノイズを加えた単語埋め込みの可視化結果 (左). $\mathrm{BERT}_{\mathrm{BASE}}$ の 2 層目の出力の単語埋め込みの可視化 (右). 左右の図を比較して，BERT $\mathrm{BASE}_{\mathrm{BAS}}$ の 2 層目の出力（右）は SMART の摂動を加えた単語埋め込みと摂動を加えていない単語埋め込みの区別がつかないことが分かる．可視化には TensorBoard の Embeddings Projector を利用.

## B摂動およびノイズの大きさのアブレーションスタディ

図 3 左 2 つの図：SMART において摄動の大きさを変化させたときの正解率のグラフ（左：BERT $\mathrm{BASE}_{\mathrm{BAS}}$, 右： RoBERTa $_{\text {LARGE }}$ ）。横軸は埋め込みベクトルの L2ノルムに対する摂動の L2 ノルムの割合 (\%). 右の図 : 提案手法 1-1 におけるnoise_size のアブレーションスタディ（BERT $\left.{ }_{\mathrm{BASE}}\right)$.

## C 実験結果詳細

表 4 各データセット（A1，A2，A3）における実験結果：太字は各データセットにおいて一番正解率が高い值，下線は SMART より正解率が高い值を表す。提案手法は，ANLI データセットの中で難易度が高いA3 のデータセットに対する正解率が向上している傾向がみられる.


# 文脈化された単語理め込みの語義への 単語頻度と語義分布の影響

Cao Zhihan
東京工業大学 情報理工学院
cao.z.ab@m.titech.ac.jp
}

徳永健伸
東京工業大学 情報理工学院
take@c.titech.ac.jp
}

義への影響を「探査子 (probe)」を用いて調査する.
## 2 先行研究

静的な単語埋め込みと頻度との関係は，理論的にも実証的に研究されており，高頻度の単語の静的単語埋め込みは単語の意味をよりよく捕まえている傾向が示されている $[2,3,4]$. 静的単語埋め込みに比べると, CWE と頻度に関する先行研究はまだ少ない. Yu らは Transformer 系の PLM の統語的側面を探求した [5]. 結論として，これらの PLM は確かに一部の単語の統語的性質をよりよく捉えてはいるが，単語頻度はそれを説明できる要因ではなかった。一方で，Zhou らは，CWE は同じ単語の埋め込みがなす意味部分空間の大きさは，その単語頻度に比例していると主張している [6].

このように，頻度と CWE との関係については見解が一貫していない。また，CWE の語彙意味論的な側面に注目した研究があるが [7]，それを単語頻度と関係づけて論ずるものは見られなかった. 本研究ではこの議論上の空白を補填するために, BERT 系PLM を対象とし，以下の研究課題を設定する.

RQ1：CWE は異なる粒度の語義を捉えているか $\mathrm{RQ2}$ : 文脈化前後の単語埋め込みで異なる粒度の語義を捉える能力は変わるか RQ3：CWE の形状は異なる粒度の語義を捉える能力にどう関与するか

RQ4：RQ1-3 は単語頻度と語義分布との関係するか

RQ2 でいう文脈化以前の単語埋め込みは，BERT などの PLM の埋め込み層の出力のことをさす。その理由は，埋め込み層ではトークンと位置などの埋め込みの和にレイヤー正則化を適用するが，この埋め込み層の出力は文脈が関与しないからである. RQ3 でいう CWE の形状は，本研究で CWE の異方性 (anisotropic)をさす。異方性は BERT 系 CWE の各次元の值のスケールが相違する性質であり，それの
形状的特徴と考えられる. BERT 系 CWE の異方性を正則化すれば，CWEを用いた情報検索の性能を上げられ，異方性と語義との関連があると言われている [8]. 本研究ではそれに基づき, RQ3 では CWE の形と異なる粒度の語義との関連を探る. RQ4 で語義の分布を考慮する理由は，高頻度の単語ほど多義となり, 語義分布のエントロピーが高くなる可能性があるので，仮に頻度と語義との関連が見られても，それは果たして頻度だけによるものかはわからないからである．語義分布のエントロピーを一定の数値に固定すれば, 語義と頻度との関係をより正確に把握できる。なお，本研究でいう単語頻度はレンマの頻度で，エントロピーは以下で定義する。

$
H(S \mid W=w)=\sum_{s \in S} P(s \mid W=w) \log P(s \mid W=w)
$

ただし, $S$ は語 $w$ の全ての可能な語義の集合で, $P(s \mid W=w)$ は語 $w$ がコーパス中で語義 $s$ として使われた Laplace 平滑化後の頻度である.

## 3 方法

本研究では，上述の研究課題に対して探査子を用いてアプローチする。この手法では，PLM が生み出した単語 $w$ の CWE cwe $(w)$ を, 分類器 $\operatorname{probe}(\cdot)$ の入力として与え, 対象とする言語学的性質 $l$ を予測する. この予測の性能によって, 性質 $l$ が埋め込みにどの程度反映されているかを評価する。本研究では探査タスクを 3 種類設定した. これらのタスクを 3.1 で詳述する. 3.2 ではデータセットの構成方法を，3.3では評価方法を説明する。

## 3.1 語義の探査タスク

本節では，RQ1 に答えるために CWE に粒度の異なる語義の情報がの埋め込みにどの程度反映されているかを調査する実験について述べる。

多義語は周囲の文脈がによって，文中での意味が確定できる．したがって，もしCWEにうまく語義が埋め込めていれば，埋め込みから正しい語義に分類できるはずである.このような仮説を踏まえて， WordNet における Synset, Supersense, Hypernyms $の$異なる粒度の語義を同定するタスクを設定した。

Synset と Supersense 探査タスク (以下, syp と sup) では語の CWE から，その語の synset， supersense を探査子で予測する.ここでいう synset と supersense はそれぞれ WordNet [9] で定義されているものであ表 1 実験で使用する性能指標

り，両者とも単語の意味を示すものであるが，前者が比較的具体的な意味を示すのに対し, 後者は品詞と意味カテゴリだけに対応する抽象度が高いものである。したがって，syp と supでは CWE の異なる粒度の語義を埋め込む性質を調査できると考えられる. syp と sup では精度（syp-acc と sup-acc）を性能の指標とする。

Hypernyms 探査タスク (以下, hyp) では syp と同じように synset を予測するが，1 つの synset だけでなく, hypernym 階層において根までの経路中のすべての synsetを予測するマルチラベル分類をおこなう. hyp を取り入れたひとつの理由は, syp ではすべての synset を同等に扱い 1 つの synset のみを出力するが，synset 同士は hyponymy の関係をなしたりして必ずしも同等ではないからである. もうひとつの理由は, supersense と synset では意味の抽象度の隔りがかなり大きいが，その中間の粒度の意味の違いを調査するためである. hyp を取り入れることで， CWE の意味の抽象度の違いをより細かく評価できると考えられる. hyp では精度と再現率 (hyp-rec, hyp-pre）を性能の指標とする。本研究で採用するすべての性能指標を表 1 にまとめた。線形的な探査子は $\operatorname{cwe}\left(w_{i}\right)$ と $l_{i}$ との真のパターンをより捉えられると報告されて，また， L2 正則化はこの能力を高めると報告される [10]. その結果を受けて, 本研究の全ての探査子は L2 正則化された線形的モデルを使用する. ただし， syp と $\sup$ の探査子では出力層で softmax 関数を, hyp では sigmoid 関数を使用する.

## 3.2 データセット

SemCor コーパスから単語埋め込みと正解語義のペアを抽出し, 実験用のデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\}_{i \in[1, N]}$ を構築した. ただし， $N$ はコーパス中の総単語出現数, $\operatorname{cwe}\left(w_{i} ; m\right)$ は PLM $m$ が生み出した単語 $w_{i}$ の CWE である. $w_{i}$ が複数の wordpiece に分割された時には，それらの CWE の平均を $\mathrm{cwe}\left(w_{i} ; m\right)$ とする. 対象モデルは BERT-baseuncased, BERT-base-cased と RoBERTa-base の 3 つである. CWE は各モデルの隠れ層の出力の平均と

する.

訓練セットをランダム抽出により生成すると，高頻度の単語を含む実例を多く含んでしまう. 探査子自体もひとつのモデルなので，訓練セットに頻出のパターンをよりよく捉えられると予想されるが，これは頻度と CWE の関係を探求する上で好ましくない. したがって, 本研究では訓練セットを抽出する際に，2つの抽出方法をとった. 1 つは通常のランダム抽出で，もう 1 つは層化抽出である. 層化抽出ではデータセット $\left.\{\left(\operatorname{cwe}\left(w_{i} ; m\right), l_{i}\right)\right.\} を w_{i}$ のレンマの頻度により 10 個の部分集合に分割してから，それぞれから固定の割合でランダム抽出する. いずれの抽出法でも，データセットは 6 割を訓練セットに，4 割をテストセットにした. 異なる調査対象モデルと探査子用の訓練セットを抽出する際にはランダムシードを固定した.

## 3.3 評価方法

RQ2, 3 にアプローチするために, 文脈化利得 (Contextualization Gains, CN) と正規化利得 (Normalzation Gains, NG) を定義する.

CG は RQ2 のために用意した. CGを計算するため, データセット中の事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ の $\mathrm{cwe}\left(w_{i} ; m\right)$ を, 単語 $w_{i}$ の同じモデルの埋め込み層の出力 $\operatorname{static}\left(w_{i} ; m\right)$ に置き換えて統制分類器を学習する. CG は探査子と統制分類器の性能の差として定義するので，文脈化が有効であれば CG が大きくなる。

NG は RQ3 のために用意した. $\mathrm{Su} らの$ bertwhitening [8] に基づき, NG では下式のとおり訓練データを書き換えて統制分類器を学習する.

$
\begin{aligned}
\boldsymbol{\mu} & =\frac{1}{N} \sum_{j=1}^{N} \boldsymbol{c}_{j} \\
\boldsymbol{\Sigma} & =\frac{1}{N}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right)^{T}\left(\boldsymbol{C}-\mathbf{1} \boldsymbol{\mu}^{T}\right) \\
\operatorname{norm}\left(\boldsymbol{c}_{j} ; \boldsymbol{\mu}, \boldsymbol{\Sigma}^{-\frac{1}{2}}\right) & =\left(\boldsymbol{c}_{j}-\boldsymbol{\mu}\right) \boldsymbol{\Sigma}^{-\frac{1}{2}}
\end{aligned}
$

ただし, $\boldsymbol{c}_{j} \in \mathbb{R}^{d}$ は $d$ 次元の CWEで, $\boldsymbol{C}=\left[\boldsymbol{c}_{1}, \ldots, \boldsymbol{c}_{N}\right]^{T}$ でサイズ $N$ の訓練セット中の CWE による行列である. $\mathbf{1} \in \mathbb{R}^{d}$ は各要素が 1 の $d$ 次元のベクトルである. $\boldsymbol{\Sigma}$ は実に $\boldsymbol{C}$ の各次元についてのサンプル共分散行列である. norm のパラメータは訓練セットで計算する.この書き換え方は分散を共分散に置き換えた Z-socre と見なせる．訓練セットの CWE による行列について正規化をして CWE の異方性を削減する. $\mathrm{NG}$ は統制分類器からの探査子の性能の差分で
あるが，探査子の性能について引き算の向きを注意されたい。もし異方性が CWE の語義と関わるのなら，NGの絶対値は大きいと予想される.

RQ4 に答えるために，各性能指標と 2 つの利得を batch $_{\text {ef }}$ で計算する. batch $_{\text {ef }}$ はテストセットの部分集合で，同バッチ内の事例のエントロピーと頻度も同等である. $e$ と $f$ はそれぞれの語義分布のエントロピーと頻度のランクである ${ }^{1)}$. エントロピー $e$ を固定して,$f$ が大きくなるに連れて, 各 batch $_{e f}$ で計算された指標の値の変化を見れば，RQ4 に答えることができる.

## 4 実験結果

## 4.1 概要

表 2 層化抽出法の場合の結果一覧

表 2 に，BERT-base-uncased によるCWEを用いた，層化抽出法の場合の実験結果をまとめた ${ }^{2}$. CG と $\mathrm{NG}$ の列は異なる性能指標における文脈化利得と正規化利得である. Static，Static+CG と Static+CG+NG の列は，それぞれ非文脈化単語埋め込み，CWE，正規化後の CWE での探査子の性能である。太字は該当列の絶対値としての最大值を意味する. 全体的に CWE での性能は hyp-pre と sup-acc が大きく, NG は絶対値として hyp の全ての評価指標に比較的に大きく, CG は hyp-rec だけ大きい. Static+CG+NG と Static を比較すれば, hyp-rec と sup-acc だけ増加しなかったことがわかる.

syp-acc と sup-acc では, CG と NG は両方ともに正であることから，BERT 系 PLM の非文脈化単語埋め込みは，文脈化と正規化によって抽象度の違いによらず語義を単体で捉える能力が向上する．抽象的語義の場合，向上の幅はより大きい. しかし, hyp-rec は文脈化で増加して正規化で減少する傾向を示す.

1) 事例 $\left(\mathrm{cwe}\left(w_{i} ; m\right), l_{i}\right)$ について, $w_{i}$ の語義分布のエントロピーが 0.04 以下，つまり実質上の一義語ならば，エントロピーランクを 0 とする. エントロピーランク 1 から 4 の分割は，データセットの単語のエントロピー分布の四分位点による.

2）抽出法や PLM のモデルが結果に影響をしない．すべての抽出法と PLM の結果は付録の表 3 を参照されたい

つまり，CWE は文脈化でマルチレベルの抽象度の意味を同時に捉えるようになり，正規化したらそれができなくなる.

一方, hyp-pre は hyp-rec と逆の傾向である. hyppre は低くなるのは，hypernym 階層において根までの経路上にない無関係の語義を多く誤同定してしまった場合である.ここでいう無関係な語義は，そもそも真の語義とは完全に別種の語義と，ある抽象度では同義であるが細部が違う語義の 2 種類を含む. これと hyp-pre の傾向を踏まえて，CWE 中の無関係な語義は文脈化の前で少なく, 文脈化後で増えるが，正規化で取捨選択されると考えられる。 このことから，CWE の異方性は語義の網羅性と関係することを示唆している。つまり，ある単語の BERT 系 CWE は周囲の文脈から語義を豊かにするが，同時に語義の余剰も生み出す. これ過程の結果は CWE の異方性に反映される。

## 4.2 詳細

図 1 各評価指標の単語頻度との相関 (Spearman の R)

図 1 は，エントロピーランク $e$ を固定し, batch $_{e f}$ で計算した各評価指標と頻度ランク $f$ とのスピアマン相関係数を示す. 抽出方法は結果に影響しないので，ここでは層化抽出の結果だけを示す. 大多数の場合，エントロピーの増加が Static+CG，CG と NG と頻度との相関程度を軽減するとみられる。

Static+CG 各指標において，Static+CG と頻度との相関係数はほとんど非負であるが，値がエントロピーの増加につれて減少する。つまり，BERT 系 CWE は，抽象度と関係なく，低エントロピーで高頻度の単語ほど意味をより捉えている。

CG CG は syp-acc で値も頻度との相関係数も正で，syp-acc で値が正で相関係数が負である。これは CWE は文脈から，低頻度語ほど抽象的な語義を，頻出語ほど具体的語義の情報を有効に獲得している. つまり，PLM は低頻度語の大雑把な意味を文脈から推測し，高頻度語ならよりきめ細かい意味も取りこんでいると言える. hyp-pre の結果から，文脈化は CWE に意味の余剩をもたらすが，CG が頻度と相関係数が正なので，頻出語ほどこの余剩が少ない3).

NG NG は sup-acc と syp-acc とも値が正で相関係数が負である。これは CWE の異方性を正すことによる利得は，粒度と関係なく低頻度語ほど大きい。 つまり，低頻度語の CWE の異方性には，無関係な語義と関連すると思われる. NG は hyp-rec で值であるが相関係数の絶対値がエントロピーランク 1 以外に小さい. 実際，正規化は CWE の文脈化による意味の網羅性を軽減するが，この効果は頻度と正の二次関数的な関係をなしており，エントロピーが小さいほどその傾向が顕著である ${ }^{4)}$. その極值は比較的低い頻度ランクに出現する。つまり，比較的に低エントロピーで低頻度の単語の CWE の異方性がなくなったら，意味の網羅性が小さくなる．

## 5 結論

以上より，本研究の RQ1 から RQ4 に即して結論を述べる。（RQ1）CWE は異なる粒度を捉える能力があるが，（RQ2\&3）文脈化前後でも，さらに異方性を修正するかどうかによっても，その能力が変化する。文脈化は語義を豊富に埋め込めるが，同時に無関係の語義も埋め込んでしまい，語義の余剰を招く. しかし, 余剩語義は CWE の異方性と関係し,正則化で解消可能である。（RQ4）1)BERT 系 CWE の意味と単語頻度および語義分布との関係について，以下 3 点が確認された.

1. BERT 系 CWE は意味の粒度と関係ぜずに，高頻度で低エントロピーの単語ほど意味をより捉えられる

2. 高頻度語ほど具体的な意味を正確に文脈から取り込み，語義の余剩が少ない

3. 比較的に低エントロピー語の BERT 系 CWE は正則化による余剩語義の解消は頻度と相関し, その中でも比較的低頻度の単語は解消程度が大きい.

## 参考文献

[1] George A Miller, Claudia Leacock, Randee Tengi, and Ross T Bunker. A semantic concordance. In Human Language Technology: Proceedings of a Workshop Held at Plainsboro, New Jersey, March 21-24, 1993, 1993.

[2] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z Ghahramani, M Welling, C Cortes, N Lawrence, and K Q Weinberger, editors, Advances in Neural Information Processing Systems, 2014.

[3] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. Frage: Frequency-agnostic word representation. 2018.

[4] Laura Wendlandt, Jonathan K Kummerfeld, and Rada Mihalcea. Factors influencing the surprising instability of word embeddings. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2092-2102, 2018.

[5] Charles Yu, Ryan Sie, Nicolas Tedeschi, and Leon Bergen. Word frequency does not predict grammatical knowledge in language models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4040-4054, 2020.

[6] Kaitlyn Zhou, Kawin Ethayarajh, and Dan Jurafsky. Frequency-based distortions in contextualized word embeddings. 2021.

[7] Ivan Vulić, Edoardo Maria Ponti, Robert Litschko, Goran Glavaš, and Anna Korhonen. Probing pretrained language models for lexical semantics. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7222-7240, 2020.

[8] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. 2021

[9] Christiane Fellbaum, editor. WordNet: An Electronic Lexical Database. The MIT Press, 1998.

[10] John Hewitt and Percy Liang. Designing and interpreting probes with control tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2733-2743, 2019 .

## A 付録 (Appendix)

図 $2 \mathrm{CG}$ の詳細/Layered Sampling/BERT-base-uncased

図 $3 \mathrm{NG}$ の詳細/Layered Sampling/BERT-base-uncased

図 2 と図 3 はそれぞれ，各評価指標とエントロピーランクにおける CG と NG の詳細な結果を示している．たとえば，図 2 の syp-acc の列の一番右にあるサブグラフは，エントロピーランク４の場合の, Synset 探査子の精度について計算した batch $_{e f}$ の文脈化利得と $f$ とのプロット図である. サブグラフにある青い線は, batch $_{e f}$ の文脈化利得と $f$ との回帰直線である.

表 4.1 はすべての PLM の探査結果である. hyp-F1 の列は順に，Hypernyms 探査タスクの F1 尺度の値とその文脈化利得・正規化利得である.表 3 すべての PLM の結果一覧


# 四則演算を用いた Transformer の再帰的構造把握能力の調査

松本 悠太 ${ }^{1}$ 吉川 将司 ${ }^{1,2}$ Benjamin Heinzerling ${ }^{2}$ 乾 健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
yuta.matsumoto.q8@dc.tohoku.ac.jp yoshikawa@tohoku.ac.jp
benjamin.heinzerling@riken.jp inui@tohoku.ac.jp

## 概要

再帰的構造は自然言語の本質とされており，自然言語処理のモデルがこのような構造を把握する能力を持つかどうかは重要な点である. 本研究では自然言語における再帰的構造の代替として，途中結果が明確な四則演算のデータを用いて Transformer の再帰的構造を把握する能力を調査する。具体的には途中の計算結果を保存することが求められるような問題に対してその値を内部表現から取り出すことができるかというタスクを通じ，Transformerが計算の途中結果を内部的に保存できていることを示す.

## 1 はじめに

近年，Transformer [1] の内部状態を分析し，モデルの能力を検証する研究が盛んに行われている。例えば，既存研究では品詞タグ付けや固有表現抽出によるプロービングから，モデルの下層では構文情報を，上層では意味的情報を符号化しているといったことが示されている $[2,3,4]$.

さまざまな言語的特徴の中でも，再帰的な構造は自然言語において本質的な要素である [5]. 再帰的構造に基づいて我々は新しい文を生成したり理解することができるためである。これは言語の構成性とも関連付けられ，既存の深層学習モデルがこの性質を捉えられるか， ベンチマークタスクを基にした調査研究が注目を集めている [6,7].

一方，我々はプロービングの手法によって Transformer が再帰的構造を捉えることができるかについての検証を行う. その際に，自然言語の代替の形式言語として数式に着目する.これは数式もまた自然言語と同様に再帰的な構造を持ち，再帰的な構造に基づいて解かれるためである. 例えば， $(a+b) \times(c+d)$ という数式を解くには一般的には $a+b, c+d$ をまず計算してから二つの計算途中結果をかけるという順番で処理をする必要があり、モデ
ルが数式の再帰的構造を理解しているとは二つの途中結果、そして途中結果どうしを乗算した值を共に表現できているということだと定義できる.

本研究では上述のような四則演算計算タスクを用いて、Transformer が数式中の途中結果を保存することができるかを調査する．調査に数式を使うことには複数のメリットが存在する．数式は数値を操作するというその性質から，自然言語における句（フレーズ）などと対比して，計算の途中結果がモデル内部に保存されているかを回帰によって直接調査することができる．また，自然言語のデータセットにはバイアスが存在しており，これに起因する表面上の手がかりによってタスクを解けてしまうことが報告されている $[8,9]$ が，数式のような形式言語を用いることでデータセット中の分布の偏りを無くし， バイアスを抑えることができる．本タスクは学習の際に明示的に構造を教えることはしていないが構造を捉えることが本質的に要求されるタスクであり，構造の教師信号なしで構造に関する知識を符号化することができるかを測ることができる。

調査の結果，Transformer モデルは四則演算の数式を解くことができ，その際の内部表現から学習中には与えられていない計算途中の値を取り出せることがわかった. さらになぜ計算途中結果を取り出せるのかについてより詳しい調査を行ったところ，内部表現には最終的な計算結果を保存する成分とは別に計算途中結果を保存する成分が分散的に存在することが示された.

## 2 関連研究

自然言語処理のモデルに数値を表現させること （数量推論など）に関しては，複数の先行研究が存在する。例えば，BERT [10] のような大規模言語モデルをべースに数量推論の問題をある程度解ける [11] ということが知られている．また，自然言語処理モデルに数をテキストとして入力した際，学習データ

図 1: 四則演算計算タスクの概観. 実際には出力は 0 から 1 の値に正規化される

に出現する数の範囲内ならばその数の大小の概念を把握することができるといったことが示されている $[12,13]$. 最新の数量推論に関する詳細は Thawani らのサーベイ論文 [14]を参照されたい.

自然言語における再帰的構造に起因する言語的特徴をモデルが捉えられているのかについての研究もなされてきた. Linzen らは主語と動詞の一致を通じてモデルの文法的な構造を捉える能力を検証した [15]. また，岡本らは構文情報を与えた時の LSTM [16] の内部表現の分析を行った [17]. また，深層学習モデルが構成性を捉えた汎化が可能かについての議論が盛んであるが [6,7], Transformer が数式を再帰的に処理可能であることを示せれば，この議論に対し肯定的な証拠を提供できるだろう。

## 3 問題設定

## 3.1 四則演算計算タスク

本研究においては図 1 のように数式をテキストとしてモデルに入力し，答えを数値として回帰させるようなタスクを考える。 入力は表 1 のような 9 種類の数式で, 出力は各数式の答え $x_{i}$ を正規化した数である. 正規化は以下の式で行われ，教師データとしては実際の答え $x_{i}$ ではなく正規化された数 $x_{i}^{\prime}$ が使用される。

$
x_{i}^{\prime}=\frac{x_{i}-\min _{i} x_{i}}{\max _{i} x_{i}-\min _{i} x_{i}}
$

このような計算の答えを正しく出力するためには， (1) 数の順序構造や足し算, 掛け算の概念を把握すること, (2) 計算の木構造を把握し, 計算の途中結果を保存することが必要となる. ${ }^{1)}$

表 1 : 入力される数式のテンプレート

## 3.2 計算途中結果保存プロービングタスク

3.1 節で示したタスクを学習する際，モデルは最終的な計算結果のみが教師データとして与えられており，その計算の途中結果は与えられていない。今回我々は $(a+b) \times(c+d)$ 中の $a+b$ の值のような, 明示的に学習させていないが計算を適切に行うためには保存することが必要だと思われる計算の途中結果に着目し，このような値がモデルに保存されているかを検証する. 具体的には， 3.1 節のタスクで学習したモデルに対して，その隠れ層の内部表現から計算の途中結果を線形回帰させることができるかを検証する.より詳細な設定は以下各実験で詳述する.

## 4 実験

## 4.1 実験設定

データセット訓練データ，検証データには表 1 にある 9 パターンの数式と正規化されたその答えを使用する．訓練，検証用データのサイズはそれぞれ 9 万， 1 万であり，2つのデータに登場する数値に重複はない. 数式中に登場する項 $a, b, c, d$ は全て 1,000 未満の正の実数である．また，プロービング用に $(a+b) \times(c+d)$ の形のみのデータを 3,000 件用意した. このデータ中の数式の項 $a, b, c, d$ は全て 100 以上 1,000 未満の自然数である.これは後に内部表現の分析をするに当たって，桁数を揃えてべクトルの次元ごとの役割の対応を取るためである。

性能評価性能評価には決定係数 $R^{2}$ を使用する. $R^{2}$ は観測値 $y_{i}$ と予測値 $\hat{y}_{i}$ について以下の式で表される。

$
R^{2}(y, \hat{y})=1-\frac{\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}}{\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}}
$

ただし， $\bar{y}$ は観測値 $y_{i}$ の平均である. この值が 1 に近いほど正確な回帰ができていることを表す.

モデルモデルには Poor Man’s BERT [18] を使用する.これは BERT [10] の下位 6 層を使用したモデルで, [CLS]トークンから線形回帰を行う.また，入力は BERT を用いた数量推論で有効性が示されている Geva ら [11] の手法に従い，数字については 1

図 2: 四則演算計算タスクの回帰結果. いずれの計算タイプの数式も解くことができている.

桁ずつ分割を行う．例えば， 123 という数字が入力される際，1,\#\#2,\#\#3のように分割される。

プロービング数式 $X=\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ を学習済み Poor Man's BERT に入力した際の $N$ 層目の内部表現を $H_{N}=\left(h_{1}, h_{2}, \cdots, h_{n}\right)$ とする. ここで, $H_{N}$ の各ベクトル（768 次元）を連結させて新たに（ $768 \times n)$次元のベクトルを作る． 4.3 節で行うプロービングの際はこの結合済みベクトルから途中結果の値を線形回帰器によって回帰させる.

## 4.2 四則演算計算タスク

訓練データ上でモデルを学習させた際の検証デー タにおける回帰結果は図 2 のようになり, 決定係数は 0.9995 と非常に高い值であった. 図 2 から，9つの異なるパターンを同時に学習させても，各数式の意味や大小関係を理解し, 解くことができていることがわかる. 次節以降では，ここで学習したモデルについてプロービングを行う。

## 4.3 計算途中結果保存プロービングタスク

本節では表 1 で示されている 9 つのパターンの数式のうち $(a+b) \times(c+d)$ のタイプに着目し, この数式の計算途中結果である $a+b$ や $c+d$ をモデルの各層ごとの内部表現 $H_{N}$ を $n=23$ としで2) 連結した 17,664 次元のベクトルから取り出すことができるかを検証する。できるだけ内部表現自体の能力を測り，新しく学習で教えないようにするためプロービングデータ中の $1 \%$ 訓練データ，残りの $99 \%$ を評価データとしてプロービングを行った. その結果を図 3 に示す. 図 3 から，わずかなデータポイントか

図 3: 計算途中結果保存プロービングタスクの結果. どの層の隠れ表現からでも計算の途中結果を回帰することができている.

らでも計算の途中結果である $a+b$ や $c+d$ を回帰できていることがわかる（最大で決定係数 0.99）。ここから，Transformer は明示的に計算の途中結果を保存するように訓練していなくても，暗黙的に数式の再帰的構造を捉え，途中結果を保存することができているといえる。今回の実験では訓練データをかなり少なくしたが，驚くべきことにすべての層から回帰できる結果となった. では, すべての層で計算途中結果の情報は同じように表現されているのだろうか. 層ごとの違いを明らかにするため，次節では計算の流れをより仔細に調査する。

## 4.4 隠れ層の空間構造の分析

ここでは 4.3 節で示されたような再帰的構造把握能力がどのように達成されているのかについて，プロービングデータに対して内部表現の主成分分析 （PCA）を行って検証する。

## 最終計算結果, 計算途中結果と各成分の関係 本実験では 4.3 節で使用された 17, 664 次元の結合済み ベクトルに対して主成分数 20 で PCA を行い, PCA 後の各成分に対する計算中の途中結果や最終結果と の相関関係を測定する. ${ }^{3)}$ このうち， 1 層目，2 層目， 5 層目，6層目における結果を図 4 に示す. ${ }^{4)}$ 図 4 か ら, 最終結果 $(a+b) \times(c+d)$ の情報は層が上がるに つれて第一主成分に集中することがわかる。一方で 計算途中結果の情報を含む成分は特に上の層では分散して存在する. すなわち, 計算の途中結果が分散的に表現されていることがわかる。例えば 2 層目に

(a) 1 層目

(c) 5 層目

(b) 2 層目

(d) 6 層目

図 4: 層ごとの各主成分と計算結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分（列）とある計算途中結果（行）との相関係数の絶対值を表す.

おいては第一主成分，第二主成分が $a+b$ と相関が強く，他の成分はほぼ相関がないが，5 層目や 6 層目ではある程度の相関を持つ成分の幅が広がっている.さらに，図 4(a)～(d) の移り変わりを見ると，第一主成分以外で途中結果と強い相関を持つ成分が徐々に下位に移っていることがわかる.ここから， モデルにとって低い層では途中結果を重要な情報として持ち，上の層に行くにつれて途中結果が保存され続けてはいるものの重要でなくなっていることも示唆される。

## 主成分による計算途中結果プロービング 途中結果が分散的に表されているという観察結果を検証 するため，4.3 節と同じ設定でのプロービングを再度行う. ただし，今回線形回帰器の入力となるのは PCA 後の上位 $k$ 個の主成分である. 例えば， $k=1$ の時は第一主成分の值のみから $(a+b) \times(c+d)$ 中の 途中結果である $a+b$ の值を回帰することになる. このプロービングの結果を図 5 に示す. 図 5 から，一般に $k$ を増やすほど途中結果の值を回帰できるよ うになっていることが見て取れる. ここからも，モ デルは計算の途中結果を複数の成分に分散して保存 していることが裏付けられる。また，より詳細に見 ていくと 1〜4 層目では 2 個以上の主成分を使用し た時に性能が大きく上がっているが，5 層目，6層目では $a+b$ の値と相関が高い成分が下位になって いるため，5 層目では $k=2 ， 6$ 層目では $k=4$ での 回帰スコアが急激に下がっている. これは図 4 と一致する結果である.

図 5: $k$ 個の主成分による計算途中結果プロービングタスクの結果. 上層においては寄与率が低い主成分を用いなければ解けない。

## 5 おわりに

本研究では計算の途中結果を保存することが求められるような数式を定義することで，Transformer の再帰的構造の把握能力の有無を調査した.その結果として，Transformer は内部的に計算の途中結果を教師なしで保存できていることがわかった.またこの時，計算の途中結果は分散的に保存されていることを示した。

今回は再帰性について検証を行ったが，数式の性質を用いることで処理の流れや構成性など別の能力を測ることも可能であると考えるため，今後の展望としたい．また，数式のような形式言語にあえて曖昧性を持たせるなどしてょり自然言語に近い設定で再帰的構造の把握能力を調査する方向も考えられる。

## 謝辞

本研究は JST CREST JPMJCR20D2 及び JSPS 科研

費 20K23314, 21K17814 の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Alessandro Raganato and Jörg Tiedemann. An analysis of encoder representations in transformer-based machine translation. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Noam Chomsky. Syntactic Structures. Mouton and Co., The Hague, 1957.

[6] Brenden Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequence-tosequence recurrent networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 2873-2882. PMLR, 10-15 Jul 2018.

[7] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9087-9105, Online, November 2020. Association for Computational Linguistics.

[8] Tom McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3428-3448, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Lin- guistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Mor Geva, Ankit Gupta, and Jonathan Berant. Injecting numerical reasoning skills into language models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online, July 2020. Association for Computational Linguistics.

[12] Eric Wallace, Yizhong Wang, Sujian Li, Sameer Singh, and Matt Gardner. Do NLP models know numbers? probing numeracy in embeddings. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5307-5315, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Rodrigo Nogueira, Zhiying Jiang, and Jimmy Lin. Investigating the limitations of transformers with simple arithmetic tasks, 2021.

[14] Avijit Thawani, Jay Pujara, Filip Ilievski, and Pedro Szekely. Representing numbers in NLP: a survey and a vision. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-656, Online, June 2021. Association for Computational Linguistics.

[15] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[16] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[17] 岡本千尋, 内海慶, 持橋大地. 構文情報を陽に与えたときの $1 \mathrm{stm}$ による内部表現について. 情報処理学会, 2018.

[18] Hassan Sajjad, Fahim Dalvi, Nadir Durrani, and Preslav Nakov. On the effect of dropping layers of pre-trained transformer models, 2021.

## A 主成分分析の詳細な結果

4.4 節で載せられなかった 3 層目， 4 層目も含めた主成分分析の結果を図 6 に示す. 図 6 からも，やはり,第一主成分以外で途中結果と強い相関を持つ成分が徐々に下位に移っていることが見て取れる.

(a) 1 層目

(c) 3 層目

(e) 5 層目

(b) 2 層目

(d) 4 層目

図 6: 全ての層における各主成分と計算結果の相関関係のヒートマップ.