# テキスト平易化の品質推定のための擬似訓練

廣中勇希 梶原智之 二宮崇
愛媛大学大学院理工学研究科
\{hironaka@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp

## 概要

本研究では，テキスト平易化の品質推定の性能改善のために，事前訓練モデルのファインチューニングの前に擬似的な品質推定の訓練の実施を提案する. 品質推定のラベル付きデータは構築コストが高く，テキスト平易化の品質推定のために利用可能な英語の既存データは 600 件と小規模である.この少資源問題を緩和するために，品質ラベルを持たない既存のテキスト平易化パラレルコーパスを用いて，所与の 2 文のどちらがより平易かを判定する擬似的な品質推定の訓練を大規模に実施する． 3 種類の事前訓練モデルを対象とする英語のテキスト平易化の品質推定における実験の結果，提案手法は平易性だけでなく同義性に関しても性能を改善できた。

## 1 はじめに

テキスト平易化 [1] は，意味を保持しつつ難解な表現を平易に変換するタスクである．自動的な文の平易化は, 子ども [2] や語学学習者 [3] の学習支援や読解支援に貢献し，関係抽出 [4] や機械翻訳 [5] などの他の自然言語処理タスクの性能改善にも役立つ.

テキスト平易化モデルの品質は, 文法性・同義性・平易性の観点からの人手評価や，参照文に基づくSARI [6] や BLEU [7] およびリーダビリティ指標である FKGL [8] などの自動評価によって評価されている。しかし，人手評価にはコストや再現性の課題があり，自動評価には人手評価との相関が低いという課題がある．また，実世界においてテキスト平易化モデルが使用される際には参照文が存在しない場合が多く，参照文に基づく自動評価は活用できない.このような背景から，参照文を用いないテキス卜平易化の品質推定 [9-12] が研究されている.

テキスト平易化における教師あり品質推定の先行研究 $[10,11]$ は，単語分散表現や単語一致率に基づく評価指標を用いた素性抽出を行い，機械学習モデルを訓練している. 文脈を考慮可能な深層学習モデ
ルを用いることで品質推定の性能を改善できると期待されるが，テキスト平易化の品質推定のための既存のデータセットは，統計的機械翻訳に基づくモデルを対象とする $\mathrm{QATS}^{11}$ [9]もニューラル機械翻訳に基づくモデルを対象とする Simplicity-DA ${ }^{2)}$ [12] も，約 600 文対で構成されており，深層学習モデルを充分に訓練するためには小規模である。

このようなテキスト平易化の品質推定における少資源問題に対処するために，本研究では，事前訓練モデルのファインチューニングの前に，品質推定によく似た擬似タスクの訓練を行う。これによって，品質推定の小規模なラベル付きデータ上での効率的な訓練を促進する。本研究では，この擬似タスクとして，既存の大規模なテキスト平易化パラレルコー パス [13]を用いて，難解文と平易文の識別に取り組むことを提案する．Simplicity-DA [12]を用いた英語のテキスト平易化の品質推定における評価実験の結果，期待通り平易性に関する品質推定の性能が改善するだけでなく，扱う深層学習モデルによっては同義性にも改善が見られた。

## 2 関連研究

## 2.1 テキスト平易化の品質推定

難解な英文と平易な英文から構成されるパラレルコーパス [13] を用いて，系列変換タスクとしてのテキスト平易化の研究が行われている. 2010 年代の前半には，フレーズベース統計的機械翻訳 [14] に基づくテキスト平易化 [15-17] が研究された。ニュー ラル機械翻訳 [18] の成功を受け，2010 年代の後半からはリカレントニューラルネットワークなどの深層学習に基づくテキスト平易化 [19-21] が研究されている。近年は，機械翻訳などの他の系列変換タスクと同じく，Transformer [22] に基づくテキスト平易化 [23-25] が主流となっている.

1) https://qats2016.github.io/

2) https://github.com/feralvam/metaeval-simplification

## 1. 事前訓練

Word1 Word2 [MASK] Word4

2. 追加訓練

(難解) $0 \sim 1$ (平易)

[CLS] Sentence1 [SEP] Sentence2

3. ファインチューニング

[CLS] Input sentence [SEP] Output sentence

図 1 提案手法の概要（追加訓練とファインチューニングの両方において [SEP] の後の文を評価対象とする）

品質推定は，入力文と出力文の文対から出力文の品質を推定するタスクである。テキスト平易化における先行研究としては，QATS データセット [9] を用いて，サポートベクトルマシンやリッジ回帰などの機械学習に基づく品質推定モデルが訓練されている. Kajiwara and Fujita [10] は，単語分散表現 [26] に基づく素性抽出を行い, Good・OK・Bad の 3 クラス分類としての品質推定を行った. Martin et al. [11] は，BLEU [7] などの機械翻訳の評価指標や FKGL [8] などのリーダビリティ指標に基づく素性抽出を行い，回帰および分類の品質推定を行った. Alva-Manchego et al. [12] は，深層学習に基づくテキスト平易化モデルを評価対象とする Simplicity-DA データセットを構築した。本データセットは，近年のテキスト平易化モデルを対象としているものの， QATS データセットと同様にデータ数が 600 件と少ない. 本研究では，このような小規模なラベル付きデータからの品質推定の性能改善に取り組む.

## 2.2 目的タスクに特化した訓練

近年の自然言語処理では，マスク言語モデル [27-29] などの事前訓練モデルを目的タスクでファインチューニングする転移学習のアプローチが，様々な応用タスクにおいて高い性能を達成している。最終的なタスクの性能は，事前訓練や事前訓練に続く追加訓練として，ファインチューニングの前に目的タスクに近い特性を持つ訓練を行うことで，さらに改善できることが知られている。

例えば，要約タスクにおいては入力文章中の一部の文をマスクし復元する事前訓練 [30] が有効であり，言い換え生成タスクにおいては折り返し翻訳を復元する事前訓練 [31] が有効であることが報告されている。分類や回帰のタスクにおいても，事前訓練とファインチューニングの間で句の言い換えを分類
する追加訓練を実施することで，文の類似度推定の性能を改善できる [32] ことが報告されている. しかし, テキスト平易化の品質推定のための効果的な追加訓練の方法は明らかになっていない.

## 3 提案手法

本研究では，図 1 のように事前訓練モデルを 2 ステップで訓練することで，テキスト平易化の品質推定モデルを構築する. テキスト平易化の品質推定のためのラベル付きデータは小規模にしか存在しないが，我々が提案する追加訓練は品質推定のラベルを必要とせず，既存のテキスト平易化パラレルコーパスのみを用いるため，大規模に訓練できる．先行研究 [11] に従い，文法性・同義性・平易性の各観点で回帰問題としての品質推定モデルを訓練する.

## 3.1 事前訓練：マスク言語モデリング

品質推定モデルには Transfomer [22] エンコーダを用いる. 小規模なラベル付きデータから効率的に訓練するために，まず大規模な生コーパス上で事前訓練する。本研究では，事前訓練のタスクとしてマスク言語モデリングを採用し，BERT などの事前訓練モデル [27-29]を用いる.

## 3.2 追加訓練：擬似的な品質推定

テキスト平易化の品質推定における少資源問題に対処するために，品質推定のラベル付きデータでファインチューニングする前に，擬似的な品質推定タスクで事前訓練モデルを追加訓練する．追加訓練では，図 1 の中央に示すように，難解な文と平易な文の文対を連結して入力し，連結用の特殊トークン [SEP] に続く 2 文目が 1 文目と比べて相対的に難解であるか平易であるかを判定する。これは，テキス卜平易化の品質推定における平易性の評価に近い問
表 1 本実験で使用したデータセットの統計

} & Wiki-Auto [13] & 訓練用 & 488,332 \\

題設定であるため，この擬似的な品質推定タスクの追加訓練を挟むことによって, 平易性に関する品質推定の性能改善が期待できる。 なお，この訓練には人手で付与された品質推定のラベルは不要であり,既存のテキスト平易化パラレルコーパス [13] のみがあれば良いため，大規模な訓練が可能である。

## 3.3 ファインチューニング：品質推定

3.2 節の擬似的な品質推定の追加訓練を経たモデルを用いて，入力文とテキスト平易化システムの出力文の文対に対して，図 1 の右に示すように実際の品質推定タスクでファインチューニングを行う．擬似的な品質推定の訓練で粗いレベルで評価できるようになったテキスト平易化の品質を, 実際の品質推定でのファインチューニングによって，より細かいレベルで評価できるようになることが期待される。

## 4 評価実験

提案手法の有効性を検証するために，テキスト平易化モデルの文単位の品質推定を行う. 本実験では，文法性・同義性・平易性の各項目で回帰モデルとしての品質推定モデルを訓練した. 図 1 中央の追加訓練は, 分類タスクとしても回帰タスクとしても設計できるが，予備実験で高性能を達成した回帰夕スクを採用した. 品質推定の性能は，推定値と人手評価値の間のピアソン相関によって自動評価した。

## 4.1 実験設定

データ表 1 に，本実験で使用するデータセッ卜を示す. 擬似的な品質推定の追加訓練のために，英語のテキスト平易化モデルの訓練によく使われる Wikipedia および Newsela の 2 種類のパラレルコーパスを使用した. Wikipedia は，訓練用表 2 品質推定の実験結果（ピアソン相関）

に Wiki-Auto ${ }^{3)}$ [13]，検証用に Turk Corpus ${ }^{4)}$ [6] を用いた. Newsela は，訓練用および検証用に NewselaAuto $^{3)}$ [13] を用いた. 品質推定のファインチューニングのために, Simplicity-DA ${ }^{2)}$ [12]を使用した. 600 件のデータセットを，訓練用に 400 件，検証用および評価用に 100 件ずつ，無作為分割して用いた。

## モ デル BERT $^{5)$ [27], RoBERTa $^{6)}$ [28], De-} $\mathrm{BERTa}^{7)}$ [29] の 3 種類の事前訓練モデルを用い て品質推定モデルを構築した. 事前訓練モデ ルごとに，品質推定のみを訓練するべースラ イン, Wikipedia での擬似的な品質推定の訓練後 に品質推定のファインチューニングを行う pseudoQE (Wikipedia), 同様に Newselaを用いる pseudoQE (Newsela)の 3 種類の品質推定モデルを訓練した.

擬似的な品質推定の追加訓練においては，バッチサイズは 1,024 , 学習率は $5 \mathrm{e}-5$, 損失は平均二乗誤差，最適化手法は AdamW [33] を用いて，回帰タスクを訓練した。 3 エポックの訓練を行い，検証デー タにおける Accuracy（ラベルの間値は 0.5 に設定） が最も高いエポックのモデルを品質推定タスクのファインチューニングに使用した.

品質推定においては，バッチサイズは 32，損失は平均二乗誤差, 最適化手法は AdamW を用いて,検証データにおけるピアソン相関が 10 エポック連続で改善しなくなるまで訓練し，最も相関の高いエポックのモデルを選択した. 学習率は, $5 \mathrm{e}-5,4 \mathrm{e}-5$,

3e-5, 2e-5 の中から，検証データにおけるピアソン相関が最高となる値を選択した. 各モデルは, シード値を変更して 5 回ずつ実験を行い, 最大値と最小値を除いた 3 回の評価の平均値を報告する.

比較手法機械学習に基づく 2 つの既存手法と，深層学習に基づく提案手法の性能を比較する. Kajiwara-17 [10]は， scikit-learn ${ }^{8)}$ を用いて実装した. Martin-18 [11] は，著者らの実装9）を用いた.

## 4.2 実験結果

実験結果を表 2 に示す. 全ての事前訓練モデルおよびドメインにおいて，提案手法が平易性に関する品質推定の性能を一貫して改善できた. また，提案手法は全ての観点において, 既存の品質推定手法の性能を一貫して上回った. 本研究では, 平易性に関連する擬似的な品質推定の訓練を追加したため，平易性に関する品質推定の性能が改善することを期待していたが，BERT および DeBERTa においては，同義性にも改善が見られた。

## 4.3 分析

表 3 に，擬似的な品質推定の追加訓練を，分類タスクとして実施する場合と回帰タスクとして実施する場合の性能の比較を示す. 平易性に関する品質推定の性能を比較したところ，追加訓練を回帰タスクとして実施した方が一貫して高い性能を達成した。 また，分類タスクとしての追加訓練では，追加訓練なしのベースラインよりも性能が悪化することもあった. これらの結果から, 目的タスクに近い設定で追加訓練を行うと良いことが示唆される.

8) https://scikit-learn.org

9) https://github.com/facebookresearch/ text-simplification-evaluation

図 2 追加訓練のデータ量ごとの平易性の品質推定性能

図 2 に，追加訓練のデータサイズを $50 \% ， 25 \%$, 10\%，5\%と削減した際の平易性に関する品質推定の性能の変化を示す. 全ての事前訓練モデルにおいて， 10 万文対 $(25 \%)$ までは性能が改善するものの，それ以降は性能向上が鈍化することがわかる. また，点線で示した追加訓練なしのベースラインと比較すると，BERT および DeBERTa においては $10 \%$ の 4 万文対，RoBERTa においても 10 万文対のパラレルコーパスがあれば，提案手法によって品質推定の性能を改善できることがわかる.

## 5 おわりに

本研究では，小規模なラベル付きデータを用いてテキスト平易化の品質推定を効率的に訓練するために，事前訓練モデルのファインチューニングの前に行う擬似的な品質推定の追加訓練を提案した. 提案手法では，品質推定のラベルを持たない一般的なテキスト平易化パラレルコーパスを用いて，文対のどちらがより平易かを評価する訓練を行う．英語のテキスト平易化の品質推定における評価実験の結果から，提案手法によって平易性に関する品質推定の性能が改善するだけでなく，事前訓練モデルによっては同義性も改善できることが明らかになった.

今後の課題として，文法性や同義性に焦点を当てた追加訓練の手法を検討することや，英語以外の言語における品質推定へ取り組むことが考えられる。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号 : JP22H03651）の助成を受けたものです.

## 参考文献

[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-Driven Sentence Simplification: Survey and Benchmark. CL, Vol. 46, No. 1, pp. 135-187, 2020.

[2] Jan De Belder and Marie-Francine Moens. Text Simplification for Children. In Proc. of the SIGIR 2010 Workshop on Accessible Search Systems, pp. 19-26, 2010.

[3] Sarah E Petersen and Mari Ostendorf. Text Simplification for Language Learners: A Corpus Analysis. In Proc. of SLaTE, pp. 69-72, 2007.

[4] Makoto Miwa, Rune Sætre, Yusuke Miyao, and Jun'ichi Tsujii. Entity-Focused Sentence Simplification for Relation Extraction. In Proc. of COLING, pp. 788-796, 2010.

[5] Sanja Štajner and Maja Popovic. Can Text Simplification Help Machine Translation? In Proc. of EAMT, pp. 230242, 2016.

[6] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4, pp. 401-415, 2016.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proc. of ACL, pp. 311-318, 2002.

[8] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. Technical report, Defence Technical Information Center (DTIC) Document, 1975.

[9] Sanja Štajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment for Text Simplification. In Proc. of QATS, pp. 22-31, 2016.

[10] Tomoyuki Kajiwara and Atsushi Fujita. Semantic Features Based on Word Alignments for Estimating Quality of Text Simplification. In Proc. of IJCNLP, pp. 109-115, 2017.

[11] Louis Martin, Samuel Humeau, Pierre-Emmanuel Mazaré, Éric de La Clergerie, Antoine Bordes, and Benoît Sagot. Reference-less Quality Estimation of Text Simplification Systems. In Proc. of ATA, pp. 29-38, 2018.

[12] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. The (Un)Suitability of Automatic Evaluation Metrics for Text Simplification. CL, Vol. 47, No. 4, pp. 861889, 2021.

[13] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[14] Philipp Koehn, Franz J. Och, and Daniel Marcu. Statistical Phrase-Based Translation. In Proc. of NAACL, pp. 127$133,2003$.

[15] Lucia Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp. 30-39, 2010.

[16] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sentence Simplification by Monolingual Machine Translation. In Proc. of ACL, pp. 1015-1024, 2012.

[17] Tomoyuki Kajiwara and Mamoru Komachi. Building a
Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings. In Proc. of COLING, pp. 1147-1158, 2016.

[18] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to Sequence Learning with Neural Networks. In Proc. of NIPS, pp. 3104-3112, 2014.

[19] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring Neural Text Simplification Models. In Proc. of ACL, pp. 85-91, 2017.

[20] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594, 2017.

[21] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase. Controllable Text Simplification with Lexical Constraint Loss. In Proc. of ACL-SRW, pp. 260-266, 2019.

[22] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[23] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proc. of EMNLP, pp. 3164-3173, 2018.

[24] Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp. 6047-6052, 2019

[25] Daiki Yanamoto, Tomoki Ikawa, Tomoyuki Kajiwara, Takashi Ninomiya, Satoru Uchida, and Yuki Arase. Controllable Text Simplification with Deep Reinforcement Learning. In Proc. of AACL-IJCNLP, pp. 398-404, 2022.

[26] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proc. of ICLR, 2013.

[27] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[28] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[29] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In Proc. of ICLR, 2021.

[30] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. In Proc. of ICML, 2020

[31] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proc. of AAAI, pp. 8042-8049, 2020.

[32] Yuki Arase and Jun'ichi Tsujii. Transfer Fine-Tuning: A BERT Case Study. In Proc. of EMNLP-IJCNLP, pp. 5393-5404, 2019.

[33] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. of ICLR, 2019.


# 最適輸送に基づく擬似訓練データを用いた機械翻訳の品質推定

黒田 勇斗 ${ }^{1}$ 藤田 篤 ${ }^{2}$ 梶原 智之 ${ }^{1}$
1 愛媛大学大学院理工学研究科 2 情報通信研究機構
\{kuroda@ai., kajiwara@\}cs.ehime-u.ac.jp atsushi.fujita@nict.go.jp

## 概要

人間が作成した参照訳を用いずに機械翻訳文のどの部分に修正が必要かを推定するタスクを単語レべルの品質推定という．単語レベルの品質推定の性能を向上させるため，擬似訓練データの活用に関する研究が行われている。擬似訓練データは，機械翻訳文中の各語のラベルを参照訳との表層的な対応に基づいて定めることが多いが，この方法では表層が異なる単語が実際に翻訳品質を損なうか否かを適切に判断できない. そこで本稿では，最適輸送に基づく擬似訓練データを用いた品質推定モデルを提案する. WMT21 のデータセットを用いた実験の結果，提案モデルは, 従来の擬似訓練データを用いた品質推定モデルを上回る性能を示した。

## 1 はじめに

機械翻訳の品質推定 (Translation Quality Estimation; TQE）[1] とは，参照訳を用いず起点言語文とそれに対する機械翻訳文のみを参照して，機械翻訳文の品質を推定する技術である。機械翻訳文の品質を測る単位としては, 文レベルおよび単語レベルの 2 種類が主に研究されている. いずれの評価単位についても，人手評価との相関が高い TQE 手法を開発することにより，機械翻訳文をそのまま使用するか，後編集を行うか，他の機械翻訳を利用するか等の判断を支援できる．単語レベルの TQEでは，機械翻訳文のどの部分に修正が必要であるかという，細かい粒度の情報による支援が可能である. 本稿では，単語レベルの品質推定に取り組む。

単語レベルの $\mathrm{TQE}$ の性能を向上させるため，擬似訓練データを活用した手法 $[2,3,4]$ が研究されている。擬似訓練データの作成には，主に Translation Edit Rate (TER) toolkit [5] が用いられる, TER toolkit では，表層の一致に基づき，編集量が最小となるように，機械翻訳文と参照訳の間の単語レベルのアライメントを同定する．そのためこの手法は，表層は異なるものの翻訳品質を損なわないような単語も誤りとみなしてしまう，逆に，表層的には一致するものの単語の位置が不適切であり翻訳品質を損なうような例は，誤りであると適切に判断できない。

本稿では，単語埋め込みに基づく擬似訓練データの作成に焦点を当て，最適輸送（Optimal Transport; OT）を用いる手法について提案する. WMT21の TQE タスクにおける実験の結果，最適輸送に基づく擬似訓練データにより $\mathrm{TQE}$ 向け事前訓練を行ったモデルは，TERに基づく擬似訓練データを用いたモデルを上回る性能を示した。

## 2 提案手法

## 2.1 擬似訓練データの作成

先行研究 $[2,3,4]$ と同様に, 擬似訓練データの作成には, 対訳コーパス $D_{\mathrm{para}}=\left(S_{k}, T_{k}\right)_{k=1}^{N}$ と機械翻訳器を用いる。まず，対訳コーパスの起点言語文を機械翻訳することで，擬似対訳文 $T_{k}^{\prime}=\mathrm{MT}\left(S_{k}\right)$ を得る. 次に， $T_{k}^{\prime}$ の各単語に対する擬似ラベルを， OTAlign [6] から着想を得て, $\left(T_{k}, T_{k}^{\prime}\right)$ の間の最適輸送に基づいて定める。

最適輸送では，ある確率分布を別の確率分布と一致させるための最も効率的な輸送計画を探索する. まず，目標言語文 $T=\left[t_{1}, \ldots, t_{n}\right]$ と擬似対訳文 $T^{\prime}=\left[t_{1}^{\prime}, \ldots, t_{m}^{\prime}\right]$ とし, 最適輸送問題における輸送コストおよび確率分布の質量を次のように定義する。

輸送コスト任意の語の間の輸送コスト $c\left(t_{i}, t_{j}^{\prime}\right)$ を各語の単語埋め込みの非類似度により定義し,輸送コスト行列 $C_{i, j}=c\left(t_{i}, t_{j}^{\prime}\right)$ を求める.

確率分布の質量目標言語文および擬似対訳文のそれぞれの質量を $a \in \mathbb{R}_{+}^{n}, b \in \mathbb{R}_{+}^{m}$ とする.

そして，総輸送コストを最小化する最適輸送行列 $P$ を次式で求める。

$
P=\underset{P^{\prime} \in U(a, b)}{\arg \min } \sum_{i, j} C_{i, j} P_{i, j}^{\prime}
$
$U$ は最適化問題の制約をすべて満たす害行可能解の集合である. 得られた最適輸送行列 $P$ から，擬似対訳文の各単語に対する擬似ラベルとして, $y^{\text {soft }} \in[0,1]$ の連続値 (ソフトラベル) および $y^{\text {hard }} \in\{\mathrm{OK}, \mathrm{BAD}\}$ の 2 値（ハードラベル）の 2 種類を定める.ソフトラベルは次のように定義する。

$
\begin{aligned}
y_{j}^{\text {soft }} & =\max \left(\left[P_{0, j}, \ldots, P_{n, j}\right]\right) \\
Y^{\text {soft }} & =\left[y_{1}^{\text {soft }}, \ldots, y_{m}^{\text {soft }}\right]
\end{aligned}
$

TER との比較のために, 最適輸送行列から TER と同様のハードラベルを次のように定義する.

$
\begin{aligned}
y_{j}^{\text {hard }} & = \begin{cases}\text { OK } & y_{j}^{\text {soft }}>\lambda \\
\text { BAD } & \text { otherwise }\end{cases} \\
Y^{\text {hard }} & =\left[y_{1}^{\text {hard }}, \ldots, y_{m}^{\text {hard }}\right]
\end{aligned}
$

得られた擬似ラベルを用いて，ソフトな擬似訓練データ $D_{\mathrm{QE}}^{\mathrm{soft}}=\left(S_{k}, T_{k}^{\prime}, Y_{k}^{\text {soft }}\right)_{k=1}^{N}$ およびハードな擬似訓練データ $D_{\mathrm{QE}}^{\mathrm{hard}}=\left(S_{k}, T_{k}^{\prime}, Y_{k}^{\mathrm{hard}}\right)_{k=1}^{N}$ を作成する.

## 2.2 TQE モデルの事前訓練

擬似訓練データおよび事前訓練済みモデルを用いて，TQE 向け事前訓練を行う．ソフトラベルを予測するための回帰モデルと，ハードラベルを予測するための分類モデルの 2 つを考える.

先行研究 [7] にならい，起点言語文 $S=\left[s_{1}, \ldots, s_{l}\right]$ と機械翻訳文 $T=\left[t_{1}, \ldots, t_{m}\right]$ を連結して事前訓練済みモデルに入力する. 出力として，機械翻訳文の各単語に対する特徵量 $H=\left[h_{1}, \ldots, h_{m}\right]$ を得る. そし $\tau$ ，特徴量から機械翻訳文に含まれる $i$ 番目の単語のラベルを次式により予測する.

$
\hat{y}_{i}=\sigma\left(w h_{i}\right)
$

回帰モデルの場合は， $w \in \mathbb{R}^{d \times 1}$ の線形層， $\sigma$ はシグモイド関数となる. 分類モデルの場合は, $w \in \mathbb{R}^{d \times 2}$ の線形層， $\sigma$ はソフトマックス関数となる. $d$ は，事前訓練済みモデルの隠れ層の次元数である.

## 3 評価実験

提案手法の性能を，WMT21 の TQE Task 2 [8] において評価した. WMT21 の TQE Task 2 では，原言語文，機械翻訳文，および機械翻訳文の修正訳文と TER によって定められた単語レベルの品質ラベルが与えられている. 単語レベルの品質ラベルは, target タグおよび gap タグからなる. target タグは，機械翻訳文中の個々の単語に対する品質ラベルである.正しく翻訳されている単語には $\mathrm{OK}$ ，置換および削除が必要な誤った単語には BAD が与えられている. gap タグは，機械翻訳文中の個々の単語間の空白に対する品質ラベルである. 当該単語間に新たに単語を挿入する必要がある場合は BAD，必要ない場合は OK が与えられている。最適輸送を用いた擬似ラベルでは単語の挿入が必要な箇所を特定できないため，本稿では， target タグのみを評価対象とする.

公式の評価方法に従い，各 $\mathrm{TQE}$ 手法により推定した翻訳品質，および機械翻訳文と修正訳文から TER によって定められた正解ラベルの間のマシュー ズ相関係数（MCC）によって性能を評価した。

## 3.1 実験設定

訓練および評価用データセットモデルの訓練および評価には，WMT21 の TQE Task 2 のデータセットを用いた．WMT21の TQE Task 2 には，英語からドイツ語（En-De）および英語から中国語 (En-Zh) の多資源言語対，ルーマニア語から英語 (Ro-En) およびエストニア語から英語（Et-En）の中資源言語対，ネパール語から英語（Ne-En）およびシンハラ語から英語（Si-En）の少資源言語対の 6 つの言語対1)が含まれる. 各言語対において，訓練用，開発用および評価用データとして，それぞれ 7,000 文対， 1,000 文対および 1,000 文対の起点言語文および機械翻訳文と，単語レベルの品質ラベルの組が提供されている2). 評価対象の機械翻訳は， fairseq ${ }^{3}$ [9]を用いて訓練された Transformer モデル [10] である.

WMT21 TQE Task 2 において評価用データのみが提供されている zero-shot 言語対についても TQE の性能を比較した，zero-shot 言語対として，英語からチェコ語（En-Cs），英語から日本語（En-Ja)，クメール語から英語（Km-En）およびパシュトー語から英語（Ps-En）が含まれる。評価対象の機械翻訳は mBART50 [11] である.

擬似訓練データ擬似訓練データの作成には, WMT21 の TQE タスクで利用可能な対訳コーパス4) （表 1）および M2M-1005）[12] の機械翻訳器を用いた. ただし，M2M-100は，表 1 の対訳コーパスの一

3) https://github.com/pytorch/fairseq

4) https://www.statmt.org/wmt21/ quality-estimation-task.html

5) https://huggingface.co/facebook/m2m100_418M
表 1 対訳文数および擬似訓練データ数

部を用いて，WMT21の TQE タスクの翻訳方向ごとにファインチューニングした. 具体的には，多資源言語対 : 100 万文対ずつ，中資源言語対 : 20 万文対ずつ，少資源言語対：5万文対ずつを無作為に抽出し, 両言語ともに 128 トークン以下である対訳文のみを使用した. HuggingFace Transformers [13] を用いてファインチューニングを実施した. バッチサイズを 16 文対，学習率を $3 e-5$, 最適化手法を AdamW [14] $\left(\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 e-8\right)$ として，多資源言語対および中資源言語対は 1 エポック，少資源言語対は 3 エポックの訓練を行った.

対訳コーパスから起点言語文および目標言語文の双方が 128 トークン以下である文対を抽出し，重複する文対を削除した上で，翻訳方向ごとにファインチューニングを経て得た機械翻訳器を用いて起点言語文を翻訳して機械翻訳文を得た。ただし，機械翻訳文が 128 トークンを超える場合は除外した.

擬似ラベルの作成には，次式に示すエントロピー 正則化付き最適輸送 [15] を用いた.

$
P=\underset{P^{\prime} \in U(a, b)}{\arg \min } \sum_{i, j} C_{i, j} P_{i, j}^{\prime}-\xi H\left(P^{\prime}\right)
$

制約条件は次のように定めた $[16,17]$.

$
\begin{gathered}
U(a, b)=\left.\{P \in \mathbb{R}_{+}^{n \times m} \mid P \mathbb{1}_{m} \leq a, P^{\top} 1_{n} \leq b,\right. \\
\left.\mathbb{1}_{m}^{\top} P^{\top} \mathbb{1}_{n}=\lambda_{m}\right.\}
\end{gathered}
$

単語埋め込みを得るための事前訓練済みモデルを InFoXLM $_{\text {Base }}{ }^{6)}[18]$ ，コスト関数をコサイン距離，質量を一様分布，正則化項の $\xi$ を 0.1 とした. ただし， $\lambda_{m}$ および入の值は，開発用データに対する MCC が最大となるように定めた. $\lambda_{m}$ については $[0,1]$ の範囲を 0.02 間隔で， $\lambda$ についは $[0,1]$ の範囲を 0.01 間隔で探索した. そして, MCC が最大となったパラメタ（付録 A）を用いて擬似対訳データに対する擬似ラベルを最適輸送により定めた。

TQE モデル TQE モデルの訓練は，擬似訓練デー タを用いた TQE 向け事前訓練とWMT21 の TQE

Task 2 の訓練用データを用いたファインチューニング（FT）の 2 段階からなる.

TQE 向け事前訓練では，事前訓練済みモデルに InFOXLM $_{\text {Large }}{ }^{7)}$ を用いた. 各モデルは， HuggingFace Transformers を用い，バッチサイズを 2, 048 文対，最適化手法を Adam $\left(\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 e-8\right)$ として 1 エポック訓練し，訓練済みモデルのパラメタも更新した。損失関数は，ソフトラベルを用いて回帰モデルを訓練する際は平均二乗誤差，ハードラベルを用いて分類モデルを訓練する際は交差エントロピー誤差を用いた．ただし，ラベルの不均衡に対応するため，交差エントロピー誤差の BAD の重みを 3.0 とした. 回帰モデルを評価する際は，閾値を 0.5 として MCCを計算した。

FT では，WMT21 の TQE Task 2 の訓練データを用いて，TQE 向け事前訓練済みモデルを追加で訓練した. バッチサイズを 64 文対，最適化手法を Adam $\left(\beta_{1}=0.9, \beta_{2}=0.999, \epsilon=1 e-8\right)$ として 10 エポック訓練した. 損失関数は，TQE 向け事前訓練時と同じものを使用した。 0.5 エポックごとに検証用データに対する評価を行い， MCC が最大となるモデルを選択した. 回帰モデルの選択時には，上記に加え， $[0,1]$ の予測値に対する閾值も 0.1 間隔で探索した.

比較手法ベースラインとして， TQE 向け事前訓練をせず，FT のみを行ったモデルと比較した. また，TER に基づく従来法および self-training により作成した擬似訓練データを用いて，TQE 向け事前訓練をしたモデルと比較した. self-training による擬似ラベルの作成には，WMT21 の訓練データのみを用いて FTのみを行った分類モデルを使用した.

## 3.2 実験結果

表 2 に実験結果を示す. 表中の “OT” は最適輸送に基づく手法を指す. FT なし（表の上段，FT あり （表の下段）のいずれの設定においても，OT によって定めたソフトラベルを用いた場合に他のラベルを用いる場合よりも高い性能を示した. 特に，FT なしの設定では，すべての言語対において最も優れた性能を示した．また，FTありの設定では，一部の例外を除いて，TQE 向け事前訓練後に FT したモデルの性能が FT のみのモデルの性能を上回った. このことから，擬似訓練データの作成方法によらず，擬似訓練データを用いた TQE 向け事前訓練が有効であることがわかった。

表 2 WMT21の TQE タスクにおける MCC. Arch. はモデルのアーキテクチャ，擬似訓練データは TQE 向け事前訓練時に使用した擬似訓練データの種類，FTはWMT21の訓練用データを用いた訓練の有無を表す.

表 3 対訳コーパスフィルタリングをした場合の，WMT21の TQE タスクにおける MCC. Arch. はモデルのアーキテクチャ，擬似訓練データは TQE 向け事前訓練時に使用した擬似訓練データの種類，FT は WMT21 の訓練用データを用いた訓練の有無，閾値は対訳コーパスフィルタリング時の閾値を表す.

zero-shot 言語対においては，評価対象の言語対が訓練用データに含まれていないにも関わらず，FT ありのモデルの性能が FT なしのモデルの性能を上回った. OT によって定めたソフトラベルを用いた手法は，事前訓練を含まない手法および self-training に基づく手法よりも高い性能を達成した. 最良のモデルを用いた self-training によってさらに性能を改善できる可能性もある.

## 4 擬似訓練データの品質の影響

擬似訓練データの作成に使用した対訳コーパスには，対訳関係にない文対が含まれる．そこで， $\mathrm{LaBSE}^{8)}$ [19]を用いて起点言語文と目標言語文を各々符号化し, それらのコサイン類似度が閾値未満の対訳文を除外することで，対訳コーパスの品質ひいては擬似訓練データの品質の TQE の性能への影響を調査した。

表 3 に実験結果を示す. FT なし（表の上段）の設定では，対訳コーパスフィルタリングによって性能が向上した. 一方, FT あり（表の下段）の設定で

は，6つの翻訳方向のうち 3 つにおいてフィルタリングによって性能が低下した。この結果から，FT を行う前提の TQE 向け事前訓練では，対訳コーパスの品質よりも量が重要であることが示唆される.

## 5 おわりに

本稿では，最適輸送に基づく擬似訓練データを用いた TQE 手法について述べた. WMT21の TQE タスクにおける実験を通じて，既存の擬似訓練データの作成手法と比較して，優れた性能を達成することを確認した。また，提案手法は， zero-shot 言語対においても有効であることがわかった. 分析の結果, FT なしの設定では，対訳コーパスのフィルタリングにより，性能が向上することも明らかになった.

今後の課題として，まず，最適輸送のパラメタに関する検討が挙げられる．擬似ラベルを定める際に TER に基づく擬似ラベルに類似するようにパラメタを定めたことの是非，文ごとの最適性について調査したい. また, target タグと同様に, gap タグや起点言語文に対するタグについても，より精緻な擬似ラベルを定め方について検討する必要がある.

## 謝辞

本研究の成果は，国立研究開発法人情報通信研究

機構 (NICT) の委託研究（課題番号：22501）によ

り得られたものです.

## 参考文献

[1] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Synthesis Lectures on Human Language Technologies, Vol. 11, No. 1, pp. 1-162, 2018.

[2] Lemao Liu, Atsushi Fujita, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Translation Quality Estimation Using Only Bilingual Corpora. IEEE/ACM TASLP, Vol. 25, No. 9, pp. 1762-1772, 2017.

[3] Dongjun Lee. Two-Phase Cross-Lingual Language Model Fine-Tuning for Machine Translation Quality Estimation. In Proc. of WMT, pp. 1024-1028, 2020.

[4] Yi-Lin Tuan, Ahmed El-Kishky, Adithya Renduchintala, Vishrav Chaudhary, Francisco Guzmán, and Lucia Specia. Quality Estimation without Human-labeled Data. In Proc. of EACL, pp. 619-625, 2021.

[5] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A Study of Translation Edit Rate with Targeted Human Annotation. In Proc. of AMTA, pp. 223-231, 2006.

[6] Yuki Arase, Han Bao, and Sho Yokoi. Unbalanced Optimal Transport for Unbalanced Word Alignment. In Proc. of ACL, pp. 3966-3986, 2023.

[7] Ricardo Rei, Marcos Treviso, Nuno M. Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José G. C. de Souza, Taisiya Glushkova, Duarte Alves, Luisa Coheur, Alon Lavie, and André F. T. Martins. CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task. In Proc. of WMT, pp. 634-645, 2022.

[8] Lucia Specia, Frédéric Blain, Marina Fomicheva, Chrysoula Zerva, Zhenhao Li, Vishrav Chaudhary, and André F. T. Martins. Findings of the WMT 2021 Shared Task on Quality Estimation. In Proc. of WMT, pp. 684725, 2021.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48-53, 2019.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, undefinedukasz Kaiser, and Illia Polosukhin. Attention is All You Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[11] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingual Translation from Denoising Pre-Training. In Findings of ACL: ACL-IJCNLP 2021, pp. 3450-3466, 2021.

[12] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey
Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond English-Centric Multilingual Machine Translation. Journal of Machine Learning Research, Vol. 22, No. 1, pp. 4839-4886, 2022.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proc. of EMNLP, pp. 38-45, 2020.

[14] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. of ICLR, 2019.

[15] Marco Cuturi. Sinkhorn Distances: Lightspeed Computation of Optimal Transport. In Proc. NIPS, 2013.

[16] Luis A. Caffarelli and Robert J. McCann. Free Boundaries in Optimal Transport and Monge-Ampère Obstacle Problems. Annals of Mathematics, Vol. 171, No. 2, pp. 673-730, 2010.

[17] Alessio Figalli. The Optimal Partial Transport Problem. Archive for Rational Mechanics and Analysis, Vol. 195, p. 533-560, 2008.

[18] Zewen Chi, Li Dong, Furu Wei, Nan Yang, Saksham Singhal, Wenhui Wang, Xia Song, Xian-Ling Mao, Heyan Huang, and Ming Zhou. InfoXLM: An InformationTheoretic Framework for Cross-Lingual Language Model Pre-Training. In Proc. of NAACL, pp. 3576-3588, 2021.

[19] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT Sentence Embedding. In Proc. of ACL, pp. 878-891, 2022.

## A 最適輸送のパラメタの探索

擬似訓練データを作成するため，WMT21の開発用データを用いて, 最適輸送のパラメタを探索した. $\lambda_{m}$ は $[0,1]$ の範囲を 0.02 の間隔， $\lambda$ は $[0,1]$ の範囲を 0.01 の間隔で，開発用データに対してラベルを作成し, 作成したラベルと正解ラベルの MCC が最大となるパラメタを探索した。一方，単語埋め込みを得るための事前訓練済みモデルは INFoXLM $_{\text {Base }}$ ，コスト関数はコサイン距離，質量は一様分布, 正則化項の $\xi$ は 0.1 に固定した. 単語埋め込みには, 単語のサブワードに対する事前訓練済みモデルの最終層の埋め込みの平均プーリングの値を用いた．MCC が最大となったパラメタを表 4 に示す. 擬似対訳データに対するラベルは, 表 4 の値に従って最適輸送により定めた。

表 4 WMT21 の開発用データにおける MCC および最適輸送のパラメタ。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 対義関係バイアス:事前訓練済み言語モデルと人間の意味関係間の 弁別能力に関する分析

Cao Zhihan
東京工業大学 情報理工学院
cao.z.ab@m.titech.ac.jp
}

山田寛章
東京工業大学 情報理工学院
yamada@c.titech.ac.jp
}

徳永健伸

東京工業大学 情報理工学院

take@c.titech.ac.jp
## 概要

意味関係の弁別は，人間にとっても，機械にとっても，容易なタスクではない，本研究では，多様な下流タスクで卓越した性能を示した事前訓練済み言語モデルが意味関係の弁別ができているか否かという問いに，混淆度という尺度を提案し，人間との比較の上でアプローチした. 結果として，事前訓練済み言語モデルは，意味関係の弁別能力は，人間に比べて下回ることと同時に，非対義関係を対義関係として誤認識するバイアスが観察された。

## 1 イントロダクション

意味関係とは，二語が成す意味的な関係のことである. 対義関係と類義関係は意味関係の代表例である。それ以外に，例えば， bird と robinのような上位・下位関係を結ぶ 2 語は，前者の意味が後者の意味を抽象している. この時, bird は robin に対する上位語であり，robin は bird に対する下位関係にある. 同様に, furniture と sofa は全体と部分の関係にある．全体・部分関係を結ぶ二語は，前者の意味が後者の意味を一部として包含する. この場合, furniture は sofa に対する全体語であり，一方で sofa は furniture に対する部分語である.

異なる意味関係の間の境界は，常に明確だとは限らない．類義関係と上位・下位関係が人間にとって類似していることは， 心理言語学の実験で観察されている $[1,2]$. 上位・下位関係と全体・部分関係の境界は，英語の集合名詞において不明膫だと理論的に論じられている [3]. 例えば, furniture は家具の集合を指すが，その部分語の sofa は具体的な家具を指す
ため，下位語としても考えられる。また，計算言語学では，類義関係をなす二語と対義関係を成す二語は，統合的に (syntagmatically) 類似しているため，共起特徵量を用いて両関係を区別することが困難だと知られている [4].

つまり，意味関係の弁別は人間にとっても，計算機にとっても簡単なタスクではないことが示唆されている。そこで，多様な下流タスクで優秀な性能を示しているとされる事前訓練済み言語モデル （Pretrained Language Model，PLM）は, 意味関係の弁別ができているか. 本研究は，混淆度という新たな尺度を提案し，この問題にアプローチしていく。

## 2 提案尺度

本研究では，語義関係の知識の評価に多用されているプロンプトに基づく探査 (Prompt-based Probing) $[5,6,7]$ という手法を用いる. この手法では，プロンプトによる探査子（Probe）を構築して，PLM が特定の知識を獲得しているかどうかを検証する。

本研究では, “ $a W$ is a kind of $V$ ” のように， $W$ と $V$ の単語が入るプレースホルダーを 2 個持つ文字列のことをプロンプトと定義する. 本研究のプロンプトは $W$ と $V$ の間に必ず 1 つのみの意味関係が成立するよう設計した． Wをあるターゲット単語 $w_{i}$ で埋め，Vは空欄のままのプロンプトのことを探査子と呼ぶ。探査子をモデルに入力すると，モデルは， $V$ を埋めて文を完成させる．この時，文を完成させるタスクは， $w_{i}$ とプロンプトが表す意味関係 $r$ を持つ単語を予測させるタスクと同義である。以下， $w_{i}$ と意味関係 $r$ を持つ単語のことを略して $w_{i}$ の $r$-関係語と呼ぶ． $w_{i}$ が持つ $r$-関係語の集合を $y_{i}^{r}$ とする.
$i$ 番目のターゲット単語 $w_{i}$ と，意味関係 $r$ を意味する $j$ 番目のプロンプト $p_{j}^{r}$ によって構成される探査子を $x_{i j}^{r}$ とする. モデル $m$ は $x_{i j}^{r}$ を入力として受け取った際に，探査子の $V$ を補完できる単語の確率分布を出力する. $l_{k}\left(x_{i j}^{r} ; m\right)$ を, 予測確率が上位 $k$ 個によって構成され，かつその予測確率によって降順にソート済みのリストとする。

もし, モデルが $x_{i j}^{r}$ が表す意味関係 $r$ を正確に認識していれば， $y_{i}^{r}$ に属する単語は $l_{k}\left(x_{i j}^{r} ; m\right)$ 中で高順位に位置する。一方で, もしモデルが $x_{i j}^{r}$ が表す意味関係 $r$ を別の関係 $s$ に間違えていれば, $l_{k}\left(x_{i j}^{r} ; m\right)$中で， $y_{i}^{s}$ に属する単語が高順位に位置する。

以上を踏まえて，モデルが 2 つの関係を混淆する度合いを評価する混淆度を定義する. モデル $m$ が探査子 $x_{i j}^{r}$ を受け取った際の出力 $l_{k}\left(x_{i j}^{r} ; m\right)$ における，ターゲット単語 $w_{i}$ の $s$-関係語の平均順位スコア $\alpha\left(s, x_{i j}^{r} ; m\right)$ を，以下のように定義する.

$
\begin{aligned}
\alpha\left(s, x_{i j}^{r} ; m\right) & =\frac{1}{\left|y_{i}^{s}\right|} \sum_{w \in y_{i}^{s}} \operatorname{score}\left(w, l_{k}\left(x_{i j}^{r} ; m\right)\right) \\
\operatorname{score}(w, l) & =\frac{|l|-w \text { の } l \text { における順位 }+1}{|l|+1}
\end{aligned}
$

ただし，|l|はリスト $l$ の長さとする.したがって， $l_{k}\left(x_{i j}^{r} ; m\right)$ を考える場合, それは $k$ である. $k$ の設定については 3 節で説明する。

$\alpha\left(s, x_{i j}^{r} ; m\right)$ は関係 $r$ を表す各探査子に対して定義されている. それを関係 $r$ について集計した $\alpha(s, r ; m)$ を以下のように定義する.

$
\alpha(s, r ; m)=\frac{1}{\# x_{i j}^{r}} \sum_{i, j} \alpha\left(s, x_{i j}^{r} ; m\right)
$

$\alpha(s, r ; m)$ は直観的には，関係 $r$ を表す探査子が入力された時にモデルが関係 $s$ として認識している度合いを表している.したがって, $\alpha(s, r ; m)$ は， $s=r$ の時に高く, $s \neq r$ の時に低いことが望ましい.

$
\alpha(s, r ; m) \text { を } \alpha(r, r ; m) \text { を用いて } 0 \text { から } 1 \text { までに以 }
$

下のように正規化し，それを $r$ から $s$ への混淆度 （Confusability）として定義する.

$
\text { Confusability }(s, r ; m)=\min \left(\frac{\alpha(s, r ; m)}{\alpha(r, r ; m)}, 1\right)
$

$\frac{\alpha(s, r ; m)}{\alpha(r, r ; m)}$ は 1 より大きくなる場合があるため, 間值処理を行う.

Confusability $(s, r ; m)$ は 1 に近いほど，モデル $m$ が $r$ を $s$ として混淆する度合いが高いことを意味している。一方で 0 に近いほど， $r$ を $s$ として混淆する度合いが低いことを意味している。したがって，各
モデルは, $[0,1]^{|R| \times|R|}$ の混淆度行列で特徴付けられる.ここで，Rは意味関係の集合を表す. 混淆度行列の対角線は定義上 1 であるために本研究では考慮しない. なお, 混淆度は必ずしも対称ではなく, Confusability $(s, r ; m)=\operatorname{Confusability}(r, s ; m)$ は必ずしも満たされない. そのため, 混淆度行列も必ずしも対称行列ではない.

## 3 実験

## 3.1 対象モデル

本研究では, PLMと人間との比較を行う. 特に, PLM のうち, Masked Language Model (MLM) と Causal Language Model (CLM) を考える。具体的には，前者は BERT [8]，ALBERT [9] と RoBERTa [10] の全てのサイズを，後者は OPT [11] ${ }^{1)}$ の全てのサイズを評価に含める。

## 3.2 対象意味関係と評価データ

本研究では 6 つの意味関係を考える。 それぞれは上位関係 (hypernymy, HYP), 下位関係 (hyponymy, HPO)，全体関係 (holonymy, HOL)，部分関係 (meronymy, MER)，対義関係 (antonymy, ANT),類義関係（synonymy, SYN）である.

プロンプトプロンプトに基づく探査とパターンに基づく関係語ぺアの自動抽出に関する先行研究を参照し, 人手でプロンプトを設計した $[13,14,15,7]$. その結果，上位関係，下位関係，全体関係と部分関係について7つ，部分関係については 6 つ，対義関係については9つのプロンプトを得た2). MLM と CLM 間でプロンプトの互換性を保つために，全てのプロンプトで補完対象のトークンが末尾に位置するに設計した。

ターゲット単語それぞれの関係について，ター ゲット単語は Hyperlex [2] と Overschelde らが構築したカテゴリーノルムのコーパス [16] を活用して決定した. Hyperlex は意味関係が付与されている単語ペアのコーパスであり，カテゴリーノルムのコーパスはある名詞（ノルム）とそのインスタンスによるコーパスである. Hyperlex とカテゴリーノルムの

1） BERT, ALBERT, RoBERTa と OPT の語彙の積集合のサイズとそれらの和集合のサイズとの比は 0.19 であるのに対し， BERT, ALBERT, RoBERTa と Llama 2 [12] のその比は 0.08 であったため，比較可能性を考慮してOPTを選定した。

2) 全てのプロンプトは https://github.com/hancules/ Responses-to-probes にて公開している.
表 1 各意味関係の統計. $r$-関係語集合サイズの表記は平均 $\pm$ 標準偏差.

コーパスにある単語で，1)名詞であり，2) 対象モデルの共通語彙に存在し,3)いずれの対象モデルのトークナイザーにもサブワードに分割されない単語を，ターゲット単語とする。

関係語集合各ターゲット単語とある意味関係 $r$ について, WordNet [17], [2] と [16] におけるター ゲット単語の $r$-関係語を検索し，その結果を該当ターゲット単語の $r$-関係語集合とする. WordNet で上位語と下位語を検索する際は，ターゲット単語との距離が 2 以内の単語のみ含める.

表 1 に得られた評価データの統計を示す. 例えば，上位関係については，718 個のターゲットの単語がある。それらが持つ上位語の集合の平均サイズは 9 語である。上位関係を意味するプロンプトが 7 つあるため, 1 つのターゲット単語について, 7 つの探査子が得られる. その結果, トータルで $7 \times 718=5026$ 個の探査子が得られる.

## 3.3 人間による回答の収集

人間の各探査子に対する回答は Amazon Mechanical Turk (Mturk) で収集した. 参加者は, Mturk Master の資格を持ち，その回答が 500 回以上承認され，承認率が $95 \%$ 超えており，さらに現在米国，英国， オーストラリア，カナダのいずれかに居住している者に限定した. 1 つの探査子に対して，4人分の回答を募集した. その結果，48 人の参加者から、 1 人当たり平均 22 件の回答を得た. ある探査子に対する回答に出現した単語の頻度を集計し，その頻度に応じて降順に単語を並べ替えたリストをその探査子の人間による回答とする，各探査子に対する人間の回答の長さを式 (1)の $k$ とする. このようにすることで，ランクに基づく提案尺度が計算可能になり，人間の混淆度行列が得られるようになる。

## 4 結果

図 1 に，MLM，CLM と人間（Human）の混淆度行列を示す. MLM の行列は，BERT， ALBERT と RoBERTa の全てのサイズの平均混淆度行列であり, CLM の行列は OPT の全てのサイズの平均混淆度行列である。例えば，MLM の行列の HYP の行と HPO の列で示されたのは，全ての MLM の Confusability(HPO, HYP, $m$ ) の平均値，つまり，上位関係を意味する探査子が入力された時に，MLM が下位関係に混淆してしまう平均的な度合いである。全体的な傾向として，人間の混淆度はモデルより低い，したがって，CLM・MLM 問わず，モデルの意味関係間の弁別能力は人間と比較して相対的に低いと言える。

人間は，類義関係の上位・下位関係への混淆度が高い. 同時に，上位・下位関係の類義関係への混淆度も比較的高い. したがって, 人間は類義関係と上位・下位関係を混淆してしまう傾向がある。この傾向は, [1] と [2] の結果と一致する.

類義関係と上位・下位関係の混淆は, MLM と CLM でも観察される. MLM と CLM の類義関係の上位・下位関係への混淆度と, 上位・下位関係の類義関係への混淆度は，人間よりも高い。つまり，モデルは類義関係と上位・下位関係について人間以上に混淆して学習してしまっている.

人間と比較してモデルの混淆度行列で際立っているのは，対義関係の列のスコアが全体的に高いことと同時に，対義関係の行のスコアが全体的に低いことである．このことは，モデルは非対義関係を対義関係と誤認識する傾向があるが，対義関係を非対義関係から区別できていることを意味する。つまり，入力探査子が意図する意味関係に関わらず，常にモデルはターゲット単語の対義語に対して大きな確率を割り当ててしまう．このように，PLMには対義語が選好されている対義関係バイアスが観察された.

図 1 MLM，CLM および人間の混淆度行列

実験対象としたモデルは，考慮できる文脈（MLM vs CLM）が異なるにも関わらず，対義関係バイアスは共通して観察された. したがって, 対義関係バイアスは PLM の特徴だと考えられる。

表 2 ターゲット単語が niece の上位関係を意味する探査子"the word 'niece' has a more specific sense than the word V" に対するモデルと人間の回答（Top 2 まで）.

ケース・スタディとして，ターゲット単語が niece の上位関係を意味する探査子 “the word “niece" has a more specific sense than the word $V$ ” に対するモデルと人間の回答を表 2 で示した。この探査子に対する正解は, niece の上位語の relation と relative である.人間による回答には，正解である relative が含まれているのに対して，いずれのモデルも relation また
は relative が回答に含まれていない. niece の対義語である nephew が， 8 個中 1 個の MLM，8 個中 6 個の CLM で回答に含まれている。この事例からも， モデルがターゲット単語の対義語を優先して出力する傾向があることが観察できる。

## 5 結論

本研究では，PLM が意味関係をどれほど弁別できるかに着眼して, 分析を進めてきた. 主な貢献は, 1) PLM の意味関係の弁別性能評価の新しい指標である混淆度の提案，2) PLM の意味関係弁別性能を人間と比較して分析する初の評価実験の実施の二点である．実験の結果，MLM・CLM 共に人間を下回る弁別性能であることが示された．PLM は人間よりも特に類義関係と上位・下位関係を混淆している傾向にあることが観察された．さらに，PLMが他の関係よりも対義関係を選好し、非対義関係を対義関係として誤認識してしまう対義関係バイアスが存在することを明らかにした。

## 謝辞

本研究は, JST 次世代研究者挑戦的研究プログラ

ム JPMJSP2106 の支援を受けたものです.

## 参考文献

[1] Roger Chaffin and H H Clark. The similarity and diversity of semantic relations. Memory \& Cognition, Vol. 12, pp. 134-141, 1984.

[2] Ivan Vulić, Daniela Gerz, Douwe Kiela, Felix Hill, and Anna Korhonen. Hyperlex: A large-scale evaluation of graded lexical entailment. Computational Linguistics, Vol. 43, pp. 781-835, 122017.

[3] Frank Joosten. Collective nouns, aggregate nouns, and superordinates. Lingvisticae Investigationes, Vol. 33, pp. 25-49, 72010.

[4] Saif M. Mohammad, Bonnie J. Dorr, Graeme Hirst, and Peter D. Turney. Computing lexical contrast. Computational Linguistics, Vol. 39, No. 3, pp. 555-590, September 2013.

[5] Allyson Ettinger. What bert is not: Lessons from a new suite of psycholinguistic diagnostics for language models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 34-48, 12020.

[6] Abhilasha Ravichander, Eduard Hovy, Kaheer Suleman, Adam Trischler, and Jackie Chi Kit Cheung. On the systematicity of probing contextualized word representations: The case of hypernymy in bert. Proceedings of the Ninth Joint Conference on Lexical and Computational Semantics, pp. 88-102, 122020.

[7] Michael Hanna and David Mareček. Analyzing bert' $s$ knowledge of hypernymy via prompting. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 275282. Association for Computational Linguistics, 2021.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Vol. 1, pp. 4171-4186, 102018.

[9] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite BERT for self-supervised learning of language representations. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[10] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[11] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor
Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. OPT: open pre-trained transformer language models. CoRR, Vol. abs/2205.01068, , 2022.

[12] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton-Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurélien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models. CoRR, Vol. abs/2307.09288, , 2023.

[13] Tim Vor Der Brück. Learning semantic network patterns for hypernymy extraction. Proceedings of the 6th Workshop on Ontologies and Lexical Resources, pp. 3847, 2010.

[14] Andrey Simanovsky and Alexander Ulanov. Mining text patterns for synonyms extraction. In 2011 22nd International Workshop on Database and Expert Systems Applications, pp. 473-477. IEEE, 82011.

[15] Tuğba Yıldız, Banu Diri, and Savaş Yıldırım. Acquisition of turkish meronym based on classification of patterns. Pattern Analysis and Applications, Vol. 19, pp. 495507, 52016.

[16] James P Van Overschelde, Katherine A Rawson, and John Dunlosky. Category norms: An updated and expanded version of the battig and montague (1969) norms. Journal of Memory and Language, Vol. 50, pp. 289-335, 42004.

[17] George A. Miller. Wordnet. Communications of the ACM, Vol. 38, pp. 39-41, 111995.


# 同時通訳・同時翻訳のための語順同期性評価

蒔苗茉那 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{makinae.mana.mh2, sudoh, s-nakamura\}@is.naist.jp

## 概要

英日のような文法が大きく異なる言語ペアにて、同時通訳者はリアルタイムで訳出を行うために、原発話の語順を可能な限り維持して遅延を最小化しつつ品質を維持しているとされている。これは原発話の語順と同期した出力が望ましいことを意味し、機械による同時通訳や同時機械翻訳もこのような訳出スタイルを模倣することが発展の鍵となる。そこで本研究では順位相関係数と多言語 BERT を使用して、語順同期性に着目した同時通訳 (SI) と同時翻訳 (SiMT) の自動評価指標を提案する。 NAIST-SIC-Aligned とJNPC コーパスを用いた実験の結果、我々の評価指標が原発話と目的発話の間の語順同期の程度を計るのに有効であることが示された。

## 1 はじめに

SI は原発話の終了前に訳出を開始する特徴をもち、高品質かつ低遅延な訳出を行うことが目標である。その中で、特に英語と日本語のような異なる語順の言語対で高品質と低遅延の両立を図るためには、可能な限り原発話と同期させることが重要である。具体的に、同時通訳者は良質かつ最小の遅延を達成するために、できるだけ原発話の語順を保持した状態で訳出を行うこともあり、この戦略はファー ストイン・ファーストアウト（FIFO）戦略と呼ばれている $[1,2,3]$ 。近年 SI に対して計算機を用いた同時機械翻訳（SiMT）への研究関心が高まっているものの、入手可能な SIコーパスのサイズが小さいこともあり、ほとんどの研究 $[4,5]$ の学習で用いられているデータの大半は同時通訳者が行っているとされている FIFO 戦略が反映されていない通常の翻訳データである。つまり SiMT は FIFO の戦略を通じた品質と遅延を両立させた訳出ではなく、機械翻訳と同じような語順の並び替えの距離が長い訳出を用いた学習が行われている。表 1 は、翻訳と SI の間
の英日の語順差の例を示している。SIについて、原発話では「every year」は文末に来ているが、「every year」にあたる日本語訳は文の中ほどに来ている。 これは、遅延を減らすために原発話の途中で既に訳出が始まっていることを示している。一方、翻訳では「every year」にあたる日本語訳が文頭に来ている。これは、訳出の開始が原発話の終了まで待たなければならないことを示し、これは遅延の増加につながることが示唆される。

そこで本研究では、SI と SiMT の原発話と目的発話の間の語順同期性を計る評価指標を構築する。提案手法はこれまでの自動機械翻訳評価の研究から影響を受けている。RIBES [6] の順位相関係数の考えを用いて語順同期性を計算する。順位相関係数を計算する際に必要なアライメント情報の取得について、従来手法は表層ベースであるが、提案手法は BERTScore [7] を用いた意味的類似度から取得する。基本的に BERTScore はモノリンガルであるが、多言語 BERT を用れば容易にクロスリンガルに拡張できる [8]。提案手法の有用性を英日 SI コーパス $[9,10]$ を用いて検証したところ、特に長い原発話において SI は翻訳よりも語順同期性が高いことが示された。

## 2 関連研究

## 2.1 同時通訳の人手評価

人間によるSIの評価指標として主に：NAATI (National Accreditation Authority For Translators and Interpreters) Metrics [11] と EU Metrics [12] がある。これらの評価指標は文単位の訳出結果ではなく、通訳者のパフォーマンスを総合的に評価している。それに対して、本研究は文単位で SI の語順同期性を評価する。

## 2.2 機械翻訳の自動評価

BLEU [13] は機械翻訳で標準的に使用されている自動品質評価であり、SiMTでも活用されている

表 1 英日における語順差の例

[5]。RIBES は順位相関係数を用いて単語の順序の違いを考慮した自動評価である [6]。近年の多次元空間への埋め込みを用いた自動評価は、従来の表層一致評価と大きく異なり、単語の意味に基づいた評価を行っている。BERTscore [7] は、 hypothesis と reference 間の明示的なトークンアラインメントからそれぞれのトークンの類似性を用いた評価を行っている。COMET [14] は、マルチリンガルな事前学習モデルを活用した文レベルの埋め込みを使用しており、COMET-QE [15] は参照訳を用いることなく、直接 hypothesis と reference からの評価を可能としている。提案手法は、語順同期性を計るために、 RIBES、BERTScore、および COMET-QE から着想を得ている。

## 2.3 遅延評価

従来の SiMT の研究では、Average Lagging [5] およびその派生形 $[16,17]$ を用いた遅延評価が主流である。これらの手法はタイムスタンプを用いて遅延を計算するため、入力と出力の意味的な対応は考慮していない。SI の研究では、Ear Voice Span(EVS) [18] を使用しており、これは原発話と対応する同時通訳の訳出間の時間差に基づいた遅延評価である。本研究でも、遅延を削減する技術に注目しているが、時間差を表すタイムスタンプの代わりに、SI と SiMT の遅延に影響するであろう単語の語順同期性の数量化を目的としている。テキストレベルの情報を見ることができれば、どの訳出が遅延を発生させているか原因を特定でき、その結果を用いて遅延削減のためにどのように訳出を工夫すれば良いか示唆を得ることが可能だからである。

## 3 前提条件

本研究では、入力と出力の間の語順同期性を計るために、これまでの自動機械翻訳評価指標で用いられた以下の技術を使用している。

## 3.1 BERTScore によるアライメント取得

BERTScore は、貪欲法によるトークンアラインメントを使用して、hypothesis トークン $h_{1}, \ldots, h_{n}$ と reference トークン $r_{1}, \ldots, r_{n}$ に対して $a_{i}=\arg \max _{j} \cos \left(\boldsymbol{h}_{i}, \boldsymbol{r}_{j}\right)$ をとる。ここでは、 $a_{i}$ は $h_{i}$ に対応する参照トークンのインデックスであり、 $h_{i}$ と $r_{i}$ は埋め込みべクトルである。本研究では、多言語 BERTを用いて元の単一言語 BERTScoreをクロスリンガルに適用する。このようなアライメント問題に対して、バイリンガルな単語アラインメント $[19,20,21]$ が一般的である。しかし同時通訳の訳出結果は翻訳と異なり表層レベルで一対一対応していないもの（要約、省略などを含む [1]）が大部分を占めるため、予備実験にて十分な結果を得ることができなかった。

## 3.2 RIBES による順位相関係数

[6] は、Kendall の順位相関係数 $\tau$ を使用して hypothesis と reference の語順同期性を計る。RIBES では単語の表層一致で自動的にアライメントを取得するが、提案手法では BERTScore から得られる意味的一致を用いて、対応が取れたトークンのインデックスを使用して順位相関係数を計算する。

## 4 提案手法

本研究では、SI および SiMT を対象に言語横断のトークン対応付けを使用した語順同期性を計る評価指標を提案する。例えば、英語の入力が「I ate apples yesterday.」であり、それに対応する日本語の出力が「私は (I) / 昨日 (yesterday) / りんごを (apple)/食べました。(ate)」であると仮定する。ここで、スラッシュは英語の単語と日本語の文節の境界を示している。なお、これは単純化された例であり、実際のデータではサブワードでトークン化されている。アラインメントが取れた場合、翻訳で発生した単語の並べ替えを表す整数のリスト $[1,4,3,2]$ が得

図1アライメント閾値別での提案手法のスコア推移

られる。本研究では、並べ替え距離を考慮するために Kendall's $\tau$ の代わりに Spearman's $\rho$ の順位相関係数を使用する。上記の例では、 $\rho$ は 0.2 であり、ほとんど順位相関がないことを示している。前述にあるような同時通訳の特徴から、ここでのアラインメントの多くはノイズを含んでいる。これに対処するために、信頼性のあるアラインメントか否かを識別するために 2 つのヒューリスティックを適用する。 まず、英語側にて機能語に対するアラインメントを語順同期性を計算する対象から外す。これは機能語は異なる言語間で常に明確な単語レベルの対応関係を持っているとは限らないからである。これについて、SpaCy の機能語リストを使用し、品詞タグに基づいて機能語を識別する。次に、類似度がある閾値 $\theta$ を下回るアライメントは信頼性に欠けるとしてそれらアラインメントも計算の対象から除外する。

## 5 実験

## 5.1 実験設定

提案手法の有効性を実際の SI および翻訳にて検証するために、以下の 2 つの実験を行った。

第 1 の実験では、翻訳と SI の語順同期性の程度を比較した。ここでは NAIST-SIC-Aligned [9] を使用した。これは TED Talks の英日同時通訳を集めたものである。本実験では 15 年以上の経験を持つ同時通訳者による 212 トークのみを抽出し、高品質な通訳に焦点を当てて検証している。経験の浅い同時通訳者による SI は誤訳などが多く、順位相関を計算するためのアライメントをとることが難しかった。これら SI の分析は今後の課題の一つとする。

第 2 の実験では、提案手法と人手評価との相関関係を調査した。ここでは Japan National Press Club （JNPC） Interpreting Corpus [10] から 1 つのトークを

表 2 提案手法による閾値 $\theta=0.71$ の場合の SI と字幕の同期の程度。丸括弧内の数字は評価対象となったセグメント数を示す。

使用した。SI の人手評価は、日本語を母語とする同時通訳者によって、自身のこれまでの経験の観点を反映しつつ、Multidimensional Quality Metrics (MQM) [22,23]を用いた評価を依頼した。その中から第 1 の実験結果に基づいて、30 語以上で、3つ以上のアライメントが取れたトークンを持つ 172 のセグメント中 25 セグメントを選択し比較した。

## 5.2 同時通訳と翻訳の比較分析

第 1 の実験にて、図 1 は異なるアライメントの閾値 $\theta$ での結果を示し、信頼できるアライメントの数と閾値のトレードオフから、表 2 にて $\theta=0.71$ の場合の詳細を示している。具体的にはアライメントが取れた要素の数 $\left(N_{\text {align }}\right)$ を変化させ、データセット全体で異なる部分集合のスコアを比較している。その理由は 2 つある。1つ目は、アライメントが取れた要素の数が順位相関計算の安定性に影響を与えるからである。2つ目は、大きな $N_{\text {align }}$ を持つつまり原発話が長いものは、短いものよりも語順の並び替えに影響を受けるからである。ここで注意しておくべきは、同じ $N_{\text {align }}$ を持つスコアは、評価が可能な部分集合の違いにより直接比較できないことである。

結果から、 $N_{\text {align }}$ が大きいところでは、SIにて強い語順同期性が示された。これは、信頼性の高い単語のアライメントを多く含むセグメントつまり発話が長いSIにおいて、原発話に対する目的発話の語順同期性が翻訳よりも高いことを示唆している。一方で、 $N_{\text {align }}$ が小さいところでは、翻訳と SI の間の語順同期性の差は小さかった。

以下に、これらの結果を例を挙げて具体的に議論する。表 3 は短いセグメントの例を示す。ここではSI は翻訳と同程度の語順の並び替えが起きている。これは、同時通訳者が短い発話に対しては自然な日本語の語順で訳出することが可能なため、SI と

 \\

表 4 原発話が長い例

表 5 長いセグメントにおける MQM ベースの人手評価と自動評価の相関比較

翻訳の間の語順同期性の差が小さいことを示唆している。対照的に、表 4 のような長いセグメントでは、SI は翻訳よりも原発話の語順同期性が高かった。これは、SI の時間制約と同時通訳者の記憶容量の制約により、SI では単語の大幅な並べ替えが困難であることに起因している。これは SI において省略が頻繁に起こっていることからも示唆される。翻訳は日本語的な流暢さを維持するため、より多くの単語の並べ替えが行われているものの、この翻訳の場合はセグメントの後半部分「because」で始まる部分から最初に戻すことがないため、一見原発話と同期しているように見える。これは、TED Talks での字幕を使用した翻訳スタイルに由来することから、これは一般的な翻訳とわずかに異なる。一般的な翻訳との違いは、表 2 に現れているようなスコアの差に結びつくはずである。最後に、語順同期性と通訳品質の人手評価との関係について調査を行った。表 5 は、自動評価指標のスコア（COMET-QE、 BERTScore（F1)、および提案手法）と MQM エラー スコアとの Pearson 相関係数を示している。提案手法は人手評価と負の相関を示した一方で、他の評価指標はほとんど相関が見られなかった。これは従来の機械翻訳の評価指標を用いて SI の品質を測定することの難しさを暗示しており、SI 評価において語順同期性を計る有用性を示している。SI・SiMT の評価では、従来の単語ごとの一対一対応の意味評価ではなく、リアルタイムの制約下で適切な内容伝達が要求される SI の特徴を踏まえたアプローチの必要性も示唆している。

## 6 おわりに

本研究では、順位相関係数に基づく語順同期性を BERTScore を用いて計る評価指標を提案した。提案手法は、英日 SIコーパスを用いた実験を通じて、長いセグメントにおいて、翻訳よりも SI の語順同期性が特に強いことを示した。今後の課題として、要約、言い換え、省略などを含む SI および SiMT により頑丈な語順同期性評価、および SI および SiMT に特化した品質評価などが挙げられる。

## 謝辞

本研究は JSPS 科研費 21H05054、22H03651 の助成を受けたものです。

## 参考文献

[1] He He, Jordan Boyd-Graber, and Hal Daumé III. Interpretese vs. translationese: The uniqueness of human strategies in simultaneous interpretation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 971-976, San Diego, California, June 2016. Association for Computational Linguistics.

[2] Kosuke Doi, Katsuhito Sudoh, and Satoshi Nakamura. Large-scale English-Japanese simultaneous interpretation corpus: Construction and analyses with sentence-aligned data. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021), pp. 226-235, Bangkok, Thailand (online), August 2021. Association for Computational Linguistics.

[3] Zhongxi Cai, Koichiro Ryu, and Shigeki Matsubara. What affects the word order of target language in simultaneous interpretation. In 2020 International Conference on Asian Language Processing (IALP), pp. 135-140, 2020.

[4] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neural machine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 1053-1062, Valencia, Spain, April 2017. Association for Computational Linguistics.

[5] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneous translation with implicit anticipation and controllable latency using prefix-to-prefix framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025-3036, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.

[7] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations, 2020

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Jinming Zhao, Yuka Ko, Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura, et al. NAIST-SIC-Aligned: Automatically-Aligned English-Japanese Simultaneous Interpretation Corpus. arXiv preprint arXiv:2304.11766, 2023.

[10] Kayo Matsushita, Masaru Yamada, and Hiroyuki Ishizuka. An Overview of the Japan National Press Club (JNPC) Interpreting Corpus. Invitation to Interpreting and Translation Studies, No. 22, pp. 87-94, 2020a.

[11] NAATI. Certified interpreter assessment rubrics, 2023. Accessed on 26.09 .2023

[12] European Union. Marking criteria for consecutive, 2023. Accessed on 26.09.2023

[13] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[14] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[15] Ricardo Rei, Ana C Farinha, Chrysoula Zerva, Daan van Stigt, Craig Stewart, Pedro Ramos, Taisiya Glushkova, André F. T. Martins, and Alon Lavie. Are references really needed? unbabel-IST 2021 submission for the metrics shared task. In Proceedings of the Sixth Conference on Machine Translation, pp. 1030-1040, Online, November 2021. Association for Computational Linguistics.

[16] Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey, ChungCheng Chiu, Semih Yavuz, Ruoming Pang, Wei Li, and Colin Raffel. Monotonic infinite lookback attention for simultaneous machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 13131323, Florence, Italy, July 2019. Association for Computational Linguistics.

[17] Sara Papi, Marco Gaido, Matteo Negri, and Marco Turchi. Overgeneration cannot be rewarded: Length-adaptive average lagging for simultaneous speech translation. In Proceedings of the Third Workshop on Automatic Simultaneous Translation, pp. 1217, Online, July 2022. Association for Computational Linguistics.

[18] Elisa Robbe. Ear-Voice Span in Simultaneous Conference Interpreting EN-ES and EN-NL: a Case Study. PhD thesis, Ghent University, 2019.

[19] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, Vol. 19, No. 2, pp. 263-311, 1993.

[20] Masoud Jalili Sabet, Philipp Dufter, François Yvon, and Hinrich Schütze. SimAlign: High quality word alignments without parallel training data using static and contextualized embeddings. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1627-1643, Online, November 2020. Association for Computational Linguistics.

[21] Zi-Yi Dou and Graham Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2112-2128, Online, April 2021. Association for Computational Linguistics.

[22] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM): A Framework for Declaring and DescribingTranslation Quality Metrics. Revista Tradumàtica: tecnologies de la traducció, Vol. 12, pp. 455463, 2014

[23] Milind Agarwal, et al. FINDINGS OF THE IWSLT 2023 EVALUATION CAMPAIGN. In Proceedings of the 20th International Conference on Spoken Language Translation (IWSLT 2023), pp. 1-61, Toronto, Canada (in-person and online), July 2023. Association for Computational Linguistics.


# 文法誤り訂正における参照なし評価尺度を用いた分析的評価法

五藤巧 ${ }^{1}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学
\{goto.takumi.gv7, taro\}@is.naist.jp

## 概要

文法誤り訂正における参照なし評価尺度は様々な利点を持つにも関わらず，その評価値の向上もしくは低下がどの訂正に起因するものなのかを分析することが難しい. 本研究では，協力ゲーム理論におけるシャープレイ値の方法に注目し，訂正前と訂正後の文単位の評価値の差分を，訂正単位の評価値に分配する方法を提案する.これにより, 全体の評価値に対する個々の訂正の貢献度を可視化し，分析を可能にする．実験では，実際の訂正をニューラルベー スの尺度で評価する時の分析例を示す. また提案法の妥当性や将来的な応用について議論する.

## 1 はじめに

文法誤り訂正は入力に含まれる文法的もしくは表層的な誤りを自動的に訂正するタスクである．同タスクの評価は参照あり評価と参照なし評価に大別され，特に後者は人手による訂正文を必要としない.このことから，低コストで評価可能な点が利点である。この他にも，仮にシステムの訂正が正しくても，参照あり評価では人手の訂正に含まれない訂正は誤りとなってしまうが，参照なし評価ではそのような問題は起こりづらいと考えられる. さらに， ある特定の観点から評価することで，単なる正誤に留まらない評価が可能である。例えば，Asano ら [1] や Yoshimura ら [2] は文法性・流暢性・意味保存性を対象とした観点別の評価を可能にしている.

こうした尺度のほとんどはニューラルベースであるが，これらの尺度は文単位の評価値のみを提供するため，評価値が向上もしくは低下した場合に，システムのどのような訂正によって評価値が向上（低下）したのかを分析することはできない。このことから，システムをどのように改良すればよいのかという知見が得られない.

本研究では，参照なし評価尺度を用いて，どのような訂正によって評価値が向上もしくは低下した
のかを分析可能にするため，訂正前および訂正後の文の評価値の差分を，訂正単位の評価値に分配する方法を提案する．得られる訂正単位の評価値は実数值であり，正負が評価尺度にとっての善し悪しを表し，絶対値の大きさが善し悪しの強度を表す. 分配方法には，協力ゲーム理論の文脈で発展してきたシャープレイ值 [3] を応用し，シャープレイ值が持つ理論的な性質が提案法にとってうまく解釈できることを議論する。提案法は，参照なし評価の利点を維持しながら，個々の訂正の質を分析する分析的評価法を提供するものである.

実験では，ニューラルベースの参照なし評価尺度として SOME [2] と IMPARA [4] を用いて提案法を適用し，どのような解釈が可能であるかを例示する （§4.3). 分析では，提案法の妥当性について議論し （§ 5.1), また提案法が分析的評価法以外の用途でも有効に機能することを議論することで，提案法の展望について述べる（§5.2）。具体的には，メタ評価法，脆弱性やバイアスを発見する手法，説明性手法の観点から議論する。

## 2 関連研究

参照なし評価尺度は，言語モデルのパープレキシティと表層の一致率に基づくもの [5]，流暢性・文法性・意味保存性の各観点に基づくもの $[1,2]$, 意味保存性推定と訂正文の品質推定に基づくもの [4] といったように，さまざまな手法が提案されている. しかしながら，いずれも評価值の変動がどの訂正に起因するものなのかという情報は提供できない．本研究ではこれらの評価法の一部を用いて実験する。

永田ら [6] は，書き手の意図が伝わるかどうかという観点から訂正重要度を定量化する方法を提案している。永田らは人間にとっての（意味保存性の観点からの）訂正重要度を定量化するが，提案法は参照なし評価尺度にとっての訂正重要度を定量化していると解釈できる。すなわち，人間の判断を模倣した評価値の獲得は目的としていない点が異なる.

## 3 分析的評価法

参照なし評価は，参照なし評価尺度 $M(\cdot)$ に誤り文 $S$ とその訂正文 $H$ を入力し, 訂正文の評価値 $M(S, H) \in \mathbb{R}$ を与えるものである. この時, 自動アライメント手法である ERRANT [7, 8] により， $S$ を $H$ にするための訂正 $\boldsymbol{e}=\left.\{e_{i}\right.\}_{i=1}^{N}$ を獲得できる. $N$ は訂正の数であり, $\boldsymbol{e} \in \boldsymbol{e}$ は $S$ における単語単位のスパンと，そのスパンの訂正後の文字列を含む値である.

本研究の基本アイデアは, $e$ を適用することで変化した文単位の評価値 $\Delta M(S, H)=M(S, H)-M(S, S)$ は, 訂正 $\left.\{e_{i}\right.\}_{i=1}^{N}$ それぞれが持つ貢献 $\left.\{\phi_{i} \in \mathbb{R}\right.\}_{i=1}^{N}$ の総和であるという仮説に基づく．したがって，

$
\Delta M(S, H)=\sum_{i=1}^{N} \phi_{i}
$

となるような $\left.\{\phi_{i}\right.\}_{i=1}^{N}$ を求めることで, 個別の訂正が持つ評価値への貢献を定量化でき，分析的評価に用いることができる. 特に， $\phi_{i}>0$ であれば尺度 $M(\cdot)$ を改善する訂正であり， $\phi_{i}<0$ であれば悪化させる訂正であることが分かる. さらに， $\phi_{i}$ の絶対値の大きさによってその度合いも定量化できる. 例えば， $\phi_{i}$ が大きな負の值であれば，尺度にとって改善されることが特に望ましい訂正であることが分かる.

次に， $\phi_{i}$ をどのように求めるかが課題となる. 提案法では，協力ゲーム理論で用いられるシャープレイ値 [3] に注目する。複数のプレイヤーが協力してある利益を達成したとき, 各プレイヤーの貢献度を考慮しながら全体の利益を配分したときの利益がシャープレイ值である. 本研究では全体の利益を $\Delta M(S, H)$, プレイヤーを編集 $\boldsymbol{e}$ であるとみなして,尺度 $M(\cdot)$ に対するシャープレイ值 $\left.\{\phi_{i}(M)\right.\}_{i=1}^{N}$ を次式で計算する。

$
\begin{aligned}
& \phi_{i}(M)= \\
& \sum_{E \subseteq \boldsymbol{e} \backslash e_{i}} \frac{|E| !(N-|E|-1) !}{N !}\left(\Delta M\left(S, S_{E \cup e_{i}}\right)-\Delta M\left(S, S_{E}\right)\right)
\end{aligned}
$

なお, 訂正集合 $E \subseteq \boldsymbol{e}$ を入力文 $S$ に適用した訂正文を $S_{E}$ と表した. 式 2 は，全体の訂正集合から $e_{i}$ を含まない全ての部分集合について $e_{i}$ を適用した時と適用しない時の評価値の差分を計算し，その加重和をとったものである. より具体的な計算例は付録 $\mathrm{A}$ に示す.
シャープレイ値は，次の 4 つの性質を満たす唯一の分配方法であるとして知られる [3]. 以下，その性質を文法誤り訂正における解釈と共に説明する。

1. 効率性：式 1 そのものである. 訂正集合全体の貢献は，個々の訂正の貢献の和に一致する。

2. 対称性 $: E \subseteq \boldsymbol{e} \backslash\left.\{e_{i}, e_{j}\right.\}$ を満たす任意の訂正集合 $E$ について, $\Delta M\left(S, S_{E \cup e_{i}}\right)=\Delta M\left(S, S_{E \cup e_{j}}\right)$ ならば， $\phi_{i}(M)=\phi_{j}(M)$ である. すなわち，評価値への貢献が同じ度合いである訂正のシャープレイ値は一致する。

3. ダミープレイヤ: 任意の $E \subseteq \boldsymbol{e} \backslash e_{i}$ について, $\Delta M\left(S, S_{E \cup e_{i}}\right)=\Delta M\left(S, S_{E}\right)$ ならば, $\phi_{i}=0$ である. すなわち, 評価値に影響しない訂正の貢献は 0 となる. 文法誤り訂正においては多くの単語は訂正されずに維持されるが，「訂正しない」 という訂正が $\boldsymbol{e}$ に含まれると仮定しても，それらの訂正の貢献は $S_{E \cup e_{i}}=S_{E}$ より必ず 0 となる.このことから，実際に何らかの変更を加えた訂正のみに対して評価值が分配されることを保障する.

4. 加法性：2つの異なる評価尺度 $M$ および $M^{\prime}$ を結合した評価尺度 $\Delta M(S, H)+\Delta M^{\prime}(S, H)$ に対し $\tau, \phi_{i}\left(M+M^{\prime}\right)=\phi_{i}(M)+\phi_{i}\left(M^{\prime}\right)$ が成り立つ.意味保存性と流暢性のように複数の観点を考慮した場合のシャープレイ值は，個々の観点におけるシャープレイ値の和として計算できることを意味する。

以上のように，シャープレイ値の持つ性質は，本研究で目的とする分析的評価法と相性が良い. また式 2 より, シャープレイ値はある訂正の貢献を計算するときに周辺の訂正の適用状況を考慮するため,訂正の依存関係も考慮した評価値が得られると考えられる。なお，厳密なシャープレイ値を計算する場合，式 2 を計算するために一文あたり $O\left(2^{N}\right)$ の時間計算量を必要とし，また任意の $E \subseteq \boldsymbol{e}$ について $M\left(S, S_{E}\right)$ を計算するため $2^{N}$ 文に対する評価値の計算を必要とすることに注意されたい.

## 4 実験

## 4.1 参照なし評価尺度

SOME [2] 人手評価を直接教師として，BERTを文法性・流暢性・意味保存性のそれぞれの観点において学習する手法である. 本研究ではこの 3 種類の
表 1 実際の訂正を用いた提案法の適用例.

 & - & It & is & also & take & risks \\
also & takes & risks &  &  &  & things & - \\

SOME-g & 0.2427 & - & 0.064 & - & 0.024 & - & 0.075 & - & 0.042 & - & 0.037 & - \\
SOME-m & 0.2332 & - & 0.002 & - & 0.008 & - & 0.124 & - & 0.005 & - & 0.095 & - \\
IMPARA & -0.0004 & - & 0.024 & - & 0.066 & - & 0.066 & - & -0.155 & - & -0.002 & - \\

図 1 JFLEG 開発データの GECTORによる訂正文における, 訂正の数の頻度（棒グラフ）と頻度の累積密度（折れ線グラフ).

観点の尺度に対して独立に提案法を適用し, 観点別の分析的評価が可能であることを示す. なお，学習済み評価器の重みには公開されているものを用いた1).

IMPARA [4] IMPARA は，意味保存性の評価値と訂正文の品質推定の評価値を組み合わせて評価する. 評価器の重みは公開されていないため，再現実装を行い，CoNLL-2013 [9]を並列データとして学習したモデルを用いた2).

## 4.2 訂正文

提案法は分析的評価を目的としているため，実験に用いる訂正システムの訂正性能は基本的に問わない. 本稿では, 系列タグ付けとして文法誤りを訂正するモデルである GECToR [10] の出力を用いて提案法の結果を例示する．JFLEG [11] の開発データ 754 文を入力とし，推論時のハイパーパラメタ：KEEP タグへのバイアスと誤り検出確率の間值は共に 0 として推論した。また，RoBERTa [12]を fine-tune することで学習された単一モデルを用いた。

得られた訂正文における訂正数の分布および累積密度を 1 に示す. 3 節で述べたように提案法の時間

1) https://github.com/kokeman/SOME

2) https://github.com/gotutiyan/IMPARA計算量は指数関数のオーダであるが，図 1 より最大でも $N<=14$ であるため，全ての文において現実的な時間でシャープレイ值が計算可能である.

## 4.3 分析的評価の例示

表 1 に，提案法の結果を例示する。表 1 は 5 つの誤り訂正が行われた実例である。原文と訂正文は， ERRANT [7, 8] が計算するアライメントにしたがってチャンクに分けたものを示した. 最下部のブロックには，何らかの訂正が行われたチャンクそれぞれに対して，4.1 節で示した尺度を $M(\cdot)$ として提案法を適用した時のシャープレイ值を示した. SOME-f ・ SOME-g ・SOME-m は，SOME の流暢性・文法性・意味保存性の評価結果をそれぞれ示す。

表 1 において $\Delta M(S, H)$ に注目すると，SOME-f ・ SOME-g・SOME-m は評価値が向上している一方で, IMPARA の評価値はわずかに低下している. 各尺度においてこの理由を探るために，訂正単位の評価値に注目すると次のように分析できる。 まず，SOME-f の評価値が向上した理由として, raher や is の削除の訂正によるものが大きいことが分かる．その他の訂正も正の評価であるが，その度合いは小さい. SOME-g の分析結果としても同じことが言える. SOME-m は，raher の削除と things を追加する訂正により主に評価値が向上している。IMPARA は，ほとんどの訂正が正の評価を与える一方で，副詞の語彙選択 (only $\rightarrow$ just) の訂正が大きな負の評価値を与えており，文単位の評価値が低下する原因となっている.したがって，IMPARA の観点ではこの訂正が改善されることが望ましい訂正であることが分かる.

なお，表 1 は，それぞれの尺度や観点において分析的評価が可能なことの例示を目的としており，メタ評価のように尺度による評価の傾向の違いを議論するものではないことに注意されたい. また，提案法で得られた評価値の絶対値の大きさは，同じ尺度

の中で異なる訂正同士を比較してよいが，同じ訂正の評価値を異なる尺度で比較できないことに注意されたい. この理由は，評価値の分配元である $\Delta M(\cdot)$ の大きさによって, 訂正単位の評価値大きさの解釈が変動するからである.

## 5 議論

## 5.1 分析的評価法としての妥当性

提案法により得られた訂正単位の評価値の妥当性には議論の余地がある. まず，分析的評価法としての妥当性の評価に人手評価を用いることは望ましくない. 本研究では, 文単位の評価値の向上もしくは低下の理由を，訂正単位の評価値によって分析することを分析的評価と位置付けており，ここに人手評価を模倣するような分析を可能にする意図は含まれていない.したがって，人間の直感と一致するかどうかに関わらず，得られた訂正単位の評価値をもとに分析することを前提としている。

一方で，依然として訂正単位の評価値の計算方法としてシャープレイ値が適切かどうかの議論は残る. 訂正単位の評価值を定量化する単純な方法には， 入力文にただ一つの訂正のみを適用した時の評価値の変動に基づく方法 [13]（ $S$ と $S_{e_{i}}$ のみの比較）や，訂正文からただ一つの訂正のみを除外したときの評価值の変動に基づく方法 [4]（ $S_{\boldsymbol{e}}$ と $S_{\boldsymbol{e} \backslash e_{i}}$ のみの比較）が考えられる. しかし，いずれも周辺の訂正の適用状況を考慮できない. これらの方法に比べて, シャープレイ値は考えうる全ての訂正の適用状況の組み合わせを考慮するため，周辺の訂正の適用状況を適切に考慮した評価値を得ることができる.このことは，メタ評価の一環として尺度の誤りタイプに対する敏感性を調査した Choshen ら [14] の方法を，より厳密な計算方法に拡張したとも捉えられる. また, 文単位の評価値を訂正単位の評価値に分配するという本研究の要求を, シャープレイ値の効率性の性質により自然に満たせることからも， シャープレイ値を用いることは十分妥当であると考える。

## 5.2 提案法のその他の解釈

本研究では提案法を分析的評価法と位置付けたが，提案法は以下のようにさまざまな側面への応用が考えられる基盤的な技術となりうる。
メタ評価法提案法により得られた訂正単位の評価値と誤り訂正の性質との関係を調べることで，メ夕評価に利用できる可能性がある．例えば，何らかの重要視して評価したい誤り訂正の側面があるとき，その項目に絶対値として大きな $\phi_{i}$ を与える尺度を選択することで，所望の評価を行うことができる.このことは, 従来行われてきた人手評価との相関に基づいたメタ評価とは異なり，評価したいことを評価できる尺度を選択するための目的指向のメタ評価として役立つ.

バイアス・脆弱性検出法提案法により，ある特定の訂正によって不当に性能が向上もしくは低下する問題を明らかにできる可能性がある。例えば，そもそも文法誤り訂正ではないような編集（例：文意を無視した高頻度語への置換）であっても，評価値が向上してしまうような現象が存在する可能性がある. 仮にこのような現象は，悪用することで不当に高い評価値が得られる脆弱性の問題に繋がりかねない.このような脆弱性は, 脆弱性と思われる訂正を含むように恣意的に作成した訂正文を用いて，提案法による分析的評価を行うことで明らかにできる可能性がある. 類似した問題として, 性別や国籍などに起因するバイアスを明らかにする方法にも用いることができる.これら観点においては，5.1 節で述べた議論とは異なり, 人手の評価結果との比較（もしくは提案法により得られた評価値の人手評価）に意味が生じる.

説明性手法提案法は評価値を推定した根拠を訂正の面から説明する手法であるとも見做せる．従来の説明性手法では入力の各単語に対して予測値への貢献を計算するが [15,16], 本研究では訂正という文の部分的な変化に対して貢献を説明する点が異なるため，説明性手法としても新たな試みであると言える。

## 6 おわりに

シャープレイ値に基づいて，参照なし評価尺度の評価値がなぜ向上もしくは低下したのかという点を，訂正単位で分析する分析的評価手法を提案した. 実際の訂正を用いた提案法の適用例を例示し，妥当性および分析的評価法以外の活用も含めた将来の展望を議論した. 今後は主に 5.2 節で述べた項目について，提案法のさらなる活用について検討する.また，文法誤り訂正以外の文の編集を伴うタスク（平易化など）への活用も検討する.

## 参考文献

[1] Hiroki Asano, Tomoya Mizumoto, and Kentaro Inui. Referencebased metrics can be replaced with reference-less metrics in evaluating grammatical error correction systems. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 343-348, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[2] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less sub-metrics optimized for manual evaluations of grammatical error correction. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6516-6522, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[3] Lloyd S Shapley, et al. A value for n-person games. 1953.

[4] Koki Maeda, Masahiro Kaneko, and Naoaki Okazaki. IMPARA: Impact-based metric for GEC using parallel data. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3578-3588, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[5] Md Asadul Islam and Enrico Magnani. Is this the end of the gold standard? a straightforward reference-less grammatical error correction metric. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3009-3015, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] 永田亮, 高村大也. 文法誤り訂正への訂正重要度の導入. 言語処理学会第 28 回年次大会, 2022.

[7] Mariano Felice, Christopher Bryant, and Ted Briscoe. Automatic extraction of learner errors in ESL sentences using linguistically enhanced alignments. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 825-835, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[8] Christopher Bryant, Mariano Felice, and Ted Briscoe. Automatic annotation and evaluation of error types for grammatical error correction. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 793-805, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Hwee Tou Ng, Siew Mei Wu, Yuanbin Wu, Christian Hadiwinoto, and Joel Tetreault. The CoNLL-2013 shared task on grammatical error correction. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-12, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] Kostiantyn Omelianchuk, Vitaliy Atrasevych, Artem Chernodub, and Oleksandr Skurzhanskyi. GECToR - grammatical error correction: Tag, not rewrite. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 163-170, Seattle, WA, USA $\rightarrow$ Online, July 2020. Association for Computational Linguistics.

[11] Courtney Napoles, Keisuke Sakaguchi, and Joel Tetreault. JFLEG: A fluency corpus and benchmark for grammatical error correction. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 229-234, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[13] Peiyuan Gong, Xuebo Liu, Heyan Huang, and Min Zhang. Revisiting grammatical error correction evaluation and beyond. In
Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 6891-6902, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[14] Leshem Choshen and Omri Abend. Automatic metric validation for grammatical error correction. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1372-1382, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. " why should i trust you?" explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, pp. 11351144, 2016.

[16] Scott M Lundberg and Su-In Lee. A unified approach to interpreting model predictions. Advances in neural information processing systems, Vol. 30, , 2017.

## A シャープレイ値の具体的な計算 \\ 方法

3 つの訂正 $\boldsymbol{e}=\left.\{e_{1}, e_{2}, e_{3}\right.\}$ が存在する場合を考える..この時, 各訂正の評価値 $\phi_{1}, \phi_{2}$ および $\phi_{3}$ は次のように計算される。なお，記号および記法は 3 節と同じ意味で用いた。

$
\begin{aligned}
\phi_{1}= & {\left[\frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{1}\right.\}}\right)-\Delta M(S, S)\right)\right.} \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{2}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{2}\right.\}}\right)\right) \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{3}\right.\}}\right)\right) \\
& \left.+\frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{2}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{2}, e_{3}\right.\}}\right)\right)\right] \\
\phi_{2}= & \frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{2}\right.\}}\right)-\Delta M(S, S)\right) \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{2}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{1}\right.\}}\right)\right) \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{2}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{3}\right.\}}\right)\right) \\
& \left.+\frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{2}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{1}, e_{3}\right.\}}\right)\right)\right] \\
\phi_{3}= & {\left[\frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{3}\right.\}}\right)-\Delta M(S, S)\right)\right.} \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{1}\right.\}}\right)\right) \\
& +\frac{1}{6}\left(\Delta M\left(S, S_{\left.\{e_{2}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{2}\right.\}}\right)\right) \\
& \left.+\frac{1}{3}\left(\Delta M\left(S, S_{\left.\{e_{1}, e_{2}, e_{3}\right.\}}\right)-\Delta M\left(S, S_{\left.\{e_{1}, e_{2}\right.\}}\right)\right)\right]
\end{aligned}
$


# 評価の階層性に着目した雑談対話システム評価の分析

蔦侑磨
東京大学大学院 情報理工学系研究科
tsuta@tkl.iis.u-tokyo.ac.jp
}
吉永 直樹
東京大学 生産技術研究所 ynaga@iis.u-tokyo.ac.jp

図 1 評価の階層性を表現した評価例。例えば流暢性と関連性では，応答が流暢ではないことにより応答関連性を 適切に評価できないという非対称な関係性がある。

できないため応答関連性を評価することすら困難で あるが，一方で応答関連性が流暢性評価に影響する ことはない。このような評価の階層性は文レベルの 評価において普遍的な特徴であり，一部の自動評価手法ではこの階層的依存関係を利用する $[6,7]$.

この評価軸の階層的依存性が意識されないと，個々の評価軸で誤った結論を下す可能性が考えられ る。例として，対話システム A・Bの性能比較を，文の流暢性と応答関連性により評価する状況を考え る.そしてシステム $\mathrm{A}$ はシステム B と同程度に関連性の高い応答を生成する能力があるが，システム B より流暢ではないとする．流暢でない文の評価は 困難であるため，応答関連性評価についてもシステ ム A がシステム B より劣るという誤った結論が下 される可能性がある.このような状況では応答関連性評価の解釈として不適切な結論が導かれている。

そこで本研究では，評価の階層性や階層的依存性 に起因する問題について分析を行う。この分析にお いて，検定に基づく対話システム間の性能有意差を 手掛かりに，対話システムペアをグループ化した対話システムペア集合を活用する。この集合を利用し た評価軸間の網羅的な分析により，階層的依存関係 にある評価軸ぺアを明らかにする。さらに，明らか にした評価軸ぺア間の階層的依存性を解消した場合 の対話システム間性能有意差の再分析を行う。

実験では，DSTC9 [8] と USR データセット [7] 上 での複数の対話システムへの複数の評価軸による人手評価を使って分析を行った．実験結果から，評価
軸間の階層的依存性によるバイアスは一部の対話シ ステム間の有性能意差の有無に影響を及ぼすことが 確認された。
## 2 関連研究

## 2.1 対話システム評価方法の分析

雑談対話研究の評価では，どのような会話で評価を行うか，どのように評価を行うかなど，多様な観点から妥当な評価方法に関する議論が行われてきた. 例えば，対話システムの会話データ構築やアノテーションのコスト $[9,10,11]$, 評価者間一致度などのアノテータの質に関する分析 [12] や高品質なアノテーションを得るための方法 [13] などである.

しかしこれらの研究では，評価の評価軸間関連性の分析までは行われていない. 本研究では文レベルの評価に普遍的な評価の階層性という特徴に注目し, 特に評価軸間の階層的依存性に起因するバイアスによる評価への影響がないかを観察する。

## 2.2 評価軸間関連性を意識した自動評価

雑談対話システムでは応答の関連性 [1] や，会話の一貫性 [2], エンゲージメント [3] など様々な評価軸に特化した自動評価手法が提案されている [4]. その中でも評価軸間の関連性・階層性に着目して複数の評価手法を組み合わせた手法がある. Mehri らは，個々の側面に特化した自動評価評価を組み合わせることで，多様な評価軸に適応可能な自動評価手法を提案した [7]. 具体的には, 生成応答文の総合評価の予測のために，文の理解しやすさや応答の自然さなどの少量の個別評価データを用いて回帰分析を行い，個別の側面に特化した自動評価評価を適切に重みづけることで，総合評価を予測する自動評価手法を構築可能にした. Phy らは, 評価の階層性に着目して Mehri らの手法を拡張し, それぞれの評価段階に適切な自動評価手法を割り当てる方法を提案した [6].

本研究では，これらの研究とは異なり評価軸間の階層的依存性を単純な回帰分析や恣意的な直感に基づいて決定するのではなく, 統計的仮説検定と集合理論に基づく分析の併用により, 評価軸間の網羅的な分析を行い，階層的依存関係にある評価軸ぺアの解明を行う.

## 3 評価の階層性分析

本節では， § 3.1 で実データに基づいて評価の階層性を可視化する提案手法を説明し， § 3.2 で評価軸間の階層的依存性を解消したシステム間性能比較分析について説明を行う。

## 3.1 評価階層性の可視化

評価軸間の関連性を分析するにあたり，評価軸間の評価値の相関計測や回帰分析 $[6,7]$, 対話システム順位類似性 [5] などの利用が考えられる。これらの方法は評価值や評価値から導出される順位を用いるため，対話システム間性能比較の方法そのままであり，妥当性の高い方法だと考えられる. しかし，対話システム間性能比較にあたり順位や評価値の差分だけでなく，その差が有意であるかも重要な指標である。それ故に，本研究では対話システム間の性能差が有意であるかをべースに分析手法を構築した。

階層的依存関係にある評価軸ぺアに関して，片方の評価軸では評価が頭打ちになり対話システム間性能有意差が検出されない一方で，他方では頭打ちが無いために有意差が検出されるという状況が想定される. そこで本研究では性能有意差がある対話システムペアの集合を利用することで依存関係にある評価軸ぺアを抽出する．具体的な収集方法の説明のために，以下では性能有意差のある対話システムペア （「有意差ぺア」）と，その集合を用いて抽出される階層的依存関係にある評価軸ぺアについて説明する。

有意差ペア対話システム $S$ に関する $N_{S}$ 個の会話サンプルに対して, 評価軸 $M$ の観点から行われた人手による評価値集合 $M\left(N_{S}\right)$ が得られるとする.評価軸 $M$ に関して，対話システム $S_{i}$ と対話システム $S_{j}$ の性能有意差が検定 $T\left(M\left(N_{S_{i}}\right), M\left(N_{S_{j}}\right)\right)$ により $p<0.01$ である対話システムペアを「有意差ぺア」とする．なお．実験では人手評価はリッカート尺度などの離散的な順序尺度であるため, 検定 $T$ にはマン・ホイットニーの U 検定を利用した。また，有意差ペアの性能の優劣は区別する.

階層的依存関係にある評価軸ペア対話システム集合 $\mathbf{S}$ について評価軸 $M$ で確認されるすべての有意差ペアの集合を $\mathbf{D}(M, \mathbf{S})$ とする. 本研究では評価軸 $X, Y$ において $\mathbf{D}\left(M_{X}, \mathbf{S}\right) \subset \mathbf{D}\left(M_{Y}, \mathbf{S}\right)$ となる関係の評価軸ぺアを， $Y$ は $X$ に依存する関係とみなして 「階層的依存関係にある評価軸ぺア」を抽出する。
表 1 実験に用いたデータセットの概要

## 3.2 評価の階層的依存性の解消

本研究では $\S 3.1$ で説明した手法により可視化された評価軸間の階層関係が，個々の評価にバイアスを与え対話システム間の性能有意差の有無に影響を与えるかを調べる．そこで，評価軸間の評価値を無相関化することで評価軸間の階層的依存性を解消する方法を検討する。

無相関化処理を行う評価値列ぺアは依存関係にあるため，無相関化により独立した評価値が得られるかを確認する必要がある。ここでは評価値の無相関化により評価軸間の階層的依存性が解消される過程を説明する。依存関係にある評価のうち，上位・下位の評価を高次評価・低次評価と呼ぶこととする。階層的依存性が解消された高次評価 $y \in \mathbb{R}$, 低次評価 $x \in \mathbb{R}$ が独立であり, 観測される高次評価を $\hat{y} \in \mathbb{R}$ とする。評価の階層性を用いる自動評価手法 [6] と同様に評価軸間の関係が線形回帰モデルにより表現可能であるとして, $\hat{y}$ が係数 $a, b, c \in \mathbb{R}$ で表現される以下の式 $f(x, y)$ に近似可能であると仮定する.

$
f(x, y)=a x+b y+c x y
$

別の評価値 $\hat{y}^{\prime}$ は， $x, y$ の差分 $\Delta x, \Delta y$ を用いて

$
\hat{y}^{\prime}=f(x+\Delta x, y+\Delta y)
$

と表せる.このときの $\hat{y}$ と $\hat{y}^{\prime}$ 差分 $\Delta \hat{y}$ は以下のように展開される。

$
\Delta \hat{y}=(a+c y) \Delta x+(b+c x) \Delta y
$

観測される高次評価 $\hat{y}$ に対して,$x$ に関する無相関化 $\frac{\delta \hat{y}}{\delta x} \rightarrow 0$ を行うことで, $a+c y$ が十分に小さな值とみなせるため, $x$ で無相関化した $\Delta \hat{y}$ は低次評価の差分 $\Delta x$ に依らない評価値 $(b+c x) \Delta y$ で算出される.

## 4 実験

## 4.1 データセット

データセットには, Yeh らが公開する [4], DSTC9 [8] と USR [7] のデータセットを用いた.表 1 に，データセットの概要を記載する.
DSTC9 [8] このデータセットは DSTC9コンペティションに参加した複数の対話システムを人手で絶対評価したデータセットである. 本研究では 11 の対話システムとのインタラクティブな会話に対する人手評価のみを取り扱う。この評価では，システムとの会話全体への評価として，以下の 11 の評価軸で評価を行う．評価軸とその評価値範囲は Consistent([0,1]), Likable([1,3]), Diverse([1,3]), Informative([1,3]), Coherent([1,3]), Overall([1,5]), Understanding([1,3]), Flexible([1,3]), Topic Depth([1,3]), Inquisitive([1,3]) である.

USR データセット [7] このデータセットは，自動評価手法 USR [7] のメタ評価に利用されたデータセットである. PersonaChat [14] と Topical-Chat [15] の 2 つのコーパスから構成されている. この評価データセットは，事前に設定された会話文脈への応答文に対する評価である. PersonaChat コーパスでは Seq2Seq model, LSTM language model, Key-Value Profile Memory Network model により生成された応答文と人により記述された 2 種類の応答文を人手で絶対評価する. Topical-Chat コーパスではデコー ディング機構のハイパーパラメタが異なる 5 つの Transformer model と人が記述した応答文の計 6 応答を人手で絶対評価する。評価軸とその評価値範囲は Understandable([0,1]), Natural([1,3]), Maintain Context([1,3]), Engaging([1,3]), Uses Knowledge([0,1]), Overall([1,5]) である.

## 4.2 結果

表 2 に，抽出された階層的依存関係にある評価軸ペアと，有意差ペア数を表記する。またカッコ内の数字は § 3.2 での方法により階層的依存性を解消した場合の検出ペア数の変化を示す. まず，抽出された階層的依存関係にある評価軸ぺアは Natural-Maintain Context, Understandable-Natural など,直感的に階層関係となりそうな組み合わせが抽出されたことが確認できる.

階層的依存性を解消した場合，USR のデータセットではほとんどの場合で検出ぺア数が変化しないの
表 2 各データセットで抽出された低次評価と高次評価の組み合わせ. 評価軸ペアごとに，両評価軸で共通に検出された有意差ペア数，高次評価のみので検出された有意差ペア数を記載する．カッコ内は，評価軸ぺアを無相関化後の分析での有意差ぺアの変化数を示す. また，無相関化した高次評価で新しく検出された有意差ぺアを最右列に示す. なお，Topical Chat (USR) データセットでは Maintain Context と Engaging が，Natural の評価軸と全く同じ結果のため記載を省略した.

に対し，DSTC9ではすべての評価軸ペアで有意差ぺア数の変化が起こっている。.このことから DSTC9 データセットでは高次評価での性能差ではなく低次評価での性能差が原因で，高次評価上で対話システム間性能有意差が検知されたぺアが存在することが確認された。

## 4.3 考察

表 2 に関して，式 (1)と関連性を考察する。評価軸ペアで共通の有意差ペアは，低次評価の差分 $\Delta x$ により対話システム間性能有意差が検出されるため, 高次評価のみの有意差ぺアは $\Delta x$ が相対的に小さいと考えられる. このため，無相関化により検出されなくなった有意差ペアに関して，高次評価のみの有意差ペアでは評価軸ペアで共通の有意差ペアと比較すると $a+c y$ の項の寄与が大きく, 無相関化によるぺア数の減少率が高次評価のみの有意差ペアで大きいのは，妥当な結果だと考えられる．また，現実的には無相関化後も $a+c y$ の項は完全には無視できないが，無相関化した高次評価のみで検出される有意差ぺアは， $\Delta x$ が相対的に小さいため，他の有意差ペアと比較して $\Delta y$ が大きいと推測される.

## 5 結論

本研究では，評価の階層的依存性やそれに起因する問題について分析を行った. この分析にあたり性能有意差のある対話システムペアの集合を利用して, 評価軸間の階層的依存関係を網羅的に分析し，階層的依存関係にある評価軸ぺアを明らかにした。 さらに階層的依存関係を解消した場合の対話システム間性能有意差の再分析を行った. DSTC9 とUSR データセットを利用した分析から，階層的依存性の解消により対話システム間の性能有意差の有無が変化しうることを確認した。

今後は，既存の自動評価手法について評価軸間の階層的依存関係との関係について分析を行う.

## 謝辞

本研究は東京大学生産技術研究所特別研究経費および JSPS 科研費 JP21H03494 の助成を受けています.

## 参考文献

[1] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Lishan Huang, Zheng Ye, Jinghui Qin, Liang Lin, and Xiaodan Liang. GRADE: Automatic graph-enhanced coherence metric for evaluating open-domain dialogue systems. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9230-9240, Online, November 2020. Association for Computational Linguistics.

[3] Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, and Nanyun Peng. Predictive engagement: An efficient metric for automatic evaluation of open-domain dialogue systems. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 7789-7796, Apr. 2020.

[4] Yi-Ting Yeh, Maxine Eskenazi, and Shikib Mehri. A comprehensive assessment of dialog evaluation metrics. In Wei Wei, Bo Dai, Tuo Zhao, Lihong Li, Diyi Yang, Yun-Nung Chen, Y-Lan Boureau, Asli Celikyilmaz, Alborz Geramifard, Aman Ahuja, and Haoming Jiang, editors, The First Workshop on Evaluations and Assessments of Neural Conversation Systems, pp. 15-33, Online, November 2021. Association for Computational Linguistics.

[5] Pierre Colombo, Maxime Peyrard, Nathan Noiry, Robert West, and Pablo Piantanida. The glass ceiling of automatic evaluation in natural language generation. In Proceedings of the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 13th International Joint Conference on Natural Language Processing (Findings Papers), pp. 178-183, Bali, Indonesia, November 2023. Association for Computational Linguistics.

[6] Vitou Phy, Yang Zhao, and Akiko Aizawa. Deconstruct to reconstruct a configurable evaluation metric for open-domain dialogue systems. In Donia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, pp. 4164-4178, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[8] Shikib Mehri, Yulan Feng, Carla Gordon, Seyed Hossein Alavi, David Traum, and Maxine Eskenazi. Interactive evaluation of dialog track at DSTC9. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5731-5738, Marseille, France, June 2022.
European Language Resources Association.

[9] Eric Smith, Orion Hsu, Rebecca Qian, Stephen Roller, Y-Lan Boureau, and Jason Weston. Human evaluation of conversations is an open problem: comparing the sensitivity of various methods for evaluating dialogue agents. In Bing Liu, Alexandros Papangelis, Stefan Ultes, Abhinav Rastogi, Yun-Nung Chen, Georgios Spithourakis, Elnaz Nouri, and Weiyan Shi, editors, Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 77-97, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Shiki Sato, Yosuke Kishinami, Hiroaki Sugiyama, Reina Akama, Ryoko Tokuhisa, and Jun Suzuki. Bipartite-play dialogue collection for practical automatic evaluation of dialogue systems. In Yan Hanqi, Yang Zonghan, Sebastian Ruder, and Wan Xiaojun, editors, Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing: Student Research Workshop, pp. 8-16, Online, November 2022. Association for Computational Linguistics.

[11] Sijia Liu, Patrick Lange, Behnam Hedayatnia, Alexandros Papangelis, Di Jin, Andrew Wirth, Yang Liu, and Dilek Hakkani-Tur. Towards credible human evaluation of open-domain dialog systems using interactive setup. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 37, No. 11, pp. 13264-13272, Jun. 2023 .

[12] Sarah E. Finch and Jinho D. Choi. Towards unified dialogue system evaluation: A comprehensive analysis of current evaluation protocols. In Olivier Pietquin, Smaranda Muresan, Vivian Chen, Casey Kennington, David Vandyke, Nina Dethlefs, Koji Inoue, Erik Ekstedt, and Stefan Ultes, editors, Proceedings of the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 236-245, 1st virtual meeting, July 2020. Association for Computational Linguistics.

[13] Tianbo Ji, Yvette Graham, Gareth Jones, Chenyang Lyu, and Qun Liu. Achieving reliable human assessment of open-domain dialogue systems. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6416-6437, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Karthik Gopalakrishnan, Behnam Hedayatnia, Qinlang Chen, Anna Gottardi, Sanjeev Kwatra, Anu Venkatesh, Raefer Gabriel, and Dilek Hakkani-Tür. Topical-Chat: Towards KnowledgeGrounded Open-Domain Conversations. In Proc. Interspeech 2019, pp. 1891-1895, 2019.

## A 評価軸間の相関値

各データセットの評価軸間の相関を図 $2,3,4$ に示す. 相関値は, Persona $r$ により計算した. DSTC9 では，ほとんどの評価軸間の相関值が 0.5 を上回っており，全体的に 0.6 0.7 程度の相関と相関値が高いことが確認できる。一方で，PersonaChat (USR) での評価軸間の相関は 0 に近いものもある一方で 0.7 と高い相関值もあり，評価軸間で様々である. Topical-Chat (USR) では Use Knowledge の評価軸以外の評価軸間の相関値が 0.5 を超えており，またすべてのデータセットで最大の相関値 0.85 が確認できる.

図 4 Topical-Chat (USR) での評価軸間の相関值

図 2 DSTC9 での評価軸間の相関値

図 3 PersonaChat (USR) での評価軸間の相関値


# 敵対的不変表現学習を用いたアスペクトベース感情分析

水谷宏太 ${ }^{1}$ 南條浩輝 ${ }^{2}$
1 滋賀大学大学院データサイエンス研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ s6022139@st.shiga-u.ac.jp ${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp

## 概要

文書や文よりも細かいアスペクトを単位とするアスペクトベース感情分析 (ABSA) の研究を行う.既存の ABSA データセットは作成のコストの大きさからサイズは大きくなく, 収録されているテキストドメインが限られている。このため，実際の ABSA の分析対象のテキストと同じドメインのデータが得られず，高い精度を得にくいという問題がある. 本研究では, ABSA モデルの学習時に敵対的学習を行いことでドメイン不変な表現を獲得し, 学習データと異なるドメインでの ABSA の精度の高精度化を目指す. BERTを用いた感情極性分類モデルの学習において, 敵対的不変表現学習を導入し, 学習時と異なるドメインのデータセットに対する ABSA における敵対的不变表現学習が有效性を示した。

## 1 はじめに

近年，Instagram やX（旧 Twitter）などの SNS の普及纪伴い，テキストデータを対象とする感情分析の重要性が高まっている.より詳細な感情分析のため，文書や文単位よりも粒度の細かい，文中のある対象の一つの側面（アスペクト）[1]ごと纪感情分析をするアスペクトベース感情分析 (Aspect Based Sentiment Analysis: ABSA)が望まれている.

ABSA はその対象の粒度の細かさから，データセット作成が難しい. すなわち, 文を対象とした従来の感情分析データセットよりもアノテーションコストが高いというデメリットがある [2]. さらに， ABSA 研究用の一般的なデータセットが収録するテキストドメインは，文レベルの感情分析用のデータセットよりも限定的であり，データセットのサイズも小さい。実際に，日本語における ABSAを目的とした代表的なデータセットに chABSA-dataset ${ }^{1}$ があり，収録されている文は 6,119 文である一方，文レベルの感情分析で用いられる代表的なデータセット
である Multilingual Amazon Reviews Corpus [3] の日本語レビュー文が 210,000 件あることを考えるとやはり少ない.

このような背景から，ABSAを行いたいケースにおいて，分析対象のテキストと同じドメインのデー タセットがないため，高精度な ABSA が行えないという問題がある。

本研究では，学習データと異なるドメインでの ABSA の精度の高精度化を目指す。具体的には， ABSA モデルの学習時に敵対的学習を行うことでドメイン不変な表現を獲得し，それを用いた ABSA の研究を行う.

## 2 アスペクトベース感情分析

ABSA には様々なタスクがある [4]. それぞれのタスクは ABSA に関連する四つのいずれか要素を特定することを目的としている。 その四つの要素とは，アスペクト用語 (Aspect Term)，アスペクトカテゴリ (Aspect Category)，意見用語 (Opinion Term)，感情極性 (Sentiment Polarity) である [5]. アスペクト用語とは，与えられたテキスト内において明示的に表れる意見の対象のことである [4]. アスペクトカテゴリは，エンティティとアトリビュートから構成され，エンティティがアスペクト用語が何のカテゴリに属するかを意味し，アトリビュートがその対象のどの属性について言及されているかを示す [6]. なお，アスペクトカテゴリを特定する際は事前に候補となるカテゴリを定義しておく必要がある [4]. 意見用語は，テキスト内でアスペクト用語に対する感情を表している表現である [4]. 感情極性はアスペクト用語に対する意見用語の感情極性を示し，通常は“positive”, “negative”, “neutral”のいずれかに属する [4].

## 3 提案手法

## 3.1 概要

本研究では，BERT を用いたマルチタスクモデルに対し敵対的不変表現学習を行い，学習データとドメインの異なるデータセットに対する分類精度を検証する. 本研究で行う ABSAにおいては，アスペクト用語とそれを含む文章を事前学習済み BERT に [SEP] で繋げて入力して [CLS] トークンに対応する出力を得る（2 文入力タスク）ことで，文中のアスペクト用語に関する埋め込み表現を抽出し，これを感情極性分類に用いる. 事前学習済みモデルとして，日本語のウィキペディアデータで事前学習された東北大 BERT ${ }^{2}$ )を利用した。

## 3.2 敵対的不変表現学習

敵対的不変表現学習とは，学習に用いるドメイン (ソースドメイン) のデータと分析対象としたいドメイン（ターゲットドメイン）のデータの分布が異なる場合に用いられる敵対的学習手法の一つである. 本研究では, 敵対的不変表現学習の手法として Ganin et al.(2016) [7] が提案した Domain Adversarial Neural Networks（以下 DANN）を用いる。 DANN は， ドメインに依存しない特徴量，すなわちドメインによって不変な特徴量をもとにソースドメインのデー タを分類するよう学習することによってターゲットドメインに対する予測精度を下げないようにする学習手法である。

## 3.3 本研究のフレームワーク

BERT（エンコーダ）でアスペクト単語とそれを含む文の表現（特徵量）を得たのち，感情極性分類器とドメイン識別器にそれを入力する．感情極性分類器とドメイン識別器についてはそれぞれのタスクが解けるように学習が行われる. BERT については，感情極性分類はできるもののドメイン識別はできなくなるような特徴を取り出すように学習される. ドメイン識別器と BERT が敵対的に働いて学習が行われることで BERT は感情極性分類のためのドメイン不変な特徴量を取り出せるようになる.

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

## 4 データセット

## 4.1 chABSA-dataset

chABSA-dataset は 2016 年度の上場企業の有価証券報告書をベースに作成されたデータセットである. 各文に対して “positive”, “negative”, “nertral”感情極性のラベルだけでなく，各ターゲットのアスペクトに対して感情極性のラベルが付与されている. アスペクトカテゴリーは，ターゲットの単語が何のカテゴリに属するかを意味するエンティティ4つ (company, business, product, NULL), その対象のどの属性について言及されているか示すアトリビュート 6 つ (general, sales, profit, amount, price, cost) を組み合わせた 23 種類のアスペクトカテゴリー (company\#price が dataset に存在しないため 23 種類）とそれに market\#general を合わせた合計 24 個である. 各アスペクトカテゴリーはエンティティとアトリビュートを組み合わせて company\#general, product\#amount といった形になっている. chABSA-dataset では，各文に対してター ゲットフレーズとそのアスペクトカテゴリ，極性が付与されている．例えば，「当社グループの主力事業が属するインターネット広告市場は，当年度においても広告市場全体の伸びを上回る成長が続きました」という文に対して，ターゲットフレーズは「インターネット広告市場」，アスペクトカテゴリーは market\#general，感情極性が positive というように情報が付与されている.

本研究では, chABSA-dataset の中の感情情報が含まれているアスペクトカテゴリ 7,723 個のうち， ターゲット・文のペアで複数のアスペクトカテゴリ・感情極性が付与されているサンプルを排除した 6,849 個のサンプルを用いる. これは本研究では, ターゲット・文のペアを入力とする際に，アスペクトカテゴリと感情極性をそれぞれ一つずつ予測するためである. 排除したサンプルの例を挙げる. ター ゲットが「食品製造販売部門」，文が「食品製造販売部門においては、取引先の見直し等により、売上高は昨年を下回りましたが、原料価格が低下したことと、販売経費の削減により、所定の利益を確保することができました」であるサンプルの場合，文中では「食品製造販売部門」の売上高に関する言及と利益に関する言及がある.このうち，売上高に関しては「昨年を下回りましたが」とあるためネガティブに，利益に関しては「所定の利益を確保することが
表 1 日本語ポストデータセット

できました」とあるため，ポジティブに述べられていることがわかる.このような場合にデータセットではアスペクトカテゴリが business\#sales の場合は negative, business\#profit の場合は positive とラベリングしてあるが，今回はターゲットと文のぺアに対してアスペクトカテゴリと感情極性をそれぞれ一つずつ予測するため，このようなサンプルは分析対象から排除している.

この chABSA-datasetを学習・検証・テスト用のデータに分割して ABSA における敵対的不変表現学習の効果を調べる。学習データ 5.150 件, 検証デー タ 1,130 件，評価データ件 566 となるよう分割した.学習・検証評価データセットごとに異なるアスペクトカテゴリのテキストを割り当てた。これにより，学習に用いていないアスペクトカテゴリのテキストに対する感情極性分類の精度を比較することができる. すなわち，擬似的に未知のドメインのテキストデータに対して感情極性分類を行い，その精度を比較する

## 4.2 日本語ポストデータセット

次に chABSA-dataset で学習したモデルを用いて， それとは全く別のドメインのデータセットに対して ABSAを行い，敵対的不変表現学習の効果を調べる. 本研究では, 日本語ポストデータセットを作成した.

6 種類のターゲットフレーズをアスペクト用語として用意し, 各ターゲットフレーズについて 25 文ずつ合計 150 文の感情的な意見が述べられている文章を収集した。主著者が “positive”, “negative”, “neutral”がそれぞれおおよそ均等となるよう選択した. さらに各文章に対して別の 2 名のアノテータを割り当て, "positive", "negative", "neutral" のラベルを付与してもらい，2 名以上により同ラベルが付与されたデータのみを残した ${ }^{3}$.

その結果, 日本語ポストデータセットの合計数は

3）ただし, positive, positeve, negative または positive, negative, negative となった文はデータから除いた表 2

145 となった. データセットの概要を表 1 に示す.

## 5 実験

本研究では，テキストのアスペクトカテゴリ（エンティティ\#アトリビュート）識別とアスペクトの極性 (positive/negative/neutral) 分類を同時に行うマルチタスクモデルに対して DANNを適用することで異なるドメイン (本研究では学習に使わないアスぺクトカテゴリを指す）のデータに対する感情極性の分類精度がどのように変化するかを標準的なマルチタスクモデルや感情極性分類のみを行うモデルと比較する。

## 5.1 chABSA-dataset での敵対的不変表現学習の効果

感情極性分類のみを行うモデル（以下 Single），カテゴリ識別と感情極性分類を行う通常のマルチタスクモデル（以下 Multi），カテゴリ識別と感情極性分類を行うマルチタスクモデルに勾配反転層を加えて敵対的不変表現学習を行ったモデル（以下 GRL+Multi)，を比較した。

エポック数を最大 30 回として各エポックごとに検証データに対する Accuracyを測る。最も Accuracy が高かったエポックのモデルを採用し，評価データに対する精度を求めた。

感情極性分類の精度を表 2 に示す. 通常のマルチタスクモデル (Multi)や感情極性分類のみを行ったモデル (Single)でも分類精度が高く, 敵対的不変表現学習の効果は見られなかった. この原因として，学習データと評価データがどちらも有価証券報告書を元に作られた同一データセットに含まれるテキストであり，意見を表す表現が似ていたことが考えられる. すなわち，ドメイン不変の特徴量を用いなくても高精度に感情極性分類ができたと考えられる。

## 5.2 日本語ポストデータセットでの実験

次に学習に使ったデータと異なるドメインのデー タである日本語ポストデータセットでの敵対的不変表現学習の効果について述べる。
表 3 日本語ポストデータセットにおける敵対的不変表現学習の効果

## 5.2.1 敵対的不変表現学習の効果

初めに 5.1 節で述べた chABSA-dataset で学習したモデルをそのまま用いて感情極性分類を行い，各モデルの分類精度を比較した．結果を表 3 に示す.

敵対的不変表現学習を行ったモデル (GRL+Multi) が Accuracy, Macro-F1 score ともに最も分類精度が高いという結果になった. 5.1 節で行った実験では学習データと評価データが同一データセットに含まれるテキストであり，ドメイン不変の特徴量を用いなくても高精度に感情極性分類ができたが, 学習データと意見を表す表現が異なる日本語ポストデー タセットに対しては，敵対的不変表現学習により獲得したドメイン不変の特徴量が感情極性分類に有効に働いたことが示唆された. 反対に，通常のマルチタスクモデル (Multi) や感情極性分類のみを行ったモデル (Single) に関しては, 本実験では敵対的不変表現学習を行ったモデルと比較すると精度が低くなっている。これは，異なるドメインのデータに対しても学習時のデータにおける意見を表す表現に依存してしまい，上手く分類が行えなかったことが考えられる. 学習データと異なるドメインのデータに対しての感情極性分類において敵対的不変表現学習の有効性が示唆された。

## 5.2.2 少量ドメインデータでのドメイン適応の効果

次に 5.1 節で述べた chABSA-dataset で学習したモデルに対して，少量のドメインデータで fine-tuning を行ってドメイン適応した。具体的には日本語ポストデータセットの一部を使って追加学習を行い，日本語ポストデータセットに対して感情極性分類を行った. 日本語ポストデータセットをターゲットフレーズごとに 6 分割し, 学習データ: 検証デー タ: 評価データに 4:1:1 の比率で割り当てた. 全てのデータが一度は評価データとして利用されるように割り当てのプロセスを 6 回繰り返し, 各評価デー タに対する精度の平均値を取るクロスバリデーションを実施した。

エポック数を最大 10 回とし, クロスバリデー ションの 1 回目の検証データに対して Accuracy が最大となるエポック数のモデルを採用した. 残りの 5表 4 少量データによる追加学習における敵対的不変表現学習の効果（日本語ポストデータセットで評価）

回のクロスバリデーション時は最初に決めたエポック数に固定して学習を行った. 結果を表 4 に示す.追加学習により，いずれのモデルも 5.2.1 節で示した結果よりも精度は向上した.ここでも 5.2.1 節の結果と同様に敵対的不変表現学習を行ったモデル (GRL+Multi) がいずれの指標においても最も分類精度が高かった。

対象としたいドメインにおける少量の学習データが利用できる場合でも，あらかじめ別ドメインで敵対的不変表現学習をしたモデルを利用することの有効性を確認した。

## 6 おわりに

ABSA の研究を行った. 分析対象としたいドメイン（ターゲットドメイン）のラベル付きデータが不足しているという課題に対して，既存のデータセットの学習データとしての活用法，具体的には敵対的不変表現学習の有効性を検討した. ターゲットドメイン用の学習データがない場合，および少量の場合において，敵対的不変表現学習の有効性を示した。

本研究では，一つのアスペクト用語と文章のペアに対して複数のアスペクトカテゴリと感情極性が割り当てられているデータは分析対象から除いたが， このデータも扱うことは今後の課題である. 今回用いた DANN 以外の敵対的不変表現学習の調査も今後の課題である.

さらに，BERT をはじめとする自然言語理解モデル自体の持つ課題への対応も今後の課題である. 文章による意見の表現時に，「賛成だ」「反対だ」と言ったような直接的な表現ではなく，修辞法を用いられることがある．例えば，「賛成すると思う？」，「賛成するわけなくない？」，「なぜ賛成できるのかわからない」など，negative な意見を主張する際に positive な単語と疑問や否定表現を組み合わせるといったことが行われる.これらは negative な意見を述べているにも関わらず，表層的には「賛成」という positive な語がつかわれており，自然言語理解モデルが苦手とする問題といえる。

## 参考文献

[1] 張懿陽, ラファウ・ジェプカ, 荒木健治. BERT モデルと補助文自動生成に基づいた日本語アスペクトベー ス感情分析の精度向上. ことば工学研究会: 人工知能学会第 2 種研究会ことば工学研究会資料, Vol. 70, pp. 83-89, 122022.

[2] Yiming Zhang, Min Zhang, Sai Wu, and Junbo Zhao. Towards Unifying the Label Space for Aspect- and Sentencebased Sentiment Analysis. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 20-30, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The Multilingual Amazon Reviews Corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[4] Wenxuan Zhang, Xin Li, Yang Deng, Lidong Bing, and Wai Lam. A Survey on Aspect-Based Sentiment Analysis: Tasks, Methods, and Challenges. IEEE Transactions on Knowledge and Data Engineering, 2022.

[5] Wenxuan Zhang, Yang Deng, Xin Li, Yifei Yuan, Lidong Bing, and Wai Lam. Aspect Sentiment Quad Prediction as Paraphrase Generation. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 92099219, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] 三浦義栄, 赤井龍一, 渥美雅保. 文中の複数アスペクトのセンチメント分析のための自己注意ニューラルネットワーク. 人工知能学会全国大会論文集第 34 回 (2020), 3Rin441, pp. 1-4. 一般社団法人人工知能学会, 2020.

[7] Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, François Laviolette, Mario March, and Victor Lempitsky. Domain-Adversarial Training of Neural Networks. Journal of machine learning research, Vol. 17, No. 59, pp. 1-35, 2016.


# テレビ番組の放送内容テキストを用いた 視聴者属性別の視聴量変動の予測

山田祐也 ${ }^{1,2}$ 南條浩輝 3
1 滋賀大学大学院データサイエンス研究科
2 テレビ愛知株式会社 3 滋賀大学データサイエンス学部
${ }^{1}$ s6022145@st.shiga-u.ac.jp ${ }^{3}$ hiroaki-nanjo@biwako.shiga-u.ac.jp

## 概要

近年，テレビ視聴データの利活用が進められており，番組の視聴分析や $\mathrm{CM}$ 効果測定などの取り組みが行われている. 本稿ではテレビ番組のコーナーごとに視聴量が増加するのか，そうでないのかの予測に取り組んだ。予測には番組内容に関するテキストを用い，BERT モデルを基準に 2 つの精度改善アプローチに取り組んだ。予測精度は視聴者属性によるばらつきがあったものの高い精度で予測できる視聴者属性があった. 予測モデルの方法と結果を紹介する。

## 1 はじめに

## 1.1 研究背景

近年，視聴データを活用した取り組みが拡大している。視聴データとは，インターネット接続のあるテレビ受像機から収集できるデータである. これを用いることで，いつどの番組を視聴していたかが分かる. しかし放送局は自局の視聴データしか取得出来ない。そこで，在京局，在阪局や在名局などが同一エリアでの視聴データの共同利用を目指した実証実験が進められている [1]. 視聴データの活用を目指す背景には，テレビの価値を示すためのビッグデータとしての期待があり, 広告代理店やテレビ CM の出稿を検討している企業からはマーケティングデータとしての活用が期待されている.

## 1.2 研究目的

本研究の目的は次の 2 点である. 1 つ目は蓄積されるデータの利活用方法についての知見を得ることである. 1.1 節の研究背景で述べたように視聴デー タの活用方法を考案する. 2 つ目は視聴者属性ごと

図 $1 \mathrm{CM}$ チャンスの運用方法

に視聴量変動を予測することである．テレビ番組では，番組コーナー間にテレビ $\mathrm{CM}$ を放送している。放送回により視聴量の変動は同一ではなく，番組の後半に視聴量が増大するパターンや減少するパターンなど様々である。視聴量が増加した後の $\mathrm{CM}$ チャンスに CM 数を増やすことができればより多くの視聴者にテレビ $\mathrm{CM}$ を見てもらうことが出来る （図 1)，そのために番組のコーナーごとに視聴量変動を視聴者属性別に予測することは重要である。本研究では実際に放送による検証は行わないため，予測結果に応じて CM チャンスの CM 数を変動させた場合には視聴行動の変化が起きると考えられるが, これについては本研究では言及しない.

## 2 関連研究

本研究で使用する視聴データを用いた研究事例をまとめる。視聴データを用いた研究には放送局とテレビ機器メーカーの研究がある。放送局の研究では同一エリアの複数の放送局が視聴データを連携させる技術検証がある [1]. その中で在名局の実証実験では 5 局の視聴データ，動画配信サービスの視聴履歴とインターネット利用履歴を突合させる検証が行われた。この実験では 5 局の視聴データの連携のみならず，インターネットの検索行動などが紐づけられている。これによりテレビとインターネットをクロスデバイスで分析可能になる.

テレビ機器メーカーの研究には菊池らの研究 [2] があり，番組ジャンルによる視聴傾向の違いを明らかにし，視聴傾向をもとに視聴者属性を推定する手法が提案されている．また，水岡らの研究 [3] では
視聴パターンをクラスタリングする手法が提案されている.

これまでの視聴データに関する研究は共同利用のための技術検証や 1 週間単位の視聴パターンに着目したものが多い. 本研究の特徴は視聴データと放送内容に関するメタデータを結びつけ，放送内容に基づく視聴傾向を分析する点である.

## 3 データ概要

本研究では，視聴データを TVS REGZA 株式会社 [4], 放送内容テキストとして番組シーンメタを株式会社エム・データ [5] から提供していただき研究を行なっている。研究対象の番組は非公開とする。

## 3.1 視聴データ

視聴データとは，インターネット接続のあるテレビ受像機から取得できる番組視聴データである. 本視聴データでは REGZA というテレビ機器から取得されたデータを用いる. データは以下のような特徴があり，放送局や広告代理店などのテレビ業界では広く導入されているデータである.

・大規模なサンプルで中京エリアでは約 27 万台 (2023 年 11 月末時点)
- 1 秒単位で視聴量が取得されており詳細に分析が可能

・収集データは個人利用のテレビに限定されて性別/年代情報が正確

データ項目は番組開始から終了まで 1 秒単位で視聴者属性別に視聴量が収集されている. 本研究ではライブ視聴の視聴量を用いる. 放送時刻に対象番組を見ていた割合である.また視聴者属性区分は表 1 の通りである.

表 1 視聴者属性

## 3.2 番組シーンメタ

番組シーンメタは番組のコーナー (話題) ごとに放送時間やその内容を要約したテキストデータからなるデータである．要約の粒度は放送内容を見なくても理解できるほど詳細に制作されており, 取材された企業名, 商品名や施設名などの情報が収録されている。テキスト中には【施設】「東京駅」，【商品】「ビール」のように番組内で取り扱われた施設名，商品名や【ゲスト】「人物名」や【出演】「人物名」のように出演者情報についても正確に記されている.このコーナー単位で視聴量が視聴者属性別にどのように変動するかを予測する.

## 3.3 視聴量変化に関するラベル定義

コーナー単位の視聴量変動を予測することが目的であるため，各コーナーの視聴量が前のコーナーの視聴量からどう変化したかをもとに増加と減少の 2 ラベルを定義する．このラベルを視聴変化ラベルとする。

## 増加ラベル

前コーナーから視聴量が増加または視聴量の変動が小さく，番組の平均視聴量を超えているコーナー

減少ラベル

前コーナーから視聴量が減少または視聴量の変動が小さく，番組の平均視聴量を下回っているコーナー

## 4 番組コーナーごとの視聴量変化予測

## 4.1 BERT によるテキストと視聴者属性を 統合した分類モデルの構築

単一のモデルで全視聴者属性の視聴変化ラベルを予測する方法と，視聴者属性ごとに視聴変化を予測する方法を比較する。

はじめに単一のモデルでテキストと視聴者属性を用いた分類モデルの定義をする．コーナー内容の要約テキスト（メモ）と視聴者属性を [sep] でつないだ 2 文を入力とし，当該コーナーのその視聴者属性に対する視聴量が増加(減少するかを BERT[6] で予測する（図 2). 視聴者属性はカテゴリであるが, M1 は「20-34 歳男性」を意味しており，これをテキストとして扱う.このモデル構造は BERT に分類層 classifierを加える BertForSequenceClassification と同様のアーキテクチャである.

次に視聴者属性ごとのモデルを説明する。この分類モデルは視聴者属性別に BERT と分類器を用意し (図 3), 同一のコーナー内容の要約テキスト（メモ） を用いて視聴者属性ごとの視聴変化ラベルを予測する。

学習設定について説明する. 対象とした特定番組の 3 年間分のデータを使用する．学習データとテス

図 2 視聴者属性ごとの視聴量変化ラベル予測モデル: 単一モデル

図 3 視聴者属性ごとの視聴量変化ラベル予測モデル: 複数モデル

トデータの分割は 7 対 3 とし, 過去の放送回で学習し, 未来の放送回でテストする. BERT の事前学習済みモデルは東北大学が公開している事前学習済みモデル [7]を用いる。損失関数は crossentropyloss を使用し，バッチサイズ 8 , エポック数 8 , 最適化関数 AdamW で学習率 1e-5 とした. 本研究ではモデルの精度の比較には各モデルそれぞれ 3 回実行した平均で評価する。

視聴者属性別の正解率をモデル別にまとめた （図 4）。視聴者属性別に BERT モデルを用意するより単一のモデルで視聴者属性ごとの視聴変化の予測を行う方が予測精度が高い結果であった. 単一のモデルによる正解率は M4,M3,M2 は $75 \%$ から $80 \%$程度，F4,F3,F2 は $55 \%$ から $60 \%$ 程度，M1,F1 は $50 \%$前後であった. このような視聴者属性別に正解率に差があった要因は表 2 のように視聴者属性別に各クラスのサンプルサイズに偏りがあることが原因ではないかと考えた. 視聴増加のラベル数割合が高い視聴者属性ほど正解率が高かった。

図 4 モデル：入力別の正解率の比較

表 2 視聴者属性別のラベル数割合

以降の実験ではこの単一モデルをベースモデルとして使用し, 精度改善アプローチに取り組む.

## 4.2 ラベル不均衡解消

本節では前節の結果を踏まえて，ベースモデルに不均衡データの対処をする。本研究のデータでアンダーサンプリングをした場合にテストデータの件数が少なくなるため，オーバーサンプリング手法である SMOTE [8] や Random Over Sampler を実施する.

テキストデータのオーバサンプリング，データ拡張の研究事例を示す. 文書内の単語を同義語に置き換える方法や文の意味が変化しない程度に単語の追加や削除などのノイズを加える方法 [9] がある．しかし，本研究でのテキストデータは視聴者属性に紐づいているため本研究でのテキストのデータ拡張に適さないと考えた。また放送内容に関する擬似的なテキストデータを作成することはコストは高い. 画像のデータ拡張であればサイズの拡大縮小，回転や位置ずらしなどによる方法があるがテキストではそれが難しい，解決方法としてテキストと視聴者属性を埋め込んだ空間上のベクトルを増やすことを考えた. つまり BERT モデルが出力する pooler-output をデータ拡張する。この方法であれば，既存の機械学習モデルにおけるデータ拡張手法を応用できる.

本研究でテキストデータのデータ拡張と学習を図 5 のように行った. はじめに 4.1 節同様に BERT モデルと分類器の学習を行う. 学習後の BERT モデルに学習データ（視聴者属性，メモ）を入力し pooler-output ベクトルを得る. 得られた pooler-output ベクトルを用いてオーバーサンプリングする．そしてオーバーサンプリング後のベクトルを用いて分

図 5 オーバーサンプリングによるデータ拡張と学習方法

類器のみを再学習する. テストははじめに学習した BERT モデルと再学習した分類器を用いる.

学習の実験設定について説明する. はじめに行う BERT モデルと分類器の学習は 4.1 節と同様の設定である.オーバーサンプリング手法である Random Over Sampler と SMOTE の実装には imbalanced-learn パッケージを用いている [10]. オーバーサンプリング後の分類器の再学習ではエポック数 10 としている.

## 4.3 BERT に対照学習を入れたコーナーご との視聴変化ラベル予測

本節ではモデルの学習時に対照学習 [11]を行う. 4.2 節のラベル不均衡の解消は本節では適用しておらず，精度改善のための別アプローチとして対照学習を実施している。

対照学習とは距離学習の枠組みの一つであり，ある基準となるデータに対して同一ラベルのデータを近くに，異なるラベルのデータを遠くに埋め込まれるように学習する手法である。対照学習の損失は Triplet Margin Loss を用いる [12]. これは基準となるデータ (anchor) に対する正例 (positive) と負例 (negative)のそれぞれの距離の差を損失関数（式 (1)） とした学習である。本節での $a$ (anchor), $p$ (positive) と $n$ (negative) は BERT の pooler-output ベクトルである. $d(x, y)$ は $x$ と $y$ のユークリッド距離であり, margin はハイパーパラメータである.

$
L(a, p, n)=\max \{d(a, p)-d(a, n)+\operatorname{margin}, 0\}
$

本節の学習設定について説明する. crossentropyloss に Triplet Margin Loss を加えたものを損失関数とする. Triplet Margin Loss の margin は 1 とした. そ

図 6 精度比較

のほかの学習設定は 4.1 節同様の設定である.

## 4.4 各モデルの結果の比較

ベースモデル，不均衡データの対処と対照学習の正解率を比較する（図 6）.

不均衡データの対処の結果, SMOTE と Random Over Sampler を用いたいずれの場合でも，ラベル不均衡度合いが一番大きかった M3 では正解率がやや低下したが，その他の視聴者属性の正解率は同等もしくは向上する結果となった. 視聴者属性別正解率のマイクロ平均ではベースモデルと比較して向上した. 視聴者属性ごとにラベルを均衡にした上で分類器を再学習したことで精度の向上を確認することができた。

対照学習を取り入れた場合においても，聴者属性別正解率のマイクロ平均はベースモデルと比較して向上した. 特に M3 と M4 の視聴者属性で $80 \%$ \%超える結果となった。

ラベル不均衡の解消を行ったうえで対照学習をすることは今後の課題とする。

## 5 おわりに

本研究では，番組コーナーごとの視聴量変化予測に取り組んだ。 4.2 節のオーバーサンプリングと 4.3 節の対照学習を組み合わせた学習方法は今後の取り組むべき課題である。

本研究では 3 年間分のデータを用いてコーナー予測を実施したが，さらにデータ数を拡充したり，ほかの番組においてもコーナー予測をしたりする必要があると考えている. 本研究では予測結果に基づき CM チャンスを短くしたり長くしたりした際の影響については考慮していないため，この検証も今後の課題である.

## 謝辞

本研究は TVS REGZA 株式会社様から視聴デー タ，株式会社エム・データ様から番組シーンメタを提供していただき研究を行なった。

## 参考文献

[1] 民放の視聴データに関する取組みについて ,（2023-12-15 閲覧）.https://www.soumu.go.jp/ main_content/000747672.pdf.

[2] 菊池匡晃, 坪井創吾, 中田康太. 大規模テレビ視聴データによる番組視聴分析. デジタルプラクティス, Vol. 7, No. 4, pp. 352-360, 2016.

[3] 水岡良彰, 中田康太, 折原良平. 大規模テレビ視聴データによる視聴パターン推移の分析. 人工知能学会全国大会論文集第 32 回 2018, pp. 1P203-1P203.

[4]東芝テレビ視聴データ分析サービス, (2023-12-15 閲覧）. https://www.regza.com/tvdata.

[5] TV META DATA TV メタデータとは，（2023-12-15 閲覧）.https://mdata.tv/metadata/.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, June 2019.

[7]東北大学自然言語処理研究グループ: BERT-base Japanese Whole-Word Masking, (2023-1215 閲覧）. https://huggingface.co/cl-tohoku/ bert-base-japanesewhole-word-masking.

[8] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, and W Philip Kegelmeyer. SMOTE: synthetic minority oversampling technique. Journal of artificial intelligence research, Vol. 16, pp. 321-357, 2002.

[9] Jason Wei and Kai Zou. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 63826388, 2019.

[10] Guillaume LemaÃŽtre, Fernando Nogueira, and Christos K Aridas. Imbalanced-learn: A python toolbox to tackle the curse of imbalanced datasets in machine learning. Journal of machine learning research, Vol. 18, No. 17, pp. 1-5, 2017.

[11] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 68946910. Association for Computational Linguistics, November 2021.

[12] TripletMarginLoss, （2023-12-15 閲覧）. https://pytorch.org/docs/stable/generated/ torch.nn.TripletMarginLoss.html.