# 白色化が単語埋め込みに及ぼす効果の検証

佐々木翔大 ${ }^{1,2}$ Benjamin Heinzerling 1,2 鈴木潤 ${ }^{2,1}$ 乾健太郎 ${ }^{2,1}$
1 理化学研究所 2 東北大学
\{shota.sasaki.yv, benjamin.heinzerling\}@riken.jp
\{jun.suzuki, kentaro.inui\}@tohoku.ac.jp

## 概要

深層ニューラルネットワークに基づく自然言語処理では必須の要素となる静的あるいは文脈化単語埋め込みには，空間的な偏り（異方性）が存在し，その能力を十分にいかせていないことが実証されている.この異方性を緩和する方法として，白色化がある. 白色化は標準的な線形変換であるが，実験的に性能が向上することが報告されている。しかし，性能向上の理由は自明ではなく，理論的あるいは実験的な分析が望まれる. 本研究では，白色化が単語埋め込みに及ぼす意味的な影響を明らかにするための実験を行う．実験結果から，白色化は，静的単語埋め込みに対しては単語頻度バイアス除去効果を示し, 文脈化単語埋め込みに対しては単語頻度バイアス除去効果以外の効果を持つことが示唆された. ${ }^{1)}$

## 1 はじめに

静的単語埋め込み（Static Word Embeddings, SWE) $[1,2]$ ，および文脈化単語埋め込み (Contextualized Word Embeddings, CWE）[3,4,5] は，現代の自然言語処理システムにおいて必須の基盤技術である. このような埋め込みを作成する目的は，単語，フレー ズ，文の “意味”を捉えた表現を計算することである.しかしながら，ジェンダーバイアス [6]，ソー シャルバイアス [7] などの学習データに固有のバイアスも反映してしまうことが報告されている. SWE については，高頻度単語が特定の方向に沿って集中する単語頻度バイアスが存在することが先行研究により示されている [8]. このような単語ベクトルの非一様な角度分布（異方性）は，埋め込み空間の非効率的な利用につながる。また，単語頻度バイアスの介在する埋め込み空間においては，頻度の高い単語は，意味が似ていないにもかかわらず，類似のべ

クトルで表現されることになる.このことから一般に，単語埋め込み空間の異方性は改善すべきであると考えられている.

単語埋め込み空間の異方性の影響を軽減するために，いくつかの等方化手法が提案されている. 本研究では，最もシンプルな等方化手法として注目されている白色化に焦点を当てる. 白色化は空間的に相関のある（異方的な）ベクトル集合を，相関のない （等方的な）ベクトル集合に変換する線形変換である. 白色化は標準的なデータ変換技術であるが，特に CWE などの単語埋め込みへ適用する研究は最近になって登場した $[9,10]$. これらの先行研究では, CWE を対象とした等法化手法の中で白色化が他の手法よりも優れていることを報告している。しかしながら，白色化の欠点は，様々な種類のバイアスや埋め込みの意味的特性への影響が十分に調査されていない点である．本論文では，白色化が単語埋め込みに及ぼす意味的な影響に関する初期分析を行う。

事前分析では，白色化の効果は単語頻度バイアス除去の効果を含んでいることが示された. そこで，白色化の効果が単語頻度バイアス除去のみであるかどうかを本論文の Research Question とする．白色化の効果をより明確化するために，単語頻度バイアス除去のみを行う手法を利用する．具体的には，埋め込みにおける単語頻度バイアスを除去することのみに着目した再構築に基づく単語頻度バイアス除去手法 (RFD) を提案し, 白色化と RFD の挙動を比較する. その結果，SWE では単語頻度バイアスが，CWE では単語頻度バイアスに加え，それ以外のバイアスが除去されることが示唆された。

## 2 背景

## 2.1 SWE と CWE における異方性

単語埋め込みにおける異方性に関してはこれまで多くの議論がなされてきた. Mu ら [8] は，SWE の

図 1: GloVe の単語埋め込みに白色化を適用する前（左図）と後（右図）の第 1 ，第 2 主成分 $\left(\alpha_{1} . \alpha_{2}\right)$ の可視化．各点が単語に対応し，点の色が単語の頻度を表す．黒は高頻度，黄色は低頻度であることを表す。

第一主成分と第二主成分に単語の頻度情報が埋め込まれており，SWEの異方性の原因であると報告した. Li ら [11] は, BERT [4] の単語埋め込み層のベクトルに単語頻度のバイアスがあることを実証的に示した. また, Liang ら [12] は, 単語頻度の対数と単語ベクトルのノルム, 平均コサイン類似度の間に相関があることを報告した。頻度のバイアスに加え，CWEにおける外れ値の次元も最近注目されている. Luo ら [13], Kovaleva ら [14] は, BERT と RoBERTa [15] の埋め込みにおいて，他の次元よりも有意に高い値を持つ次元を特定し，埋め込みにおける異方性の原因であることを示唆した。

## 2.2 白色化による等方化

白色化とは，ベクトル集合を，共分散行列が恒等行列であるべクトル集合に変換する線形変換である. 共分散行列が恒等行列であるということは，変換によって各次元が無相関化され, 分散が 1 になることを意味する．定義から，白色化された単語埋め込みは，より等方的になるといえる。

一般に機械学習において, 白色化は学習データのバイアスを軽減する目的で，特徴量ベクトルの集合に適用されている $[16,17]$. バイアスを軽減することで，深層学習モデルが高品質な表現を学習し，モデルの収束が早まることが報告されている. 白色化は任意のベクトル集合に適用できる汎用的なアルゴリズムであるため，CWE で得られた文べクトルにも適用することが可能である. Huang ら [9] は CWE の異方性の問題に対処するために，CWE に白色化を適用し，CWE の性能を向上したことを報告した。白色化は数学的には明確に定義された変換である
が，SWE や CWE に適用したときに，白色化によってどのような情報, どのように変換されるかを明らかではない. 本研究では, 白色化が SWE と CWE に及ぼす効果を明らかにすることを目的する。

## 3 事前分析

本節では，白色化の単語埋め込みに及ぼす効果を探るための予備的な分析を行う. Mu ら [8] は， GloVe [2] とWord2Vec [1] の単語埋め込み行列を対象に主成分分析を行い，その第 1 , 第 2 主成分が単語の頻度と相関があることを観察し，単語頻度バイアスの存在を示唆した. ここで $\mathrm{Mu}$ らと同様に単語埋め込み行列の主成分分析を, 白色化の適用前/後の埋め込みを対象に行う. 図 1 にその結果を示す. 白色化適用前は，単語の頻度と主成分方向の成分の値に相関がある，つまり単語埋め込みに単語の頻度バイアスが存在することを示唆しており，これは $\mathrm{Mu}$ ら [8] の報告と一致する. しかしながら, 白色化適用後の埋め込みの主成分には，単語の頻度バイアス観察できなかった.したがって，白色化には単語の頻度バイアスを軽減する効果がある事がわかった。分析結果を受けて，本論文では白色化の効果をより明確化することを目的とする．具体的には，白色化が単語頻度バイアスの除去と等価であるのか，それ以外の効果を有するかを確認することが本研究の Research Question である．実験では，白色化と次の 4 節で導入する単語頻度バイアスの除去手法を同時にモデルに適用する実験を行う，白色化と単語頻度バイアス除去の両者を同時に適用した時，それぞれの効果が独立していれば，それぞれの効果による性能向上が期待できるが，両者の効果が重複していれ

## ば，性能向上は限定的となることが予想される。

## 4 再構築に基づく単語頻度バイアス 除去手法

本節では，元の単語埋め込みの品質に影響を与えず，単語頻度バイアスを除去することのみに焦点を当てた手法を導入する. 敵対的学習を通してバイアス除去を達成する基本方針は Gong ら [18] の手法と同様である，単語埋め込みは，対象の単語が高頻度クラスに属するか低頻度クラスに属するかを識別しようとする識別器を欺くためにチューニングされる. Gong らが目的タスクに関する損失を定義した代わりに，本手法では Glove や BERT などの事前学習された単語埋め込みの性質をできるだけ保持することを目的とした再構築損失を導入する．以降，本手法を単語埋め込みの再構築に基づく単語頻度バイアス除去手法 (Reconstruction-based frequency debiasing, RFD) と呼ぶ.

はじめに SWE に対する学習手順を説明する．語彙中の単語集合を $\mathscr{W}, \boldsymbol{e}(w)$ を事前学習された単語 $w$ の単語埋め込み, $\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)$ を学習対象の単語埋め込みとする. ここで $\theta^{\mathrm{emb}} \in \mathbb{R}^{d \times V}$ は単語埋め込みの重み行列である.また， $d$ は単語埋め込みの次元数, $V(=|\mathscr{W}|)$ は語彙サイズである. SWE の再構築損失は以下のように定義される。

$
L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\mathrm{emb}}\right)=\sum_{w \in \mathscr{W}}\left.\|\boldsymbol{e}(w)-\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} .
$

次に, [18] らに従って識別器損失を定義する. はじめに, 語彙 $\mathscr{W}$ を高頻度単語集合 $\mathscr{W}_{\text {pop }}$ と低頻度単語集合 $\mathscr{W}_{\text {rare }}$ に 2 分割する. $\mathscr{W}_{\text {pop }}$ は頻度の上位 $t \%$ の単語で構成され, $\mathscr{W}_{\text {rare }}=\mathscr{W} \backslash \mathscr{W}_{\text {pop }}$ とする. また $f_{\theta} D$ を単語の頻度クラスを出力する 2 值分類を行う識別器とする。識別器損失は以下のように定義される。

$
\begin{aligned}
L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\text {emb }}\right) & =\frac{1}{\left|\mathscr{W}_{\text {pop }}\right|} \sum_{w \in \mathscr{W}_{\text {pop }}} \log A \\
& +\frac{1}{\left|\mathscr{W}_{\text {rare }}\right|} \sum_{w \in \mathscr{W}_{\text {rare }}} \log (1-A)
\end{aligned}
$

ここで $A=f_{\theta^{D}}\left(\boldsymbol{v}\left(w ; \theta^{\mathrm{emb}}\right)\right)$ とした. 最後にパラメー 夕 $\theta^{\mathrm{emb}}$ と $\theta^{D}$ を敵対的学習の手順で最適化する.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {swe }}}\left(\mathscr{W} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {swe }}}\left(\mathscr{W} ; \theta^{D}, \theta^{\mathrm{emb}}\right),
$

ここでגはハイパーパラメータである. CWEを対象にした際の定式化は付録 A. 1 に記述する。

## 5 実験

データセット単語埋め込みの品質を評価するために，Semantic Textual Similarity (STS) タスクを採用する。具体的には，公正な比較ための STS の標準的データセットである STS Benchmark (STS-B) データセット [19]を使用する2)3)．このデータセットは文のペアとその間の類似度スコアを人手で付与したもので構成されている。類似度スコアは 0 から 5 の範囲である.

評価先行研究 $[9,20]$ に従い，正解類似度スコアとモデルによって算出される文類似度の間のスピアマン順位相関で評価する．モデルが出力する文間の類似度としては, 文べクトル同士のコサイン類似度を採用する。

実験設定 SWE として 2 種類の GloVe 埋め込み ${ }^{4)}$ (Glove840B, Glove6B) と Google News Embeddings $^{5}$ (GNews) を使用する. Glove840B は 8400 億トークンを含む Common Crawl データセットで， GloVe6B は 60 億トークンを含む Wikipedia と Gigaward データセットで学習されている. GNews は CBOW アルゴリズム [21]を用いて， 1000 億トー クンを含む Google ニュースデータセットで学習されている. CWEとしては Huggingface Transformer Library [22] の BERT-base [4], DistilBERT-base [23], RoBERTa-base [15] モデルを使用する.

実験では，SWE と CWE それぞれについて，以下の 4 つの設定を比較する.

1. Vanilla モデル：後処理を適用しない生のモデル

2. 白色化モデル (-wh)：白色化を適用したモデル

3. 単語頻度バイアス除去モデル (-Fdeb) : 単語頻度バイアス除去手法を適用したモデル

## 4. 単語頻度バイアス除去・白色化モデル (-Fdeb-wh)：頻度バイアス除去手法を適用 した後に白色化を適用したモデル

単語頻度バイアス除去手法には，4 節で導入した RFDを用いる。

2）STS タスクを用いて評価する際，シェアドタスクで年ごとに提供されたデータセット（例えばSTS-14 など）が利用される場合がある。これが原因で訓練，開発，評価セットの区分に関して統一的な規範が存在せず，公平な性能比較が難しかった. Cer らは [19] はこうした現状を踏まえて，過去に提供されたデータセットから質の良いデータを選択し，訓練，開発，評価セットの公式区分をSTS-Bとして提供した。

3) https://ixa2.si.ehu.eus/stswiki/index.php/ STSbenchmark

4) https://nlp.stanford.edu/projects/glove/

5) https://code.google.com/archive/p/word2vec/

(a) GloVe840B

(b) BERT

図 2: STS-B の開発セット（Dev）と評価セット（Test）における実験結果. モデル性能は正解スコアとモデルの予測した類似度の間のスピアマン順位相関係数によって評価した。

SWE モデルについては，文中の全単語の単語埋め込みを平均することで文べクトルを算出する。 CWE モデルについては, Huang ら [9] に従い，第 1 隠れ層と最終隠れ層の単語埋め込みを平均する。その他の詳細な実験設定は付録 A. 2 に示す.

実験結果Glove840B と BERT モデルの性能を図 2 に示す. その他のモデルの結果は付録 A の図 4,5 に示す. 実験結果から以下のことが観察された。

（i） SWE，CWE のいずれの実験でも，白色化により性能が向上した. 特に, CWE モデルの性能が大きく向上した.

(ii）GNews を除く全てのモデルにおいて，RFD，つまり単語頻度バイアス除去の効果による性能向上が確認された. 特に, GloVe840B-Fdeb は評価セットにおいて Glove840B よりも 7.7 ポイント性能が向上した.

(iii) SWE の-Fdeb-wh モデルは-Fdeb モデルに対して大きな改善は見られなかった。

(iv) SWE とは異なり，CWEの-Fdeb-wh モデルでは-Fdeb モデルに対して大きな改善が見られた。

観測（i）は，先行研究 [9] の結果と一貫している.観測 (ii)について, GloVe などの SWE モデルに対する単語頻度バイアス除去による性能向上幅は CWE モデルに対するそれよりも高かった。これは図 3 から示唆されるように, GloVe の方が単語頻度バイアスが強いためであると推測される。

観測 (iii)，(iv) に関して，もし，白色化と単語頻度バイアス除去の効果が独立しているのであれば，両者をモデルに適用した際，それぞれの効果による性能向上が期待できるはずである。しかしながら SWE については，-Fdebと-Fdeb-whの間に有意な差は見られなかった（観測 (iii)）。こことから，SWE に対する白色化の効果は，単語頻度バイアス除去の効果と概ね等価であるか，両者の間に大きな重複があることが明らかになった。一方，観測 (iv) から， CWE では，SWE にはない CWE に固有のバイアスの補正など，単語頻度バイアス除去とは別の効果があることが示唆された. 考えられる効果の一つとして, Luo ら [13], Kovaleva ら [14] が報告した外れ値問題を補正する効果があると推測しているが，この点についてはさらなる調査が必要である.

## 6 おわりに

本研究では，等方化手法として昨今注目を集めている白色化に焦点を当て，白色化が単語埋め込みに及ぼす意味的な影響に関する初期分析を行った. 特に，SWE と CWE に白色化を適用した際の単語頻度バイアスの変化を分析した.

事前分析では，白色化の効果は部分的に単語頻度バイアス除去の効果を含んでいることを示した. 次に，単語頻度バイアスを除去することのみに特化した単語頻度バイアス除去手法 (RFD) を提案し，白色化と RFD の挙動を比較することで白色化の効果をより明確にすることを試みた。実験結果から，白色化は，静的単語埋め込みに対しては単語頻度バイアスの除去効果を示し，文脈化単語埋め込みに対しては単語頻度バイアス除去効果以外の効果を持つことが示唆された。

## 謝辞

本研究は JST CREST JPMJCR20D2，JSPS 科研費 JP21H04901，JP21K17814，JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, pp. 3111-3119, 2013.

[2] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global Vectors for Word Representation. In Proceedings of EMNLP, pp. 1532-1543, 2014.

[3] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of NAACL, pp. 2227-2237, 2018.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019

[5] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Ryan Cotterell, Vicente Ordonez, and Kai-Wei Chang. Gender bias in contextualized word embeddings. In Proceedings of NAACL, pp. 629-634, 2019.

[7] Masahiro Kaneko and Danushka Bollegala. Unmasking the mask - evaluating social biases in masked language models. In Proceedings of AAAI, p. 13, 2022.

[8] Jiaqi Mu and Pramod Viswanath. All-but-the-top: Simple and effective postprocessing for word representations. In Proceedings of ICLR, p. 25, 2018.

[9] Junjie Huang, Duyu Tang, Wanjun Zhong, Shuai Lu, Linjun Shou, Ming Gong, Daxin Jiang, and Nan Duan. WhiteningBERT: An easy unsupervised sentence embedding approach. In Findings of EMNLP, pp. 238-244, 2021.

[10] Jianlin Su, Jiarun Cao, Weijie Liu, and Yangyiwen Ou. Whitening sentence representations for better semantics and faster retrieval. arXiv preprint arXiv:2103.15316, 2021.

[11] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, and Lei Li. On the sentence embeddings from pre-trained language models. In Proceedings of EMNLP, pp. 9119-9130, 2020.

[12] Yuxin Liang, Rui Cao, Jie Zheng, Jie Ren, and Ling Gao. Learning to remove: Towards isotropic pre-trained bert embedding. In Artificial Neural Networks and Machine Learning - ICANN 2021, pp. 448-459. Springer-Verlag,
2021.

[13] Ziyang Luo, Artur Kulmizev, and Xiaoxi Mao. Positional artefacts propagate through masked language model embeddings. In Proceedings of ACL-IJCNLP, pp. 53125327, 2021.

[14] Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers, and Anna Rumshisky. BERT busters: Outlier dimensions that disrupt transformers. In Findings of ACL-IJCNLP, pp. 3392-3405, 2021.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[16] Adam Coates, Andrew Ng, and Honglak Lee. An analysis of single-layer networks in unsupervised feature learning. In Geoffrey Gordon, David Dunson, and Miroslav Dudík, editors, Proceedings of International Conference on Artificial Intelligence and Statistics, Vol. 15, pp. 215223. PMLR, 2011.

[17] Marc' AurelioRanzato, Alex Krizhevsky, Geoffrey Hinton. Factored 3-way restricted boltzmann machines for modeling natural images. In Yee Whye Teh and Mike Titterington, editors, Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Proceedings of Machine Learning Research, pp. 621-628. PMLR, 2010

[18] Chengyue Gong, Di He, Xu Tan, Tao Qin, Liwei Wang, and Tie-Yan Liu. FRAGE: Frequency-agnostic word representation. In Proceedings of NIPS, Vol. 31, p. 12 pages. Curran Associates, Inc., 2018.

[19] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of SemEval, pp. 1-14, 2017.

[20] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of EMNLP-IJCNLP, pp. 3982-3992, 2019.

[21] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[22] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of EMNLP, pp. 38-45, 2020.

[23] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

## A 付録

図 3: BERT の単語埋め込みに白色化を適用する前と後の第 1 ,第 2 主成分 $\left(\alpha_{1}, \alpha_{2}\right)$ の可視化.

## A. 1 CWE を対象にした際の RFD

隠れ層を対象に最適化を行う。ここで $\mathscr{W}_{S}$ を文 $s$ 内の単語（もしくはサブワード）の集合とし， $\mathscr{~}$ CWE モデル中の層から選択されたのターゲット層の集合とする。また $s$ をエンコー ドした際の単語 $w$ の $l$ 番目の層のベクトルを $\boldsymbol{e}^{l}(w, s)$ とする. $\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)$ は $\boldsymbol{e}^{l}(w, s)$ と同様であるが，学習対象のパラメー 夕 $\theta^{\mathrm{emb}}$ を持つ学習対象の CWE モデルから得る埋め込みべクトルとする. CWE のための再構築損失と識別器損失は以下のように定義される。

$
\begin{gathered}
L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}}\left.\|\boldsymbol{e}^{l}(w, s)-\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right.\|_{2}^{2} \\
L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\sum_{s \in \mathscr{C}} \sum_{w \in \mathscr{W}_{s}} \sum_{l \in \mathscr{L}} L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right), \\
L_{D_{\text {cwe }}^{\prime}}^{\prime}\left(w, l ; \theta^{D}, \theta^{\mathrm{emb}}\right)=\frac{1}{\left|\mathscr{W}_{s, \text { pop }}\right|} \sum_{w \in \mathscr{W}_{s, \text { pop }}} \log B \\
+\frac{1}{\left|\mathscr{W}_{s, \text { rare }}\right|} \sum_{w \in \mathscr{W}_{s, \text { rare }}} \log (1-B),
\end{gathered}
$

ここで $B=f_{\theta^{D}}\left(\boldsymbol{v}^{l}\left(w, s ; \theta^{\mathrm{emb}}\right)\right)$ とした. ただし $\mathscr{W}_{s, \text { pop }}=\mathscr{W}_{s} \cap \mathscr{W}_{\text {pop }}$ and $\mathscr{W}_{s, \text { rare }}=\mathscr{W}_{S} \backslash \mathscr{W}_{S \text {,pop }}$ である.

目的関数は以下のように定義される.

$
\underset{\theta^{\text {emb }}}{\arg \min } \underset{\theta^{D}}{\arg \max } L_{R_{\text {cwe }}}\left(\mathscr{C} ; \theta^{\text {emb }}\right)-\lambda L_{D_{\text {cwe }}}\left(\mathscr{C} ; \theta^{D}, \theta^{\text {emb }}\right) .
$

図 4: STS-B におけるSWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

図 5: STS-Bにおける CWE に関する実験結果（スピアマン順位相関係数 $\rho \times 100)$.

## A. 2 実験設定の詳細

式 4，5 のターゲット層集合としては，様々な選択肢がある.例えば，ターゲット層をモデル内部の全ての層とすることも可能である. 本研究では, 第 1 層と最終層を含むターゲット層集合の中で最も簡易なもの，つまり，BERT と RoBERTa では $\mathscr{L}=[1,12]$, DistilBERT では $\mathscr{L}=[1,6]$ を選択した. これは, 第 1 層と最終層の単語埋め込みを平均すると最も良い性能を達すると報告した Huang ら [9] の研究に由来する. 訓練コーパス $\mathscr{C}$ としては，STS データセットの文集合を用いた.

高頻度単語集合の間値としては $t=10$ を用いた. 予備実験においてバッチサイズに変更を加えても性能に影響がなかったため, バッチサイズは 128 に固定した. 式 3 と式 7 の $\lambda$ は $[0.02,0.1]$ から探索した. これは, Gong ら [18] の実装6) におけるデフォルト推奨設定が $\lambda=0.02$ である一方で，彼らの論文内では $\lambda=0.1$ を使用した旨が記載されていることに由来する. また，学習率は $[1 e-3,5 e-3,1 e-2]$ から，学習エポック数は $[1,3,5,10,20,30,40,50]$ から探索した. 全ての探索は STS-B の開発セットで行った。

6) https://github.com/ChengyueGongR/Frequency-Agnostic


# 学術ドメインに特化した日本語事前訓練モデルの構築

山内 洋輝 1 梶原 智之 ${ }^{1}$ 桂井麻里衣 ${ }^{2}$ 大向一輝 3,4 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学 3 東京大学 4 国立情報学研究所
yamauchi@ai.cs.ehime-u.ac.jp \{kajiwara,ninomiya\}@cs.ehime-u.ac.jp
katsurai@mm.doshisha.ac.jp i2k@l.u-tokyo.ac.jp

## 概要

本研究では、日本語の学術文書を用いて RoBERTa および BARTを事前訓練し、公開する。近年の自然言語処理では、事前訓練モデルの転移学習によって、様々なタスクの性能が向上している。特に、専門用語の扱いが重要となる医療や学術などのドメインにおいては、目的ドメインに特化した事前訓練の有効性が報告されている。我々は、学術データベー ス CiNii Articles の論文抄録を用いて、日本語の学術ドメインにおける事前訓練モデルを構築する。科研費の研究課題名を対象とする評価実験の結果、汎用モデルに対する提案モデルの有効性を確認した。

## 1 はじめに

様々な分野と言語において、研究成果が学術論文として日々Web 上に蓄積されている。例えば、自然言語処理の分野の英語論文は ACL Anthology ${ }^{1)}$ 上に現在およそ 8.1 万件が公開されている。これらの大量の学術論文から人手で漏れなく知識を得るには大きなコストがかかるため、自然言語処理を用いた情報抽出 $[1]$ および知識獲得 $[2,3]$ が期待されている。現在主流の深層学習に基づく自然言語処理では、高品質なモデルを得るために、大規模なラベル付きコーパスを用いた教師あり学習が有効である。しかし、学術分野などの専門用語の扱いが重要なドメインにおいては、専門知識を持つアノテータが必要であり、アノテーションのコストが非常に高い。そのため、様々なドメイン・タスク・言語において、大規模なラベル付きコーパスが得られない少資源問題が大きな課題となっている。

近年の自然言語処理では、少資源問題の対策として、BERT [4] や BART [5] のような大規模な生コー パスを用いた事前訓練モデルの転移学習が広く利

1) https://aclanthology.org/用されている。特に、医療 [6] ・学術 [7, 8] ・ SNS [9] などのドメインでは、目的ドメインに特化した事前訓練の有効性が報告されている。日本語では、 Wikipedia ${ }^{2}$ や CC100 [10] を用いて事前訓練された汎用モデル334)5) とともに、医療 [11] や $\mathrm{SNS}^{6}$ ののドメインに特化した事前訓練モデルが公開されている。しかし、SciBERT [7]のような、学術ドメインに特化した日本語の事前訓練モデルは公開されていない。

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術データベース $\mathrm{CiNii} \mathrm{Articles}^{7)}$ の論文抄録を用いて事前訓練モデルを構築した。我々は、CiNii Articles に所蔵されている日本語論文のうち約 127 万件から抽出した約 628 万文の論文抄録テキストを用いて、RoBERTa [12] および BART [5] に相当する事前訓練を行った。前者は、テキスト分類などの利用を想定した事前訓練済みエンコーダモデルであり、以降は Academic $\left.\mathrm{RoBERTa}^{8}\right)$ と呼ぶ。後者は、テキスト生成などの利用を想定した事前訓練済みエンコーダ・デコーダモデルであり、以降は Academic BART9) と呼ぶ。

学術ドメインにおける日本語の文分類および文対分類の評価実験の結果、汎用モデルである東北大 $\mathrm{BERT}^{3)}$ および早大 $\mathrm{RoBERTa}^{4)}$ と比較して、学術ドメインに特化した Academic RoBERTa の有効性を確認できた。また、学術ドメインにおける日本語のへッドライン生成の評価実験の結果、汎用モデルである京大 $\mathrm{BART}^{5}$ )と比較して、学術ドメインに特化した Academic BART の有効性を確認できた。

2) https://ja.wikipedia.org/

3) https://huggingface.co/cl-tohoku/bert-base-japanese

4) https://huggingface.co/nlp-waseda/ roberta-base-japanese

5） https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル

6) https://github.com/hottolink/hottoSNS-bert

7) https://ci.nii.ac.jp/

8) https://github.com/hirokiyamauch/AcademicRoBERTa

9) https://github.com/hirokiyamauch/AcademicBART

## 2 日本語学術文書を用いた事前訓練

本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術ドメインに特化した日本語事前訓練モデルを構築し、公開する。まず 2.1 節において、学術論文情報データベース $\mathrm{CiNii}$ $\mathrm{Articles}^{7)}$ から論文抄録を抽出し、事前訓練用の日本語コーパスを作成する。そして 2.2 節において、本コーパス上で単語穴埋め $[5,12]$ の事前訓練を行う。

## 2.1 コーパスの作成

国立情報学研究所が運用する学術論文情報データベース CiNii Articlesを用いて、学術ドメインに特化した日本語コーパスを作成した。2022 年 3 月時点で CiNii Articles に収録されていた学術論文のうち、平仮名または片仮名を含む約 127 万件の論文抄録を抽出し、以下の 5 段階の前処理を施して約 628 万文 （約 1.8 億語）のコーパスを作成した。

1. 定型表現の削除

2. 文分割

3. 日本語文の抽出

4. 重複文の削除

5. 文字数制限

それぞれの前処理ステップにおけるコーパスサイズの変化を表 1 に示す。

定型表現の削除対象とした論文抄録には、「論文タイプ || 研究ノート」や「特集乱流の数値シミュレーション（NST）その 3」など、自動的な情報抽出によるノイズが含まれる。これらの定型表現をコーパスから除外するために、同一文書が一定回数以上出現する際に、それらの文書を削除する。なお、論文抄録のテキストとしては適切なものの、ID などの登録ミスの影響で同一文書が $5 \sim 6$ 回出現するという例が見られたため、定型表現として判定する際の閾値を 7 回以上と設定した。

文分割上記の前処理によって得られた約 115 万文書に対して、文への分割を行う。ルールベースの文分割 ${ }^{10)}$ によって、約 730 万文が得られた。

日本語文の抽出日本語以外の言語で書かれた文を削除し、日本語文のみを得る。ただし、専門用語は他言語で表現される場合が少なくないため、文字単位で数えて間値以上の割合が日本語（平仮名または片仮名または漢字) である文を抽出する。本研究

10) https://github.com/wwwcojp/ja_sentence_segmenter表 1 前処理によるコーパスサイズの変化

では、この閾値を 0.5 に設定することで約 62 万文を削除し、約 668 万文の日本語文を得た。

重複文の削除高頻度な表現によるバイアスを防ぐために、「下腹部痛を主訴に来院」などの特定の分野において頻出する文や「その結果を以下に示す」などの学術論文における定型文を削除する。文単位での重複がある場合に、その文を 1 回だけコー パスに含めることで約 35 万文を削除し、約 633 万文の重複のない日本語文を得た。

文字数制限定型表現の検出漏れや文分割のエラーを取り除くために、極端な短文および長文を削除する。10 文字未満の文には「(編集委員会作成)」 などの実際の論文抄録には含まれないと考えられる表現が多く見られた。そこで本研究では、 10 文字以上 200 文字以下の文を抽出することで、最終的に約 628 万文のコーパスを作成した。

## 2.2 事前訓練

Academic RoBERTa 2.1 節のコーパスを用いて、 マスク言語モデリング [12] の事前訓練を行う。前処理として、SentencePiece ${ }^{11)}$ [13] によるサブワー ド分割を実施し、語彙サイズは 32,000 とした。 fairseq ${ }^{12)}[14]$ の実装を用いて、roberta-base と同じ構造（隠れ層が 12 層、次元数が 768 次元、自己注意のヘッド数が 12 個）の Transformer [15]を訓練した。最大入力トークン数は 512、バッチサイズは 64 文、 Dropout 率は 0.1 とし、最適化には Adam [16] を用いた。学習率スケジューリングには polynomial decay を用い、最大の学習率は 0.0001 、Warmup ステップは 1 万とした。先行研究4) との公平な比較のために、訓練ステップ数は 70 万ステップとした。

Academic BART 2.1 節のコーパスを用いて、雑音除去自己符号化 [5] の事前訓練を行う。 fairseq ${ }^{12)}$ [14] の実装を用いて、bart-base と同じ構造

11) https://github.com/google/sentencepiece

12) https://github.com/facebookresearch/fairseq
（encoder-decoder 層が 6 層、次元数が 768 次元、自己注意のヘッド数が 12 個）の Transformer [15] を訓練した。最大入力トークン数は 512、バッチサイズは 16 文 (8 回の勾配蓄積)、Dropout 率は 0.1 とし、最適化には Adam [16] を用いた。学習率スケジューリングには polynomial decay を用い、最大の学習率は 0.0005、Warmup ステップは 1 万とした。先行研究5) との公平な比較のために、訓練ステップ数は 50 万ステップとした。なお、事前訓練には 4 枚の GPU （RTX A6000 48GB）を使用した。

## 3 評価実験

学術ドメインに特化した我々の事前訓練モデルの有効性を評価するために、科学研究費補助金 (科研費）の研究課題名を対象とする評価実験を通して、既存の汎用的な日本語事前訓練モデルと比較する。

## 3.1 比較手法

日本語の汎用的な事前訓練済みエンコーダモデルである東北大 $\mathrm{BERT}^{3}$ ) および早大 $\mathrm{RoBERTa}^{4}$ ) との比較によって、学術ドメインに特化した Academic RoBERTa の有効性を評価する。これらの比較手法は、どちらも Academic RoBERTa と同じ構造の Transformer [15] であり、同じサイズの語彙を持っている。ただし、事前訓練に用いるコーパスやその前処理、訓練時のハイパーパラメータが異なる。

東北大 BERT は、日本語 Wikipedia の約 1,700 万文で事前訓練された BERT [4] である。前処理として、MeCab（IPADIC）[17]による形態素解析および WordPiece [18] によるサブワード分割を行っている。最大入力トークン数は 512 、バッチサイズは 256 文であり、100万ステップの訓練を実施している。

早大 RoBERTa は、日本語 Wikipedia および CC100 [10] の日本語約 40 億文で事前訓練された RoBERTa [12] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサブワード分割を行っている。最大入力トークン数は 128、バッチサイズは 256 文 ( $\times 8$ GPU $)$ であり、 70 万ステップの訓練を実施している。

Academic BART との比較には、日本語の汎用的な事前訓練済みエンコーダ・デコーダモデルである京大 BART ${ }^{5}$ を用いる。京大 BART は、日本語 Wikipedia の約 1,800万文で事前訓練された BART [5] である。前処理として、Juman++ [19] による形態素解析および SentencePiace [13] によるサブワード分割表 2 評価用データセットの統計

を行っている。最大入力トークン数は 512 、バッチサイズは 128 文（×4 GPU）であり、50万ステップの訓練を実施している。

## 3.2 評価タスク

学術ドメインにおける評価実験として、科研費の研究課題名に関するテキスト分類およびへッドライン生成を行う。2013 年から 2017 年までの科研費の採択課題13)を 7.3 万件収集し、データセットを構築した。テキスト分類として、研究課題名から研究分野を推定するカテゴリ分類と、研究課題名の対から研究代表者が同一か否かを推定する著者同定の 2 つの評価タスクを設計した。両タスクとも、分類正解率で自動評価する。また、概要から研究課題名を生成するへッドライン生成の評価タスクも設計した。本タスクは ROUGE [20] で自動評価する。

著者同定本タスクは、 2 つの研究課題について、 それらの研究代表者が同一か否かを 2 值分類する文対分類タスクである。本実験では、研究代表者が同一である正例を 5 万組と同一ではない負例を 7 万組の合計 12 万組を収集し、表 2 のように無作為に分割して使用した。モデルには、[SEP] の特殊トークンを挟んで 2 文を同時に入力した。

カテゴリ分類本タスクは、科研費の研究課題名から研究分野を推定する文分類タスクである。科研費では、4 段階の階層構造を持つ研究分野の分類を採用しており、大区分から順に、 $4 \cdot 14 \cdot 77 \cdot 318$ 種類のカテゴリが含まれる。本実験では、区分ごとに 4 種類のカテゴリ分類を実施した。

ヘッドライン生成本タスクは、科研費における研究課題の概要から研究課題名を生成する要約タスクである。平均 270 文字で構成される概要を入力として、平均 31 文字の研究課題名を推定する。

## 3.3 再訓練

テキスト分類 3.2 節のコーパスを用いて、事前訓練済みエンコーダモデルを再訓練した。前処理として、それぞれ事前訓練と同じ設定でサブワード分

表 3 テキスト分類の評価実験

表 4 ヘッドライン生成の評価実験

割を行った。バッチサイズは 256 文、Dropout 率は 0.1 とし、最適化には Adam [16] を用い、最大の学習率を 5e-5 とした。検証用データの正解率を用いて 10 エポックの early stopping にて再訓練を終了した。

ヘッドライン生成 3.2 節のコーパスを用いて、事前訓練済みエンコーダ・デコーダモデルを再訓練した。前処理として、モデルごとに事前訓練と同じ設定でサブワード分割を行った。バッチサイズは 32 文、Dropout 率は 0.1 とし、最適化には Adam を用い、最大の学習率を $3 \mathrm{e}-5$ とした。検証用データにおける ROUGE-L の評価值を用いて、5エポックの early stopping にて再訓練を終了した。

## 3.4 実験結果

テキスト分類の実験結果を表 3 に示す。RoBERTa は一貫して BERT よりも高い性能を示し、学術ドメインに特化した Academic RoBERTa は全てのタスクにおいて最高性能を達成した。特に、詳細な専門知識が要求される小区分の分類において、提案手法では大区分よりも大きな性能の改善が見られた。

ヘッドライン生成の実験結果を表 4 に示す。本タスクでも、学術ドメインに特化した Academic BART が全ての評価指標において最高性能を示した。

早大 RoBERTa と Academic RoBERTa の間や、京大 BART (Base) と Academic BART の間には、モデル構造や学習ステップ数の相違はない。また、東北大 BERT は約 1,700 万文、早大 RoBERTa は約 40 億文、京大 BART は約 1,800 万文のコーパスを事前訓練に使用しており、我々の約 628 万文はコーパスサイズの点でも優位性を持たない。そのため、Academic RoBERTa および Academic BART の性能改善は、学術ドメインへの特化にのみ起因すると考えられる。表 5 提案モデルの語彙中の特徴的なトークンの例

## 3.5 考察

先行研究 [7] と同様に、語彙について分析する。提案モデルの語彙のうち、49.4\%は既存の事前訓練モデルの語彙 ${ }^{14)}$ に含まれないことがわかった。提案モデルにのみ含まれる特徴的なトークンの例を表 5 に示す。「であることが確認された」のような分野を問わず学術論文に頻出するフレーズや、「ニュー ラルネットワーク」のような特定の分野において頻出する専門用語が、提案モデルの語彙のみに見られた。このようなドメインに特化したトークンを多く語彙に含むことで、学術ドメインにおける高性能な処理を実現できたと考えられる。

## 4 おわりに

本研究では、CiNii Articles の論文抄録から作成した日本語コーパスを用いて、学術ドメインに特化した事前訓練モデル Academic RoBERTa ${ }^{8}$ および Academic BART ${ }^{9}$ を構築し、公開した。科研費の研究課題名を対象とする著者同定・カテゴリ分類・ ヘッドライン生成の評価実験の結果、学術ドメインに特化したモデルが既存の汎用モデルを上回る性能を達成した。分析の結果、学術ドメインに特有の表現を多く語彙に含むことや、詳細な専門知識が要求される小区分ほどテキスト分類の正解率が大きく向上していることから、ドメインに特化した事前訓練の有効性を確認できた。

## 謝辞

本研究は JSPS 科研費（基盤研究 B，課題番号： JP20H04484）および 2020 年度国立情報学研究所公募型共同研究 (20S0405) の助成を受けたものです。本稿の内容の一部は Third Workshop on Scholarly Document Processing [21] において報告したものです。

14）以下の和集合：東北大 BERT の語彙、早大 RoBERTa の語彙、日本語 Wikipedia に対して語彙サイズ 32,000 で SentencePiece のサブワード分割を訓練した際の語彙

## 参考文献

[1] Arman Cohan and Nazli Goharian. Scientific Article Summarization Using Citation-Context and Article's Discourse Structure. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 390-400, 2015.

[2] Mayank Singh, Pradeep Dogga, Sohan Patro, Dhiraj Barnwal, Ritam Dutt, Rajarshi Haldar, Pawan Goyal, and Animesh Mukherjee. CL Scholar: The ACL Anthology Knowledge Graph Miner. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 16-20, 2018.

[3] Saif M. Mohammad. NLP Scholar: A Dataset for Examining the State of NLP Research. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 868-877, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 41714186, 2019.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[6] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, 2019.

[7] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A Pretrained Language Model for Scientific Text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620, 2019.

[8] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[9] Dat Quoc Nguyen, Thanh Vu, and Anh Tuan Nguyen. BERTweet: A Pre-trained Language Model for English Tweets. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 9-14, 2020.

[10] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proceedings of the 12th Language Resources and
Evaluation Conference, pp. 4003-4012, 2020.

[11] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A Clinical Specific BERT Developed Using a Huge Japanese Clinical Text Corpus. PLOS ONE, Vol. 16, No. 11, pp. 1-11, 2021.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[13] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[14] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[17] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[18] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144, 2016.

[19] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and Structure of The Juman++ Morphological Analyzer Toolkit. Journal of Natural Language Processing, Vol. 27, No. 1, pp. 89-132, 2020.

[20] Chin-Yew Lin. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[21] Hiroki Yamauchi, Tomoyuki Kajiwara, Marie Katsurai, Ikki Ohmukai, and Takashi Ninomiya. A Japanese Masked Language Model for Academic Domain. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 152-157, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# トリプレットの Better Negative Sampling による Text Embedding の学習とテキスト分類

満石風斗 1 安立健人 1 狩野芳伸 2
1 株式会社マネーフォワード 2 静岡大学 情報学部
\{mitsuishi.futo, adachi.kento\}@moneyforward.co.jp
kano@kanolab.net

## 概要

anchor・ positive ・ negative の各テキストからなるトリプレットを用いた text embedding 学習によるテキスト分類では、1. 対象からのトリプレットのサンプリング、2.これを用いた text embedding の学習、の 2 ステップで学習を行う手法がある。従来のランダムなサンプリングに対して、本研究では anchor テキストと positive テキストの識別をより難しくすることで性能向上が見込める Better Negative Sampling を提案する。livedoorニュースデータセットから作成した均衡・不均衡データセットと、WRIME-ver2 デー タセットからサンプリングしたデータセットを用いて性能を検証した。accuracy を評価指標に用い、ランダムなサンプリングに比べて 0.5-1.3\%の精度向上を達成した。

## 1 はじめに

テキスト分類は言語処理タスクの中でも広く応用されているタスクであり、たとえばレビューの感情分析や英語文法の正誤判定 [1] などに利用されている。近年では BERT[2] などの事前学習モデルを Classifier としてファインチューニングする事例が多くみられるが、データセットに応じた text embedding を獲得し、訓練データとテストデータの text embedding の類似度から分類ラベルを予測する手法も考えられる。 text embedding を用いる手法では類似度を確信度として使うことができるなど実用上有利な点がある。

テキスト分類のための text embedding の学習には、 anchorテキスト (基準となるテキスト)・positiveテキスト (anchor との類似度が大きくなることが期待されるテキスト)・negative テキスト (anchor との類似度が小さくなることが期待されるテキスト) からな
るトリプレットを分類の付与されたコーパスから構築し、このトリプレットの集合から text embedding 生成モデルの学習を行う手法が考えられる。

本研究ではこのトリプレット集合の構築方法に着目した。具体的には、ランダムなサンプリングを行うベースラインに対して、negative テキストのサンプリングに工夫を加える Better Negative Sampling を提案する。

トリプレットを用いた学習では、negative テキストに anchor テキストとの分類が難しい hard negative なテキストを用いることがファインチューニングの精度を高めるのに有効である可能性が報告されている [6]。この知見をテキスト分類のための text embedding 学習に適用するために、提案手法である Better Negative Sampling では、negative テキストに 「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選択する。提案手法を用いることでよりテキスト分類に適した text embedding が得られると期待する。

実験では、ラベルが付与された livedoor ニュースデータセット ${ }^{1)}$ から作成した均衡・不均衡データセットおよび WRIME-ver22) からサンプリングしたデータセットに対して、ランダムなサンプリングと Better Negative Sampling を用いて text embedding を学習し比較した結果、Better Negative Sampling を用いたモデルは約 $0.5 \%$ の精度向上を達成した。

## 2 関連研究

## 2.1 事前学習モデルを用いたテキスト分類

BERT は大規模なデータセットを用いた事前学習とタスクに応じたファインチューニングによって高い精度を示す大規模言語モデルであり [2]、テキス

1) https://www.rondhuit.com/download.html

2) https://github.com/ids-cv/wrime

ト分類を含む多くのタスクに応用されている。

Lewis[7] らはいくつかの事前学習モデルにおいて、データセットに応じた text embedding の学習および転移学習を行うことで、直接 Classifier としてファインチューニングした場合に比べて少ないデー タ数で同等の性能でテキスト分類を行えると示唆している。他にも text embedding を用いてテキスト分類を行う手法が提案されているが [9][10]、これらは negative テキスト、すなわちトリプレットを利用していない。

## 2.2 タスクによらない text embedding の 学習

ファインチューニングをしていない BERT からも text embedding は獲得できるが、そのまま用いても性能は低いことが示唆されており [3]、トリプレットサンプルを使用するなどしてより性能高く類似度を計算できるような text embedding を獲得する方法が研究されている [3][4][55]。トリプレットサンプルを用いた学習には negative テキストに hard negative な例を用いることがモデルの停滞を遅らせるのに有効であることが知られており [6]、実際に Ein-Dor ら [11] は Wikipedia のデータセットから同じ記事であるが別の section の文章を hard negative として使用することで、精度の高い text embedding の学習に成功している。

## 2.3 Multiple Negatives Ranking Loss

トリプレットを使用した学習の際の損失 (Loss) には様々な関数が提案されている [3][4][5]。そのひとつである Multiple Negatives Ranking Loss ${ }^{3}$ では、トリプレットをいくつか集めて 1 バッチとする。 バッチサイズを $\mathrm{K}$ とするとバッチ内には、anchor テキスト集合 $\mathrm{A} \ni$ anchori, positive テキスト集合 $\mathrm{P} \ni$ positive $_{\mathrm{i}}$, negative テキスト集合 $\mathrm{N}$ э negative $\mathrm{i}_{\mathrm{i}}(i=$ $\{1,2, \cdots, K\})$ が含まれる。図 1 の例のように、各 anchor $_{\mathrm{i}}$ について、 positive $\mathrm{i}_{\mathrm{i}}$ との類似度を大きく、 $\operatorname{positive}_{\mathrm{j}}\{j \neq i\}$ および全ての negative との類似度が小さくなるように学習する。そのために anchor r $_{i}$ とバッチ内全ての positive テキストおよび negative テキストの類似度を計算し、 positive i $_{i}$ との類似度を正解とみなす Categorical Cross Entropy Loss を最適化する。

すなわち、candidate $\mathrm{j}_{\mathrm{j}}(\mathrm{j}=1 \cdots \mathrm{K})$ は positive $\mathrm{j}_{\mathrm{j}}$ を、 candidate $_{\mathrm{j}}(\mathrm{j}=\mathrm{K}+1 \cdots 2 \mathrm{~K})$ は negative $\mathrm{j}_{\mathrm{j}-\mathrm{K}}$ を表すとし

て positive と negative をまとめて candidate と表したとき、各バッチにおいて以下を最適化する。

$
\begin{aligned}
& -\sum_{i} \sum_{j} l_{i, j} \log \operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}( \\
& \quad \cos \left(\operatorname{model}_{\theta}\left(\text { anchor }_{\mathrm{i}}\right), \operatorname{model}_{\theta}\left(\operatorname{cadidate}_{\mathrm{j}}\right)\right)
\end{aligned}
$

ここで、

$
l_{i, j}=\left.\{\begin{array}{l}
1(i=j) \\
-1(i \neq j)
\end{array}\right.
$

$
\operatorname{Softmax}_{\mathrm{i}, \mathrm{j}}\left(\cos \left(a_{i}, b_{j}\right)\right)=\frac{e^{\cos \left(a_{i}, b_{i}\right)}}{\sum_{j} e^{\cos \left(a_{i}, b_{j}\right)}}
$

であり、 $\cos \left(\right.$ vector $_{1}$, vector $\left._{2}\right)$ は二つのべクトルのコサイン類似度を、 $\operatorname{model}_{\theta}(t)$ はある時点でのモデルによるテキスト $\mathrm{t}$ に対応するべクトルを表す。 (vector ${ }_{1}$, vector $_{2}$ ) はそれぞれべクトルを表す。

図 1 Multiple Negatives Ranking Loss の概念図: 添え字 i, $\mathrm{j}$ は同じバッチ内の異なるトリプレットに対応する。

り、 positive $\mathrm{i}_{\mathrm{i}}$ 以外の異なるラベルに属する候補テキストの類似度は小さくなるようにモデルを更新する。

## 3 提案手法

本研究では、タスクによらない text embedding の学習で有効とされている hard negative の利用をテキスト分類のための text embedding の学習に応用するため、negative テキストの選択に工夫を加えた Better Negative Sampling を提案する。

Better Negative Sampling では negativeテキストの選択において、「anchor テキストとラベルは異なるが text embedding 間の類似度が最も高いテキスト」を選

表 21 ラベル内データ数と 1 ラベルの accuracy の相関 (Pearson の積率相関係数) BERTClassifier Text Embedding(random) Text Embedding (ours)

相関係数 $0.409 \quad 0.155 \quad 0.197$

択することでテキスト分類の精度向上を期待する。 この選択の際の類似度にはファインチューニング前の事前学習済みモデルから得られる text embedding のコサイン類似度を用いる。

## 3.1 トリプレットデータセットの作成

ベースラインであるランダムなトリプレットデー タセットは元のデータセットから以下のようにサンプリングし作成する。

1. データセット内の全てのサンプルが一度ずつ anchor テキストとなるようにする

2. anchor テキストと同じ分類ラベルのテキストからランダムに positive テキストを抽出する

3. anchor テキストと異なる分類ラベルのテキストからランダムに negative テキストを抽出する

## 3.2 Better Negative Sampling

提案手法である Better Negative Sampling では以下のようにトリプレットデータセットを作成する。 ベースラインのランダムな作成手順 1-2 に加え、

3. 事前学習モデルを用いて、anchorテキストと異なるラベルのテキストと anchor テキストのコサイン類似度を計算する
4. 3 で最も類似度が高いテキストを negative テキストとする

このようにして抽出された negative テキストは hard negative として機能し、text embedding モデルの学習能力を高めると考えられる。

## 4 実験

## 4.1 データセット

本研究では、日本語の多クラス分類データセットとして、livedoor ニュースデータセットおよび WRIME-ver2[8] データセットからから作成したデー
タを用いた。

livedoor ニュース livedoorニュースデータセットはニュース記事が 9 つのメディアにラベリングされているデータであり、本研究ではニュース記事の見出しと、記事に紐づけられた 9 種のメディアラベルのみを用いた。ラベル数が多く不均衡なデータセットに対する提案手法の性能も確認するため、livedoor ニュースデータセットから不均衡デー タセットと均衡データセットを作成した。これらのデータセットの作成方法および統計情報は付録に記した。

WRIME-ver2 WRIME-ver2 はツイートテキストに主観および客観的な 5 段階の感情強度と 8 つの感情の主観および客観的な 4 段階の強さがラベリングされたデータであり、本研究ではツイートテキストと客観的な感情強度を用いて、5 段階の分類タスクとして実験した。計算量を減らすため、WRIME-ver2 からサンプリングしたデータセットを実験に用いた。データセットの作成方法と統計情報を付録に記した。

## 4.2 モデル

事前学習モデルとして東北大学・乾研究室が公開している whole-word-masking で学習された BERT を使用した4）（以下日本語 BERT と表記する）。ベー スラインであるランダムなトリプレットデータセット、および Better Negative Sampling で作成したトリプレットデータセットに対して、関連研究 2 で説明した Multiple Negatives Ranking Loss を用いた日本語 BERT のファインチューニングを行い、text embedding モデルを学習した。text embedding モデルを用いたテキスト分類は、テストデータと学習デー タの text embedding のコサイン類似度をデータごとにそれぞれ計算し、最も類似度が高い学習データのラベルを予測ラベルとした。

表 31 ラベル内データ数が 20 以下および 20 以上のラベルに対する accuracy

## 5 結果

表 1 に、分類評価結果の accuracy スコアを示す。 text embedding を用いた手法は classifier としての学習をおこなった場合に匹敵する精度を示した。

text embedding を用いた手法内で比較すると、 Better Negative Sampling を用いたモデルではべー スラインであるランダムなサンプリングに比べ 0.5-1.3\%の精度向上が見られた。

## 6 考察

Better Negative Sampling を用いたモデルは、実験した全てのデータセットにおいてランダムなサンプリングを用いたベースラインモデルに比べて性能向上が見られた。この結果から Better Negative Sampling を用いることで text embedding によるテキスト分類の性能を高めることができることが示唆される。 text embedding によるテキスト分類がサンプルの文構造をどのくらい利用しているのかを調べるため、MeCab[13] の Python ラッパーである fugashi[14](バージョン 1.2.1 IPAdic 辞書) を用いてサンプルから機能語である助詞および句読点などの記号を削除してからラベルの予測を行った結果を表 2(表右側にある†のついたカラム) に示す。Better Negative Sampling がランダムなサンプリングに比べて 3.4-5.1\%の精度改善と、助詞・記号を削除しない場合に比べて精度の向上が大きくなっていた。 Better Negative Sampling ではランダムなサンプリングに比べて、文構造をあまり利用しておらず、すなわち内容語を強く学習している可能性がある。

さらに、 text embedding を用いたテキスト分類は classifier としての学習に比べ livedoor 均衡デー タセットでは精度が大きく変わらないのに対し、 livedoor 不均衡データセットではランダムなサンプリングで $3.8 \%$ の精度向上が見られた。この結果から text embedding を用いたテキスト分類はランダムサンプリング・Better Negative Sampling を問わず不均衡データに対する頑健性を持つ可能性が考えられる。表 1 の右側にある、livedoor 不均衡データセットにおけるラベルごとのデータ数と accuracy との相関 (Pearson の積率相関係数)を示している。text embedding を用いたテキスト分類では classifier としてファインチューニングした場合に比べて相関が弱い。この結果から text embedding を用いたテキスト分類はデータ数の少ないラベルに対しても高精度で分類できることがわかる。

さらに、 1 ラベル内データ数が 20 未満の場合と 20 以上の場合とでテストデータを分割し、それぞれ各手法の accuracy を調べた結果 3 のようになった。データ数 20 未満のラベルに対する accuracy は、 classifier では大きく精度が落ちているのに対し、text embedding を用いた手法では精度がほとんど変わらなかった。この結果から、 text embeddingを用いた手法は classifier と比較してデータ数が少ないラベルにも頑健に対応できることが示唆された。

## 7 おわりに

テキスト分類におけるトリプレットのサンプリング手法として、negative テキストを「anchorテキストとラベルが異なるが類似度が最も高いテキスト」とする Better Negative Sampling を提案し、text embedding を用いたテキスト分類の精度が向上することを示した。また、Better Negative Sampling を用いた手法ではランダムなサンプリングに比べ内容語を強く学習している可能性があり、text embedding を用いたテキスト分類は classiffier としてファインチューニングするよりも不均衡データに対し頑健である可能性が示唆された。

今後の展望として、現在の手法では事前学習モデルを用いて hard negative なテキストをサンプリングしているが、1epochごとに更新されたモデルを用いてトリプレットをサンプリングし直すなど、サンプリングの方法に更なる改善を試みたい。

## 参考文献

[1] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., Bowman, S. R. (2018). GLUE: A multi-task benchmark and analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461.

[2] Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

[3] Reimers, N., Gurevych, I. (2019). Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084.

[4] Zhang, D., Li, S. W., Xiao, W., Zhu, H., Nallapati, R., Arnold, A. O., Xiang, B. (2021). Pairwise supervised contrastive learning of sentence representations. arXiv preprint arXiv:2109.05424.

[5] 山岸駿秀, 鈴木貴文, 稲木誓哉. (2020). Wikipedia 記事間の関係を考慮した Triplet Network に基づく BERT の Fine-tuning. In 人工知能学会全国大会論文集第 34 回 (2020) (pp. 3Rin476-3Rin476). 一般社団法人人工知能学会.

[6] Hermans, A., Beyer, L., Leibe, B. (2017). In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737.

[7] Tunstall, L., Reimers, N., Jo, U. E. S., Bates, L., Korat, D., Wasserblat, M., Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv

[8] 梶原智之. (2021). WRIME: 主観と客観の感情強度を付与した日本語データセット. 自然言語処理, 28(3), 907-912.

[9] Perone, C. S., Silveira, R., Paula, T. S. (2018). Evaluation of sentence embeddings in downstream and linguistic probing tasks. arXiv preprint arXiv:1806.06259.

[10] Piao, G. (2021, May). Scholarly text classification with sentence BERT and entity embeddings. In Pacific-Asia Conference on Knowledge Discovery and Data Mining (pp. 79-87). Springer, Cham. preprint arXiv:2209.11055.

[11] Ein-Dor, L., Mass, Y., Halfon, A., Venezian, E., Shnayderman, I., Aharonov, R., Slonim, N. (2018, July). Learning thematic similarity metric using triplet networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), Melbourne, Australia (pp. 15-20).

[12] Henderson, M., Al-Rfou, R., Strope, B., Sung, Y. H., Lukács, L., Guo, R., ... Kurzweil, R. (2017). Efficient natural language response suggestion for smart reply. arXiv preprint arXiv:1705.00652

[13] Kudo, T. (2005). Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/.

[14] McCann, P. (2020). fugashi, a tool for tokenizing Japanese in python. arXiv preprint arXiv:2010.06858.

表 5 データセット統計情報

## A モデルのパラメータ設定

classifier の学習率は encoder では 5e-5, 分類を行う classifier 層では 1e-4 とした。文章抽出器の学習率は 2e-5 とした。classifier の学習では encoder 層の [CLS]トークンの位置の特徴量を用いてファインチューニングを行った。 text embedding 抽出器では最終層の平均をとる mean pooling を用いてファインチューニングを行った。その他のハイパーパラメーターは表 6 に記した。

表 6 学習パラメータ

## Ｂデータセット情報

livedoor 不均衡・均衡データセットは以下のように作成した。各データセットの統計情報は表 5 に記した。

## B. 1 livedoor 不均衡データセットの作成

1. livedoor ニュースデータセットには 9 種類のメディアがラベリングされている。各メディアにおいて表 4 例 1 例 2 のようにすみかっこ等でサブタイトルが付いてるサンプルについて、サブタイトルを新たな夕イトルとし、タイトルテキストからはサブタイトルを削除した。サブタイトルの付いていないサンプルは media 名-other というラベルとした。

2. 表 4 例 3 のように、メディア・ラベル特有の文言がついているサンプルについて、これらの文言を削除した。

3. dokujo-other と分類されたものから、手動で恋愛・結婚・美容へと分類した。

4. sports-watch-other と分類されたものから、手動でサッカー・野球・オリンピックへと分類した。

5. 各ラベルでサンプル数 2 以下のものは削除した。またサンプル数が 45 以上のものはランダムに 45 サンプルを抽出した。

## B. 2 livedoor 均衡データセットの作成

livedoor 不均衡データセットのラベルを元の livedoor ニュースデータセットのメディアラベルとした。

## B. 3 WRIME-ver2 データセットからのサンプリング

5 つの感情強度 $(-2,-1,0,1,2)$ からそれぞれ $419,419,419,420,420$ サンプルをランダムに抽出した。


# 単語ベクトルの平行四辺形を特徵づける図形距離

前田晃弘 ${ }^{1}$ 鳥居拓馬 ${ }^{2}$ 日高昇平 1
1 北陸先端科学技術大学院大学 2 東京電機大学
\{akihiro.maeda,shhidaka\}@jaist.ac.jp tak.torii@mail.dendai.ac.jp

## 概要

単語の意味的・統語的関係を表わす単語ベクトルが四項類推課題を解くことはよく知られている．そのベクトル演算は類推関係にある単語べクトルが平行四辺形をなしていることを示唆している.これに着目して高次元空間にある単語ベクトルの配置を図形の幾何的性質により特徴づけることを試みる。四つの単語からなる単語群の平行四辺形らしさを測定するメトリックとして図形距離を提案し，これを用いて類推関係にある単語群が平行四辺形に近い配置にあることを実証する。図形距離は単語群の関係性を定量的かつ精緻に特徴づける性能を有しており，新たな研究ツールとなるとともに言語構造の解明に幾何的にアプローチすることを可能にする.

## 1 はじめに

## 1.1 単語ベクトルによる四項類推課題

単語埋め込み（単語ベクトル）は単語間の意味的・統語的関係を表していることが知られ，四項類推課題はその代表的な現象である. 例えば， king:queen::man:woman のような類推関係に対して, それぞれの単語べクトル間に $\boldsymbol{v}_{\text {king }}-\boldsymbol{v}_{\text {queen }}+\boldsymbol{v}_{\text {woman }} \approx$ $v_{\text {man }}$ という演算が成り立つ. Mikolov et al. [1] 等の先行研究では典型的にコサイン類似度により両辺が比較されるが, 同時に king:man::queen:woman の語順の平行関係も成り立つことから四項類推関係は平行四辺形の存在を示唆すると考えられる $[2,3]$.

## 1.2 平行四辺形は存在するか？

単語ベクトルは高次元空間の点であるが，その 4 点が平行四辺形のような平面図形をなしているとはどの様な状態であろうか. ユークリッド距離やコサイン類似度は 2 つの単語ベクトル間の関係性を評価するものであるが，3 以上の単語間にも関係性や対称性があると考えられる。また構造言語学の立場か
らは単語の意味関係は絶対的なものではなく差異により特徵づけられるとされる [4]. 図形のもつ幾何的性質を用いて高次元空間に住む単語べクトルの集まりが持つ関係性を特徴づけたいというのが本研究の動機である.

## 1.3 単語関係を幾何的に捉える

本研究では類推関係にある単語ベクトルが示唆する平行四辺形に着目して, まず高次元ベクトル空間における平行四辺形を数学的に定義する. その上で四つの単語ベクトルが平行四辺形をなす条件を導出して, 平行四辺形らしさを表す新しい指標として図形距離を提案する. さらに図形距離を実コーパスから生成された単語ベクトルに適用してその幾何的性質を定量的に評価する．単語ベクトル間の関係を幾何的に捉えることで言語の豊かな対称性を抽出する。

## 2 図形距離

## 2.1 高次元空間の平行四辺形

ユークリッド幾何における図形とは任意の相似変換によって不変に保たれる幾何学的性質を持つ対象として定義される [5]. 従って，高次元空間内の図形も相似変換群の全ての変換に対して不変に保たれる性質によって定義できる。

平面における平行四辺形は複数の性質1)を持つが，本論文では高次元ベクトル空間における平行四辺形を次のように定義する。

定義 $d$ 次元ベクトル空間における 4 つのべクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ について,

$
\mathbf{x}_{1}-\mathbf{x}_{2}=\mathbf{x}_{3}-\mathbf{x}_{4}
$

が成り立つ時 4 つのベクトルは平行四辺形をなす.

1） 平行四辺形は (i)2 組の対辺がそれぞれ平行，(ii) 1 組の対辺が平行かつ同じ長さ，(iii)2 組の対角がそれぞれ等しい，(iv)対角線の中点が一致するという性質を持つ.

## 2.2 頂点の選び方

任意に与えられた 4 つのベクトルを定義の式 (1) にある $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ へ割り当てる選び方は $4 !=24$ 通りあり, 頂点の置換は 4 次対称群 $S_{4}$ をな. このうち式 (1)を不変とする置換は, ベクトルの添字を置換の対象として表せば $\{(14),(23)$, (12)(34）\}を生成元とする $S_{4}$ の部分群である. 位数は $2 \times 2 \times 2=8$ であるので，4つの頂点に対して異なる四角形をなす頂点の選び方は $24 / 8=3$ 通り存在する.

図 1 は， 3 通りの頂点の選び方に対応した平行四辺形を表しており，パタン 1 は $\mathbf{x}_{1}$ と $\mathbf{x}_{4}$ が対角となる頂点の選び方であり, パタン 2 では $\mathbf{x}_{1}$ と $\mathbf{x}_{3}$ が対角, パタン 3 では $\mathbf{x}_{1}$ と $\mathbf{x}_{2}$ が対角をなす.

図 1 四角形の頂点の選び方

## 2.3 平行四辺形の必要十分条件

4 つの単語 $w_{1}, w_{2}, w_{3}, w_{4}$ を表す単語ベクトルをそれぞれ $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4} \in \mathbb{R}^{d}$ とし, 行方向に沿って並べた行列 $X=\left[\begin{array}{llll}\mathbf{x}_{1} & \mathbf{x}_{2} & \mathbf{x}_{3} & \mathbf{x}_{4}\end{array}\right]$ を単語べクトル群と呼ぶ. $X$ は $d$ 行 4 列の行列である. このとき単語ベクトル群 $X$ が定義 (1)を満たすための必要十分条件は, 3 つの頂点の選び方を考慮して

$
\mathbf{p}_{1}=\left[\begin{array}{c}
1 \\
-1 \\
-1 \\
1
\end{array}\right], \quad \mathbf{p}_{2}=\left[\begin{array}{c}
1 \\
-1 \\
1 \\
-1
\end{array}\right], \quad \mathbf{p}_{3}=\left[\begin{array}{c}
1 \\
1 \\
-1 \\
-1
\end{array}\right]
$

とすると，

$
X \mathbf{p}_{1}=\mathbf{0}_{d}, \quad X \mathbf{p}_{2}=\mathbf{0}_{d}, \quad X \mathbf{p}_{3}=\mathbf{0}_{d}
$

のいずれかが充されることである. $\mathbf{0}_{d}$ は $d$ 次元のゼロベクトルである ${ }^{2}$.

式 (3) の形より 4 つのベクトルは $d$ 次元空間内の超平面上にあることが直ちにわかる.

2）単語ベクトル間の関係性を行列により表現することの利点は, 幾何学・線形代数・群論などの数学的操作を言語構造に対して行うことが可能となることである [6].

## 2.4 平行四辺形らしさの定量化

次に単語ベクトル群の平行四辺形までの距離を定める．考え方としては，単語べクトル群 $X$ を $d$ 次元空間 $V$ 上の 4 つのベクトルの集まりではなく, $4 d$次元空間 $W$ 上の 1 点 $\mathbf{x}:=\operatorname{vec}(X) \in W$ とする ${ }^{3)}$. 平行四辺形をなしている単語ベクトル群を表すすべての点の集まりを $W$ の部分空間 $U$ とすれば，点 $\mathbf{x}$ から部分空間 $U$ までの距離（ユークリッド距離）を算出でき，これを平行四辺形までの距離（図形距離） と定義できる.

図形距離がゼロであるとき単語ベクトル群は平行四辺形をなし, 図形距離（正值）が大きくなるほど平行四辺形から遠くなる. 平行四辺形をなす全ての単語ベクトル群の集合は， $W$ の部分空間（カーネル） $K_{i}$ として次式で表される ${ }^{4)}$.

$
\begin{aligned}
K_{i} & =\left.\{X \in V^{4} \mid X \mathbf{p}_{i}=\mathbf{0}_{d}\right.\} \\
& =\left.\{\mathbf{x} \in W \mid\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \mathbf{x}=\mathbf{0}_{d}\right.\} \quad(i=1,2,3)
\end{aligned}
$

点 $\mathbf{x}$ から 3 つのカーネルまでの距離 $d_{i} \quad(i=1,2,3)$ は次の通りである.(導出は AppendixAを参照)

$
\begin{aligned}
& d_{1}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\| \\
& d_{2}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{3}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{4}}{2}\right.\| \\
& d_{3}=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{2}}{2}-\frac{\mathbf{x}_{3}+\mathbf{x}_{4}}{2}\right.\|
\end{aligned}
$

このうち最短距離を与えるものを平行四辺形までの距離 $d$ とする．幾何学的には 2 組の対角線の中点の間の距離を意味しており, 中点が一致するとき距離はゼロとなり図形は平行四辺形となる.

$
d=\min \left.\{d_{1}, d_{2}, d_{3}\right.\}
$

## 2.5 平行四辺形距離の正規化

合同・相似な図形には同じ平行四辺形距離を付与したい. 平行移動，拡大（縮小), 回転に対して不変となるよう正規化するための正規化項 $Z$ は次の通りである ${ }^{5)}$ (AppendixB)

$
Z=\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \quad \text { where } \mathbf{m}:=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}
$

3）vecオペレータは行列を列ベクトルに並べ替える作用素.
4) $t$ は転置, $\otimes$ はクロネッカー積, $I_{d}$ は $d$ 次元の単位行列.

5） 幾何学的には，4つのべクトルをその重心が原点となるよう平行移動して（中心化して） $4 d$ 次元空間におけるノルムを正規化項としている.

## 3 実験手法

## 3.1 目的とアプローチ

実コーパスから生成された単語ベクトルにおいて類推関係にある単語群を判別できるか平行四辺形距離を用いて評価する. 類推関係にある 4 つ組の単語群を 1 群，無作為に抽出した 4 つ組を 2 群として， それぞれについて算出された正規化済みの平行四辺形距離の分布について $\mathrm{t}$ 検定を行う.

## 3.2 単語ベクトル生成のためのデータ

単語共起カウントによる単語ベクトル実コーパスより単語共起頻度をカウントして単語ベクトルを生成する. English wikipedia dump(20171001 時点)を使用した. トークン数は約 79 億語，語彙数は約 260 万語，前後 5 語以内に生起した単語を共起単語としてカウントする. テストセットの語彙との共起頻度上位 10000 語と，テストセットの語彙の和集合になる計 10072 語の単語共起行列について，その成分を対数化したものを logfreq10000 とする [7]. さらに, logfreq10000 に対して特異值分解を行い 300 次元へ次元削減したものを svd10000 とする.

logfreq10000 と svd10000 の行ベクトルをそれぞれの行に対応する単語の単語ベクトルとする

Word2vec また，ニューラルモデルにより生成された単語ベクトルとして wor2vec[8] の学習済みモデル (spaCy en-core-web-lg[9]) より logfreq10000 と同じ語彙の単語ベクトルを抽出してw2v10000 とする.

## 3.3 正解テストセット

類推関係にある単語群として, Google Analogy Test Set[1] を用いる.これには 19,544 組の単語 4 つ組（例：king-queen-man-woman）が含まれており，14 のカテゴリー（うち9つは統語的な類推関係，5つは意味的な類推関係）に分類されている。

単語 4 つ組は，2つの単語ペアの組み合わせ (例： king-queen と man-woman)からなっており, ユニークな単語ペアとしては 573 組を含む. Google Analogy Test Setでは，全ての単語ペアの組み合わせを網羅していないため，あらためて各カテゴリーごとに全ての単語ぺアを組み合わせて 15,247 組の4つ組を得た (「正解テストセット」という).

## 4 実験結果

## 4.12 群間の比較

図 2 に，類推関係を持つ単語群 (“analogy_testset”) と無作為に抽出した 4 単語 (“random_sampling”) について算出された平行四辺形距離の分布を示す.

logfreq10000では類推関係の単語群の図形距離は平均 0.321 であるのに対して，無作為抽出は平均 0.436 であり,その差は 0.115 で統計的に有意な違いが見られた $(t(15246)=114.7, p<$ 0.001). 同様に svd10000 では analogy-testset $の$ 平均値 0.322 と random_sampling の平均値 0.435 の差は $0.113(t(15246)=112.1, p<0.001)$ と有意である.

また，w2v10000 においても analogy_testset の平均値 0.391 に対し random_sampling の平均値 0.535 と類推関係にある単語群の距離は 0.144 小さく有意な差を示した $(t(8576)=145.6, p<0.001)$ が，その分布形状の差は著しい。なお，w2v10000 に欠けている語彙を含むカテゴリー capital-word を除外したためサンプル数が異なる.

図 2 図形距離の比較

## 4.2 分析

カテゴリーごとに比較すると, 最も平行四辺形に近いカテゴリーは family (平均 0.257), 次いで gram4superlative(平均 0.277) であった. 反対に平行四辺形から遠いカテゴリーは gram1-adjective-to-adverb（平均 0.369), 次いで opposite(平均 0.358) であった.

平均図形距離が最小の family についてカテゴリー 内の順位を見ると，最も平行四辺形に近い単語群は “his-her-nephew-niece” の 4 つ組であり，その図形距離 0.095 は全カテゴリーの中でも最小であった. 反対に, 最も平行四辺形から遠い単語群は, "policeman-policewoman-stepbrother-stepsister" であり, その平行四辺形距離は 0.549 である. 無作為抽出を含めて算出した値の中での最大值に近い値である.

$\mathrm{t}$ 検定の結果は平行四辺形距離が類推関係にある単語群を有意に特徴づけることを示しているが，そ
表 1 頂点の配置パタン占率 (\%)(logfreq10000)

の順位を見ると低頻度の単語を含む場合に特に平行四辺形距離のばらつきが大きく, 識別精度に課題がある. 本論文では紙面の都合上割愛するが正規化項を通じてノルムが過大な影響を及ぼしていると思われ，今後の研究課題である.

## 5 考察

## 5.1 ベクトルの逆転現象

式 (9) により平行四辺形距離を算出する際に，最小距離を与える頂点配置のパタンを各カテゴリーごとに示したのが表 1 である.

正解テストセットに含まれる単語ぺアは関係の方向を反映した並びとなっており，例えば family カテゴリーでは father-mother のように男性・女性の並びである。このような単語ペアを組み合わせて4つ組を作ると, 単語ベクトル $\mathbf{x}_{1}, \mathbf{x}_{2}, \mathbf{x}_{3}, \mathbf{x}_{4}$ はペア 1 の男性, 女性, ペア 2 の男性, 女性という並びとなる。従って類推関係が成立していれば $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{3}-\mathbf{x}_{4}$ が成り立って，3つのカーネルまでの距離のうち $d_{1} \simeq 0$ が最短距離となる (パタン 1 に対応).

しかるに, family など 4 つのカテゴリーでパタン 2 が 2 割以上を占める. つまり式 (7) が適用され $\mathbf{x}_{1}-\mathbf{x}_{2} \simeq \mathbf{x}_{4}-\mathbf{x}_{3}$ が成り立っていることになる. これが示唆するのは, 男性単語と女性単語の間の差べクトルの向きが 2 つのぺア間で逆転する現象が起きているということである.

表 2 に差ベクトルの方向に対応するペアを例示する. 順方向のペアを組み合わせた 4 つ組の場合,例えば $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {father }}-\boldsymbol{v}_{\text {mother }}$ が成り立つので $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {mother }}=\boldsymbol{v}_{\text {father }}$ の演算により左辺の 3 単語から fatherを推定できるが, 逆転が起きているぺア表 2 順方向と逆方向の差分ベクトルを持つ単語ペア事例

 &  \\

の場合 $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}=\boldsymbol{v}_{\text {wife }}-\boldsymbol{v}_{\text {husband }}$ が成立しているので, 四項類推演算を行う場合には $\boldsymbol{v}_{h e}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {wife }}=$ $v_{\text {husband }}$ ではなく $\boldsymbol{v}_{\text {he }}-\boldsymbol{v}_{\text {she }}+\boldsymbol{v}_{\text {husband }}=\boldsymbol{v}_{\text {wife }}$ の演算が成り立つ.

## 5.2 逆転現象の要因

単語ペアの差ベクトルが反転する原因は，単語ベクトルのノルムの逆転が起きているからである. 例えば family カテゴリーの多くのペアでは男性単語べクトルのノルムは女性単語のそれよりも大きいが,反転しているぺアの場合に女性単語のノルムの方が大きい。言語現象上の要因としては，コーパス中の出現頻度において男女バイアスが存在しているからであり，一般に男性単語の方が頻度が高いが，逆転しているぺアでは，例えば husband よりも wifeが頻出するのは his wife のように男性の文脈において wife が出現することの方が her husband よりも多いということが想定される.

同じカテゴリーの中に異なる関係性を持つぺアが存在してサブカテゴリーをなしていることを示唆しており, 平行四辺形距離はそのような単語間の関係性を定量的に測定する機能を有している。

## 6 おわりに

本研究では単語群の持つ意味的・統語的関係を幾何的性質として捉え，新たなメトリックとして図形距離を提案した. そして類推関係にある単語群が高次元空間内で平行四辺形に近い配置にあることを実証した. 精度の改善のため正規化手法の見直しが必要であるが，図形距離を用いることで，半自動的な類推関係の発見や，類推関係の種類の細分化などが期待される. また図形距離は本稿で対象とした平行四辺形以外の図形にも拡張できる. そのため他の立体図形をなす単語群の研究も進行中である. ${ }^{6)}$.

## 謝辞

本研究は JST さきがけ JPMJPR20C9 の助成を受け

て行われた。

## 参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeff Dean. Efficient estimation of word representations in vector space. pp. 1310-4546, 2013.

[2] Dawn Chen, Joshua C. Peterson, and Thomas L. Griffiths. Evaluating vector-space models of analogy. CoRR, Vol. abs/1705.04416, , 2017.

[3] Joshua C. Peterson, Dawn Chen, and Thomas L. Griffiths. Parallelograms revisited: Exploring the limitations of vector space models for simple analogies. Cognition, Vol. 205, p. 104440, 2020

[4] 丸山圭三郎. ソシュールを読む. 岩波書店, 1983.

[5] 河田敬義. アフィン幾何・射影幾何. 岩波書店, 1967.

[6] 前田晃弘, 鳥居拓馬, 日高昇平. 単語共起行列の内部構造解明のための構成論的アプローチ. 2022 年度日本認知科学会第 39 回大会, 2022.

[7] Takuma Torii, Akihiro Maeda, and Shohei Hidaka. Embedding parallelepiped in co-occurrence matrix: simulation and empirical evidence. In Joint Conference on Language Evolution (JCoLE2022), 2022.

[8] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 1310-4546, 2013.

[9] spaCy. Models and language, 2023. https:spacy.io/ usage/models.

## A カーネルまでの距離の導出

平行四辺形の必要十分条件を示す式 (3) は，次のようにべクトル化することができる.

$
\operatorname{vec}\left(X \mathbf{p}_{i}\right)=\left(\mathbf{p}_{i}^{t} \otimes I_{d}\right) \operatorname{vec}(X)=A_{i} \mathbf{x}
$

ただし, $A_{i}:=\mathbf{p}_{i}^{t} \otimes I_{d}, \operatorname{vec}(X)=\mathbf{x} \in \mathbb{R}^{4 d}$ である.

平行四辺形をなすすべての点の集合は $A_{i}$ のカーネル $K_{i}$ として次の通りである.

$
K_{i}=\left.\{\mathbf{x} \in \mathbb{R}^{4 d} \mid A_{i} \mathbf{x}=\mathbf{0}_{d}\right.\}
$

頂点パタン $i$ の平行四辺形までの距離を点 $\mathbf{x}$ からカーネル $K_{i}$ までの距離として求める. $K_{i}$ は行列 $A_{i}$ の行空間 $C\left(A_{i}\right)$ の補空間であることを踏まえ $\left(\mathbb{R}^{4 d}=K_{i} \oplus C\left(A_{i}\right)\right)$, まず $C\left(A_{i}\right)$ への射影行列 $\Pi_{i}$ を考える. $\mathbf{x}$ を $C\left(A_{i}\right)$ へ直交射影した点を $\mathbf{z}_{i}$ とする. すなわち， $\Pi_{i} \mathbf{x}=\mathbf{z}_{i}$ である. $\mathbf{z}_{i} \in C\left(A_{i}\right)$ であるので， $A_{i}^{t} \mathbf{w}=\mathbf{z}_{i}$ なる $\mathbf{w}$ が存在する.

点 $\mathbf{x}$ と点 $\mathbf{z}_{i}$ を結ぶ直線は部分空間 $C\left(A_{i}\right)$ への垂線となるので $A_{i}\left(\mathbf{x}-\mathbf{z}_{i}\right)=\mathbf{0}$ が成り立ち，これを展開すると $\mathbf{w}=\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}$ を得て次の式に代入する.

$
\begin{aligned}
\Pi_{i} \mathbf{x} & =\mathbf{z}_{i} \\
& =A_{i}^{t} \mathbf{w} \\
& =A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i} \mathbf{x}
\end{aligned}
$

この式は任意の $\mathbf{x}$ について成り立つので $\Pi_{i}=$ $A_{i}^{t}\left(A_{i} A_{i}^{t}\right)^{-1} A_{i}$ である. $A_{i}=\mathbf{p}_{i}^{t} \otimes I_{d}$ を用いて, さらに式を展開する. $i=1$ の場合，

$
\begin{aligned}
\Pi_{1} \mathbf{x} & =A_{1}^{t}\left(A_{1} A_{1}^{t}\right)^{-1} A_{1} \mathbf{x} \\
& =\left(\frac{1}{4}\left(\mathbf{p}_{1} \mathbf{p}_{1}^{t}\right) \otimes I_{d}\right) \mathbf{x} \\
& =\frac{1}{4}\left[\begin{array}{cccc}
I_{d} & -I_{d} & -I_{d} & I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
-I_{d} & I_{d} & I_{d} & -I_{d} \\
I_{d} & -I_{d} & -I_{d} & I_{d}
\end{array}\right]\left[\begin{array}{l}
\mathbf{x}_{1} \\
\mathbf{x}_{2} \\
\mathbf{x}_{3} \\
\mathbf{x}_{4}
\end{array}\right] \\
& =\frac{1}{4}\left[\begin{array}{c}
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
-\mathbf{x}_{1}+\mathbf{x}_{2}+\mathbf{x}_{3}-\mathbf{x}_{4} \\
\mathbf{x}_{1}-\mathbf{x}_{2}-\mathbf{x}_{3}+\mathbf{x}_{4}
\end{array}\right]
\end{aligned}
$

となるので

$
d_{1}=\left.\|\Pi_{1} \mathbf{x}\right.\|=\frac{1}{2}\left.\|X \mathbf{p}_{1}\right.\|=\left.\|\frac{\mathbf{x}_{1}+\mathbf{x}_{4}}{2}-\frac{\mathbf{x}_{2}+\mathbf{x}_{3}}{2}\right.\|
$

である. $i=2,3$ の場合も同様である.

## B 正規化項の導出

点 $\mathbf{x}$ からそれをカーネル $K_{i}$ へ直交射影した点までの垂線の距離を, 原点 $O$ から点 $\mathbf{x}$ までの斜辺の距離で正規化すれば正弦が得られるが，その方法では図形の平行移動の影響を受けてしまう。これを避けるために，空間 $V=\mathbb{R}^{d}$ における 4 点を任意のべクトル $\mathbf{b} \in V$ で平行移動したものと同一視する. これは空間 $W=\mathbb{R}^{4 d}$ においては, $\mathbf{x} \in W と \mathbf{x}+\mathbf{1}_{4} \otimes \mathbf{b} \in W$ を同一視することに等しい.

任意の点 $\mathbf{x}$ に対して，原点と同一視できる点の中で最短距離を与えるものをその原点して選ぶこととして，平行移動 $b^{\prime}=\mathbf{1}_{4} \otimes b$ を次のように求める.

$
\begin{aligned}
\min _{\mathbf{b}^{\prime}} \delta & =\min _{\mathbf{b}^{\prime}}\left.\|\mathbf{x}-\mathbf{b}^{\prime}\right.\| \\
& =\min _{\mathbf{b}}\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{b}\right.\| \\
& =\min _{\mathbf{b}}\left(\sum_{i=1}^{4}\left(\mathbf{x}_{i}-\mathbf{b}\right)^{2}\right)^{1 / 2}
\end{aligned}
$

$\delta^{2}$ を b で偏微分する.

$
\frac{\partial \delta^{2}}{\partial \mathbf{b}}=-2 \sum_{i=1}^{4} \mathbf{x}_{i}+8 \mathbf{b}=0
$

従って,

$
\mathbf{b}=\frac{1}{4} \sum_{i=1}^{4} \mathbf{x}_{i}:=\mathbf{m}
$

すなわち，空間 $V$ における 4 つの単語ベクトルの中点を $\mathbf{m}$ とすると，空間 $W$ においてこれに対応する $\mathbf{1}_{4} \otimes \mathbf{m}$ が $\mathbf{x}$ に最も近い原点 (平行移動により原点と同一視される点)ということになる.

以上より，図形距離の正規化に用いる正規化項 $Z$ は， $\mathbf{1}_{4} \otimes \mathbf{m}$ までの距離ということになる.

$
\begin{aligned}
Z & =\left.\|\mathbf{x}-\mathbf{1}_{4} \otimes \mathbf{m}\right.\| \\
& =\left(\sum_{i=1}^{4}\left.\|\mathbf{x}_{i}-\mathbf{m}\right.\|^{2}\right)^{1 / 2} \\
& =\left(\sum_{i=1}^{4}\left.\|\overline{\mathbf{x}_{i}}\right.\|^{2}\right)^{1 / 2}
\end{aligned}
$

$\overline{\mathbf{x}_{i}}$ は， 4 点の重心 $\mathbf{m}$ で中心化したべクトルと考えることができるので，これは結局，4つのベクトルを重心の分だけマイナスに平行移動していることであり，合同となる図形を同一視して，その正規化項を導出していることになる.


# Transformer による中国古典詩歌の解釈生成ネットワークの構築

王 藝縥 荻野 正樹
関西大学大学院 知識情報研究科
$\{$ k435374, ogino $@$ kansai-u. ac. jp

## 概要

中国古代詩は素晴らしい作品が数多く残されているにも関わらず，言語的な難しさから現代の中国人でも解釈が困難な場合がある。古典的な詩を現代語の解釈として翻訳することができれば，現代の詩人の創作活動の支援としても役立つことが期待できる. このため, 本研究では, 古代中国の詩からその解釈を生成する言語処理モデルを提案する．提案モデルは Transformer を使った生成モデルとなっており，詩歌を入力とし，その解釈を現代語として出力するように学習する。提案モデルは, Attention is all you need のモデルを使用し，生成された解釈文は BLEU スコアで評価した。トークンとして，文字 (漢字) を使用する手法と, 単語を使用する手法について比較を行い, 後者の方が BLEU スコアの評価が高い結果が得られた。また, 長文の解釈文について, 要約を用いて文字数を少なくして学習させたが，BLEU スコアとしては要約しない場合と同程度の結果が得られた。

## 1 はじめに

近年, Generative AI と呼ばれる分野の技術の革新が進み, $\mathrm{AI}$ を使った画像生成, 文章生成, 音楽生成等の研究が盛んに行われており, 画像からの文章生成, キーワードからの画像生成などの応用研究やサービスの提供も行われている [1].

$\mathrm{AI}$ を使ったアート生成の試みとして, 中国古典詩の生成についても多くの研究が行われている. Ryu らは, 事前学習済みモデルに基づく中国古典詩の生成の研究を提案した [2]. 彼らは主に BART などの事前学習モデルを利用した FS2TEXT と RR2TEXT を提案したが，これらのモデルは特定のスタイルの詩文を生成することができる．このモデルの性能を検証するため, 詩人や詩作研究者のグループに, 中国の古典詩と BARTで生成した詩についての判別をしてもらい, AI 詩についてのチューリングテストを行った. 600 名以上の参加者についての大規模な調査では，ハイレベルな詩のファンたちでも， AI の作品と人間の作品を区別することができないことが明らかとなった。

詩歌の創作活動は現代の中国でも人気があり，現代中国の詩人の数は 500 万人に達している。ところが，中国には古くからの優れた詩歌の作品が残されているにも関わらず，古典的な素養に関する学習の機会の不足から, 古典的な詩歌の作品の解釈が難しく感じる人も多く, 古典的作品が創作に有効に活用されているとは言えない．古典的詩歌には現代の人からは理解しにくい表現や文法があり，それらの解釈を支援するサービスがあれば，古典的な作品から創作のインスピレーションを得る機会も増えることが期待される．そこで，本研究では，中国の古典的詩歌について，その意味的な解釈を生成するシステムを提案する．提案するモデルでは Transformer [3] を使い, encoder 側に詩歌を入力し, decoder 側で詩歌を説明する文章を出力するように学習させる．学習後は古典詩歌を入力することで，現代人にわかりやすい解釈文が生成される。

## 2 提案モデル

ディープラーニングの出現により機械翻訳においてもニューラルネットワークの有用性が着目されてきた. Seq2Seq モデルは 2014 年に Google によって提案された手法で, エンコーダ, デコーダに RNN を用いることにより，エンコーダでは入力された時系列情報から文脈情報を抽出し，デコーダでは文脈情報から別の時系列情報を生成する。このモデルでは学習におけるコストや精度の高い依存関係モデルを構築が難しいという問題があった。 2017 年に発表された Transformer は， RNN[4]を使わずに Attention 層だけを使ってニューラルネットワークを構築することで，これらの問題を解決しており，

BERT, GTP をはじめ, 現在非常に多くの自然言語処理モデルの基盤技術となっている. 本研究では,

Transformer を翻訳機として使い, 古典的詩歌から現代語の解釈文へ翻訳するように学習するモデルを提案する.

通常, 自然言語処理モデルの処理では入力されるトークンの長さの制限のため，長いテキストデータは学習データとして使用することができない。しかし, 特にデータ量の少ないトレーニングセットでは，削除せずにデータを活用したほうがより深く学ぶことができると考えられる．

そこで本研究では，入力文の長さが最大入力トー クン数を超えた場合は，要約によって短文に変換して入力する方法を提案する。（図 1）まず，長文テキストを抽出する。次に, BERT ベースの要約生成器を用いて,古文の要約と古文解釈の要約を生成する.最後に, 生成された対になる古文書要約と古文書解釈要約を元データと混合し, シャッフルする. その結果, より大きく, より使いやすいデータセットが出来上がる.

本研究は Miller の提案する文章要約モデル[5]をべ ースに中国語要約プログラムを作成した. Pre-trained Language モデルとして Yang らが公開している Whole Word Masking モデルを使用している [6].

図 1 提案モデル

## 3 実験

本研究では, 実験結果に対して, 要約モデルを使用した場合と使用しない場合のデータを比較した. そして，実験テキストがすべて中国語であるのを考量し, NLTK (Natural Language Toolkit）を使って漢字単位で分割使用した場合と, 中国語専用の形態素解析ツール Jieba を使用して単語を分離した場合の実験結果に対する影響を比較した。

## 3.1 実験条件

本研究で用いた計算機環境は，ハードウェア環境として CPU は AMD R7 3800X， GPU は

RTX2080を使用し，ソフトウェア環境は OS として Ubuntu 20.04 , 深層強化学習ライブラリとして Pytorch 1.10.1を使用している.

## 3. 2 データ説明

古詩文網[7]には中国の古典詩についてタイトル，詩文，解釈が公開されており，本研究ではこのペー ジから学習データとして古詩と古文を計 7207 件抽出し, 繁体字と簡体字に変換した。最後に, それぞれの行をスペースで区切り詩とその解釈をぺアにした. 表 1 に学習データの一例を示す.

表 1 データの例

## 3.3 モデルのパラメータ

本研究では, [Attention is all your need] [3]の論文から基本モデル Base と Smal1のパラメータを参考にした。モデルのパラメータを表 2 に示す. なお，GPUのメモリ量の制限により，big モデルのパラメータは使用していない。

表 2 パラメータ

## 3.4 形態素解析

本研究では, 形態素解析の分割の粒度による学習への影響を調べた。分割には Natural Language Toolkit(NLTK) [8] と Jieba[9] を使った. Natural Language Toolkit(NLTK) [8]は，NLP の分野で最もよく使われている Python ライブラリの 1 つである. このライブラリのユーティリティ word_tokenize を使って, テキストの切り出し処理を行った. Jieba は中国語単語分割によく使われている中国語テキスト分割モジュールである. Jieba には分割の粒度について，いくつかモードが設けられている. 表 3 に 3 つのモードでの監視の分割の違いを示す. 本研究ではこれらのモードの中で cut_all=True を使用した。

表 3 使用した後の漢詩の分け方

 \\

## 4 結果と考察

## 4. 1 モデルパラメータによる比較

2 つの異なるパラメータを用いて得られた BLEU スコアを表 4 に示す.表 4 モデルによる BLEU スコア比較

2 つの結果を比較すると，Base を使用した方が BLEU スコアが高いことがわかる.

## 4.2 分割単位による比較

入力する文の分割に Jieba を使って単語で分割した場合の BLEU スコアと, NLTK を使って個別の漢字で分割した場合の BLEU スコアを表 5 に示す.

表 5 分割単位による BLEU スコア

表 4 に示すように, Jieba を使用することによって, BLEU スコアが大幅に向上することが確認できた.

## 4.3 提案モデルの使用

解釈文として要約文を使用した場合と使用していない場合の学習曲線を図 2 に示す. 両者のモデルとも 2000 エポックで loss が収束した.

図 2 解釈文出力モデルの学習曲線

学習済みモデルを用いて詩の解釈を生成した例を表 6 に示す。学習データに要約文を使用した場合と使用していない場合もこの解釈が生成されている.

要約文不使用と使用の場合の BLEU スコアを表 7 に示す. 表の BLEU スコアから，要約文を使用したデータセットの BLEU スコアは，使用しなかった場合のスコアから大きく変化していないことがわかる。

これは，データ量を同じにした結果である。したがって, 長文を要約処理したデータを本来のデータに入れても悪影響を与えないと結論づけられる。しかし同時に, この解釈で生成された結果を評価するために BLEU スコアを使用した。

表 6 詩の解釈を生成した例

 \\

表 7 BLEU スコア

通常，翻訳を評価する指標として BLEUが使われるが，このように同じ言語間の解釈生成の時もこの指標を使うことに問題がないかどうかは, 今後検討解決されるべき問題である.

まだ，複数の解釈文を読むと，ある言葉の意味は明確に説明されているものの, 文章全体がスムーズに読めないことがわかる. これは, 通常の日常的な使用に悪影響を及ぼすと考えられる。

さらに, 現在では, BERT で事前に学習したモデ
ルを用いて小規模なデータセットで再学習することが一般的になっており，少ない計算資源でより優れた詩の解釈生成モデルを迅速に学習できる可能性がある. 今後, BERT の学習済みモデルで再学習を行うことが今後の課題になる。

## 6 おわりに

本研究は詩歌解釈生成サービスを構築した。古代漢詩や文言文からその解釈を生成することに成功した.

そして，要約生成器を用いて作成した長文要約をトレーニングセットとテストセットに入れ，その結果を比較した. BLEU スコアに大きな変化はないことがわかった。その結果, 長文の要約を使用しても学習結果に影響を与えないという結論に達した。次に，形態素解析に Jieba を使用した場合の BLEU の結果への影響を比較したところ, Jieba を使用することによって，BLEU スコアが大幅に上がることが確認できた。

しかし, 解釈の評価する指標, 文章流暢さの問題など課題が残っている。これらの解決は今後の課題になる。

## 参考文献

1. Liu, Yusen and Liu, Dayiheng and Lv, Jiancheng and Sang, Yongsheng. Generating Chinese Poetry from Images via Concrete and Abstract Information arXiv preprint arXiv: 2003.10773, 2020.

2. Wang Z, Guan L, Liu G. Generation of Chinese classical poetry based on pre-trained model[J]. arXiv preprint arXiv:2211.02541, 2022.

3. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, Kaiser, and I. Polosukhin. Advances in Neural Information Processing Systems, page 5998-6008. (2017)

4. Yi, Xiaoyuan and Li, Ruoyu and Sun, Maosong Generating Chinese Classical Poems with RNN EncoderDecoder arXiv preprint arXiv: 1604.01537, 2017.

5. Miller D. Leveraging BERT for extractive text summarization on lectures[J]. arXiv preprint arXiv:1906.04165, 2019.

6. Cui Y, Che W, Liu T, et al. Pre-training with whole word masking for chinese bert $[\mathrm{J}]$. IEEE/ACM

Transactions on Audio, Speech, and Language

Processing, 2021, 29: 3504-3514.

## 7. 古诗文网 https://www.gushiwen.cn

8. Bird, Steven, Edward Loper and Ewan Klein (2009) Natural Language Processing with Python. O'Reilly Media Inc.

9. jieba: https://github.com/fxsjy/jieba


# BERT-CRF を用いた日本語機能表現意味ラベル付与

田所佑一平博順
大阪工業大学大学院
\{m1m22a21, hirotoshi.taira\}@oit.ac.jp

## 概要

複数の形態素から構成され，一つの機能語として働く表現である機能表現は，モダリティ解析などの応用タスクでも利用されており，機能表現解析の精度向上は，重要な課題である. 本研究では，解析モデルとして，BERT-CRFを用いることで，日本語機能表現意味ラベル付与の精度向上を試みた. 評価実験の結果，BERT-CRF は既存モデルと比較して，高い精度を達成し，機能表現意味ラベル付与においても有効であることを確認した。

## 1 はじめに

複数の形態素から構成され，一つの機能語として働く表現は，「機能表現」と呼ばれ，文の意味に大きく関わっている。機能表現を正確に抽出し，意味ラベルの付与を行うことは，事実性解析やモダリティ解析などの応用タスクでも重要である。佐野ら [1] は機能表現を考慮したモダリティを用いて, 文末述語を用いた 2 文間の接続関係推定を行っている．亀甲ら [2] は，将棋の解説文生成において，機能表現を考慮した，モダリティ情報のアノテーションを行っている. また, 友利ら [3] は, モダリティ表現認識と事象の事実性解析のマルチタスク学習を行い，モダリティ情報の解析を行っている.

一方，様々な自然言語処理のタスクで，BERT [4] などの，大規模汎用言語モデルを利用した手法が提案されており，系列ラベリングタスクにおいても，優れた性能を達成している。田川ら [5] は，医療分野における日本語固有表現認識において, BERT-CRF [6] を用いた系列ラベリングタスクを行い，優れた性能が得られることを報告している。本研究では，系列ラベリングタスクにおいて，大規模汎用言語モデルを用いた手法が有効であることに注目し, 系列ラベリングタスクの 1 つと見なすことができる，機能表現意味ラベル付与においても， BERT-CRF が有効であるかを検証する。これまで，日本語機能表現に対して系列ラベリングを行っている研究としては， CRFを用いた手法 [7] などがある. この CRF をべースラインモデルとし，事前学習済みの BERT モデルに対して，ファインチューニングを行うことで，機能表現意味ラベル付与を行った。 CRF，BERT，BERT-CRFのそれぞれに対して実験を行い，性能の比較を行った。

## 2 関連研究

本節では，日本語の機能表現に関する研究について述べる. 吉松ら [8] は，日本語機能表現の網羅的な辞書である「つつじ」を作成している。また，土屋ら [9] は，機能表現の検出をチャンク同定問題みなし，機械学習を用いることで高い精度が得られることを示している. 機能表現に対するラベリングの研究としては，今村ら [10]が，機能表現辞書「つつじ」と最尤パス探索を用いて，述部に対する機能表現にラベリングを行っている。岡ら [7] は，機能表現意味ラベルを付与したコーパスを作成し， そのコーパスに対して機能表現解析を行っている.文末述語における機能表現検出については，佐野ら [1] が，文末述語解析システム「Panzer」を開発している.

また，系列ラベリングに関する研究としては，友利ら [3] が，モダリティ表現認識のマルチタスク学習において， CRF のみを用いた手法に対して，エンコーダに BERT，出力層に CRF 層を用いた手法が，有効であることを示している，田川ら [5] は，固有表現抽出タスクにおいて, CRF と BERT-CRF の比較を行い，日本語においても BERT-CRF が有効であることを確認している. BERT-CRF は，BERT の出力層に $\mathrm{CRF}$ を繋げたものであり，ラベルの制約を学習することができるため，単純な BERT と比較して高い性能が期待できる.

## 3 BERT-CRF

## 3.1 CRF

CRF（Conditional Random Field）[11] は，系列ラベリングタスクを解くことができる識別モデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラべルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とした際に， $X$ から $Y$ の系列を予測するモデルであり，条件付き確率 $P(Y \mid X)$ は，以下の式で表すことができる.

$
P(Y \mid X)=\frac{1}{Z_{X}} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

ここで， $f_{k}$ は素性関数， $\lambda_{k}$ は素性関数 $f_{k}$ に対する重みである. また， $Z_{X}$ は，全系列の確率和を 1 にするための正則化項であり，

$
Z_{X}=\sum_{Y} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

で表される. 入力文の系列 $X$ に対する最適なラベル $y^{*}$ は，以下の式で求めることができる.

$
y^{*}=\underset{Y}{\operatorname{argmax}} P(Y \mid X)
$

## 3.2 BERT

BERT [4] は，双方向エンコーダにより構成される事前学習済みモデルである。事前学習済みの BERT に対して，ファインチューニングを行い，系列ラベリングタスクを解けるように調整を行う. 入力文の系列 $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ を BERT に入力し, 分散表現に変換する. 得られた系列の分散表現を Softmax を用いることで各系列のラベルの予測スコアに変換する．予測スコアに対して，ビタビアルゴリズムを用いることで，最終的なラベルの系列 $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ を決定する.

## 3.3 BERT-CRF

BERT-CRF [6] は, BERT の出力層に CRF 層を組み合わせたモデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラベルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とすると, 系列のスコアは以下の式で求めることができる. BERT の出力スコア $P$ は，CRF 層に与えられる。ここで，A は遷移スコアを表す行列でり, $A_{i, j}$ は行列 $A$ の $(i, j)$ 要素を表す. また, $P_{i, y_{i}}$ は系列 $P$ の $i$ 番目の要素が, クラス $y_{i}$ で
あるスコアを表す

$
s(X, Y)=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

正しい出力ラベルの系列が得られるように，対数確率が最大となるように学習を行う.

$
\log (p(Y \mid X))=s(X, Y)-\log \left(\sum_{\tilde{Y} \in Y_{X}} e^{s(X, \tilde{Y})}\right)
$

ここで $Y_{X}$ は，ありうる全ての系列であり，ビタビアルゴリズムを用いて最終的なラベルの系列を求める.

## 4 評価実験

本節では，BERT-CRF を用いた日本語機能表現解析に対しての評価実験を行った結果について述べる.

## 4.1 実験設定

評価実験には，「機能表現タグ付与コーパス」[12] （ver. 2.1a）の開発セットを用いた.このコーパスは，1,627 文からなり，文内のすべての機能表現に， IOB2 フォーマットで意味ラベルが付与されている.意味ラベルのクラス数としては， 67 種類であり，特殊なラベルとして，意味ラベルチャンクの一つ前の系列に現れる C ラベルを含んでいる．また，Cラベルを除いた，意味ラベルが付与された機能表現の総数は，9,843 個である.

評価実験では，機能表現タグ付与コーパスを，訓練データ，検証データ，テストデータとしてそれぞれ 8:1:1 に分割して使用した. 各手法で，実験条件を揃えるため，同一の分割されたデータセットを利用し，シャッフルなどは行っていない. また，CRF， BERT，BERT-CRF のそれぞれの実験で，訓練データとテストデータを揃えるために，CRF の実験の際には，検証データは利用していない. 出力ラベルの形式としては IOB2 形式を使用している.

CRF の学習には，特徴量として，前後 2 トークンまでの表層形態素と品詞，品詞細分類を利用した.また，CRF の実装には CRFsuite [13] を用いた。 BERT と BERT-CRF の実験には，事前学習済みモデルとして，東北大学の BERT-base を使用した. バッチサイズを 32 ，学習率を $1 \times 10^{-5}$ として学習を行い，検証データを用いて評価し，最も精度が高かったエポックのモデルをテストで使用した. 実験は， 10 分割交差検定で評価を行った.
表 1 実験結果

表 2 クラスごとの結果

 & B-CRF & ラベル & 頻度 & CRF &  & B-CRF & ラベル & 頻度 & CRF &  & B-CRF \\

## 4.2 評価手法

実験の評価には，適合率，再現率， $\mathrm{F}$ 值を使用し， ラベルのクラスとスパンが共に一致した場合に，正解とした. Cクラスは，機能表現意味ラベルではないため，評価の際は除外した。

## 4.3 実験結果

CRF，BERT，BERT-CRF のそれぞれについて，10 交差検定を用いた場合の結果を，表 1 に示す. 実験の結果，BERT-CRFが，適合率, 再現率, F1 のそれぞれに対して，最も精度が高い結果となった。CRF と比較して, BERT, BERT-CRF ではマイクロ平均とマクロ平均の両方で， $\mathrm{F}$ 值の向上がみられた. CRF と比較し，BERT では適合率が少し減少したものの,再現率が値が向上した. また，BERT-CRFでは適合率と再現率が，ともに向上しており，特に再現率
は， $\mathrm{CRF}$ と比較して大きく向上した. 今回使用したデータセットは，クラスごとの要素数の偏りが大きい. そのため, マクロ平均でも評価したところ, BERT-CRF は，適合率，再現率，F1 の全てにおいて大きく改善しており，本タスクにおいて最も精度の高いモデルであることがわかった.

10 交差検定を実施した結果における，各クラスでの精度の平均值を表 2 に示す. 各クラスの結果についても，ほとんどのクラスで，BERT-CRFを用いた場合に，精度が高かった. 特に，クラスの要素数が多い場合には, CRF と比較して BERT, BERT-CRF で $\mathrm{F}$ 值が改善する傾向にあった。一方，要素数が比較的少ない場合には, CRF と比較して BERT の $\mathrm{F}$ 值が低くなる傾向があったが，BERT-CRF の F 值は，高くなる傾向があった.

## 4.4 考察

CRF と比較して，BERTを使用した実験では，要素数が多いクラスで，F 値が改善する傾向があった.逆に，要素数が少ないクラスでは， $\mathrm{F}$ 值が悪化する傾向が見られた．BERTでは，チャンクに対するラベルをそれぞれ判定しているため，ラベルの遷移を考慮した推論を行うことが難しく, 学習データ量が少ないクラスでは $\mathrm{F}$ 值が悪化したと考えられる。また，適合率が減少したものの，再現率は改善しており, CRF で検出できなかった意味ラベルが，検出できるようになったと考えられる。

BERT-CRF の特徴としては，多くのクラスで $\mathrm{F}$ 値が，改善していたことがあげられる．BERT の傾向と同じく, 要素数が多いクラスでは, $\mathrm{F}$ 值が改善しており，また改善している項目も多かった. CRF と比較した際に，BERT では，要素数が少ない場合に， $\mathrm{F}$ 値が悪化する傾向がみられた。一方，BERT-CRF では，「付帯-続行」を除き，全てのクラスで $\mathrm{F}$ 值が改善していた. BERT-CRFでは BERT の埋め込みを用いることで，CRFでは検出できなかった意味ラべルが検出できるようになった．また， CRF 層を用いることで，ラベルの遷移を学習し，学習データが少ない場合に BERT で悪化していたクラスについても, CRF と同程度かそれ以上の精度を達成することができたと考えられる.

各手法に共通して，正しく抽出できなかったラべルの例として, 同じ助動詞でも, 他の形態素と連結することで，異なるラベルに変化するラベルなどがあった．その例を表 3 に示す. 文末の「です」は 「判断」としてラベルが付与されていることが多いが，「事も無いです」では，一つの機能表現として 「不必要」のラベルが付与されている。 そのため, 各手法で「I-不必要」とラベリングするところを，「B判断」としてラベリングしている.「判断」の学習データ量が多いのに対して，「不必要」のデータ量が少ないため, 学習にバイアスが発生し, 正しく抽出できていないと考えられる。

## 5 おわりに

本稿では，機能表現タグ付与コーパスに対して BERT-CRF を用いた機能表現意味ラベル抽出を行い，有効性を検証した。実験の結果，BERT， BERT-CRF を用いた手法は， CRF を用いた手法と比較して，有効であることが分かった. 特に，表 3 ラベリングエラー例

BERT-CRF では，再現率が大きく改善するとともに，学習データ量が少ないクラスについても精度が改善し，より多くの意味ラベルを抽出できることが分かった. しかし, 極端にデータ量が少ないクラスでは，精度が低くなる場合もあるため，意味的に近いクラスのデータを援用するなどの方法で，そのようなクラスの意味ラベル付与の精度を向上させることも今後，検討する予定である。

## 参考文献

[1] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2] 亀甲博貴, 松吉俊, 牛久敦, 笹田鉄郎, 村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ情報アノテーション. 自然言語処理, Vol. 28, No. 3 , pp. 847-873, 2021.

[3] 友利涼, 村脇有吾, 松吉俊, 龟甲博貴, 森信介ほか. モダリティ表現認識・事象の事実性解析の同時学習.研究報告自然言語処理 (NL), Vol. 2019, No. 13, pp. $1-8,2019$.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo-
lis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 田川裕輝, 西埜徹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識とモダリティ推定. 言語処理学会第 26 回年次大会, 2020 .

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2019.

[7] Yudai Kamioka, Kazuya Narita, Junta Mizuno, Miwa Kanno, and Kentaro Inui. Semantic annotation of Japanese functional expressions and its impact on factuality analysis. In Proceedings of the 9th Linguistic Annotation Workshop, pp. 52-61, 2015.

[8] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編纂. 自然言語処理, Vol. 14, No. 5, pp. 123-146, 2007.

[9] 土屋雅稔, 注連隆夫, 高木俊宏, 内元清貴, 松吉俊,宇津呂武仁, 佐藤理史, 中川聖一. 機械学習を用いた日本語機能表現のチャンキング. 自然言語処理, Vol. 14, No. 1, pp. 111-138, 2007.

[10] 今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史. 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311, 2011.

[11] John Lafferty, Andrew McCallum, and Fernando Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[12] 機能表現タグ付与コーパス, (2022-12 閲覧）. https://www.cl.ecei.tohoku.ac.jp/Open_ Resources-Japanese_FE_Corpus.html.

[13] Naoaki Okazaki. CRFsuite: a fast implementation of Conditional Random Fields (CRFs), 2007. http://www. chokkan.org/software/crfsuite/.


# オープンドメインの手順書のフローグラフ予測と データセットの構築

白井 圭佑 ${ }^{1}$ 亀甲 博貴 $^{2}$ 森 信介 ${ }^{2}$
1 京都大学大学院情報学研究科 2 京都大学学術情報メディアセンター
shirai.keisuke.64x@st.kyoto-u.ac.jp \{kameko, forest\}@i.kyoto-u.ac.jp

## 概要

機械による手順書の理解は, それらにおける推論や実世界における自動化を行う上で重要である. 先行研究では, 手順書の理解の表現としてレシピフローグラフという枠組みが提案されている. 本稿では,レシピにおける食材を手順書が目指す最終成果物の構成要素として捉えることで, 調理以外の分野への適用を試みる.また, 調理以外の分野におけるフローグラフの予測精度を調査するため, 新たに wikiHow Flow Graph (wikiHow-FG) コーパスを構築した. コーパスは, wikiHow から選択した 2 分野を対象に, 30 記事ずつアノテーションすることで構築した.実験では, 対象分野の少量データでモデルの学習を行う few-shot の設定と, 既存の調理分野のデータで学習を行う zero-shot の設定を考え, それぞれについて評価, 比較を行った。

## 1 はじめに

手順書は調理や家具の組み立て等, 日常生活における作業を補助する目的で書かれた文書である. 機械による手順書の理解は, 手順における推論 [1] やその作業の自動化 [2] を目指す上で重要であるといえる.これには, 文書全体における重要表現の認識やそれらの係り受け関係を解析する必要がある. 手順書のグラフ表現への変換 [3] は,これらの問題を解決する一つの手段である.

先行研究では, この方向において分野依存の手法が提案されてきた $[4,5,6]$. 特に, 調理分野においてはウェブ上に豊富な資源が存在することから, 様々なアプローチが取られてきた $[4,7,8]$. この中で, 森ら [4] はレシピをフローグラフへ変換する枠組みとして, レシピフローグラフと日本語コーパスの提案を行った. 後の研究 [9] では, 英語フローグラフ (English Flow Graph; English-FG) とそのコーパスも提

## Heat the oil in a saucepan .

Add the onion and cook for 7-8 minutes .

Stir in the celery and carrot .

$\mathrm{Ae}$ (動作) $\quad \mathrm{C}$ (構成要素) $\mathrm{T}$ (道具) $\quad \mathrm{D}$ (継続時間)

Targ (動作の対象) Dest (動作の方向)

other-mod (その他の修飾語句)

図 1 フローグラフ予測の例. タグとラベルは提案フレー ムワークのものである. 本研究では, このフレームワークを用いて調理以外の分野における手順書のフローグラフ予測を行う。

案されている。一方でレシピフローグラフはアノテーションコストが高く, 大規模なデータセットの構築は現実的ではないという問題がある.また,その適用分野も現状は調理のみに留まっている.

本研究では,レシピにおける食材を手順書が目指す成果物の構成要素として捉えることで, 調理以外の分野への適用を目指す. 本稿では, 英語の手順書を対象とし, 既存研究 [10] と同様にノード予測とエッジ予測の 2 段階からグラフの予測を行う.また, 調理以外の分野におけるフローグラフの予測精度を調査するため, 新たに wikiHow-FG コーパスを提案する.これは, 様々なタスクに関するマニュアルを公開している wikiHow から記事を収集して構築した. 対象分野として, 表 1 に示す 2 分野を wikiHow
表 1 各記事における記事タイトルの例.

表 2 タグとその意味. 括弧内は English-FGにのける名称と定義を指す

のカテゴリから選択し, 各分野において 30 記事をアノテーションした. 実験では, 既存の English-FG コーパス [9] 上で学習を行う zero-shot の設定と, wikiHow-FG 上の少量のアノテーションで学習を行う few-shot の設定における予測精度を, それぞれ調査した. 結果から,ノード予測に関しては zero-shot, few-shot 共に高い予測精度が得られる一方で, エッジ予測に関しては zero-shotが few-shot モデルの予測精度を大幅に上回る結果となった。

## 2 フローグラフ表現

## 2.1 レシピフローグラフ

ここでは,レシピフローグラフについて概説する。 レシピフローグラフは, 図 1 に示すような有向非巡回グラフである.ここで, 点は文書中の重要表現を指し, 表 2.1 に示すような 10 種類のタグを用いて表す.辺は点同士の関係を指し, 表 3 に示すような 13 種類のラベルを用いて表す.レシピフローグラフの予測手法として, 先行研究 [10] ではノード予測とエッジ予測の 2 段階に分けて行うことが提案されている。

ノード予測では文章中の重要表現とそれに対応するタグの識別を行う.これは系列ラベリング問題として定式化され, 固有表現認識器 (Named Entity Recognition; NER)を用いてタグの予測を行う.また， NER は文レベルでのタグ予測が一般的である [11] が, 先行研究 [9] では文章全体を入力としており, 本表 3 ラベルとその意味. 括弧内は English-FG における名称と定義を指す。

研究でもそれに従う1).

エッジ予測ではノード間における依存関係を依存関係ラベルと共に予測することでグラフの構築を行う.これは最大全域木問題として以下のように定式化される。

$
\hat{G}=\underset{G \in \mathscr{G}}{\operatorname{argmax}} \sum_{(u, v, l)} s(u, v, l)
$

ここで, $s(u, v, l)$ は点 $u$ から点 $v$ へ辺がラベル $l$ を持つ場合のスコアを表す.この問題は Chu-liu edmonds アルゴリズムを用いて解くことが出来, スコアは依存構造解析器 [12]を用いて計算する.

## 2.2 調理以外の分野への適用

既存の English-FG [9]を基に,レシピにおける食材を手順書の成果物における構成要素として捉えることで, 他分野への適用を行う.ここでの構成要素とは, 例えば調理ではトマトや牛肉等, クラフトでは段ボールや糊等が対応し, レシピフローグラフにおける定義と同様に道具とは区別して扱う. 本研究で用いるタグと依存関係ラベルの定義を表 2.1 と表 3 にそれぞれ示す.これらは English-FG の定義を一部

表 4 コーパスの統計量.

修正したものであり, タグやラベルの追加や削除は行っていない. また, 構成要素を食材に置き換えることで, 既存の調理分野に適用することも可能である. また, フローグラフの予測に関しては, 先行研究 [10] と同様に, ノード予測とエッジ予測の 2 段階に分けて行う.

## 3 wikiHow-FG コーパス

wikiHow-FG コーパスは wikiHow2) から収集した記事に対し, フローグラフのアノテーションを行うことで構築した. wikiHow 11 万を超えるマニュアルを公開しているウェブサイトであり,手順に関する言語資源として近年注目を集めている $[13,1,14,15]$.以下では, データ収集方法, アノテーション手順, コーパスの統計量について順に説明を行う.

## 3.1 データ収集

本研究では, 表 1 に示す wikiHow の 2 カテゴリを対象分野として選択した. ここで, Hobbies and Crafts は材料の組み立てタスクを主に対象としており,食材の組み立てを行う調理分野とは比較的近いといえる. 一方で, Home and Garden では修理や掃除等, 組み立てではないタスクを主に対象とするため，より調理から離れた分野であるといえる. 記事の収集は,これらの各分野に含まれる 30 記事を, 既存の wikiHow Corpus [1] から収集する形で行った. また, 低品質な記事を省くため, 全体で 25 単語以下のもの, ユー ザー評価が 50\%以下のものは収集の対象外とした. また, 抽象的な目的を目指す記事や, 曖昧な表現の多い記事を手動で除去した. 以降では, 収集した記事に含まれる見出し (headline) を手順として使用する.

## 3.2 アノテーション

先行研究で提案されたアノテーションッー ル [16]を用いて,アノテーションを行った3). また, English-FG コーパスから収集した 10 記事を用いて，事前にアノテータのトレーニングを行った. コーパスの統計量を表 4 に示す. 表から, 収集した記事は 1

2) https://www.wikihow.com

3）事前に stanza [17] を用いて手順に含まれる文の単語分割を行った.記事辺り平均 7.53 手順 (76.1 単語) で構成されていることがわかる. また, 1 記事あたりの平均アノテー ション数が, 32.6 タグと 32.7 ラベルであることも見て取れる。

## 4 実験

構築した wikiHow-FG コーパスと既存の EnglishFG コーパスを用いて,ノード予測とエッジ予測の実験をそれぞれ行った. 本研究では, English-FG のみで学習を行い, 対象分野で予測を行う zero-shot の設定と, 対象分野の少量の wikiHow-FG データで学習を行い, 予測を行う zero-shot の設定を想定し，それぞれにおける予測性能を調査した.フローグラフはアノテーションコストが高いため,これらは現実的な実験設定であるといえる.

## 4.1 ノード予測

## 4.1.1 実験設定

NER モデルとして BiLSTM-CRF [11]を用いた. また, 元のモデルにおける BiLSTM エンコーダを事前学習済みの DeBERTa [18] に差し替えて用いた4). また学習時には DeBERTa のパラメータも調節の対象とした.

最適化には AdamW [20]を,初期学習率を $1.0 \times 10^{-5}$, weight decay の係数を $1.0 \times 10^{-5}$ として用いた. また, 各イテレーションにおいて, Cosine Annealing [20] ( $S_{\mathrm{d}}$ 回)と Linear Warmup ( $S_{\mathrm{w}}$ 回) を組み合わせて学習率の調節を行った. ミニバッチサイズは $B$記事から構築し, English-FG 上での学習の際には $\left(B, S_{\mathrm{w}}, S_{\mathrm{d}}\right)=(5,500,4500)$ に, wikiHow 上での学習の際には $\left(B, S_{\mathrm{w}}, S_{\mathrm{d}}\right)=(3,100,900)$ に, 設定した.これらのハイパーパラメータの調節は開発セット上で行った.

wikiHow-FG 上の学習には, 全体 30 記事を 6 分割し, 1 分割を学習セット, 1 分割を開発セット,残り 4 分割をテストセットとすることで, 6-分割交差検証を行った. English-FG 上の学習には全体 300 記事

4）先行研究 [9] では BERT [19] が用いられている. English-FG コーパスにおける予備実験では, DeBERTaを用いることで $0.47 \%$ の精度向上が実現出来ることを確認した.

のうち, $80 \%$ を学習セット, $10 \%$ 開発セット, 残り $10 \%$ をテトセットとすることで 10-分割交差検証を行った. English-FG 上で学習したモデルの評価の際には, wikiHow-FG の各分割におけるテストセットに対し，それぞれ 1 モデルを割り当てて予測を行った. 実験結果では, 対象分野の wikiHow-FG コーパスの各テストセットにおけるスコアの平均を報告する. 評価指標としては, 精度, 再現率, $\mathrm{F}$ 值を用いた。

## 4.1.2 実験結果

表 5 に結果を示す. 両分野において, zero-shot, few-shot の設定ともに 66\%以上の精度, 再現率, $\mathrm{F}$ 値が実現出来ていることがわかる. 特に few-shot 設定における結果は, 対象分野における数記事のアノテーションを用意することで, 比較的高精度なノー ド予測モデルが実現可能であることを示唆している.また, Home and Garden においては, zero-shot 設定のモデルが few-shot 設定のモデルを, 全指標において 6.8\%以上も上回る結果となった. これに関しては,調理分野と Home and Garden が, Hobbies and Crafts よりも近い分野であり, 表現やタグの予測が Hobbies and Crafts 以上に容易だったのではないかと思われる.

## 4.2 エッジ予測

## 4.2.1 実験設定

依存構造解析器として Biaffine Attention Parser [12] を使用した ${ }^{5)}$ 。単語の分散表現は, 事前学習済み DeBERTaを用いて計算した. ノード予測の時と同様に, DeBERTa のパラメータも調節の対象とした.

最適化は AdamW [20]を用い, 各イテレーション毎に Cosline Annealing と Linear Wamup を用いた学習率の調節を行った. ハイパーパラメータに関しては,

5）先行研究 [9] では, 線形モデル [10] による解析器を使用している. English-FG コーパスを用いた予備実験では, 本モデルを用いることで $2.7 \%$ の精度向上が実現できることを確認した.表 6 エッジ予測の実験結果. チェックマークは使用した学習データを指す。

 &  & 精度 & 再現率 & F 值 \\

and Crafts & $\checkmark$ & & $\mathbf{0 . 6 1 3}$ & $\mathbf{0 . 6 0 5}$ & $\mathbf{0 . 6 0 9}$ \\

Garden & $\checkmark$ & & $\mathbf{0 . 6 4 4}$ & $\mathbf{0 . 6 4 9}$ & $\mathbf{0 . 6 4 6}$ \\

4.1.1 節と同様の值を用いた. 学習は English-FG コー パス, wikiHow-FG コーパス共に 4.1.1 節と同様の分割を用い,それぞれ交差検証を行った. 評価指標には, 予測結果と正解データ間におけるラベル付き辺の精度, 再現率, $\mathrm{F}$ 値を用いた。

## 4.2.2 実験結果

表 6 に結果を示す.ノード予測の実験結果 (4.1.2 節) と異なり, zero-shot 設定のモデルの性能が著しく低い結果となっていることがわかる.また， few-shot 設定のモデル間とのスコアの差も大きく, F 値に関して 32.6\%以上の開きがある.これは, エッジ予測モデルの学習には,ノード予測モデル以上に多くの例が必要であることを意味しており, 結果として学習データがより豊富な zero-shot 設定の方が高いスコアが得られたのではないかと考えられる。

## 5 おわりに

本稿では, 既存のレシピフローグラフを利用し,他分野の手順書のフローグラフ予測を試みた。また,そのために wikiHow の 2 分野を対象に収集した記事を基に, 新たに wikiHow-FG コーパスを構築した. 実験では, 既存の調理分野のデータとして English-FGコーパスのみで学習を行う zero-shot 設定と wikiHow-FG コーパスの対象分野のデータのみを用いた few-shot 設定とで, 個別にモデルを学習し, 評価を行った. 結果からは,ノード予測においては両設定ともに 66\%以上のスコアが得られる一方で, エッジ予測においては, zero-shot 設定のモデルの方が高い予測性能を実現出来ることがわかった.

今後の展望としては, 本稿で調査した以外の分野でも調査を行う他, 調理分野から対象分野への分野適応を行うことで性能向上を狙うことが挙げられる. また, 対象分野のデータ拡張を行うことで性能を向上させることも考えられる.

## 参考文献

[1] Li Zhang, Qing Lyu, and Chris Callison-Burch. Reasoning about goals, steps, and temporal ordering with WikiHow. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 46304639. Association for Computational Linguistics, 2020.

[2] Mario Bollini, Stefanie Tellex, Tyler Thompson, Nicholas Roy, and Daniela Rus. Interpreting and executing recipes with a cooking robot. In Experimental Robotics, pp. 481-495. Springer, 2013.

[3] Yoshio Momouchi. Control structures for actions in procedural texts and PT-chart. In COLING 1980 Volume 1: The 8th International Conference on Computational Linguistics, 1980.

[4] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 23702377, 2014.

[5] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu Machiraju. An annotated corpus for machine reading of instructions in wet lab protocols. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 97-106. Association for Computational Linguistics, 2018.

[6] Fusataka Kuniyoshi, Kohei Makino, Jun Ozawa, and Makoto Miwa. Annotating and extracting synthesis process of all-solid-state batteries from scientific literature. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1941-1950. European Language Resources Association, 2020.

[7] Liang-Ming Pan, Jingjing Chen, Jianlong Wu, Shaoteng Liu, Chong-Wah Ngo, Min-Yen Kan, Yugang Jiang, and Tat-Seng Chua. Multi-Modal Cooking Workflow Construction for Food Recipes, p. 1132-1141. Association for Computing Machinery, 2020.

[8] Dim P. Papadopoulos, Enrique Mora, Nadiia Chepurko, Kuan Wei Huang, Ferda Ofli, and Antonio Torralba. Learning program representations for food images and cooking recipes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 16559-16569, 2022.

[9] Yoko Yamakata, Shinsuke Mori, and John A Carroll. English recipe flow graph corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5187-5194, 2020.

[10] Hirokuni Maeta, Tetsuro Sasada, and Shinsuke Mori. A framework for procedural text understanding. In Proceedings of the 14th International Conference on Parsing Technologies, pp. 50-60, 2015.

[11] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pp. 260-270. Association for Computational Linguistics, 2016.

[12] Timothy Dozat and Christopher D. Manning. Simpler but more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 484-490. Association for Computational Linguistics, 2018.

[13] Yilun Zhou, Julie Shah, and Steven Schockaert. Learning household task knowledge from WikiHow descriptions. In Proceedings of the 5th Workshop on Semantic Deep Learning (SemDeep-5), pp. 50-56. Association for Computational Linguistics, 2019.

[14] Li Zhang, Qing Lyu, and Chris Callison-Burch. Intent detection with WikiHow. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 328-333, 2020.

[15] Shuyan Zhou, Li Zhang, Yue Yang, Qing Lyu, Pengcheng Yin, Chris Callison-Burch, and Graham Neubig. Show me more details: Discovering hierarchies of procedures from semi-structured web data. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2998-3012. Association for Computational Linguistics, 2022.

[16] Keisuke Shirai, Atsushi Hashimoto, Taichi Nishimura, Hirotaka Kameko, Shuhei Kurita, Yoshitaka Ushiku, and Shinsuke Mori. Visual recipe flow: A dataset for learning visual state changes of objects with recipe flows. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 3570-3577. International Committee on Computational Linguistics, 2022.

[17] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108. Association for Computational Linguistics, 2020.

[18] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: decoding-enhanced bert with disentangled attention. In 9th International Conference on Learning Representations, 2021.

[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of the 7th International Conference on Learning Representations, 2019.


# 知的対話アシスタントにおける意図が曖昧な発話の検出

赤崎 智 堸々野 学
ヤフー株式会社
sakasaki@yahoo-corp.jp
msassano@yahoo-corp.jp

## 概要

対話によってユーザとの雑談とタスクの両方をこなす知的対話アシスタントにおいては「お腹が空いた」,「腰痛がひどい」のような雑談ともタスクとも取れる意図が曖昧なユーザ発話が存在する。そのような発話の意図を決定的に推定すると，結果として要求に沿わない応答をすることがありユーザ体験が損なわれてしまう。そのため，予めユーザの発話の曖昧性を判定し，必要であれば後の応答で対応することが望ましい，本稿では，実際の知的対話アシスタントのログデータにクラウドソーシングによるラベル付けを行い，意図が曖昧な発話にどのような傾向があるかを分析する. 得られたラベル付きデータを用いて BERT による教師あり学習モデルを構築し，意図が曖昧な発話を検出することを試みる。

## 1 はじめに

スマートフォンや AI 搭載型デバイスなどの台頭により, Apple の Siri や Amazon の Alexa, Google の Google Home など，ユーザと対話をすることにより情報検索や端末操作などを行ったり，時には人間同士がするように雑談を行う知的対話アシスタントが普及して久しい [1].

知的対話アシスタントはユーザの要求に対応するために，与えられたユーザの発話の意図を適切に認識し，それに対応した後段のモジュールを呼び出し要求を満たす応答を行う. 近年ではパターンマッチや機械学習モデルにより発話の意図を判定することが主流であるが $[2,3,4,5]$, ユーザの発話には意図が曖昧なものが存在する。例えば，「お腹が空いた」 という発話は単なる雑談のきっかけとも飲食店の情報を求めているとも取れるし，「東京駅」という発話は路線検索とも地図検索とも取れる。このような意図が曖昧な発話はタスク型，非タスク型の発話が混在し発話長も短い知的対話アシスタントにおいて顕著に現れ，それらの意図を決定的に推定してしま
うと，結果的にユーザの要求にそぐわない不適切な応答を返してしまう可能性が高い。

このような意図が曖昧なユーザ発話に対処するために，聞き返しや意図を明確化する応答の生成 $[6,7,8]$ を行う取り組みもあるが，実際の状況ではまずどの発話に対してそのような応答を行うかを判定する必要がある。また，これらの取り組みは基本的にタスク指向型対話システムを対象としており，知的対話アシスタントについてはどんな発話が曖昧な意図になるか明らかとなっていない。

これらを踏まえ，本稿では知的対話アシスタントにおける意図が曖昧なユーザ発話を判定する問題を設定する．我々は実際の知的対話アシスタントである Yahoo!音声アシストの対話ログからユーザ発話とシステム応答からなるぺアを収集し，クラウドソー シングを利用してラベル付けを行う，得られたデー タセットから，どのような発話が曖昧な意図になるのか傾向を確認したのち，教師あり学習によってそれらを検出するモデルを構築する。

## 2 関連研究

タスク指向型対話システムにおけるユーザ発話のドメイン・意図判定は古くから数多く取り組まれている $[2,3,4]$. いくつかの取り組みでは，発話についてのシステムのドメイン・意図判定の確信度に閾值を設けることにより意図が曖昧な発話を判定しているが $[9,10,11,12]$ ，マルチドメインなシステムでは個別に閾値を設定することが難しい上，ドメインが増える度に対応する必要が生じる。

意図が曖昧な発話に焦点を当て，教師あり学習により発話の曖昧性判定を行う取り組みもある $[13,14,15]$. しかしながら，いずれの取り組みも対象をタスク指向型または非タスク指向型対話システムのどちらかに限定しており，曖昧性判定もそれに特化した問題設定や判定手法となっているため,知的対話アシスタントに対して同様の手法を適用することは難しい。

Akasaki [5] は知的対話アシスタントのユーザ発話を対象に，それが非タスク指向型（雑談）かタスク指向型の応答を求めているかを判定するためのデー タセットを構築し, 教師あり学習による二値分類で判定を行った. しかしながら，意図が曖昧な発話についても決定的にラベルを割り当てているため，それらの発話に対応できないという問題がある.

意図が曖昧なユーザ発話について，その意図を明確化するための質問を生成するという取り組みも行われている $[6,7,16,8,12]$. 生成した質問をシステ么応答として出力することで意図の曖昧性判定ができるが，ほとんどの研究はあくまで生成の部分に焦点を当てており，いつどのユーザ発話に対し生成を行うかという部分については無視している.

本稿では，タスク指向型と非タスク指向型対話システムの複合である知的対話アシスタントのユーザ発話の意図の曖昧性を分類により判定する。

## 3 意図が曖昧な発話の検出

本節では本稿で扱う知的対話アシスタントと，そこから意図が曖昧なユーザ発話を判定する課題について説明する。

## 3.1 知的対話アシスタント

知的対話アシスタントの例として，Apple の Siri や Amazon の Alexa, Yahoo! JAPAN の Yahoo! 音声アシストなどが挙げられる。いずれのシステムもユー ザの要求を遂行するために音声またはテキストを用いユーザと対話を行う．近年ではスマートフォンやスマートスピーカーの普及, 音声認識技術の向上により，従来よりも日常的に使用されるようになっている。知的対話アシスタントはシステム毎に軽度な違いはあるが，ほとんどはウェブを介した情報検索 (例: 天気予報, 交通情報, ウェブ検索), 端末操作（例: 電話，時計，音楽再生）などのいわゆるマルチドメインのタスク指向型対話システムが有する機能に加え，人間同士がするようなあいさつや世間話といった雑談，すなわちオープンドメインな非タスク指向型対話システムの能力も併世持つ. そのため，どちらか一方の機能を持つ対話システムよりも，幅広い要求に対応する必要がある. 本稿では Yahoo! 音声アシスト1)を知的対話アシスタントとして用い，それらの実際のユーザとシステムとの対話のログを収集しデータセットを構築する。

表 1 ラベル別集計

表 2 「曖昧」ラベルへの得票数別集計

## 3.2 問題設定

本稿では知的対話アシスタントにおける意図が曖昧な発話を検出することを目的としているため，既存のドメイン・意図判定の取り組みを参考に問題を設定した。

既存の取り組み $[2,3,4]$ では，タスク指向型対話システムにおいてユーザの発話がどのドメインに属するか，またドメイン内のどの意図であるかを分類するのが一般的であるが，知的対話アシスタントは前述した通り，マルチドメインのタスク指向型とオープンドメインな非タスク指向型の対話システムの複合であるという性質であるため，その両方の範囲の発話を扱う必要がある。また，一般の対話システムでは細かいドメイン意図を分類することが多いが，ドメインは固定ではなく拡充されていくことを考慮すると，ドメイン毎に学習データを整理し都度モデルを更新していくこともコストがかかる.

Akasaki [5] はこれらを踏まえ，知的対話アシスタントにおいてまずユーザの発話がタスク指向型の意図の「タスク」であるか，または非タスク指向型の意図の「雑談」であるかを判定する問題を設定した.これにより，ドメインなどの仕様変更の影響を少なくでき，かつ必要であれば後に判定毎の細かい意図分類などを行うことが可能となっている．本稿でもこの設定に則り，発話の意図が曖昧という「曖昧」のラベルを加えた三值分類として問題を設計する。これにより，システムはユーザの発話が「曖昧」だと検出したとき，それに応じた聞き返しや意図の明確化を行う応答ができる。

## 4 データセット

本節では意図が曖昧な発話の検出に用いるデー タセットの構築手順について説明し，得られた会話データについて分析を行う.

 \\

表 3 構築したデータセットの対話例

## 4.1 構築手順

Yahoo! 音声アシストで 2014 年から 2022 年にかけてユーザとシステムが実際に行った対話から，10回以上出現したユーザ発話 $u_{0}$ についてその前のシステム応答 $r_{-1}$ およびユーザ発話 $u_{-1}$ からなる会話 $<u_{0}, r_{-1}, u_{-1}>$ をランダムに 20,000 件収集する.この時，同一の発話は最大 5 件までに数を制限する.

次に得られた会話を，Yahoo! クラウドソーシング2)のワーカに提示し「表示された会話の発話 $u_{0}$ に対しその意図を前述の 3 つのラベルから選択する」 というタスクを依頼した.この時，一つの会話につき 10 人のワーカを割り当てた。

我々はここから，各会話に対し過半数である 6 以上の票を得たラベルを割り振った．また，いずれのラベルも得票が 5 以下のもの，すなわち票が割れている例を多数確認した. このような発話も意図が曖昧な所為で票が割れていると考えられるため，「曖昧」ラベルを割り振った．最終的な集計結果を表 1 に示している。また，表 2 に各会話の「曖昧」ラべルへの得票数の内訳を示している。これより, 実際のユーザ発話には人間から見て意図が曖昧だと感じる例が多数存在することがわかる.

## 4.2 意図が曖昧な発話の分析

「曖昧」ラベルが割り当てられた会話からランダ厶に 1000 件抽出し，それらがなぜ曖昧であるか第一著者が分類を行った結果を表 3 に示す.

表 3 より，まず音声認識誤りと名詞の割合が高いことがわかる．音声認識誤りについては，かな漢字変換の誤りや語の脱落などが含まれており，結果的に意図が取れず曖昧となっている例が多かった. 名

詞や要望・命令，質問は多くは一般的には情報検索や端末操作の意図で用いられるが，例のように必ずしもそれらの意図と取れないものがあった. 情報開示は雑談の文脈でよく使われるが，例のように暗黙的にタスクの要求をしているとも取れるものがあった.これらから, 知的対話アシスタント特有の発話意図の曖昧性判定が必要であることがわかる.

## 5 実験

本節では構築したデータセットを用いて教師あり分類器を構築し, 三值分類を行うことで意図が曖昧な発話の検出を試みる。

## 5.1 比較手法

以下の手法を用いて発話意図の分類を行い，性能を比較する。

AllAmbig: 全てのユーザ発話に対し「曖昧」ラベルを出力する手法.

Threshold: 多くのタスク指向型対話システムで用いられている，意図判定の閾値により曖昧なユー ザ発話の判定を行う手法. 我々は Akasaki [5] が構築した知的対話アシスタントの発話が雑談かタスク意図かを分類する意図判定データセット3を用い，BERT [17] モデルを fine-tuning し評価データを分類する. この時，モデルの予測に対する softmax のスコアが最大のラベルについて，そのスコア $s$ が $0.5 \leqq s \leqq 0.8$ の時に「曖昧」ラベルを出力する.

BERT: 4 節で構築したデータセットを用いて BERT モデルを fine-tuning し，評価データの三值分類を行う手法. 会話データの各発話，応答は $[\mathrm{SEP}]$ タグで繋いだ上でエンコーダに入力する.

3）このデータセットではユーザの 1 発話のみが入力として与えられているため，モデルも $u_{0}$ のみを入力として用いる

BERT+文埋め込み: Akasaki [5] の研究を参考に，ツイートおよびウェブ検索ログで事前学習した言語モデルを用いてユーザ発話 $u_{0}$ の文埋め込みを獲得し， BERT の fine-tuning の際に分類層に追加の特徴量として与える.

## 5.2 設定

各手法で fine-tuning を行う BERT モデルについては bert-baseを 2021 年 2 月の日本語 Wikipedia 約 1800 万文で事前学習したものを用いた． BERT モデルは Tensorflow2 で実装し，最大文長は 64 ，バッチ数は 16 に設定した. トークナイズは sentencepiece ${ }^{4}$ を用い，最適化に Adamを用いた. 学習と評価は，デー タセット 20,000 件を用いて五分割交差検証で行った. 各手法で 3 エポック学習し, 開発データで最も $\mathrm{f}$ 值が高かったモデルを評価データに適用した。

BERT+文埋め迄みで用いる文埋め込み用の BERT については, 2021 年 7 月から 2022 年 7 月の期間のウェブ検索の頻度上位クエリ 5000 万件と, 同様の期間のランダムにサンプルしたツイート 5000 万件を sentencepiece でトークナイズしたものをそれぞれ用い，bert-base を 40 エポック事前学習した. 構築した各 BERT を文埋め込みの出力で用いるため，対照学習により文埋め込みを獲得する手法である教師なしSimCSE [18] を各データで標準のパラメータで 1 エポック学習した.これらのモデルを用いて, 各ユーザ発話 $u_{0}$ をエンコードし，分類用 BERT モデルのエンコード結果と連結し分類層に与えた.

## 5.3 結果

表 4 に評価データに対し三値分類を行った結果を示す. 表 4 より，3 節で構築したデータセットで学習を行った BERT および BERT+文埋め迄みが最も高い性能となっており，ラベル付きデータの有効性が示されている.

表 5 は各ラベルの $\mathrm{F}$ 值を示している.「曖昧」ラベルにおいて，BERT および BERT+文埋め迄みは発話に対し全て「曖昧」ラベルと予測する AllAmbig の性能を上回っているため, 意図が曖昧な発話の傾向を学習できているといえる.「雑談」と「タスク」 ラベルの予測の閾值で曖昧性を判定する Threshold は「曖昧」ラベルに対する性能が極めて低かった。 これについては Recall 等を確認したところ，ほとんど「曖昧」ラベルを出力できておらず，モデルのス

表 4 三値分類の各手法の分類結果

表 5 三值分類の各手法のラベル別 $\mathrm{F}$ 值

コアの閾値などで曖昧性判定を行うことの難しさを示している。また, BERTと BERT+文埋め込みの間では有意な性能差は確認できなかった.

BERT の出力を確認してみたところ，表 3でのラベル「名詞」にあたるユーザ発話の判定誤りが多かった. これらの例は多くの場合名詞（句）一つのみの発話であり長さが短く, 豊富な言語資源を生かしたモデルでも扱うのが難しい。また，名詞だからといってそれら全ての意図が曖昧というわけでもなく, 例えば「熱海駅」は路線検索や地図検索を求める曖昧なタスク要求である可能性が高いが，一方で 「カローラクロス」は該当するタスク要求が情報検索くらいしか存在せず，曖昧でない可能性が高い。 これらを区別するためには，発話に対する対話システムの各モジュールの確信度などの情報も特徴として加える必要がある.

## 6 まとめ

本稿では，知的対話アシスタントで意図が曖昧なユーザ発話が存在することを指摘し，実際の知的対話アシスタントである Yahoo! 音声アシストのログデータにクラウドソーシングを利用してラベル付けを行うことで意図が曖昧な発話にどのような傾向があるかを分析した. 実験では教師あり学習により 「曖昧」ラベルを分類先に含んだ三値分類器を構築し，ラベル付きデータでの学習が有効であることを示した.

今後の予定としては，意図が曖昧な発話を判定するのに有効な特徴量や手法を設計し適用することである。また，本稿で構築したデータセットについては公開を予定している。

## 参考文献

[1] Graeme McLean and Kofi Osei-Frimpong. Hey alexa $\cdots$ examine the variables influencing the use of artificial intelligent in-home voice assistants. Computers in Human Behavior, Vol. 99, pp. 28-37, 2019.

[2] Daniel (Zhaohan) Guo, Gokhan Tur, Scott Wen tau Yih, and Geoffrey Zweig. Joint semantic utterance classification and slot filling with recursive neural networks. In Proceedings of IEEE SLT Workshop, 2014.

[3] Puyang Xu and Ruhi Sarikaya. Contextual domain classification in spoken language understanding systems using recurrent neural network. In Proceedings of ICASSP, pp. 136-140, 2014.

[4] Joo-Kyung Kim, Gokhan Tur, Asli Celikyilmaz, Bin Cao, and Ye-Yi Wang. Intent detection using semantically enriched word embeddings. In Proceedings of IEEE SLT Workshop, 2016

[5] Satoshi Akasaki and Nobuhiro Kaji. Chat detection in an intelligent assistant: Combining task-oriented and nontask-oriented spoken dialogue systems. In Proceedings of ACL, 2017.

[6] Johannes Kiesel, Arefeh Bahrami, Benno Stein, Avishek Anand, and Matthias Hagen. Toward voice query clarification. In Proceedings of SIGIR, pp. 1257-1260, 2018.

[7] Mohammad Aliannejadi, Hamed Zamani, Fabio Crestani, and W Bruce Croft. Asking clarifying questions in opendomain information-seeking conversations. In Proceedings of SIGIR, pp. 475-484, 2019.

[8] Hamed Zamani, Susan Dumais, Nick Craswell, Paul Bennett, and Gord Lueck. Generating clarifying questions for information retrieval. In Proceedings of WWW, pp. 418-428, 2020.

[9] Kazunori Komatani and Tatsuya Kawahara. Flexible mixed-initiative dialogue management using concept-level confidence measures of speech recognizer output. In Proceedings of COLING, pp. 467-473, 2000.

[10] Ingrid Zukerman, Su Nam Kim, Thomas Kleinbauer, and Masud Moshtaghi. Employing distance-based semantics to interpret spoken referring expressions. Computer Speech and Language, Vol. 34, pp. 154-185, 2015.

[11] Svetlana Stoyanchev and Michael Johnston. Localized error detection for targeted clarification in a virtual assistant. In Proceedings of ICASSP, pp. 5241-5245, 2015.

[12] Kaustubh D Dhole. Resolving intent ambiguities by retrieving discriminative clarifying questions. arXiv preprint arXiv:2008.07559, 2020.

[13] 大原康平, 佐藤翔悦, 吉永直樹, 豊田正史. 対話によって曖昧性解消を行う質問応答. 第 9 回データ工学と情報マネジメントに関するフォーラム, 2017.

[14] Joo-Kyung Kim, Guoyin Wang, Sungjin Lee, and YoungBum Kim. Deciding whether to ask clarifying questions in large-scale spoken language understanding. In Proceedings of ASRU, pp. 869-876. IEEE, 2021.

[15] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Reflective action selection based on positive-unlabeled learning and causality detection model. Computer Speech and Language, 2023.
[16] 中野佑哉, 河野誠也, 吉野幸一郎, 中村哲ほか. 対話によって曖昧性解消を行う質問応答. 第 244 回自然言語処理研究会, 2020 .

[17] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.

[18] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of EMNLP, 2021.