# 直近 1 年の動向を考慮した最新論文のインパクト予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

発表される論文の増加に伴い，新たに発表された論文の将来的なインパクトを自動で予測する技術の重要性は増している. 本研究では，論文のインパク卜予測を発表から 1 年後の被引用数予測として定式化し，学習データとしてそのまま用いることができない，発表から 1 年未満の論文から得られる情報を活用する手法を提案する。また， arXiv から収集した約 17,000 の論文を用いた実験を通して，直近 1 年以内の論文を活用することの有効性を示す.

## 1 はじめに

近年，自然言語処理を含む人工知能分野の論文数は大きく増加しており，興味があるトピックに絞ったとしても全ての論文に目を通すことは困難になっている。このため，同時期に発表された論文の中から，将来的なインパクトが大きくなる重要性の高い論文を選択的に自動提示する技術が求められている. 本研究では，このようなインパクトの指標として発表から 1 年後の被引用数を採用し, 新たに発表された論文の 1 年後の被引用数予測に取り組む.

発表から 1 年後の被引用数予測において，学習データとしてそのまま使用できるのは 1 年後の被引用数が既知の論文，すなわち，発表から 1 年以上経過した論文のみである. しかし，人工知能分野の技術革新の速度は増しており，直近 1 年以内に発表された論文から得られる情報を用い，最新の動向を捉えることが重要であると考えられる。そこで本研究では， 1 年後の被引用数予測において，直近 1 年以内に発表された論文を活用する 2 つ手法を提案する. 1 つ目の被引用数補完では，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，発表から 1 年未満の論文を学習データとして利用する. 2 つ目の早期導入度の利用では, 被引用数予測対象の論文が，直近 1 年以内に発表された被引用数
の高い論文を引用しているかどうかの情報 (早期導入度) を利用する.これは発表後，短期間で多く引用されている論文は重要な研究成果を報告している可能性が高く，そのような重要な研究成果をいち早く取り込んでいる研究も，新規性が高く技術的貢献が大きい可能性が高いという直観に基づいている.

被引用数予測に取り組んだ研究はすでに多く存在する. 初期の研究として Fu ら [1] は，被引用数予測を分類と回帰で定式化し，論文のアブストラクトやジャーナルのインパクトファクターなどの被引用数予測において有効な特徴量を調査した. Li ら [2] は，論文に対応した複数の査読テキストを被引用数予測に活用した. Dongen ら [3] は，より大規模なデータセットを使いつつ，BERTを用いて効率的に論文の本文をエンコードし，被引用数予測を行った.しかし，これらの研究では，予測対象の論文が発表された時点では利用できない情報，具体的にはその論文と近い時期に発表された論文の将来的な被引用数を利用しており，発表されてから間もない論文の将来的な被引用数予測には適用できない設定が採用されている。これに対し，本研究では被引用数予測の対象論文が発表された時点の情報だけを利用するという設定を採用し，そのような設定における直近 1 年以内の論文の活用方法を提案する.

## 2 最新論文を活用した被引用数予測

## 2.1 問題設定

本研究では，論文の著者情報とタイトル，アブストラクトから，その論文の発表から 1 年後の被引用スコアを予測するタスクに取り組む。被引用スコアは, Wenniger ら [4] に倣い, 被引用数の対数, すなわち論文の発表から 1 年後の被引用数 $c$ に対し, $\log (c+1)$ と定義する.

学習に使用できる情報は，被引用数予測の対象論文が発表された時点で入手可能な情報に限定する. すなわち，本研究で予測対象とする 1 年後の被引用
表 $1 \mathrm{n}$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文を引用している論文の発表 1 年後の被引用数の平均.「引用なし」は， $\mathrm{n}$ ヶ以以に発表された論文を引用していない論文，括弧内の数字は各グループに属する論文の割合を示す.

数情報が利用できるのは，それより 1 年以上前に発表された論文のみであり，直近 1 年に発表された論文についてはその時点の被引用数のみを利用する。

## 2.2 ベースライン手法

Transformer [5] ベースの事前学習済みモデルである BERT [6] を fine-tuning することで，被引用数予測を行う，入力に用いる情報は，著者情報，タイトル，アブストラクトとし，1文目として著者情報とタイトルを繋げたもの，2 文目としてアブストラクトを入力する．ただし，著者情報には著者名ではなく, 以下の手順で生成する特殊トークンを用いる. まず，論文の各著者がその論文発表時から見て 1 年以上前かつ 5 年以内に発表した論文の発表 1 年後の被引用数を収集する，続いて，各著者ごとに平均被引用数を算出し, さらにその值を全著者で平均した値をその論文の著者スコアとする。このような著者スコアを学習用論文すべてに対し算出し，スコ

上位 10\%のグループであれば [著者 $0 \sim 10 \%] ， 50 \% \sim$ 60\%のグループであれば［著者 50 60\%］といった特殊トークンを生成する。

BERT の出力として, 特殊トークンである [CLS] に対応するべクトルを利用し，CLS ベクトルを線形変換することで，被引用スコアの予測值を得る. 学習中には CLS ベクトルにドロップアウト [7]を適用し, 予測値と被引用スコアの平均二乗誤差 (MSE) が最小になるように学習を行う.

## 2.3 被引用数補完

予測対象である 1 年後の被引用数情報が利用できるのは，発表から 1 年以上経過した論文のみであるが，最新の動向を反映したモデルを構築するためには，発表から 1 年未満の論文も考慮することが重要であると考えられる. そこで，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，被引用数の補完を行い, 発表から 1 年未満の論文を学習データとして利用する．被引用数の補完には次の事例ベースの手法と比率べースの手法を併用する.

事例ベース学習用論文において，発表から $n$ ヶ月後に被引用数が $c$ の論文の 1 年後の被引用数を全て抽出し，その中央值を利用

比率ベース発表から $n$ ケ月後の被引用数の平均と発表から 1 年後の被引用数の平均の比を計算し, 被引用数 $c$ に掛けた值を利用

事例ベースの補完は，同じ被引用数をもつ論文が多数存在しうる “被引用が少ない論文” に対しては正確な補完が期待できる一方で，同じ被引用数をもつ論文がない，または，少ないと考えられる“被引用が多い論文”には適していないと考えられる。 そのため本研究では，発表から $n$ ヶ月後の被引用数の中で，被引用数 $c$ が上位 $10 \%$ に属する場合は比率べー スの手法で補完を行い，下位 90\%に属する場合は事例ベースの手法で補完を行う1).

## 2.4 早期導入度

発表から短い期間に多く引用されている論文は重要な研究成果を報告している可能性が高く，そのような重要な研究成果をいち早く取り达んでいる研究も，新規性が高く技術的貢献が大きい可能性が高いと考えられる。この仮説を検証するため，“ $n$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文”を引用している論文の，発表から 1 年後の被引用数の平均を調査した。

調査には，3.1 節で述べる学習用の論文集合の 1 つである 2015 年 6 月から 2020 年 5 月に $\operatorname{arXiv}^{2)}$ 上で発表された 15,962 論文を用い，上位 $k \%$ の計算には，発表から $m$ ヶ月後の論文の場合，論文集合から発表から $m$ ヶ月後時点の被引用数の分布を作成し，その分布内での順位を用いた。また， $n$ ヶ月以内に発表された論文を複数引用している場合，その中でもっとも被引用数の順位が高い論文の順位を利用した.

調査結果を表 1 に示す. 全体的な傾向として，よ
$ を参照.

2) https://arxiv.org/
}

り被引用数が高い論文を，より早期に引用しているほど，平均的な被引用数が高いことが確認できる。 たとえば，発表から３ ヶ月以内に，被引用数が上位 $1 \%$ 以内の論文を引用している論文の平均被引用数は 15.5 であり，これは全論文の平均被引用数 6.5 の約 2.4 倍であった.

以上の調査結果を踏まえ，本研究では，論文が早期に被引用数が高い論文を引用しているという情報 (早期導入度)を被引用数予測に利用する。 入力方法としては，著者情報と同様に，早期導入度を特殊トークン化して 1 文目の先頭に挿入する. 本研究では, 「上位 $0 \sim 1 \% 」$, 「上位 $1 \sim 2.5 \% 」$, 「上位 2.5 5\%」,「上位 5 10\%」,「上位 10 25\%」,「上位 25 100\%」，「引用なし」をそれぞれ表す 7 つの特殊トークンを作成し, 予測対象の論文がそれぞれ 3 , 6，9，12 ヶ月以内に引用している論文の中で最も被引用数の順位が高い論文に対応する特殊トークン 4 つを 1 文目の先頭に挿入することにより早期導入度を考慮する．たとえば，ある論文が 3 ヶ月以内に発表された論文を引用しておらず，6，9ヶ月以内に発表された被引用数が上位 5 10\%の論文を引用しており，12 ヶ月以内に発表された被引用数が上位 $0 \sim 1 \%$ の論文を引用している場合に入力する特殊トークン列は，“[引用なし][上位 5 10\%][上位 5 10\%][上位 0 1\%]”となる.

## 3 実験

## 3.1 データセット

被引用数予測において直近 1 年以内の論文を活用することの有効性を確認するため，arXiv で発表された論文を対象とした評価実験を行った． arXiv の論文を対象としたのは，大量の論文が発表される一方で，無査読であり品質が保証されていないことから，論文の質の自動推定技術の重要性が極めて高い論文集合であると考えたためである.

本研究では，2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL (計算言語学) カテゴリで発表された論文集合をそれぞれ評価セットとする 12 個のデー タセットを用いて実験を行った. 各データセットにおいて, 評価対象の論文の発表から過去 5 年間に発表された論文を学習用論文として用いた。たとえば，2019 年 7 月に発表された論文集合を評価セットとする場合，2014 年 7 月 2019 年 6 月に発表された論文が学習用論文となる. 学習用論文数の平均, 学習用論文のうち 1 年以上経過した論文数の平均，評価用論文数の平均はそれぞれ $13,457 ， 8,714 ， 490$ であった ${ }^{3)}$. 発表時期は月単位で扱い，過去のある時点における被引用数を算出するための引用情報は, Semantic Scholar ${ }^{4}$ から収集した。

## 3.2 比較手法

本研究では以下の 5 つのモデルを比較する.

全 1 年後被引用数使用過去 5 年間に発表された全論文の発表から 1 年後の被引用数を用いベースライン手法で学習したモデル

直近 1 年論文不使用発表から 1 年以内のものを除く過去 5 年間に発表された論文を用いベースライン手法で学習したモデル

+被引用数補完被引用数補完を行うことで過去 5 年間に発表された全論文を用いべースライン手法で学習したモデル

+早期導入度直近 1 年論文不使用モデルに早期導入度を追加したモデル

+補完+早期導入度被引用数補完モデルに早期導入度を追加した提案手法

このうち，全 1 年後被引用数使用モデルは，評価用論文の発表時に取得不可能な情報を用いており，最新論文の被引用数予測には利用できない.

## 3.3 評価方法

評価指標には大きく分けて2つの指標を用いる. まず，全体的な被引用数予測性能を評価するため， スピアマンの順位相関係数 $(\rho)$ を用いる. さらに，将来的にインパクトが大きくなる論文を上位にランキングできているか評価するため，実際の被引用数が上位 $\mathrm{n} \%$ となる論文が，予測值の上位 $\mathrm{k} \%$ にどのくらい含まれるかという指標 ( $\mathrm{n} \%$ @ $\mathrm{k} \%$ ) を用いる.

また， 3.1 節で述べた通り，データセットごとの評価用論文の平均論文数は 490 と小さいことから， データセットごとに評価した場合，スコアが安定しない可能性が考えられる. そこで，より大規模な論文集合で評価を行えるように，評価値の算出は全データセットの評価用論文を用いて月横断的に行う. 具体的には，各データセットで学習を行い，評価用論文の被引用数スコアの予測値を出力し, 全 12 か月分の予測値を合わせて評価値を算出する ${ }^{5)}$.

3）データセットごとの論文数は付録 B を参照

4) https://www.semanticscholar.org/

5）データセットごとの実験結果は付録 C を参照.
表 2 被引用数予測の実験結果 (評価値 $\times 100)$

## 3.4 実験設定

BERT の初期重みには, Transformers [8] で公開されている, Wikipedia などの一般ドメインのコーパスで事前学習を行なった BERT (bert-baseuncased) と，大規模な論文で構築された科学分野のコーパスで事前学習を行なった SciBERT [9] (allenai/scibert_scivocab_uncased)を用いた. 全ての手法において，エポック数は 3 , バッチサイズは 32 ,最適化関数は AdamW [10] を用い, 全体の学習ステップの $10 \%$ で warm-up し, 残りのステップで線形に減衰する学習率スケジューリングを行った. 学習率は，2019 年 6 月に発表された論文を評価用論文として作成したデータセットを用いて，Devlin ら [6] に倣い，2e-5, 3e-5, 5e-5 で探索を行い，全ての手法において最も順位相関係数が高くなった 2e-5を使用した.また，各手法でランダムシードで 3 回実験を行って評価値の平均と標準偏差を算出した.

## 3.5 実験結果

実験結果を表 2 に示す. 全体的に SciBERT の性能が BERT の性能を上回っており，科学分野のコーパスでの事前学習が，被引用数予測タスクにおいて有効であることが確認できる。また，被引用数補完，早期導入度をそれぞれ用いることで，性能が向上する傾向が確認できる. 特に, 被引用数補完と早期導入度を組み合わせた提案手法は，予測対象の論文の発表時に利用可能な情報しか用いていないにも関わらず，全 1 年後被引用数使用モデルと同等以上の性能となった. 被引用数補完は, 全 1 年後被引用数使用モデルで使用している情報を近似的に再現しているに過ぎないことから，性能向上は主に，早期導入度を考慮することで，最新の技術動向をいち早く取り込んでいる研究を評価できるようになったためであると考えられる．実際の予測性能に着目すると，被引用数補完と早期導入度の両方を用いた SciBERT ベースのモデルは，5\%@25\%で 78.3 という值であった.これは，与えられた論文集合のうち $25 \%$ を読むことで，将来の被引用数が上位 $5 \%$ となる論文の $78.3 \%$ をバーできるということであり，実用面において有用性の高い手法であるといえる.

## 4 おわりに

本論文では，与えられた論文の発表 1 年後の被引用数予測タスクにおいて，最新の動向を捉えることの重要性に着目し， 1 年後の被引用数が未知であることからそのままでは学習データとして使用できない直近 1 年以内に発表された論文の活用法を提案した. 具体的には，過去の論文の被引用数の推移から 1 年後の被引用数を推定し学習データとして利用する手法と，より被引用数が高い論文をより早期に引用している論文は平均的な被引用数が高くなるという傾向に着目した早期導入度を利用する手法の 2 つ手法を提案した。 $\operatorname{arXiv}$ から収集した約 17,000 の論文を用いて行った実験の結果，直近 1 年以内に発表された論文を活用することで，被引用数予測の性能が向上することが確認できた。特に，早期導入度を用いて，最新の技術動向をいち早く取り込んでいる研究を評価することで，論文発表時点では取得不可能な未来の被引用数を利用した手法と同等以上の性能が達成できた．今後の課題としては，自然言語処理以外の人工知能分野の論文を含めた評価や，提案手法では活用していない本文や図，表などを考慮したモデルの構築が挙げられる.

## 参考文献

[1] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical articles. In AMIA Annual Symposium Proceedings, pp. 222-226, 2008.

[2] Siqing Li, Wayne Xin Zhao, Eddy Jing Yin, and Ji-Rong Wen. A neural citation count prediction model based on peer review text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 49144924, 2019.

[3] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 148-157, 2020.

[4] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 158-167, 2020.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 41714186, 2019.

[7] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Process- ing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

## A 被引用数補完の性能

被引用数補完性能の評価結果を表 3 に示す。評価は，被引用数補完前，被引用数補完後のデータセットごとに，全論文の 1 年後の被引用数を正解データセットした場合の，被引用数のスピアマンの順位相関係数 $(\rho)$ ，および，正解データにおいて上位 $10 \%$ に含まれる論文がどのくらい上位 $10 \%$ に含まれるかの値 $(10 \% @ 10 \%)$ により行った．評価データには 3.1 節で述べた， 12 個のデータセットを用い，各評価指標の平均値と標準偏差を算出した。

表 3 被引用数補完の評価結果 (評価値 $\times 100$ )

## B 各データセットのサイズ

2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL カテゴリで発表された論文集合をそれぞれ評価セットとする 12 個のデータセットの統計値を表 4 に示す.

表 4 各データセットの論文数

## Ｃ各データセットにおける実験結果

3 節で行った実験の，各データセットごとの実験結果を示す。各評価指標のうち，表 5 にはスピアマンの順位相関係数，表 6 には $10 \%$ @10\%の結果を示す.

表 5 各データセットにおける実験結果 (スピアマンの順位相関係数 $\times 100$ )

表 6 各データセットにおける実験結果 $(10 \% @ 10 \% \times 100)$


# ガウス確率場による単語の意味変化と語義数の同時推定

井上誠一 ${ }^{1}$ 小町 守 ${ }^{1}$ 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋 大地 4
1 東京都立大学 2 国立国語研究所 3 産業技術総合研究所 4 統計数理研究所
inoue-seiichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 概要

本研究では，単語の通時的な意味変化のモデル化において，ディリクレ過程をガウス確率場の上に考えることで，単語によって異なる語義数を自動的に推定できる階層ベイズモデルを提案する1). 疑似データを用いた実験において，意味変化と語義数を正しく推定できることを示した．また，実データを用いた実験においては，複数の解析対象の単語に対して推定結果を示し，分析した。

## 1 はじめに

言語は動的なシステムであり，常に進化し，話者とその環境の需要に適応している [1]. 特に単語はさまざまな意味を持ち，その分布や広がりはジャンルや文脈によって異なっている. 例えば，“cute”という単語は 18 世紀初頭に登場し，もともと“賢い” という意味で使われていたが，19 世紀後半に“狡猾な”という意味で使われ，現代においては，“魅力的な” という意味で使用されている [2]. このような通時的な単語の意味変化を捉えることができれば，辞書学での単語の意味変化に関する記述への利用や,単語の意味表現がより正確になることにより，意味情報が重要なタスクへの活用が可能になる.近年では，単語の分散表現を用いて意味変化を検出する手法が数多く提案されているが $[3,4,5]$, これらは意味変化の検出はできるが，意味の趨勢や変化の様子を捉えることはできない. それに対し，解釈性の高い確率的生成モデルを用いて意味変化を捉える試みもある. Emms ら [6] は，単語の新たな意味の出現を捉えるための動的な生成モデルを提案しており，Frermann ら [7] は，意味の出現だけではなく変化のパターンも捉えることができるモデルを提案した. しかし，実際に単語の意味変化を調査した

い場合は解析対象の単語の語義数が自明であることは多くないにも関わらず，これらのモデルは語義数を事前に設定しなければならないという大きな問題がある.

そこで，我々はディリクレ過程をガウス確率場の上に考え Frermann らのモデルを拡張することで，語義数をデータから自動で推定し, 単語の意味変化を捉えることのできる階層ベイズモデルを提案する. (1) 疑似データを用いた検証を行った結果，提案モデルが解析対象の単語の意味変化と語義数を正しく推定できることを定量的，定性的に示した. また， (2) 実データを用いた実験では，複数の単語に対し定性的な分析を行い，妥当性を示した。

## 2 関連研究

## 2.1 A Bayesian model of diachronic meaning change [7]

Frermann らは，単語の通時的な意味の発展を捉える，動的なベイズモデル（dynamic Bayesian model of Sense ChANge; 以下，SCAN と表記）を提案した. SCAN では，対象単語 $w$ 一つに対して一つのモデルが構築され, 入力は, 対象単語 $w$ が含まれる文章の文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章が出現した年のラベルとなっている.

SCAN において, 時点 $t \in\{1 \ldots T\}$ のスニペット集合は時点ごとのユニグラム混合:
- 意味上の $K$ 次元多項分布 $\phi_{t}$ (意味分布)
- 各意味 $k$ の語彙上の $V$ 次元多項分布 $\psi_{t, k}$ (意味-単語分布)

でモデル化される．また，それぞれの事前分布にはガウス分布が仮定され，次のように変換することで $\phi$ を得る：

・多次元ガウス分布から $K$ 次元ベクトル $\boldsymbol{\alpha}$ を生成

・ロジスティック変換 $\phi_{k}=\exp \left(\alpha_{k}\right) / \sum_{k=1}^{K} \exp \left(\alpha_{k}\right)$ によって $K-1$ 次元単体に射影.
$\psi$ についても同様である. そして，意味分布と意味-単語分布のパラメータ $\phi, \psi$ が，時間変化と共に変化をするように，事前分布に 1 階の内生的ガウス確率場 (iGMRF) [8] を定義する。iGMRF は，“近傍と似た値をとる” 事前分布であり ${ }^{2}$ ，実数ベクトル $\mathbf{x}=\left(x_{1}, x_{2}, \cdots, x_{T}\right)$ について，ガウス分布 $\mathcal{N}\left(\mu, \sigma^{2}\right)$ を用いて，次のように定義される：

$
x_{t} \mid \boldsymbol{x}_{-t}, \kappa \sim \mathcal{N}\left(\frac{1}{2}\left(x_{t-1}+x_{t+1}\right), \frac{1}{2 \kappa}\right) .
$

ただし， $\boldsymbol{x}_{-t}$ は $\boldsymbol{x}$ から $x_{t}$ を除いたものであり，кは精度パラメータである．また，意味分布と意味-単語分布の事前分布であるガウス分布は，それぞれ変化の度合いをコントロールするパラメータとして $\kappa_{\phi}, \kappa_{\psi}$ を持つ. 特に, 対象単語 $w$ によって意味の変化の “速度” は異なるため，意味分布の事前分布の精度パラメータ $\kappa_{\phi}$ はデータから推定する.

これらを踏まえると，SCAN の生成モデルは次のようになる. $\operatorname{Ga}(a, b)$ はガンマ分布, $\operatorname{Mult}(\theta)$ は多項分布を表す.

1. Draw $\kappa_{\phi} \sim \mathrm{Ga}(a, b)$

2. For time interval $t=1 \ldots T$

(a) Draw sense distribution
i. $\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right)$

ii. $\phi_{t}=\operatorname{Softmax}\left(\alpha_{t}\right)$

(b) For sense $k=1 \ldots K$

i. Draw sense-word distribution
A. $\beta_{t, k} \mid \beta_{-t}, \kappa_{\psi} \sim \mathcal{N}\left(\frac{1}{2}\left(\beta_{t-1, k}+\beta_{t+1, k}\right), \kappa_{\psi}^{-1}\right)$
B. $\psi_{t, k}=\operatorname{Softmax}\left(\beta_{t, k}\right)$

(c) For snippet $d=1 \ldots D$

i. Draw sense $z_{d} \sim \operatorname{Mult}\left(\phi_{t}\right)$

ii. For context position $i=1 \ldots I$

A. Draw word $w_{d, i} \sim \operatorname{Mult}\left(\psi_{t, z_{d}}\right)$

## 2.2 Logistic stick-breaking process [9]

ディリクレ過程は有限次元の多項分布を生成するディリクレ分布の無限次元版であり，その実現例の一つとして， stick-breaking process (SBP) [10] が挙げられる。SBPでは，確率の総和である長さ 1 の棒を折っていくことで， $k$ 番目のクラスに対する確率 $\pi_{k}$ を決定し，デルタ関数 $\delta\left(\theta_{k}\right)$ を基底測度 $G_{0}$ からサンプルした場所 $\theta_{k} \sim G_{0}$ に立てていくことで確率分布 $G$ を生成しており, 生成過程は次のようになる:

$
\begin{gathered}
\pi_{k}=v_{k} \prod_{k^{\prime}}^{k-1}\left(1-v_{k^{\prime}}\right), v_{k} \sim \operatorname{Be}(1, a), \theta_{k} \sim G_{0} \\
G=\sum_{k=1}^{\infty} \pi_{k} \delta\left(\theta_{k}\right) .
\end{gathered}
$

2） カーネルが隣接する時間に限定されるガウス過程の特別な例と捉えることもできる.
ただし， $\mathrm{Be}(1, a)$ はベータ分布である.

Ren ら [9] は，各クラスが何らかの共変量と紐づいている3)場合，それをロジスティック変換し各クラスの確率とすることで，同様にディリクレ過程を実現する logistic stick-breaking process (LSBP) を提案した. 各クラスのガウス分布に従う確率変数を $\beta_{k}$ としたとき，LSBP によって生成される確率分布 $G_{\beta}$ は次のようになる:

$
\begin{gathered}
\pi\left(\beta_{k}\right)=\sigma\left(\beta_{k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\beta_{k^{\prime}}\right)\right), \\
G_{\beta}=\sum_{k=1}^{\infty} \pi\left(\beta_{k}\right) \delta\left(\theta_{k}\right) .
\end{gathered}
$

ただし， $\sigma(x)$ はシグモイド関数を表す.

## 3 提案手法

## 3.1 Infinite SCAN

我々は，2.1 節で紹介した SCANにおいて，対象単語によって異なる語義数をコーパスから自動的に推定できるように，2.2 節で紹介したLSBPを用いて拡張を行った階層ベイズモデルを提案する。

提案モデルでは，SCAN と同様に対象単語 $w$ 一つに対して一つのモデルを考え，入力もSCAN と同様に，コーパスにおける対象単語 $w$ が含まれる文章の文脈単語集合 $\boldsymbol{c}$ で構成されるスニペットとその文章が出現した年のラベルとする.

時点 $t$ に出現したスニペット集合は， $\phi_{t}$ と $\psi_{t, k}$ それぞれの上に定義される意味分布と意味-単語分布によって表され，それぞれがガウス分布に従う。ここで，意味分布のパラメータ $\phi_{t}$ について，対象単語 $w$ によって異なる語義数 $S_{w}$ をコーパスから自動的に推定できるように，LSBPを用いて生成過程を次のように変更する:

$
\begin{gathered}
\alpha_{t} \mid \alpha_{-t}, \kappa_{\phi} \sim \mathcal{N}\left(\frac{1}{2}\left(\alpha_{t-1}+\alpha_{t+1}\right), \kappa_{\phi}^{-1}\right), \\
\phi_{t, k}=\sigma\left(\alpha_{t, k}\right) \prod_{k^{\prime}=1}^{k-1}\left(1-\sigma\left(\alpha_{t, k^{\prime}}\right)\right)(k=1, \ldots, K) .
\end{gathered}
$

ここで，LSBP は無限次元の多項分布を生成するが，実際には十分な語義の次元があればそれ以上使われることはないため, 本研究では SCAN と同様に $K=8$ とした ${ }^{4)}$. また, 提案モデルでは, 意味分布のパラメータ $\phi_{t}$ は，全体を見て正規化する Softmax 変換ではなく，それぞれの意味における停止確率を意味ごとに確率化する LSBP によって構築される.

3）SCAN の場合はガウス分布に従う確率変数が各意味，意味における各単語と紐づいている。

4）事前実験より，8 個以上の語義を持つ単語はほとんど存在しなかった
表 1 各モデルによって推定された意味分布と正解の意味分布の Kullback-Leibler 距離.

のため提案モデルでは，SCANのように $\kappa_{\phi}$ を全ての意味 $k \in\{1 \ldots K\}$ で共有するのではなく，各意味の値 $\alpha$ ごとに異なる分散 $\kappa_{\phi}^{(k)}$ を仮定し推定する.

## 3.2 MCMC 法による推定

提案モデルの推定には，ブロック化 Gibbs sampler を用いる。提案モデルにおける推定パラメータは， スニペットに割り当てられる意味 $z$ ，意味分布と意味-単語分布の事前分布である $\alpha$ ( $\phi$ の LSBP 変換前), $\beta$ ( $\psi$ の Softmax 変換前)，ガンマ分布に従う意味分布の事前分布の精度パラメータ $\kappa_{\phi}$ である. サンプリングの疑似コードを図 5 に示した.

スニペットの意味各スニペットの意味 $z_{d}$ は， サンプリング時点でのパラメータ $\phi, \psi$ を用いて，次の事後分布に従ってサンプリングされる:

$p\left(z_{d} \mid \boldsymbol{w}, t, \phi, \psi\right) \propto p\left(z_{d} \mid t\right) p\left(\boldsymbol{w} \mid t, z_{d}\right)=\phi_{z_{d}}^{(t)} \prod_{w \in \boldsymbol{w}} \psi_{w}^{\left(t, z_{d}\right)}$

意味分布のパラメータ意味分布の事前分布はガウス分布となっているため, 多項分布との間に共役性がないので，ディリクレ-多項分布のようなサンプリングはできない. Linderman ら [11] は， Pólya-gamma 補助変数を用いることで，LSBPを用いて表現される，ガウス分布を事前分布として持つ多項分布のパラメータに対するギブスサンプリングを提案しており，本研究ではそれに従って推定を行う) $^{5)} \alpha$ の事後分布は次のようになる:

$
\begin{aligned}
p\left(\alpha_{t} \mid z, \boldsymbol{\alpha}_{-t}, \omega\right) & \propto \mathcal{N}\left(\omega^{-1} f(c) \mid \alpha_{t}\right) \mathcal{N}\left(\alpha_{t} \mid \boldsymbol{\alpha}_{-t}, \kappa_{\phi}^{-1}\right) \\
& \propto \mathcal{N}\left(\alpha_{t} \mid \tilde{\mu}, \tilde{\kappa}_{\phi}^{-1}\right) .
\end{aligned}
$

ただし, $\omega$ は補助変数であり,$c_{k}$ を $k$ 番目の意味に属しているスニペットの個数, $N\left(c_{k}\right)=\sum_{k} c_{k}-\sum_{j<k} c_{j}$ として, Pólya-gamma 分布 $\omega \mid z, \alpha_{t} \sim \operatorname{PG}\left(N\left(c_{k}\right), \alpha_{t}\right)$ からサンプリングされる. また, $f\left(c_{k}\right)=c_{k}-N\left(c_{k}\right) / 2$ として, 事後分布の平均と分散は, $\tilde{\mu}=\left(f\left(c_{k}\right)+\right.$ $\left.\mu_{k} \kappa_{\phi}\right) \cdot \tilde{\kappa}_{\phi}, \tilde{\kappa}_{\phi}=\left(\omega_{k}+\kappa_{\phi}\right)^{-1}$ である.

意味-単語分布のパラメータ意味-単語分布も意味分布と同様に事前分布としてガウス分布を仮定しているため，ディリクレー多項分布のようなサンプ

表 2 実験に使用したコーパスの年代とサイズ.

リングはできない. Mimno ら [12] は, Softmax 変換を用いて表現される，ガウス分布を事前分布としてもつ多項分布のパラメータに対するギブスサンプリングを提案しており，本研究ではそれに従って推定を行う6)，スニペット数を $D$ ，スニペット長を $N_{d}$ とすると， $\beta$ の事後分布は次のようになる:

$p\left(\beta_{t}\right) \propto \prod_{d=1}^{D}\left(\prod_{n=1}^{N_{d}} \frac{\exp \left(\beta_{w_{n}}^{\left(t, z_{d}\right)}\right)}{1+\sum_{w^{\prime} \neq w} \exp \left(\beta_{w^{\prime}}^{\left(t, z_{d}\right)}\right)}\right) \mathcal{N}\left(\beta_{t} \mid \beta_{-t}, \kappa_{\psi}^{-1}\right)$

精度パラメータ平均が既知であるガウス分布の精度パラメータは，ガンマ事後分布に従う．ガンマ分布の形状パラメータを $a$, 尺度パラメータを $b$ とすると， $\kappa_{\phi}$ の事後分布は次のようになる:

$
p\left(\kappa_{\phi}^{(k)}\right)=\mathrm{Ga}\left(a+\frac{K}{2}, b+\frac{1}{2} \sum_{t=1}^{T}\left(\alpha_{t, k}-\bar{\alpha}_{k}\right)\right)
$

ただし， $\bar{\alpha}_{k}=\frac{1}{T} \sum_{t} \alpha_{t, k}$ は意味 $k$ における $\alpha$ の平均である.

## 4 実験

## 4.1 疑似データによる検証

実データでの検証に先立ち，提案モデルが，任意の意味変化と語義数をきちんと推定できるか検証するため，疑似データによる検証を行う．疑似データの生成において，意味分布の生成にはガウス過程を用い，意味-単語分布の生成にはディリクレ分布を用いて正解データをランダムに生成した.

表 1 に，語義数を $S_{w}=2, . ., 5$ と動かした場合におけるSCAN と提案モデルの疑似データに対する推定結果の比較を示した. ここでは，意味の分布を正しく表現できるか定量的に測るため, 指標として推定された意味分布と正解の意味分布の $\mathbb{R}^{T \times K}$ 上での Kullback-Leibler 距離を用いた. 結果から，語義数を自動的に推定できないSCAN と比較して提案モデルが優れていることがわかる。また, 図 1,2 に, 語義数が $S_{w}=5$ の場合の正解例と，疑似データに対する提案モデルの推定結果を示した. 横軸が時点，縦軸が時点における意味の確率を表し, 色に対応する意

6）詳細は参考文献 [12]を参照されたい.

図 1 語義数が $S_{w}=5$ の場合の意味変化の正解例.

図 2 語義数が $S_{w}=5$ の疑似データに対する提案モデルの推定結果. 正解例に合わせて意味の並べ替えを行った.

味を凡例に示した．図より，提案モデルによる推定結果は意味の趨勢をほとんど正しく捉えていることがわかる。

## 4.2 データセット

本研究では，英語を対象とし，通時コーパスである Corpus of Historical American English (COHA) と The Corpus of Late Modern English Texts (CLMET3.1) を用いた、コーパスの統計量を表 2 に示した.

実験で用いる際は，トークナイズ，見出し語化を行ったのち，ストップワードの削除を行った.また品詞タグ付けを行い，名詞，動詞，形容詞のみを抽出し使用した. 以上の前処理を行ったのち，対象単語が出現する箇所をコーパスから抽出し，文脈空幅を 5 として対象単語のコーパスを作成した. 対象単語としては，SCANで分析されたものを参考にして “coach”と “power”を選択した。

## 4.3 結果

図 3, 4 に“coach”と “power”に対する推定結果を示した，凡例には，意味 $k$ における意味-単語分布 $\psi_{k}=\sum_{t} \psi_{t, k}$ の Normalized pointwise mutual information (NPMI) [13] の高い単語を上から 10 個示した.

“coach”では，コーパスから推定された語義数は 2 つとなった. 馬車や乗り物としての意味（青色）か

図 3 対象単語“coach”に対する提案モデルの推定結果.

図 4 対象単語 “power” に対する提案モデルの推定結果.

ら指導や指導者という意味（橙色）に変化していることが捉えられている. “power”については，コー パスから推定された語義数は 6 つとなった. 宗教や教会の文脈で使用される力の意味（青色）は，現在に至っても使用されていることがわかる。また，肉体上・精神上の自然の能力，体力，知力といった意味（橙色）と法や政治的な力といった意味（赤色） は現在に近づくにつれて使われることが少なくなっている。一方で，経済的な力としての意味（緑色） や国際的な政治力や戦争などの文脈における力（紫色）たた動力の意味（茶色）は現在になるにつれて使用されることが増えてきていることがわかる.

これらの結果は歴史的背景や辞書からも妥当であり，提案モデルはコーパスからある程度正しく意味変化を捉えることができていることがわかる.

## 5 まとめと今後の展望

本研究では，単語の通時的な意味変化のモデル化において，単語によって異なる語義数を自動的に推定できる階層ベイズモデルを提案した。疑似データを用いた実験において，意味変化と語義数を正しく推定できることを示した。また，実データを用いた実験においては，複数の解析対象の単語に対して推定結果を示し，分析した．今後は，他の単語や英語以外の言語を対象とした分析を行っていきたい.

## 謝辞

本研究は国立国語研究所の共同研究プロジェクト 「現代語の意味の変化に対する計算的・統計力学的アプローチ」，「通時コーパスの設計と日本語史研究

の新展開」および JSPS 科研費 19H00531，18K11456

の研究成果の一部を報告したものである.

## 参考文献

[1] Jean Aitchison. 2001. Language Change: Progress Or Decay?. Cambridge Approaches to Linguistics. Cambridge University Press.

[2] Angus Stevenson, editor. 2010. The Oxford English Dictionary. Oxford University Press, third edition.

[3] Robert Bamler, and Stephan Mandt. 2017. Dynamic Word Embeddings. In Proceedings of the 34th International Conference on Machine Learning, edited by Doina Precup and Yee Whye Teh, 70:380-89.

[4] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. 2015. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635.

[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. 2016. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1489-1501.

[6] Martin Emms, and Arun Kumar Jayapal. 2016. Dynamic Generative Model for Diachronic Sense Emergence Detection. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, 1362-73.

[7] Lea Frermann, and Mirella Lapata. 2016. A Bayesian Model of Diachronic Meaning Change. Transactions of the Association for Computational Linguistics 4: 31-45.

[8] Havard Rue and Leonhard Held. 2005. Gaussian Markov Random Fields: Theory and Applications. Chapman \& Hall/CRC Monographs on Statistics \& Applied Probability. CRC Press.

[9] Lu Ren, Lan Du, Lawrence Carin, and David Dunson. 2011. Logistic Stick-Breaking Process. Journal of Machine Learning Research: JMLR 12: 203-39.

[10] Jayaram Sethuraman. 1994. A Constructive Definition of Dirichlet Priors. Statistica Sinica 4 (2): 639-50.

[11] Scott Linderman, Matthew J. Johnson, and Ryan P. Adams. 2015. Dependent Multinomial Models Made Easy: StickBreaking with the Polya-Gamma Augmentation. In Advances in Neural Information Processing Systems, vol. 28, 3456-64.

[12] David Mimno, Hanna Wallach, and Andrew McCallum. 2008. Gibbs Sampling for Logistic Normal Topic Models with Graph-Based Priors. In Neural Information Processing Systems Workshop on Analyzing Graphs. vol. 61.

[13] Gerlof Bouma. Normalized (pointwise) mutual information in collocation extraction. 2009. Proceedings of the German Society for Computational Linguistics and Lan- guage Technology, vol 30: 31-40.

[14] Valerio Perrone, Marco Palma, Simon Hengchen, Alessandro Vatri, Jim Q. Smith, and Barbara McGillivray. 2019. GASC: Genre-Aware Semantic Change for Ancient Greek. In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, 56-66 .

## A MCMC アルゴリズム

3.2 節で説明した提案モデルの推定に用いた Gibbs sampler の疑似コードを図 5 に示す. 各パラメータの初期值は基本的に Frermann ら [7] に従っている. ただし，本研究では，対象単語の意味の変化を“意味-単語分布の変化”ではなく，できるだけ “意味分布の変化” で捉えたいため（前者の場合，語義数の推定が難しくなる), Perrone ら [14] に従い， $\kappa_{\psi}$ の值を比較的大きな 100.0 とした。

図 5 MCMC 法による Infinite SCAN の推定.

## B 疑似データに対する推定結果

4.1 節で行った，疑似データによる提案モデルの性能の検証において, 語義数 $S_{w}$ が異なる場合の結果を示す. 図 6,7 には語義数が $S_{w}=2$ の正解例と推定結果, 図 8,9 には語義数が $S_{w}=3$ の正解例と推定結果を示した. 語義数が異なっても，提案モデルは意味変化と語義数を適切に推定できていることがわかる。

図 6 語義数が $S_{w}=2$ の場合の正解例.

図 7 語義数が $S_{w}=2$ の疑似データに対する提案モデルの推定結果. 正解例に合わせて意味の並べ替えを行った.

図 8 語義数が $S_{w}=3$ の場合の正解例.

図 9 語義数が $S_{w}=3$ の疑似データに対する提案モデルの推定結果. 正解例に合わせて意味の並べ替えを行った.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# スローガンにおける比喻表現とそれを背景にした新しい掛けことば現象の考察—中国大学入試に関するスローガンを対象に

徐佳
愛知大学大学院 中国研究科
jokaxujia@hotmail.com

## 概要

日常言語生活によく使われる比喻技法は、物事を興味深く、生き生きとした表現で表すことが出来る。本稿は、スローガンにおける比喻表現を対象に、具体例を挙げながら、比喻の効果とそれを背景にした言葉現象を考察する。そして、大学入試のスローガンにおける発音の関連性や意味の類似性から生まれた掛けことばは、どのような社会現象を生み出したかに関しても、実例に基づき分析する。

## 1 はじめに

ある物事を、類似または関係する他の物事を借りて表現する比喻は、聞き手に新しい概念を理解させ、情報を円滑に伝達するための修辞技法として、有効な方法の一つである。比喻の効果は、多くの研究者によって指摘されてきた。主な観点をまとめると、言葉遊びの一種として、人間の好奇心、求知心にこたえることができ、そして、難解なものを分かりやすく伝え斬新な言葉を生み出し、物事を生き生きとした表現で表すことができるなどが挙げられる。本稿では、比喻を用いた大学入試に関するスローガンを対象に比喻表現を対象に見ていく。

中国では、例年、全国で 3 日間に渡る大学入試があり、これを「普通高等学校招生全国统一考试（以下、高考）」と呼び、受験者は 15 年の教育を経て受験する。全国の高校三年生が同じ日程で統一された試験に臨むため、非常に競争が激しい試験である。受験学年の教室では、受験生を励ますため、黒板の上の壁に、スローガンを掲げる教室が多い。例を挙げると、“提高一分, 干掉千人”（訳 : 1 点多く取れば千人を抜かすことになる）や、“欲戴皇冠, 必承其重”（訳：王冠が欲しければ、重みに耐えなければならない）などがよく見られる。その中でも、

“欲戴皇冠, 必承其重” のような、比喻を用いた興味深いスローガンも少なくない。
こういった比喻を用いたスローガンは、いずれも何らかの意味変換によって受験勉強を励ます働きを実現するという共通の特徴を持っている。本稿では、中国の大学入試に関するスローガンの中に、どのような比喻表現が使用されたか、具体的に分析しながら、比喻がコミュニケーションにもたらす効果を考察する。そして、中国の大学入試期間に見られた保護者と受験生の取った縁起のよい行動について、掛けことばの観点から分析し、そのような掛け言葉の形成される理由や背後にある認知的動機づけについて考察する。

## 2 比喻における二方向性について

比喻の一般的形式「Aは、Bである」のAは、たとえられるものであり、Bはたとえるものである。すなわち、Aを、類似または関係するBを借りて表現する。認知心理学において、比喻では情緒・感覚的類似性、カテゴリ的類似性、特徴語との共起関係の強さが重要とされている。その関係は以下の図で表すことが出来る。

上記の図を見ると、AとBの特徴として、共通する要素が、 $\alpha 、 \beta$ など $\cdots$ とあり類似しているため、Bにも特徴として、要素 $\omega$ があるはずだと推論している。さらに、比喻の方向としては、

(1) 抽象的・難解なものを具体的・身近なものに喻える。例: 人生は旅だ。

(2) 時に具体的・身近なものを抽象的・難解なものに喻える。

例:母がかけてくれたあの言葉は私にとって、「成功への扉」となった。

## 3 類似性の法則について

人間は自分と似ている人に親近感を抱き、心を許す傾向がある。初対面の人でも出身地が同じであったり、共通の趣味を持っていたりするとすぐに打ち解けることが多い。心理学では、「ミラーリング効果」といら概念があり、相手を模倣することにより、親近感を持たせたり好感を抱かせる心理テクニックである。これは、「類似性の法則」といらものが深く関係している。人間が自分と似た人、 または似たものに対して好感を抱きやすい心理がある。 これらの概念は言語学に反映され、掛けことばの形成される理由やその背後にある認知的動機づけに対する理解に役立つ。次に、中国の大学入試スローガンと大学入試を背景にしたミラーリングと類似性の視点から具体例を挙げながら考察していく。

## 4 中国の大学入試に関わるスローガ

## ンの実例分析

似ているような発音、または関連性のある意味合いによって生まれた掛けことばは、聞き手に親近感と安心感を与え、より強い印象を残す。たとえば、次の例を見ていただきたい。

（1）勤是甘泉水，学似聚宝盆

訳 : 勤勉さは甘い泉であり、学ぶことは宝物を盛った盆である。

（2）时间抓起来就是黄金, 抓不起来就是流水訳 : 時間は掴めば黄金になるが、掴めなければ、流れてゆく水である。

( 3 ) 不经风雨, 怎见彩虹?

訳 : 暴風雨を乗り越えなければ、虹に出会うこともない。

（4）欲达高峰, 必忍其痛

訳：高峰に達したければ痛みに耐えなければならない。

（5）读书不觉已春深，一寸光阴一寸金

読書して、春らしくなったことも気づかない。時は金である。

（6）宝剑锋从磨砺出, 梅花香自苦寒来宝剣の鋭さは磨いてから出てくる。梅の花の香りは、厳しい寒さに耐えながら出てくるのだ。

（7）书山有路勤为径本の山を登るには勤勉という道がある。

（8）会当凌绝顶，一览众山小

一番高い山の頂上に登れば、他の山が小さく見える。
（9）今朝勤学苦，明日跃龙门

勉学に励むのは苦しいが、将来は（鯉の滝登りのように）竜門を登ることができる。

（1０）把汗水变成珍珠

訳 : 汗粒をパール真珠にかえるのだ。

大学入試のつらさを乗り越えるためのスローガンは、励ましの言葉でもあるが緊張する受験勉強の中での遊び心の表れでもある。すなわち、これらのスローガンは比喻に潜む「謎」を解き明かす快感が味わえ、人間の好奇心、求知心にこたえることができ、 そして、やわらかいイメージで受験勉強の緊張感を和らぐ働きがある。

努力、時間、成功、汗粒などを甘い泉、虹、高い山、真珠などに喻えている。泉、虹、山、真珠などの具体像で、受験の成功に対する祈りという抽象的な概念を比喻で具体化して表している。前者が後者に、意味の関連性の面で類似していると捕らえ、前者を後者に喻えている。汗粒を真珠にたとえる例を、類似性の観点から分析すると、両者の関係と比喻が成り立つ要素を以下の図で表すことが出来る。

汗粒と真珠は両方と粒状であり、そして、数少ない（貴重）、きらきらする（光沢がある、）つらい時に出る（刺激を受ける）という共通する要素がある。こういった類似性に注目することで、「「汗粒をパール真珠にかえるのだ」に対する理解を助ける効果がある。

「暴風雨を乗り越えなければ、虹に出会うこともない」の例に表されているような、類似性に基づく意味の拡張である比喻であると考えられる。それはつらい受験勉強を「暴風雨」に喻えている点が比喻であり、また試験に受かったことを虹に出会えたことに喻えている点でも比喻である。つまり、受験勉強のつらさと受かったときの達成感に焦点を当てて認知し、「暴風雨」と「虹」に喻えている。したが

って、聞く者に強いエンパシーを感じさせ、比喻との相乗効果が出ている。受験勉強といえば、つらさを真っ先に想起するため、「つらさ」という参照点を表示するだけでターゲットである「暴風雨」にアクセスすることが可能になるのである。

例（4）は、「高い成績」を参照点にして、ター ゲットである「高い山」を表現している。

このスローガンは受験勉強の苦しみと受かったときの達成感を詩的な表現で豊かに表した。受験勉強の苦しみと暴風雨に打たれるつらさは、共通性のある概念で、共感を喚起しやすくエンパシーの程度が高いスローガンになっている。

## 5 大学入試期間に保護者らが取った 興味深い行動についての分析

受験生の豪快なスローガンに合わせ、保護者たちも精一杯の努力で受験生を応援している。日本と異なり、中国の両親のほとんどは大学入試の子供を試験会場まで送り迎えする。毎年、新聞のトップページに出るほど大学受験生への応援が盛大である。たとえば、受験現場の外で縁起を担ぐために、結婚式のときぐらいしかチヤイナドレスを着ないない受験生の母親らが、鮮やかな姿で注目を集める。これは、チャイナドレスが礼服であるだけではなく、その背後にある掛けことばが潜んでいるためである。掛けことばは、発音の類似性を使って1つの言葉に2つの意味を持たせるといらレトリックである。 すなわち、表面上は1つの意味でありながら、内容上は 2つの意味を含ませている技巧である。このチャイナドレス現象がその仕組みを巧みに応用した例である。前節では、比喻の使用した大学入試のスローガンを考察した。次に、大学入試を背景にした興味深い掛けことば現象を見てみよう。前文で分析したエンパシーを比喻表現の効果的な利用で表現していることについて以下の例で考察する。いずれも発音の関連性と意味の類似性から生まれた掛けことばが支える現象であり、新聞やニュースに出るほど注目も集めている。

(1)「旗袍」と「旗开得胜」

チャイナドレスは中国語では「旗祀」と言う。この「旗」 の字と中国の成語「旗开得胜 (戦いがうまくいき勝利する)」の「旗」の字を掛けているのである。また、「旗袍」の横は開いているため、「旗开得胜」の「开」に掛け、発音の類似性と意味の関連性で裏付けられた共感度の高い掛けことばである。

(2)「马补」と「马到成功」女性はチャイナドレス、男性の多くは「马补」を着て試験会場まで応援に行く。これは、「马补」を着ると縁起がいいと言われているためである。なぜなら、「马补」の 「马」と言う字と中国の四字熟語「马到成功 (戦いが始まってすぐ勝利がつかめる)」の「马」の字を掛けているからである。

(3) 「吻过」と「稳过」

試験問題を手に取ると、縁起のいい行為としては試験ペーパーにキスすることである。受験番号などを書く前、まず、試験ぺーパーにキスする受験生がいる。なぜなら、試験ぺーパーをキスした(吻过)ことで、試験を簡単に通過する(稳过)ことができるといら「吻、稳」によつて生成された掛けことばが背後にあるからである。

(4)「紫腚」と「指定」

縁起を追求するための行為は、受験生の着る服にも及ぶ。紫色のパンツを履くことも、試験がうまくいく「手段」の一つであるとされている。「腚」は中国語の俗語で、「お尻」を意味する。紫色のパンツを履くと紫色のお尻になり、すなわち「紫腚」になる。中国語の「指定过」と掛けて、必ずパス寸る」といら意味を表している。

(5)「高举向日葵」と「一举夺魁」

試験会場外で、保護者らがひまわりの花を高く挙げながら待っている風景も注目を集めている。ひまわりを高く挙げる「高举向日葵」の「举」と「葵」を、「一発で一番上位の座を取る」ことを意味する四字熟語の「一举夺魁」に掛けている。

(6)「红、绿、黄」と「开门红」「一路绿灯」「走向辉煌」受験生が試験で着る服の色も、縁起のいい掛けことばによって決めることがある。比較的に人気があるのは、「红、绿、黄」がある。具体的には、試験の初日は「红」 (赤)色で「开门红(順調でいい滑り出し)」と掛け、翌日は「绿」(緑)色で「一路绿灯 (道全体が青信号)」と掛けている。そして、試験の最後の日は「走向辉煌 (煌びやかな未来に向かって歩んでいく)」の「黄」(黄色)と掛けている。

(7) 試験日の縁起のいい料理

日本では、「受験に勝つ」にかけてかツを食べる文化があるように、中国でも試験でいい点数が取れるように、縁起のいい料理が人気である。たとえば、地域によっては「粽子(粽) 」食べて試験に臨む文化がある。漢字の 「粽」の発音は、高い点数で試験に合格する「高中」の 「中」が近音字であるその理由である。その他、麺を食べる際、一本一本スムーズに進むため、麺を食べると試験が順調に行くといら言い伝えもある。

(8) Nike が人気

ナイキのロゴの形は、チェックマークからである。試験ペーパーを判定する際、正解を表すのは、チェックマー クである。ナイキの服を着ることで「答えが正解であるように」ということを祈り、よい結果を期待する。

(9) WeChat (ウィーチャット)の「红包」の金額について新年などで何かを祝う際、赤色の封筒にお金を入れ、家族の中の年上の人が、若者や子どもに渡すものが昔の「红包」である。現在ではデジタル化が進むことにより、現金ではなく、ウィーチャットで「红包」を送ることが多い。大学入試の受験生を励ますため親や親戚が「紅包」 を送ることもある。しかし、新年に渡す 888 元のような金額ではなく、試験の際に渡すのは、 211 元、または 985 元が多い。なぜなら、「211 工程重点大学」と「985 工程重点大学」は、中国で名門大学とされ、受験生の憧れである。よって、 211 と 985 の数字も縁起の良い数字とされている。

以上で挙げた例は、いずれも比喻を巧みに利用したものであり、親しみやすさと、そこはかとないユーモアを醸し出している。言葉の意味や発音の類似性による「掛けことば行為」以外に、(7)、(8)の例のような、形による 「掛けことば」も多く存在する。こういったような「掛けことば行為」は、他にも数え切れないほど存在する。一見、意味の分かりにくい行為や現象であるが、その背後にある掛けことばを分析することで、理解しやすくなり、強い印象が残る。エンパシーの喚起がより噈楽性に溢れるものになり、共感度も高まる。こうした掛けことば表現によって、試験に受かることに対する期待感が無意識に表現されている。周りの人からも親しまれやすく、エンパシーを表す効果的な手段と一つであるといえる。

## 6 終わりに

本稿では、まず、大学入試のスローガンの具体例を

それぞれ分析しながら紹介した。次に、このようなスロー
ガンがどのようなプロセスで生成されているかを明らかにした。さらに、その背後にどのような認知的動機づけが働いているかを詳細に考察した。その結果、共感を喚起する比喻および掛けことばの豊かな使用が明らかになった。

今後の課題としては、今回紹介したデータは質的および量的な側面でも、網羅することはなかったため、その点を補ら必要がある。また、今回見つけることができなかった種類の語形成の手段などをさらに探索し、考察を深めていこうと考えている。

## 参考文献

1.楠見孝『比喻理解の構造』誠信書房 1990

2.瀬戸賢一『よくわかる比喻一一言葉の根っこをもっと知万う』研究社 2005

3. 高橋英光『言葉のしくみ認知言語学のはなし』北海道大学出版社 2010

4.橋本学「命名の認知言語学的分析に関する試論—地域の名称をケース・スタディとして一」『欧米言語文化論集』pp. 191 - 207, 2012-03-07, 岩手大学人文社会科学部欧米言語文化コース 2012

5.ウイキペディアミラーリング(オンライン)(引用日: 2022 年 1 月 1 日.) https://ja.wikipedia.org/wiki/ミラーリング.


# 局所および大域的特徵量に基づく語義の曖昧性解消

浅川翔 ${ }^{1}$, 鈴木良弥 ${ }^{2}$, 李吉屹 ${ }^{2}$, 福本文代 ${ }^{2}$
${ }^{1}$ 山梨大学大学院修士課程工学専攻
2 山梨大学大学院総合研究部工学域
\{g20tk002, ysuzuki, jyli, fukumoto\}@yamanashi.ac.jp

## 概要

語義の曖昧性解消 (WSD) は，文中に出現する単語の意味を同定するタスクであり, 機械翻訳や情報抽出などの精度向上に貢献できる. 語義の曖昧性解消を高精度で行うためには, 精度に貢献する特徴を学習する必要がある.この問題に対し, 近年,ニューラルネットワークモデルを用いた手法が数多く提案されている.しかし，これらの手法の多くは, 文単位を基本としており，文書単位での特徴抽出を利用した研究は少ない. 本研究では, 局所的特徴, すなわち文内の単語間の依存関係に基づく単語特徴と大域的な特徴である文書の特徴に注目し，局所及び大域的な特徴を相補的に利用することが WSD において有益であることを示す.

## 1 はじめに

語義の曖昧性解消 (WSD) は, 文中に出現する単語の意味を同定するタスクであり, 機械翻訳や情報抽出などのタスクの精度向上に貢献できる. 従来の多くの WSD システムは，曖昧な単語ごとに独立した特徴を学習している [1]. 単語埋め込みをそれらのシステムに統合した手法も提案されている [2]. 最近になり，訓練により精度に貢献する特徴抽出を行うためにニューラルモデルが多く利用されている.単語埋め込みに関しては ELMo [3] や BERT [4] などの言語モデルに基づく埋め込み表現が主流となっている。これは，Word2Vec や GloVeのような静的単語埋め込みとは異なり, 文脈に応じた単語表現を獲得することが可能であり, WSD に対して非常に有効に働くためである [5][6]. 最近の言語モデルに基づく研究では，文中の単語と文外の単語との間にも依存関係があることに着目し, より長距離の単語間の依存関係を捉える手法が提案されている [7]. しかし，これらの手法の多くは, 文単位でデータを処理しており，文書単位での特徴抽出に関する言及
は少ない. 本研究では，局所的特徴，すなわち文内の単語間の依存関係に基づく単語特徴と大域的な特徵である文書の特徴に注目し，局所及び大域的な特徵が WSD において有益であることを示す。

## 2 関連研究

## 2.1 Gloss 文

Gloss 文 (語釈文) は,テキスト内の単語, またはフレーズの意味を簡潔に表したものであり，語義の曖昧性解消に重要な要素であることが示されている. Luo らは，ニューラル WSD システムの追加入力として Gloss 文を使用し，精度を大幅に向上させた [8]. Kumar らは，WordNet 上に定義されたグラフ構造を用いて Gloss 文を埋め込み，概念べクトルとして使用した. しかし, GlossEncoder は事前学習されたパラメータで初期化を行い，訓練時はパラメータを固定するため，知識グラフを学習させるためのコーパスが別途必要になる [9]. Blevins らは, ContextEncoder と GlossEncoder の両方を同時に訓練させることにより, GlossEncoder 用の追加コー パスを必要とせずに Gloss の埋め込み表現 (概念べクトル)を学習する手法を提案した [10]. 実験では, BERT と組み合わせることで精度が大幅に向上することを示した. 本手法は，対象文と Gloss 文を Transformer ネットワークでエンコードし，各ベクトルの距離に基づきスコアを決定する点で Blevins らの手法と類似している。一方，局所的な特徴量を高精度で抽出するために、エンコーダの最適化を行った点，及び処理単位を文から文書単位に据張し，大域的特徴量抽出を可能にした点で異なる。

## 2.2 文法と位置情報

シソーラス辞書である WordNet では，例えば動詞「evoke」などのように概念の説明文である Gloss の中に目的語の属性を示すものがあるなど，概念と文
表 1 長距離依存関係の例: 表中, 黄色は生物関連の単語を示す. mouseの概念には，「動物のマウス」，「コンピュータマウス」，「目をぶつけたときにできるあざ」，「静かな人」があり，対象単語「mouse」が属する文書内に生物関連のキーワードがある場合，対象単語の語義は 「動物のマウス」である可能性が高くなる。この例の場合，対象単語「mouse」と生物関連の単語「animal」は文外出現している.

Sentence: We classify mice as "straight haired" or "wavy haired", but a hairless mouse appears .

Sense: mouse\% $1: 06: 00:$ :

Gloss: any of numerous small rodents typically re-sembling diminutive rats ... hairless tails

Text: Some experiments ... We classify mice as “ straight haired " or "wavy haired", but a hairless mouse appears. We can escape from such a diffi-culty by ruling out the animal as not constituting a trial , but ... experiment has the value $* * \mathrm{f}$.

法が深く関わる例が多く見受けられる (例. evoke\#1's Gloss: call forth (emotions, feelings, and responses)). すなわち, 文法情報は WSD の精度貢献に大きく関わる. 最近の研究では，BERT[4]を用いることにより文法やフレーズを考慮した埋め込み表現を獲得できることから，これを用いて入力文や Gloss のエンコードを行う手法が主流となっている [11] [10]. Yang らは，BERT の絶対位置情報や MASK トークンを用いた事前学習タスクの改善を図り，相対位置情報の使用や Permutation Language Modeling という新たな事前学習タスクを用い，言語モデルの精度を向上させた [12]. Song らは，絶対位置情報と相対位置情報を相補的に扱うことでトークン間の依存関係をより正確に表現することにより，これが言語モデル (MPNet) の精度に貢献することを示した [13]. MPNet は文法情報が重要な要素となるタスク CoLA において，以前の言語モデルの精度を大幅に上回っていることから，文法やフレーズを考慮した埋め込み表現の獲得に優れていることが分かり，WSD にとっても有益であると考えられる。本手法では， MPNet をニューラル WSD システムに統合し, 局所的特徴量をより正確に抽出することで，さらなる精度向上を図った。

## 2.3 文書中の長距離依存関係

従来の WSD は語義の解消を文単位で行う手法が多い. 本手法は，ニューラル WSD システムを文単位の処理から文書単位の処理へ拡張することにより精度向上を目指す. 表 1 に，文外の依存関係の例を示す. 文書単位の処理へ拡張することにより，語義を同定する上で重要な特徴を，周辺文から抽出することができるようになる.

## 2.4 訓練コーパスの追加

最近の研究では, 訓練コーパスとして SemCor に加えて WordNet Gloss Corpus(WNGC) と WordNet Example Sentence Corpus(WNEX) を用いることにより，精度が向上することが報告されている [6][11].本手法においても WNGC と WNEXを訓練コーパスとして追加し，さらなる精度向上を図った。

## 3 提案手法

本手法を図 1 に示す。本手法は, 対象単語を文中の周辺単語に応じて表現する役割を担う SentenceEncoder と，文書全体をべクトルとして表現する役割を担う TextEncoder，及び語義の定義文である Gloss 文をべクトルとして表現する役割を担う GlossEncoder で構成されている. 各エンコーダの深層ネットワーク部分は，事前学習により獲得した一般的な単語の埋め込む表現を用いるために，MPNet により初期化する.

## 3.1 WSD タスクおよび本手法の枠組み

本手法は, 対象単語, 対象単語が属する文と文書，及び対象単語の候補語義に対応付けられた Gloss 文の埋め込み表現を用いる。 入力文 $c=c_{0}, c_{1}, \ldots, w, \ldots, c_{m}$ ( $w$ は曖昧性を解消する対象単語) と, 入力文 $c$ が属する文書 $d$, 及び対象単語 $w$ の候補語義 $S_{w}$ の Gloss 文 $g=g_{0}, g_{1}, \ldots, g_{l}$ が与えられ, 語義 $s=s_{c_{0}}^{0}, s_{c_{0}}^{1}, \ldots, s_{w}^{i}, \ldots, s_{c_{m}}^{j}$ を出力する ( $i^{\text {th }}$ は対象単語の $i$ 番目の候補語義を示す). SentenceEncoder $T_{c}$ は, 式 (1)のように入力文 $c$ 中の対象単語 $w$ をサブトークン $w_{l}=w_{j}, \ldots, w_{k}$ 毎にエンコードし，その平均を $w$ の表現 $r_{w}$ として出力する.

$
r_{w}=\frac{1}{k-j} \sum_{l=j}^{k}\left(T_{c}(c)[l]\right)
$

TextEncoder $T_{d}$ は, 式 (2) で示されるように対象単語 $w$ が属する文書 $d$ をエンコードし, 先頭のトークン (特殊トークン [CLS] に対応) を $d$ の表現 $r_{d}$ として出力する.

$
r_{d}=T_{d}(d)[0]
$

図 1 textBEM の枠組み: ContextEncoder に対象単語が属する文を，TextEncoder に対象単語が属する文書を，GlossEncoder に候補語義の Gloss を入力する．各エンコーダの深層ネットワーク部分は MPNet を用い初期化する。

GlossEncoder $T_{g}$ は，対象単語の候補語義 $s \in S_{w}$ に対応付けられた Gloss $g=g_{0}, g_{1}, \ldots, g_{l}$ をエンコードし，先頭のトークン (特殊トークン [CLS] に対応) を $s$ の表現 $r_{s}$ として出力する. $i=0, \ldots,\left|S_{w}\right|$ とした時,式 (3) で示すように対象単語の語義 $s$ は，対象単語 $w$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{w}$ と $r_{s_{i}}$ の内積及び，対象単語が属する文書 $d$ と候補語義 $s_{i}$ のエンコードされた表現 $r_{d}$ と $r_{s_{i}}$ の内積の平均で計算される.

$
\Phi\left(w, d, s_{i}\right)=\frac{1}{2}\left(r_{w} \cdot r_{s_{i}}+r_{d} \cdot r_{s_{i}}\right)
$

本手法は，モデルの訓練のために cross-entropy loss を使用した. (対象単語, 対象単語の属する文書, 語義) の組 $\left(w, d, s_{i}\right)$ が与えられた時の損失関数を式 (4) に示す.

$
L\left(w, d, s_{i}\right)=-\Phi\left(w, d, s_{i}\right)+\log \sum_{j=0}^{\left|S_{w}\right|} \exp \left(\Phi\left(w, d, s_{j}\right)\right)
$

## 4 実験

## 4.1 データセットおよび評価方法

実験では，Raganato ら [14] の評価手法を用い本手法の検証を行った. 訓練コーパスとして， SemCor，WNGC，及びWNEXを用いた. SemCor および WNGC は WordNet 上の語義に対し, 人手により注釈付けされたコーパスである。 WNEXは，
WordNet 上の各語義の例文に自動で注釈付されたコーパスである．検証セットは，SemEval-2015 (S15) [15]を用いた。テストセットは，Senseval2 (S2) [16], Senseval-3 (S3) [17], SemEval-2007(S7) [18], 及び SemEval-2013 (S13) [19]を用いた.

## 4.2 実験結果

## 4.2.1 ベースラインおよび関連研究との比較

表 2 に提案手法である textBEM および最近の state-of-the-art システムの結果を示す. EWISE は， WordNet で定義された語義間の関係性に基づいた構造化ネットワークを，WSD モデルに統合したモデルである [9]. EWISER は，概念べクトルを事前学習により得たモデルであり, データセットの拡張やグラフ構造を統合している [11]. BEM は, ContextEncoder と GlossEncoder を同時に訓練するバイエンコーダモデルである [10]. 本手法は，BEM がより広範囲の情報を捉えることを可能にしたモデルであるため, BEM を本研究のベースラインに設定した。 BEM-MPNet は，BEM における各エンコー ダを初期化するための事前学習済みパラメータを， BERT-base から MPNet-base に置き換えたモデルである. 表 3 に，提案手法に入力する文書別の結果を示す. 前一文は，対象単語が属する文の直前の 1 文を用いた結果を示す．前全文は，対象単語が属する文以前の全ての文を用いた結果を示す. 全文は，対象単語が属する文書全体を用いた結果を示す。
表 2 English all-words WSD タスクにおける F1-score(\%): ALL は，全テスト用データセットを結合して検証した場合の結果. S，G，E はそれぞれ SemCor，WNGC，及び WNEXを示す. T は, 入力の単位が文書であることを示す. "*"は，スコアが最良のものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく）.

表 3 入力文書別の平均 F1-score: "*"は，スコアが最良のものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

## 4.2.2 語義の解消結果

表 2 より, EWISER は, EWISE と比較し ALL スコアが $8.3 \%$ 高く, 大幅な精度の向上が認められる. BEM は，概念べクトルを同時に学習するバイエンコーダモデルにしたことで，概念べクトルを事前学習により取得する EWISE の精度を上回る。また， EWISER と同様のデータセットを使用して学習することにより，EWISER と同等の精度が得られている. さらに, BEMのエンコーダ初期化用の事前学習済みパラメータを BERT から MPNet に変更することにより，さらに優れた精度が得られている. このことから, MPNet により局所的特徴量をより正確に抽出することは，ニューラル WSD モデルにおいて有益であると考えられる. 本手法である textBEM は，ALL 評価セットで最高精度が得られている。特に名詞と動詞に精度の貢献が確認できる. このことから，より広範囲の文書情報を用いることがニューラル WSD モデルにおいて有益であると言える. 本研究では，MPNet-base を用いている. 一方で MPNet-large を用いることでさらなる精度向上も期待できる. しかし, 本研究では文法情報をより正確に捉えられる MPNet と WSD との親和性, さらにニューラル WSD モデルの局所的特徴量を高精度で抽出することが目的であるため，メモリ効率の高い MPNet-base を用いた。

表 3 は, 入力文書の違いによる精度を示す. 表 3 より, 対象文が属する文書全て (全文)を用いた場合，表 4 エンコーダ初期化用の言語モデル別の平均 F1-score:訓練コーパス SemCorのみを用いて訓練した. 本手法は， バイエンコーダ型を採用し，各エンコーダは BERT-base 及び MPNet-base で初期化した。"*"は，スコアが最良のものと比較して統計的に有意であることを表す（有意水準 $5 \%$ での $\mathrm{t}$ 検定に基づく).

ALL で $81.3 \% て ゙ あり$ 最高精度であった. 特に名詞と動詞の精度が高いことがわかる。一方で「入力なし」と「前一文」，及び「入力なし」と「前全文」の ALL スコアには有意差がなかった. このことから，入力文書の範囲は textBEM の精度向上に関係すること, さらにより広範囲にした方がモデルの精度に貢献すると言える. 表 4 にエンコーダ初期化用の言語モデル別の結果を示す. MPNet-base を用いた場合が ALL 評価セットで BERT よりも優れており, 特に. 名詞，動詞及び形容詞で顕著であった. このことから，絶対位置情報と相対位置情報を相補的に扱う MPNet は，絶対位置情報のみを扱う BERT と比較し，文法情報が重要な WSD タスクとの親和性が高いと言える。

## 5 結論

本研究では，局所的な特徴量を高精度で抽出するためのエンコーダの最適化に加え，バイエンコーダモデルに TextEncoderを統合し，大域的な特徴量を学習する手法を提案した。実験の結果，ベースモデルの ALL スコアと比較し, $2.5 \%$ の精度向上が見られ，エンコーダの最適化および大域的特徴量の抽出手法の有効性が示せた.

## 謝辞

本研究の一部は, 科研費 17K00299, 及び JKA 補助事業の助成を受けたものである.

## 参考文献

[1] Razvan Bunescu Hui Shen and Rada Mihalcea. Coarse to fine grained sense disambiguation in wikipedia. Lexical and Computational Semantics, Vol. 1, pp. 22-31, 2013.

[2] Sascha Rothe and Hinrich Schutze. Autoextend: Extending word embeddings to embeddings for synsets and lexemes. Association for Computational Linguistics, Vol. 53, pp. 1793-1803, 2015.

[3] Mohit Iyyer Matt Gardner Christopher Clark Kenton Lee Luke Zettlemoyer Matthew E. Peters, Mark Neumann. Deep contextualized word representations. Association for Computational Linguistics, Vol. 1, pp. 2227-2237, 2018.

[4] Kenton Lee Kristina Toutanov Jacob Devlin, MingWei Chang. Bert: Pre-training of deep bidirectional transformers for language understanding. Association for Computational Linguistics, Vol. 1, pp.4171-4186, 2019.

[5] Daniel Loureiro and Alipio Jorge. Language modelling makes sense: Propagating representations through wordnet for full-coverage word sense disambiguation. Association for Computational Linguistics, Vol. 57, pp. 56825691, 2019.

[6] Benjamin Lecouteux Lorc Vial and Didier Schwab. Sense vocabulary compression through the semantic knowledge of wordnet for neural word sense disambiguation. Global Wordnet Association, Vol. 10, pp. 108-117, 2019.

[7] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[8] Zexue He Qiaolin Xia Zhifang Sui Baobao Chang Fuli Luo, Tianyu Liu. Leveraging gloss knowledge in neural word sense disambiguation by hierarchical co-attention. Association for Computational Linguistics, pp. 1402-1411, 2018.

[9] Karan Saxena Partha Talukdar Sawan Kumar, Sharmistha Jat. Zero-shot word sense disambiguation using sense definition embeddings. Association for Computational Linguistics, Vol. 57, p. 5670-5681, 2019.

[10] Terra Blevins and Luke Zettlemoyer. Moving down the long tail of word sense disambiguation with gloss informed bi-encoders. Association for Computational Linguistics, Vol. 58, pp. 1006-1017, 2020.

[11] Michele Bevilacqua and Roberto Navigli. Breaking through the $80 \%$ glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. Association for Computational Linguistics, Vol. 58, pp. 2854-2864, 2020.

[12] Yiming Yang Jaime Carbonell Ruslan Salakhutdinov Quoc V. Le Zhilin Yang, Zihang Dai. Xlnet: Generalized autoregressive pretraining for language understanding. Neural Information Processing Systems, pp. 5754-5764.

[13] Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and TieYan Liu. Mpnet: Masked and permuted pre-training for language understanding. Neural Information Processing Systems, Vol. 34, , 2020.

[14] Roberto Navigli Alessandro Raganato, Jose Camacho-
Collados. Word sense disambiguation: A unified evaluation framework and empirical comparison. Association for Computational Linguistics, Vol. 15, pp. 99-110, 2017.

[15] Andrea Moro and Roberto Navigli. Semeval-2015 task 13: Multilingual all-words sense disambiguation and entity linking. Semantic Evaluation, Vol. 9, pp. 288-297, 2015.

[16] Scott Cotton Lauren Delfs Hoa Trang Dang Martha Palmer, Christiane Fellbaum. English tasks: All-words and verb lexical sample. Semantic Evaluation, Vol. 2, pp. 21-24, 2001.

[17] Benjamin Snyder and Martha Palmer. The english allwords task. Semantic Evaluation, pp. 41-43, 2004.

[18] Dmitriy Dligach Martha Palmer Sameer Pradhan, Edward Loper. Semeval-2007 task-17: English lexical sample, srl and all words. Semantic Evaluations, Vol. 4, pp. 87-92, 2007.

[19] Daniele Vannella Roberto Navigli, David Jurgens. Semeval-2013 task 12: Multilingual word sense disambiguation. Semantic Evaluation, Vol. 2, pp. 222-231, 2013.


# A Data Augmentation Method for Building Sememe Knowledge Base via Reconstructing Dictionary Definitions

Xiaoran Li Toshiaki Takano
Adaptive Systems Lab, Shizuoka Institute of Science and Technology
\{2121026.rs, takano. toshiaki\}@sist.ac.jp

## Abstract

A sememe is a semantic language unit of meaning; it is indivisible. Sememe knowledge bases (SKBs), which contain words annotated with sememes, have been successfully applied to many natural language processing tasks. Some extant construction methods for sememe knowledge bases are performed in a limited lexicon with fixed-size sememe annotations. However, the obtained sememe annotation is challenging to extend to more words from other lexicons. In this paper, we proposed a method via reconstructing word definitions for expanding the lexicon. Moreover, we presented an evaluation sememe method utilizing graph embedding techniques and performed many experiments to prove effective. ${ }^{1)}$

## 1 Introduction

A sememe is a semantic language unit of meaning[1]; it is indivisible. However, people usually employ words as the minimum semantic unit because words as semantic representations are available for writing, yet sememe is only a semantic concept. Usually, there is a sense semantic unit between the sememe and the word (As shown in Figure 1). Moreover, linguists believe that all languages have the same limited sememe space[2] (e.g. HowNet SKB[3], which uses about 2,000 language-independent sememes to manual annotate senses of over 100 thousand Chinese and English words). Moreover, cooperate with the multilingual encyclopedic dictionary as BabelNet[4] to build a multilingual SKB as [5]. Furthermore, Sememe can synthesize words and represent the essential meaning was successfully applied to Neural Networks[6][7], Reverse Dictionaries[8] and Textual Adversarial Attacking[9], etc. However, manual annotation is flawed because the meaning of words is incremental with the amount of information, and it is im-

1) Codes are available at https://github.com/SauronLee/SKB-DA

Figure 1 Word-based semantic units (e.g. "apple”. It has very many senses. However, No matter how a word changes its sense, it is always composed of several primary and single sememes.)

practical to add and modify SKB artificially. Some studies on automatic SKB construction have emerged recently. We previously proposed a method[10] based on deep clustering networks to learn sememe. Specifically, this method is based on an Auto-encoder to achieve minimal semantic clustering. Instead of generating specific languageindependent sememes, it generates word embeddings with approximate sememe meaning, Regrettably, which is imprecise. Moreover, (Qi et al. 2021)[11] explored an automatic way to build an SKB via dictionaries with a Controlled Defining Vocabulary (CDV)[12], and demonstrate the effectiveness of this method; it is even superior to the most widely used HowNet SKB. The method is to extract the CDV as sememes in the dictionary definition. However A CDV is composed of high-frequency words. If the dictionary is large enough, it does not cover all words perfectly, which means some complex words can not acquire sememe.

To solve this problem, we proposed a way of reconstructing word definitions to increase the lexical coverage of CDV. We hypothesized that if the sememe can represent the basic meaning of a word, then if replacing the word with its sememes does not change its original meaning. More specifically, we solve the problem of CDV coverage by replacing the definitions of some words that CDV

widow: A woman whose husband dies is a widow .

husband: A husband is a male in a marital relationship male: Male is the séx of an organism

Figure 2 If "widow" is a complex word and "husband" is not in sememes, we can use the definition instead of "husband".

does not cover with definitions consisting of sememe (As shown in Figure 2). Finally, we employed the sememe internal evaluation criteria defined in [13] for evaluation. Moreover, we proposed a novel method to evaluate sememe by constructing a sememe graph. Because we consider the weight of sememe when constructing the sememe graph, it performs excellently in both evaluation methods. We shown the results in section 3 .

## 2 Methodology

This section will detail the SKB construction method based on reconstructed word definitions and how to build a sememe graph for evaluation.

## 2.1 Building Sememe Knowledge Base

We employed the sememe search strategy of DictSKB[11]. It is intuitive to operate. Because a good sememe can represent the essential meaning of a word, it is most straightforward to extract the sememe from the word's definition. This method starts with finding the highest frequency $m$ words in the dictionary definition to cover as many dictionary words as possible (Previous experience: $m \approx 2 k$ ). Unlike the specialized dictionaries employed by DictSKB, we utilized WordNet ${ }^{2}$ and Wikipedia $^{3)}$ as the base corpus for building SKB. WordNet contains 0.2 million pairs of word senses and definitions, while Wikipedia contains 6 million pairs of words and detailed explanations. Our approach is divided into two modules. Since the word definitions in WordNet are shorter and more precise, we first find the initial Sememe from WordNet and construct a WordNet-based SKB by matching the annotated words in WordNet. Then we expanded it to Wikipedia based on the WordNet-based SKB

2) https://wordnet.princeton.edu/

3) https://dumps.wikimedia.org/
Table 1 Statistics of WordNetSKB, WikiSKB \& WikiSKB-DA. WikiSKB-DA is a data augmented version of WikiSKB, and compared with HowNet and DictSKB. The gray font represents the previous SKB results. ${ }^{6)}$ \#AvgSem denotes the average Sememe number per sense, and "+" represents this average over four.

(Like Figure 3).

## 2.1.1 WordNet-based SKB

First, we remove the stop words ${ }^{4)}$ and meaningless characters and used the entity linking tool TAGME ${ }^{5)}$ to find the $2 k$ most frequent topic words from HowNet word definitions as the base sememes. TAGME can identify meaningful short phrases in an unstructured text and link them to a relevant Wikipedia page. This annotation process has implications that go far beyond the enrichment of the text with explanatory links because it concerns contextualization and, in some way, the understanding of the text. A case in point, the definition "A husband is a male in a marital relationship." is semantically enriched by the relations with the entities "husband", "male" and "marital relationship". We then used the link_probability parameter provided by TAGME to rank the entities in the word's definition and kept only the first four entities with the highest probability as sememes. We compared the filtered results with DicSKB and HowNet (In Table 1).

## 2.1.2 Wikipedia-based SKB

The Wikipedia-based SKB construction is roughly the same as WordNetSKB. The difference is that Wikipedia's explanation is too detailed, and in addition, Wikipedia does not have semantic sense concepts, which significantly increases the noise of constructing SKB. To solve these problems, we took the following trick,
- Only the first two sentences of each entry in Wikipedia are adopted.

Figure 3 SKB Expansion Flow Chart: We use WordNet as the original dictionary and lexical expansion through Wikipedia, sharing a sememe set (As $C D V_{\text {ori }}$ ) between them. From the right side of the illustration, we used the look-up table method to replaced the Definition of Dict ${ }_{\text {oth-DA }}$ with the Sememe of $S K B_{\text {ori }}$, which is a straightforward operation.
- Traverse each word in the Wikipedia entry and use NLTK to terms lemmatization.
- Use TF-IDF to remove words below the threshold from the definition. (We set the lowe bound =4)
- Use the polysemantic annotations in Wikipedia as the sense.
- Delete the senses of polysemous words containing the meaning associated with "film", "novel", "album", "song", "band", "name", “ep", "game", "surname" and "tv series".
- Keep only Wikipedia entries with a one-word title.

The WikiSKB was then constructed using the same $2 k$ sememes as WordNetSKB. The statistics in Table 1. Since WordNet-based sememes do not cover the Wikipedia entry definitions perfectly, we reconstructed the entries that were not covered. In detail, we first used TAGME to extract the entities of each entry and adopted the $2 k$ most frequent entities as sememes according to the same method as WordNetSKB. Then we found these words with the same entities from WordNetSKB and replaced them with the sememes of these words. We also put the statistics of the augmented version for WikiSKB in Table 1.

## 2.1.3 Sememe-based Graph Embedding

Our idea about the evaluation of sememe is to construct a bipartite graph by linking words with sememe to learn the embedding representation of words and then evaluate the quality of sememe by assessing the quality of word embedding (Like Figure 4). We employ second-order similarity of LINE[14] to train the node vectors regarding the graph embedding model, which is fast and intuitive. In detail, the probability of generating a neighbor node $v_{j}$ given a node

Figure 4 Sememe based bipartite graph: We only learn the embedding representation of words by sememe, which means there is no line between words; we use TF-IDF for the weights of edges. The figure shows that "wife" and "husband" contain the same sememe, which should have approximate embedding representations. Note that here we do not consider the embedding representation of the sememe, so we use index instead of the word of the sememe itself.

$v_{i}$ can be expressed in the following form:

$
p\left(v_{j} \mid v_{i}\right)=\frac{\exp \left(\vec{u}_{j}^{\prime T} \cdot \vec{u}_{i}\right)}{\sum_{k=1}^{|V|} \exp \left(\vec{u}_{k}^{\prime T} \cdot \vec{u}_{i}\right)}
$

Where $\vec{u}$ and $\vec{u}^{\prime}$ are denoted as the vector of $v$ itself and $v$ when it is a neighbor, respectively. The empirical probability as $\hat{p}\left(v_{j} \mid v_{i}\right)=\frac{w_{i j}}{d_{i}}$, where $w_{i j}$ is the weight of the edge $i, j$; and $d_{i}$ is the degree of vertex $i$. If we define the importance factor $d_{i}$ of the node, the loss function can be defined as

$
-\sum_{i \in V} d_{i} K L_{\text {divergence }}\left(\hat{p}\left(\cdot \mid v_{i}\right), p\left(\cdot \mid v_{i}\right)\right)
$

## 3 Evaluations

This section uses two methods to evaluate our SKB: a collaborative filtering method[15] in subsection 3.2 and an approach based on constructing sememe graphs in subsection 3.2.

Table 2 The results on Consistency Check of Sememe Annotations: MAP score of WordNetSKB exceeds the DictSKB, which we indicated in boldface.

Table 3 The results on the Sememe graph: We merged WordNetSKB and WikiSKB. These tasks provide human scoring of the relationship between two words, thus assessing the degree of positive word relatedness. The method is to first calculate the cosine similarity of the two words and then compare them with the manual tags to calculate the Spearman correlation coefficient ${ }^{8)}$ for scoring.

## 3.1 Evaluate on Consistency Check of Sememe Annotations

This method is motivated by the idea that semantically close senses should have similar sememes. It actually implements a sememe prediction process that predicts sememes for a small proportion of senses according to the sememe annotations of the other senses. We have evaluated our SKB using open source code ${ }^{7)}$. For hyperparameters, we set the same hyperparameters as the original paper[11], the number of evaluating epochs is 10 , the threshold is 0.8 , and the descending confidence factor is 0.93 . The evaluation results are in Table 2. We discovered that the accuracy decreases with the increase of the dictionary lexicon. It is intuitive that the dictionary has many synonyms, while the sememe is static.

## 3.2 Evaluate on Sememe Graph

Our ultimate goal is to build a large SKB, so we combined the knowledge of both SKBs and evaluated them on some test sets (Shown in Table3). We first performed node embedding training using LINE $^{9)}$, where the size of the node embedding is 200 dimensions, the total number of training samples is 100 million, the starting value of the

Table 4 Sememe comparison on the Ohsumed dataset. Where "non" means no sememe of the word, we have merged WordNetSKB and WikiSKB+ as SKB-DA. More examples can be found in Appendix Table5.

learning rate is 0.025 , the number of negative samples is 5 , and we only used second-order proximity for training. SKB is sense-based, but each word in Word Similarity Tasks has only one meaning. Since the sense of words in Wikipedia is huge, we keep only disambiguation and noun sense for each word, and found that a higher number of sememe for a sense is a more accurate representation of the meaning. It is undoubtedly. Since we use only about four sememes to represent the meaning of a sense, it may lose some semantics, but the essential meaning can be kept. We released the data to reproduce the results. ${ }^{10)}$ Note that since the previous SKBs (As HowNet\&DictSKB) did not provide a weight parameter for each sememe, we cannot compare the previous SKBs. However, to demonstrate that our SKB can better represent specialized words we extracted some specialized words in the Ohsumed dataset ${ }^{11)}$ for comparison (Shown in Table 4). Note that we boost the number of sememe to 5,000 to maximize the lexicon, other parameters are the same as before, and the final lexicon size of our SKB-DA is 910,369 .

## 4 Conclusion

This study focuses on the lexical expansion of SKB, which expands the vocabulary and dramatically increases the lexical sense. It helps in the semantic understanding of particular domain text classification and some downstream tasks. This paper's proposed method of reconstructing dictionary definitions can effectively expand the original SKB and have promising results on some internal evaluation metrics. In future research, we will use sememe to perform short text classification tasks or use SKB knowledge to apply to Abstract Meaning Representation to improve the accuracy of downstream tasks.

## References

[1] Leonard Bloomfield. A set of postulates for the science of language. Language, Vol. 2, No. 3, pp. 153-164, 1926.

[2] Anna Wierzbicka. Semantics: Primes and universals: Primes and universals. Oxford University Press, UK, 1996.

[3] Zhendong Dong and Qiang Dong. Hownet and the computation of meaning (with Cd-rom). World Scientific, 2006.

[4] Roberto Navigli and Simone Paolo Ponzetto. Babelnet: Building a very large multilingual semantic network. In Proceedings of the 48th annual meeting of the association for computational linguistics, pp. 216-225, 2010.

[5] Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, and Zhiyuan Liu. Towards building a multilingual sememe knowledge base: Predicting sememes for babelnet synsets. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8624-8631, 2020.

[6] Yihong Gu, Jun Yan, Hao Zhu, Zhiyuan Liu, Ruobing Xie, Maosong Sun, Fen Lin, and Leyu Lin. Language modeling with sparse product of sememe experts. arXiv preprint arXiv:1810.12387, 2018.

[7] Fanchao Qi, Junjie Huang, Chenghao Yang, Zhiyuan Liu, Xiao Chen, Qun Liu, and Maosong Sun. Modeling semantic compositionality with sememe knowledge. arXiv preprint arXiv:1907.04744, 2019.

[8] Lei Zheng, Fanchao Qi, Zhiyuan Liu, Yasheng Wang, Qun Liu, and Maosong Sun. Multi-channel reverse dictionary model. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 312-319, 2020.

[9] Yuan Zang, Fanchao Qi, Chenghao Yang, Zhiyuan Liu, Meng Zhang, Qun Liu, and Maosong Sun. Word-level textual adversarial attacking as combinatorial optimization. arXiv preprint arXiv:1910.12196, 2019.

[10] 李笑然, 高野敏明. The analysis about building crosslingual sememe knowledge base based on deep clustering network. 人工知能学会研究会資料言語 - 音声理解と対話処理研究会 92 回 (2021/9), p. 06. 一般社団法人人工知能学会, 2021 .

[11] Fanchao Qi, Yangyi Chen, Fengyu Wang, Zhiyuan Liu, Xiao Chen, and Maosong Sun. Automatic construction of sememe knowledge bases via dictionaries. arXiv preprint arXiv:2105.12585, 2021.

[12] Sidney I Landau. Bt sue atkins and michael rundell. the oxford guide to practical lexicography., 2009.

[13] LIU Zhiyuan SUN Maosong LIU Yangguang, QI Fanchao. Research on consistency check of sememe annotations in hownet. Vol. 35, No. 4, p. 23, 2021.

[14] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. Line: Large-scale information network embedding. In Proceedings of the 24th international conference on world wide web, pp. 1067-1077, 2015.

[15] Ruobing Xie, Xingchi Yuan, Zhiyuan Liu, and Maosong Sun. Lexical sememe prediction via word embeddings and matrix factorization. In IJCAI, pp. 4200-4206, 2017.

[16] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kraval- ova, Marius Pasca, and Aitor Soroa. A study on similarity and relatedness using distributional and wordnet-based approaches. 2009.

[17] George A Miller and Walter G Charles. Contextual correlates of semantic similarity. Language and cognitive processes, Vol. 6, No. 1, pp. 1-28, 1991.

[18] Herbert Rubenstein and John B Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, No. 10, pp. 627-633, 1965.

Table 5 Sememe comparison on the Ohsumed dataset. Where "non" means no sememe of the word, we have merged WordNetSKB and WikiSKB+ as SKB-DA, note that the SKB-DA* with an asterisk indicates that this sememe is from WikiSKB. We extracted only the first 15 sentences of specialized words in the Ohsumed. When constructing SKB-DA, we did not purposely adjust the medical-related words, but it performed well. We found that DictSKB has insufficient vocabulary and words with similar meanings with the same sememes. e.g., "clostridium" and "colitis". In this way, it is questioning to classify words effectively in the downstream task of natural language processing.


# Automatic Interlingual Homograph Recognition with Context Features

Yi Han Ryohei Sasano Koichi Takeda
Graduate School of Informatics, Nagoya University
han.yi.u2@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## Abstract

In this paper, we propose a method that incorporates cross-lingual word embedding similarity and degree of co-occurrence in parallel sentences to automate the process of recognizing interlingual homographs. We conduct experiments with multiple word embedding models and different co-occurrence metrics in both Chinese-Japanese and English-Dutch language pairs. Experimental results demonstrate that our proposed method is able to produce accurate and consistent predictions across languages.

## 1 Introduction

When learning a foreign language, we often come across words in different languages sharing identical orthographic forms. This is commonly seen in languages with similar writing systems. Such form-identical words with similar semantic meaning across languages are called cognates, while those with different semantic meanings are called interlingual homographs [1,2]. For instance, the Dutch word "angle" means "sting", as opposed to its form-identical word in English. It is not unique for phonographic writing systems. In languages sharing logographic writing systems [3] such as Chinese and Japanese, we can also see interlingual homograph examples like the word "平和", which means "gentle" in Chinese whereas "peace" or "harmony" in Japanese. For second language learners, interlingual homographs can cause learning difficulties as second language acquisition often comprises relating a foreign language to ones' native language [4, 5]. Likewise, interlingual homographs can also pose challenges to natural language processing (NLP) tasks. However, unlike the in-depth investigation of monolingual homographs in tasks like word sense disambiguation and machine translation [6], less attention has been paid to the interlingual homographs. Dominant approaches in psychology and lan-

 \\

\cline { 3 - 4 } & &  \\

Figure 1 An Example of cognate and interlingual homograph in Chinese-Japaneses. * denotes the English translation of sentence examples.

guage education introduce interlingual homograph recognition to alleviate the semantic ambiguity. Despite the merits, massive manual annotation works by bilinguals are quite costly [2].

We contribute to this question by automating the process of recognizing interlingual homographs, which can be executed efficiently allowing the absence of linguistic knowledge. Specifically, we manage to involve context features by adopting word embedding similarity and degree of co-occurrence to perform recognition. We conduct experiment on two pairs of languages that are etymologically distant from each other, namely, Chinese-Japanese and English-Dutch to exploit the feasibility of our proposed method. Experimental results on both pairs prove the effectiveness of the proposed method.

## 2 Methodology

In this work, we tackle the interlingual homograph recognition across languages. As we cannot find clues from their appearance, we need to make predictions based on their context information. Motivated by this, we formulate our criterion with two important components: word embedding similarity and degree of co-occurrence in parallel sentences.

## 2.1 Word Embedding Similarity

The distribution hypothesis suggests that the more semantically similar two words are, the more they occur in similar linguistic contexts [7]. An intuitive way to decide whether a pair of words are cognates or interlingual homographs, is to exploit the word embedding similarity. Generally, there are two types of word embedding, namely the static word embedding, such as Glove[8] and fastText[9], and the dynamic/contextual embedding, such as ELMo[10] and BERT[11].

To compute the similarity of word embeddings, we have to assure that they are in the same vector space. As the words in our setting are from two different languages, we need to introduce an operation: cross-lingual mapping. Cross-lingual mapping aligns independently trained monolingual word embeddings into a single shared space. Existing approaches usually use a bilingual dictionary as supervision signals. Formally, let $L_{1}$ and $L_{2}$ represent a pair of languages, and let $u$ and $v$ represent words from $L_{1}$ and $L_{2}$. Given a bilingual dictionary $Z=\left.\{\left(u_{n}, v_{n}\right)\right.\}_{n=1}^{N}$, we obtain representations of each word: $\mathbf{u}_{1}, \ldots, \mathbf{u}_{N}, \mathbf{v}_{1}, \ldots, \mathbf{v}_{N}$, where $\mathbf{u}_{n}, \mathbf{v}_{n} \in \mathbb{R}^{d}$. Mikolov [12] learns the optimal projection matrix $W$ by minimizing:

$
W^{*}=\underset{W \in \mathbb{R}^{d \times d}}{\arg \min }\|W \mathbf{A}-\mathbf{B}\|_{F}
$

where $\mathbf{A}$ and $\mathbf{B}$ are two matrix containing all embeddings of words in $\mathbf{Z}$, namely $\mathbf{A}=\left[\mathbf{u}_{1}, \ldots, \mathbf{u}_{N}\right], \mathbf{B}=\left[\mathbf{v}_{1}, \ldots, \mathbf{v}_{N}\right]$, $\mathbf{A}, \mathbf{B} \in \mathbb{R}^{d \times N}$. Xing [13] restrict $W$ to be orthogonal, turning Equation 1 into the Procrustes problem [14, 15] by:

$
W^{*}=U V^{T}, U \Sigma V^{T}=\operatorname{SVD}\left(\mathbf{B} \mathbf{A}^{T}\right)
$

where $\operatorname{SVD}(\cdot)$ is the singular value decomposition.

We generally follow Xing's method to get a projection matrix, except that we obtain $W$ with parallel sentences instead of bilingual dictionary. Let $\mathrm{D}=\left.\{\left(x_{n}, y_{n}\right)\right.\}_{n=1}^{N}$ represent a parallel corpus of $L_{1}$ and $L_{2}$. For each sentence $x_{n}=w_{1}^{1}, \ldots, w_{I}^{1}, y_{n}=w_{1}^{2}, \ldots, w_{I}^{2}$, we obtain sentence embedding by averaging the word embeddings:

$
\mathbf{x}_{n}=\frac{1}{I} \sum_{i=1}^{I} \mathbf{w}_{i}^{1}, \quad \mathbf{y}_{n}=\frac{1}{I^{\prime}} \sum_{i=1}^{I^{\prime}} \mathbf{w}_{i}^{2}
$

Thus in our setting, $\mathbf{A}=\left[\mathbf{x}_{1}, \ldots, \mathbf{x}_{N}\right], \mathbf{B}=\left[\mathbf{y}_{1}, \ldots, \mathbf{y}_{N}\right]$. We then perform Equation 2 to get $W$.

Figure 2 Overview of our proposed method

For a pair of form-identical words $\left(z^{1}, z^{2}\right), z^{1} \in L_{1}, z^{2} \in$ $L_{2}$, we first obtain word embeddings in corresponding languages $\left(\mathbf{z}^{1}, \mathbf{z}^{2}\right)$, then compute the cosine similarity by:

$
s=\cos \left(W \mathbf{z}^{1}, \mathbf{z}^{2}\right)
$

With contextual word embedding models [16], we obtain the embedding of a single word $z$ in an alternative way: select a set of sentences containing $z$; compute embeddings of $z$ in every sentence; get the average of all embeddings. For Chinese and Japanese, we take an average embedding of all characters comprising word $z$.

## 2.2 Degree of Co-occurrence in Parallel Sentences

Degree of co-occurrence reveals how often two words occur in similar linguistic contexts. We develop this intuition further and assume that a pair of interlingual homographs are less likely to appear in parallel sentences. We introduce two methods to measure degree of co-occurrence: pointwise mutual information (PMI) and Jaccard similarity coefficient. Given a parallel corpus $\mathrm{D}=\left.\{\left(x_{n}, y_{n}\right)\right.\}_{n=1}^{N}$, the PMI of a pair of form-identical words $\left(z^{1}, z^{2}\right)$ is:

$
\operatorname{PMI}\left(z^{1}, z^{2}\right)=\log \frac{P_{\mathrm{D}}\left(z^{1}, z^{2}\right)}{P_{\mathrm{D}}\left(z^{1}\right) P_{\mathrm{D}}\left(z^{2}\right)}
$

where $P_{\mathrm{D}}\left(z^{1}, z^{2}\right)$ represents the probability of $z^{1} \in\left.\{x_{n}\right.\}$ meanwhile $z^{2} \in\left.\{y_{n}\right.\} . P_{\mathrm{D}}\left(z^{1}\right)$ denotes the probability of $z^{1} \in\left.\{x_{n}\right.\}$ and $P_{\mathrm{D}}\left(z^{2}\right)$ denotes the probability of $z^{2} \in\left.\{y_{n}\right.\}$ Jaccard similarity coefficient is:

$
\operatorname{Jaccard}\left(z^{1}, z^{2}\right)=\frac{C\left(z^{1}, z^{2}\right)}{C\left(z^{1}\right)+C\left(z^{2}\right)-C\left(z^{1}, z^{2}\right)},
$

where $C\left(z^{1}, z^{2}\right)$ denotes counts of $z^{1} \in\left.\{x_{n}\right.\}$ meanwhile $z^{2} \in\left.\{y_{n}\right.\} . C\left(z^{1}\right)$ represents counts of $z^{1} \in\left.\{x_{n}\right.\}$ and $C\left(z^{2}\right)$ represents counts of $z^{2} \in\left.\{y_{n}\right.\}$.

Table 1 Statistics of cognates and homograph datasets

## 2.3 Proposed Method

Figure 2 illustrates the framework of our proposed method. Given a pair of form-identical words, we first obtain word embeddings with embedding models and align them to a shared space with a linear mapping estimated with a parallel corpus. Then we get a similarity score by computing the cosine similarity of embeddings across languages. We also extract degree of co-occurrence from parallel sentences. Finally, we compute the z-score of the above two scores and fuse them by addition calculation in pairs. We make decisions whether a pair of words are interlingual homographs or cognates by the fusion scores.

## 3 Experiment

## 3.1 Dataset

We conduct experiments on two languages pairs: Chinese-Japanese and English-Dutch. Each language pair involves two datasets, i.e., cognates and interlingual homographs. For English-Dutch language pair, we directly take advantage of an existing database containing EnglishDutch cognates and interlingual homographs [17]. For Chinese-Japanese, we refer to a Chinese-Japanese homograph dictionary [18] to derive interlingual homographs. Note that, as our work focuses on interlingual homographs with explicit disparity, we exclude the form-identical words with partially overlapped meanings. We then refer to Chinese-Japanese dictionary [19] to extract identical cognates. Table 1 lists the numbers of cognate pairs and homograph pairs for each of the Chinese-Japanese and English-Dutch datasets. We use Wikipedia dataset ${ }^{1)}$ for contextual word embedding extraction. We extract 1 million sentence pairs respectively from Chinese-Japanese and English-Dutch WikiMatrix [20] as parallel sentences.

## 3.2 Word Embedding Models

We employ fastText [9], BERT, and multilingual BERT (mBERT) [11], representing static word embedding model,

Table 2 Pretrained BERT and mBERT Models used in our experiment

monolingual contextual embedding model, and multilingual contextual embedding model, respectively.

For fastText, Facebook has published pretrained 300dimensional word embeddings ${ }^{2)}$ for 157 languages from which we extract embeddings for our target languages. For BERT and mBERT, we use 12-layers transformer encoder pretrained by huggingface with masked language modeling $^{3)}$. The contextual word embeddings produced by these models are all 768-dimensional.

It's worth noting that because in Chinese BERT and mBERT, tokens are processed in the form of characters, so we also choose to use Japanese BERT with character-based tokenization instead of commonly used word-base model for coordination and fair comparison. The models used in this work are summarized in Table 2:

## 3.3 Experimental Settings

As described in Section 2, we explore the proposed method in three groups of experiments, including the word embedding similarity (EmbSim), degree of co-occurrence (CoR), and the fusion of these two, represented as follows.
- EmbSim: fastText, BERT, mBERT
- CoR: PMI, Jaccard
- Fusion: EmbSim+Jaccard

Particularly, we extract contextual embedding of words in our dataset, described in Section 3.1 by the following procedures. (1) For each word, we search the Wikipedia dataset by the word and select 300 sentences. (2) Derive embedding vectors of this word by putting each selected sentence into a pre-trained contextual embedding language model. (3) Take an average of derived vectors as the integrated representation, i.e., contextual embedding of this word.

Note that, to testify our method in a most general scenario, we conform to the original settings of all above

2) https://github.com/facebookresearch/fastText

3) https://huggingface.co

Table 3 Interlingual homograph recognition performance in terms of F1 score and Accuracy.

Table 4 A misleading example with contradictory between co-occurrence statistics and PMI scores.

mentioned pre-trained language models, without parameter tuning.

## 3.4 Experimental Results

Table 3 shows the results of all experiments. We report F1 score and accuracy for the assessment of the interlingual recognition capability of our method.

EmbSim fastText demonstrates superior performance compared with the other two contextual word embedding models. We attribute contextual word embedding models' inferior performance to the absence of fine-tuning process and the challenge brought by their dynamic property. If we compare monolingual BERT and mBERT, the results vary by languages. Specifically, English-Dutch pair benefits more from mBERT, while Chinese-Japanese pair benefits much more from monolingual BERT.

CoR Jaccard much outperforms PMI in both language pairs. We blame PMI's poor performance on the unbalanced numbers of words appearing in WikiMatrix data. Table 4 shows an example to demonstrate this problem, where “委員” is a cognate, which means "committee member" in both Chinese and Japanese, and “一味” is an interlingual homograph, which means "blindly" in Chinese while "conspirators" in Japanese. From the statistics, we can easily draw a conclusion that “一味” is more likely to be an interlingual homograph than “委員”, however, the PMI score shows the opposite result.

Fusion We choose Jaccard to corporate each method in the EmbSim group. As illustrated, all three methods gain improvements with Jaccard, among which, the fast-
Text+Jaccard won the best place among all set-ups. This shows that semantic information contained in word embeddings sometimes is not enough, it is advisable to supplement it with extra knowledge.

## 4 Conclusion and Future Work

In this work, we integrate word embedding similarity into degree of co-occurrence in parallel sentences to automatically recognize interlingual homographs in different languages. We perform it on two language pairs, i.e., Chinese-Japanese and English-Dutch, and the experimental results exhibit the effectiveness of our method. fastText shows better performance than contextualized embeddings and by the supplement of Jaccard information, the performance can be further improved in both language pairs.

A gap can be observed between the performance of Chinese-Japanese with mBERT and the other performances. There is a possible reason that too many Chinese and Japanese identical tokens are shared when pretraining multilingual BERT and the oversharing would bring a negative effect to the multilingual pretrained language model. We will test this assumption and try to mitigate this problem in future work.

## References

[1] Ton Dijkstra, Jonathan Grainger, and Walter JB Van Heuven. Recognition of cognates and interlingual homographs: The neglected role of phonology. Journal of Memory and Language, Vol. 41, pp. 496-518, 1999.

[2] Kristin Lemhöfer and Ton Dijkstra. Recognizing cognates and interlingual homographs: Effects of code similarity in language-specific and generalized lexical decision. Memory \& Cognition, Vol. 32, pp. 533-550, 2004.

[3] Richard Sproat and Alexander Gutkin. The taxonomy of writing systems: How to measure how logographic a system is. Computational Linguistics, pp. 477-528, 2021.

[4] Kexin Xiong and Katsuo Tamaoka. Investigation on the correspondence between the part-speech characteristics of
japanese-chinese homomorphic two-character kanji words (In Japanese). 2014.

[5] Robert W. Long and Yui Hatcho. The first language' $s$ impact on 12: Investigating intralingual and interlingual errors. English Language Teaching, 2018.

[6] Frederick Liu, Han Lu, and Graham Neubig. Handling homographs in neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 13361345, 2018.

[7] Zellig S. Harris. Distributional structure. 1981.

[8] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014

[9] Piotr Bojanowski, Édouard Grave, Armand Joulin, and Tomáš Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics (TACL), Vol. 5, pp. 135-146, 2017.

[10] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (NAACL-HLT), pp. 2227-2237, 2018.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019 .

[12] Tomás Mikolov, Quoc V. Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv preprint arXiv:1309.4168, 2013.

[13] Chao Xing, Dong Wang, Chao Liu, and Yiye Lin. Normalized word embedding and orthogonal transform for bilingual word translation. In The 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1006-1011, 2015.

[14] Zirui Wang, Jiateng Xie, Ruochen Xu, Yiming Yang, Graham Neubig, and Jaime G. Carbonell. Cross-lingual alignment vs joint training: A comparative study and A simple unified framework. In 8th International Conference on Learning Representations (ICLR), 2020.

[15] Guillaume Lample, Alexis Conneau, Marc'Aurelio Ranzato, Ludovic Denoyer, and Hervé Jégou. Word translation without parallel data. In 6th International Conference on Learning Representations (ICLR), 2018.

[16] Hanan Aldarmaki and Mona Diab. Context-aware crosslingual mapping. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 3906-3911, 2019.

[17] Eva D Poort and Jennifer M. Rodd. A database of dutch-english cognates, interlingual homographs and translation equivalents. Journal of Cognition, 2019.

[18] Changfu Xu Yongquan Wang, Shinjiro Koizumi. Chinese Japanese Interlingual Homograph Dictionary. Commercial Press (In Chinese), 2009.

[19] Ltd. Obunsha Co. Dual solution to learn Japanese and Chinese dictionaries: Standard Mandarin Dictionary. Foreign language education research publisher (In Chinese), 2005.

[20] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. Wikimatrix: Mining 135m parallel sentences in 1620 language pairs from wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1351-1361, 2021.


# 現代文 BERT を利用した日本語歴史コーパスの語義曖昧性解消

多喜凪
東京農工大学工学部情報工学科
s182739s@st.go.tuat.ac.jp

## 概要

本研究では，現代文 BERT による日本語歴史コー パスの語義曖昧性解消を行う. 分類語彙表の語義タグが割り当てられた 8 作品 38 単語を対象とする. 分析を行ったところ, 訓練済み日本語現代文 BERT モデルを用いて固定のハイパーパラメータで fine-tuning した場合に，マクロ平均が $83.30 \%$ ，マイクロ平均が $85.96 \%$ となり，いずれの結果もベースラインを有意に上回った. 特に出現頻度が高い単語の語義曖昧性解消に対して優れた結果を示した.

## 1 はじめに

語義曖昧性解消 (Word Sense Disambiguation, WSD) とは，自然言語処理の機械学習において，文中のある単語がどのような意味か判断する処理である. たとえば「plant」という単語の場合，「植物」や「工場」といった複数の語義が挙げられる. このような多義語の語義を, 対象単語の周囲の単語の品詞や,単語同士の共起関係などを特徴として推定する。

WSD は上記の「plant」の例のように，一つの単語に対してそれぞれ別の単語が割り当てられるケースがあるような機械翻訳の分野において，非常に重要である．多義語の語義を正確に推定することで，自動翻訳や質問応答など多数のアプリケーションの精度向上に寄与することができる。

古文の WSD を行うにあたり，日本語歴史コーパス（CHJ）[1]においてはデータが少量であるため，現代文と比較して語義の識別精度が低いことが課題である。さらに，研究範囲を古文全体へ広げると奈良時代から江戸時代までが対象となり，言語に時代的な開きがある. これらのことから，様々なタスクで高い精度の古文モデルを得ることは難しいといわれている.

本研究では，BERT という汎用性の高い自然言語処理モデルによる，日本語歴史コーパスの WSDを行う． 2019 年に東北大学 [2] から公開された，より

\author{
古宮嘉那子 \\ 東京農工大学大学院工学研究院 \\ kkomiyaago. tuat.ac.jp
}

高精度の訓練済み日本語現代文 BERT モデルを用いて fine-tuning する手法をとる.

## 2 関連研究

現代文の WSD に関する研究は，数多く行われている. なかでも近年の，単語の分散表現を利用した手法について述べる. 2013 年に Tomas Mikolov ら $[3,4,5]$ が自然言語処理のモデルである word2vec を公開した。これは，同じ文脈に現れる単語は類似した意味を持つという考えに基づいた手法である. word2vec の 2 層ニューラルネットワークというシンプルな構造によって，大量の文章データから単語間の意味関係をべクトルとして，現実的な計算量で得ることが可能となった.

この技術を利用した，現代日本語書き言葉コーパスの教師なし all-words の WSD として，鈴木ら [6] の研究がある. 鈴木らは対象単語とその類義語から周辺単語の分散表現を作成し，ユークリッド距離の計算によって語義の推定を行っている.

古文用形態素解析辞書の開発に関しては，小木曽 [7] の研究がある。小木曽は, 国立国語研究所が中心となって開発した電子化辞書 UniDic を古文へ応用し，幅広い時代の日本語に対応した通時コーパスを構築する計画を紹介している。UniDicでは，見出し語に摇れの少ない短単位を採用している. さらに，テキストの種類でグループ化し，地の文と会話文を区別して辞書の作成を行うことで，古文用形態素解析辞書の解析精度を向上させることが可能であると小木曽は述べている。

高久弓 [8] は，通時的な領域適応によって古文から現代文への機械翻訳を行う手法を提案した。高久らは通時適応で特定の時代にしか現れない語彙を訳出し, 翻訳品質の改善が見られたと結論づけている. 田邊 [9] は word2vec を用いた古文の WSD を行い，古文コーパスから作った分散表現を初期値として，現代文のコーパスで fine-tuning する手法の有効性を示している。

## 3 提案手法

本研究では，東北大学の日本語の訓練済み現代文 BERT モデルを利用する．BERT は，Transformer をベースにした，自然言語処理モデルである. 2018 年に Google の Devlin ら [10] によって英語モデルが公開された. Devlin らは深層双方向アーキテクチャの有用性と，事前学習と fine-tuning が幅広いタスクに有効であることを示した. fine-tuning は領域適応の手法の 1 つで，初期のパラメータを再学習によって，様々なタスクに応じて微調整する．そこで，学習用の目的データが少ない場合，多量のデータを用いて事前学習を行い，その学習データを目的データへ適応させるという手段が考えられる. 本研究ではこのように，現代文 BERT の古文への fine-tuning を行う。実験手法は 3 種類設定する.

(1)訓練済み現代文 BERT モデルを古文の WSD の各対象語に fine-tuning する。

(2)(1)と同様の fine-tuning を行うが，前の対象語の学習で得られたモデルを次の対象語の学習に使用する.

(3)訓練済み現代文 BERT モデルの出力を 2 つに変更し，古文の文書分類とWSD に対して，同時に fine-tuning する.

本研究で扱うモデルは BERT-base と同等のアー キテクチャをもち，2020 年 8 月時点の日本語版 Wikipedia データを使用して，事前学習を行っている。その中でも，より精度が高くなるとされる Whole Word Masking を導入したバージョンを用いる. Whole Word Masking とは, 事前学習時に単語単位で MASKを行い，MASK する単語に対応するサブワードも MASKする方式である.

## 4 データ

## 4.1 コーパス

日本語歴史コーパスは，国立国語研究所によって日本語史研究の基礎資料としての開発のために構築されているコーパスである．全テキストに読み・品詞などの形態論情報が付与されている. 電子資料として, 総索引ができることに加え，より高度な検索や集計を行うことが可能となる。

本研究では, 竹取物語, 土佐日記, 今昔物語集, 方丈記, 宇治拾遺物語, 十訓抄, 徒然草, 虎明本狂言の表 1 日本語歴史コーパスの作品と単語数

8 作品の日本語歴史コーパスを用いる. 作品と単語数について表 1 に示す. 平安時代と鎌倉時代の作品が中心となる.コーパスの 10 項目のうち, 本研究では出現書字形 (orthToken), 語彙素 (lemma), 分類語彙表番号（Word List by Semantic Principles,wlsp）の 3 項目を主に利用する。コーパス名 (corpusName),文境界（boundary）の 2 項目は補助的に利用する.

分類語彙表 [11] とは，語を意味によって分類および整理したシソーラス（類義語集）である．分類番号を用いることで，上位の概念や同じ概念の単語を容易に導くことができる．分類語彙表のレコード総数は 101,070 件で，一つのレコードの構成は「レコード ID 番号／見出し番号／レコード種別／類／部門／中項目／分類項目／分類番号／段落番号／小段落番号／語番号／見出し／見出し本体／読み／逆読み」となっている．分類番号は「類／部門／中項目/分類項目」で構成される.

例えば「手」という語は分類語彙表の複数箇所に出現し，1.1401，1.3081 などの分類番号がある. 1.1401 の語は「手」のほかに「労働力」「男手」などがある．1.3081 の語に，「方法」「すべ」などがある.分類番号は，単語の語義として扱うことができる。

## 4.2 実験データ

日本語歴史コーパス中において分類番号が付与され，かつ 500 回以上出現があった 38 単語を対象語とする（表 2)．対象語はいずれも多義語である．対象語を含む 1 文を，WSD を行う語に関する 1 つの入力としてデータを作成する．虎明本狂言以外は句点（。）を文末として，文を区切る．なお，台本形式の虎明本狂言のみ, 文中に句点が出現しない. そのため，虎明本狂言のみ「および『』，boundary で B （区切り）に該当した読点（、）を文末とみなす。他作品と条件をそろえるため，文末とみなした記号は
表 28 作品の対象語 38 単語

(1) 調整 $\quad 10,20,30 \quad 0.00001,0.0001,0.001$

句点に置き換えた後，分かち書きや Encodeを行う.

日本語歴史コーパスは古語特有の語義を含むことから，未知語の割合が現代語より高くなると考えられる.すべての単語を Encode した中の未知語の割合は, 8 作品で $17.06 \%$ となっている.

次に，対象語の抽出方法について述べる。 日本語歴史コーパス中の lemma の項目で完全一致する場合のみ，BERTへの入力文に採用する. lemmaが基準であるため, 動詞では基本形が一致していれば活用形が異なっていても該当する. 1 文に 2 回以上対象語の完全一致が見られた場合，それぞれを対象語の位置が違う別の入力文として扱う.

## 5 実験

## 5.1 実験設定

新納の書籍 $[12,13]$ を参考に実験プログラムを作成する. 対象語を含む 1 文を，語義を判定したい語に関する 1 つの入力として扱う. 次に, 対象語の語義数を集計し, 語義ごとに 0 から整数の番号をあてる. 入力文はランダムに並び替え, 時代も作品もシャッフルされた状態にする. 対象の 1 文について UniDic 基準で分かち書きを行い，BERTによって Encode する. 本研究で使用した BERT 自体の機能を用いて分かち書きを行う場合は NEologd が採用されることになる. しかし, データとなる日本語歴史コーパスにあらかじめ, 各時代に対応した UniDic 基準の形態論情報が付与されているため, 本研究の分かち書きではそちらを採用する. 文中の対象語の位置に先頭から数えた整数の番号をあてる。

最適化関数は SGD，損失関数はクロスエントロ
ピー誤差を用いる。 ハイパーパラメータについては表 3 で示す. 速度と正答率の観点から事前実験を行い, epoch（学習回数）を 10, Ir（学習率）を 0.0001 とする. データセットは $4: 1$ で訓練データ（train） とテストデータ（test）に分ける. さらに手法 (1)について，ハイパーパラメータをグリッドサーチで調整する。その際のデータセットの分け方は, $3: 1: 1$ （訓練データ：開発データ：テストデータ）とする. 3 通りの epoch と lr を掛け合わせ，9 通りのモデルを作成する. その中から, 開発データでの正答率が高いモデルを対象語ごとに採用する.

## 5.2 評価手法

WSD は，1文の入力に対し正解のラベルを持っている. テストデータにおいて, 入力文の正解ラベルと BERT が予測したラベルが一致した場合を正解とする. 正答数を問題数で割ったマクロ平均とマイク口平均を正答率とする。ここでのマクロ平均は，各単語の正答率の平均である. マイクロ平均は, 全単語の正答数を問題数で割った正答率である.

なお，例えば 4 種類の語義があるとして，それらがすべて訓練データにもテストデータにも含まれているという保障はない. ランダムな文の並べ替えによって, どちらかのデータにしか出現しない語彙となっている可能性がある. 2 出力時は WSD と文書分類の同時学習となるが，比較のため文書分類のみの BERT $の$ fine-tuning も行う. 表 3 で示した手法とベースラインのマイクロ平均について, カイ二乗検定を行い，手法同士の有意差を調べる。

最頻出語義（Most Frequent Sense, MFS）をベースラインに設定する. 最頻出語義の確率は, その対象語に関して 1 番多く出現する語義を予測ラベルとした時の, 正答率を指す. 38 単語の平均語義数は 8.21 個となっている. wlsp が 1 つの単語に 2 つ設定されている場合や空欄である場合も，それ自体を 1 つの語義とみなし, 語義数にカウントする. 2 つ設定されているのは，2つの語義のどちらともとれる単語, 空欄は語義が不明な単語であると考えられる。 また，空欄の語義が MFS や 2 番目に多く出現する語義となっている対象語がある。このように曖昧な状態も数多く判別する必要がある.

## 6 実験結果

実験結果を表 4〜7 に示す. いずれの提案手法も， ベースラインを有意に上回った（表 4). 実験結果
表 4 WSD の実験結果

表 5 各対象語の WSD の実験結果

から，現代文の BERT が古文の WSD に有用であることが分かる．最も正答率が高かったのは，数字を太字で示した箇所で，手法(1)となった. (1)をハイパーパラメータ調整した場合には, マクロ平均で $81.75 \%$ ，マイクロ平均で $84.93 \%$ となった.

表 4，6より，38 単語総合の WSD に関してはすべての手法において，マイクロ平均がマクロ平均を上回った. 表 5 は，対象語ごとの手法 (1)の WSD の実験結果である．正答率が $90 \%$ 以上となった箇所を太字で示す. 対象語の配置は，為る，言う，有る…… の順に，分類番号を持つ単語としてのコーパス中の出現回数が多く，降順になっている。表 7 では, 最も正答率が高い箇所と最もテストデータが多い箇所を太字で示す.表 62 出力の WSD の実験結果

表 7 各作品の WSD の実験結果

 \\

土佐日記 & 83.65 & 208 \\
今昔物語集 & $\mathbf{8 8 . 3 9}$ & $\mathbf{5 0 9 1}$ \\

宇治拾遺物語 & 85.52 & 3280 \\
十訓抄 & 83.09 & 1969 \\
徒然草 & 80.44 & 992 \\

## 7 考察

マクロ平均はデータが少ない事例の影響を強く受ける. マクロ平均がマイクロ平均より常に低いため，データが少ない場合に正答率が低い傾向にあると推測できる. 表 6 からも, 出現回数が多い表上部の単語に $90 \%$ 以上の正答率が多くみられるため, BERT の WSD では学習データが増えるほど，正答率が高くなると考えられる。

表 4，6より，手法 (2) の単語を超えた重み共有や手法 (3) の文書分類タスクとの重み共有は，本実験では全体の正答率を上昇させる条件とならなかったことが分かる. 本実験の対象語は名詞や動詞が区別なく交ざっていた。また表 7 でも，時代による特徴は明確にはみられない。また，今回のデータは鎌倉時代のデータが多く, 時代の影響は比較的少なかった可能性がある. よって，対象語同士や作品同士を関連づけて学習できていないと考えられる。

## 8 おわりに

本研究では，現代文 BERT による日本語歴史コー パスのWSDを行った. 実験により，現代文の BERT は古文の WSD に有効であることを示した。また，単語を超えた重み共有と文書分類タスクとの重み共有は有効でないことが分かった．本実験の対象語は名詞や動詞が交ざっていたこと，作品や時代による影響が比較的少なかったことが原因と考えられる。

## 謝辞

本研究は JSPS 科研費 17H00917，17KK0002， 18K11421の助成を受けたものです.また，国立国語共同研究プロジェクト「通時コーパスの構築と日本語史研究の新展開」および「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」 の成果です. データセットの作成にあたり，2022 年 1 月 8 日時点で最新の語義タグ付き日本語歴史コー パスを提供してくださった，浅原正幸教授（国立国語研究所）に感謝いたします.

## 参考文献

[1] 国立国語研究所. 『日本語歴史コーパス』 2022 年 1 月 8 日確認. https://ccd.ninjal.ac.jp/chj/.

[2] 東北大学乾研究室. bert-japanese. 2019. https://www. nlp.ecei.tohoku.ac.jp/news-release/3284/.

[3] Tomas Mikolov, Wen tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. Proceedings of NAACL-HLT, pp. 746-751, 2013.

[4] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. Proceedings of ICLR, 2013.

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. Proceedings of NIPS, 2013.

[6] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師な乙 all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[7] 小木曽智信. 通時コーパスの構築に向けた古文用形態素解析辞書の開発. 研究報告人文科学とコンピュータ (CH), Vol. 6, No. 2011-CH-92, pp. 1-4, 2011.

[8] 高久雅史, 平澤寅庄, 小町守, 古宮嘉那子. 通時的な領域適応を行った単語分散表現を利用した古文から現代文へのニューラル機械翻訳. 言語処理学会第 26 回年次大会, 2020.

[9] 田邊絢. 現代文と古文の情報を利用した日本語歴史コーパスの語義曖昧性解消の領域適応. 茨城大学大学院理工学研究科 2019 年度修士学位論文, 2020.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT, 2019.

[11] 国立国語研究所. 『分類語彙表』 2022 年 1 月 8 日確認. https://ccd.ninjal.ac.jp/goihyo.html.

[12]新納浩幸. Pytorch 自然言語処理プログラミング. インプレス, 2021.

[13] 新納浩幸. Pytorch による物体検出. オーム社, 2020.