# 人工言語による事前学習を用いた言語間転移可能な知識の分析
## 李凌寒 $\dagger,+\dagger$ ・鶴岡 慶雅 $\dagger$

本論文では，ニューラルネットエンコーダが学習する知識のうち，どのような構造的知識が自然言語のタスクを解くのに転移可能かを調査する。提案するアプローチでは，自然言語の構造を模したいくつかの「人工言語」を用いてエンコーダを訓練し，そのエンコーダの自然言語の下流タスクにおける性能を評価することで，事前学習データに含まれている構造的知識の転移可能性を計測する。実験の結果, 転移可能なエンコーダを獲得するにあたって, 事前学習のデータ系列中において，統計的依存関係が重要であること, 係り受け関係を持つ際に入れ子構造が有用であることなどが明らかとなった。こうした結果は, エンコーダが転移可能な抽象的な知識として，位置を考慮したトークンの文脈依存性があることを示唆している. キーワード：言語間転移学習，多言語，事前学習モデル

## Analyzing Transferable Knowledge by Pretraining with Artificial Language

\author{
Ryokan $\mathrm{RI}^{\dagger, \dagger \dagger}$ and Yoshimasa Tsuruoka ${ }^{\dagger}$
}

\begin{abstract}
We conducted a study to determine what kind of structural knowledge learned in neural network encoders is transferable to the processing of natural language. We designed artificial languages with structural properties that mimic those of natural language, pretrained encoders on the data, and examined the encoders' effects on downstream tasks in natural language. Our experimental results demonstrate the importance of statistical dependency, as well as the effectiveness of the nesting structure in implicit dependency relations. These results indicate that position-aware context dependence represents knowledge transferable across different languages.
\end{abstract}

Key Words: Cross-lingual Transfer Learning, Multilingual, Pretrained Model

## 1 はじめに

複数の言語のテキストで学習したマルチリンガル事前学習モデルは, 言語横断転移学習の夕

スクなどで高い性能を発揮しており (Conneau et al. 2020), これはモデルが異なる言語にわたって共有できる知識を学習していることを示している。夕スクを解くために役立つ言語の知識には，単語などの語彙に関する知識もあれば，文法に関する知識もある。ここで言う文法とは，外国語学習に見られるような具体的な文法事項というよりは，ニューラルネットワークが，トー クンの系列から情報を集約して，タスクを解くために必要な「意味」を導き出す内部処理のことを指す。このニューラルネットワークの「文法」に，異なる言語にわたって共有できる部分が存在することが示唆されている.

Artetxe et al. (2020) は，英語のデータのみで重みを学習した Transformer エンコーダを，異なる言語にも転用できることを示した。つまり，英語のデータから学習した「文法」に言語非依存なものが存在するということである。言語間で共有できる文法事項のうち，マルチリンガル事前学習モデルが実際に捉えているものとして, Universal Dependencies ${ }^{1}$ で定義されている係り受け関係 (Chi et al. 2020) や，主格の概念 (Papadimitriou et al. 2021) が存在することが今まで示されている。これらは，我々にとっても直感的な文法であるが，ニューラルネットワー クはより抽象度が高い概念や処理を，異なる言語にわたって共有できることが示唆されている. たとえば Papadimitriou and Jurafsky (2020) は，楽譜やプログラミングコードといった非自然言語データで LSTM 言語モデルを訓練し，そのモデルが自然言語の言語モデリングのタスクに転用できることを示した。つまり，自然言語間に限らず，外見の全く異なる系列デー夕間にも共通の構造があり，それに関して学習した知識をモデルが転用できることを示している.

しかしながら，具体的にどのような構造的知識が転用されるのかに関しては，十分に明らかになっていない. この点について理解を深めることは，ニューラルネットワークの言語処理に関する洞察を与え，かつ，言語共通の知識を効率的に捉えるモデルの考案にも役立つ. 本研究は，転移可能な知識を人工言語からの転移学習（図 1）により分析する.

本実験手法は Test for Inductive Bias via Language Model Transfer (Papadimitriou and Jurafsky

図 1 人工言語を用いた事前学習の概要. 人工言語は何かしらの構造的特徵を持ち, そのデータから学習した知識が，自然言語のタスクへ転用できるかどうかを調べる。
^{1}$ https://universaldependencies.org/
}

2020）の実験手法から着想を得ており，転移元データで学習したモジュールを，異なる種類のデータへと転用した場合のタスク性能を評価することによって, 転移元と転移先データで共有可能な知識が存在するかどうかを調べる。本研究では, 系列データの持つ抽象的な構造に関する知識の転移可能性を調べるために，転移元デー夕として抽象的な構造以外の要素を捨象した人工言語を設計する。人工言語が持つ構造の転移可能性の評価として, 事前学習した Transformer を自然言語の言語モデリングへの転移した際の性能を測定した.

本研究で着目する自然言語の構造的な性質は, 単語の分布, 単語の係り受け関係, ランダム性である。これらの構造について, 自然言語に近いものを持つ人工言語, 自然言語とは異なるものを持つ人工言語を設計し，比較実験を行った。得られた知見を以下にまとめる.
- コーパス全体における単語分布そのものは転移可能な有用な知識になり得ず, 自然言語へ転移できる Transformer のパラメータを学習するためには，事前学習データの系列内の統計的依存関係が必要となる。この統計的依存関係から, Transformer は入力中の文脈情報を集約するような学習をし，自然言語タスクに有用なものとなる.

・ 事前学習データとして, 係り受け構造を持った人工言語を設計し, 係り受け関係が入れ子状になる制約を持った言語と，そうでない言語を比較すると，入れ子制約を持っている方が高い自然言語への転移性能を示した。これは，トークン予測のタスクにおいて，入れ子構造が，自然言語の文法に見られるような，一貫した位置に依存する規則性を持っているからだと考えられる。
- 人工言語にランダム性がなく, 生成されたデータの系列の並びが決定的であったとしても，事前学習された Transformer は自然言語に転移可能なものとなる。また，転移元の人工言語と転移先の自然言語の語彙サイズが近しいことそのものの有効性は確認されなかった。これら実験結果を踏まえると, 転移学習の性能に影響を与える主たる要因は, 系列データの統計的依存性であると考えられる。

## 2 関連研究

## 2.1 事前学習エンコーダにおける転移可能な知識

言語横断転移学習に用いられるマルチリンガルモデルは, 言語共通の構造を捉えていることが示唆されている。マスク付き言語モデリングで学習したマルチリンガル言語モデル (Devlin et al. 2019; Doddapaneni et al. 2021) は，言語間の対応関係を示すデータを与えられていない場合でも, 高い言語横断転移学習の性能を示す (Liu et al. 2020). これはモデルは言語共通の意味空間を獲得していることを意味しているが，言語横断転移学習の能力は，異なる言語の語彙の間に共通のサブワードが存在しない場合でも獲得されることが示されている (Karthikeyan et al. 2020; Conneau et al. 2020). したがって, ここでモデルが言語非依存な意味空間の学習の手が

かりにしているのは，異なる言語にわたって見られる共通の構造だと考えられている.

このような, 言語共通の構造の存在を示唆する観察として, 単言語コーパスで学習したエンコーダの転移可能性がある. Artetxe et al. (2020) の報告によれば，転移元言語のデータのみで学習した Transformer エンコーダは, 転移先言語の単語埋め込みをそのエンコーダに合わせて学習するだけで, 高い言語間転移学習の性能を示す. Papadimitriou and Jurafsky (2020)は, LSTM エンコーダをプログラミングコード，楽譜，人工データなどの非言語データで学習し， それらのエンコーダがスペイン語の言語モデリングにおいても，ある程度の性能を発揮できることを示した。これらの結果は, ニューラルネットワークのエンコーダが, 単言語/非言語デー 夕から，異なる言語にも共有できる何らかの知識を学習できることを示している.

それでは, 異なる言語の間で共有されている共通の構造とはどのようなものだろうか. Probing タスク (Hupkes and Zuidema 2018; Conneau et al. 2018)を用いた分析から，マルチリンガル言語モデルは, 言語普遍な依存構造 (Chi et al. 2020) や主格の概念 (Papadimitriou et al. 2021) など，言語非依存な構造を捉えていることが示唆されている。しかし, Probing の手法は，モデルがそうした言語知識を捉えていることは示しても，そうした知識を持つことが言語間転移学習の性能にどれほど貢献しているかを示すことはできない. また, 単純な単語の分布構造や語彙サイズといった，抽象的な要素に関する知識の転移可能性は明らかにできない.

本研究は，エンコーダが捉える異なる言語間で転移可能な知識とは何かという問いを明らかにするために, Test for Inductive Bias via Language Model Transfer (TILT) (Papadimitriou and Jurafsky 2020)の枠組みに則り，人工言語を活用した実験を行う，TILT の枠組みは，転移先言語（ここでは自然言語）にも活用可能な抽象的な知識を, 転移元言語から学習できるのかどうか, ということを明らかにする. 我々の実験では, 転移元言語として単純な構造的特徵から構成される人工言語を設計し, その特徴の転移可能性を分析した。人工言語からの転移学習による分析は Papadimitriou and Jurafsky (2020) においても, Uniform や Zipf の分布を持つ人工言語,同一トークン間の係り受け構造を模した人工言語を用いて行われている. 先行研究との差異として，我々の研究では，係り受け関係を持つトークンについて自然言語により近い構造をしていると考えられる人工言語を採用し, 文内の統計的依存関係の必要性を調べるための LogLinear や，系列のランダム性を制御する Bigram 言語といった新たな人工言語を設計し詳細な分析を加え知見を広げる。また，Papadimitriou and Jurafsky (2020) はエンコーダとしてLSTM を取り上げているが，本研究は近年の転移学習における主流アーキテクチャである Transformer を取り上げる。

## 2.2 人工言語を用いた言語モデルの分析

言語の特徴に関わる分析における難点の 1 つに，言語の特徵の多様性が挙げられる。日本語と英語を比べると，文字も異なれば，語彙，文法も全く異なる，異なる自然言語には様々なレ

ベルでの違いがあり，こうした言語特徴がモデルの性能に与える影響を調べようとしても，それぞれ違いを独立にコントロールして実験を行うことが難しい。こうした難点を避けるために。自然言語の性質を人為的に改変して人工言語を作り, 元の言語と比較するアプローチがある.典型的には以下の手順を踏む：(1) 対象の自然言語が持つある特徴に変更を加えて人工言語を作成する。改変される言語特徴として，たとえば，語順 (Sinha et al. 2021b; Dufter and Schütze 2020; Sinha et al. 2021a)，文字 (Karthikeyan et al. 2020; Dufter and Schütze 2020; Conneau et al. 2020), 形態素 (Ravfogel et al. 2019) などがある; (2) 元の自然言語と改変後の人工言語のデー夕を用いて，それぞれのモデルを，分析タスクにおいて訓練・評価する。これにより，改変した言語特徴に絞って, モデルの性能に与える影響を調べることができる.

このような利点がある一方で，自然言語に改変を加える手法は，容易に変更を加えられるような言語特徴しか分析の対象にできない。そこで，より幅広い言語特徴の影響を分析するアプロー チとして, 特定の言語特徴を持った人工言語の利用が挙げられる. White and Cotterell (2021) は, 名詞句や動詞句といった文法的構成素の語順をパラメータとして変更できる確率的文脈自由文法 (PCFG) を設計し，パラメータの違いが LSTM と Trasformer それぞれの言語モデリングの性能に与える影響について調べた。また, Chiang and Lee (2022) も人工言語を用いたアプローチで，様々な性質を持った人工言語で事前学習された Transformer エンコーダの， GLUE ベンチマーク (Wang et al. 2019) における性能を評価している. 本研究も同様に, 自然言語をもとにしない，抽象的な規則から生成された人工言語を用いて，自然言語タスクに転用できる構造的な知識をとは何かを調べる。

## 3 人工言語を用いた転移学習

本研究の実験手法は, Papadimitriou and Jurafsky (2020)の提案した Test for Inductive Bias via Language Model Transfer (TILT) の実験手法にもとづく． TILT は以下のような事前学習と転移学習の 2 つのステップから構成される。

(1) エンコーダを転移元言語で事前学習をする.

（2）エンコーダを転移先言語での下流タスクに転用し，性能を評価する。このとき，転移元言語の単語埋め込みは使わずに，転移先言語の単語埋め込みをランダムに初期化し，単語埋め込みパラメータのみを学習する。つまり，エンコーダのパラメータを固定することで，エンコーダが事前学習で獲得した知識の，転移先言語・タスクにおける有用性が検証できる。

ここでいうエンコーダとは, ベクトルの系列を受け取り, 系列全体の情報を考慮した出力べクトルを得るモジュールのことを指す。本研究で扱う事前学習・評価タスクは, 左から右にトー クンを予測・生成していく言語モデリングであるため, このモジュールはデコーダともいえる.

しかし, 本論文では入力系列から文脈化されたべクトル表現に変換する点に焦点をあてることから，一貫してエンコーダと呼ぶことにする。

本研究では, 自然言語に転移可能な構造的知識とは何かを調べるために，転移元言語として自然言語の特定の性質を模した人工言語，転移先言語として自然言語（ここでは英語）を用いる。以下，人工言語の形式的な定義を与えた後に，実際に用いる人工言語を導入する.

## 3.1 人工言語の定式化

人工言語は, 語彙 $\{w \mid w \in \mathcal{V}\}$, 系列長の分布 $p_{l e n}(l)$, 系列のサンプリングアルゴリズム $f(l): l \mapsto \mathcal{V}^{l}$ の 3 つの要素から構成される。事前学習に用いられるデータは 1 系列ずつ, 以下の手順で生成される：(1) 系列長 $l$ を分布 $p_{l e n}(l)$ からサンプリングして決定する; $(2)$ その長さだけトークン $\left[w_{1}, \ldots, w_{l}\right]$ を $f(l)$ のアルゴリズムでサンプルする.

ここでの人工言語の語彙は, 単純な数字 ID または記号と数字の組合せから構成されており,実際の自然言語の語彙との対応は想定されていない。また，すべての人工言語について，系列長の分布 $p_{l e n}(l)$ は, ベースラインのデータセット（ここでは英語 Wikipedia Dump）から算出された系列長分布を用いる。人工言語の最も重要な特徴は, 以下に詳述する系列のサンプリングアルゴリズム $f(l)$ であり, これがどのような構造的知識をエンコーダが学習するかを決定つける要素となる。

## 3.2 単語分布のモデリング

自然言語における単語分布にはいくつかの特徴がある。こうした単語分布に関する事前知識の，自然言語の夕スク学習への有効性を調べるために，自然言語を模した単語分布を持つ人工言語を設計する。単語分布のみを特徴としてもつ人工言語のサンプリングアルゴリズム $f(l)$ は,言語の持つ単語分布 $p(w)$ からのサンプリング $w \sim p(w)$ を $l$ 回繰り返すことで行われる.

Uniform 単語分布を持つ人工言語では, 1 系列中のトークンを, 語彙全体から一様にサンプリングする。これは，自然言語の単語分布とは掛け離れており，ベースラインとして用いられる。 トークン $w$ がサンプリングされる確率は以下のように表される.

$
p(w)=\frac{1}{|\mathcal{V}|}
$

実際の自然言語における単語分布は, 経験的に Zipf's の法則 (Zipf 1949)に従うことが知られており，各単語の頻度とその頻度順位が frequency $(w) \propto \frac{1}{\operatorname{rank}(w)^{\alpha}}$ で表される比例関係にある.係数 $\alpha$ は通常おおよそ 1 となるが，係数算出に用いるコーパスのドメインによって幾分かゆらぎを見せる (Zanette and Montemurro 2005).

Zipf 単語分布は自然言語のこのような性質を捉えており，それぞれのトークン $w$ を $\alpha=1$ と設定した Zipf の分布からサンプリングする.

$
p(w) \propto \frac{1}{\operatorname{rank}(w)}
$

ここまで導入した 2 つの単語分布は，それぞれの系列中のトークンを独立にサンプリングしている。しかし, 自然言語において文中の単語には統計的依存関係, つまり特定の単語共起パターンが存在することが知られている (Church and Hanks 1989). たとえば, “The cat and dog are fighting over food." という文を考える. 単語 the と cat は偶然より高い確率で共起するが, これは cat という名詞が, the という冠詞と結びついているからである. また $\operatorname{dog}$ と cat の間にもトピックの関連があるため, 共起しやすくなっている. 文中の単語は何かしらの統語的・意味的な関係に従って互いに結びついている.

LogLinear 単語分布はこのような性質をモデリングする。文毎に異なる単語分布を与えるため, 単語分布は文 $s$ に条件づけられた形の $p(w \mid s)$ となる. Arora et al. (2016)の Log-linear モデルにならい, ある文 $s$ 中の単語は以下の確率分布からサンプリングされる.

$
p(w \mid s) \propto \exp \left(\boldsymbol{c}_{s} \cdot \boldsymbol{v}_{w}\right)
$

ここで $\boldsymbol{c}_{s} \in \mathbb{R}^{d}$ は文の discourse ベクトルであり， $\boldsymbol{v}_{w} \in \mathbb{R}^{d}$ はトークン $w$ の単語ベクトルである. 直感的には, discourse ベクトルは文の話題を表し, 単語べクトルと合わせて文中のユニグラム分布 (Blei et al. 2003) を定義しているとみなせる. このようなサンプリング関数を採用することで，1 つの文中には discourse ベクトル $\boldsymbol{c}_{s}$ に近い単語べクトルを持つトークンがより高い確率でサンプルされ，特定の単語同士が共起しやすいという現象を表現できる.

これらの単語べクトルと discourse ベクトルは自然言語のコーパスから学習することも考えられるが, 本研究では自然言語の持つ具体的な共起構造の転移可能性というより, 文中でトー クンが共起するという単純な構造自体の転移可能性を調べたい. トークンが共起する構造自体は，それぞれのべクトルにランダムなベクトルを割り当てた場合でも表現できる．したがって， ここでは単語べクトル $\boldsymbol{v}_{w}$ として, 各単語に多次元標準正規分布からサンプルされたべクトルを割り当てる。単語ベクトルは LogLinear 言語の初期化時にサンプリングされた後は固定される. discourse ベクトル $\boldsymbol{c}_{s}$ は, 系列 $s$ をサンプリングする度に多次元標準正規分布からランダムに決定される。語彙サイズ $|\mathcal{V}|$ が与えられている場合, LogLinear 単語分布の構造はベクトルの次元 $d$ によっても左右される。ここでは, 生成されたデー夕全体における単語分布が, Zipf の分布のような偏りをもつように $d=10$ と設定した（図 2）.

図 2 単語分布をモデリングした人工言語から生成されるデー夕において，頻度の高いトークンから順に頻度をプロットした対数グラフ.

## 3.3 係り受け構造のモデリング

自然言語は，単語分布によって特徴づけられるだけではなく，文の中に構造を持つ。その構造として, しばしば木構造 (Chomsky 1957) や係り受け構造 (Mel'čuk 1988) などが仮定されるが，ここでは人工言語の文に，2つのトークン間の単純な依存関係を仮定した構造を与えることを考える。自然言語における文中の単語は係り受け関係をもち，特定の単語の出現がまた他の特定の単語の出現を示唆するということがある（たとえば英語の動詞 $a m$ は，ほぼ常に $I$ と共起する).これを模して, 語彙中の半分のトークンを head トークンとし, もう半分を tail トー クンとし，それぞれ 1 対 1 のペアを成しているとみなす.ここでは 1 つのぺアを，同じ数字 ID と括弧の片方から成るトークンで表す（例：〈123, 123>），構造をもつ人工言語のサンプリングアルゴリズム $f(l)$ は, 3.2 節で導入した単語分布に従ってトークンのペアを $\left.\frac{l}{2}\right.\rceil$ 組サンプルし，一定の構造を持つように並べ替える形となる。これにより，1つの系列中に特定のペアが常に現れることになり，単純な係り受け関係を表現している.

係り受けを模した人工言語は, Papadimitriou and Jurafsky (2020)の分析でも用いられているが, 本研究のものと異なり, head と tail トークンが同一トークンとなっている. 本研究では,異なるトークン同士の依存関係を持った構造を，より自然言語に近いと考え採用する。

Flat 係り受け構造は，トークンをランダムに並べ替えるが，それぞれのぺアについて head は tail よりも必ず左に位置するという制約を加える（例：[<5, <84, 5>, <123, 123>, 84>])。このとき 1 系列中の依存関係を表すエッジはしばしば互いに交差し, non-projective な構造を示す.

Nesting 係り受け構造は，それとは対照的に，依存関係のエッジが交差しないように，括弧が入れ子状に配置されるようにトークンを並べる（例：[<5, <84, 84>, 5>, <123, 123>])。このときのトークンの並びは，アルゴリズム 1 に示す，スタックを用いたアルゴリズムから生成される (Papadimitriou and Jurafsky 2020).

自然言語の係り受け関係には，しばしば入れ子関係が見られる。たとえば, UD tree bank ${ }^{2}$ 中のさまざまな言語のデータで, projective な構造と non-projective な構造を持つ文を数えると， ほとんどのコーパスで projective な文（入れ子構造のみを持つ文）が 9 割以上を占めている.事前学習のデータが同様に入れ子状の係り受け構造を持つことの有効性を，Flat と Nesting を比較することで明らかにできる。

係り受け構造を特徴づける要素として，2つのトークン間の係り受け関係の距離がある。ここでは，Flat と Nesting の構造の違いによる影響を比較する際に，係り受け関係の距離の違いの影響を排除するために，Flat 言語から生成される系列の係り受け関係の距離の分布を，比較する Nesting 言語での分布に合致するように調整して実験を行った.

## 3.4 ランダム性のモデリング

これまで導入した人工言語は，程度は異なるが，いずれもランダムに系列を生成する，自然言語も，単語を文法に則り自由に組合せることができ，ある程度のランダム性を備えているといえる。

訓練データ系列にランダム性があることは，エンコーダの転移可能性にどのような影響を与
^{2}$ https://universaldependencies.org/
}

えるのだろうか. また，事前学習データのランダム性が自然言語に近い方が，良い転移性能を示すのだろうか. これらの問いに答えるために, ここでは完全にランダムなものから決定的なものまで，生成する系列のランダム性を制御できるような人工言語を設計する。

Bigram 言語は，系列を単純マルコフ過程，つまり語彙のバイグラムの遷移行列に従って生成する. Bi-gram 言語は実数パラメータ $\alpha$ を持ち，ある単語 $w_{t}$ から次の単語 $w_{t+1}$ へ遷移する確率は次式のように定義される。

$
p\left(w_{t+1} \mid w_{t}\right) \propto \frac{1}{\operatorname{rank}\left(w_{t+1} ; w_{t}\right)^{\alpha}}
$

ここで $\operatorname{rank}\left(w_{t+1} ; w_{t}\right)$ は人工言語を初期化する際に決定されるパラメータであり, 1 つの $w_{t}$ について $1 \sim|\mathcal{V}|$ の数字が各トークンにランダムに割り振られる。つまり, 次にどの単語へ遷移するかの確率分布は Zipf の分布となっている。これは $\alpha=0$ のとき，前にあるトークンに条件づけられた次のトークンの分布が一様分布となり，完全にランダムに系列を生成する ${ }^{3}$. 一方で, $\alpha \rightarrow \infty$ のときは, 各トークン $w_{t}$ の次は, ランクが最高値, つまり $\operatorname{rank}\left(w_{t+1} ; w_{t}\right)=|\mathcal{V}|$ となる $w_{t+1}$ に必ず遷移し，完全に決定的な系列を生成する， $\alpha$ が中間の値にある場合は，トー クンは確率的に遷移するが，分布は偏っており，それぞれのトークンの次には，特定のトークンがよく生成される形になる。この $\alpha$ のパラメータを変えることで，さまざまな程度のランダ么性を持つ系列が生成できる。

## 4 実験設定

## 4.1 タスク

訓練・評価タスクとして左から右に順に単語を予測する Causal Language Model を用いる.入力は 1 文ずつになるように処理され，言語モデリングは文レベルで行う．モデルの評価は,評価データセット内の文を入力したときの，データセット全体で計算したパープレキシティの值を用いる． $N$ 単語含むデータセット中の各単語 $w_{i}$ について，モデルが予測した単語の出現確率を $p\left(w_{i}\right)$ とすると, データセット全体のパープレキシティは $\exp \left(\frac{1}{N} \sum_{i}^{N}-\log p\left(w_{i}\right)\right)$ と計算される。パープレキシティは分岐数とも呼ばれ，モデルが文脈を与えられて次の単語を予測する際の平均選択肢数と解釈できる.

## 4.2 エンコーダモデル

本実験ではエンコーダとして，近年の大規模言語処理モデルにおけるデファクトスタンダー ドとなっている Transformer (Vaswani et al. 2017) を用いる。モデルの層は 3 層，隠れ層のサ
^{3} \alpha=0$ の Bigram 言語は Uniform 単語分布で定義される人工言語と同じ振る舞いをする.
}

イズは 300 次元, フィードフォワード層の次元は 600 , 自己注意機構のヘッドは 4 つに設定した.また, 単語出力層と単語埋め込み層の重みは共有されている (Press and Wolf 2017).

## 4.3 事前学習コーパス

人工言語から系列データをサンプリングし，事前学習コーパスとして用いる。まず，文構造を持たず, トークンの分布のみをモデリングした人工言語として, 3.2 節で導入した Uniform, Zipf, LogLinear 分布からサンプリングされたトークンをランダムに並べたもので実験を行う. また, 文構造をモデリングしたものとして, 単語分布のうち 1 つを選び, それを 3.3 節で導入した Flat 係り受け構造または Nesting 係り受け構造と組合せたものを用いる. 系列のランダムさの影響を調べる実験では， Bigram 言語のパラメータ $\alpha$ を $0,0.7,0.8,0.9,1.0,1.5,2.0,10\}$ と設定して事前学習データを生成し, そこから訓練されたエンコーダを比較する。この $\alpha$ の値は, バイグラム遷移確率のパープレキシティが幅広い値を含むように選定した.

これに加えて，ベースラインとして，自然言語である英語 (en)の Wikipedia Dump で事前学習したエンコーダも評価する。 Wikipedia Dump 中のパラグラフは icu 4 を用いて文に分割され，文は Moses ${ }^{5}$ を用いて単語に分割した. 英語以外の Wikipedia コーパスで訓練した場合も，英語と同様の結果が得られたため, 人工言語との比較は主に英語のデータを参照して行う。その他の自然言語を用いた場合のデータ処理と結果は付録 A にて記載する。

人工言語から生成されるデータの系列長は, 英語 Wikipedia の事前学習コーパスと同じ分布 （図 3）に従うようにサンプリングする。人工言語と自然言語のいずれも語彙サイズ $|\mathcal{V}|$ は 16,000 に設定され，自然言語コーパス中の語彙に含まれない単語は未知語トークンに置換される。エンコーダは, $12.8 \mathrm{M}$ 系列のデータを用いて 1 エポック, バッチサイズ 128 で $10 \mathrm{~K}$ ステップ訓練した。最適化アルゴリズムには AdamW (Loshchilov and Hutter 2019), 学習率スケジュー

図 3 英語 Wikipedia から求めた系列長の分布. 長さの最長値を 6 , 最大値を 60 と設定している.

リングには学習率を徐々に上げた後に減衰させる Noam の学習率スケジューラ (Vaswani et al. 2017)を, warmup のステップ数 4,000 で用いた.

## 4.4 ファインチューニング・評価コーパス

事前学習されたエンコーダの評価には, Penn Treebank (PTB) コーパス (Marcus et al. 1993) の訓練セットを用いてファインチューニングの後, 評価セットを用いてパープレキシティの値を計算する。コーパスは Mikolov et al. (2010)による前処理済みのものを用い，各単語は小文字化され，語彙サイズが 10,000 になるように低頻度語は未知語トークンに置換されている．PTB コーパスの統計情報を表 1 に示す.

ファインチューニングは, 単語埋め込み層の重みのみをアップデートし, エンコーダ層の重みは固定される。最適なバッチサイズ 128 で訓練し, 開発セットのパープレキシティによるアーリー ストッピングにより訓練エポック数を決定した。最適化アルゴリズムには AdamW (Loshchilov and Hutter 2019), 学習率スケジューリングには Noam の学習率スケジューラ (Vaswani et al. 2017)を, warmup のステップ数 4,000 で用いた.

本実験の主眼は, さまざまな性質を持ったデータで事前学習されたエンコーダを比較することであるが, ベースラインとして, 事前学習をせずにランダムな重みのまま固定されたエンコー ダ (NoTrain) で評価した結果も提示する.

## 4.5 Probing タスク

言語モデリングのタスクにおけるエンコーダの本質的な役割とは，次の単語を予測するために，入力系列中の情報を集約することである。したがって，事前学習されたエンコーダが，自然言語への転用にどの程度効果的であるかは，エンコーダがどのように入力系列情報を集約するかと強く関連すると予想される。ここでは, 人工言語からエンコーダが学習した入力系列情報の集約パターンを分析するために, Probing タスクを導入する.

ここで導入する Probing タスクは，エンコーダのあるタイムステップにおける出力ベクトルから，入力系列中のトークンの情報をどれだけ復元できるかを測るものである．Probing タスクに用いるデータとして，人工的な数字 ID の系列を以下の通り生成する。まず，系列長を 15 ～25 の範囲から一様にサンプルし, その数だけトークンを語彙サイズ 100 から一様にサンプル

表 1 Penn Treebank (PTB) コーパスの統計情報.

することで, $100 \mathrm{~K}$ 系列生成する. このうち $90 \mathrm{~K}$ 系列を訓練セットとして用い, $5 \mathrm{~K}$ を開発セット， $5 \mathrm{~K}$ をテストセットとして用いる．モデルが解くべきタスクは，この系列をエンコーダで受け取り, 最後のタイムステップの出力ベクトルから, 入力系列中の前に出現したトークンを予測することである．最後のタイムステップからの相対位置が異なるポジションにあるトークンをそれぞれ予測させ，その精度を測ることで，エンコーダがどの位置の文脈情報をどの程度保存しているかを分析できる。

各ポジションにあるトークンの予測には，それぞれ異なる線形分類器を同時に学習する。本実験では，最後のタイムステップからの相対位置が $[-9,-4,-3,-2,-1,0]$ にあるトークンを予測させた.

## 5 実験結果

本実験では，それぞれの設定について，異なる乱数シードでエンコーダを 3 つ事前学習し， さらにそれぞれのエンコーダから異なる乱数シードでファインチューニングを 3 回行い, 合計 9 つのモデルを評価した。事前学習しない NoTrain エンコーダに関しては, 異なるランダムな初期値で同様に 9 つのモデルを学習した.

## 5.1 単語分布の転移可能性

図 4 に，単語分布のみをモデリングした人工言語で学習したエンコーダと, ベースラインの結果を示す. 以下，それぞれの単語分布から，どのような知識が自然言語のモデリングに転移可能か議論していく.

まず，NoTrain エンコーダはある程度，言語モデリングに有用なものになっていることを確認する. NoTrain との比較対象として，たとえば英語の PTB コーパスにおけるトライグラム言

(a) PTB データセットで評価したパープレキシティ.

(b) Probing タスクの精度.

図 4 ランダムな重みを持つエンコーダ (NoTrain) と，単語分布をモデリングした人工言語 (Uniform, Zipf, LogLinear) で事前学習したエンコーダの, 転移学習と Probing タスクで評価した際の結果.
語モデルのパープレキシティを挙げると，設定にもよるが 180 前後の値6になる。したがって， NoTrain エンコーダの平均パープレキシティ $194.7 \pm 2.5$ （図 4a）は，言語モデリングの夕スクとしてある程度妥当な学習を行っている結果だといえる。

図 4b の Probing の精度をみると, NoTrain のエンコーダは 2 つ前のタイムステップまでのトークン情報を保持しており，言語モデリングにおいて次のトークンを予測するために，文脈情報を集約する役割を遂行できている。ランダムな重みでもタスクが解けることは非直感的ではあるが，学習されていない初期値のままのネットワークを含むモデルでも，比較的高い性能を達成できることが他のタスクやアーキテクチャでも観察されている (Pilault et al. 2019; Tay et al. 2021).

一方で，Uniform 言語は何ら有用な事前知識を与えない．Uniform 言語で事前学習したエンコーダは，著しく高いパープレキシティ $(338.6 \pm 21.4)$ を記録している．Uniform 言語は自然言語に類似した性質を持たないため，転移性能が高くないことは予想できるが，何かしらの事前学習を行ったにも関わらず NoTrain よりも著しく悪い性能を示す理由は自明でないかもしれない.このことについては，ランダムな系列を予測しようとする事前学習タスクの挙動を考えることで理解できる. Uniform 言語では, 全てのトークンが同確率で現れうるため, 事前学習におけるモデルの最適解は，全てのトークンを常に同確率で予測し続けることである。この場合, 出力が文脈に依存することはないため, 事前学習においてエンコーダは文脈情報を保持するような学習を行わない. 図 $4 \mathrm{~b}$ の Probing の精度を見ても, Uniform エンコーダの出力からは 1 タイムステップより前のトークンの情報を全く復元できないものになっていることから，事前学習の過程で文脈を保持しないような解に収束していると考えられる。

文脈情報が使えない Uniform エンコーダにとって, 転移先の言語モデリングにおける最適な戦略は，頻度の高いトークンを常に予測することである。このような学習がなされていることを確かめるために，PTB コーパスの開発セットに対して予測された最も確率の高いトークンの数を調査した（図 5).Uniform は頻度の高いトークンだけを主に予測している一方で，パープレキシティがある程度低い NoTrain や LogLinear エンコーダは, 頻度に関わらず幅広い種類のトークンを予測できている。このことは Uniform エンコーダが文脈情報を十分に活用できず，頻度の高いトークンを予測するような学習に陥っていることの証左となっている.

Zipf 言語も, Uniform 言語と同じく, トークンが文脈に依存している形にはなっていないので，事前学習における挙動も単純であり得られる知識も限られているはずである。しかしながら, Zipf のパープレキシティ $(196.4 \pm 4.6)$ は Uniform (338.6土21.4) よりも著しく低く, Probing の精度からも文脈情報をある程度捉えている. Zipf 言語ではトークンの出現頻度に偏りがあるため, 最適な戦略は最高頻度のトークンを常に高い確率で予測し続けることである。単純な戦
^{6}$ https://github.com/shayneobrien/language-modeling の実装を用いて算出
}

(a) NoTrain.

(b) Uniform.

(c) LogLinear.

図 5 各エンコーダからの予測トークンの頻度を表したグラフ. グラフの横軸は, 10,000 種類あるトークンを頻度順に並べ， 50 個のビンに分けている.

略を学習すれば良いところは Uniform 言語と同じであるが，異なるのは学習時のパラメータの変化が比較的安定していることだと推測する。Uniform は，全てのトークンを常に同確率で予測し続ける最適戦略に収束したとしても，トークンの予測が当たることは稀なため，損失関数から得られる誤差は常に大きく，パラメータもランダムな方向に更新され続ける。一方 Zipf では，頻度の高いトークンを予測する戦略に落ち着いた場合に，実際に頻度の高いトークンを予測することに成功するため，パラメータの更新幅は少ない。これにより, Zipf エンコーダは初期値である NoTrain の重みから比較的変化の少ないパラメータに収束し，事前学習タスクが文脈情報を必要しないものとしても，文脈情報をある程度残していると考えられる。

最後に, LogLinear 言語は言語モデリングに有用な構造的知識を有していると考えられる. ここで取り上げる単語分布をモデリングした人工言語のうち, NoTrain $(194.7 \pm 2.5)$ に比べて有意に低いパープレキシティを全ての言語で示しているのは， LogLinear (183.2土5.8) だけである. LogLinear は他の分布と異なり, 文中のトークン間に統計的依存性が存在する. 統計的依存性が存在するということは，言語モデリングのタスクにおいて，文脈のトークンの情報を用いることで，次のトークンがある程度予測できるということである。したがって，事前学習時に LogLinear エンコーダは，文脈情報をエンコーダ出力に保持するような学習をし，それが自然言語の言語モデリングにおいても有用であると解釈できる．実際に，LogLinear エンコーダは Probing タスク（図 4b）において，他のエンコーダに比べて多くの文脈情報を保持するようなパターンを見せている.

以上の分析をまとめると, コーパス全体における単語の頻度分布情報は, 必ずしも自然言語に転移可能な知識とはならないこと，一方で文中のトークン間に統計的依存性が存在するという知識は, 自然言語のモデリングに転移可能な有用な知識であることが示唆された.

## 5.2 文構造の転移可能性

続いて, 文中における係り受け構造の転移可能性を分析する。図 6 に, Uniform 分布からトー クンのペアをサンプルし，Flat と Nesting の係り受け構造それぞれと組合せた人工言語で訓練したエンコーダと，自然言語である英語 (English) で訓練したエンコーダの結果を示す.

まず，系列に係り受け関係を持つことが自然言語のモデリングに有用であることを議論する。

Uniform Flat $(183.7 \pm 5.6)$ は LogLinear $(183.2 \pm 5.8)$ と同程度のパープレキシティ, Uniform Nesting (168.8土4.3) はそれらに比べて低いパープレキシティを示している。系列内に係り受け関係を持つということは，あるトークンの存在をもとに，別のトークンの存在を予測できるということであり，これは LogLinear 言語同様，系列が統計的依存性を持つことを意味する。この結果は, LogLinear と異なる形の統計的依存性から得られる知識でも, 自然言語のモデリングに役に立つことを示している.

次に，入れ子構造の有用性を検証する。 Nesting $(168.8 \pm 4.3)$ が Flat $(183.7 \pm 5.6)$ を下回る値を示しており 7 , これは入れ子構造を持つことが，自然言語への転移学習により有用であることを示唆している。この理由について考えると, Probing タスクの結果（図 6b）では, Flat エンコーダの方が，Nesting よりも多く文脈情報を保持しているため，分布構造のみを持つ人工言語を比較した場合（5.1 節）と異なり, 文脈情報を残しやすいために言語モデリングの性能が高いという可能性は排除される.

単語モデリングにおける Nesting 構造の特徴を考えると, Flat に比べてトークンの配置パター ンが限られていることが挙げられるが, 入れ子構造の優位性は, こうしたより一貫性のある規則と，自然言語の文法との類似性に帰せられると考えられる。エンコーダの主たる役割は文脈情報の集約であると考えれば，入れ子構造を考慮してトークン同士の位置関係を残しつつ文脈

(a) PTB データセットで評価したパープレキシティ.

(b) Probing タスクの精度.

図 6 係り受け関係をモデリングした人工言語 (Flat, Nesting) で事前学習したエンコーダと, 英語 (English) で訓練したエンコーダを, 転移学習と Probing タスクで評価した際の結果.

情報を集約するパターンが，自然言語に有用であるのだと考えられる。

最後に，自然言語で訓練したエンコーダ (English) に着目すると，一番良い転移性能 $(154.6$ $\pm 2.6)$ を発揮している. これは, ここで調べている構造を持った人工言語と, 自然言語から学習できる転移可能な知識には隔たりがあることを示している. Probing タスクの精度をみると， English エンコーダは文脈情報を近いものから遠いものまでよく捉えている。しかし，図にあげた 3 種類のエンコーダを比較したときに，パープレキシティの値と, Probing タスクの精度の間には一貫した傾向は見られない.このProbing タスクで捉えられる側面よりさらに細かい観点から，エンコーダの振る舞いを分析することが今後の課題となる.

以上の分析をまとめると, 単純な 2 トークン間の係り受け関係の構造は自然言語に転用可能な知識を与え, これはやはり文脈が次トークンの予測に役立つという統計的依存性が存在するからだと考えられる。構造に入れ子関係の制約がある場合はより転移性能が向上することから， トークン同士の位置関係に自然言語に類似性のある構造が認められる場合には, その知識も転移しうることが示された。これは, 転移可能な知識として位置情報を考慮した統計的依存性が存在することを示唆する。

## 5.3 ランダム性の転移可能性

図 7 に, Bigram 言語のランダム性を調整するパラメータ $\alpha$ を変化させた場合の結果を示す. $\alpha=0.0$ では単語遷移が完全にランダムであり， $\alpha=10$ では遷移パターンが一意に決まる. $\alpha=0.0$ は Uniform 言語と等価であり，5.1 節で述べたように，系列中に統計的依存関係が存在しないため, そのデータからエンコーダは有用な情報を何も学習できない. 一方で, $\alpha=0.7$以上のときは，前のトークンから次のトークンを予測できる構造, つまり統計的依存関係が生じ， $\alpha=0.0$ のパープレキシティに比べて有意に低い値を示している. $\alpha=10$ のように，完全

(a) PTB データセットで評価したパープレキシティ.

(b) Probing タスクの精度.

図 7 Bigram 言語のランダムさを表すパラメータ $\alpha$ を変化させて, 転移学習と Probing タスクで評価した際の結果. グラフの $\mathrm{x}$ 軸には, 遷移確率のパープレキシティ $(P)$ も共に示しており, これは遷移先のトークンが平均何通りあるうるか示す数として解釈できる。

に決定的な系列で事前学習した場合でも同様であり, このことから, 系列にランダム性があること自体は自然言語へ転移できる知識の学習に影響を及ぼさないと考えられる。

Bigram エンコーダのパープレキシティ值は， $\alpha=0.8$ で最低値を示している. この $\alpha=0.8$ の Bigram 言語は，特に自然言語に有用な特徵を持っているのだ万うか. $\alpha=0.8$ のランダム性を定量化した値として， Bigram 言語の遷移確率分布のパープレキシティを確認すると約 4,200 であり，これは自然言語のランダム性と比べてかなり大きい8. したがって，転移性能が良いのは，ランダム性の度合いが自然言語に似ているためではない。この点については，異なる $\alpha$ の値によってトークン予測における文脈情報の有用性が異なり，その結果学習されるエンコーダの文脈情報の集約パターンの違いが，パープレキシティに反映されていると考える。しかしながら Probing の結果（図 $7 \mathrm{~b}$ ）では，パープレキシティに差のある $\alpha=0.8$ と $\alpha=1.0$ の間に目立った差は見られないため, 本実験の分析では捉えきれない要因がこの結果をもたらしている.

この結果は，今回の転移学習において，エンコーダの性能に大きく影響を与える要素が事前学習データの構造であり, データの複雑性/多様性はその構造を学習するのに必要最低限あれば良いことを示していると解釈できる。 Bigram 言語においては， $\alpha$ の値がある程度大きくなると, 1 つ前の単語から次の単語がある程度予測できるという構造が生まれるが， $\alpha$ をれ以上大きくし, 系列が決定的になることでデータの多様性が減じても，構造自体は変わらない.

また，構造の影響が大きいことを支持する結果として， Nesting 言語の語彙サイズを変化させた場合のパープレキシティを図 8 に示す. 語彙サイズがあまりにも小さい $(|V| \leq 100)$ 場合は, 大きい語彙サイズの場合に比べてスコアが悪化しているが, 語彙サイズが比較的小さい段階 $(|V|=1,000)$ で最良スコアに到達している. この 1,000 という語彙サイズは, 転移先の夕

(a) PTB データセットで評価したパープレキシティ.

(b) Probing タスクの精度.

図 8 Uniform 分布を持った Nesting 言語の語彙サイズを変化させて, 転移学習と Probing タスクで評価した際の結果.
^{8}$ PTB コーパスの訓練セットでユニグラム言語モデルを作り, 評価セットでパープレキシティを計算した場合でもおおよそ 700 前後の値をとる.
}

スクにおける英語の語彙サイズ 10,000 に比べて，かなり小さい. おそらく, Nesting 言語の構造を，十分に一般化した形で学習するのに必要な語彙サイズが 1,000 であったのだと考える.

この観察は，人工データを通じてモデルに帰納バイアスを埋め込む，という手法にある示唆を与える (Wu et al. 2021; Chiang and Lee 2022). 一般的に，機械学習，特にニューラルネットワークを基盤とするモデルは，データがあればあるほど良いという傾向にある．しかし，今回の結果は，モデルを構築したいドメインの意味論的な性質ではなく，構造的な性質をモデルに学習させ転移学習に活用する場合には，その構造を十分に学習できるだけのデータのみを確保すれば良い，ということを示唆している。

## 6 おわりに

本研究では，人工言語からの転移学習を通じて，自然言語の言語モデリングを解くために転移可能な構造的知識とは何かを調べた。その結果, トークンの頻度分布, トークンの種類数, 系列のランダム性などの要素そのものによる，転移可能性への影響は限られており，系列中の統計的依存性が重要であることが分かった。特に，入れ子構造を持った Nesting 言語が，そうでない Flat 言語に比べて, 転移性能が高いことから, トークンがどの位置にあるトークンに依存しているかのパターンも，転移可能な知識として存在する。

位置を考慮した統計的依存性が存在するという知識は, たとえば, 「今日の天気は」という分かち書きされた文脈が与えられて次の単語を予測するとき，一つ前が助詞の「は」で，二つ前が「天気」であるということが大きな手がかりとなり，「晴れ」という単語を予測できる， というような知識である。言語モデリング，もしくは一般的な言語タスクを解くのに有用な事前知識として，位置を考慮したトークンの文脈依存性があることは直感的にも納得できる。また, これは今日の言語の表現学習アルゴリズム (Sinha et al. 2021a) が仮定している, 分布仮説 (Harris 1954) が成立する，という知識であるともいえる.

Papadimitriou and Jurafsky (2020) は，楽譜データやプログラミングコードで事前学習したエンコーダが，自然言語モデリングに転用できることを示した，系列中の，位置を考慮した統計的依存性の観点から考えると, 楽譜中でメロディを形作る音符はしばしば近接しており, 局所的なパターンを形成している。また，プログラミングコードにも繰り返し用いられる構文が数多く存在する。これらの非自然言語データにも, 位置を考慮した統計的依存性が存在し, これが自然言語へ転移可能性をもたらしていると考えられる。

Artetxe et al. (2020) が示した, 転移元言語で訓練したエンコーダが, また異なる転移先言語にも転用できるという結果も，この言語に共通する統計的依存性が大きな役割を担っていると考えられる。しかし, 自然言語間での転移学習に関しては, 今回の研究では対象外とした, 意味空間の構造の共通性 (Mikolov et al. 2013; Lample et al. 2018; Artetxe et al. 2018) も少なから

ず転移性能に寄与している可能性がありうる.

また, 近年の研究によれば，言語データで訓練した多層 Transformer エンコーダが，他の自然言語のみならず, オフライン強化学習 (Reid et al. 2022) や, さまざまな計算タスク (Lu et al. 2022) に効果的に転用できることが知られている。このような転移学習についても，位置を考慮した統計的依存性が重要な役割をになっているのか，より複雑なトークン間の依存関係を捉えられるような事前知識を学習しているのか, または Transformer のアーキテクチャ, サイズ,層の数と転移可能性に何か関係があるのか，などの問いが残っている，言語から，また，言語への転移学習における, 転移されている知識についての更なる理解は, 今後の課題としたい.

## 参考文献

Arora, S., Li, Y., Liang, Y., Ma, T., and Risteski, A. (2016). "A Latent Variable Model Approach to PMI-based Word Embeddings." Transactions of the Association for Computational Linguistics, 4, pp. 385-399.

Artetxe, M., Labaka, G., and Agirre, E. (2018). "A Robust Self-learning Method for Fully Unsupervised Cross-lingual Mappings of Word Embeddings." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 789-798.

Artetxe, M., Ruder, S., and Yogatama, D. (2020). "On the Cross-lingual Transferability of Monolingual Representations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4623-4637.

Blei, D. M., Ng, A., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." Journal of Machine Learning Research, 3, pp. 993-1022.

Chi, E. A., Hewitt, J., and Manning, C. D. (2020). "Finding Universal Grammatical Relations in Multilingual BERT." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5564-5577.

Chiang, C. and Lee, H. (2022). "On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets." In Proceedings of the 36th AAAI Conference on Artificial Intelligence, pp. 10518-10525.

Chomsky, N. (1957). Syntactic Structures. De Gruyter Mouton.

Church, K. W. and Hanks, P. (1989). "Word Association Norms, Mutual Information, and Lexicography." In Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics, pp. 76-83.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E.,

Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451.

Conneau, A., Kruszewski, G., Lample, G., Barrault, L., and Baroni, M. (2018). "What You Can Cram into a Single \$\&!\#* Vector: Probing Sentence Embeddings for Linguistic Properties." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2126-2136.

Conneau, A., Wu, S., Li, H., Zettlemoyer, L., and Stoyanov, V. (2020). "Emerging Cross-lingual Structure in Pretrained Language Models." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6022-6034.

Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 4171-4186.

Doddapaneni, S., Ramesh, G., Kunchukuttan, A., Kumar, P., and Khapra, M. M. (2021). "A Primer on Pretrained Multilingual Language Models." ArXiv, abs/2107.00676.

Dufter, P. and Schütze, H. (2020). "Identifying Elements Essential for BERT's Multilinguality." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4423-4437.

Harris, Z. (1954). "Distributional Structure." Word, 10 (2-3), pp. 146-162.

Hupkes, D. and Zuidema, W. (2018). "Visualisation and 'Diagnostic Classifiers' Reveal how Recurrent and Recursive Neural Networks Process Hierarchical Structure (Extended Abstract)." In Proceedings of the 27th International Joint Conference on Artificial Intelligence, IJCAI-18, pp. 5617-5621.

Karthikeyan, K., Wang, Z., Mayhew, S., and Roth, D. (2020). "Cross-Lingual Ability of Multilingual BERT: An Empirical Study." In International Conference on Learning Representations.

Lample, G., Conneau, A., Ranzato, M. A., Denoyer, L., and Jegou, H. (2018). "Word Translation without Parallel Data." In International Conference on Learning Representations.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 726-742.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In International Conference on Learning Representations.

Lu, K., Grover, A., Abbeel, P., and Mordatch, I. (2022). "Frozen Pretrained Transformers as

Universal Computation Engines." In Proceedings of the 36th AAAI Conference on Artificial Intelligence, pp. 7628-7636.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English: The Penn Treebank." Computational Linguistics, 19, pp. 313-330.

Mel'čuk, I. (1988). Dependency Syntax: Theory and Practice. State University Press of New York.

Mikolov, T., Karafiát, M., Burget, L., Cernocký, J. H., and Khudanpur, S. (2010). "Recurrent Neural Network Based Language Model." In Proceedings of Annual Conference of the International Speech Communication Association, pp. 1045-1048.

Mikolov, T., Le, Q. V., and Sutskever, I. (2013). "Exploiting Similarities among Languages for Machine Translation." ArXiv, abs/1309.4168.

Papadimitriou, I., Chi, E. A., Futrell, R., and Mahowald, K. (2021). "Deep Subjecthood: HigherOrder Grammatical Features in Multilingual BERT." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2522-2532.

Papadimitriou, I. and Jurafsky, D. (2020). "Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6829-6839.

Pilault, J., Park, J., and Pal, C. (2019). "On the Impressive Performance of Randomly Weighted Encoders in Summarization Tasks." ArXiv, abs/2002.09084.

Press, O. and Wolf, L. (2017). "Using the Output Embedding to Improve Language Models." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 157-163.

Ravfogel, S., Goldberg, Y., and Linzen, T. (2019). "Studying the Inductive Biases of RNNs with Synthetic Variations of Natural Languages." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 3532-3542.

Reid, M., Yamada, Y., and Gu, S. S. (2022). "Can Wikipedia Help Offline Reinforcement Learning?" ArXiv, abs/2201.12122.

Ri, R. and Tsuruoka, Y. (2022). "Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7302-7315.

Sinha, K., Jia, R., Hupkes, D., Pineau, J., Williams, A., and Kiela, D. (2021a). "Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little."

In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2888-2913.

Sinha, K., Parthasarathi, P., Pineau, J., and Williams, A. (2021b). "UnNatural Language Inference." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 7329-7346.

Tay, Y., Bahri, D., Metzler, D., Juan, D.-C., Zhao, Z., and Zheng, C. (2021). "Synthesizer: Rethinking Self-Attention in Transformer Models." In Proceedings of the 38th International Conference on Machine Learning, pp. 10183-10192.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of the Advances in Neural Information Processing Systems 30.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. R. (2019). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In International Conference on Learning Representations.

White, J. C. and Cotterell, R. (2021). "Examining the Inductive Bias of Neural Language Models with Artificial Languages." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 454-463.

Wu, Y., Rabe, M. N., Li, W., Ba, J., Grosse, R. B., and Szegedy, C. (2021). "LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning." In Proceedings of the 38th International Conference on Machine Learning, pp. 11251-11262.

Zanette, D. H. and Montemurro, M. A. (2005). "Dynamics of Text Generation with Realistic Zipf's Distribution." Journal of Quantitative Linguistics, 12, pp. 29-40.

Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley Press.

## 付録

## A その他の自然言語からの実験結果

一般的に, 言語間転移学習においては, 転移先と転移元の言語が，同じ語族に分類される，また，語彙の多くが共通しているなど，類似点が多い言語である場合に，より高い性能が発揮される傾向にある (Artetxe et al. 2020)。ここでは, 事前学習に用いる自然言語の違いによる, エン

(a) PTB データセットで評価したパープレキシティ.

(b) Probing タスクの精度.

図 93 種類の自然言語, 英語 (English), スペイン語 (Spanish), 日本語 (Japanese) で事前学習したエンコーダを，転移学習で評価した際の結果.

コーダの転移性能の差について調査するため, 英語に加えて，スペイン語，日本語のデータを用いた実験結果を示す．事前学習に用いるデー夕は，英語のデー夕同様，Wikipedia Dumpを用いた。スペイン語の文は Moses ${ }^{9}$ ，日本語の文は MeCab10 を用いて単語に分割した。

ここで，下流タスクは PTB コーパスを用いており，転移先の言語は英語となる．英語と，転移元の言語の近さに関して，スペイン語は, 英語と同じインド・ヨーロッパ語族に属し, 日本語は，英語と比較的離れた言語である，従って，転移先言語との近さは，英語 > スペイン語 $>$ 日本語，の順で近いといえる。しかしながら，図 9 に示す通り，下流タスクのパープレキシティの値, Probing タスクの精度のどちらにおいても, これらの言語で訓練されたエンコーダの間に，顕著な差は認められない，今回の実験において，エンコーダが系列データから学習できる統計的規則に関しては, これらの言語の間に差はないということが分かる.

## B各単語分布と係り受け構造を組合せた人工言語からの実験結果

図 10 は，各種分布と係り受け構造を組合せた人工言語で訓練したエンコーダを評価した結果である。基本的に，5 節で提示したデー夕と同様の傾向を示している。まず， 5.2 節で観察された通り，トークンのペアをサンプルする分布に関わらず，Flat の構造より，入れ子状の制約を持つ Nesting の方が低いパープレキシティを記録している。また，同じ構造を持った人工言語内で比較した際に，5.1 節で見られたように， Uniform > Zipf > LogLinear の順でパープレシティが低くなることが確認できる。 LogLinear と Nesting との組合せは, LogLinear の構造たけを持つ言語と，Uniform Nesting 言語のどちらよりも，低いパープレキシティを一貫して示し

図 10 トークンのペアをサンプルする際の分布 (Uniform, Zipf, LogLinear) と, 係り受け関係 (Flat, Nesting) を各種組合せた人工言語で事前学習したエンコーダを，転移学習で評価した際の結果.

ており, LogLinear と Nesting の構造は, それぞれ相補的に異なる有用な知識を与えていると考えられる。

## 略歴

李凌寒 : 2023 年東京大学大学院情報理工学系研究科博士課程終了. 同年よ

り LINE 株式会社所属. 博士 (情報理工学). 言語処理学会, ACL 各会員.

鶴岡慶雅：2002 年東京大学大学院工学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年マンチェスター大学研究員. 2009 年北陸先端科学技術大学院大学准教授. 2011 年より東京大学大学院准教授. 2018 年より東京大学大学院教授. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, 各会員.


# BERT を用いた日本語の意味変化の分析

小林 千真 $\dagger \cdot$ 相田 太一 ${ }^{\dagger}$ 岡 照晃 $\dagger \cdot$ 小町 守 $\dagger$
}

単語が持つ意味や用法は時代とともに変わっていく. BERT から獲得した単語べク トルをグルーピングし， 時期ごとの使用率を算出することで意味変化を分析する方法がある．英語の意味変化分析では既にいくつかこの類の手法が導入されているが，

日本語への適用はまだない。また，英語での分析では手法ごとの比較が行われてい ない。そのため, 日本語に適用した際の性能や各手法がどのような条件で有効か明 らかになっていない，そこで本研究では日本語を対象に，以下の実験を行なった。現代語で事前訓練された BERT の文脈依存べクトルに, 辞書を使った教師ありのグ ルーピング手法とクラスタリングを使った教師なしのグルーピング手法を適用し比較した。また BERT を通時的なコーパスで fine-tuning L， BERT の文脈依存べク トルが捉える通時的な特徴を分析した。比較と分析の結果, 充実した辞書がない場合，クラスタリングを使った手法が意味変化を捉えるのに適していることが分かっ た. さらに, 現代語 BERT を通時的なコーパスで fine-tuning することで古い時期特有の表現により適した意味変化の分析が可能になることが分かった。一方で，古 い時期に出現しない現代特有の用法がある場合には，意味変化を捉えられないケー スも存在した。

キーワード : 意味変化, 日本語, BERT, 単語ベクトル
## Analysis of Semantic Changes in Japanese Words Using BERT

\author{
Kazuma Kobayashi ${ }^{\dagger}$, Taichi Aida ${ }^{\dagger}$, Teruaki OKa ${ }^{\dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

The meaning and usage of words change over time. One method of analyzing these changes is to group word tokens by their meanings in each period and compare their usage rates. Several methods of this kind have been used to analyze semantic changes in English, but they have not yet been applied to Japanese. In addition, the methods have not been compared. Therefore, the performance of this method on Japanese and the conditions under which each method is effective have not been clarified. Thus, we conducted the following experiments on Japanese words. We applied a supervised grouping method using a dictionary and an unsupervised grouping method using clustering to context-dependent vectors in the BERT model and compared them. We also pre-trained BERT on a diachronic corpus and analyzed the diachronic features captured by the context-dependent vectors in BERT. The results of the comparison

and analysis showed that in the absence of a well-developed dictionary, the clusteringbased method was better able to capture semantic change. Furthermore, it was found that fine-tuning with a diachronic corpus can be used to capture semantic changes in older periods. However, it was also found that some words with usages that did not appear in the older period could not always be captured.

Key Words: Semantic Change, Japanese, BERT, Word Embeddings

## 1 はじめに

「渋滞」という単語はもともと(1)(2)のように「物事が停滞する」の意味で使用されていた. しかし自動車交通網の発展に伴い, 1960 年代頃から (3)(4)のように「交通渋滞」を意味する単語となった。

（1) 英國ハ年來斯好慣アリテ内閣ノ更迭セルタメ國務ノ澀滯ヲ來シタルフ甚ダ少シト雖モ

(1862 年, 朝比奈知泉『政黨内閣は果して國家永久の長計なるか』, 国民之友 $\langle 29\rangle)^{1}$

(2) 課長の一人や局長の半分ぐらみ缺けてみたとて事務に澁滯を來たすやうな憂ひもあるまいが、

(1925 年, 古島一雄『役人となつての感想』, 太陽 $\langle 1925-9\rangle)^{2}$

(3) 出勤したニューヨーク市民は、ふたんより多いくらいで、道路は大渋滞、という有様になったのです。

(1975 年, 磯村尚徳『ちょっとキザですが』) $)^{3}$

(4) 高速道路入口付近で渋滞にまき込まれた。

(1984 年, 安部公房『方舟さくら丸』) 4

単語の意味や用法は時代や社会環境とともに現在も変化し続けている。意味変化と呼ばれるこの現象には，さまざまなパターンがある．前述の「渋滞」は意味する対象が狭くなる変化（物事が停滞する $\rightarrow$ 交通渋滞）だったが，より広い対象を意味するように変わるパターンもある.例えば明治・大正期の用例を見ると「柔軟」は「羊の毛の柔軟」や「柔軟なるゴム」のように物理的な柔軟性を表していた. しかし現代に向かうにつれ「柔軟な姿勢」のように概念的なやわらかさを表す用例が増加する。 さらに，良い意味・中立的な意味だった言葉が悪い意味で使われる変化もある。「貴様」は中・近世では敬意で用いられていたが, 近世末になると目下の者への罵りの言葉に変化した。

Bloomfield (1933)によると意味変化の要因には文化的な要因と言語的な要因の 2 つがある.

文化的な要因は，新技術の登場や病気の大流行など社会的・文化的な事柄に起因し，急激な変化となることが多い，近年の例では，自然現象，ビールの銘柄や会社の名前だった「コロナ」が数年で「新型肺炎」としての用例を急増させた。一方，言語的な要因は特定の事柄に起因しない規則的な変化で，比較的ゆっくりと起こる。例えば(5)6に示す「やばい」のように，否定の意味を持っていた単語が反対の肯定的な意味で使われ出すパターンが言語的な要因である。こうした意味変化は特定の言語に限らず，さまざまな言語で起こっている (Hamilton et al. 2016a; Hou et al. 2020; Rodina and Kutuzov 2020).

(5) 物色時間は, 長いとやばいので 3 分くらいだ。

(1977 年, 警察庁『警察白書』) ${ }^{5}$

６）やばいぐらい可愛くて、かっこよくて・・あなたのしぐさ、言葉、表情一つ一つにトキメイてしまう。

(2008 年, Yahoo!ブログ $)^{6}$

上記の(1)～６は語義が変化した典型的な意味変化である．本研究では，語義の変化と意味変化という単語を使い分ける。語義の変化は文字通り，ある語義から別の語義への変化であるが意味変化は語義の変化に限らない，例えば「尋常」という単語の変化を見ると，語義は「普通」 のままだが否定的な文脈で出現する用法の変化が起きている。このようにある単語特有（または少数の単語で特有）の用法の変化も含めた広い概念として意味変化を扱う。一方で，ある単語特有でない用法の変化は意味変化としない. 例えば,「複合名詞としての出現が増加（減少）」 や「近代から現代にかけて動詞の基本形を名詞的に扱う用法7が消失」のような変化は意味変化としない. 本研究における意味変化前後の語義や用法の判断基準は 4.6 節で述べる．以降，意味変化前の語義や用法を原義, 意味変化後の語義や用法を転義とよぶ.

意味変化は主に言語学や辞書学で研究されてきた。また, 言語を社会的な観点から捉える点で社会学でも扱われる (Geeraerts 2015). 工学分野では自然言語処理が情報工学的知見を活かし,意味変化している単語の自動検出（意味変化検出）手法の開発や, 意味変化を分析する統計的手法を提案している。これらの手法を使えば,これまで認知されてこなかった過去に意味変化していた語の発見, 現在起こりつつある変化の捕捉, 未来に起り得る変化の予測が可能になる.

意味変化検出の研究では, 出現文脈に依存しない単語べクトルを用いた手法と出現文脈に依存した単語べクトルを用いた手法が提案されている8,9. 出現文脈に依存しない単語べクトル獲

得手法の代表例は word2vec である. word2vec は 1 つの単語を出現文脈によらず 1 つのべクトル値で表現する。出現文脈に依存しない単語べクトルを用いた手法を本稿では文脈非依存の手法とよぶ. 一方, 出現文脈に依存した単語べクトルの獲得手法では BERT や ELMo が代表的である，BERT や ELMo は同じ単語でも出現文脈が変われば，文脈に応じた異なるべクトル值で表現する. 出現文脈に依存する単語べクトルを用いた手法を本稿では文脈依存の手法とよぶ.意味変化の検出が目的であれば，文脈非依存の手法でも問題ない. しかし文脈非依存の手法は対象単語のあらゆる出現（語義・用法）をまとめて 1 つのべクトルで表現する。そのため,個々の出現を十分に議論できず，意味変化を語義や用法ごとに観察する意味変化の分析（１検出）には適さない。一方, 文脈依存の手法では対象単語のすべての出現に 1 つずつ異なる值のべクトルを作成する。これを何かしらの手法でグルーピングすれば，出現文脈に応じた語義や用法のクラスタが形成されることが期待できる。 それらのクラスタの出現比率を時期ごとに算出することで語義レベルで意味変化を観測できる．本稿の目的は意味変化の分析であるため，文脈依存の手法を採用する.

意味変化の分析手法として Hu et al. (2019) と Giulianelli et al. (2020) は英語ドメインで文脈依存の手法を提案している。いずれの研究でも対象単語の文脈依存ベクトルを集めてグルーピングし，各グループの時期別出現比率を比較することで意味変化の分析を行なっている．両者の違いはグルーピング手法である. Hu et al. (2019) は辞書に書かれた語義と例文を教師デー夕とし, 近傍法で語義クラスタの形成を試みた. Giulianelli et al. (2020) は教師データを使わず,教師なしクラスタリングのみで用法クラスタの形成を試みた。いずれも英語が対象のため，他言語での有効性は検証されていない.

自然言語処理における意味変化の研究には，通時的なコーパスと対応する期間中に意味変化した語のリストおよび実際に意味変化したことを示す論拠が必要であるが，計算機上で利用できる資源の整備が進んでいないのが現状である。意味変化検出の研究は Schlechtweg et al. (2020) が公開したデータセットに含まれる英語, ラテン語, ドイツ語, スウェーデン語が主流であるが, 日本語では共通に研究利用できる言語資源が限られ，利用範囲にも制限があるため, 研究も前述の語族に比べて少ない. 日本語で意味変化検出を行なった研究として Aida et al. (2021) があり，数単語の分析を行なっているが，単語の各語義や用法を中心とした包括的な分析は行われていない.

以上を踏まえ, 本研究では日本語を対象とし, 以下の実験と分析を行なった. 意味変化の分析の観点で, Hu et al. (2019) の辞書を用いた手法と Giulianelli et al. (2020)のクラスタリングを用いた手法の日本語ドメインでの有効性を複数条件下で比較・検証した。また, BERT や ELMo の文脈依存の手法の意味変化検出では, fine-tuning で検出精度が向上する報告があるため (Kutuzov and Giulianelli 2020), 現代語で事前学習された BERT を fine-tuning し，その影響を検証した。以上の結果，日本語では辞書を使った手法よりも教師なしクラスタリング，特に
$k$-means 法を使った手法が意味変化の分析に適していることが分かった. また, 現代語 BERT を fine-tuning することで，現代では使わないような古い用法でも意味変化を捉えるようになること，その一方で古い時期では使われていなかった現代の用法がノイズになるケースがあることが分かった。

本研究の貢献は以下の 3 つである.
- 2 つの意味変化分析手法（辞書ベースの教師ありグルーピング手法 (Hu et al. 2019) と教師なしのクラスタリング手法 (Giulianelli et al. 2020)）の比較と適用方法の検討
- 日本語を対象とした BERT によるべクトル化を用いた意味変化の詳細な分析
- fine-tuning が文脈依存の手法に及ぼす影響の調査

## 2 関連研究

## 2.1 文脈依存の単語ベクトル化

現在までに様々な単語のべクトル化手法が提案されているが, 単語タイプごとに 1 つのべクトル値を与える方法と単語トークンごとに出現文脈に応じたべクトル値を与える方法の 2 つに大別できる。単語タイプごとにベクトル化する方法として word2vec (Mikolov et al. 2013) や fastText ${ }^{10}$ があるが，これらの手法は単語の出現文脈に応じたべクトル化をしない文脈非依存な手法である。本研究では語義や用法の変化を扱うために出現文脈ごとに異なる値のべクトルを得る必要があり, 単語タイプごとのべクトル化手法（文脈非依存の手法）は適さない．以降,本節では単語トークンごとに出現文脈に応じたべクトルを与える手法（文脈依存の手法）について先行研究を紹介する.

Schütze (1998)では, 単語の共起情報を利用して文脈依存べクトルを獲得する手法を提案した.彼らはそのベクトルをクラスタリングすることで語義クラスタを形成し, 語義曖昧性解消や情報検索での利用を試みた． Erk and Padó (2010)の事例ベースモデル (Exemplar-Based Models) や Melamud et al. (2016) の LSTM と多層パーセプトロンを使用した手法も提案されている.近年では，深層学習を用いた事前学習済み言語モデルから文脈依存な単語ベクトルを獲得する手法が注目されている。代表的な事前学習済み言語モデルとして, ELMo (Peters et al. 2018), BERT (Devlin et al. 2019), GPT (Radford and Narasimhan 2018)などがある. GPT では前の文脈のみを考慮した学習が行われるのに対し, ELMo や BERT では前後の文脈を考慮した学習が行われる。本研究の実験は, 文全体を利用できる設定で行うため, 文脈依存な単語べクトルを獲得する手法として, ELMo や BERT がより適している. ELMo は双方向の LSTM を用いたモデルであり，BERT は Transformer (Vaswani et al. 2017)のエンコーダ部分を用いたモデ

ルである．最近の研究では ELMo や BERT から獲得した文脈依存な単語べクトルが語義曖昧性解消タスクで有効であり, 特に BERT が良い性能を発揮することが示されている (Pilehvar and Camacho-Collados 2019). 本研究で用いる意味変化の分析手法では, 単語を語義や用法ごとにグルーピングする必要があるため，語義曖昧性解消タスクで有効な BERT を用いた文脈依存の手法が効果的であると考える。

## 2.2 単語の意味変化検出

本研究では単語の意味変化の分析が主目的であるが, 盛んに研究されているのは意味変化検出である。初期には単語の頻度情報を用いたナイーブな検出手法 (Cook and Stevenson 2010) が提案され，その後，深層学習モデルを使った手法が数多く提案された．深層学習モデルを用いた意味変化検出手法は大きく文脈非依存の手法と文脈依存の手法に分けられる．文脈非依存の手法では， word2vec (Mikolov et al. 2013)を用いた手法がある.この手法では word2vec の「学習データ全体の特徴に応じて入力単語をべクトルに変換する」という性質を利用する。通時的なコーパスを時期ごとに分け, 時期ごとの学習データを作り, 各時期でモデルを構築することで，各モデルは各時期の特徴を捉えた単語べクトルを獲得する。そして，各時期のモデルから対象単語の単語べクトルを獲得し，比較することで意味変化検出を実現する．時期ごとにモデルを作るため，モデル間でベクトル空間に対応がなく， ベクトルを直接比較できない。この問題を解決するいくつかの方法が提案されている。 ある時期 $p$ のモデルを訓練する際, 初期値として時期 $p$-1のモデルを使う手法 (Kim et al. 2014), 線形変換によって各時期の間でべクトル空間の対応付けを行う手法 (Hamilton et al. 2016b), 全時期同時に学習することで対応付けを必要としない手法 (Yao et al. 2018) である．手法により捉えられる意味変化の傾向や得意不得意の差はあるものの，共通して多義語を語義別に観察できない問題がある.

文脈依存の意味変化検出手法では ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019)を用いる. ELMo や BERT の「入力文字列の文脈に応じた単語べクトルを獲得する」という性質を利用する。この性質により，対象単語のベクトルそのものから語義や用法を区別することが期待できるため，時期を無視して1つの事前学習済みモデルに対象単語が出現する文脈を入力する方法を取ることができる．1つの事前学習済みモデルだけを用いるので，文脈非依存の手法で行なったようなモデルごとのべクトル空間の対応を取る必要はない. この文脈依存の単語べクトルを用いた手法として, ベクトルをクラスタリングする手法 (Matej et al. 2020; Kutuzov and Giulianelli 2020; Giulianelli et al. 2020; Montariol et al. 2021; Karnysheva and Schwarz 2020), クラスタリングは行わず, ベクトル同士のコサイン距離をぺアワイズで計算する手法 (Kutuzov and Giulianelli 2020), ベクトルを平均化して単語タイプのベクトルとしてコサイン類似度を計算する手法 (Martinc et al. 2020) がある. 意味変化検出タスクではペアワイズでの比較や単語ベクトルを平均化する手法が高い性能を報告しているが，クラスタリングのようなグルーピン

グを用いる手法以外では数值結果が出力されるのみであり，解釈が困難である．そのため本稿の対象とする意味変化の分析には単語べクトルのグルーピングを使った手法が適している.

## 3 意味変化の分析手法の手順

本稿で用いた意味変化分析の手順を述べる。手順は大きく 4 つの段階に分けられる。まず BERT を用いて対象単語のすべての出現をべクトル化する（3.1 節），得られたべクトル集合を辞書を用いた手法とクラスタリングを用いた手法のそれぞれでグルーピングする（3.2 節）。通時的なコーパスに付与された年代情報から, どの年代にどのクラスタがどの程度現れるのか,割合の変化を算出することで変化を観察する（3.3 節）．JSD を用いた意味変化度合いのスコアリングによって定量的な評価を行う（3.4 節).

## 3.1 BERT による単語ベクトルの獲得

文脈依存の単語ベクトル（以下，単に単語ベクトルと呼ぶ）の獲得方法として, 本研究では BERT を用いる。入力は文字列をトークナイズしたトークン列である。トークナイザでは，まず文字列を単語区切りに分割する。その後, 単語をサブワード単位に分割し, 最終的なトークン列へと変換する。複数文を入力する場合, 文間に $[\mathrm{SEP}]$ という特殊トークンを置く. BERT の訓練は Masked Language Modeling (MLM) と Next Sentence Prediction (NSP)によって行われる．MLM では入力するトークン列の一部を [MASK] という特殊なトークンで置き換えて BERT に入力し， [MASK] に置き換えられた元のトークンを当てるタスクを行う．NSPでは 2 文を入力し，それらが連続した文か否かを当てる夕スクを行う，BERT は注意機構とこれらの訓練（特に MLM）により，前後文脈を考慮したトークンのベクトル化を実現している.

文脈依存の単語ベクトルは，対象単語を含む文字列を BERT に入力し，対象単語に対応するトークンの隠れ層の最終層から獲得する。対象単語が複数のトークンからなるときには, 対象単語を構成するトークンのベクトルの平均を使用する.

本研究において，コーパスは文章とその文章が出現した時期がセットで記述された状態を想定する（詳細は 4.1 節)，ある単語 $w$ を含む文 $i$ を BERT に入力して得られるべクトルを $v_{i}^{w}$ とする（簡単のため同一文内に同一単語が 1 度しか現れない前提で定式化している）， $v_{i}^{w}$ と文 $i$ に付与された出現時期の情報 $p$ で，タプル $t_{i}=\left(v_{i}^{w}, p\right)$ を作る。コーパス全体から網羅的に $t_{i}$ を作成し, $t_{i}$ を要素とする集合を $S^{w}=\left.\{t_{1}, t_{2}, \ldots, t_{m}\right.\}$ とする.

## 3.2 単語ベクトルのグルーピング

グルーピング手法として, Hu et al. (2019)の辞書を用いた教師あり手法と, Giulianelli et al. (2020)の $k$-means 法を用いた教師なしクラスタリング手法を使用する. ここで述べるグルーピ

ングは, 前述した対象単語 $w$ の集合 $S^{w}$ を部分集合 $\left.\{S_{1}^{w}, S_{2}^{w}, \ldots, S_{k}^{w}\right.\}$ に分割する操作として定式化できる（ $k$ はグループ数).

## 3.2.1辞書を用いた教師ありのグルーピング

Hu et al. (2019)の辞書を用いた手法を説明する. 図1のように, 辞書には各単語の語義に対応する例文が付与されていることが期待される ${ }^{11}$. 辞書において $n$ 個の語義を持つ単語 $w$ に対して, 語義に対応する語義べクトル集合 $\left.\{g_{\text {語義 } 1}^{w}, g_{\text {語義 } 2}^{w}, \ldots, g_{\text {語義 } n}^{w}\right.\}$ を作る. 語義べクトルは, 語義に付与された例文を BERT に入力し 3.1 節のベクトル化と同様の手法で対象単語のベクトルを作成する。ただし，1つの語義に複数の例文が付与されている場合は各例文から作成した対象単語のベクトルの平均を語義べクトルとする. そして， $S^{w}$ の各要素 $t_{i}=\left(v_{i}^{w}, p\right)$ の $v_{i}^{w}$ と集合 $\left.\{g_{\text {語義 }}^{w}, \ldots, g_{\text {語義 } n}^{w}\right.\}$ の全要素とのユークリッド距離を計算し, 最も近い語義ベクトルの語義に $t_{i}$ を割り当てていくことで, グルーピングを行う。この操作を対象単語 $w$ の 1 つずつ（1 単語夕

## JapanKnowledge Lib

## 日本国語大稺典

## じゅう-たい [ジフ・]【渋滞】

## 解説 $\cdot$ 用例

〔名〕

(1) ものごとがすらすらとはかどらないこと。とどこおって進行しないこと。

(2) 道路が混雑して、車両などがなかなか先へ進めないこと。

*弟〔１９９３）〈古井由吉〉「渋滞に苦しみながら、東西に走る幾筋もの道路を陸橋でまたぎ」

図 1 ジャパンナレッジ『日本国語大辞典』に掲載されている「渋滞」の単語説明の一部 .

## イプごと）に行う.

図 1 の「渋滞」を具体例にとると, 「(1)ものごとがすらすらとはかどらないこと。」(語義 1) に 5 つ例文が付与されており，これらを用いて ${ }^{12} 「(1)$ もこごとがすらすらとはかどらないこと。」（語義 1）の語義べクトル $g_{\text {䟚滞 } 1}^{\text {義 }}$ が作られ，「 $(2)$ 道路が混雑して、車両などがなかなか先へ進めないこと。」（語義 2 ）も付与された 1 つの例文から語義べクトル $g_{\text {語滞 } 2}^{\text {㼁 }}$ が作られる. 以降,この手法を辞書ベースの手法と呼ぶ.

## 3.2 .2 単語ベクトルのクラスタリング

Giulianelli et al. (2020)のクラスタリングによるグルーピング手法について述べる． $k$-means 法ではあらかじめクラスタ数 $k$ を指定する必要があるが, 適切なクラス夕数は自明ではない. そこで，クラス夕数 $k$ を $2 \sim 10$ として計 9 回， $S^{w}$ の各要素 $t_{i}=\left(v_{i}^{w}, p\right)$ の $v_{i}^{w}$ に対して $k$-means 法を適用する。その後, 各クラスタリング結果のシルエットスコア (Peter 1987) を算出し, シルエットスコアが最大となるクラスタリング結果 1 つを最終的なクラスタリング結果とする. シルエットスコアは，クラスタリングの結果を評価する指標であり，次のように算出する。ある 1 つのべクトル $v_{i}^{w}$ に対して,$v_{i}^{w}$ が属するクラスタの $v_{i}^{w}$ 以外のべクトルとの距離平均をクラス夕内凝集度 $a_{i}$ とする. $v_{i}^{w}$ が属するクラス夕以外で $v_{i}^{w}$ に最も近いクラスタ内の全べクトルと $v_{i}^{w}$ との距離の平均を乘離度 $b_{i}$ とする. ここで $v_{i}^{w}$ に最も近いクラスタとは, 各クラスタの全べクトルと $v_{i}^{w}$ の距離平均が最も小さいクラスタである. $v_{i}^{w}$ のスコア $s_{i}$ を以下の式で算出する.

$
s_{i}=\frac{b_{i}-a_{i}}{\max \left.\{b_{i}, a_{i}\right.\}}
$

以上の方法で算出されるスコア $s_{i}$ を全 $v_{i}^{w}$ で求め, 平均した値がシルエットスコアである. $k$-means 法とシルエットスコアの距離関数はどちらもユークリッド距離を用いた。辞書ベースの手法と同様に，この操作を対象単語 $w$ の 1 つずつ（1 単語タイプごと）に行う．以降, この手法をクラスタリングベースの手法と呼ぶ.

## 3.3 意味変化の観測

$S^{w}$ の各要素に付与されている時期の情報 $p$ とグルーピング結果を用いて, 時期ごとのクラス夕の割合を算出できる。図 2 は，グルーピング結果から時期ごとのクラス夕割合への変換の簡略図である。図 2 (左) では 3.2 節で述べたグルーピングの結果に加え, 時期の情報を点の形状で明示的に図示している。これらの情報から各時期でのクラスタの割合が算出できる。図 2 （右）は各時期でのクラスタの割合を示した積み上げ棒グラフである，図 2 では，クラスタ A の比率が減少し, クラスタ $\mathrm{C}$ の比率が増加していることがわかる. クラスタ $\mathrm{A}$ が原義に対応し,

図 2 単語ベクトルのグルーピング結果と時期の情報から, 各クラスタの時期ごとの割合を示す棒グラフへの変換を示した図．BERT から獲得した単語ベクトルをグルーピングし（左），各時期でのクラスタの割合を算出する（右）。

クラスタ $\mathrm{C}$ が転義に対応しているならば，意味変化を捉えたとみなす。このようにグルーピングの結果と時期ごとのクラスタの割合の変化によって意味変化を分析していく.

## 3.4 JSD を用いた意味変化度合いのスコアリング

分析に定量的観点を取り入れるため Jensen-Shannon divergence (JSD) (Lin 1991) を用いて意味変化度合いのスコアを求める. JSD は 2 つ確率分布の類似度を測る指標であり, 確率分布 $Q, R$ に対して, 以下のように定義される.

$
J S D(Q \| R)=\frac{1}{2} K L D(Q \| M)+\frac{1}{2} K L D(R \| M)
$

ただし， $M=\frac{1}{2}(Q+R)$ である. JSD は 2 の確率分布が似ているほど小さく，似ていないほど大きな値となる。また 2 つの確率分布が全く同じとき 0 をとる。意味変化度合いのスコア $C S$ を以下のように定義する.

$
C S=\max _{P} J S D\left(u_{p} \| u_{p-1}\right)
$

ただし， $P$ は対象とした時期の列（図 2 では（時期 1 , 時期 2 , 時期 3 )に対応）であり， $u_{p}$ は時期 $p$ における各クラスタの比率（図 2 では図 2 (右) の各時期の積み上げ棒グラフに対応）である ${ }^{13}$. JSD は文脈依存の意味変化検出で多く用いられるスコアである (Matej et al. 2020; Kutuzov and Giulianelli 2020; Montariol et al. 2021). JSD はクラスタの比率の変化を捉えることができ

るが，捉えたい語義や用法ごとにクラスタが形成されているかを捉えることはできない．そのため「意味変化を捉えているならば JSD が高い」とはいえても，「JSD が高いならば意味変化

隣り合う時期間で大きく変化しているが，その 2 つのクラスタは原義と転義に対応していないとする。このような場合でも JSD は大きな値を取るが各クラスタが原義と転義に対応していないので意味変化は捉えられていない.

## 4 実験設定

## 4.1 対象コーパス

日本語の意味変化分析を行うため, 幅広い年代にわたる日本語コーパスとして, 国立国語研究所の『日本語歴史コーパス』14の一部である近代雑誌コーパスと『昭和・平成書き言葉コーパス』15として構築中の雑誌（『中央公論』『文藝春秋』）データを追加したものを用いた、コーパス全体は 1874 年から 1997 年までに刊行された雑誌からなるが，本研究では文量のバランスを考慮し, 1898 年から 1997 年の 100 年間を 25 年区切りで分割し, 全体を 4 つの時期に分けた.

複数時代にまたがるため，コーパス内で同じ単語でも表記が異なる単語（例：新字体 vs 旧字体）がある。これらの単語をまとめて処理するために，コーパス全文を語形代表表記出現形に変換した，国語研が整備するコーパスは出現形（表層形）, 語形, 語彙素（辞書見出し）の階層構造を持つが，語形代表表記出現形は活用語の変形を保ったまま表記を統一できるレイヤー で，日本語歴史コーパスでは語形の下で管理されている。例えば，「栄える」の仮定形「栄えれ (ば)」が旧字で「榮えれ」と表記されていた場合, 語彙素にまとめると「栄える」になるが活用の情報が失われる．語形（出現形）に変換した場合「サカエル」と「サカエレ」といった活用の違いは区別されるが，語形はカタカナ表記のため同音異義語が区別されないまま BERT の入力となる. 語形代表表記はカタカナ表記で管理されている語形の下で当該語形の代表的な出現形表記情報を基本形で 1 つ保持しており，それを活用展開したのが語形代表表記出現形である. 書字形出現形を語形代表表記出現形に置換することで，書字上の差異を統一しつつ活用変化を残した正規化が行える。「栄えれ」の例であれば「栄えれ」も「榮えれ」も語形代表表記出現形に置き換えれば「栄えれ」に正規化される。

以上の処理を施したコーパスを以降対象コーパスと呼ぶ．対象コーパスは $7: 1$ に分割し，それぞれ学習データとテストデータとした。

## 4.2 使用した BERT

本研究では, 現代語で訓練を行なった現代語 BERT と, 対象コーパスで現代語 BERT を fine-tuning した近代語 BERT の 2 種類の BERT を使用した.

現代語 BERT Hugging Face で公開されている東北大の日本語版 BERT ${ }^{16}$ (以下, 現代語 BERT）を使用した. ${ }^{17 この ~ B E R T ~ モテ ゙ ルは ~} 12$ 層からなり, hidden states は 768 次元, attention heads は 12 個という構成である。学習は元の BERT (Devlin et al. 2019) と同様, 1インスタンスあたり 512 トークン, 1 バッチあたり 256 インスタンスで 100 万ステップ学習されている. マスク言語モデルは whole word masking を使用して, トークン単位ではなく単語単位で学習が行われている。単語区切りは MeCabを用いており，辞書は

によってサブワード化することでトークナイズしている。学習は TensorFlow Research Cloud が提供する Cloud TPU の v3-8 instance を使用して行われている. 対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.578 である.

近代語 BERT 対象コーパスの学習データを用いて, 我々が現代語 BERT を fine-tuning Lたモデルである. fine-tuning のタスクは事前学習と同様である.

主な実験結果を報告する近代語 BERT の fine-tuning は，1インスタンスあたり 512 トー クン，1バッチあたり 32 インスタンス，学習率は 1e-4で 310 万ステップ行なった。訓練で使用した GPU は NVIDIA Tesla P40 である. 対象コーパスのテストデータを使用した MLM タスクのマスク箇所の予測の正解率は 0.652 であり, 現代語 BERT よりも 0.08 高い.

近代語 BERT は fine-tuning の学習環境の違いで結果に差が出る可能性がある.この点を考慮して, fine-tuning に関する分析（7.2節）では, パラメータや学習環境を変えて学習したモデルを 6 種類も作成し， 5 種類以上のモデルで同じ傾向が確認できた分析結果のみ報告する．各 fine-tuning の学習条件は学習率と使用 GPU を変えた 6 パターンで行なった. 学習率は 2e-5, 3e-5, 5e-5 の 3 パターン, GPU は NVIDIA Tesla P40 と NVIDIA TITAN RTX の 2 種類である。また学習は 15 万ステップ行なった。主な実験結果を報告する近代語 BERT と比べ学習ステップ数が少ないが，学習デー夕を $2 \sim 3$ epoch 学習するため, 十分と判断した (Kutuzov and Giulianelli 2020). これら以外の条件は主な実験結果を報告する近代語 BERT と同様である.

## 4.3 辞書

辞書べースの手法では, 日本で最大規模の辞書の一つである『日本国語大辞典』(ジャパンナレッジ版) 19 を使用した。語義に付与されている例文に漢文が含まれていた場合は，漢文を削除し，その他の文を使用した。

## 4.4 ツール

本研究での $k$-means 法の実装には scikit-learn (version 0.24.2)20 を用いた. $k$-means 法は初期値に依存して結果が異なる手法であるが， scikit-learnのデフォルトの実装として初期値依存性を軽減するため以下の配慮がなされている。各 $k$ で, $k$-means 法を 10 回適用する. 10 個の結果のうち, 各べクトルから最近傍のセントロイドへの距離の合計が最も小さいクラスタリング結果を最終的な結果として採用する。セントロイドの初期値は $k$-means++ (Vassilvitskii and Arthur 2006) を用いて決定する。 $k$-means++ はセントロイドを選ぶ際に，セントロイドの初期位置が離れるように選ばれる確率が高くなる手法である.

## 4.5 対象単語

近代コーパスス ${ }^{21}$ で意味変化した単語のリスト (間淵, 小木曽 2021) から対象単語を選定した. ただし，対象コーパス内のそれぞれの時期で 10 回以上出現していることを条件とし，最終的に 34 単語を選定した. 漢語が 30 単語, 外来語が 3 単語, 和語が 1 単語である. これらは全て, 活用がない単語で, 具体的には以下である. 普段, 障害, 柔軟, 結構, 要領, 免許, 優勝, 非常,全然, 渋滞, ポイント，管制，故障，精々，教養，教授，適当，心持ち，普通，尋常，広告, 了解, 住居, 設備, 風俗, 愛人, 自然, 女性, モデル, 貴族, ボタン, 情報, 主婦, 婦人.

## 4.6 評価

2 つの意味変化分析手法と JSD によるスコアリングをそれぞれ以下の方法で評価した.

意味変化分析の定性評価以下の 2 点を確認することで定性判断を行なった．たたし，主な定性判断は第一著者 1 人で行い，解釈が難しいと判断した一部の単語では共著者の複数人で判断を行なった。

(1) 原義と転義に対応するクラスタがそれぞれ存在するか

（2）（1）の結果に基づき, 図 2 （右）の積み上げ棒グラフにおいて, 原義と転義の増減は妥当か

判定の具体的な手順と基準は以下の通りである。まず単語べクトル集合に PCA を適用

して 2 次元空間にプロットする． 2 次元空間上で各クラスタの全体像を把握するように要素を選出する，選出した要素に対応する文を読み，文内での対象単語の用例を「原義」，「転義」，「原義または転義とは別の用例」，「意味解釈が困難」の 4 種類に分類し，確認した用例の中で最も多かったものをクラスタのラベルとする。ただし，選出する要素数は各クラスタで最低 10 とする。意味の理解が困難な用例が多い場合や複数のラベルが拮抗している場合には著者が十分であると判断するまで要素を選出する。(2)では (1)の結果, 原義と転義のラベルが存在した時に, 隣り合う時期間で原義のクラスタの出現比率が $10 \%$ 以上減少し，かつ，転義のクラスタの出現比率が $10 \%$ 以上増加した際に，妥当な増減と判断する。原義と転義は間淵，小木曽 (2021)の付録「近現代日本語意味変化分析のための単語データセット頻度表」に掲載されている「原義」と「転義」を基準とする。

## JSD を用いた意味変化度合いのスコアリングの評価 日本語では意味変化の度合いをスコアリ ング・順位付けしたデータセットが存在しないため, 英語やドイツ語などの意味変化検出タスクで使用されている相関係数による評価ができない。そこで本研究では, 意味変化した単語に加え, 意味変化していない単語にも 3.4 節の手法を適用し, recall@ $k$ を求め ることで評価した， recall@ $k$ は，モデルの予測結果の上位 $k(>1)$ 個にいくつ正解が含ま れるかを算出する (recall) 手法である。 さまざまな $k$ で recall を算出することで，特定 の $k$ で recall を算出するよりもモデルの予測の全体像が把握できる。本研究では，意味変化した 34 単語と意味変化していない 34 単語 22 の計 68 単語に辞書べースとクラスタリ ングベースの手法を適用し，意味変化度合いのスコア $\mathrm{CS}$ を算出，そして recall@ $k$ を求 めた。ここで間淵らのリストに含まれる意味変化した単語を正解，コーパスからランダ ムに選択した単語を不正解とした。

## 5 辞書ベースの手法とクラスタリングベースの手法の比較

本節では意味変化の定性判断による結果と JSD を用いた意味変化度合いのスコアを評価した結果を辞書ベースの手法とクラスタリングベースの手法で比較する．BERT モデルには現代語 BERT を用いた，意味変化していない単語の 1 つである「羞恥」は, 本研究で用いた BERT のトークナイザでは未知語として処理されたため，どちらの手法も適用できなかった。辞書の例文のうち漢文を含む例文を削除した上で 2 つ以上の語義で例文が存在する場合のみ，辞書べー スの手法を適用できる。この条件を満たさない単語が対象単語で 6 単語, 意味変化していない単語で 14 単語存在した。

## 5.1 実験

定性判断による意味変化の判定意味変化していない単語への意味変化の判定は意味をなさないため，意味変化の判定は対象単語 34 単語のみで行なった. 定性判断による意味変化の判定結果を表 1 に示す。辞書べースの手法が適用できない単語を除いた場合，意味変化を捉えられた単語は辞書べースの手法では 18 単語, クラスタリングベースの手法では 17 単語であった。

一方で辞書べースの手法を適用できなかった単語も含めると，意味変化を捉えることができた単語は辞書べースの手法では 18 単語, クラスタリングベースの手法では 20 単語であった。

意味変化を捉えることができた単語は, 辞書べースの手法が適用可能な場合, 辞書べー スの方が多く，適用できない場合ではクラスタリングベースの方が多くなった.

JSD を用いた意味変化度合いのスコアリング意味変化した単語と, していない単語のうち,辞書べースの手法が適用できない 20 単語を除いた 48 単語で CS を算出した. この設定では辞書ベースの手法で扱えない単語は取り除いているので, 辞書べースの手法を優遇した設定である。その結果を図 3(a) に示す。図 3(a) から，辞書べースの手法を適用できなかった単語を全て除いた場合, 全ての $k$ で辞書べースの手法がクラスタリングベースの手法と同等かそれ以上の結果となっていることが分かる.

次に, 辞書べースの手法が適用できない単語のうち意味変化していない単語（14 単語） を除いた 54 単語で CS を算出した。この設定では辞書の手法を適用できない単語も対象としているため, 適用可能性も性能に含まれる。 その結果を図 3(b) に示す. 図 $3(\mathrm{~b})$ から，kの値が小さい時はほぼ同等だが，全体としてはクラスタリングベースの手法がよ

 & 教養教授適当心持ち \\

表 1 辞書ベースの手法とクラスタリングベース手法の比較結果. 意味変化を捉えることができた単語は $\lceil\checkmark 」$ ，意味変化を捉えることができなかった単語は「×」とした，辞書べースの手法が適用できなかった単語には下線を引いた。

(a) 辞書ベースの手法が適用可能な意味変化していない単語（20 単語）と辞書ベースの手法が適用可能な対象単語 （28 単語）の計 48 単語に対してそれぞれの手法を適用した時の recall@ $k$ の結果。

(b) 辞書ベースの手法が適用可能な意味変化していない単語 （20 単語）と全ての意味変化した単語（34 単語）の計 54 単語に対してそれぞれの手法を適用した時の recall@ $k$ の結果。

図 3 辞書ベースの手法とクラスタリングベースの手法の recall@k の比較結果. 対象単語のうち辞書の手法を適用できなかった 7 単語を除いた 27 を $k$ 最大値とした.

り高い recall 值となっている.

以上の結果から, 全体としてはクラスタリングベースの手法が優れた結果となった. ただし,辞書ベースの手法が適用可能な単語に絞ることで辞書ベースの手法がより優れているといえる.

## 5.2 分析

どちらの手法でも形成されたクラスタは用法の違いを捉えているケースが多かった。「尋常」 のように，その単語特有の用法の変化が起きた単語ではクラスタが原義や転義を直接捉えていたが，語義の変化が起きた単語では用法の特徴でクラスタが形成され，クラス夕内の用例を解釈すると間淵, 小木曽 (2021)の原義や転義に当てはまるというケースがほとんどであった.

また 5.1 節の結果から，クラスタリングベースの手法が有効であることが分かった. しかし， それぞれの手法で意味変化を捉えられる単語は異なった。この違いを表 1 のブロックごとの特徵に注目し分析した結果，以下のことが分かった。 $k$-means 法を用いたクラスタリングベースの手法では, 対象コーパスにおいて原義と転義の出現頻度に大きな差がある時に，意味変化を捉えられない. 辞書べースの手法では, 使用した辞書の語義分類が原義や転義に対応していないケースや語義に付与されている例文に問題があるケースで意味変化を捉えられない。また人間でも原義と転義の違いを判断するのが難しい単語や，コーパス内で片方の語義や用法がごくわずかしか出現しない単語ではどちらの手法でも意味変化を捉えることができない．以下では，上記の分析について具体例を交えつつ紹介する.

図 4〜図 7 の散布図において，丸印は 1898 1922 年，四角印は $1923 \sim 1947$ 年，十字印は 1948

(a) 辞書ベースの手法における (b) 辞書ベースの手法における 「教養」単語ベクトルの散布図。「教養」クラスタの比率変化。

(e) 辞書ベースの手法における (f) 辞書べースの手法における 「適当」単語ベクトルの散布図。「適当」クラスタの比率変化。

図 4 「教養」と「適当」の結果.

～1972 年, 星印は 1973 1997 年であることを示している。辞書べースの手法ではクラスタを構成する要素が必ずしも辞書の語義と一致していなかった。 その場合でも辞書の語義通りのラベルを付与した。クラスタリングベースでは，クラスタを主に構成する要素の語義や用法をラベルとして付与した.

辞書ベースの手法で意味変化を捉えるケース辞書ベースの手法でのみ意味変化を捉えられた単語は，「教養，教授，適当，精々」の 4 単語だった. どの単語も原義と転義の出現頻度に大きな差があった単語である。「教養」と「適当」を例として紹介する。

教養 「教養」は「教育する」という語義から「広い知識（教養がある・ない）」という語義へ変化した。

まず辞書べースの手法の結果を述べる。図 4(a)の語義 0 が転義であり，語義 1 が原義である。図 4(b) から語義 1 の出現頻度が減少し, 語義 0 の出現頻度が増加していることが
分かる.

次にクラスタリングベースの手法の結果を述べる。図 4(c) のクラスタ 1 は「教養学部」 や「教養課程」のような複合名詞で構成されており, クラスタ 0 は主に複合名詞以外の用例で構成されている，図 4(d) をみてもどちらかのクラスタが増減した様子は確認できない.

適当「適当」は「適切・妥当」という語義から「いい加減」という語義に変化した. まずは辞書べースの手法の結果を述べる。図 $4(\mathrm{e})$ の語義 2 が転義で, 語義 0 が原義である. 図 $4(\mathrm{f})$ から語義 0 が減少し, 語義 2 が増加していることが分かる.

次にクラスタリングベースの手法の結果を述べる。図 $4(\mathrm{~g})$ のクラスタ 0 は主に「適当な」 や「適当に」のような後ろに被修飾語が続く用例で構成されており，「適切・妥当」という語義の用例が多く，わずかに「いい加減」という語義の用例もあった。クラスタ 1 は主に「適当する」という形で出現した「適切・妥当」という語義の用例から構成されていた。クラスタ 2 は「不適当」という形の用例から構成されていた。クラスタ 3 は主に 「適当である」や「が適当。」ように後ろに被修飾語が続かない形の用例で構成されており, これらは「適切・妥当」という語義だった。図 $4(\mathrm{~h})$ から, クラスタ 1 とクラスタ 3 が減少し, クラスタ 0 が増加する傾向が見られた. クラスタ 0 は原義と転義の両方からなるが，原義が圧倒的に多いため，意味変化を捉えられていないと判断した。

クラスタリングベースの手法で意味変化を捉えるケースクラスタリングベースの手法では意味変化を捉えられたが，辞書べースの手法では意味変化を捉えられなかった単語は「普通，尋常, ボタン, 広告, 了解, 住居, 設備」の 7 単語だった. これらの単語は原義または転義に対応する語義が辞書に存在しなかったケース, 原義と転義に対応する語義は存在したが例文が十分・適切でなかったケースである。具体例として「普通」と「広告」を紹介する。

普通「普通」は「広く一般に通ずる」という語義から「通常・並」という語義に変化した. まず辞書べースの手法の結果を述べる。図 5 (a) の語義 0 は転義であり, 語義 1 が原義である。各クラスタにはかならずしも辞書の各語義が示す用例が属しておらず，各クラス夕の違いは不明暸だった. 明確な違いとして, 「普通選挙」や「普通教育」といった「普通十名詞」の形で出現する用例のほとんどは語義 0 に属していたが，語義 1 にはそれ以外の用例も同程度属していた. 図 $5(\mathrm{~b})$ をみても語義 0 がやや減少し, 語義 1 がやや増加しており，意味変化を捉えられていない.

次にクラスタリングベースの手法の結果を述べる。図 5(c)のクラスタ 2 は「普通選挙」 や「普通教育」といった「普通+名詞」という形の用例で構成され，これらは「広く一般に通ずる」の語義である．クラスタ 0 と 1 はどちらも「通常・並」の語義であったが， それぞれ用法に特徵があった。クラスタ 0 は「普通の」や「普通は」という形の用例で， クラスタ 1 は主に「〜のが普通」という形の用例で構成されていた. 図 $5(\mathrm{~d})$ からクラス

（a）辞書ベースの手法における（b) 辞書ベースの手法における 「普通」単語ベクトルの散布図。「普通」クラスタの比率変化。

(c) クラスタリングベースの手法における「普通」単語ベクトルの散布図。

(g) クラスタリングベースの手「広告」単語ベクトルの散布図。「広告」クラスタの比率変化。法における「広告」単語べクト
ルの散布図。「広告」単語ベクトルの散布図。「広告」クラスタの比率変化。法における「広告」単語べクト
ルの散布図。

(d) クラスタリングベースの手法における「普通」単語べクトルの散布図。

(h) クラスタリングベースの手法における「広告」単語べクトルの散布図。

(e) 辞書ベースの手法における (f) 辞書ベースの手法における

図 5 「普通」と「広告」の結果.

夕 2 が減少し, クラスタ 0 とクラスタ 1 が増加していることがわかる.このことからクラスタリングの手法では意味変化を捉えたと判断した。複合名詞以外で「広く一般に通ずる」の語義の出現がほとんど見られなかったため, 用法の変化（複合名詞か否か）を捉えることでことで意味変化を捉えたといえる。

広告「広告」は「世間に広く知らせること」の語義から「商業広告」の語義に変化した. まず辞書ベースの手法の結果を述べる。図 $5(\mathrm{e})$ の語義 0 は原義で，語義 1 が転義である.語義 1 に属している用例は全て「商業広告」の語義だか，語義 0 にも「商業広告」の語義の用例が多く属している。図 $5(\mathrm{f})$ をみても意味変化を捉えている様子は確認できない.次にクラスタリングベースの手法の結果を述べる。図 $5(\mathrm{~g})$ のクラスタ 1 は「世間に広く知らせること」の語義と「商業広告」の語義の両方の用例が同程度属していた. クラス夕 0 はほとんど「商業広告」の語義の用例で構成されていた。図 $5(\mathrm{~h})$ からクラスタ 1 が

(a) 辞書ベースの手法における (b) 辞書べースの手法における 「障害」単語ベクトルの散布図。「障害」クラスタの比率変化。

$
\begin{aligned}
& \text { 語義0: 航空機への指示 } \\
& \text { 語童1: 制限すること } \\
& \text { 語義2: 支配すること }
\end{aligned}
$

(c) クラスタリングベースの手法における「障害」単語ベクトルの散布図。

(d) クラスタリングベースの手法における「障害」単語ベクトルの散布図。

(h) クラスタリングベースの手法における「管制」単語べクトルの散布図。 (e) 辞書ベースの手法における (f) 辞書ベースの手法における 「管制」単語ベクトルの散布図。「管制」クラスタの比率変化。 (g) クラスタリングベースの手法における

図 6 「障害」と「管制」の結果.

減少し，クラスタ 0 が増加していることがわかる. クラスタ 1 は「商業広告」の用例を多く含んでいたが，「世間に広く知らせること」の用例も十分に含んでいると判断し，意味変化を捉えたと判断した。

どちらの手法でも意味変化を捉えるケースクラスタリングベースの手法と辞書べースの手法のどちらでも意味変化を捉えたのは「普段, 障害, 柔軟, 結構, 要領, 免許, 優勝, 非常, 全然, 渋滞, ポイント，管制，故障，心持ち」の 14 単語である。 これらの単語は, 上で述べた辞書や出現頻度の問題がない単語である。具体例として，「障害」と「管制」を紹介する。

障害「障害」は「妨げること」という語義から「精神・身体に支障があること」という語義に変化した。

まず辞書べースの手法の結果を述べる。図 $6(\mathrm{a})$ の語義 1 は原義で，語義 0 は転義である.語義 1 には主に「妨げること」の語義の用例, 語義 0 には主に「精神・身体に支障があ

ること」の語義の用例がそれぞれ属しており, どちらも適切な割り当てがなされている.図 6(b) から語義 1 が減少し, 語義 0 が増加していることがわかる.次にクラスタリングベースの手法の結果を述べる。図 6(c) のクラスタ 1 は主に「妨げること」の語義の用例で構成されており，クラス夕 0 は主に「精神・身体に支障があること」の語義の用例で構成されている。図 6(d) からクラスタ 1 が減少し, クラスタ 0 が増加していることがわかる.

管制 「管制」は「管理統制」という語義から「航空管制」という語義に変化した。

まず，辞書べースの手法を説明する。図 6(e) の語義 1 は「制限すること」，語義 2 は「支配すること」の語義であり，これらは原義である．語義 0 は「航空機への指示」の語義であり，転義である，各語義に割り当てられた用例も概ね語義に従うものたっった．図 $6(\mathrm{f})$ から語義 1 と語義 2 を合わせた割合が減少し, 語義 0 が増加していることがわかる.次にクラスタリングベースの手法を説明する。図 $6(\mathrm{~g})$ のクラスタ 2 は「灯火管制」，クラスタ 0 とクラスタ 1 は主に「管制官」，クラスタ 3 は「報道管制」，クラスタ 5 は「軍事管制」，クラスタ 6 は「哭器管制装置」や「管制領域」など上記以外の複合名詞，クラス夕 4 には「管制する」という動詞的な用法，クラスタ 7 はその他の用例でそれぞれ構成されていた。このように各クラスタはほとんど用法ごとに形成されていた。また複合名詞が一括りにならず，特定の複合名詞ごとにクラスタ化されるケースが多かった。原義・転義に注目すると，クラスタ $0 ， 1$ は転義に対応する語義の用例がほとんどだった. クラス夕 6 にも「航空管制」や「管制塔」といった転義に該当する語義の用例がやや見られたが，原義に該当する語義の用例も多く見られた。一方クラスタ $2 ， 3 ， 4 ， 5$ は原義に相当する。図 6(h) からクラスタ $2 ， 3 ， 4 ， 5$ ，を合わせた割合が減少し，クラスタ 0,1 を合わせた割合が増加していることがわかる。このことから意味変化を捉えたと判断した.

どちらの手法でも意味変化を捉えられなかったケース辞書べースの手法とクラスタリングベー スの手法のどちらでも意味変化を捉えられなかった単語は「精々, 風俗, 愛人, 自然, 女性, 乇デル，貴族，情報，主婦」の9 単語であった. これらの単語は上で述べた辞書や出現頻度の問題がどちらもある単語や，対象コーパスで意味変化を捉えるのが難しい単語であった．具体例として，「風俗」と「自然」を紹介する。

風俗「風俗」は「風習・習俗」という語義から「風俗営業」という語義に変化した.

まず辞書べースの手法の結果を述べる。図 7 (a) の語義 0 は「風習」の語義で原義に対応する．語義 1 は「身振りや態度」の語義で，語義 2 は「みなり」の語義, 語義 3 は「風俗歌」の略である。これらは今回対象とした年代よりも前に使われていた古い語義であり， コーパス内ではほとんど存在しない。辞書には「風俗営業」の略という語義が掲載されていたが，その例文は載せられていなかった。そして語義 0 と語義 1 に属する用例に明確な違いは見つけることができなかった. 図 $7(\mathrm{~b})$ から語義 0 が減少し, 語義 1 が増加し

(a) 辞書ベースの手法における 「風俗」単語ベクトルの散布図。「風俗」クラスタの比率変化。

(b) 辞書ベースの手法における

(c) クラスタリングベースの手ルの散布図。

(f) 辞書ベースの手法における 「自然」

ククラスタ0:風爻 ถラスタ 1 -風習+風浴営業 (少量)

(d) クラスタリングベースの手法における「風俗」単語べクトルの散布図。

(h) クラスタリングベースの手

(e) 辞書ベースの手法における 「自然」単語ベクトルの散布図。

(g) クラスタリングベースの手 (h)法における
ルの散布図。法记おける「自然」単語ベクトルの散布図。

図 7 「風俗」と「自然」の結果.

ていることがわかる。しかし，各語義が原義や語義に対応しておらず，割り当てられている用例にもクラスタを説明する特徴が見られないため意味変化を捉えたとはいえない.次にクラスタリングベースの手法の結果を述べる。図 7(c)のクラスタ 0 は原義に対応する用例がほとんどである。クラスタ 1 はわずかに転義に対応する用例を含んでいたが， ほとんど原義に対応する用例で構成されていた。．図 7(d) からクラスタ 0 が減少し，クラスタ 1 が増加しているが，意味変化は捉えていないと判断した．

自然「自然」は「自ずから」という副詞や形容詞としての用法を持つ語義から名詞としての用法を持つ「nature」の訳語へと変化した.

まず辞書べースの手法の結果を述べる。図 $7(\mathrm{e})$ の語義 0 は「誰にも抵抗なく受け入れられるさま、わざとらしくないさま」, 語義 1 は「もしかして、ひょっとして」, 語義 2 は 「おのずから、ひとりでになるさま」, 語義 3 は「物事が偶然に起こるさま」, 語義 4 は「人

の作為によらずに存在するものや現象」, 語義 5 は「自然の事、自然の時、の略。」，語義 6 は「物事がうまくはかどるさま」，語義 7 は「天からうけた性。物の本来の性。」という語義である．語義 $0,2 ， 4$ が転義，語義 5 が原義，にそれぞれ該当し，それ以外の語義は今回対象としているコーパスで注目していない語義である。 図 7 (f) から, 語義 0 が減少し, 語義 4 と語義 5 がわずかに増加していることがわかる。語義の割り当てと実際の用例が対応しておらず，割合が変化した語義と原義・転義が対応していない．よって意味変化を捉えていない。

次にクラスタリングベースの手法の結果を述べる。図 $7(\mathrm{~g})$ のクラスタ 0 は名詞として出現する用例が多く，転義に対応している．クラスタ 1 は副詞や形容詞の用例が多く，原義に対応している. しかし, 図 7 (h) から明確な増減は確認できないため, 意味変化を捉えていないと判断した. 1898 年〜1923 年の段階で転義に対応する用例も十分に出現したため，語義の割合の変化が生じなかったと考える。

## 5.3 評価の信頼性の検証

人手評価の信頼性を検証するために評価の検証実験を行なった．実験協力者には著者を含めず，日本語がネイティブの情報科学専攻の大学院生 2 名に依頼した．対象単語は「障害，貴族，教養, 広告, 普段, 尋常, 風俗, 適当」の 8 単語とした。表 1 における 4 つのブロックから 2 単語ずつランダムに抽出した単語である。 クラスタへのラベル付けの判断は 4.6 節よりも簡易化した，具体的には，クラスタのセントロイド（辞書の手法では語義ベクトル）の近傍 10 個のベクトルを抽出し，そのべクトルに対応する文で対象単語の意味を解釈することで各クラスタのラべルの判定を行なった。その他の条件は 4.6 節と同様である.

評価実験の結果，実験協力者の二者間では最終的な結果は全ての単語で一致し，著者が 4.6 節「意味変化分析の定性評価」で述べた方法で行なった結果と比較すると, 8 単語中 7 単語で一致した．著者との結果が異なった単語は「広告」であり，実験協力者は辞書べースでもクラスタリングベースでも意味変化を捉えていないと判断し，著者は辞書べースでは捉えていないが，クラスタリングベースでは捉えたたと判断した．「広告」は転義を原義で読み変えても文脈的におかしくないケースが多く，判断が難しい単語である． 5.2 節の分析でも「広告」のクラスタリングの結果は明膫でなく，判断が難しい単語であるといえる。この実験結果から人手評価は必ず一致すると言えないものの，8 単語中 7 単語で一致することが確認でき，本研究による評価にはある程度の妥当性があることを検証した。

## 6 辞書ベースとクラスタリングベースの手法の妥当性の検討

5 節から, 日本語の意味変化分析では, 辞書ベースの手法よりもクラスタリングベースの手
法のほうが有効であることが分かった．しかし，辞書やクラスタリング手法の違いが結果に影響することが考えられる．そこで本節では，辞書及びクラスタリング手法を変えて追加実験を行い，5 節での辞書とクラスタリング手法の選択の妥当性について検討した.

## 6.1 辞書ベースの手法における辞書の違いによる影響

5 節で辞書ベースの手法は, 辞書の語義分類が原義や転義に対応していない場合や語義に付与されている例文が十分・適切でない場合に意味変化を捉えられないという結果になった. 先行研究で対象としていた英語では, 例文が豊富で大規模な辞書である Oxford English Dictionary (OED) があるが, 全ての言語でそのような辞書が存在するとは限らない. 日本語では, 5 節の実験で使用した「日本国語大辞典」が最も大規模な辞書の 1 つだが，古い年代の例文が付与されているケースが多かったり，例文が付与されていない語義があったり，そもそも原義または転義に対応する語義が載っていないといった問題があった. そこで，辞書の影響を確認するためにデジタル大辞泉（ジャパンナレッジ版）23を用いて辞書ベースの手法を適用し，日本国語大辞典を用いた場合と比較した。その結果を表 2 に示す.

表 2 から，使用する辞書を変えることで同じ辞書べースの手法でも結果が異なることがわかる.日本国語大辞典では 18 単語, デジタル大辞泉では 14 単語で意味変化を捉えた. 日本国語大辞典でのみ意味変化を捉えた単語は 5 単語あり, デジタル大辞泉でのみ捉えた単語は 1 単語たっった。この結果から, 日本国語大辞典の方が辞書べースの手法に適していることが分かる. デジタル大辞泉は，日本国語大辞典に比べ新しい例文が多かったが，語義の種類や例文の数は日本国語大辞典が豊富だったため, このような結果になったと考える。ここで，デジタル大辞泉を使うことで新たに検出できた単語「自然」を紹介する。

 & 自然 \\

表 2 日本国語大辞典とデジタル大辞泉の比較. 日本国語大辞典で辞書べースの手法を適用できなかった単語は下線, デジタル大辞泉で適用できなかった単語は波線を引いた。どちらの辞書でも適用できなかった単語は載せていない.

(a) デジタル大辞泉を用いた辞 (書ベースの手法における「自然」書単語ベクトルの散布図。

（b）デジタル大辞泉を用いた辞クラスタの比率変化。

(d) DBSCAN を用いたクラ (c) DBSCAN を用いたクラスタリングベースの手法における
「設備」単語ベクトルの散布図。 タリングベースの手法にお変化。

図 8 「自然」と「設備」の結果.

自然「自然」は「自ずから」という語義から「nature」の訳語へと変化した. 図 $8(a)$ の語義 0 , $3,5,7$ が転義に対応し, 語義 2 が原義に対応する. 図 $8(\mathrm{~b})$ から語義 0 が転義の中で大部分を占め, 単調ではないが, 増加していることがわかる。原義は徐々に減少していることがわかる.

## 6.2 クラスタリングベースの手法における $k$-means 法の有効性の確認

5 節の結果， $k$-means 法を用いたクラスタリングベースの手法では，コーパス内での原義と転義のどちらかの出現頻度が極端に少ない場合に意味変化を捉えられないことが分かった. そこで，原義と転義の出現頻度に大きな差がある場合にも適切にクラスタリングが期待できる手法として，密度べースのクラスタリング手法である DBSCAN (Ester et al. 1996)を用いた実験を行なった.

DBSCAN の簡単な説明を述べる. DBSCAN では $\epsilon$ と minPts という 2 つのハイパーパラメータを設定する。 $\epsilon$ はクラスタ形成のための捜索半径で， minPts はクラスタ形成のために必要な最低要素数と考えることができる。次にDBSCAN で用いる操作について述べる。あるべクトル $p$ から半径 $\epsilon$ 以内にあるべクトルの数が $p$ 自身を含め minPts 個以上である場合に， $p$ の半径 $\epsilon$ 以内にあるべクトルのうち，まだクラスタに属していないべクトルを $p$ と同じクラス夕に属させる。この処理を操作 A とよぶ. 操作 A を踏まえ，アルゴリズムの説明に移る。まずランダムにベクトルを選び, 操作 Aを行う. 操作 A が条件を満たし, クラスタを形成した場合, そのクラスタ内で操作 Aが行われていないべクトルに対して操作 Aを行う．クラスタ内の全てのべクトルで操作 A が行われたとき，そのクラスタでの処理は終了する。 その後, 全べクトルの中から操作 A が行われていないべクトルをランダムで選び, 同様の処理を行うことで新たなクラスタを形成していく，全てのべクトルで操作 A が行われたとき，どのクラスタにも属して

 & \\

表 3 クラスタリングベースの手法における $k$-means 法と DBSCAN の比較結果. 意味変化を捉えた単語は $\checkmark \downharpoonleft ，$ 意味変化を捉えなかった単語は「×」とした.

いないべクトルを外れ値（クラスタを構成しないべクトル）とし，アルゴリズムは終了する.

DBSCAN においても $k$-means 法と同様に, シルエットスコアが最大になるようにハイパー パラメータを調整した，実験結果を表 3 に示す。 $k$-means 法では 20 単語, DBSCAN では 10 単語，意味変化を捉えた。

このことからクラスタリングベースの手法において DBSCAN よりも $k$-means 法が適切であることが分かる。これは, DBSCAN で外れ値として除外される用例が過剰に出現したことが大きな原因である。DBSCAN は，ハイパーパラメータに敏感であり，シルエットスコアによる調整が適切に機能しなかった可能性がある。また, DBSCAN に期待していた原義と転義で出現頻度に極端な差がある単語でも意味変化を捉えられていない. DBSCAN が形成したクラスタを確認すると，用法の中でも複合名詞でクラスタ化する傾向が強かった. DBSCANでうまくいかなった単語の具体例として「設備」を紹介する.

設備設備は「設置, 整備」から「建物, 機器」へと意味変化した単語である. 図 8(c)(d) から外れ値が圧倒的に多いことがわかる。 クラスタ 0 が「設備投資」という出現形の用例からなり, クラスタ 1 は「生産設備」, クラスタ 2 は「遊休設備」「過剰設備」からなるクラスタである。形成されたクラスタに原義のクラスタはない。また, そもそも複合名詞以外の用例は全て外れ值となっており, 半分以上の用例が外れ値となっており, 意味変化を捉えられていない.

## 7 現代語 BERT と近代語 BERT の比較

前節までの結果から，単語べクトルの性質がクラスタリング結果に大きな影響を与えていることがわかる。特にクラスタリングベースの手法では複合名詞か否かという違いでクラスタを形成する傾向が強く出ていた。そこで本節では, 公開モデルである事前訓練済みの現代語 BERT と現代語 BERT を対象コーパスで fine-tuning して作成した近代 BERT のそれぞれから獲得した単語べクトルに対してクラスタリングベースの手法を適用し，比較を行なった。

## 7.1 実験結果

定性判断による意味変化の判定結果定性判断による意味変化の判定の結果を表 4 に示す. 現代語 BERT で意味変化を捉えた単語は 20 単語, 近代語 BERT では 16 単語である.よって, 定性判断に基づく意味変化の判定の観点では, 現代語 BERT が近代語 BERT よりも優れた結果である。

JSD によるスコアリングの結果JSD によるスコアリングを現代語 BERT と近代語 BERT のそれぞれから獲得した単語べクトルに対して行い，recall@ $k$ を算出した。その結果を図 9 に示す. 図 9 から, 全ての $k$ の值で近代語 BERT が現代語 BERT と同等かそれ以上の recall 值であることがわかる。よって，JSD のスコアに対する recall@ $k$ の観点では，近代語 BERT が現代語 BERT よりも優れた結果であるといえる。

 & ボタン \\

表 4 クラスタリングベースの手法における, 現代語 BERT と近代語 BERT の意味変化の定性判断の比較結果．意味変化を捉えた単語は「 $\checkmark 」 ，$ 意味変化を捉えられなかった単語は「×」とした．

図 9 クラスタリングベースの手法における, 現代語 BERT と近代語 BERT の recall@k の比較結果. 意味変化した単語数である 34 を $k$ 最大値とした.

## 7.2 分析

実験の結果, 現代語 BERT と近代語 BERT で違いが生じている。また, 定性判断による評価と JSD スコアによる評価で逆の結果になっている。本節ではこれらの違いについて分析を行う。

## 7.2.1 現代語 BERT と近代語 BERT が捉える特徵の違い

現代語 BERT と近代語 BERT でクラスタリングの結果に大きな違いが生じた単語として,意味変化した単語では「非常, 主婦」, 意味変化していない単語では「伴う, 支払う」がある. これらの単語のクラスタリング結果を用例レベルで確認した. 現代語 BERT では, 現代語で使われないような表現（例えば, 文語表現）を1つのクラスタにまとめる傾向があった。一方で,近代語 BERT では古い時期で現れない用法を1つのクラスタにまとめる傾向があった．特に近代語 BERT では古い時期に出現が少ない複合名詞をまとめるケースが特に多かった.

以上のことから対象コーパスで fine-tuning することで, 文語表現のような現代にはない用法で用いられる用例がある単語で意味変化を捉えやすくなることが分かった。一方で fine-tuning によって，古い時期で現れない用法がある単語では，その用法をクラスタ化してしまう傾向があることが分かった．特に複合名詞をクラスタ化するケースが多かった．具体例として「非常」 と「支払う」を紹介する.

非常「非常」は「いつもと異なる」という語義から「程度が高い」という語義へ変化した. まず現代語 BERT の結果を述べる。図 10(a)のクラスタ 0 には，「非常時」や「非常な」 のような「いつもと異なる」の語義の用例が属していた。クラスタ 1 には，「非常に」のような「程度が高い」の語義の用例が属していた。

次に近代語 BERT の結果を述べる。図 10(c)のクラスタ 0 には「非常時」や「非常事態」 のような複合名詞の用法の用例が属していた. クラスタ 1 には，「非常な」や「非常に」 のような複合名詞以外の用法の用例が属していた。

現代語 BERT はクラスタを解釈すると原義や語義に対応するクラスタを形成したが，近代語 BERT は複合名詞か否かという単語固有ではない用法でクラスタを形成しており， クラスタを解釈すると，クラスタ 0 は原義に対応するが，クラスタ 1 は原義と転義が混在している（「非常な」は原義に対応した用例が多く,「非常に」は転義に対応した用例が多い).

支払う「支払う」は意味変化していない単語である。まず現代語 BERT の結果を述べる。図 10(e)のクラスタ 0 には「支払うをす。」のような文語表現が多く属していた. クラスタ 1 には「支払う事」のような「支払う＋名詞」という用法の用例と「支払う。」のように後ろに名詞を伴わない用法の用例が属していた. クラスタ 2 には「支払う金」のような 「支払う＋名詞」という用法の用例が属していた. 図 10(f) からクラスタ 0 が徐々に減少

(a) 現代語 BERT における (b) 現代語 BERT における 「非常」単語ベクトルの散布図。「非常」クラスタの比率変化。

(e) 現代語 BERT における 「支払う」単語ベクトルの散払う」クラスタの比率変化。布図。

(c) 近代語 BERT における

(d) 近代語 BERT における 「非常」単語ベクトルの散布図。「非常」単語ベクトルの散布図。

$(\mathrm{g})$ 近代語 BERT における (h) 近代語 BERT における
「支払う」単語ベクトルの散「支払う」単語ベクトルの散布布図。

図 10 「非常」と「支払う」の結果.

## していることがわかる.

次に近代語 BERT の結果を述べる。図 $10(\mathrm{~g})$ のクラスタ 0 には文語表現,「支払う＋名詞」，後ろに名詞を伴わない用法の用例が属していた。クラスタ 1 には「支払う＋名詞」 という用法の用例だけが属していた。

現代語 BERT では文語表現か否かという特徴でクラスタを形成したが, 近代語 BERT では文語表現のクラスタは形成されていない.

## 7.2.2定性判断と JSD スコアの乘離

現代語 BERT と近代語 BERT で異なる結果となった単語に注目し，分析を行う。まず意味変化していない単語に注目する。意味変化していない単語のうち「伴う」,「支払う」の JSD スコアのランキングは現代語 BERT では高く，近代語 BERT では低かった。「伴う」，「支払う」 は 7.2.1 節で述べたように，現代では出現しないような用法をクラスタ化したケースであった.
逆に, ランキングが現代語 BERT では低く, 近代語 BERT では高い単語は「存在」の 1 単語である. この単語も 7.2.1 節で述べたように, 古い時期には出現していなかった用法がクラスタ化されている。 これらの単語は JSD スコアが高いことから, クラスタの比率の変化は起きている.このことから, 手法はこれらの単語の意味変化ではなく, その単語特有ではない用法の変化を捉えたと考える.

次に意味変化した単語に注目する。表 4 に示されているように「非常」は近代語 BERT において定性判断では意味変化を捉えていないが JSD のスコアは高い.「非常」は近代語 BERT で複合名詞の用法のクラスタと複合名詞以外の用法のクラスタに分けられた.これは「非常」特有の用法の変化や語義の変化を捉えておらず, 意味変化していない単語と同様に, その単語特有ではない用法の変化を捉えたといえる.

以上のことから，クラスタリングベースの手法が意味変化ではなく，その単語特有ではない用法の変化を捉えたケースがあり，JSD スコアによる評価では，それらの違いを識別できないため 2 つの評価手法の結果に乘離が生じたと考える.

## 8 おわりに

本研究では，意味変化の分析手法として，辞書による教師ありのグルーピングを用いた手法とクラスタリングによる教師なしのグルーピングを用いた手法の比較を行なった．その結果,適用可能性を考慮するとクラスタリングを用いた手法が意味変化の分析において有効であることが分かった. さらに，辞書べースの手法で用いる辞書とクラスタリングベースの手法で用いるクラスタリング手法を変更する追加実験を行なった。 その結果, 辞書ベースの手法では辞書によって結果が大きく変わることを確認し, クラスタリングベースの手法では $k$-means 法がシンプルかつ有効であることを確認した. また, 単語べクトルの獲得方法として, 現代語で学習した BERT と対象コーパスで fine-tuning をした BERT を比較した. fine-tuning を行うことで文語のような古い表現でも意味変化を捉えられるケースがある一方で，古い時期で出現が少ない用法がある場合には意味変化を捉えられないケースが生じることが分かった.

## 謝 辞

本研究は国立国語研究所の共同研究プロジェクト「通時コーパスの構築と日本語史研究の新展開」及び JSPS 科研費 19 H00531 の助成を受けたものです.

## 参考文献

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 21-31, Shanghai, China. PACLIC Steering Committee.

Bloomfield, L. (1933). Language.

Cook, P. and Stevenson, S. (2010). "Automatically Identifying Changes in the Semantic Orientation of Words." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta. European Language Resources Association (ELRA).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erk, K. and Padó, S. (2010). "Exemplar-Based Models for Word Meaning in Context." In Proceedings of the ACL 2010 Conference Short Papers, pp. 92-97, Uppsala, Sweden. Association for Computational Linguistics.

Ester, M., Kriegel, H.-P., Sander, J., and Xu, X. (1996). "A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise." In Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining, KDD'96, pp. 226-231. AAAI Press.

Geeraerts, D. (2015). "How Words and Vocabularies Change." In The Oxford Handbook of the Word. Oxford University Press.

Giulianelli, M., Del Tredici, M., and Fernández, R. (2020). "Analysing Lexical Semantic Change with Contextualised Word Representations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016a). "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2116-2121, Austin, Texas. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016b). "Diachronic Word Embeddings Reveal

Statistical Laws of Semantic Change." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany. Association for Computational Linguistics.

Hou, R., Huang, C.-R., and Ahrens, K. (2020). "Language change in Report on the Work of the Government by Premiers of the People's Republic of China." In Proceedings of the 34th Pacific Asia Conference on Language, Information and Computation, pp. 100-106, Hanoi, Vietnam. PACLIC Steering Committee.

Hu, R., Li, S., and Liang, S. (2019). "Diachronic Sense Modeling with Deep Contextualized Word Embeddings: An Ecological View." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy. Association for Computational Linguistics.

Karnysheva, A. and Schwarz, P. (2020). "TUE at SemEval-2020 Task 1: Detecting Semantic Change by Clustering Contextual Word Embeddings." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 232-238, Barcelona (online). International Committee for Computational Linguistics.

Kim, Y., Chiu, Y.-I., Hanaki, K., Hegde, D., and Petrov, S. (2014). "Temporal Analysis of Language through Neural Language Models." In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA. Association for Computational Linguistics.

Kutuzov, A. and Giulianelli, M. (2020). "UiO-UvA at SemEval-2020 Task 1: Contextualised Embeddings for Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 126-134, Barcelona (online). International Committee for Computational Linguistics.

Lin, J. (1991). "Divergence measures based on the Shannon entropy." IEEE Transactions on Information Theory, 37, pp. 145-151.

間淵洋子, 小木曽智信 (2021). 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170, 北九州国際会議場（オンライン開催）. 言語処理学会事務局. [Y. Mabuchi and T. Ogiso (2021). Kingendai Nihongo no Imi Henka Bunseki notameno Tango Detasetto Kochiku no Kokoromi. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1166-1170.].

Martinc, M., Kralj Novak, P., and Pollak, S. (2020). "Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France. European Language Resources Association.

Matej, M., Syrielle, M., Elaine, Z., and Lidia, P. (2020). "Capturing Evolution in Word Usage: Just Add More Clusters?" In WWW '20: Companion Proceedings of the Web Conference 2020, pp. 343-349. Association for Computing MachineryNew YorkNYUnited States.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 51-61, Berlin, Germany. Association for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of ICLR Workshops Track, 2013.

Montariol, S., Martinc, M., and Pivovarova, L. (2021). "Scalable and Interpretable Semantic Change Detection." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4642-4652, Online. Association for Computational Linguistics.

Peter, R. (1987). "Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis." In Journal of Computational and Applied Mathematics, Volume 20, pp. 53-65.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Pilehvar, M. T. and Camacho-Collados, J. (2019). "WiC: The Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1267-1273, Minneapolis, Minnesota. Association for Computational Linguistics.

Radford, A. and Narasimhan, K. (2018). "Improving Language Understanding by Generative Pre-Training.". https://openai.com/research/language-unsupervised.

Rodina, J. and Kutuzov, A. (2020). "RuSemShift: a dataset of historical lexical semantic change in Russian." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1037-1047, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Schlechtweg, D., McGillivray, B., Hengchen, S., Dubossarsky, H., and Tahmasebi, N. (2020). "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online). International

Committee for Computational Linguistics.

Schütze, H. (1998). "Automatic Word Sense Discrimination." Computational Linguistics, 24 (1), pp. $97-123$.

Vassilvitskii, S. and Arthur, D. (2006). "k-means++: The Advantages of Careful Seeding." In Proceedings of the 18th Annual ACM-SIAM Symposium on Discrete Algorithms, pp. 1027-1035.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." Advances in Neural Information Processing Systems, 30.

Yao, Z., Sun, Y., Ding, W., Rao, N., and Xiong, H. (2018). "Dynamic Word Embeddings for Evolving Semantic Discovery." In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pp. 673-681, New York, USA. Association for Computing Machinery.

## 略歴

小林千真 : 2021 年法政大学理工学部創生科学科卒業. 同年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 現在に至る.

相田太一：2020 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2022 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了.同年同大学同研究科同学域博士後期課程進学. 現在に至る.

岡照晃 : 2010 年豊橋技術科学大学情報工学課程卒業. 2012 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年より日本学術振興会特別研究員 (DC2) を経て, 2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年京都大学大学院情報学研究科特定研究員. 2016 年国立国語研究所言語変化研究領域プロジェクト非常勤研究員. 同年同研究所コーパス開発センター特任助教. 2021 年東京都立大学システムデザイン学部特任助教. 2023 年一橋大学大学院ソーシャル・データサイエンス研究科特任助教. 現在に至る.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学）システムデザイン学部准教授. 2022 年同大学同学部教授. 2023 年より一橋大学大学院ソーシャル・データサイエンス研究科教授. 現在に至る.
情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2022 年 11 月 1 日受付)

(2023 年 2 月 8 日再受付)

(2023 年 3 月 9 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/