# 単語埋め込みに基づくサプライザル
## 浅原 正幸 $\dagger$

ヒトの文処理のモデル化として Hale によりサプライザルが提案されている. サプライザルは文処理の負荷に対する情報量基準に基づいた指標で，当該単語の文脈中の負の対数確率が文処理の困難さをモデル化するとしている．日本語において眼球運動測定を用いて文処理の負荷をモデル化する際に，統語における基本単位である文節単位の読み時間を集計する。一方，単語の文脈中の生起確率は形態素や単語といった単位で評価し, この齯䶣が直接的なサプライザルのモデル化を難しくしていた. 本論文では，この問題を解決するために単語埋め込みを用いる. skip-gram の単語埋め込みの加法構成性に基づき, 文節構成語のベクトルから文節のベクトルを構成し, 隣接文節間のベクトルのコサイン類似度を用いて, 文脈中の隣接尤度をモデル化できることを確認した。 さらに, skip-gram の単語埋め込みに基づいて構成した文節のベクトルのノルムが，日本語の読み時間のモデル化に寄与することを発見した。

キーワード：リーダビリティ評価，読み時間，単語埋め込み，サプライザル

## Surprisal through Word Embeddings

\author{
MASAYUKI ASAHARA ${ }^{\dagger}$
}

The concept of surprisal was proposed by Hale as a psycholinguistic model of sentence processing costs based on the information theory. Surprisal measures a word' s negative log probability in context and can be used to model the difficulty in processing a sentence. If this difficulty is estimated using the eye-tracking method, the reading time can be estimated using base phrase units in Japanese. In addition, word probability is estimated from the frequency of morphemes or word units in Japanese. We introduced word embeddings to address the discrepancy in units, which makes it difficult to model surprisal in Japanese. The additive property of skip-gram word embeddings enabled us to compose a base phrase vector from word vectors in the base phrase. We confirmed that the cosine similarity between two adjacent base phrase vectors can be used to model the contextual probability of the bi-gram of the base phrase and found that the norm of the base phrase correlates with reading time in Japanese.

Key Words: Readability, Reading Time, Word Embeddings, Surprisal

## 1 はじめに

本研究では眼球運動に基づき文の読み時間を推定し，ヒトの文処理機構の解明を目指すとともに，工学的な応用として文の読みやすさのモデル構築を行う。対象言語は日本語とする。

データとして2.1節に示す『現代日本語書き言葉均衡コーパス』(BCCWJ) (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)の読み時間デー 夕 BCCWJ-EyeTrack (浅原，小野，宮本 2019) を用いる。2.4 節に示す通り，過去の研究は統語・意味・談話レベルのアノテーションを重ね合わせることにより，コーパス中に出現する言語現象と読み時間の相関について検討してきた。一方, Hale は, 言語構造の頻度 (Structural frequency) が文処理過程に影響を与えると言及し，漸進的な文処理の困難さについて情報量基準に基づいたモデルをサプライザル理論 (Surprisal Theory) として定式化している (Hale 2001). このサプライザル理論に基づく日本語の読み時間の分析が求められている.

しかしながら，日本語においては，心理言語学で行われる読み時間を評価する単位と，コー パス言語学で行われる頻度を計数する単位に齯䶣があり，この分析を難しくしていた．具体的には，前者においては一般的に統語的な基本単位である文節が用いられるが，後者においては斉一な単位である短い語（国語研短単位など）が用いられる。

この齟齬を吸収するために，単語埋め込み (Mikolov, Chen, Corrado, and Dean 2013a)の利用を提案する，単語埋め込みは前後文脈に基づき構成することにより，単語の置き換え可能性を低次元の実数值ベクトル表現によりモデル化する。このうち skip-gram モデルは加法構成性を持つと言われ ${ }^{1}$, 句を構成する単語のべクトルの線形和が，句の置き換え可能性をモデル化できる (Mikolov et al. 2013b).

日本語の単語埋め込みとして, 『国語研日本語ウェブコーパス』(NWJC)(Asahara, Maekawa, Imada, Kato, and Konishi 2014) から fastText (Bojanowski, Grave, Joulin, and Mikolov 2017) により構成した NWJC2vec (Asahara 2018b) を用いた. ベイジアン線形混合モデル (Sorensen, Hohenstein, and Vasishth 2016) に基づく統計分析 ${ }^{2}$ の結果, skip-gram モデルに基づく単語埋め达みのノルムと隣接文節間のコサイン類似度が，読み時間を予測する因子となりうることが分かった．前者のノルムが読み時間を長くする文節の何らかの特性を，後者の隣接文節間のコサイン類似度が隣接尤度をモデル化すると考える。「隣接尤度」は文節の bigram 隣接尤度のようなものを想定する。

以下，2 節に前提となる関連情報について示す. 3 節に分析手法について示す. 4 節に結果と考察について示し，5 節でまとめと今後の展開を示す.

## 2 前提

## 2.1 BCCWJ-EyeTrack

BCCWJ-EyeTrack (浅原他 2019) は, BCCWJ の新聞記事サンプル 20 記事に対して, 日本語母語話者 24 人分（女性 19 人, 未回答 1 人, 男性 4 人; 20-55 歳）の読み時間を収集して, デー夕ベース化したものである. 自己ペース読文法 (SELF: Self-Paced Reading) と視線走査法に基づく文節単位の 5 種類の読み時間 (FFT: First Fixation Time, FPT: First Pass Time, SPT: Second Pass Time, RPT: Regression Path Time, Total: Total Time) が視線停留オフセット值に基づいて算出されている。自己ぺース読文法は, 実験協力者がスペースキーを押しながら 1 文節ずつ読む方法で，スペースキーを押す時間間隔が当該文節を読む時間として計測される．基本的に後戻りして読むことはできない，視線走査法は，視線走査装置を用いて眼球運動を計測することにより，視線停留時間から読み時間を直接評価する手法である。図 1 に読み時間のタイプの集計例を示す。

表 1 に BCCWJ-EyeTrack のデータ形式について示す. surface は単語の表層形である。読み時間 (i.e., time) は対数に変換したデータ (i.e., logtime) も保持し, 一般化線形混合モデル用に用いられる。 measure は読み時間のタイプ $\{$ SELF, FFT, FPT, RPT, SPT, TOTAL\}を表す. sample, article, metadata_orig, metadata は記事に関連する情報である. space は文節境界に半角空白を入れたか否かを示す. length は表層形の文字数である. is_first,is_last,is_second_last はレイアウトに関する特徴量である. sessionN, articleN, screenN, lineN, segmentN は要素の呈示順に関する特徴量である. subj は被験者のID で統計処理においてランダム要因として用いる. dependent は当該文節に係る文節の数を人手で付与したもの (浅原, 松本 2018)である.

また, 被験者が記事をきちんと読んでいるか確認するために, 各記事を読んだ後に, Yes/Noで解答できる簡単な内容理解課題を課した。視線走査法の内容理解課題の正解率は $99.2 \%(238 / 240)$

対象領域を「初年度決算も」の文節とする：

FFT は視線停留 5

FPT は視線停留 5 と 6 の総計.

SPT は視線停留 9,11 の総計

RPT は視線停留 $5,6,7,8,9$ の総計

TOTAL は視線停留 $5,6,9,11$ の総計

図 1 視線走査データの読み時間のタイプの集計例
表 1 BCCWJ-EyeTrack のデータ形式

で, 自己ペース読文法の内容理解課題の正解率 $77.9 \%(187 / 240)$ より有意に高かった $(\mathrm{p}<0.001)^{3}$.

## 2.2 サプライザル

Hale (2001) は文脈中に出現する言語的な事象 $x$ （音韻的特徴・単語・発話）が伝達する情報を次式によりはかることができ，これをサプライザル (surprisal)4と呼んだ：

$
\operatorname{Surprisal}(x)=\log _{2} \frac{1}{P(x \mid \text { context })}
$

Surprisal は $x$ の（文脈 contextによる条件付き）確率が低い場合に大きい値をとり，確率が高い場合に小さい值をとる。 さらに単語を処理する認識努力 (cognitive effort) はその surprisal に比例するとしている：

## Effort $\propto$ Surprisal

Surprisal は前方部分単語列に基づいて選好される parse 木を再考するコストとともに後方部分
^{3}$ 自己ペース読文法は，読み戻しができないために正解率が低くなったと考える.

4 以下，サプライザル理論一般を表す場合にカタカナ表記で，個々の式を表す場合にアルファベット表記を用いる.
}
単語列を期待しうるか否かの困難さをモデル化する. Surprisal は, 確率的言語モデルに基づくもの ${ }^{5}$ ・ N-gram Surprisal ${ }^{6}$ P Parser (PCFG) Surprisal 7 などがあり, Hale (2001) は Earley 法に基づく Parser Surprisal を提案した. Levy (2008)は，前方部分単語列に対する可能な parse 木の確率分布を反映する $\mathrm{KL}$ ダイバージェンスに基づく surprisal ${ }^{8}$ を提案した.

また Pynte らは Latent Semantic Analysis (LSA) (Landauer and Dumais 1997)による分散表現を用いた semantic surprisal (Pynte, New, and Kennedy 2008)を提案し，英語の視線走査データである Dundee Corpus のモデル化を行っている。具体的には, 300 次元の LSA モデルを用いて, $w^{2} L S A^{9}$-based surprisal （前隣接単語と注目単語との意味的類似度）と sLSA ${ }^{10}$-based surprisal （従前に出現する前隣接単語以外の単語と注目単語の意味的類似度）について一般化線形混合モデルにより調査した. wLSA-based surprisal は読み時間を予測する効果が確認されたが, sLSA-based surprisal には効果が確認できなかった. Mitchell らは, Latent Direchret Allocation (LDA) (Blei, Ng, and Jordan 2003; Griffiths, Steyvers, and Tanenbaum 2007) による分散表現を用いた LDA-based surprisal を提案した (Mitchell, Lapata, Demberg, and Keller 2010).

## 2.3 単語埋め込みと NWJC2vec

単語埋め达み (Mikolov et al. 2013a) は単語を数百次元のベクトルで表現する技術である。従来はその単語か否かを表す one-hot 表現が用いられていたため, 大規模語彙を表現するために高次元ベクトルになっていた，学習の際のモデルとして，文脈から単語を推定する CBOW モデルと単語から文脈を推定する skip-gram モデルが提案されている.

単語埋め込みにより，単語の入れ替え可能性を低次元のベクトルで表現できるようになったほか, skip-gram モデルには加法構成性と呼ばれる句を構成する語べクトルの和が, 句ベクトルとして利用できるという良い性質を持つ. 本研究ではこの性質を, 日本語における語を計数する単位と読み時間を評価する単位の齯䶣の吸収に用いる.

NWJC2vec (Asahara 2018b) は NWJC 258 億語から訓練した日本語の単語埋め込みデータである. fastText (Bojanowski et al. 2017) を用いて訓練した 300 次元の CBOW および skip-gram モデル 11 を用いる。この学習した単語べクトルを用いて, 視線走査データの集計単位である文節単位のベクトルを合成する。合成には線形和を用いた。

## 2.4 BCCWJ-EyeTrack の過去の分析

BCCWJ-EyeTrack に対して，統語・意味・談話レベルのアノテーションを重ね合わせて，様々な言語現象に対してヒトがどのような反応をするのかについて検討を進めてきた. 浅原, 小野,宮本 (2017) は被験者属性を対象とし，記憶力がある群は読む速度が速いが全読み時間は記憶力がない群と変わらないこと，語彙力がある群が読み時間が長いことを明らかにした．浅原ら (2019) は文節係り受けアノテーション BCCWJ-DepPara (浅原, 松本 2018) と対照比較を行い,係り受けの数が多い文節ほど読み時間が短くなることを明らかにした. 浅原 (2019) は節情報アノテーション BCCWJ-ToriClause (Matsumoto, Asahara, and Arita 2018) と対照比較を行い,節末の読み時間が短いことを明らかにした. 浅原, 加藤 (2019) は分類語彙表番号アノテーション BCCWJ-WLSP (加藤, 浅原，山崎 2019) と対照比較を行い，統語分類の「用の類」<「相の類」く「体の類」の順で読み時間が長くなる傾向と，意味分類の「関係」が他の分類（「主体」「活動」「生産物」「自然物」）と比べて読み時間が短くなる傾向を明らかにした。浅原 (2018)は情報構造アノテーション BCCWJ-Infostr (宮内, 浅原, 中川, 加藤 2018) と対照比較を行い, 共有性において旧情報 (hearer-old) が新情報 (hearer-new)よりも読み時間が短いことを明らかにした. Asahara (2018a) は述語項構造・共参照情報アノテーション BCCWJ-PAS (植田, 飯田,浅原, 松本, 徳永 2015; 浅原, 大村 2016) と対照比較を行い, 主語がゼロ代名詞の際に外界照応として二人称を指す場合の述語において, SPT が短くなることを明らかにした. これらの分析には, サンプルと被験者をランダム要因とし，アノテーションを固定要因とした対数時間に対する一般化線形混合モデルかべイジアン線形混合モデル (Sorensen et al. 2016)に基づく方法を用いている。

## 3 分析手法

分析においては, いくつかの要因に基づく線形式に基づいて, 読み時間をべイジアン線形混合モデル (Sorensen et al. 2016) により推定し，その係数を見ることにより進める。図 2 に推定に用いた線形式を示す. 分析は, 分散表現のノルムと隣接文節類似度に基づくもの $\left(\mu_{\mathrm{wv}}\right)$, 頻度情報に基づく当該文節の出現確率のみに基づくもの $\left(\mu_{\text {freq }}\right)$, 両方を用いたものに基づくもの $\left(\mu_{\mathrm{all}}\right)$ を対比する。分散表現は 2.3 節に示した fastText に基づく NWJC2vec 300 次元のものを用い, CBOW モデルと skip-gram モデルの両方を比較した。対象とする読み時間は, 読み戻しが可能な視線走査法の FFT, FPT, RPT, TOTAL とする. SPT については, 付録 B 節に述べる.

まず読み時間 time を対数正規分布 lognormal によりモデル化し, 期待値を $\mu_{*}$, 分散を $\sigma$ とする. 式において $\mu_{\text {base }}$ は基本的な要因を表し， $\alpha$ を切片とする。 $\beta^{\text {length }}$ は文節の文字数に対する係

図 2 推定に用いた線形式

間の摇れを，それぞれ $\sigma_{\text {article }}, \sigma_{\text {subj }}$ を標準偏差とする正規分布によりモデル化することにより吸収する。

$\beta^{\text {dependent }}$ は当該文節に係る文節の数に対する係数である。先行研究においては, PCFG の部分木により統語構造に基づく効果をモデル化していた。 日本語においては, 比較的語順が自由な言語であるために句構造木ではなく, 文節係り受け木により評価する。日本語は主辞後置言語であり，当該文節に係る文節は基本的に全て前置することから，この係数によって実質的に統語構造に基づく効果がモデル化できると考える 12.

単語ベクトルから構成した文節べクトルの情報の二つの情報を用いる。一つは当該文節べクトルのノルム wv $\operatorname{norm}(x)$ である。もう一つは当該文節べクトルと左隣接べクトルのコサイン類似度 wv_sim $(x)$ である。この上で，単語埋め込みを考慮した期待値として $\mu_{\text {w_all }}$ を検討する。 $\beta^{\text {wm norm }}$ は単語埋め込みに基づく文節べクトルのノルムに対する係数， $\beta^{\text {wm_sim }}$ は単語埋め込みに基づく左隣接文節とのコサイン類似度に対する係数であり，これを評価する。分散表現のモデルとして, CBOW と skip-gram の二つを評価する。また, 比較のためにノルムのみのもの $\mu_{\mathrm{wv} \_ \text {norm }}$ とコサイン類似度のみのもの $\mu_{\mathrm{wv} \text { sim }}$ も評価する。

比較対照として, 単語の頻度を考慮した期待値として $\mu_{\text {freq }}$ を検討する。 $\beta^{\text {freq-ave }}$ は文節内頻度に対する係数である．単語の頻度に基づく手法については，文節間の連接尤度を考慮しない. 文節内頻度は文節内の単語の頻度の相乗平均を評価する ${ }^{13}$. 相乗平均を評価する際にゼロ

頻度は 1 を乗じた。なお，相加平均でも評価したがモデルが収束しなかった。

最後に, 単語埋め込みと単語の頻度の両方を考慮した $\mu_{\mathrm{a} 11}$ を検討する.

分析においては, RStan ${ }^{14}$ を用いた. 500 iter の warm up のあと, 5000 iter を 4 chains 行った.

## 4 結果と考察

表 2 に各モデルの分析結果を示す。詳細な結果については，付録 A 節に示す.

推定される mean が 0.00 から $\pm 2 \mathrm{SD}$ 以上の差があるものに + もしくは - を付与する. 0 は mean が $\pm 2 \mathrm{SD}$ 以内のものである。＋はその值が大きければ，読み時間が長くなることを示す。一はその値が大きければ，読み時間が短くなることを示す.

表 2 分析結果（概要）

まず，いずれの結果も $\left(\beta_{\text {dependent }}\right)$ で係り受けが多ければ多いほど，読み時間が短くなった ${ }^{15}$. つまり，次に述べる結果は係り受けの効果を確認したうえでの付加的な効果である。単語埋め込みに基づくモデル $\left(\mu_{\mathrm{wv} a \text { a11 }}\right)$ においては，隣接文節間類似度が大きければ大きいほど読み時間が短くなる傾向が見られた $\left(\beta_{\text {vm_sim }}\right)$. skip-gram モデルにおいては, ベクトルのノルムが大きければ大きいほど読み時間が長くなる傾向が見られた $\left(\beta_{\text {vm_norm }}\right)$.この傾向は CBOW には見られなかった。また,ノルムと類似度を個別にモデル化したもの $\left(\mu_{\mathrm{wv} \text { norm }}, \mu_{\mathrm{wv} s \mathrm{sim}}\right)$ でも同じ傾向がみられた。次に, 頻度の相乗平均に基づくモデル $\left(\mu_{\mathrm{freq}}\right)$ においては, 高頻度のものが読み時間が短くなる傾向がみられた，単語埋め达みと頻度の双方を考慮したモデル $\left(\mu_{\text {al1 }}\right)$ では, skip-gram の FFT 以外において，両者を個別にモデル化したものを合成したような結果が得られた。

以下，結果について考察する。

まず，文節間の隣接尤度ついては，隣接文節間類似度に関する係数 $\beta_{\mathrm{wm} \_ \text {sim }}$ で確認できる。類似度が大きいほど読み時間が短くなることにより，隣接尤度による予測が効くことが考えられる。 つまり, wLSA-based surprisal (Pynte et al. 2008) や LDA-based surprisal (Mitchell et al. 2010) などの既存の semantic surprisal と同様に, fastText による単語埋め込みに基づくモデルでもモデル化できることが確認された．単語の頻度情報からは文節単位の隣接尤度の推定が困難であった. skip-gram の加法構成性に基づき構成した文節単位のベクトルのコサイン類似度が，適切に隣接尤度をモデル化できた。一方， CBOW については加法構成性をもつか否かについては管見の限り報告されていない。本稿の結果，読み時間の推定において CBOW は skip-gram ほどの明確な加法構成性が認められないことが示唆される.

文節内の単語の頻度の相乗平均は，その文節の生起確率を表す。確率が高ければ高いほど読み時間が短くなることが適切にモデル化できている。これは文節単位の unigram surprisal を適切にモデル化できていると考える。

skip-gram の FFT 以外においては, この unigram surprisal と異なる文節単位の特徴として,単語埋め込みのノルムの効果が認められた。単語埋め达みのノルム $\left(\beta_{\text {vmnorm }}\right)$ は, 他の単語の特徵を表現していると考えられる. Schakel らは, 単語埋め込みのノルムが, 単語の頻度と同様に単語の重要度 (word significance) を表している (Schakel and Wilson 2015)とし, Luhn (1958) らの議論を引用しながら語の共起に関連する何らかの尺度を示していることを議論している。我々はこのノルムが文節間の何らかの特性を表していると考える。加法構成性に基づき文節単位のベクトルを構成することにより，ノルムが大きければ大きいほど予測が難しく，読み時間が長い傾向が確認できた. skip-gram のノルムの大きなものの例を見ると, 数值表現 16 ・長い付

属語連接 17 ・長い複合語 ${ }^{18}$ が見られた。数値表現や付属語連接は, 一般的に構成要素の頻度が高くなり, 頻度の相乗平均の効果 $\left(\beta_{\text {freq_ave }}\right)$ のみの場合は読みやすいと判定されるが, この部分の読みにくさがモデル化されているのではないかと考える．文脈から単語を推定する CBOW モデルではこの傾向が見られなかった． skip-gram においてはその加法構成性を持つことが解説されている (Mikolov et al. 2013b) が，CBOW に関してはそのモデル化の方向性のためか加法構成性について議論がされていない。本研究結果でも CBOW の線形和に基づくノルムに対する読み時間の効果は確認できなかった。

いずれの結果も係り受けの効果とともに表れていることから, 先行研究で示されている効果と従属性が低い特徵量が発見できたといえる。

## 5 おわりに

本研究では, 日本語の読み時間の推定のために単語埋め込みを用いることを提案した．英語などで進められている surprisal の分析において，単語の頻度に基づく確率が用いられている。 しかしながら, 日本語においては頻度を計数する単位と読み時間を評価する単位との䶡齬があり，この分析を難しくしていた。今回 skip-gram の単語埋め込みを用いて，ベクトルの線形和により文節べクトルを構成することにより，この問題を解決した。文節べクトルのノルムが当該文節の頻度とは異なる何らかの特性をモデル化し, ノルムが大きければ大きいほど読み時間が長くなることを確認した。 さらにこれらの結果は統語的なモデルとともに導入されるものであり，新しい surprisal を発見したといえる．また，先行研究と同様に，左隣接文節のべクトルと当該文節べクトルのコサイン類似度が，読み時間を適切にモデル化できることを確認した。

今回, この文節べクトルのノルムが読み時間に影響を与える何らかの特性を持っていることを経験的に発見したが，数学的に言語学的に何であるのかについての理論的検証については今後の課題としたい.

工学的な応用として重要な点として, これらの単語埋め込みに関する情報は形態素解析器などで単語単位に割り当て可能であり，線形和やコサイン類似度など比較的軽い演算で計算できる.今回用いた統計モデルは線形式であることから, 任意の日本語文章に対して簡単に読み時間の推定が計算できる。これまでの BCCWJ-EyeTrack の分析は, 高度な統語・意味・談話情報アノテーションに基づくものであり，読み時間のモデル化については，人手によりアノテー ションを行う必要があった. 本研究で提案する単語埋め込みに基づくモデルは, NWJC2vec に収録されている語で構成される文章であれば，人間が解釈しやすい線形式で読み時間を与える

ことができる．本モデルを用いて，読み時間に基づく文章の読みやすさの自動評価ができると考える。

## 謝 辞

本研究は, 国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテー ションの拡張・統合・自動化に関する基礎研究」によるものです. 本研究の一部は JSPS 科研費基盤研究 (A) 17H00917, 挑戦的研究（萌芽） 18K18519, 新学術領域研究 $18 \mathrm{H} 05521$ の助成を受けたものです.

## 参考文献

Asahara, M. (2018a). "Between Reading Time and Zero Exophora in Japanese." In READ2018: International Interdisciplinary Symposium on Reading Experience $\mathfrak{E}$ Analysis of Documents, pp. 34-36.

Asahara, M. (2018b). "NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus'." Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24 (2), pp. 7-25.

浅原正幸 (2018). 名詞句の情報の状態と読み時間について. 自然言語処理, 25 (5), pp. 527-554.浅原正幸 (2019). 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect の検証. 自然言語処理, $26(2)$, pp. 301-328.

浅原正幸, 加藤祥 (2019). 読み時間と統語・意味分類. 認知科学, 26 (2), pp. 219-230.

Asahara, M., Maekawa, K., Imada, M., Kato, S., and Konishi, H. (2014). "Archiving and Analysing Techniques of the Ultra-large-scale Web-based Corpus Project of NINJAL, Japan." Alexandria: The Journal of National and International Library and Information Issues, 25 (1-2), pp. 129-148.

浅原正幸，松本裕治 (2018). 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造. 自然言語処理, $25(4)$, pp. 331-356.

浅原正幸, 小野創, 宮本エジソン正 (2017). 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性. 言語処理学会第 23 回年次大会発表論文集, pp. 473-476.

浅原正幸, 小野創, 宮本エジソン正 (2019). BCCWJ-EyeTrack 『現代日本語書き言葉均衡コー パス』に対する読み時間付与とその分析. 言語研究, 156, p. To Appear.

浅原正幸, 大村舞 (2016). BCCWJ-DepParaPAS: 『現代日本語書き言葉均衡コーパス』の係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学
会第 22 回年次大会発表論文集, pp. 489-492.

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." Journal of Machine Learning Research, 3, pp. 993-1022.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Griffiths, T. L., Steyvers, M., and Tanenbaum, J. B. (2007). "Topics in Semantic Representation." Psychological Review, 114 (2), pp. 211-244.

Hale, J. (2001). "A Probabilistic Earley Parser as a Psycholinguistic Model." In Proceedings of the 2nd Conference of the North American Chapter of the Association for Computational Linguistics, Vol. 2, pp. 159-166.

加藤祥, 浅原正幸, 山崎誠 (2019). 分類語彙表番号を付与した『現代日本語書き言葉均衡コー パス』の書籍・新聞・雑誌データ. 日本語の研究, 15 (2), pp. 134-141.

Landauer, T. K. and Dumais, S. T. (1997). "A Solution to Plato's problem: The Latent Semantic Analysis Theory of Acquisition, Induction and Representation of Knowledge." Psyochological Review, 104 (2), pp. 211-240.

Levy, R. (2008). "Expectation-based Syntactic Comprehension." Cognition, 106, pp. 1126-1177.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48, pp. 345-371.

Matsumoto, S., Asahara, M., and Arita, S. (2018). "Japanese Clause Classification Annotation on the 'Balanced Corpus of Contemporary Written Japanese'." In Proceedings of the 13th Workshop on Asian Language Resources (ALR12), pp. 1-8.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In International Conference on Learning Representations, abs/1301.3781.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Mitchell, J., Lapata, M., Demberg, V., and Keller, F. (2010). "Syntactic and Semantic Factors in Processing Difficulty: An Integrated Measure." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 196-206.
宮内拓也, 浅原正幸, 中川奈津子, 加藤祥 (2018). 『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析. 国立国語研究所論集, 16, pp. 19-33.

Patterson, C. and Drummer, J. (2016). "EyeTracking-Focus: Eyetracking During Reading." Linguistischer Methodenworkshop (HU Berlin).

Pynte, J., New, B., and Kennedy, A. (2008). "On-line Contextual Influences During Reading Normal Text: A Multiple-regression Analysis." Vision Research, 48, pp. 2172-2183.

Schakel, A. M. J. and Wilson, B. J. (2015). "Measuring Word Significance using Distributed Representations of Words." CoRR, abs/1508.02297.

Sorensen, T., Hohenstein, S., and Vasishth, S. (2016). "Bayesian Linear Mixed Models Using Stan: A Tutorial for Psychologists, Linguists, and Cognitive Scientists." Quantitative Methods for Psychology, 12, pp. 175-200.

植田禎子, 飯田龍, 浅原正幸, 松本裕治, 徳永健伸 (2015). 『現代日本語書き言葉均衡コーパス』 に対する述語項構造・共参照関係アノテーション.第 8 回コーパス日本語学ワークショップ予稿集, pp. 205-214.

Vasishth, S. and Drenhaus, H. (2011). "Locality in German." Dialogue 8 Discourse, 2 (1), pp. 59-82.

## 付録

## A 分析結果 (詳細)

本節では, skip-gram の最大モデル $\left(\mu_{\text {all }}\right)$ の結果の詳細について示す. Rhat が収束判定指標で chain 数 3 以上ですべての值が 1.1 以下を収束とみなす. 本研究では全ての設定で chain 数 4 とした. n_eff が有効サンプル数, mean がサンプルの期待値（事後平均）, sd が MCMC 標準偏差 (事後標準偏差), se_mean が標準誤差で, MCMC のサンプルの分散を n_eff で割った値の平方根を表す. なお, 表中 $\sigma$ が対数正規分布の標準偏差, $\sigma_{\text {article }}$ が記事に対するランダム係数をモデル化する分布の標準偏差, $\sigma_{s u b j}$ が実験協力者に対するランダム係数をモデル化する分布の標準偏差を表す.

## A. 1 分析結果 : FFT skip-gram

表 3 に FFT skip-gram の最大モデル $\left(\mu_{\text {all }}\right)$ の結果を示す. FFT は文節内の最初の停留の注視時間を評価する。 1 回の停留のみの評価のために, 文節の長さが長い場合 (文節内に複数回視線が停留する場合）に，その 2 回目以降の停留は加算されない.このため短い文節でかつ文処理負荷が高い文節で長くなる傾向がある。このため文節長の効果 $\left(\beta_{\text {length }}\right)$ や文節間に空白を入
表 3 分析結果：FFT skip-gram $\left(\mu_{\text {all }}\right)$

れるか否かの効果 $\left(\beta_{\text {space }}\right)$ が確認されなかった. 呈示順 $\left(\beta_{\text {sessionN }}, \beta_{\text {articlen }}, \beta_{\text {screenN }}, \beta_{\text {lineN }}\right.$, $\left.\beta_{\text {segmentN }}\right)$ ・レイアウト情報 $\left(\beta_{\text {is_first }}, \beta_{\text {is_last, }}, \beta_{\text {is_second_last }}\right)$ に関しては, 行呈示順 $\left(\beta_{\text {lineN }}\right)$ で読み時間が短くなる傾向が，文節呈示順 $\left(\beta_{\text {segmentN }}\right)$ で読み時間が長くなる傾向が, 行内最右要素 $\left(\beta_{\text {is_last }}\right)$ で読み時間が短くなる傾向が見られた.

係り受けの数が多いほど読み時間が短くなる傾向 $\left(\beta_{\text {dependent }}\right)$ がみられる. ベクトルのノルム $\left(\beta_{\text {wm_norm }}\right)$ については,ノルムが大きくなればなるほど読み時間が長くなるという弱い効果がみられる，ベクトルのノルムは，長い文節ほど大きくなる傾向があるために， 1 回の停留のみの評価では強い効果が出なかったのではないかと考える。隣接要素との類似度 $\left(\beta_{\mathrm{km}} \mathrm{sim}\right)$ や頻度 $\left(\beta_{\text {freq_ave }}\right)$ については, 値が大きいほど読み時間が短くなるという強い効果がみられる。

## A. 2 FPT skip-gram

表 4 に FPT skip-gram の最大モデル $\left(\mu_{\text {all }}\right)$ の結果を示す. FPT は文節内に初めて視線が停留し，その後文節から出るまでの総注視時間である。出る方向は右方向でも左方向でも構わない。一般に，予想と異なる文節とは異なるものが出てきた場合 (expectation-based), 短期記憶の負荷がかかる文節が出てきた場合 (memory-based) に值が大きくなるとされている．文節長の効果 $\left(\beta_{\text {length }}\right)$ は視線停留対象の面積に相当するために, 正方向に効果が出る. また, レジビ
表 4 分析結果：FPT skip-gram $\left(\mu_{\text {all }}\right)$

リティの観点である文節間に空白を入れるか否かの効果 $\left(\beta_{\text {space }}\right)$ ついては, 空白を入れたほうが読み時間が短くなることが確認された。呈示順 $\left(\beta_{\text {sessionN }}, \beta_{\text {articlen }}, \beta_{\text {screenN }}, \beta_{\text {lineN }}, \beta_{\text {segmentN }}\right)$ に関しては，記事呈示順以外で実験が進むにつれて読み時間が短くなる。記事呈示順は実験計画として 4 パターンのみ準備しており，記事に対するランダム効果 $\left(\sigma_{\text {article }}\right)$ に吸収されたと考える。以上の傾向は，RPT，TOTAL についても共通してみられる。

レイアウト情報 $\left(\beta_{\text {is_first }}, \beta_{\text {is_last }}, \beta_{\text {is_second_last }}\right)$ は, 行内最左要素 $\left(\beta_{\text {is_first }}\right)$ と右から 2 番目の要素 $\left(\beta_{\text {is_second_last }}\right.$ ) で読み時間が長くなる傾向が見られた.これは, 注視点の復帰改行の移動の効果だと考える。

係り受けの数が多いほど読み時間が短くなる傾向 $\left(\beta_{\text {dependent }}\right)$ がみられる. ベクトルのノルム $\left(\beta_{\text {wm_norm }}\right)$ については, ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる。隣接要素との類似度 $\left(\beta_{\text {wm_sim }}\right)$ や頻度 $\left(\beta_{\text {freq_ave }}\right)$ については, 值が大きいほど読み時間が短くなるという強い効果がみられる.

## A. 3 RPT skip-gram

表 5 に RPT skip-gram の最大モデル $\left(\mu_{\text {all }}\right)$ の結果を示す. RPT は文節内に初めて視線が停留し, その後文節の右側から出るまでの総注視時間である。左側に抜ける場合は継続して合算
表 5 分析結果：RPT skip-gram ( $\left.\mu_{\text {all }}\right)$

する。当該文節が予想と異なった場合に事前文脈を再確認する時間を評価している。

文節長・空白・呈示順については, FPT と同じ傾向であった.

レイアウト情報 $\left(\beta_{\text {is_first }}, \beta_{\text {is_last }}, \beta_{\text {is_second_last }}\right)$ は, 行内最右要素 $\left(\beta_{\text {is_last }}\right)$ と右から 2 番目の要素 $\left(\beta_{\text {is_second_last }}\right)$ で読み時間が長くなる傾向が見られた。これは, RPT の読み時間の定義から，最右要素や右から 2 番目の要素はこれ以上右につきぬけにくいためであろう.

係り受けの数が多いほど読み時間が短くなる傾向 $\left(\beta_{\text {dependent }}\right)$ がみられる. ベクトルのノルム $\left(\beta_{\text {wm_norm }}\right)$ については,ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる。隣接要素との類似度 $\left(\beta_{\mathrm{wm} \text { _sim }}\right)$ や頻度 ( $\left.\beta_{\text {freq_ave }}\right)$ については, 值が大きいほど読み時間が短くなるという強い効果がみられる.

## A. 4 TOTAL skip-gram

表 6 に TOTAL skip-gram の最大モデル $\left(\mu_{a l l}\right)$ の結果を示す. TOTAL は文節内の総注視時間である。 2 回目以降の確認作業も含めた読み時間を評価する。文節長・空白・呈示順については, FPT と同じ傾向であった.

レイアウト情報 $\left(\beta_{\text {is_first }}, \beta_{\text {is_last }}, \beta_{\text {is_second_last }}\right)$ は, FPT と同様に, 行内最左要素 $\left(\beta_{\text {is_last }}\right)$ と右から 2 番目の要素 $\left(\beta_{\text {is_second_last }}\right)$ で読み時間が長くなる傾向が見られた.
表 6 分析結果 : TOTAL skip-gram $\left(\mu_{a l l}\right)$

係り受けの数が多いほど読み時間が短くなる傾向 $\left(\beta_{\text {dependent }}\right)$ がみられる. ベクトルのノルム $\left(\beta_{\text {wm_norm }}\right)$ については,ノルムが大きくなればなるほど読み時間が長くなるという強い効果がみられる。隣接要素との類似度 $\left(\beta_{\text {wm_sim }}\right)$ や頻度 ( $\left.\beta_{\text {freq_ave }}\right)$ については, 值が大きいほど読み時間が短くなるという強い効果がみられる。

## B Second Pass Time について

Second Pass Time (SPT) は研究者によって, ゼロ読み時間（読み飛ばし）の扱いが異なり,查読などで議論が対立することが多く, 本稿では SPT の結果を除外した.

自己ペース読文法においては，実験協力者は必ずすべての文節を見るために読み飛ばしが発生しない. 視線走査法の FFT, FPT, RPT, TOTAL においては, ゼロ読み時間を考慮しないことが研究コミュニティにおいて共有されている. SPT はゼロ読み時間を扱う研究とゼロ読み時間を扱わない研究があり, BCCWJ-EyeTrack では後者の扱いをとっている.

著者らが考える理由は三つある。一つ目は TOTAL と FPT の関係である. SPT においてゼロ読み時間をする場合, TOTAL においてゼロ読み時間の場合を除いて TOTAL - FPT の値と

SPT の値が完全従属する. 二つ目は対数正規分布 lognormal によりモデル化できる点である.対数正規分布は定義域が $0<x<\infty$ であり，ゼロ読み時間を評価することができない. しかしながら，正規分布と異なり，サンプリングの際に自然に負の時間を回避できるほか，外れ値の影響が軽減されるというメリットがある。三つ目は，本質的に 2 回目の読み時間がないということは久損値であると考え，モデル化する対象から外すことで，00値を割り当てるという overspecified の問題を回避することができる.

Vasishth らは，ゼロ読み時間を扱うものを rereading time と呼び，ゼロ読み時間を扱わないものをSPT として区別したうえで，SPT を扱うべきとしている (Vasishth and Drenhaus 2011). さらに rereading time については UMASS の eyedry ${ }^{19}$ ど rereading time $=$ RPT - FPT としているものもある. Patterson らは 2016 年の時点で “controversy over including 0 when no rereading" (Patterson and Drummer 2016)とし，この扱いについては，まだ議論が収束していない.

なお, SPT 分析結果としては, 分散表現のノルムのみ (CBOW, skip-gram とも) が効果として確認され, それ以外の効果（単語頻度の幾何平均・隣接文節との類似度）は確認されなかった.

## 略歴

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修

了. 2004 年より同大学助教. 2012 年より人間文化研究機構国立国語研究所コーパス開発センター特任准教授. 2019 年より同教授. 博士 (工学). 言語処理学会, 日本言語学会, 日本語学会各会員.


# 複単語表現を考慮した依存構造コーパスの構築と解析

加藤 明彦 $\dagger \cdot$ 進藤 裕之 $\dagger \cdot$ 松本 裕治 ${ }^{\dagger, \dagger \dagger}$
}

複単語表現 (MWE) は統語的または意味的な非構成性を有する複数の単語からなる まとまりである。統語的な依存構造の情報を利用し，かつ意味理解が必要なタスクで は，単語ベースの依存構造よりもMWEを考慮した依存構造, 即ちMWEを統語的 な単位とする依存構造の方が好ましい。広範囲の連続 MWE を依存構造で考慮する ために，本稿では Ontonotes コーパスに対して新たに形容詞 MWE を注釈し, 複合機能語と形容詞 MWE の双方を考慮した依存構造コーパスを構築した。また，意味理解が必要なタスクでは句動詞などの非連続な出現を持ちうる MWE（動詞 MWE） の認識も重要である。依存構造の情報は動詞 MWE 認識で有効な特徴量として働く と期待されるため, 本稿では連続 MWEを考慮した依存構造と動詞 MWE の双方を 予測する問題に取り組む。前者については以下の 3 つのモデルを検討する：(a) 連続 MWE 認識と, MWE を考慮した依存構造解析のパイプライン, (b) 連続 MWE の範囲を依存関係ラベルとして符号化した head-initial な依存構造を解析するモデ ル，および (c) 連続 MWE 認識と上記 (b) の階層的マルチタスク学習モデルである.実験の結果，連続 MWE 認識ではパイプラインモデルとマルチタスクモデルがほぼ 同等の $\mathrm{F}$ 值を示し, head-initial な依存構造の解析器を 1.7 ポイント上回った. 動詞 MWE 認識では系列ラベリングベースの認識器を上述のマルチタスクモデルに組み 込むことで $\mathrm{F}$ 值が 1.3 ポイント向上した.

キーワード：複単語表現，依存構造解析，言語資源
## Construction and Analysis of Multiword Expression-aware Dependency Corpus

\author{
Akiniko $^{\prime a t o}{ }^{\dagger}$, Hiroyuki Shindo ${ }^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger, \dagger \dagger}$
}

Multiword expressions (MWEs) consist of multiple words with syntactic or semantic non-compositionality. Natural Language Processing (NLP) tasks exploiting syntactic dependency information and requiring the understanding of the meaning of texts prefer the use of MWE-aware dependency trees (MWE-DTs) - where each MWE is a syntactic unit- to word-based dependency trees. To treat various continuous MWEs as syntactic units in dependency trees, this study conducts adjective MWE annotations on the OntoNotes corpus and constructs a dependency corpus that is aware of both

the functional and adjective MWEs. In NLP tasks requiring a semantic understanding, it is also important to recognize verbal MWEs (VMWEs) such as phrasal verbs, which are likely to have discontinuous occurrences. Since dependency information can be used as an effective feature in VMWE recognition, this study examines the tasks to predict both MWE-DTs and VMWEs. For MWE-DTs, it explores the following three models: (a) a pipeline model of continuous MWE recognition (CMWER) and MWEaware dependency parsing, (b) a model to predict a word-based dependency tree that encodes MWE spans as dependency labels (the head-initial dependency parser), and (c) the hierarchical multitask learning (HMTL) model of CMWER and the model in (b). The experimental results show that the pipeline and HMTL-based models show similar F1-scores in CMWER, which are 1.7 points better than the F1-score of the head-initial dependency parser. With respect to VMWE recognition, the results show an F1 improvement of 1.3 points by integrating the sequential labeler into the above mentioned HMTL-based model.

Key Words: Multiword Expressions, Dependency Parsing, Dependency Corpus

## 1 はじめに

複単語表現 (MWE) は, 統語的もしくは意味的な単位として扱う必要がある, 複数の単語からなるまとまりである (Sag, Baldwin, Bond, Copestake, and Flickinger 2002).

MWE はその文法的役割に基づいて以下の 4 種に分類することができる（表 1）:(1) 複合機能語 ${ }^{1}$ (a number of, even though), (2) 形容詞 MWE (dead on one's feet, out of business), (3)動詞 MWE (VMWE) (pick up, make a decision), (4) 複合名詞 (traffic light). これ以降, MWE の文法的役割を MWE 全体品詞と呼ぶことにする.

上記の中でも特に複合機能語は統語的な非構成性を持ちうる。即ち, 構成単語の品詞列から複合機能語の MWE 全体品詞が予測し難い，というケースがしばしば存在する。たとえば，“by and large"は次の文で副詞として機能しているが，構成単語の品詞列（"IN”（前置詞または従

表 1 複単語表現 (MWE) の文法的役割に基づく分類

属接続詞), “CC"（並列接続詞），“JJ”（形容詞））からこれを予測することは難しい.

By and large, these efforts have borne fruit.

このように MWE はしばしば非構成性を持つため, テキストの意味を自動理解する上で MWE 認識は重要なタスクである (Newman, Koilada, Lau, and Baldwin 2012; Berend 2011).

また，統語的な依存構造の情報を利用する応用タスクにおいて，MWEを考慮した依存構造 （図 1b）の方が単語べースの依存構造（図 1a）よりも好ましいと考えられる．MWEを考慮した依存構造では各 MWEが統語的な単位となっているのに対し，単語べースの依存構造では MWE の範囲は表現されていない．MWEを考慮した依存構造の利点を享受しうる応用タスクの例としてはイベント抽出が挙げられる (Björne, Ginter, and Salakoski 2017)。イベント抽出ではイベントトリガーの検出とイベント属性值の同定が必要となるが，イベントトリガーとイベント属性値のいずれも MWE になりうる。また，イベントトリガーとイベント属性値を結ぶ依存構造上の最短経路は，しばしばイベント属性値の同定において特徴量として利用されている $(\mathrm{Li}, \mathrm{Ji}$, and Huang 2013).

上述のように，MWEを考慮した依存構造解析は重要な研究課題である。そこで次に MWE を考慮した依存構造コーパスの構築方法について述べる.

伝統的に, 英語の依存構造コーパスは Penn Treebank (Marcus, Kim, Marcinkiewicz, MacIntyre, Bies, Ferguson, Katz, and Schasberger 1994) などのツリーバンク（句構造コーパス）からの自動変換によって構築されてきた．しかし既存のほとんどの英語ツリーバンクでは，MWEが句構造の部分木になっていることは保証されていない（図 2).このため, 句構造からの自動変換で得られた依存構造において，MWEの構成単語群を単純にマージすることによって，MWEを考慮した依存構造を得られるとは限らない（図 1） (Kato, Shindo, and Matsumoto 2016).

本稿ではこれ以降，ある MWEが句構造の部分木になっている時, MWE が句構造と整合的である，と記述する。コーパス中の全てのMWEの出現が句構造と整合的であるならば，我々はこれを MWE と整合的な句構造コーパス，と記述する。

Kato et al. (2016) は Ontonotes 5.0 (Pradhan, Hovy, Marcus, Palmer, Ramshaw, and Weischedel 2007）をMWE と整合的にすることによって，MWEを考慮した依存構造コーパスを構築した.

(a) 単語ベースの依存構造

(b) MWE を考虑した依存構造

図 1 単語ベースの依存構造と MWE を考慮した依存構造の比較. 前者では MWE ("a number of") の範囲が表現されていないのに対して，後者では MWE が依存構造の単位となっている。

図 $2 \mathrm{MWE}$ の範囲が句構造のいずれの部分木の範囲とも一致しない場合の例. 図中の矩形は MWE の範囲を示す.

しかし Kato et al. (2016)は複合機能語のみを対象としており，他のMWE は取り扱っていない.

そこで本稿では，より多くの種類の MWE をカバーするために，新たに形容詞 MWEのアノテーションを行う。その上で, Ontonotes コーパスが複合機能語および形容詞 MWE と整合的になるように句構造木を修正する。その後，依存構造への自動変換を行い，MWE を考慮した大規模な依存構造コーパスを構築する (2 章).

依存構造に新たに統合する MWEとして，形容詞 MWE を選択した理由を以下に述べる。第一に, 複合名詞は統語的には構成的であるため, 依存構造中の単位として扱うことで得られる利点は限定的である。また，複合名詞は高い生産性を持つため，辞書マッチングによる候補抽出を行うと，十分な網羅率が得られない可能性がある。したがって, 複合名詞については, 辞書に依存しないコーパスアノテーションが望ましいため，形容詞 MWE よりもアノテーションコストが高い，第二に，動詞 MWE (VMWE) は一般に非連続な出現を持ちうるため (pick .. up)，句構造で部分木としてまとめる事ができないケースが存在する。このため，VMWE を考慮した依存構造コーパスを構築するためには, 連続 MWE とは異なるアプローチが必要となる. この点は今後の課題とする.

また，文の意味理解が必要な応用タスクにおいては，句動詞など，非連続な出現を持ちうる MWE (VMWE) の認識も重要である. VMWEの認識を行う上で，連続MWE を考慮した依存構造, 特に, 依存構造中の動詞から particle や直接目的語へのエッジは, 有用な特徵量として利用できると期待される。そこで本研究では所与の文に対して, (i) 連続 MWE（複合機能語と形容詞 MWE）を考慮した依存構造，(ii) VMWE の双方を予測する問題に取り組む (3 章).

連続 MWEを考慮した依存構造解析のモデルとしては, 以下の 3 者を検討する：(a) 連続 MWE 認識を系列ラベリングとして定式化し，予測した連続 MWE を単一ノードにマージした上で依存構造解析を行うパイプラインモデル, (b) 連続 MWE の範囲と全体品詞を依存関係ラベル

として符号化し (head-initial な依存構造), 単語ベースの依存構造解析を行うモデル (Single-

ル (HMTL) (Sanh, Wolf, and Ruder 2018) である. HMTLでは, 上位タスクのエンコーダーは,下位タスクのエンコーダーからの出力と, 単語分散表現などの入力特徴量の双方を受け取る. HMTL を用いる動機を以下に述べる。連続 MWE を考慮した依存構造解析は，連続 MWE 認識と，連続 MWE を統語構造の単位とする依存構造解析とに分解できる。したがって，head-initial な依存構造の解析器を単体で学習させるよりも, 連続 MWE 認識を下位タスクとして位置付け,下位タスクのエンコーダーが捉えた特徴量も利用した方が，解析精度が向上すると期待される。 Head-initial な依存構造の解析は, Deep biaffine parser (Dozat and Manning 2017)を用いて行い，連続 MWE 認識器としては bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016) を用いる。本研究で Ontonotes 上に構築した，複合機能語と形容詞 MWEを考慮した依存構造コーパスを用いた実験の結果，連続 MWE 認識については，パイプラインモデルと HMTL ベースのモデルがほぼ同等の F 值を示し, Single-task (parser)を，連続 MWE 認識のF 值で約 1.7 ポイント上回っていることを確認した。依存構造解析については，テストセット全体およびMWEを含む文において, 各手法はほぼ同等のラベルなし正解率 (UAS) を示した。一方, 正解の MWE の先頭単語に着目すると, Single-task (parser) および HMTL ベースのモデルがパイプラインモデルをUAS で少なくとも約 1.4 ポイント上回った。また，VMWE 認識については，MWEの構成単語間のギャップを扱えるように拡張した BIO 方式 (Schneider, Onuffer, Kazour, Danchik, Mordowanec, Conrad, and Smith 2014)を用いて系列ラベリングとして定式化し, (d) bi-LSTM-CNNs-CRF モデル (Single-task (VMWE)) および (e) 連続 MWE 認識，連続 MWE を考慮した依存構造解析, Single-task (VMWE)の HMTL を検討する. VMWEのデータセットとしては, Ontonotes に対する VMWE アノテーションを用いる (Kato, Shindo, and Matsumoto 2018). 実験の結果, VMWE 認識において, (e) が (d) に比べて, F 值で約 1.3 ポイント上回ることを確認した.

本稿で構築した, 複合機能語および形容詞 MWE を考慮した依存構造コーパスは LDC 2017 T $16^{2}$ の次版としてリリースする予定である.

## 2 MWE を考慮した依存構造コーパスの構築

本章では, 英語の複合機能語および形容詞 MWEを考慮した依存構造コーパスの構築について述べる。本コーパスは, ツリーバンクおよびその上に付与した MWEアノテーションをもとに構築する. ツリーバンクとして, 我々は Ontonotes 5.0 (Pradhan et al. 2007) の Wall Street Journal (WSJ) 部分を用いる. Ontonotes 上の MWE アノテーションについては, Shigeto, Azuma,
^{2}$ https://catalog.ldc.upenn.edu/LDC2017T16
}

Hisamoto, Kondo, Kose, Sakaguchi, Yoshimoto, Yung, and Matsumoto (2013) の複合機能語アノテーションに加えて，今回新たに形容詞 MWE アノテーションを行い，両者を併合する．

## 2.1 複合機能語のアノテーション

複合機能語については, Shigeto et al. (2013)による Penn Treebank (Marcus et al. 1994)の WSJ 部分に対するアノテーションを用いる ${ }^{3}$.

Shigeto et al. (2013) は以下の 4 ステップで複合機能語のアノテーションを行っている.

(1) 英語の Wiktionary 4 から複合機能語を抽出することによって，MWE 辞書を構築する。

(2) 辞書マッチングによって，Penn Treebank 上で MWEの出現候補を収集する.

(3) 辞書中の各 MWEについて, 句構造木と品詞列をもとに, 出現候補を複数のパターンに分類する。

（4）各 MWE の各パターンについて，MWEとして用いられている（MWE 用法）のか，あるいは字義通りの意味で用いられている（リテラル用法）のかを分類する.

## 2.2 形容詞 MWEのアノテーション

形容詞 MWE のアノテーションについては以下の 3 ステップで行った. 第一に, 英語の Wiktionary を用いて形容詞 MWE の辞書を構築した。この辞書には 2,869 種類の形容詞 MWE が含まれる. 次に, Ontonotes 5.0 の WSJ 部分に対して辞書マッチングを行った.この結果, 304 種類の形容詞 MWEが，少なくとも 1 回，コーパス中に出現している事が確認された．第三に各 MWEが，意味的な非構成性を有する語義を少なくとも一つ持つかどうかに応じて，上述の 304 種類の形容詞 MWEを，後述する 2 つのグループに分割した. 本研究では, Wiktionary の語釈文の冒頭に“idiomatic”または "figurative”（熟語もしくは比喻）と記載されているならば，当該の語義を，意味的な非構成性を有するものとして扱った.

（1）意味的な非構成性を有する語義を少なくとも一つ持つ MWE（69 種類， 380 事例）については，各候補について語義曖昧性解消（WSD）を行い，意味的な非構成性を有する語義に該当するかどうかに応じて，MWE 用法もしくはリテラル用法へと分類した。 ここでWSDに関しては以下の方針とした。まず，意味的な非構成性を有する語義が，特徵的な構文パターンに紐付いている場合には，句構造木や，MWE 候補の構成単語の品詞列の情報を利用した自動アノテーションを行った ${ }^{5}$ 。また，それ以外の場合には，筆者ら

による人手アノテーションを行った.

（2）意味的な非構成性を有する語義を持たない MWE（235 種類，1，034 事例）については,以下の 2 ステップでアノテーションを行った。第一に，各 MWE 候補が句構造の部分木になっているかどうかに応じて， 2 つのグループ（後述のケース $(\mathrm{A}),(\mathrm{B})$ ) に分割した.第二に，各 MWE 候補を統語的な非構成性の有無に応じて，MWE 用法もしくはリテラル用法へと分類した，具体的には確率文脈自由文法 (PCFG) の，各 MWE 候補に関する生成規則が以下の条件を満たすならば，当該の候補を MWE 用法として注釈した。

$
\operatorname{Pr}\left(A D J P \rightarrow t_{1} . . t_{n}\right)<0.0008
$

ここで $t_{1} . . t_{n}$ は $\mathrm{MWE}$ 候補の構成単語の品詞列である。 以下では上記の条件を Cond PCFG と表記する。なお，PCFG の生成規則は Ontonotes 5.0の WSJ 部分の学習セット（セクション 02-21）から誘導した。

(A) MWE 候補が句構造の部分木になっている場合 (457 事例)，以下の手順でアノテー ションを実施した。以下では部分木の根の非終端記号を X と呼ぶことにする。

i). X が ADJP の場合（図 3), 当該の MWE 候補が Cond PCFG を満たすならば MWE 用法（図 3(a)）とし，満たさないならばリテラル用法とした (図3(b), (c)).

ii). Xが PP の場合, 当該の部分木が形容詞句として機能し, かつ, $\operatorname{Cond}_{P C F G}$ を満たすならば，MWE 用法として注釈した。

iii). X が ADJPでも PPでもない場合にはリテラル用法とした.

(B) MWE 候補が句構造のいずれの部分木にも該当しない場合（577 事例），当該の MWE 候補が形容詞句として機能し，かつ，Cond ${ }_{P C F G}$ を満たすならば，MWE 用法として注釈した（図 4 ）.

(a) MWE 用法の例.

(b) リテラル用法の例 (1).

(c) リテラル用法の例 $(2)$

図 $3 \mathrm{MWE}$ の範囲が，ADJP を根とする部分木に対応する例．PCFG の生成規則の確率に基づき，(a) は MWE 用法として， (b) および (c) はリテラル用法として注釈する。

(a) MWE 用法の例.

(b) リテラル用法の例.

図 $4 \mathrm{MWE}$ の範囲が，句構造の部分木に対応しない場合の例。PCFG の生成規則の確率に基づき，(a) は MWE 用法, (b) はリテラル用法として注釈する.

表 2 形容詞 MWE の構成単語の品詞列, 出現数, および具体例

10 回以上出現した品詞列のみを示す.

上述した手順により, Ontonotes 5.0の WSJ 部分に対して, 83 種類, 198 事例の形容詞 MWE が注釈された. コーパス中に出現している形容詞 MWE を構成単語の品詞列で分類したものを表 2 に示す.

## 2.3 MWE を考慮した依存構造コーパスの構築

本研究では, 複合機能語と形容詞 MWE を考慮した依存構造コーパスを以下の 3 ステップで構築した。各手順については次節以降で詳述する。

(A) 複合機能語アノテーションと形容詞 MWE アノテーションの衝突を解決する.

(B) 句構造と MWE アノテーションの衝突を解決する.

(C) 句構造から依存構造への変換を行う.

## 2.3.1 異種のMWEアノテーション間の衝突の解決

我々はまず，複合機能語と形容詞 MWEのアノテーションが，包含または重複関係にある事例を調査した。その結果, 一部の形容詞 MWEの範囲が, 複合機能語の範囲を包含している事が分かった。たとえば以下の文において，形容詞 MWEである“out of business”の範囲は，複合機能語である“out of”の範囲を包含している.

.. and putting unprofitable state-owned companies out of business.

このような事例においては，より広い範囲のMWEアノテーションを残す形で衝突の解決を行った.この結果得られた, MWEアノテーションのコーパス統計量を表 3 に示す.

## 2.3.2 句構造と MWE アノテーションの衝突の解決

我々は次に，句構造と MWE アノテーションの衝突を解決した。ある MWE アノテーションの範囲が, 句構造のいずれの部分木にも該当しない場合, 本研究では, 句構造と MWEアノテー ションが衝突している，と表現する。

句構造と複合機能語アノテーションの衝突は Kato et al. (2016) が構築したコーパスで，既に解決されている。そこで本研究では, Kato et al. (2016)のコーパスにおける, 句構造と形容詞 MWE アノテーションの衝突を，以下の 2 種類に分類した上で解決した (Finkel and Manning 2009; Kato et al. 2016).

## (1) Multiple contiguous children (図 5)

MWEの範囲が，複数の連続した部分木に対応する場合 (Finkel and Manning 2009; Kato et al. 2016)，MWE の範囲に相当する部分木群をまとめる中間ノードを挿入し，形容詞 MWE であることを表す非終端記号 (“MWE_JJ”) を付与する。

表 3 Ontonotes 5.0 の WSJ 部分に対して注釈された, 複合機能語と形容詞 MWE のコーパス統計量

RB は副詞，JJ は形容詞，IN は前置詞または従属接続詞，DT は限定詞，PRP は代名詞，TO は to 不定詞，WRB は WH 副詞，UH は感動詞を示す。なお，to 不定詞，WH 副詞，感動詞としては，“about to”， "why not", "no way"の各 1 種を注釈している.

(a) 修正前の句構造木 (MWE に関する部分のみを記載)。図中の矩形は MWEの範囲を示す.

(b) 修正後の句構造木. MWE (“de facto”) が部分木として, まとめられている.

図 5 “Multiple contiguous children”における句構造木の修正.

(a) 修正前の句構造木. 図中の矩形は MWE の範囲を示す。

(b) 修正後の句構造木. MWE (“in line”) が部分木として, まとめられている.

図 6 “Crossing brackets”における句構造木の修正.

(2) Crossing brackets（図 6)

MWE の範囲が，句構造の部分木の範囲と部分重複する場合は，以下の手順で MWE を部分木としてまとめる。このケースの典型的な例として, 形容詞 MWEの範囲を含む部分木は，PPを根として持ち，子ノードとして IN（前置詞または従属接続詞）と NP（名詞句）を持つ。この $\mathrm{NP}$ ノードは，ネストした $\mathrm{NP}$ およびネストした PP からなる（図 6a）. この様な事例では, 形容詞 MWEが, ネストしたPPの直前に出現している。この場合, MWE の範囲に相当する部分木群をまとめる中間ノードを挿入し，(1) と同様，形容詞 MWEであることを表す非終端記号を付与する。また，ネストしたPPを，上位のPPの直下に移動させる（図 $6 \mathrm{~b}$ ).

## 2.3.3 句構造から依存構造への変換

最後に，句構造から依存構造への変換を行う，前処理として，MWEの範囲に対応する部分木を, MWE 全体品詞を親, MWE の構成単語群をアンダースコアで連結したノード (words-

(a) MWE をマージする前の句構造木。

(b) MWE をマージした後の句構造木.

図 7 MWEの単一ノードへのマージ.

with-spaces）を子とする木に置換する（図 7）.その後，句構造木を Stanford basic dependency (Marneffe and Manning 2008) に従う依存構造木に変換する ${ }^{6}$.

## 3 連続 MWE を考慮した依存構造解析，およびVMWE 認識を行うためのモ デル

本章では，連続 MWE を考慮した依存構造解析および VMWE 認識を行うモデルアーキテクチャーについて述べる.

## 3.1 連続 MWE を考慮した依存構造解析

本研究では，連続 MWE を考慮した依存構造解析を行うためのモデルとして，以下の 3 者を検討する。

(1) 系列ラベリングベースの認識器が予測した連続 MWE を，単一ノードにマージした上で依存構造解析を行うパイプラインモデル（図 8）

(2) 連続 MWE の範囲と全体品詞を依存関係ラベルとして符号化し（head-initial 依存構造 (図 9)），単語ベースの依存構造解析を行うモデル

(3) Head-initial な依存構造の解析と連続 MWE 認識の階層的マルチタスク学習 (Sanh et al. 2018)（図 10）

上記の各モデルにおける入力特徴量としては, 単語分散表現, ELMo 表現 (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018), 文字レベルの CNN (Kim, Jernite, Sontag, and Rush 2016)を用いた単語表現の 3 者を連結したものを利用する.

図 8 パイプラインモデルにおける依存構造解析のアーキテクチャー. 系列ラベリングによって予測した MWE の範囲に渡って，隠れ状態べクトルの平均を求め，後段の MLP（多層パーセプトロン）への入力として用いる.

図 9 Head-initial な依存構造木の例. MWE の範囲と全体品詞が依存関係ラベルとして符号化されている.

パイプラインモデルにおいて，連続 MWE 認識については bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016)を, 依存構造解析については (Dozat and Manning 2017)の Deep biaffine parser を用いる。依存構造解析器のエンコーダーには, MWE をマージする前の入力文に相当するべクトル系列を入力する。そして，エンコーダーからの出力系列において，予測した連続 MWE の範囲に渡って平均を取ったものを MWEの隠れ状態べクトルとして利用し, 後段の多層パーセプトロン (MLP)への入力に用いる (図 8). Deep biaffine parser からの出力は, 予測した MWE をマージした文に対する依存構造である。ただし学習時は, 依存構造解析器が正解の木を予測できるように，正解の MWE の範囲を利用する。テスト時は連続 MWE 認識器が予測した MWE の範囲を利用する。

モデル (2) で用いる Head-initial な依存構造木（図 9）では，連続 MWE の範囲と全体品詞は依存関係ラベルとして符号化され，MWEの 2 番目以降の構成単語は，先頭単語を主辞として

図 10 連続 MWE 認識と, 連続 MWE を考虑した依存構造解析の階層的マルチタスク学習のアーキテクチャー.

持つ.

モデル (3), すなわち, Head-initial な依存構造の解析と連続 MWE 認識の階層的マルチタスク学習モデル (HMTL)（図 10）では，上位タスクのエンコーダーは，下位タスクのエンコーダーからの出力だけでなく, 単語分散表現などの入力特徴量も合わせて受け取る (shortcut connection (Sanh et al. 2018)). HMTL を用いる動機を以下に述べる。連続MWE を考慮した依存構造解析は, 連続 MWE 認識と, 連続 MWE を統語構造上の単位とする依存構造解析とに分解できる. したがって, head-initial な依存構造の解析器を単体で学習させるよりも, 連続 MWE 認識夕スクのエンコーダーが捉えた特徴量も依存構造解析器で利用した方が, 解析精度が向上すると期待される。

## 3.2 VMWE 認識

VMWE 認識については，MWEの構成単語間のギャップを扱えるように拡張したBIO 方式 (Schneider et al. 2014)を用いて系列ラベリングとして定式化し（図 11）、ベースラインとして, bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016) を用いる.

また, VMWE 認識を行う上で, 連続MWEを考慮した依存構造, 特に, 依存構造中の動詞から particle や直接目的語へのエッジは, 有用な特徴量として利用できると期待される。そこで

図 11 VMWE の拡張 BIO 方式によるアノテーション．MWE の構成単語間に別の単語が存在する場合には。タグ (small outside tag) を付与する.

図 12 連続 MWE 認識，連続 MWE を考慮した依存構造解析，およびVMWE 認識の階層的マルチタスク学習のアーキテクチャー。下層から順に, 連続 MWE 認識, 連続 MWE を考慮した依存構造解析，VMWE 認識のエンコーダーをスタックさせたモデルとなっている.

本稿では, 連続 MWE 認識, 連続 MWEを考慮した依存構造解析, VMWE 認識の階層的マルチタスク学習 (HMTL) の効果を検証する。アーキテクチャーを図 12 に示す.このモデルでは，下層から順に, 連続 MWE 認識, 連続 MWE を考慮した依存構造解析, VMWE 認識のエンコー ダーをスタックさせる。これによって, VMWE 認識タスクのエンコーダーは, 連続 MWEを考慮した依存構造解析タスクのエンコーダーが捉えた特徴量を利用できる。また，対照実験として，連続 MWE 認識と VMWE 認識の HMTL，連続MWE を考慮した依存構造解析とVMWE 認識の HMTL についても実験を行う.

## 4 連続MWE を考慮した依存構造解析，およびVMWE 認識を行うモデルの 評価実験

本章では，連続 MWE を考慮した依存構造解析，およびVMWE 認識を行うモデルの評価実験について述べる。データセットとしては, 本研究で Ontonotes 5.0（WSJ 部分）上に構築した, 複合機能語および形容詞 MWE を考慮した依存構造コーパス，および，Kato et al. (2018) で行われた，Ontonotes 5.0（WSJ 部分）に対する VMWE アノテーションを用いる.

## 4.1 実験設定および実装の詳細

データ分割については先行研究に従い, Ontonotes 5.0（WSJ 部分）のセクション 2-21, 22, 23 をそれぞれ学習, 開発, テストに利用した。

VMWE 認識については，上述した VMWEアノテーション (Kato et al. 2018)を用いた。この中には，複数のVMWEのアノテーションが部分重複する文がまれに存在する，これらの文に対する VMWE 認識は系列ラベリングとして定式化することが難しいため，該当する文をデー タセットから取り除いた上で実験を行った。該当する文は学習，開発，テストのそれぞれで， 30,060 文中 13 文, 1,336 文中 0 文, 1,640 文中 2 文である.

階層的マルチタスク学習に関しては (Sanh et al. 2018) に基づき，タスクごとに別々のデータセットを保持する。そして訓練事例数に応じた確率でランダムに選択したタスクのミニバッチを利用して学習を行う。本実験では各タスクの訓練事例数はほぼ同じであるが，上述したように複数の VMWEのアノテーションが部分重複する事例を取り除いている関係上，VMWE 認識タスクは，連続MWE 認識タスクおよび連続 MWE を考慮した依存構造解析タスクに比べ，わずかに訓練事例数が少ない，学習の停止条件は，指定したエポック数に到達するか, 開発セットの評価指標が指定したエポック数に渡り改善しないという事象が発生することである (Early stopping (Prechelt 1998)).

Bi-LSTM-CNNs-CRF モデルおよび Deep biaffine parser は AllenNLP ライブラリ (Gardner, Grus, Neumann, Tafjord, Dasigi, Liu, Peters, Schmitz, and Zettlemoyer 2017) をべースとして実装した。単語分散表現の初期値としては, Glove (Pennington, Socher, and Manning 2014)を用いた. ELMo 表現を得るための bi-LSTM ネットワークとしては，One Billion Word Benchmark コーパス (Chelba, Mikolov, Schuster, Ge, Brants, and Koehn 2014) で事前学習されたモデル $7 を$用いた。連続 MWE および VMWE の認識に用いた bi-LSTM-CNNs-CRF モデルにおいて，ドロップアウトは bi-LSTMへの入出力に対して適用した。連続MWE を考慮した依存構造解析に利用した Deep biaffine parser において, ドロップアウトはbi-LSTMへの入出力と, 依存構造の

}
主辞推定および依存関係ラベル推定に関する MLP からの出力に対して適用した.

## 4.1.1 系列ラベリングの学習における負例のダウンサンプリング

本実験で利用する，連続 MWE を考慮した依存構造コーパスにおいて，多くの文は連続 MWE を 1 つも含んでいない，実際，テストセットでは， 1,640 文中，1,370 文において，連続 MWE は出現していない. これは, “O” (outside) タグのみからなるラベル系列（負例）に相当する. VMWE についても，データセット中の多くの文でVMWE は出現していない。このようなラべルバイアス (Leevy, Khoshgoftaar, Bauder, and Seliya 2018)の影響を緩和するために，系列ラべリングベースの連続 MWE 認識および VMWE 認識の学習時に，ミニバッチ中で，負例が正例を文数で上回る場合には，損失関数に寄与する負例の事例数が正例と同一になるように，負例のダウンサンプリングを行った.

## 4.1.2 ハイパーパラメーターとモデル選択

利用したハイパーパラメーターの一覧を表 4 に示す。連続 MWE 認識のモデル選択は開発セットでの F 值に基づいて行った。VMWE 認識および，VMWE 認識を含む階層的マルチタスク学習 (HMTL) については, 開発セットでVMWEのF 值が最大となるモデルを選択した。連続MWE を考慮した依存構造解析および上記以外の HMTL については，開発セットでのラベルあり正解率 (LAS) が最大となるモデルを選択した.

## 4.1.3 評価方法

連続 MWE 認識については，MWEの範囲に関する F 値 (FUM) または，MWEの範囲と全体品詞に関する F 値 (FTM) を用いて評価を行う. Head-initial な依存構造（図 9）の解析器を用いる場合, 予測した依存構造中の依存関係ラベルとして表現されている連続 MWE の範囲と全体品詞を予測結果として評価を行う.

VMWE 認識については, 予測したタグ系列から求めた, VMWEの構成単語群に関する FUM を評価指標として用いる.

依存構造についてはラベルなし正解率 (UAS), ラベルあり正解率 (LAS) を用いて評価を行う 8 . 連続 MWE 認識とのパイプラインモデルの場合, 依存構造解析器は, 予測した MWE をマージした文に対する依存構造を推定する。そのため，依存構造中のMWE 由来のノードを head-initial に展開した依存構造を正解と比較して，UAS およびLAS を算出する.
^{8}$ UAS および LAS の計算時には, 句読点は評価対象外とする.
}
表 4 本実験で利用したハイパーパラメーターの一覧

 & 500 \\

## 4.2 実験結果および考察

テストセットに対する実験結果を表 5 に示す. 表中の Single task (parser) は head-initial な依存構造の解析器を単独で学習させた場合の結果である。また, Pipeline (continuous MWE + parser）は連続 MWE 認識器が予測した MWEの範囲を単一ノードにマージした上で依存構造解析を行う手法を示す. Pipeline モデルの連続 MWE 認識の精度は, 系列ラベリングに基づく連続 MWE 認識器に対するものである。次に HMTL (continuous MWE + parser) は連続 MWE 認識と head-initial な依存構造解析の階層的マルチタスク学習 (HMTL) に対する結果である.一方, Single task (VMWE) は VMWE 認識器を示す. HMTL (continuous MWE + VMWE) は
表 5 連続 MWE を考慮した依存構造解析と VMWE 認識に関する，テストセットでの実験結果

}} & \multirow{3}{*}{  } \\

各数値は 5 回の独立した実験の平均である. HMTL は階層的マルチタスク学習の略語である.

連続 MWE 認識とVMWE 認識の HMTL, HMTL (parser + VMWE) は，連続 MWE を考慮した依存構造解析と VMWE 認識の HMTL, HMTL (continuous MWE + parser + VMWE)は,連続 MWE 認識，連続MWE を考慮した依存構造解析，VMWE 認識の HMTLに対する結果である.

まず連続 MWE 認識については, Pipeline(continuous MWE + parser), HMTL (continuous MWE + parser), HMTL (continuous MWE + VMWE)がほぼ同等のFUM を示し, Single task (parser) を約 1.7 ポイント上回った.このことから, 連続 MWE 認識に関しては, 依存構造解析器単体で head-initial な依存構造を予測するよりも, 系列ラベリングベースの手法や, 連続 MWE 認識と依存構造解析またはVMWE 認識との階層的マルチタスク学習を用いた方が良いことが分かる.

次に依存構造解析の結果について述べる。テストセット全体に対しては, 各手法はほぼ同等のラベルなし正解率 (UAS) を示した．MWEを含む文（1,640文中，270文）に関しても，各手法はほぼ同等のUAS を示している，MWEを構成するトークンの総数は，テストセット全体のトークン数の約 1.9 \%であるため，MWEの内部係り受けや，MWEの内外をつなぐ係り受けの精度が手法間で異なっている場合でも，全体精度には現れにくいという点には注意が必要である. そこで，正解の MWE の先頭トークンに着目すると, HMTL (continuous MWE + parser) は Pipeline (continuous MWE + parser) を UAS で約 1.4 ポイント, LAS で約 1.5 ポイント上回った。階層的マルチタスク学習モデルはパイプラインモデルと異なり, 連続 MWE 認識の結果

を決定論的に用いるのではなく，連続 MWE 認識のエンコーダーからの出力を依存構造解析のエンコーダーの入力特徴量として利用している. このため, 階層的マルチタスク学習モデルは,連続 MWE 認識で生じたエラーの影響が上位の依存構造解析に及びにくいという特徴を持っており，上記の実験結果は，この考察と符合している。また, HMTL (continuous MWE + parser) は Single task (parser) とほぼ同等の UAS およびLASを示している。前者が後者よりも高い連続 MWE 認識精度を示している点を考慮すると，連続 MWE 認識と依存構造解析の階層的マルチタスク学習が効果的に機能していると言える。各手法の性能差をさらに詳細に比較するために, 正解 MWE の先頭単語に関する依存構造解析の精度を, 連続 MWE の全体品詞別に計算した結果を表 6 に示す.この表を見ると, 複合前置詞または複合従属接続詞 (MWE-IN) の先頭単語を子に持つ係り受けエッジの推定については，連続 MWE 認識を含む階層的マルチタスク学習モデルが効果的である事がわかる。一方，複合副詞 (MWE-RB) の先頭単語については, Single task (parser) が最も高いUAS を示しており，VMWE 認識を含む階層的マルチタスク学習モデル群を少なくとも 4.8 ポイント上回っている.

最後にVMWE 認識については，連続MWE 認識タスクおよび連続MWE を考慮した依存構造解析の双方と組み合わせた HMTL を行うことで，FUM が約 1.3 ポイント向上した。連続 MWE の範囲は Head-initial な依存構造木の内部に表現されているため, HMTL (parser + VMWE) と HMTL (continuous MWE + parser + VMWE) とで，モデルに与えている教師情報は同一である. それにも関わらず，VMWE 認識の FUM で約 1.0 ポイントの差が見られたという結果は,間接的に連続 MWE 認識を行う依存構造解析タスクの学習で得られる特徴量だけでなく, 系列ラベリングとして定式化した連続 MWE 認識タスクの学習によって得られる特徴量も与えた方

表 6 連続 MWE の全体品詞別に見た，正解MWE の先頭単語に関する依存構造解析のテストセットでの精度

 & 77.42 & 68.60 & 85.99 & 78.68 & 98.89 & 90.00 & 83.64 & 69.09 \\

全体品詞が PRP（人称代名詞）のケース（出現数：5）については全手法の UAS，LASが $100 \%$ のため,省略している。

が VMWE 認識にとって有利であることを示唆している。また， HMTL (continuous MWE + VMWE) よりも HMTL (continuous MWE + parser + VMWE) の方がFUM で約 2.5 ポイント上回っているという結果は, 依存構造解析器が捉えた構文情報が VMWE 認識にとって有効に働いていることを示唆している。

## 5 関連研究

まず，MWEを考慮した統語構造コーパスについて述べる。フランス語MWEを考慮した依存構造解析 (Candito and Constant 2014) では, French Treebank (Abeillé, Clément, and Toussenel 2003) を依存構造コーパスに変換したデータセットがよく用いられている。一方，英語 MWE を考慮した依存構造解析に利用できるデータセットは限られている. Schneider et al. (2014)は English Web Treebank (Bies, Mott, Warner, and Kulick 2012) 上にMWEアノテーションを行っているが，MWEの範囲が句構造の部分木に一致することは保証されていない. また, 彼らのコーパスは全体で約 3,800 文と, 依存構造解析の学習データとしては大規模とは言えない.これに対して本研究で構築したコーパスは, Ontonotes 5.0の WSJ 部分全体（約 37,000 文）をカバーし, かつ, MWEアノテーションが句構造の部分木に一致することを保証している ( 2.3 節).

次に，MWE を考慮した統語解析についての関連研究を紹介する。まず Green, de Marneffe， and Manning (2013)は，MWE 専用の非終端記号を用いることによって，句構造解析の中で連続 MWE 認識を行う手法を提案している。彼らは文脈自由文法もしくは木置換文法に基づく手法を検討している。次に Candito and Constant (2014)は，依存構造とフランス語 MWE の双方を推定するタスクに取り組んでいる。彼女らは，統語的な特異性を持たない（統語的に正則な） MWE については, head-initial な依存構造（3.1 章）ではなく，MWE 内部の統語構造を捉えたデータ表現を採用しており，解析時には，統語的に正則な MWE の内部構造も予測するモデルを検討している．彼女らの手法では，MWE 認識は依存構造解析の前後，もしくは同時に行われる. 第三に Constant and Nivre (2016)は, 依存構造と，MWE を含む語彙的な単位 (lexical unit) の集合との同時予測に取り組んでいる。これら 2 つ構造は語彙要素 (lexical element), 即ち, トークンまたは統語的に非構成的な MWE を共有している. Lexical unitでは, 各 MWE は句構造に類似した木として表現されるため，ネストや非連続な出現を考慮することができる．彼らは通常の依存構造解析器を拡張した遷移ベースのシステムを用いており，スタックとバッファ上のノードの, 表層形や品詞夕グの組み合わせ，および，構築中の部分木や遷移履歴など。古典的な遷移ベースの依存構造解析で用いられている素性を採用している。 Constant and Nivre (2016) が統語的に非構成的な MWEを考慮した依存構造と, lexical unitsの同時予測を取り扱っているのに対し, 本研究は, 連続 MWE を統語的な単位とする依存構造と, 非連続な出現を持ちうる VMWE との同時予測に取り組んでいる。本研究では意味理解が必要なタスクで利用し

やすい依存構造を提供するために，統語的に非構成的な MWEに限らず，広範囲の連続 MWE を依存構造に統合している。第四に Kato, Shindo, and Matsumoto (2017), Kato et al. (2016) は，英語の Ontonotes 上で複合機能語と固有表現の範囲が句構造の部分木と一致することを保証したコーパスを構築し, 複合機能語と固有表現を考慮した依存構造解析の実験に利用している。モデルとしては (1) 連続 MWE 認識と依存構造解析のパイプライン, (2) head-initial な依存構造を単語ベースの依存構造解析器で推定するモデルの 2 つの手法を検討している。 Kato et al. (2017)は，連続 MWE 認識を系列ラベリングとして定式化し, Conditional Random Fields (CRF) (Lafferty, McCallum, and Pereira 2001) を用いている.また, 依存構造解析器としては, Arc-eager 型の遷移システム (Nivre 2003)を用いている. 本研究は Kato et al. (2017) を基礎としているが，より広範囲の MWE をカバーするために，新たに形容詞 MWE を注釈し， Kato et al. (2017) とは異なり，ニューラルネットワークベースのモデル群を検討している。また連続 MWEだけでなく，非連続な出現を持ちうるVMWEの認識にも取り組んでいる.

最後にVMWE が注釈された言語資源について述べる。近年, VMWE 認識のシェアードタスクが PARSEME9によって開催されており (Ramisch and Cordeiro 2018; Savary and Ramisch 2017), アノテーションガイドラインと, 約 20 言語に対する 79,326 事例のVMWEアノテーションが提供されている。このシェアードタスクに取り組んでいる関連研究としては Klyueva, Doucet, and Straka (2017), Berk, Erden, and Güngör (2018) が挙げられる.まず Klyueva et al. (2017) は VMWE 認識を系列ラベリングとして定式化し, 双方向 GRU (gated-recurrent unit)(Cho, van Merrienboer, Bahdanau, and Bengio 2014)を用いて解析を行っている。また, Berk et al. (2018) は本研究と同じく biLSTM-CRF モデルを用いている.

## 6 結論

本研究では, 複合機能語と形容詞 MWE の双方を考慮した依存構造コーパスを Ontonotes 上に構築した。また，連続MWEを考慮した依存構造とVMWEの双方を予測する問題に取り組んた．連続MWEを考慮した依存構造解析では以下の 3 つのモデルを検討した：(a) 連続 MWE 認識と連続 MWE を考慮した依存構造解析のパイプライン，(b) 連続 MWEの範囲と全体品詞を依存関係ラベルとして符号化した, 単語ベースの依存構造解析 (Single-task(parser)), そして (c) 連続 MWE 認識と Single-task (parser) の階層的マルチタスク学習モデル (HMTL) である.実験の結果, 連続 MWE 認識ではパイプラインモデルと HMTL ゙ースのモデルがほぼ同等の F 值を示し, Single-task (parser) をF 值で約 1.7 ポイント上回った。依存構造解析については, テストセット全体およびMWE を含む文において，各手法はほぼ同等のラべルなし正解率 (UAS)
^{9}$ https://typo.uni-konstanz.de/parseme/
}

を示した，正解のMWE の先頭単語に着目すると，Single-task (parser) および HMTL ベースのモデルがパイプラインモデルをUAS で少なくとも約 1.4 ポイント上回った. VMWE 認識では, 系列ラベリングベースの認識器を, 連続MWE 認識器および連続MWEを考慮した依存構造解析器と階層的マルチタスク学習させることにより， $\mathrm{F}$ 値が約 1.3 ポイント向上した. 今後の課題としては (1) VMWE や，修飾語を取りうる semi-fixed MWE (Constant and Nivre 2016; Morimoto, Yoshimoto, Kato, Shindo, and Matsumoto 2016)の依存構造への統合, (2) 複合助動詞の Ontonotesへのアノテーションおよび依存構造への統合が挙げられる.

## 謝 辞

本研究の一部は JST CREST (課題番号: JPMJCR1513)の支援を受けて行いました. また, 有益なコメントをくださった査読者の皆様に感謝いたします. 英文校正に関し, Enago (www.enago.jp)社に感謝いたします。

## 参考文献

Abeillé, A., Clément, L., and Toussenel, F. (2003). Building a Treebank for French, pp. 165-187. Springer Netherlands, Dordrecht.

Berend, G. (2011). "Opinion Expression Mining by Exploiting Keyphrase Extraction." In IJCNLP, pp. 1162-1170. Asian Federation of Natural Language Processing.

Berk, G., Erden, B., and Güngör, T. (2018). "Deep-BGT at PARSEME Shared Task 2018: Bidirectional LSTM-CRF Model for Verbal Multiword Expression Identification." In Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pp. 248-253, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Bies, A., Mott, J., Warner, C., and Kulick, S. (2012). "English Web Treebank." Technical Report LDC2012T13, Linguistic Data Consortium, Philadelphia, Pennsylvania, USA.

Björne, J., Ginter, F., and Salakoski, T. (2017). "EPE 2017: The Biomedical Event Extraction Downstream Application." In Proceedings of the 2017 Shared Task on Extrinsic Parser Evaluation (EPE 2017) at the Fourth International Conference on Dependency Linguistics (Depling 2017) and the 15th International Conference on Parsing Technologies (IWPT 2017), pp. 17-24. Association for Computational Linguistics.

Candito, M. and Constant, M. (2014). "Strategies for Contiguous Multiword Expression Analysis and Dependency Parsing." In Proceedings of the 52nd Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers), pp. 743-753. Association for Computational Linguistics.

Chelba, C., Mikolov, T., Schuster, M., Ge, Q., Brants, T., and Koehn, P. (2014). "One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling." In INTERSPEECH, pp. 2635-2639.

Cho, K., van Merrienboer, B., Bahdanau, D., and Bengio, Y. (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches." In SSST@EMNLP, pp. 103-111.

Constant, M. and Nivre, J. (2016). "A Transition-Based System for Joint Lexical and Syntactic Analysis." In Proceedings of ACL, pp. 161-171. Association for Computational Linguistics.

Dozat, T. and Manning, C. D. (2017). "Deep Biaffine Attention for Neural Dependency Parsing." ArXiv, abs/1611.01734.

Finkel, R. J. and Manning, D. C. (2009). "Joint Parsing and Named Entity Recognition." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 326-334. Association for Computational Linguistics.

Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N. F., Peters, M., Schmitz, M., and Zettlemoyer, L. S. (2017). "AllenNLP: A Deep Semantic Natural Language Processing Platform." In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6. Green, S., de Marneffe, M.-C., and Manning, C. D. (2013). "Parsing Models for Identifying Multiword Expressions." Computational Linguistics, 39 (1), pp. 195-227.

Kato, A., Shindo, H., and Matsumoto, Y. (2016). "Construction of an English Dependency Corpus Incorporating Compound Function Words." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC '16), pp. 1667-1671.

Kato, A., Shindo, H., and Matsumoto, Y. (2017). "English Multiword Expression-aware Dependency Parsing Including Named Entities." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 427-432, Vancouver, Canada. Association for Computational Linguistics.

Kato, A., Shindo, H., and Matsumoto, Y. (2018). "Construction of Large-scale English Verbal Multiword Expression Annotated Corpus." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 2495-2499, Miyazaki, Japan. European Language Resources Association (ELRA).

Kim, Y., Jernite, Y., Sontag, D. A., and Rush, A. M. (2016). "Character-Aware Neural Language Models." In $A A A I$, pp. 2741-2749.

Klyueva, N., Doucet, A., and Straka, M. (2017). "Neural Networks for Multi-Word Expression

Detection." In Proceedings of the 13th Workshop on Multiword Expressions (MWE 2017), pp. 60-65, Valencia, Spain. Association for Computational Linguistics.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields:

Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning, ICML '01, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Leevy, J. L., Khoshgoftaar, T. M., Bauder, R. A., and Seliya, N. (2018). "A Survey on Addressing High-class Imbalance in Big Data." Journal of Big Data, 5, pp. 1-30.

Li, Q., Ji, H., and Huang, L. (2013). "Joint Event Extraction via Structured Prediction with Global Features." In $A C L$, pp. 73-82.

Ma, X. and Hovy, E. H. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." ArXiv, abs/1603.01354.

Marcus, M., Kim, G., Marcinkiewicz, M. A., MacIntyre, R., Bies, A., Ferguson, M., Katz, K., and Schasberger, B. (1994). "The Penn Treebank: Annotating Predicate Argument Structure." In Proceedings of the Workshop on Human Language Technology, HLT '94, pp. 114-119, Stroudsburg, PA, USA. Association for Computational Linguistics.

Marneffe, M.-C. and Manning, D. C. (2008). "The Stanford Typed Dependencies Representation." In Coling: Proceedings of the Workshop on Cross-Framework and Cross-Domain Parser Evaluation, pp. 1-8.

Morimoto, A., Yoshimoto, A., Kato, A., Shindo, H., and Matsumoto, Y. (2016). "Identification of Flexible Multiword Expressions with the Help of Dependency Structure Annotation." In Proceedings of the Workshop on Grammar and Lexicon: Interactions and Interfaces (GramLex), pp. 102-109, Osaka, Japan. The COLING 2016 Organizing Committee.

Newman, D., Koilada, N., Lau, H. J., and Baldwin, T. (2012). "Bayesian Text Segmentation for Index Term Identification and Keyphrase Extraction." In COLING, pp. 2077-2092.

Nivre, J. (2003). "An Efficient Algorithm for Projective Dependency Parsing." In Proceedings of the 8th International Conference on Parsing Technologies, pp. 149-160, Nancy, France.

Pennington, J., Socher, R., and Manning, C. (2014). "Glove: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar. Association for Computational Linguistics.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. S. (2018). "Deep Contextualized Word Representations." In NAACL-HLT, pp. 2227-2237.

Pradhan, S. S., Hovy, E., Marcus, M., Palmer, M., Ramshaw, L., and Weischedel, R. (2007).

"OntoNotes: A Unified Relational Semantic Representation." In Proceedings of the International Conference on Semantic Computing, ICSC '07, pp. 517-526, Washington, DC, USA. IEEE Computer Society.

Prechelt, L. (1998). "Early Stopping-But When?" In Neural Networks: Tricks of the Trade, This Book is an Outgrowth of a 1996 NIPS Workshop, pp. 55-69, London, UK, UK. SpringerVerlag.

Ramisch, C. and Cordeiro, S. R. (2018). "Edition 1.1 of the PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions." In Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pp. 222-240, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Sag, I. A., Baldwin, T., Bond, F., Copestake, A. A., and Flickinger, D. (2002). "Multiword Expressions: A Pain in the Neck for NLP." In Proceedings of the 3rd International Conference on Computational Linguistics and Intelligent Text Processing, CICLing, pp. 1-15, London, UK, UK. Springer-Verlag.

Sanh, V., Wolf, T., and Ruder, S. (2018). "A Hierarchical Multi-task Approach for Learning Embeddings from Semantic Tasks." ArXiv, abs/1811.06031.

Savary, A. and Ramisch, C. (2017). "The PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions." In Proceedings of the 13th Workshop on Multiword Expressions (MWE 2017), pp. 31-47, Valencia, Spain. Association for Computational Linguistics.

Schneider, N., Onuffer, S., Kazour, N., Danchik, E., Mordowanec, M. T., Conrad, H., and Smith, N. A. (2014). "Comprehensive Annotation of Multiword Expressions in a Social Web Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC), pp. 455-461, Reykjavik, Iceland. European Language Resources Association (ELRA).

Shigeto, Y., Azuma, A., Hisamoto, S., Kondo, S., Kose, T., Sakaguchi, K., Yoshimoto, A., Yung, F., and Matsumoto, Y. (2013). "Construction of English MWE Dictionary and its Application to POS Tagging." In Proceedings of the 9th Workshop on Multiword Expressions, pp. 139-144, Atlanta, Georgia, USA. Association for Computational Linguistics.

## 略歴

加藤明彦：2002 年, 東京大学理学部物理学科卒業. 2004 年, 同大学院理学系研究科物理学専攻修士課程修了. 同年, (株) システム計画研究所入社. 2016 年, 奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同大学院先端科学技術研究科情報科学領域博士後期課程在学中.
進藤裕之：2009 年, 早稲田大学先進理工学研究科博士前期課程修了. 同年, NTTコミュニケーション科学基礎研究所入所. 2013 年, 奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2014 年より現在まで，奈良先端科学技術大学院大学先端科学技術研究科助教. これまで, 主に自然言語処理や機械学習の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

松本裕治：1977 年, 京都大学工学部情報工学科卒. 1979 年, 同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年, 英国インペリアルカレッジ客員研究員. 1985 87 年, (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る。2016 年 9 月より理研 AIP 知識獲得チーム PI 兼務. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 多義語分散表現の文脈化
## 芦原 和樹 $\dagger$ ・梶原 智之 $\dagger \dagger$ ・荒瀬 由紀 $\dagger$ ・内田 諭 ${ ^{+\dagger}$}

近年，多くの自然言語処理タスクにおいて単語分散表現が利用されている。しかし，各単語に 1 つの分散表現を生成するアプローチでは, 多義語における各語義が一つの分散表現に集約されてしまい，それらを区別することができない，そのため，先行研究では品詞やトピックごとに異なる分散表現を生成するが, 語義を区別するには粒度が粗いという課題がある。そこで, 本研究では各単語に対してより粒度の細かい複数の分散表現を生成するための 2 つの手法を提案する. 1 つ目は, 依存関係にある単語を手がかりとして，予め複数の分散表現を生成しておく手法である． 2 つ目は, 文脈中の全ての単語を考慮して語義に対応する分散表現を動的に生成する双方向言語モデルを利用する手法である．単語間の意味的類似度推定タスクおよび語彙的換言タスクにおける評価実験の結果, より細かい粒度で分散表現を生成する提案手法が先行研究よりも高い性能を発揮することを示した. キーワード：単語分散表現，多義性，語彙的換言，意味的類似度推定

## Contextualized Multi-Sense Word Embedding

\author{
Kazuki Ashihara $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger \dagger}$, Yuki Arase ${ }^{\dagger}$ and Satoru Uchida ${ }^{\dagger \dagger \dagger}$
}

Currently, distributed word representations are employed in many natural language processing tasks. However, when generating one representation for each word, the meanings of a polysemous word cannot be differentiated because the meanings are integrated into one representation. Therefore, several attempts have been made to generate different representations per meaning based on parts of speech or the topic of a sentence. However, these methods are too unrefined to deal with polysemy. In this paper, we proposed two methods to generate more subtle multiple word representations. The first method involves generating multiple word representations using the word in a dependency relationship as a clue. The second approach involves employing a bi-directional language model in which a word representation that considers all the words in the context is generated. The results of the extensive evaluation of the Lexical Substitution task and Context-Aware Word Similarity task confirmed the effectiveness of our approaches to generate more subtle multiple word representations.

Key Words: Word Embedding, Polysemy, Lexical Substitution, Word Similarity

## 1 はじめに

単語を密ベクトルで表現する単語分散表現 (Mikolov, Chen, Corrado, and Dean 2013a, 2013b; Pennington, Socher, and Manning 2014; Levy and Goldberg 2014; Bojanowski, Grave, Joulin, and Mikolov 2017) が，機械翻訳 (Sutskever, Vinyals, and Le 2014), 文書分類 (Mikolov and Com 2014) および語彙的換言 (Melamud, Levy, and Dagan 2015)など多くの自然言語処理応用タスクにおける性能改善に大きく貢献してきた．単語分散表現は今やこれら応用タスクの基盤となっており，その性能改善は重要な課題である。広く利用されている CBOW (Continuous Bag-of-Words) (Mikolov et al. 2013b) や SGNS (Skip-gram with Negative Sampling) (Mikolov et al. 2013a)などの手法では各単語に対して1つの分散表現を生成するが，Li and Jurafsky (2015) によって，語義ごとに分散表現を生成することで多くの応用タスクの性能改善に貢献することが示されている.そこで, 本研究では各単語に複数の語義の分散表現を割り当てる手法を提案する.

文脈に応じて分散表現を使い分けるために，多義語に複数の分散表現を割り当てる手法 (Neelakantan, Shankar, Passos, and McCallum 2014; Paetzold and Specia 2016; Fadaee, Bisazza, and Monz 2017; Athiwaratkun and Wilson 2017) が提案されている. しかし, 語義曖昧性解消はそれ自体が難しいタスクであるため，これらの先行研究では近似的なアプローチを用いている. 例えば，Paetzold and Specia (2016) は品詞ごとに, Fadaee ら (2017) はトピックごとに異なる分散表現を生成するが，これらの手法には多義性を扱う粒度が粗いという課題がある。以下の例では, いずれの文もトピックは foodであり, 単語 soft の品詞は形容詞である.

例 1) I ate a soft candy.

例 2) I drunk soft drinks.

先行研究ではこれらの単語 soft を同じ分散表現で表す. しかし, 例 1) の単語 soft は tender という意味を，例 2)の soft は non-alcoholic という意味を表すため，これらに同一の分散表現を生成するのは適切ではない。このような品詞やトピックでは区別できない多義性を考慮するために，各単語により細かい粒度で複数の分散表現を割り当てることが望ましい.

そこで本研究では，文脈中の単語を手がかりとして，先行研究よりも細かい粒度で各単語に複数の分散表現を割り当てる 2 つの手法を提案する。1つ目の手法は, 文脈中の代表的な 1 単語を考慮して語義の分散表現を生成する手法である。この手法では語義を区別する手がかりとして，各単語と依存関係にある単語を用いる，2つ目の手法は，文脈中の全ての単語を考慮して語義の分散表現を生成する手法である。この手法では双方向 LSTM (Long Short-Term Memory) を用いて文中に出現する全ての単語を同時に考慮する。どちらの手法も教師なし学習に基づいており，訓練データが不要という利点がある。

提案手法の有効性を評価するため, 多義性を考慮する分散表現が特に重要な, 文脈中での単語間の意味的類似度推定タスク (Huang, Socher, Manning, and Ng 2012) および語彙的換言タスク

(McCarthy and Navigli 2007; Kremer, Erk, Padó, and Thater 2014; Ashihara, Kajiwara, Arase, and Uchida 2019) において実験を行った．評価の結果，提案手法は先行研究 (Neelakantan et al. 2014; Paetzold and Specia 2016; Fadaee et al. 2017) よりも高い性能を発揮し，より細かい粒度で分散表現を生成することが応用タスクでの性能向上に繋がることが示された。また，詳細な分析の結果，文脈中の代表的な 1 単語を考慮して語義の分散表現を生成する手法は文長に影響を受けにくいため，文が長い場合に，文脈中の全ての単語を考慮して語義の分散表現を生成する手法よりも高い性能を示すことが確認できた.

## 2 関連研究

Li and Jurafsky (2015) は，各単語に複数の分散表現を与えることが，品詞付与や文の意味的類似度推定など多くの応用タスクの性能改善に貢献することを示した.このような各単語に複数の分散表現を与える先行研究は，予め複数の分散表現を生成する手法と文脈から動的に分散表現を生成する手法に大別できる。

予め各単語に複数の分散表現を生成する手法として, 以下に示す先行研究がある. Athiwaratkun and Wilson (2017) は, 全ての単語が定数個の語義を持つと仮定し, 各単語に複数の分散表現を生成した. 彼らは語義数として 2 または 3 を仮定しているが，現実的には語義数は単語ごとに大きく異なる. Neelakantan ら (2014) は文脈の類似度に基づいて語義に相当するクラスタリングを行い，各単語に対してクラスタごとに分散表現を生成した。しかし，語義曖昧性解消はそれ自体が難しいタスクであり，クラスタリングの性能が分散表現学習の性能に影響を与えてしまう. Paetzold and Specia (2016)は，各単語に対して品詞ごとに分散表現を生成した. 品詞付与は解析誤りの影響が小さいという利点を持つが, 先述の例 1) と例 2) のように同じ品詞の中でも更に多義性を持つ単語が存在する. Fadaeeら (2017) は, 各単語に対してトピックごとに分散表現を生成した。トピックは品詞よりも細かい粒度で語義を区別できるが，例 1) と例 2)のように更に細かい粒度で語義を区別することが望まれる場合がある。

文脈から各単語の分散表現を動的に生成するモデルとして, Melamud, Goldberger, and Dagan (2016) は context2vecを提案した. context2vecでは, word2vecの CBOWアルゴリズム (Mikolov et al. 2013b) と同様に単語ベクトルと文脈ベクトルを近づける学習を行うが，空幅を設けず双方向 LSTM によって文全体を符号化する。また, 単語べクトルと文脈ベクトルが同じ空間に埋め込まれるため，単語-単語間，文脈-文脈間，単語-文脈間のそれぞれで余弦類似度による意味的類似度の計算ができる。このモデルは語彙的換言タスクで高い性能を示しているが，最適なハイパーパラメータの決定のためにラベル付きデータが必要となる. 我々の提案手法はラベル

付きデータセットを一切使用しない教師なし学習であるため，本稿における評価実験においては context2vec を比較対象としないこととする。深層学習に基づく自然言語処理では，LSTM

などの Recurrent Neural Networkを用いてタスクに応じて入力文を符号化することが多い. 特に, ELMo (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018)は, 大規模コー パスを用いた双方向言語モデルの訓練によって，固有表現抽出など多くの応用タスクにおいて有用な文脈化された単語分散表現を獲得することに成功している。一般的に ELMo は，任意の応用タスクにおける再訓練を経て, タスクに特化した単語分散表現 1 を生成する. 本研究では, ELMoを意味的類似度推定タスクおよび語彙的換言タスクに適用する．教師なし学習による設定で実験を行うため, ELMoの文脈化された単語分散表現は再訓練しないものとする。

多義性を考慮する分散表現の評価のために，多くの先行研究 (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) で文脈中での単語間の意味的類似度推定タスクおよび語彙的換言タスクが採用されている。文脈中での単語間の意味的類似度推定タスクは，与えられた 2 つの文脈中の単語対の類似度を推定するタスクである。語彙的換言タスクは, 文脈, ターゲット単語,言い換え候補が与えられ，言い換え候補を文脈中のターゲット単語との置換可能性の観点からランキングするタスクである。どちらのタスクも文脈中での単語の意味を考慮することが重要である. 我々も先行研究に従い，提案手法の有効性を両タスクを用いて評価する。本研究では扱わないが，多義性を考慮する分散表現が重要なタスクとして，WiC (Pilehvar and Camacho-collados 2019) が新たに提案された， WiCでは，同一のターゲット単語を含む 2 つの文脈が与えられる. このタスクの目的は，与えられた文脈中のターゲット単語が同じ意味で使用されているか否かを 2 值分類することである。このタスクは，文脈中の単語間の意味を推定するという点で，文脈中での単語間の意味的類似度推定タスクと関連が深い。しかし， $\mathrm{WiC}$ は分類問題であるのに対して, 文脈中での単語間の意味的類似度推定タスクは回帰問題であるという違いがある。また, WiCではターゲット単語対が同一単語であるのに対し，SCWS では異なるターゲット対が含まれているという差異もあり，タスクの性質は大きく異なっている.

## 3 提案手法

本研究では, 所与の文脈を手がかりとして, 各単語に品詞 (Paetzold and Specia 2016) やトピック (Fadaee et al. 2017)よりも細かい粒度で複数の分散表現を生成する 2 つの手法を提案する.まず 3.1 節では, 文脈中の代表的な 1 単語を手がかりとして用いる. 我々は依存構造に着目し, ターゲット単語と依存関係にある単語を用いて文脈化された単語分散表現を得る。次に 3.2 節では，文脈中の全ての単語を手がかりとして用いる，我々は双方向言語モデルに着目し，双方向 LSTM のターゲット単語に対応する隠れ層を用いて文脈化された単語分散表現を得る。本研究では得られた単語分散表現を意味的類似度推定タスクおよび語彙的換言タスクに適用する.
^{1}$ ELMo によって得られる単語分散表現は応用タスクにおける埋め込み層や隠れ層と連結して使用する.
}

## 3.1 DMSE: 依存構造に基づく単語分散表現の文脈化

語義を区別して各単語に複数の分散表現を割り当てるために，ターゲット単語と依存関係にある単語 (context-word) に注目するDMSE (Dependency-based Multi-Sense Embedding)を提案する. ここで, context-word は意味表現においてより有効と考えられる内容語 (名詞, 動詞,形容詞, 副詞）に限定する。各単語 $w_{i}$ は context-word の集合 $C$ の要素ごとに異なる意味を持つと仮定し， $w_{i}$ に対して $|C|$ だけ分散表現を生成する。ここで, context-word の数 $|C|$ は語義数よりも多くなる，例えば，単語 softについて， cheeseを context-word に持つ soft_cheese と candy を context-word に持つ soft_candyが同じtender という意味を表す分散表現として生成される。しかし, DMSEでは各分散表現は互いに干渉しないと仮定し, 独立して学習および使用する。図 1 の例では, softの context-wordとして candy, drinkおよびironがある。本手法では soft_candy や soft_drinkのように context-wordごとに分散表現を学習する.

Algorithm 1 にDMSEの疑似コードを示す。まず，学習データ $S^{2}$ に含まれる各文 $s$ について，依存構造解析によって依存関係 $D$ を得る次に, 各単語 $w_{i} \in s$ について $\operatorname{Get} \operatorname{ContExTWORD}\left(w_{i}, D\right)$ によって context-word の集合 $C$ を獲得する。 そして, 単語 $w_{i}$ と context-word $c \in C$ を連結し,文脈化された単語 $w_{i, c}$ とする．最後に， $w_{i}$ の前後 $H$ 単語の左文脈 $l_{c}$ および右文脈 $r_{c}$ とともに

事前学習

事後学習

図 1 提案手法の概要: 事前学習と事後学習の 2 段階に分かれている. 図中の tender およびnon-alcoholic は説明のための例であり，実際のベクトル空間上の点とは異なる.

図 2 複数回に分けた学習手法の概要

$w_{i, c}$ を $\operatorname{CBOw}\left(w_{i, c}, l_{c}, r_{c}\right)$ へ入力 ${ }^{3}$ し, $\mathrm{CBOW}$ のアルゴリズムを用いて文脈化された単語の分散表現 $v_{w_{i, c}}$ を訓練する。ここで， $H$ は CBOWにおける窓幅である.

本手法では，ターゲット単語とその context-word の対ごとに分散表現を学習するため, 学習コーパスのサイズによっては学習時に文脈化された単語の分散表現を GPU メモリにロードできない可能性 ${ }^{4}$ がある。そこで我々は, 事前学習および事後学習の 2 段階の学習によって, これに対処する。
$ おび $r_{c}$ として用いる.

4 本実験で使用したコーパスの場合, ターゲット単語の語彙サイズは約 11.2 万語であった. それに対して, 文脈化された単語の語彙サイズは約 1.12 億個であった。文脈化された各単語を 32 bit の float 型による 300 次元べクトルで表した場合，約 134GB の GPU メモリが必要となり，全てを一度に GPU メモリにロードするのは現状の GPU 性能では現実的ではない.
}

まず事前学習では, context-word を考慮せず CBOW モデルを学習し, 各単語 $w_{i}$ の分散表現 $v_{i}$ を得る。次に事後学習では, 事前学習した $v_{i}$ を初期値として, 同じく CBOW のアルゴリズムによって文脈化された各単語 $w_{i, c}$ の分散表現 $v_{w_{i, c}}$ を学習する. CBOWでは文脈化された単語の分散表現のみを更新するので，GPUメモリにロードするのは更新されない文脈単語 $w_{j} \in l_{c} \cup r_{c}$ の分散表現 $v_{j}$ と文脈化された単語の分散表現 $v_{w_{i, c}}$ のみである. そのため, この事後学習は GPU のメモリサイズに合わせて複数回に分けて実施 ${ }^{5}$ できる。例えば，図 2 に示すように，事前学習した分散表現を元に，事後学習 (1)では soft_candy およびsoft_ironを，事後学習 (2)では soft_drinkを，それぞれ学習できる。事後学習で変化するのは文脈化された単語に対応する分散表現のみであるため, 事後学習 (1) で得られた soft_candy およびsoft_iron と, 事後学習 (2) で得られたsoft_drinkを統合し，それぞれ学習済分散表現として利用できる。

## 3.2 ECWR: 双方向言語モデルを利用した単語分散表現の文脈化

単語分散表現を文脈化するもう一つのアプローチとして, 所与の文脈全体を考慮し各単語の語義の分散表現を生成する，我々は ELMo (Peters et al. 2018) を用いて, 所与の文脈全体を考慮した各単語の語義の分散表現を生成する ECWR (ELMo-based Contextualized Word Representations) を提案する. Peters ら (2018) に従い， $i$ 番目の単語の文脈化された分散表現として $i$ 番目の隠れ層の出力を用いる，図 3 に示すように，ELMoは 2 層の双方向言語モデルに基づき, First Layer, Second Layer, Third Layer の 3 つの層から構成されている. 我々は, これら 3 層から得られる分散表現を，文脈を考慮した分散表現として利用する，ECWRでは，各単語の語義の分散表現として，これらの各層から得られる 3 種類の分散表現を連結 ${ }^{6}$ て用いる．ECWRからは，各

図 3 ELMo のモデル図

単語に対して文脈ごとに異なる分散表現が生成され, 先行研究に比べて細かい粒度で分散表現を割り当てることが可能となる。

Pilehvar and Camacho-collados (2019) も同様に，ELMo から得られる分散表現を文脈を考慮した分散表現として利用している。彼らは ELMo から得られる 3 つの分散表現の加重合計を用いているが，本研究では 3 つの分散表現を連結して使用する.

## 4 実験設定

提案手法の有効性を検証するために，文脈中での単語間の意味的類似度推定タスク (Huang et al. 2012) および語彙的換言タスク (McCarthy and Navigli 2007; Kremer et al. 2014; Ashihara et al. 2019) で実験を行う．いずれのタスクも所与の文脈における語義を考慮する必要があり,多義性を考慮した分散表現が重要となる。

## 4.1 比較手法

本実験では，各単語に対して1つあるいは複数の分散表現を生成する以下の手法を，提案手法である DMSE および ECWR と比較する.

## CBOW (Mikolov et al. 2013b)

CBOW のアルゴリズムを用いて各単語に 1 つの分散表現を生成する.

## SGNS (Mikolov et al. 2013a)

SGNS のアルゴリズムを用いて各単語に 1 つの分散表現を生成する.

## MSSG (Neelakantan et al. 2014)

文脈の類似度に基づくクラスタリングによって各単語に複数の分散表現を生成する。

## POS (Paetzold and Specia 2016)

各単語に品詞ごとの分散表現を生成する.

## TOPIC (Fadaee et al. 2017)

各単語にトピックごとの分散表現を生成する。

$C B O W$ および $S G N S$ は各単語に唯一の分散表現を生成するべースラインである．DMSEのバリエーションとして, Paetzold and Specia (2016) から着想を得て, 各単語と context-word $の$ 品詞も用いる DMSE+POS も実装し, 比較評価を行う。例えば, 単語 soft (adjective)の context-word が candy (noun)の場合, DMSE+POSでは soft_adjective_candy_nounの分散表現を生成する.

## 4.2 分散表現の学習

各モデルを学習するために, English Wikipedia ${ }^{7}$ の本文約 1 億文（累計約 22 億単語）を利用する.これらの文は, Stanford Parser (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky 2014)によって形態素解析し, 各単語を原形にする。ここで, CBOW の学習時間を考慮して本実験では出現頻度 200 以下の低頻度語を $\langle u n k\rangle$ タグに置換し，112,087 語のみを利用する.

$D M S E$ モデルを訓練するために，さらにStanford Parser を用いて依存構造解析を行い，各単語の context-word を特定する。DMSEの事前学習および事後学習においては, CBOW (Mikolov et al. 2013b) のアルゴリズムを用いてエポック数 20 , 空幅 5 で 300 次元の分散表現を得る.

$E C W R$ も同様に前処理された English Wikipedia 上で我々が訓練する。また, 実験結果の再現性のため公開されている学習済みモデル8の性能も報告する，以降, 前者を ECWR (Wikipedia),後者を $E C W R(1 B W B)$ と表記する。両モデルとも，各層から得た 1,024 次元の分散表現を連結し, 3,072 次元の分散表現として利用する.

ベースラインモデルのうち， $C B O W$ および $P O S$ は English Wikipedia 上で我々が訓練する. これらはそれぞれ，DMSEおよび DMSE+POSの事前学習に対応する．SGNS，MSSGおよび TOPIC は Fadaee ら (2017)によって English Wikipedia 上で学習されたモデルを利用する。これらのベースラインモデルでは，いずれも 300 次元の分散表現を利用する.

## 5 文脈中での単語間の意味的類似度推定タスク

本実験では, Stanford Contextual Word Similarity (SCWS) のデータセット9 (Huang et al. 2012)を利用する。このデータセットでは，2つのターゲット単語（ターゲット単語対）とそれらの出現する文脈 (前後 50 単語) が与えられる. タスクは, 所与の文脈中でのターゲット単語間の意味的類似度を推定することである．SCWSデータセットは， Amazon Mechanical Turkを用いてアノテータを採用し，2,003 組のターゲット単語対のそれぞれに類似度を付与している。 アノテータは与えられた 2 つの文脈中のターゲット単語対が意味的にどの程度似ているかについて，0から 10 の 11 段階でスコアを付与する。各ターゲット単語対に対して 10 人がスコアを付与し，その平均値を単語間の意味的類似度とする。表 1 に意味的類似度推定タスクの一例を示す. この例では, 文脈 1 中のターゲット単語 credit と文脈 2 中のターゲット単語 money の類似度を推定する．特定の文脈において意味的に近い単語対や，逆に特定の文脈において意味的に遠い単語対が含まれるため, このタスクでは単語の多義性を考慮して類似度を推定する必要がある.
^{9}$ http://www-nlp.stanford.edu/〜 ehhuang/SCWS.zip
}
表 1 SCWS のデータセット中に含まれる例

文脈 1 ... and infrastructure . In 1955 the Soviet Union forwarded \$ 100 million in credit to Afghanistan, which financed public transportation, airports, a cement factory ,...

文脈 2 ... in payment of debts . Only congress has the authority to coin this money that should be used by the States. The states may no ...

類似度 8.3

与えられた文脈の一部を抜粋. ターゲット単語は bold 体で表示している.

人手で定義された類似度と，システムが推定した類似度は，スピアマンの順位相関係数を用いて評価する。スピアマンの順位相関係数 $r$ は以下の式で定義される (Zwillinger and Kokoska $2000)^{10}$.

$
\begin{aligned}
T_{x} & =\frac{n^{3}-n-\sum_{i=1}^{n_{x}}\left(s_{i}^{3}-s_{i}\right)}{12} \\
T_{y} & =\frac{n^{3}-n-\sum_{i=1}^{n_{y}}\left(t_{i}^{3}-t_{i}\right)}{12} \\
r & =\frac{T_{x}+T_{y}-\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}}{2 \sqrt{T_{x} T_{y}}}
\end{aligned}
$

ここで， $n$ はデー夕数, $x_{i}, y_{i}$ はそれぞれシステムが出力した $i$ 番目の単語対の類似度の順位と, 人手でつけられた $i$ 番目の単語対の類似度の順位である。また， $n_{x}$ および $n_{y}$ はシステムおよび人手の順位付けにおいて存在する同順位の種類数である． $s_{i}, t_{i}$ は同順位について，その順位が持つデータ数である。

## 5.1 意味的類似度の推定

## 5.1.1 DMSE における意味的類似度の推定

まず，ターゲット単語 $w_{t_{1}}$ および $w_{t_{2}}$ の context-word $c_{t_{1}} \in C_{t_{1}}$ および $c_{t_{2}} \in C_{t_{2}}$ を依存構造解析によって抽出する。次に，各ターゲット単語とその context-word から得られる文脈化された単語の分散表現の集合 $V_{t_{1}}$ および $V_{t_{2}}$ を得る。 そして, 以下の 3 つの方法で, 文脈中でのター ゲット単語間の意味的類似度を推定する。

$
\begin{aligned}
S_{\text {avg }} & =\frac{1}{\left|V_{t_{1}}\right|\left|V_{t_{2}}\right|} \sum_{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right) \\
S_{\text {max }} & =\max _{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right) \\
S_{\text {min }} & =\min _{v_{t_{1}} \in V_{t_{1}}, v_{t_{2}} \in V_{t_{2}}} \cos \left(v_{t_{1}}, v_{t_{2}}\right)
\end{aligned}
$

ただし，|$\cdot$|は集合の要素数を， $\cos (\cdot, \cdot)$ は 2 つべ゙クル間の余弦類似度を表す.ここで，各分散表現は正規化されたものを用いる.

$S_{\text {avg }}$ では，それぞれの文脈に出現する全ての context-word を等しく考慮して，所与の文脈中での単語間の意味的類似度を推定する， $S_{\max }$ および $S_{\min }$ では，それぞれの文脈に出現する context-word の重要度は異なると仮定し, 代表的な 1 組のみを考慮して, 所与の文脈中での単語間の意味的類似度を推定する。

ここで, context-word が存在しない場合および文脈化された単語が語彙に存在しない場合, 類似度を計算できない。これらの場合は, 事前学習した $C B O W, P O S$ の分散表現をターゲット単語の分散表現とする。またターゲット単語そのものが語彙に存在しない場合は $\langle u n k\rangle$ の分散表現を用いる。

## 5.1.2 ECWRにおける意味的類似度の推定

ターゲット単語を含む 1 文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する。得られた分散表現間の余弦類似度を, 単語間の意味的類似度とする.

## 5.2 実験結果

表 2 に，モデルが推定した類似度と人手で定義された類似度のスピアマンの順位相関係数を示す. SGNS, MSSG, TOPICの 3 手法については, Fadaee et al. (2017) で報告されているスコアを引用した．表 2 の結果から，DMSE は比較手法と比べて有意に差があるとは言えないが， $E C W R$ はベースラインおよび先行研究の手法と比べて高い性能を示した. これは, 粒度の細か

表 2 SCWS データセットにおけるスピアマンの順位相関係

い分散表現を使用することにより, 各単語の語義をより正確に捉えることができたためである. $D M S E$ と $E C W R$ を比較すると， $E C W R$ がより高い性能を示している。これは, SCWS デー タセット中には escapologist やnutriment, exudation などの, 低頻度語がターゲット単語として出現するためである。本実験で DMSE は，学習デー夕中の頻度 200 回以下の単語を全て $\langle u n k\rangle$ タグに置換したため, 全ターゲットの内，2.8\%の単語はすべて同じ $\langle u n k\rangle$ の分散表現を用いた。一方，ECWRでは，ターゲット単語が語彙内に含まれていない場合でも，文脈情報のみから分散表現を生成できる。そのため，ECWRが高い性能を示したと考えられる。実際， $\langle u n k\rangle$ の分散表現を用いたデータを除いてスピアマンの順位相関係数を調べたところ，DMSE ではそれぞれの類似度推定手法で 0.01 から 0.02 のスコアの増加が見られ，低頻度語の影響が確認されている。よって，低頻度語が多く出現する場合には $D M S E$ よりも $E C W R$ を使用する方が，より正確な分散表現を生成できることがわかる.

## 6 語彙的換言タスク

本実験では，LS-SE および， LS-CIC ${ }^{11}$ (Roller and Erk 2016) および CEFR-LP の 3 つのデー タセットを利用する。これらのデータセットでは， ターゲット単語と文脈に加えて，言い換え候補群が与えられる，タスクは，所与の文脈を考慮しつつ，ターゲット単語との置換可能性の観点から言い換え候補群をランク付けすることである。そのため，このタスクも文脈中での単語の意味を考慮する必要がある.

## LS-SE (McCarthy and Navigli 2007)

SemEval-2007 の Lexical Substitution タスクで用いられたデータセット． 201 種類のター ゲット単語について，それぞれ 10 種類の文脈が与えられている。各ターゲット単語には，5人のアノテータが最大 3 種類ずつの言い換えを文脈を考慮して付与している.

## LS-CIC (Kremer et al. 2014)

Lexical Substitution のための大規模なデータセット. 15,629 語のターゲット単語について，6 人のアノテータが最大 5 種類ずつの言い換えを文脈を考慮して付与している.

## CEFR-LP (Ashihara et al. 2019)

類義語辞書に基づく言い換え候補群を用いる Lexical Substitution のデータセット．893

種類のターゲット単語を持ち, このうち 600 語は 60 種類のターゲット単語について，それぞれ 10 種類の文脈が付与されたものである。各言い換え候補について 4 人のアノテー タが言い換えの可否のスコアを 3 段階で付与している.

先行研究 (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) に従い, 各ターゲッ

ト単語に付与された全ての言い換えの和集合を言い換え候補群として用いる。そのため, これらの候補は少なくともある文脈においてはターゲット単語と意味的および構文的に十分に近い単語であり，モデルは文脈を用いてターゲット単語の語義を区別する必要がある.

人手で定義された言い換えランキングと, システムが推定した言い換えランキングは, Generalized Average Precision (GAP) (Kishida 2005; Thater, Saarlandes, Dinu, Saarlandes, Pinkal, and Saarlandes 2009) を用いて評価する。GAP は語彙的換言タスクで広く用いられる (Melamud et al. 2015; Roller and Erk 2016; Fadaee et al. 2017) 評価尺度であり, 式 (7),(8)のように正解事例の重みを考慮してランキングを評価できる.

$
\begin{aligned}
p_{i} & =\frac{\sum_{k=1}^{i} x_{k}}{i} \\
G A P & =\frac{\sum_{i=1}^{n} I\left(x_{i}\right) p_{i}}{\sum_{i=1}^{n} I\left(y_{i}\right) \overline{y_{i}}} \times 100
\end{aligned}
$

ここで， $x_{i}$ は $i$ 番目にランクされた言い換え候補のスコアを表し， $y_{i}$ は理想的なランキング（スコアの降順）をした時の $i$ 番目の言い換え候補のスコアを表す。 $n$ は言い換え候補数である。また, $I(x)$ は $x$ が 0 の場合は 0 を, 1 以上の場合は 1 を返す関数である. 本実験では, LS-SE およびLS-CIC においては各言い換え候補を付与したアノテータの人数を，CEFR-LPにおいては各アノテータによる言い換え可否のスコアの合計を，重みとして用いる.

## 6.1 言い換え候補のランキング

語彙的換言タスクでは文脈 $s$ を考慮してターゲット単語 $w_{t}$ と言い換え候補 $w_{p}$ の置換可能性を推定する。本実験では，ターゲット単語と言い換え候補の分散表現間の類似度が高いほど， その言い換え候補が高い置換可能性を持つと仮定する.

## 6.1.1DMSE における言い換え候補のランキング

まず，ターゲット単語 $w_{t}$ の context-word $c \in C_{t}$ を依存構造解析によって抽出する. 次に, これらを用いてターゲット単語 $w_{t}$ の分散表現の集合 $V_{t}$ を得る。続いて, ターゲット単語の各 context-word を用いて，言い換え候補 $w_{p}$ の分散表現の集合 $V_{p}$ を得る．そして，以下の 2 つの方法で, ターゲット単語の分散表現 $v_{t} \in V_{t}$ と言い換え候補の分散表現 $v_{p} \in V_{p}$ の間の類似度を計算し，言い換え候補群をランキングする。

## Cos

ベクトル間の余弦類似度 $\cos \left(v_{t}, v_{p}\right)$ を計算する.

## balAddCos (Melamud et al. 2015)

この類似尺度では，ターゲット単語と言い換え候補の類似度だけでなく, 言い換え候補と文脈の類似度も考慮し, $|s| \cos \left(v_{t}, v_{p}\right)+\sum_{w \in s} \cos \left(v_{p}, v_{w}\right)$ を計算する. ここで， $s$ はター

ゲット単語を含む一文を表す。

複数の context-word が存在する場合，最終的な置換可能性を推定する単純な方法は，5.1.1 節で説明した $S_{\mathrm{avg}}, S_{\max }$ および $S_{\min }$ を用いることである. しかし, 単語間の意味的類似度推定夕スクとは異なり，本タスクではターゲット単語と言い換え候補群の文脈が共通のため，共通の context-wordのみを考慮して，より正確に文脈を考慮できる，そこで本実験では， $S_{\mathrm{avg}} ， S_{\max }$ および $S_{\min }$ に加えて，共通の context-word のみを考慮する以下の $S_{\text {avgc }}, S_{\operatorname{maxc}}$ および $S_{\operatorname{minc}}$ によって，所与の文脈を考慮しつつ言い換え候補をランキングする。

$
\begin{aligned}
S_{\text {avgc }} & =\frac{1}{\left|C_{t}\right|} \sum_{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right) \\
S_{\text {maxc }} & =\max _{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right) \\
S_{\text {minc }} & =\min _{c \in C_{t}} \operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right)
\end{aligned}
$

ここで， $\operatorname{sim}(\cdot, \cdot)$ には Cos または balAddCos を用いる。これらの手法で推定された置換可能性のスコアを用いて，スコアの高い順に言い換え候補群をランキングする。5.1.1 節と同様に， context-word が存在しない場合は, 事前学習した $C B O W, P O S$ の分散表現をターゲット単語の分散表現とする。またターゲット単語そのものが語彙に存在しない場合は $\langle u n k\rangle$ の分散表現を用いる。

## 6.1.2DMSE のオラクル性能

DMSEでは context-word の選択における性能が全体の性能に影響する。そこで context-word を理想的に選択できたときのオラクル性能も報告する。オラクル選択 $S_{\text {oracle }}$ では， ターゲット単語と言い換え候補が同一の context-word によって意味を決定づけられると仮定し，まず全ての context-word について言い換え候補のランキングを作成する。その中から，最もGAP スコアが高くなる context-word を採用し，そのランキングを用いる.

$
S_{\text {oracle }}=\operatorname{sim}\left(v_{w_{t, c}}, v_{w_{p, c}}\right), \quad c=\underset{c \in C_{t}}{\operatorname{argmax}} \mathrm{GAP}
$

ただし, $c$ によって与えられる文脈化された単語が語彙に存在しない場合, 事前学習した単語の分散表現を用いて単語間の余弦類似度を計算する。

## 6.1.3ECWRにおける言い換え候補のランキング

ターゲット単語を含む 1 文を入力として，文脈を考慮したターゲット単語の分散表現を獲得する。各言い換え候補については，ターゲット単語を含む 1 文において，ターゲット単語と言い換え候補を置換して ECWRに入力する．得られた分散表現間の余弦類似度を，ターゲット単語と言い換え候補の置換可能性スコアとし，スコアの降順に言い換え候補をランク付けする。

## 6.2 実験結果

表 3 に，LS-SE, LS-CIC, CEFR-LP の各データセットにおける GAP スコアを示す. だたし， NA は参考文献中 (Fadaee et al. 2017) で行われていない実験設定のため, 数値を記載できなかった部分である。DMSEについては，類似尺度として $S_{\text {oracle }}$ を除いた中で最も高い精度を示した $S_{\max }$ のみを記載する。他の類似尺度については次節で議論する．LS-SEにおいて最も高い性能を示した類似度尺度 $\operatorname{Cos}$ の時の DMSE ( $S_{\operatorname{maxc}}$ ) は，SGNSより 8.3 ポイント，MSSGより 8.1 ポイント，TOPICより 6.4 ポイント， $C B O W$ より 7.5 ポイント， $P O S$ より 6.3 ポイント，それぞれ高い GAP スコアを達成した。また，LS-CIC において最も高い性能を示した類似度尺度 Cos の時の ECWR (Wikipedia)は, SGNSより 12.0 ポイント, $M S S G$ より 10.3 ポイント, TOPIC より 7.2 ポイント， $C B O W$ より 3.7 ポイント，POSより 2.7 ポイント，それぞれ高い GAP スコアを達成した. CEFR-LP においては, 類似度尺度 balAddCos の時の ECWR (Wikipedia)が $C B O W$ より 5.8 ポイント, $P O S$ より 6.0 ポイント，それぞれ高い GAP スコアを示した. これらの結果から，文脈を考慮してより細かい粒度で語義の分散表現を生成する提案手法が，トピックや品詞を用いて語義を区別する既存手法に比べて，効果的に語義を捉えられることを確認できた.

LS-SE では DMSE が最も高い性能を示した一方で，LS-CIC および CEFR-LPでは ECWRが最も高い性能を示した. これは，各データセットの 1 文を構成する平均単語数が影響を与えたと考えられる。図 4 に示すのは，1文を構成する単語数ごとの GAP スコアである．1 文を構成する単語数が 30 単語までは $E C W R$ が高い性能を示している一方, 31 単語からは $D M S E$ が高い性能を示している。ECWRでは，1文の全ての情報を考慮した分散表現を生成するため，1文が長ければ多くの情報が混在してしまう。そのため， 1 文を構成する単語数が増加すると性能が向上せず頭打ちとなる。一方，DMSEではターゲット単語と依存関係にある context-word の

表 3 LS-SE，LS-CIC，CEFR-LP データセットにおける GAP スコア

図 41 文を構成する単語数ごとの GAP スコア

みを考慮する，そのため，長文になると利用できる context-word 候補が増える傾向となり，より信頼できる context-word を選択することで性能が向上すると考えられる。そのため， 1 文あたりの単語数が多いほど DMSEが $E C W R$ よりも高い性能を示すと考えられる。実際, LS-SE, LS-CIC, CEFR-LP はそれぞれ 1 文あたり平均 27.2 単語, 23.3 単語, 21.2 で構成されており, 1 文あたりの平均単語数が多いデータセットでは DMSEが $E C W R$ の性能を上回っている.

## 7 DMSEの分析

## 7.1 語彙的換言タスクにおける意味的類似度推定手法の比較

表 4 に，語彙的換言タスクにおける DMSEのＧAP スコアを示す。類似尺度として文脈を考慮する balAddCosを用いた場合，DMSEにおいては単純な Cosよりも性能が悪化する傾向が見られた，balAddCosは，文脈を考慮しない分散表現のために提案された手法であり，言い換え候補と文脈に現れる単語の分散表現を用いて類似度計算を行う。DMSEでは文脈化された単語の分散表現を使用しているため，balAddCos を利用すると文脈を 2 重で考慮したことになり，精度が改善しなかったと考えられる。

また, 複数の context-word を利用できるとき, $S_{\text {maxc }}$ が最も高い性能を示す傾向にある. この結果から, 同一の context-wordによって与えられる分散表現を用いることで, 全ての context-word を考慮するよりも高精度に単語間の置換可能性を推定できると言える． $S_{\text {avgc }}$ の性能が $S_{\operatorname{maxc}}$ に及ばないのは，各分散表現の影響が平均することによって軽視されるためと考えられる，ター ゲット単語の語義をピンポイントで表現できる context-word が存在したとしても, 平均することによってその影響が薄れてしまう。また， $S_{\text {minc }}$ では類似度の下限値を基準にランク付けする。 $S_{\max }$ であれば，その文中での意味を表していない context-word は類似度が低くても無視
表 4 各データセット中での DMSE の GAP スコア

されるが， $S_{\mathrm{minc}}$ ではその影響を受けるため，性能が低下したと考えられる。

$S_{\text {oracle }}$ では類似尺度を $\operatorname{Cos}$ とした時の $D M S E\left(S_{\text {oracle }}\right)$ が最も高い性能を示した, また, 同じく類似度尺度 $\operatorname{Cos}$ の $S_{\mathrm{avg}}, S_{\mathrm{max}}, S_{\mathrm{min}}$ および $S_{\mathrm{avgc}}, S_{\mathrm{max}}, S_{\mathrm{minc}}$ が出力した最も高いスコアと比較して, LS-SE では 6.2 ポイント, LS-CIC では 3.7 ポイント, CEFR-LP では 4.1 ポイン卜高い性能を示している。さらにこれらは，表 3 における類似尺度 Cos を用いた際の $E C W R$ (Wikipedia)の性能よりも LS-SE で 7.8 ポイント, LS-CICで 3.1 ポイント, CEFR-LPで 0.6 ポイント高い.ここから，複数ある中から正しい context-word を特定することができた場合, $D M S E$ はさらに精度向上することが見込まれる。

## 7.2 実際の出力例

表 5 に語彙的換言タスクにおいて, context-word を用いて多義語 hard の語義を捉えることに成功した例を示す。最も多くのアノテータによって付与された言い換え候補を最上位にランク付けできている.

図 5 は，表 5 における単語や語義の分散表現を主成分分析を用いて，実際の分散表現の第一主成分ベクトルを横軸に，第二主成分ベクトルを縦軸に可視化したものである．第二主成分までの寄与率は 0.53 である。丸は文脈を考慮しない単語の分散表現，三角は DMSEによる分散表現を表す。この図から，hard_listen（言い換え元の単語）および carefully_listen（正解の言い換え単語）が事前学習された単語分散表現から離れ，お互いに近づいていることが分かる.実際の分散表現間の余弦類似度を測ったところ, hard と carefully 間は 0.125, hard_listen と
表 5 語彙的換言タスクにおける出力例

入力 ... you are carrying on two conversations at once and you are required to listen hard.

出力 carefully (4), intensively (0), closely(1), intently(1), seriously (0), ..

入力 One event in particular hits the platoon hard : the death of its platoon leader, ...

出力 badly (3), heavily (0), strongly (0), severely (1), firmly (0), ..

ターゲット単語は bold 体で，context-word は italic 体で表示している。出力は言い換え候補群のランキング，括弧内の数値は各候補の重みを表す.

図 5 分散表現の可視化

carefully_listen 間は 0.421 であり, 大きく向上している. 同様に, hard_hit および badly_hit の分散表現も事後学習によって近づいていることが分かる。 実際, hard と badly 間の類似度は 0.159, hard_hit と badly_hit 間の類似度は 0.547 であった. また, hard_listen と hard_hit は大きく離れており，DMSEによって期待通り語義ごとに分散表現を学習できていることが分かる. 同じ hard という形で文脈中に出現する単語でも， context-wordによって異なる場所に配置できている．実際，hard_listen とhard_hit 間の類似度は 0.558 であり，元々一つの分散表現（余弦類似度 1.0）から余弦類似度が低下するよう分離できている。

## 8 まとめ

本研究では，文脈中の単語を手がかりとして，細かい粒度で各単語に複数の分散表現を生成する 2 つの手法について述べた。DMSEは，文脈中の依存関係にある単語を手がかりとして語義を区別する分散表現を生成する。また双方向言語モデルである $E C W R$ を利用することで，文脈中の全ての単語を考慮した単語分散表現を獲得する。単語間の意味的類似度推定夕スクおよび語彙的換言タスクにおける評価実験の結果，品詞やトピックを用いて語義を区別する先行研究と比較して, より細かい粒度で語義を区別できる提案手法の有効性を示した.

## 謝 辞

本研究は公益財団法人 KDDI 財団による助成を受けたものである。また，貴重なコメントや議論をいただいた九州大学大学院言語文化研究院の Christopher G. Haswell 准教授に感謝の意を表す.

## 参考文献

Ashihara, K., Kajiwara, T., Arase, Y., and Uchida, S. (2018). "Contextualized Word Representations for Multi-Sense Embedding." In Proceedings of the Pacific Asia Conference on Language, Information and Computation, pp. 28-36.

Ashihara, K., Kajiwara, T., Arase, Y., and Uchida, S. (2019). "Contextualized context2vec." In Proceedings of the Workshop on Noisy User-generated Text.

Athiwaratkun, B. and Wilson, A. G. (2017). "Multimodal Word Distributions." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 1645-1656.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." In Proceedings of the Transactions of the Association for Computational Linguistics, pp. 135-146.

Fadaee, M., Bisazza, A., and Monz, C. (2017). "Learning Topic-Sensitive Word Representations." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 441-447.

Huang, E. H., Socher, R., Manning, C. D., and Ng, A. Y. (2012). "Improving Word Representations via Global Context and Multiple Word Prototypes." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 873-882.

Kishida, K. (2005). "Property of Average Precision and its Generalization: An Examination of Evaluation Indicator for Information Retrieval Experiments." National Institute of Informatics Technical Reports, pp. 1-19.

Kremer, G., Erk, K., Padó, S., and Thater, S. (2014). "What Substitutes Tell Us - Analysis of an "All-Words" Lexical Substitution Corpus." In Proceedings of the Conference of the European Chapter of the Association for Computational Linguistics, pp. 540-549.

Levy, O. and Goldberg, Y. (2014). "Dependency-Based Word Embeddings." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 302-308.

Li, J. and Jurafsky, D. (2015). "Do Multi-Sense Embeddings Improve Natural Language Understanding?" In Proceedings of the Conference on Empirical Methods in Natural Language

Processing, pp. 1722-1732.

Manning, C., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S., and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit." In Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp. 55-60.

McCarthy, D. and Navigli, R. (2007). "SemEval-2007 Task 10: English Lexical Substitution Task." In Proceedings of the International Workshop on Semantic Evaluations, pp. 48-53.

Melamud, O., Goldberger, J., and Dagan, I. (2016). "context2vec: Learning Generic Context Embedding with Bidirectional LSTM." In Proceedings of the SIGNLL Conference on Computational Natural Language Learning, pp. 51-61.

Melamud, O., Levy, O., and Dagan, I. (2015). "A Simple Word Embedding Model for Lexical Substitution." In Proceedings of the Workshop on Vector Space Modeling for Natural Language Processing, pp. 1-7.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of the Conference on Neural Information Processing Systems, pp. 3111-3119.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013b). "Efficient Estimation of Word Representations in Vector Space." In Proceeding of the International Conference on Learning Representations, pp. 1-12.

Mikolov, T. and Com, T. G. (2014). "Distributed Representations of Sentences and Documents." In Proceedings of the International Conference on Machine Learning, pp. 1188-1196.

Neelakantan, A., Shankar, J., Passos, A., and McCallum, A. (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1059-1069.

Paetzold, G. H. and Specia, L. (2016). "Unsupervised Lexical Simplification for Non-Native Speakers." In Proceedings of the Association for the Advancement of Artificial Intelligence, pp. 3761-3767.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 2227-2237.

Pilehvar, M. T. and Camacho-collados, J. (2019). "WiC: The Word-in-Context Dataset for

Evaluating Context-Sensitive Meaning Representations." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 1267-1273.

Roller, S. and Erk, K. (2016). "PIC a Different Word: A Simple Model for Lexical Substitution in Context." In Proceedings of the Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 1121-1126.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the Conference on Neural Information Processing Systems, pp. 1-9.

Thater, S., Saarlandes, U., Dinu, G., Saarlandes, U., Pinkal, M., and Saarlandes, U. (2009). "Ranking Paraphrases in Context." In Proceedings of the Workshop on Applied Textual Inference, pp. 44-47.

Zwillinger, D. and Kokoska, S. (2000). CRC Standard Probability and Statistics Tables and Formulae. Chapman and Hall.

## 略歴

芦原和樹：2018 年大阪大学工学部電子情報工学科卒業. 同年, 同大学大学院情報科学研究科博士前期課程に進学.

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了。博士 (工学)．同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る。言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ。

内田諭：2005 年東京外国語大学外国語学部欧米第一課程英語専攻卒業. 2007 年東京大学大学院総合文化研究科言語情報科学専攻修士課程修了. 2013 年に同大学院にて博士号 (学術) を取得. 東京外国語大学特任講師を経て, 2014 年より九州大学大学院言語文化研究院准教授. 認知意味論, コーパス言語学,
英語教育学などの研究に従事. 日本認知言語学会, 英語コーパス学会, 大学英語教育学会, 言語処理学会等会員.

(2019 年 4 月 30 日受付)

(2019 年 7 月 30 日再受付)

(2019 年 9 月 6 日採録)