# リカレントニューラルネットワークによる単語アラインメント
## 田村 晃裕 $\dagger \cdot$ 渡辺 太郎 ${ ^{\dagger} \cdot$ 隅田英一郎 $\dagger$}

本論文では, 隠れ層の再帰的な構造により, 過去のアラインメント履歴全体を活用するリカレントニューラルネットワーク (RNN) による単語アラインメントモデルを提案する. ニューラルネットワークに基づくモデルでは, 従来, 教師あり学習が行われてきたが, 本論文では, 本モデルの学習法として, Dyer らの教師なし単語アラインメント (Dyer, Clark, Lavie, and Smith 2011)を拡張して人工的に作成した負例を利用する教師なし学習法を提案する。提案モデルは, IBM モデル (Brown, Pietra， Pietra, and Mercer 1993) などの多くの従来手法と同様に, 各方向で独立にアラインメントを学習するため, 両方向を考慮した大域的な学習を行うことができない。そこで，各方向のモデルの合意を取るように同時に学習することで，アラインメントの精度向上を目指す. 具体的には, 各方向のモデルの word embedding の差を表すぺナルティ項を目的関数に導入し, 両方向で word embeddingを一致させるようにモデルを学習する。日英及び仏英単語アラインメント実験を通じて，RNNに基づくモデルは，フィードフォワードニューラルネットワークによるモデル (Yang, Liu, Li, Zhou, and Yu 2013) や IBM モデル 4 よりも単語アラインメント精度が高いことを示す。さらに，日英及び中英翻訳実験を通じて，これらのベースラインと同等かそれ以上の翻訳精度を達成できることを示す。

キーワード：単語アラインメント, リカレントニューラルネットワーク, 教師なし学習,合意制約

## Recurrent Neural Networks for Word Alignment

\author{
Akihiro Tamura ${ }^{\dagger}$, Taro Watanabe ${ }^{\dagger \dagger}$ and Eirchiro Sumita ${ }^{\dagger}$
}

This paper proposes a novel word alignment model based on a recurrent neural network (RNN), in which an unlimited alignment history is represented by recurrently connected hidden layers. In addition, we perform unsupervised learning inspired by (Dyer et al. 2011), which utilizes artificially generated negative samples. Our alignment model is directional, like the generative IBM models (Brown et al. 1993). To overcome this limitation, we encourage an agreement between the two directional models by introducing a penalty function, which ensures word embedding consistency across two directional models during training. The RNN-based model outperforms both the feed-forward NN-based model (Yang et al. 2013) and the IBM Model 4 under Japanese-English and French-English word alignment tasks, and achieves comparable translation performance to those baselines under Japanese-English and ChineseEnglish translation tasks.

Key Words: Word Alignment, Recurrent Neural Network, Unsupervised Learning, Agreement Constraint

## 1 はじめに

対訳文中の単語の対応関係を解析する単語アラインメントは, 統計的機械翻訳に欠かせない重要な処理の一つであり, 研究が盛んに行われている。 その中で, 生成モデルである IBM モデル 1-5 (Brown et al. 1993) や HMM に基づくモデル (Vogel, Ney, and Tillmann 1996) は最も有名な手法であり，それらを拡張した手法が数多く提案されている (Och and Ney 2003; Berg-Kirkpatrick， Bouchard-Côté, DeNero, and Klein 2010). 近年では, Yang らが, フィードフォワードニュー ラルネットワーク (FFNN) の一種である「Context-Dependent Deep Neural Network for HMM (CD-DNN-HMM)」(Dahl, Yu, Deng, and Acero 2012)を HMM に基づくモデルに適用した手法を提案し, 中英アラインメントタスクにおいてIBM モデル 4 や HMM に基づくモデルよりも高い精度を達成している (Yang et al. 2013). この FFNN-HMM アラインメントモデルは, 単語アラインメントに単純マルコフ性を仮定したモデルであり，アラインメント履歴として，一つ前の単語アラインメント結果を考慮する.

一方で, ニューラルネットワーク (NN) の一種にフィードバック結合を持つリカレントニュー ラルネットワーク (RNN) がある. RNN の隠れ層は再帰的な構造を持ち, 自身の信号を次のステップの隠れ層へと伝達する。この再帰的な構造により，過去の入力データの情報を隠れ層で保持できるため, 入力データに内在する長距離の依存関係を捉えることができる。このような特長を持つ RNN に基づくモデルは, 近年, 多くのタスクで成果をあげており, FFNN に基づくモデルの性能を凌駕している。例えば, 言語モデル (Mikolov, Karafiát, Burget, Cernocký, and Khudanpur 2010; Mikolov and Zweig 2012; Sundermeyer, Oparin, Gauvain, Freiberg, Schlüter, and Ney 2013) や翻訳モデル (Auli, Galley, Quirk, and Zweig 2013; Kalchbrenner and Blunsom 2013)の構築で効果を発揮している。一方で, 単語アラインメントタスクにおいて RNN を活用したモデルは提案されていない. 本論文では, 単語アラインメントにおいて, 過去のアラインメントの情報を保持して活用することは有効であると考え, RNNに基づく単語アラインメントモデルを提案する。前述の通り, 従来の FFNN に基づくモデルは, 直前のアラインメント履歴しか考慮しない. 一方で, RNN に基づくモデルは, 隠れ層の再帰的な構造としてアラインメントの情報を埋め込むことで，FFNNに基づくモデルよりも長い，文頭から直前の単語アラインメントの情報，つまり過去のアラインメント履歴全体を考慮できる。

NNに基づくモデルの学習には, 通常, 教師データが必要である. しかし, 単語単位の対応関係が付与された対訳文を大量に用意することは容易ではない。この状況に対して, Yangらは,従来の教師なし単語アラインメントモデル（IBM モデル，HMM に基づくモデル）により生成

した単語アラインメントを疑似の正解データとして使い, モデルを学習した (Yang et al. 2013). しかし, この方法では, 疑似正解デー夕の作成段階で生み出された, 誤った単語アラインメントが正しいアラインメントとして学習されてしまう可能性がある.これらの状況を踏まえて, 本論文では, 正解の単語アラインメントや疑似の正解データを用意せずに RNNに基づくモデルを学習する教師なし学習法を提案する。本学習法では, Dyerらの教師なし単語アラインメント (Dyer et al. 2011)を拡張し，正しい対訳文における単語対と語彙空間全体における単語対を識別するようにモデルを学習する，具体的には，まず，語彙空間全体からのサンプリングにより偽の対訳文を人工的に生成する。その後，正しい対訳文におけるアラインメントスコアの期待値が，偽の対訳文におけるアラインメントスコアの期待値より高くなるようにモデルを学習する。

RNN に基づくモデルは, 多くのアラインメントモデルと同様に, 方向性（「原言語 $f \rightarrow$ 目的言語 $e\rfloor$ 又は $\lceil e \rightarrow f\rfloor)$ を持ち, 各方向のモデルは独立に学習, 使用される. ここで, 学習される特徴は方向毎に異なり，それらは相補的であるとの考えに基づき，各方向の合意を取るようにモデルを学習することによりアラインメント精度が向上することが示されている (Matusov, Zens, and Ney 2004; Liang, Taskar, and Klein 2006; Graça, Ganchev, and Taskar 2008; Ganchev, Graça, and Taskar 2008). そこで，提案手法においても，「f $\boldsymbol{f} \boldsymbol{e}\rfloor$ と $\boldsymbol{e} \rightarrow \boldsymbol{f}\rfloor$ の $2 \supset$ つ RNN に基づくモデルの合意を取るようにそれらのモデルを同時に学習する。両方向の合意は，各方向のモデルの word embedding が一致するようにモデルを学習することで実現する．具体的には, 各方向の word embedding の差を表すぺナルティ項を目的関数に導入し, その目的関数にしたがってモデルを学習する。この制約により，それぞれのモデルの特定方向への過学習を防ぎ，双方で大域的な最適化が可能となる。

提案手法の評価は, 日英及び仏英単語アラインメント実験と日英及び中英翻訳実験で行う.評価実験を通じて，前記提案全てを含む「合意制約付き教師なし学習法で学習したRNNに基づくモデル」は，FFNN に基づくモデルやIBM モデル 4 よりも単語アラインメント精度が高いことを示す。また，機械翻訳実験を通じて，学習デー夕量が同じ場合には，FFNNに基づくモデルやIBM モデル４を用いた場合よりも高い翻訳精度を実現できることを示す1．具体的には， アラインメント精度は FFNN に基づくモデルより最大 0.0792 (F1 値)，IBM モデル 4 より最大 0.0703 (F1 値), 翻訳精度は FFNN に基づくモデルより最大 $0.74 \%$ (BLEU), IBM モデル 4 より最大 $0.58 \%$ (BLEU) 上回った. また, 各提案 (RNNの利用, 教師なし学習法, 合意制約) 個別の有効性も検証し, 機械翻訳においては一部の設定における精度改善にとどまるが, 単語アラインメントにおいては各提案により精度が改善できることを示す。

以降，2 節で従来の単語アラインメントモデルを説明し， 3 節で RNNに基づく単語アライン
$ に基づくモデルの学習時の計算量を削減するため，学習データの一部を用いた．全学習データから学習したIBM モデル 4 を用いた場合とは同等の翻訳能であった.
}

メントモデルを提案する．そして， 4 節で RNN に基づくモデルの学習法を提案する． 5 節では提案手法の評価実験を行い，6節で提案手法の効果や性質についての考察を行う。最後に， 7 節で本論文のまとめを行う.

## 2 従来の単語アラインメントモデル

今まで数多くの単語アラインメント手法が提案されてきており, それらは, 生成モデル（例えば (Brown et al. 1993; Vogel et al. 1996; Och and Ney 2003)）と識別モデル（例えば (Taskar， Lacoste-Julien, and Klein 2005; Moore 2005; Blunsom and Cohn 2006)）に大別できる. 2.1 節では生成モデルを概観し, 2.2 節では識別モデルの一例として, 提案手法のベースラインとなる FFNN に基づくモデル (Yang et al. 2013)を説明する.

## 2.1 生成モデル

生成モデルでは, $J$ 単語から構成される原言語の文を $f_{1}^{J}=f_{1}, \ldots, f_{J}$, それに対応する $I$ 単語で構成される目的言語の文を $e_{1}^{I}=e_{1}, \ldots, e_{I}$ とすると, $f_{1}^{J}$ は $e_{1}^{I}$ からアラインメント $a_{1}^{J}=a_{1}, \ldots, a_{J}$ を通じて生成されると考える. ここで, 各 $a_{j}$ は, 原言語の単語 $f_{j}$ が目的言語の単語 $e_{a_{j}}$ に対応する事を示す隠れ変数である。通常, 目的言語の文には単語「null」 $\left(e_{0}\right)$ が加えられ, $f_{j}$ が目的言語のどの単語にも対応しない場合, $a_{j}=0$ となる. そして, $f_{1}^{J}$ が $e_{1}^{I}$ から生成される生成確率は, 次の通り, $e_{1}^{I}$ が生成する全アラインメントとの生成確率の総和で定義される：

$
p\left(f_{1}^{J} \mid e_{1}^{I}\right)=\sum_{a_{1}^{J}} p\left(f_{1}^{J}, a_{1}^{J} \mid e_{1}^{I}\right)
$

IBM モデル 1, 2 や HMM に基づくモデルでは, 式 (1) 中の特定アラインメント $a_{1}^{J}$ との生成確率 $p\left(f_{1}^{J}, a_{1}^{J} \mid e_{1}^{I}\right)$ をアラインメント確率 $p_{a}$ と語彙翻訳確率 $p_{t}$ で定義する ${ }^{2}$ :

$
p\left(f_{1}^{J}, a_{1}^{J} \mid e_{1}^{I}\right)=\prod_{j=1}^{J} p_{a}\left(a_{j} \mid a_{j-1}, j\right) p_{t}\left(f_{j} \mid e_{a_{j}}\right)
$

この 3 つのモデルでは, アラインメント確率の定義が異なる. 例えば, HMM に基づくモデルでは単純マルコフ性を持つアラインメント確率を用いる： $p_{a}\left(a_{j} \mid a_{j}-a_{j-1}\right)$. また, 目的言語の各単語に対する稔性 (fertility) や歪み (distortion) を考慮する IBM モデル 3-5 も提案されている.

これらのモデルは, EM アルゴリズム (Dempster, Laird, and Rubin 1977)により, 単語単位のアラインメントが付与されていない対訳文の集合（ラベルなし学習データ）から学習される.
$ において, $a_{0}=0$ である.
}

また, ある対訳文 $\left(f_{1}^{J}, e_{1}^{I}\right)$ の単語アラインメントを解析する際は, 学習したモデルを用いて，次式 (3)を満たすアラインメント（ビタビアラインメント） $\hat{a}_{1}^{J}$ を求める:

$
\hat{a}_{1}^{J}=\underset{a_{1}^{J}}{\operatorname{argmax}} p\left(f_{1}^{J}, a_{1}^{J} \mid e_{1}^{I}\right)
$

例えば，HMMに基づくモデルは，ビタビアルゴリズム (Viterbi 1967)によりビタビアラインメントを求めることができる.

## 2.2 FFNN に基づく単語アラインメントモデル

FFNN は, 非線形関数を持つ隠れ層を備えることにより, 入力データから多層的に非線形な素性を自動的に学習することができ，入力デー夕の複雑な特徴を捉えることができる。近年， その特長を活かし, 音声認識 (Dahl et al. 2012), 統計的機械翻訳 (Le, Allauzen, and Yvon 2012; Vaswani, Zhao, Fossum, and Chiang 2013) やその他の自然言語処理 (Collobert and Weston 2008; Collobert, Weston, Bottou, Karlen, Kavukcuoglu, and Kuksa 2011) 等, 多くの分野で成果をあげている. Yang らは，FFNNの一種である CD-DNN-HMM (Dahl et al. 2012)を HMM に基づくアラインメントモデルに適用したモデルを提案した (Yang et al. 2013). 本節では, 提案手法のベースラインとなる，このFFNNに基づく単語アラインメントモデルを説明する。

FFNN に基づくモデルは, 式 (2)のアラインメント確率 $p_{a}$ 及び語彙翻訳確率 $p_{t}$ を FFNN により計算する：

$
s_{N N}\left(a_{1}^{J} \mid f_{1}^{J}, e_{1}^{I}\right)=\prod_{j=1}^{J} t_{a}\left(a_{j}-a_{j-1} \mid c\left(e_{a_{j-1}}\right)\right) \cdot t_{t}\left(f_{j}, e_{a_{j}} \mid c\left(f_{j}\right), c\left(e_{a_{j}}\right)\right)
$

ただし，全単語にわたる正規化は計算量が膨大となるため，確率の代わりにスコアを用いる。 $t_{a}$ と $t_{t}$ は，それぞれ，アラインメントスコアと語彙翻訳スコアであり， $p_{a}$ と $p_{t}$ に対応する。また， $s_{N N}$ はアラインメント $a_{1}^{J}$ のスコアであり，「 $c$ (単語 $\left.\left.w\right)\right.\rfloor$ は単語 $w$ の文脈を表す. ビ夕ビアラインメントは, 典型的な HMM に基づくアラインメントモデル同様, ビタビアルゴリズムにより求める. アラインメントスコアは直前のアラインメント $a_{j-1}$ に依存しているため, FFNN に基づくモデルも単純マルコフ過程に従う。

図 1 に，語彙翻訳スコア $t_{t}\left(f_{j}, e_{a_{j}} \mid c\left(f_{j}\right), c\left(e_{a_{j}}\right)\right)$ を計算するネットワーク構造（語彙翻訳モデル）を示す.このネットワークは, lookup 層 (入力層), 1 層の隠れ層, 出力層から構成され,各層は，それぞれ，重み行列 $L,\left.\{H, B_{H}\right.\},\left.\{O, B_{O}\right.\}$ を持つ. $L$ は word embedding 行列であ $り$, 各単語を特徴付ける低次元の実べクトルとして, 単語の統語的, 意味的特性を表す (Bengio, Ducharme, Vincent, and Janvin 2003). 原言語の単語集合を $V_{f}$, 目的言語の単語集合を $V_{e}$, word embedding の長さを $M$ とすると, $L$ は $M \times\left(\left|V_{f}\right|+\left|V_{e}\right|\right)$ 行列である. ただし， $V_{f}$ と $V_{e}$ には， それぞれ，未知語を表す $\langle u n k\rangle$ と単語「null」を表す $\langle n u l l\rangle を$ 追加する。

図 1 FFNN に基づくモデルにおける語彙翻訳スコア $t_{t}\left(f_{j}, e_{a_{j}} \mid c\left(f_{j}\right), c\left(e_{a_{j}}\right)\right)$ 計算用ネットワーク

この語彙翻訳モデルは, 入力として, 計算対象である原言語の単語 $f_{j}$ と目的言語の単語 $e_{a_{j}}$ と共に，それらの文脈単語を受け付ける。文脈単語とは, 予め定めたサイズの窓内に存在する単語であり，図 1 は窓幅が 3 の場合を示している。 まず，lookup 層が，入力の各単語に対して行列 $L$ から対応する列を見つけ，word embeddingを割り当てる。そして，それらを結合させた実べクトル $z_{0}$ を隠れ層に送る，次に，隠れ層が lookup 層の出力 $z_{0}$ を受け取り， $z_{0}$ の非線形な特徴を捉える。最後に, 出力層が隠れ層の出力 $z_{1}$ を受け取り, 語彙翻訳スコアを計算して出力する。隠れ層, 出力層が行う具体的な計算は次の通りである ${ }^{3}$ :

$
\begin{aligned}
z_{1} & =f\left(H \times z_{0}+B_{H}\right) \\
t_{t} & =O \times z_{1}+B_{O} .
\end{aligned}
$

ここで， $H, B_{H}, O, B_{O}$ は，それぞれ， $\left|z_{1}\right| \times\left|z_{0}\right|,\left|z_{1}\right| \times 1,1 \times\left|z_{1}\right|, 1 \times 1$ 行列である. また， $f(x)$ は非線形活性化関数であり, 本論文の実験では, (Yang et al. 2013) に倣い, $\operatorname{htanh}(x)^{4}$ を用いた。

アラインメントスコア $t_{a}\left(a_{j}-a_{j-1} \mid c\left(e_{a_{j-1}}\right)\right)$ を計算するアラインメントモデルも，語彙翻訳モデルと同様に構成できる。語彙翻訳モデル及びアラインメントモデルの学習では, 次式 (7)のランキング損失を最小化するように，各層の重み行列を最適化する。最適化は，サンプル毎に勾配を計算してパラメータを更新する確率的勾配降下法 (SGD) ${ }^{5}$ で行い，各重みの勾配は，誤差逆伝播法 (Rumelhart, Hinton, and Williams 1986) で計算する.

$
\operatorname{loss}(\theta)=\sum_{(\boldsymbol{f}, \boldsymbol{e}) \in T} \max \left.\{0,1-s_{\theta}\left(\boldsymbol{a}^{+} \mid \boldsymbol{f}, \boldsymbol{e}\right)+s_{\theta}\left(\boldsymbol{a}^{-} \mid \boldsymbol{f}, \boldsymbol{e}\right)\right.\}
$
=f\left(H_{l} \times z_{l-1}+B_{H_{l}}\right)$. 複数の隠れ層を用いた実験は今後の課題とする.

${ }^{4} x<-1$ の時は $\operatorname{htanh}(x)=-1, x>1$ の時は $\operatorname{htanh}(x)=1$, それ以外の時は $\operatorname{htanh}(x)=x$ である.

5 実験では, 後述の RNN に基づくモデル同様, 単純な SGD ではなくバッチサイズ $D$ のミニバッチ SGD を用いた.
}

ここで， $\theta$ は最適化するパラメータ（重み行列の重み）， $T$ は学習データ， $s_{\theta}$ はパラメータ $\theta$ のモデルによる $a_{1}^{J}$ のスコア (式 (4) 参照), $\boldsymbol{a}^{+}$は正解アラインメント, $\boldsymbol{a}^{-}$はパラメータ $\theta$ のモデルでスコアが最も高い不正解アラインメントである.

## 3 RNN に基づく単語アラインメントモデル

本節では，アラインメント $a_{1}^{J}$ のスコアを RNNにより計算する単語アラインメントモデルを提案する：

$
s_{N N}\left(a_{1}^{J} \mid f_{1}^{J}, e_{1}^{I}\right)=\prod_{j=1}^{J} t_{R N N}\left(a_{j} \mid a_{1}^{j-1}, f_{j}, e_{a_{j}}\right)
$

ここで， $t_{R N N}$ はアラインメント $a_{j}$ のスコアであり, FFNN に基づくモデルと異なり, 直前のアラインメント $a_{j-1}$ だけでなく, $j-1$ 個の全てのアラインメントの履歴 $a_{1}^{j-1}$ に依存している. また，本モデルにおいても，FFNN に基づくモデルと同様, 確率ではなくスコアを用いる.

図 2 に RNNに基づくモデルのネットワーク構造を示す.このネットワークは, lookup 層（入力層), 隠れ層, 出力層から構成され, 各層は, それぞれ, 重み行列 $L,\left.\{H^{d}, R^{d}, B_{H}^{d}\right.\},\left.\{O, B_{O}\right.\}$ を持つ. 隠れ層の重み行列 $H^{d}, R^{d}, B_{H}^{d}$ は, 直前のアラインメント $a_{j-1}$ からの距離 $d\left(d=a_{j}-a_{j-1}\right)$毎に定義される．本論文の実験では， 8 より大きい距離及び -8 より小さい距離は，それぞれ，

応した重み行列 $\left.\{H^{\leq-8}, H^{-7}, \cdots, H^{7}, H^{\geq 8}, R^{\leq-8}, R^{-7}, \cdots, R^{7}, R^{\geq 8}, B_{\bar{H}}^{\leq-8}, B_{H}^{-7}, \cdots, B_{H}^{7}, B_{\bar{H}}^{\geq 8}\right.\}$ を用いて $y_{j}$ を算出する.

ビタビアラインメントは, FFNN に基づくモデルと同様に，図 2 のモデルを $f_{1}$ から $f_{J}$ に順番に適用して求める。ただし，アラインメント $a_{j}$ のスコアは， $y_{i}$ を通じて $a_{1}$ から $a_{j-1}$ の全て

図 2 RNN に基づくアラインメントモデル

に依存しているため, 動的計画法に基づくビタビアルゴリズムは適用できない. そこで, 実験では，ビームサーチにより近似的にビタビアラインメントを求める。

図 2 のモデルにより $f_{j}$ と $e_{a_{j}}$ のアラインメントのスコアを計算する流れを説明する. まず， $f_{j}$ と $e_{a_{j}}$ の 2 単語が lookup 層へ入力される。 そして, lookup 層が 2 単語それぞれを word embedding に変換し，その word embedding を結合させた実べクトル $x_{j}$ を隠れ層に送る。この lookup 層が行う処理は, FFNN に基づくモデルの lookup 層と同じである. 次に, 隠れ層は, lookup 層の出力 $x_{j}$ と直前のステップ $j-1$ の隠れ層の出力 $y_{j-1}$ を受け取り, それらの間の非線形な特徵を捉える。この時に用いる重み行列 $H^{d}, R^{d}, B_{H}^{d}$ は, 直前のアラインメント $a_{j-1}$ との距離 $d$ によ区別されている。隠れ層の出力 $y_{j}$ は, 出力層と次のステップ $j+1$ の隠れ層に送られる. そして最後に, 出力層が, 隠れ層の出力 $y_{j}$ に基づいて $f_{j}$ と $e_{a_{j}}$ のアラインメントのスコア $t_{\mathrm{RNN}}\left(a_{j} \mid a_{1}^{j-1}, f_{j}, e_{a_{j}}\right)$ を計算して出力する. 隠れ層, 出力層が行う具体的な計算は次の通りである ${ }^{6}$ :

$
\begin{aligned}
& y_{j}=f\left(H^{d} \times x_{j}+R^{d} \times y_{j-1}+B_{H}^{d}\right), \\
& t_{R N N}=O \times y_{j}+B_{O} .
\end{aligned}
$

ここで $, H^{d}, R^{d}, B_{H}^{d}, O, B_{O}$ は，それぞれ $,\left|y_{j}\right| \times\left|x_{j}\right|,\left|y_{j}\right| \times\left|y_{j-1}\right|,\left|y_{j}\right| \times 1,1 \times\left|y_{j}\right|, 1 \times 1$行列である. ただし, $\left|y_{j-1}\right|=\left|y_{j}\right|$ である. また, $f(x)$ は非線形活性化関数であり, (Yang et al. 2013) と同様に，本論文では $h \tanh (\mathrm{x})$ を用いる.

前述の通り，FFNNに基づくモデルは，語彙翻訳スコア用とアラインメントスコア用の 2 つのモデルから構成される。一方で, RNN に基づくモデルは, 直前のアラインメントとの距離 $d$ に依存した重み行列を隠れ層で使うことで，アラインメントと語彙翻訳の両者を考慮する 1 つのモデルで単語アラインメントをモデル化する。また，RNNに基づくモデルは再帰的な構造をした隠れ層を持つ。このため, 過去のアラインメント履歴全体をこの隠れ層の入出力 $y_{i}$ にコンパクトに埋め达むことで，直前のアラインメント履歴のみに依存する従来の FFNN に基づくモデルよりも長いアラインメント履歴を活用して単語アラインメントを行うことができる.

## 4 モデルの学習

提案モデルの学習では, 特定の目的関数に従い, 各層の重み行列 (つまり, $L, H^{d}, R^{d}, B_{H}^{d}$, $O, B_{O}$ ）を最適化する. 最適化は，単純な SGD（バッチサイズ $D=1 ）$ よりも収束が早いミニバッチSGDにより行う。また, 各重みの勾配は, 通時的誤差逆伝播法 (Rumelhart et al. 1986) で計算する。通時的誤差逆伝播法は, 時系列（提案モデルにおける $j$ ）でネットワークを展開
^{6} j=1$ の時の隠れ層では, $a_{0}$ は 0 とし, 直前ステップの隠れ層からの出力 $y_{0}$ は考慮しない $: y_{1}=f\left(H^{d} \times x_{1}+B_{H}^{d}\right)$.
}

し，時間ステップ上で誤差逆伝播法により勾配を計算する手法である。

提案モデルは，FFNNに基づくモデル同様, 式 (7) で定義されるランキング損失に基づいて教師あり学習することができる (2.2 節参照).しかし, この学習法は正解の単語アラインメントが必要であるという問題がある。この問題を解決するため, 次の 4.1 節で, ラベルなし学習データから提案モデルを学習する教師なし学習法を提案する。

## 4.1 教師なし学習

本節で提案する教師なし学習は, Dyer らにより提案された contrastive estimation (CE) (Smith and Eisner 2005) に基づく教師なし単語アラインメントモデル (Dyer et al. 2011)を拡張した手法である. CEとは, 観測データの近傍データを疑似負例と捉え, 観測データとその近傍データを識別するモデルを学習する手法である. Dyer らは，ラベルなし学習データ中の対訳文 $T$ において考えられる全ての単語アラインメントを観測データ, 目的言語側を単語空間 $V_{e}$ 全体とした単語アラインメント，つまり，対訳文 $T$ 中の原言語の各単語と $V_{e}$ 中の各単語との全単語対を近傍データとして CE を適用した. 提案する学習法は, この考え方を目的関数のランキング損失に導入する：

$
\operatorname{loss}(\theta)=\max \left.\{0,1-\sum_{\left(\boldsymbol{f}^{+}, \boldsymbol{e}^{+}\right) \in T} \mathrm{E}_{\Phi}\left[s_{\theta}\left(\boldsymbol{a} \mid \boldsymbol{f}^{+}, \boldsymbol{e}^{+}\right)\right]+\sum_{\left(\boldsymbol{f}^{+}, \boldsymbol{e}^{-}\right) \in \Omega} \mathrm{E}_{\Phi}\left[s_{\theta}\left(\boldsymbol{a} \mid \boldsymbol{f}^{+}, \boldsymbol{e}^{-}\right)\right]\right.\}
$

ここで, $\Phi$ は対訳文 $(\boldsymbol{f}, \boldsymbol{e})$ に対する全ての単語アラインメントの集合, $\mathrm{E}_{\Phi}\left[s_{\theta}\right]$ は $\Phi$ におけるスコア $s_{\theta}$ の期待値を表す. $\Omega$ は対訳文 $T$ 中の目的言語の各単語を $V_{e}$ 全体とした対訳対集合である.したがって, $e^{+}$は学習データ $T$ 中の目的言語の文であり, $e^{-}$は $\left|e^{+}\right|$個の目的言語の単語で構成される疑似の文である $\left(e^{-} \in V_{e}^{\left|e^{+}\right|}\right)$. 一つ目の期待値が観測データ, 二つ目の期待值が近傍データに関する項である.

しかしながら, 式 (11) 中の $\Omega$ に対する期待値の計算量は膨大となる. そこで, 計算量を削減するため, Noise Contrastive Estimation (Gutmann and Hyvärinen 2010; Mnih and Teh 2012) に基づく Negative Sampling (Mikolov, Sutskever, Chen, Corrado, and Dean 2013)のように, 近傍データ空間からサンプリングした空間を用いる。つまり, 各原言語の文 $f^{+}$に対する $e^{-}$として, $\left|e^{+}\right|$個の目的言語の単語で構成される全ての文ではなく, サンプリングした $\mathrm{N}$ 文を使う. さらに, ビーム幅 $W$ のビームサーチにより期待値を計算することで， スコアが低いアラインメントを切り捨て計算量を削減する：

$
\operatorname{loss}(\theta)=\sum_{\boldsymbol{f}^{+} \in T} \max \left.\{0,1-\mathrm{E}_{\mathrm{GEN}}\left[s_{\theta}\left(\boldsymbol{a} \mid \boldsymbol{f}^{+}, \boldsymbol{e}^{+}\right)\right]+\frac{1}{N} \sum_{\boldsymbol{e}^{-}} \mathrm{E}_{\mathrm{GEN}}\left[s_{\theta}\left(\boldsymbol{a} \mid \boldsymbol{f}^{+}, \boldsymbol{e}^{-}\right)\right]\right.\}
$

式 (12)において,$e^{+}$は学習デー夕内で $\boldsymbol{f}^{+}$の対訳となっている目的言語の文 $\left(\left(f^{+}, e^{+}\right) \in T\right)$ であり, $e^{-}$は無作為に抽出された長さ $\left|e^{+}\right|$の疑似の目的言語の文である. つまり, $\left|e^{+}\right|=\left|e^{-}\right|$

である。そして,$N$ は，各原言語の文 $f^{+}$に対して抽出する疑似の目的言語の文の数である. GEN は, ビームサーチにより探索される単語アラインメント空間であり, 全ての単語アラインメント空間 $\Phi$ の部分集合である.

各 $e^{-}$は，無作為に抽出した $\left|e^{+}\right|$個の目的言語の単語を順番に並べることで生成する．学習

IBM モデル 1 (Vaswani, Huang, and Chiang 2012)によって対訳文中で $f_{i} \in f^{+}$との共起確率が $C$ 以上と判定された目的言語の単語集合から抽出する. $l_{0}$ 正則化付き IBM モデル 1 は, 単純な IBM モデル 1 と比較して, より疎なアラインメントを生成するため, 疑似翻訳 $e^{-}$の候補の範囲を制限することが可能となる.

## 4.2 両方向の合意制約

FFNN に基づくモデルと RNN に基づくモデルは，共に方向性を持つモデルである。すなわち, $f$ に対する $e$ のアラインメントモデルにより, 単語 $f_{j}$ に対して $\boldsymbol{e}$ との 1 対多アラインメントを表す。通常, 方向性を持つモデルは方向毎に独立に学習され, 両方向のアラインメント結果をヒューリスティックに結合し決定される. Yangらの研究においても，FFNNに基づくモデルは独立に学習されている (Yang et al. 2013).

一方で, 各方向のモデルの合意を取るように同時に学習することで, アラインメント精度を改善できることが示されている. 例えば, Matusov らや Liang らは, 目的関数を「 $f \rightarrow e\rfloor$ と $\lceil\boldsymbol{e} \rightarrow \boldsymbol{f}\rfloor$ の 2 つのモデルのパラメータで定義し，2つのモデルを同時に学習している (Matusov et al. 2004; Liang et al. 2006). また, Ganchev らや Graça らは, EMアルゴリズムの Eステップ内で, 各方向のモデルが合意するような制約をモデルパラメータの事後分布に課している (Ganchev et al. 2008; Graça et al. 2008). そこで, 提案モデルの学習においても両方向の合意制約を導入し, それぞれのモデルの特定方向への過学習を防ぎ, 双方で大域的な最適化を可能とする．具体的には，各方向の word embedding が一致するようにモデルを学習する。これを実現するために, 各方向の word embedding の差を表すぺナルティ項を目的関数に導入し, その目的関数に基づいて各方向のモデルを同時に学習する：

$
\underset{\theta_{F E}, \theta_{E F}}{\operatorname{argmin}}\left.\{\operatorname{loss}\left(\theta_{F E}\right)+\operatorname{loss}\left(\theta_{E F}\right)+\alpha\left.\|\theta_{L_{E F}}-\theta_{L_{F E}}\right.\|\right.\}
$

ここで, $\theta_{F E}$ と $\theta_{E F}$ は, それぞれ, $\boldsymbol{f} \rightarrow \boldsymbol{e}$ と $\boldsymbol{e} \rightarrow \boldsymbol{f}$ のアラインメントモデルのパラメータ, $\theta_{L}$ は lookup 層のパラメータ（ $L$ の重みであり word embedding を表す）， $\alpha$ は合意制約の強さを制

師あり学習と教師なし学習の両方に導入可能である. 教師あり学習の場合は, 式 (13) の $\operatorname{loss}(\theta)$ として式 (7)を用い，教師なし学習の場合は式 (12)を用いる.

両方向の合意制約を導入した教師なし学習の手順をアルゴリズム 1 にまとめる. ステップ 2 で

は，学習データ $\mathrm{T}$ からバッチサイズ分の $\mathrm{D}$ 個の対訳文 $\left(f^{+}, e^{+}\right)^{D}$ を無作為に抽出する. ステップ 3-1 と 3-2では, それぞれ, 各 $f^{+}$と $e^{+}$に対して, $l_{0}$ 正則化付き IBM モデル 1 (IBM1) が特定した翻訳候補の単語集合から無作為に単語をサンプリングすることにより，負例となる対訳文を $N$ 個 $\left(\left.\{e^{-}\right.\}^{N}\right.$ と $\left.\left.\{f^{-}\right.\}^{N}\right)$ 生成する (4.1節参照)、ステップ 4-1 と 4-2では, 特定の目的関数に従い，SGDにより各層の重み行列を更新する (4.1 節と 4.2 参照)。このステップでは， $\theta_{F E}$ と $\theta_{E F}$ の更新は同時に行われ，各方向の word embeddingを一致させるために， $\theta_{E F}$ は $\theta_{F E}$ の更新に， $\theta_{F E}$ は $\theta_{E F}$ の更新に制約を課している7.

## 5 評価実験

## 5.1 実験データ

提案手法の有効性を検証するため, 単語アラインメントの精度及び翻訳精度の評価実験を行った. 単語アラインメントの評価実験は, NAACL 2003 の shared task (Mihalcea and Pedersen 2003) で使われた Hansardsデータにおける仏英のタスク (Hansards) と, Basic Travel Expression Corpus (BTEC) (Takezawa, Sumita, Sugaya, Yamamoto, and Yamamoto 2002)における日英のタスク $\left(I W S L T_{a}\right)$ で実施した。翻訳精度の評価実験は, IWSLT 2007 における日英翻訳タスク (Fordyce 2007) (IWSLT), 新聞データから作成された FBISコーパスにおける中英翻訳タスク (FBIS)，NTCIR-9 及び NTCIR-10における日英特許翻訳タスク (Goto, Lu, Chow, Sumita, and Tsou 2011; Goto, Chow, Lu, Sumita, and Tsou 2013) (NTCIR-9, NTCIR-10) で行った.

表 1 に各タスクで使用する対訳文の数を示す.「Train」は学習データ，「Dev」はディベロップメントデータ,「Test」はテストデータを表す. IWSLT X $_{a}$ 及び IWSLTの実験データは共に BTEC
$ 回目の $\theta_{E F}^{t}, \theta_{F E}^{t}$ の更新の際には，それぞれ， $t-1$ 回目に更新された $\theta_{F E}^{t-1}$ と $\theta_{E F}^{t-1}$ が制約として使われ，更新中の $\theta_{E F}^{t}$ ， $\theta_{F E}^{t}$ はお互いに依存しないことに注意されたい。 $\theta_{E F}^{t}$ と $\theta_{F E}^{t}$ をお互いに依存させて同時に最適化する学習もあり得るが, 今後の課題としたい。
}
表 1 実験データのサイズ（対訳文数）

のデータであり, IWSLT ${ }_{a}$ の実験デー夕は, IWSLT の学習データのうち, 単語アラインメントが人手で付与された 9,960 対訳文である (Goh, Watanabe, Yamamoto, and Sumita 2010). 9,960 の対訳文の最初の 9,000を学習データ, 残りの 960 をテストデータとした. IWSLT ${ }_{a}$ の学習デー 夕は単語アラインメントが付与されているラベルあり学習データであるのに対し, Hansardsの学習データは単語アラインメントが付与されてないラベルなし学習データである. Hansards 及び IWSLT $T_{a}$ のアラインメントタスクでは, 各アラインメントモデルのハイパーパラメータは学習データの一部を用いた 2 分割交差検証により予め決定し，ディベロップメントデータは使わなかった8. また, NAACL 2003 の shared task オリジナルの学習データの総数は約 110 万文対あるが，今回の Hansardsの実験では，学習時の計算量を削減するため, 無作為にサンプリングした 10 万文対を学習データとして用いた．大規模データの実験は今後の課題とする．FBISでは, NIST02 の評価データをディベロップメントデータとして使い, NIST03 と NIST04 の各評価データでテストした。

## 5.2 実験対象

評価実験では，提案手法である RNN に基づくモデルに加え, ベースラインとして, IBM モデル 4 と FFNNに基づくモデルを評価した。また, 単語アラインメントタスクにおける合意制約の有効性を考察するため, ベースラインとして, 典型的な HMM に基づくアラインメントモデル

両方向の合意制約 (Liang et al. 2006) を導入したモデル $\left(H M M_{\text {joint }}\right.$ ) も評価した. IBM モデル 4 は, IBM モデル 1-4 と HMM に基づくモデルを順番に適用して学習した (Och and Ney 2003).具体的には, IBM モデル 1, HMM に基づくモデル, IBM モデル $2,3,4$ をこの順で 5 回ずつ繰り返した $\left(1^{5} H^{5} 3^{5} 4^{5}\right)$.これは, GIZA++のデフォルトの設定である $(I B M 4) . H M_{\text {indep }}$ 及び
^{8} I W S L T_{a}$ の学習データの最初の 2,000 文を用いた 2 分割交差検証で最適なパラメータを用いた. $I W S L T_{a}$ 以外のデータに対してもこの検証により得られたパラメータを使った. ディベロップメントデータを使った各タスクでのパラメータ調整は今後の課題としたい.
}
$H M M_{\text {joint }}$ は BerkleyAligner ${ }^{9}$ を用いた. Liang らの通り，IBM モデル 1，HMM に基づくモデルを順番に 5 回ずつ繰り返し，各モデルを学習した(Liang et al. 2006). FFNNに基づくモデルでは, word embeddingの長さ $M$ を 30 , 文脈の窓幅を 5 とした. したがって, $\left|z_{0}\right|$ は $300=30 \times 5 \times 2$ である。また, 隠れ層として, ユニット数 $\left|z_{1}\right|$ が 100 の層を 1 層使用した. この FFNN に基づくモデルは, (Yang et al. 2013) に倣って 2.2 節の教師あり手法により学習したモデル $F F N N_{s}$ に加えて, 4.1 節と 4.2 節で提案した教師なし学習や合意制約の効果を確かめるため, $F F N N_{s+c}$, $F F N N_{u}, F F N N_{u+c}$ のモデルを評価した.「 $s$ 」は教師ありモデル, 「u」は教師なしモデル, $\lceil+c\rfloor$ は学習時に合意制約を使うことを意味する．RNNに基づくモデルでは, word embedding の長さ $M$ を 30 , 再帰的に連結している隠れ層のユニット数 $\left|y_{j}\right|$ を 100 とした. したがって, $\left|x_{j}\right|$ は $60=30 \times 2$ である. また, 提案の学習法の効果を検証するため, FFNNに基づくモデル同様, $R N N_{s}, R N N_{s+c}, R N N_{u}, R N N_{u+c}$ の 4 種類を評価した. FFNNに基づくモデル及び RNNに基づくモデルの各層のユニット数や $M$ などのパラメータは, 学習データの一部を用いた 2 分割交差検証により予め設定した.

$\mathrm{NN}$ に基づくモデルの学習について説明する。まず，各層の重み行列を初期化する．具体的には, lookup 層の重み行列 $L$ は, 局所解への収束を避けるため, 学習データの原言語側と目的言語側からそれぞれ予め学習した word embedding に初期化する。その他の重みは, [-0.1,0.1] のランダムな值に初期化する. word embedding の学習には, Mikolov らの手法 (Mikolov et al. 2010）を基にした RNNLM ツールキット10（デフォルトの設定）を用いる。その際，コーパスでの出現数が 5 回以下の単語は $\langle u n k\rangle$ に置き換える. 各重みの初期化後は, ミニバッチ SGDにより特定の目的関数に従って各重みを最適化する。本実験では, バッチサイズ $D$ を 100 , 学習率を 0.01 とし, 50 エポックで学習を終えた。また, 学習データへの過学習を避けるため, 目的関数には $l 2$ 正則化項（正則化の比率は 0.1）を加えた．教師なし学習におけるパラメータ $W, N$, $C$ は，それぞれ，100，50，0.001とし，合意制約に関するパラメータ $\alpha$ は 0.1 とした.

翻訳タスクでは, フレーズベース機械翻訳 (SMT) システム Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constrantin, and Herbst 2007)を用いた。日本語の各文は ChaSen ${ }^{11}$, 中国語の各文は Stanford Chinese segmenter ${ }^{12}$ により単語へ分割した. その後, 40 単語以上の文は学習データから除いた. 言語モデルは, SRILM ツールキット (Stolcke 2002)により, modified Kneser-Ney スムージング (Kneser and Ney 1995; Chen and Goodman 1996) を行い学習した. IWSLT, NTCIR-9及び NTCIR-10では, 学習デー 夕の英語側コーパスから構築した 5 グラム言語モデル, FBISでは, English Gigaword の Xinhua

部分のデータから構築した 5 グラム言語モデルを使用した. 翻訳モデルは, 各単語アラインメント手法により特定されたアラインメント結果に基づいて学習した. SMT システムの各パラメータは，ディベロップメントデータを用いて MERT (Och 2003)によりチューニングした.

## 5.3 実験結果（単語アラインメント）

表 2 に各手法の単語アラインメントの精度を F1 值で示す. NN に基づく教師ありモデルに対しては，学習データに付与されている正しい単語アラインメントを学習したモデル (REF) と，IBM4で特定した単語アラインメントを学習したモデル (IBM4) の 2 種類の精度を示す. Hansardsの学習データには正しい単語アラインメントが付与されていないため，REFに対する実験は実施していない.

評価手順は，まず，各アラインメントモデルにより， $f \rightarrow e$ と $e \rightarrow f$ のアラインメントをそれぞれ生成する。その後,「grow-diag-final-and」ヒューリスティックス (Koehn, Och, and Marcu 2003)により，両方向のアラインメントを結合する。そして，その結合したアラインメント結果を F1 值で評価する，有意差検定は，有意差水準 $5 \%$ の符号検定で行った，具体的には，テストデータの各単語に対して, 他方の手法では不正解だが正しく判定したものを + , 他方の手法では正解だが誤って判定したものを - として, 2 手法の評価に有意な差があるかどうかを片側検定の符号検定で判定した. 表 2 中の「+」は, ベースラインとなる FFNN に基づくモデル $F F N N_{s}(R E F / I B M 4)$ との精度差が有意であることを示し, 「++」は, ベースラインの FFNNに

表 2 単語アラインメント精度

基づくモデル $F F N N_{s}(R E F / I B M 4)$ に加えてIBM4との精度差も有意であることを示す.また,正しい教師ラベルを使用するモデル $(R E F)$ と使用しないモデル（ $R E F$ 以外）のそれぞれで最高の精度を太字で示す。

表 2 より, IWSLT ${ }_{a}$ と Hansardsの両タスクにおいて, 本論文の提案手法（RNNに基づくモデル, 教師なし学習, 合意制約） $R N N_{u+c}$ が最もアラインメント精度が高いことが分かる. 特に, ベースラインとの精度差は有意であることから, 本論文の提案を組み合わせることにより,従来手法より高いアラインメント精度を達成できることが実験的に確認できる。

次に, 本論文の各提案の個別の有効性について確認する。表 2 より, IWSLT ${ }_{a}$ と Hansardsの両夕スクにおいて, $R N N_{s / s+c / u / u+c}(I B M 4), R N N_{s / s+c}(R E F)$ は, それぞれ, $F F N N_{s / s+c / u / u+c}(I B M 4)$, $F F N N_{s / s+c}(R E F)$ よりも精度が良い. 特に, $I W S L T_{a}$ では, $R N N_{s}(R E F), R N N_{s}(I B M 4)$ と $F F N N_{s}(R E F), F F N N_{s}(I B M 4)$ とのそれぞれの性能差は有意であることが分かる. これは, RNN に基づくモデルにより長いアラインメント履歴を捉えることで, アラインメント精度が向上することを示しており，RNNを利用したモデルの有効性を確認できる．ただし，Hansardsにおいては，RNNの効果が少ない。この言語対による効果の違いについては 6.1 節で考察する. $I W S L T_{a}$ と Hansardsの両タスクにおいて, $R N N_{s+c}(R E F / I B M 4), R N N_{u+c}$ のアラインメン卜精度は, それぞれ, $R N N_{s}(R E F / I B M 4), R N N_{u}$ を上回っており, これらの精度差は有意であった. さらに, $F F N N_{s+c}\left(R E F / I B M_{4}\right), F F N N_{u+c}$ は, それぞれ, $F F N N_{s}(R E F / I B M 4), F F N N_{u}$ より有意にアラインメント精度が良い.この結果より, 教師ありと教師なしの両方の学習において，両方向の合意制約を導入することで FFNN に基づくモデル及び RNN に基づくモデルのアラインメント精度を改善できることが分かる。一方で, $H M_{\text {joint }}$ の方が $H M M_{\text {indep }}$ よりも精度が良いことから，提案の合意制約に限らず，両方向の合意をとるようにモデルを学習することは有効であることが確認できる．HMM に基づくモデルに導入した Liang らの両方向の合意制約と提案の合意制約の傾向の違いは, 6.2 節で考察する.

$I W S L T_{a}$ では, $R N N_{u}$ と $R N N_{u+c}$ は, それぞれ, $R N N_{s}\left(I B M_{4}\right)$ と $R N N_{s+c}\left(I B M_{4}\right)$ より有意にアラインメント精度が良い。一方で, Hansardsでは, これらの精度は同等である。この傾向は FFNN に基づくモデルでも同様である。これは, 学習データの質（IBM4の精度）が悪い場合, 教師あり学習はIBM4による疑似学習データに含まれる誤りの悪影響を受けるのに対し, 提案の教師なし学習は学習データの質に依らずに精度の良い FFNN や RNN に基づくモデルを学習できることを示している。

## 5.4 実験結果（機械翻訳）

表 3 に各手法により付与されたアラインメントを用いたSMT システムの翻訳精度を示す。評価尺度は，大文字と小文字を区別した BLEU4 ${ }^{13}$ (Papineni, Roukos, Ward, and Zhu 2002)を用いた．MERT の不安定な振る舞いの影響を緩和するため, MERT によるチューニングは 3 回行い，その平均値を表 3 に示す (Utiyama, Yamamoto, and Sumita 2009).

IWSLTでは，アラインメントモデル及び翻訳モデルの学習には学習データ全てを用いた。一方で，NTCIR-9，NTCIR-10 と FBISでは，アラインメントモデルの学習における計算量を削減するため, 学習データから無作為にサンプリングした 10 万文対からアラインメントモデルを学習した. その後, 学習したアラインメントモデルにより学習データ全ての単語アラインメン卜を自動的に付与し, 翻訳モデルを学習した。また, 詳細な比較を行うため, 全学習データから学習したIBM モデル 4 に基づくSMT システムの精度をIBM4all として示す. 翻訳精度の有意差検定は, 有意差水準 $5 \%$ でブートストラップによる検定手法 (Koehn 2004) により行った.表 3 の「*」は， ベースライン（IBM4及び $F F N N_{s}\left(I B M_{4}\right) ）$ と精度差が有意であることを示す.また，各タスクで最高精度（IBM4all を除く）を太字で示す.

表 2 と表 3 より, 単語アラインメント精度を改善しても, 必ずしも翻訳精度が向上するとは限らないことが分かる。この事は従来より知られており, 例えば, (Yang et al. 2013) においても同様の現象が確認されている。しかしながら, 表 3 より, 全ての翻訳タスクで, $R N N_{u}$ と $R N N_{u+c}$ は $F F N N_{s}(I B M 4)$ と IBM4よりも有意に翻訳精度がよいことが分かる.この結果から，提案手法は翻訳精度の改善にも寄与することが実験的に確認できる。また，NTCIR-9と FBISでは，提案モデルは学習データの一部から学習したが, 学習デー夕全てから学習した $I B M 4$ all と同等の精度を達成している。学習デー夕量の影響は 6.2 節で考察する.

表 3 翻訳精度

数值：BLEU4 (\%)

## 6 考察

## 6.1RNNに基づくモデルの効果

図 3 に $F F N N_{s}$ 及び $R N N_{s}$ で解析した単語アラインメントの具体例を示す。 三角が $F F N N_{s}$ の解析結果, 丸が $R N N_{s}$ の解析結果, 四角が正しい単語アラインメントを表す. 図 3 より, $R N N_{s}$ は $F F N N_{s}$ と比較して, 複雑なアラインメント（例えば，図 3(a) 中の「have you been」に対するギザギザのアラインメント）を特定できていることが分かる。これは， $F F N N_{s}$ は直前のアラインメント履歴しか利用しないが， $R N N_{s}$ は長いアラインメント履歴に基づいてアラインメントのパス（例えば，フレーズ単位のアラインメント）を捉えられることを示唆している.

5.3 節で述べた通り, RNNに基づくモデルの効果は, 日英アラインメント $\left(I W S L T_{a}\right)$ と比べて仏英アラインメント (Hansards) に対して少ない. これは, 英語とフランス語は語順が似ていて, 日英に比べて 1 対 1 アラインメントが多く (図 3 参照), 仏英単語アラインメントは局所的な手がかりで捉えられる場合が多いためであると考えられる。図3(b) は, このような単純な単語アラインメントは, $F F N N_{s}$ と $R N N_{s}$ の両モデルで正しく解析できることを示している.

図 3 単語アラインメントの解析結果例

## 6.2 学習データ量の影響

BTECにおける日英アラインメントタスクにおいて様々なサイズの学習データを使った時のアラインメント精度を表 4 に示す.「40 K」,「9 K」,「1 K」は, それぞれ, IWSLTの全学習デー 夕, IWSLT $T_{a}$ の全学習データ, IWSLT $T_{a}$ の全学習データから無作為に抽出した 1,000 文対を学習データとした時の，IWSLT $T_{a}$ のテストデータに対するアラインメント精度である．「9 K」及び「1 K」はラベルあり学習データ，「40 K」はラベルなし学習データである。そのため，教師ありモデル $(R E F)$ の「 $40 \mathrm{~K} 」 に$ 対する実験は実施していない.

表 4 より,「1 $\mathrm{K」の} R N N_{s+c}(R E F)$ と $\lceil 9 \mathrm{~K}\rfloor の R N N_{u+c}$ は $\lceil 40 \mathrm{~K} 」 の I B M 4$ より性能がよいことが分かる。 すなわち, RNNに基づくモデルは, IBM4の学習デー夕の $22.5 \%$ 以下 $(9,000 / 40,000)$ のデータから同等の精度を持つモデルを学習できたことが分かる. その結果, 表 3 が示す通り,学習データの一部を使った $R N N_{u+c}$ に基づくSMT システムが, 全学習データを用いた IBM4 all に基づくSMT システムと同等の精度を達成できる場合がある。

表 4 より, HMM に基づくモデルに導入した Liang らの両方向の合意制約は学習データが小規模なほど効果があることが分かる。一方で, 提案の合意制約は, Liang らの合意制約と比較すると精度の改善幅は小さいが, どのテータサイズにおいても同等の効果を発揮することが確認できる。

また, 各データサイズで 5.3 節と同様の手法の比較を行うと, 教師ラベルを使わない場合は

表 4 学習データ量による単語アラインメント精度の比較

$R N N_{u+c}$, 使う場合は $R N N_{s+c}(R E F)$ が最も性能が良い. そして, 本論文で提案した, $\mathrm{RNN}$ の利用，教師なし学習，合意制約の個別の有効性も確認できることから，データサイズに依らず提案手法が有効であることが分かる.

## 7 まとめ

本論文では，RNNに基づく単語アラインメントモデルを提案した，提案モデルは，隠れ層の再帰的な構造を利用し, 長いアラインメント履歴に基づいてアラインメントのパス（例えば，フレーズ単位のアラインメント）を捉えることができる。また, RNN に基づくモデルの学習法として, Dyerらの教師なし単語アラインメント (Dyer et al. 2011) を拡張して人工的に作成した負例を利用する教師なし学習法を提案した。そして, 更なる精度向上のために，学習過程に各方向の word embedding を一致させる合意制約を導入した。複数の単語アラインメントタスクと翻訳タスクの実験を通じて，RNN に基づくモデルは従来の FFNN に基づくモデル (Yang et al. 2013) よりアラインメント精度及び翻訳精度が良いことを示した。また, 提案した教師なし学習や合意制約により，アラインメント精度を更に改善できることを確認した。

提案モデルでは，アラインメント対象の文脈をアラインメント履歴 $\left(y_{i}\right)$ に暗示的に埋め込み利用しているが, 今後は, FFNN に基づくモデルのように周辺単語の入力 $\left(c\left(f_{j}\right)\right.$ や $c\left(e_{a_{j}}\right)$ ) として明示的に利用することも検討したい。また, Yangらは複数の隠れ層を用いることでFFNN に基づくモデルの精度を改善している (Yang et al. 2013). これに倣って提案モデルでも各隠れ層を複数にするなど，提案モデルの改良を行う予定である。 さらに，本論文では提案モデルにより特定したアラインメントに基づいて翻訳モデルを学習したが，翻訳モデル学習時の素性としてアラインメントモデルが算出するスコアを使用したり, Watanabe ら (Watanabe, Suzuki, Tsukada, and Isozaki 2006)のように翻訳候補のリランキングの中で使ったりするなど，提案モデルのSMT システムへの効果的な組み込み方に関しても検討したい.

## 謝 辞

本論文は国際会議 The 52nd Annual Meeting of the Association for Computational Linguistics で発表した論文 (Tamura, Watanabe, and Sumita 2014) に基づいて日本語で書き直し, 説明や評価を追加したものである.

## 参考文献

Auli, M., Galley, M., Quirk, C., and Zweig, G. (2013). "Joint Language and Translation Modeling with Recurrent Neural Networks." In Proceedings of EMNLP 2013, pp. 1044-1054.

Bengio, Y., Ducharme, R., Vincent, P., and Janvin, C. (2003). "A Neural Probabilistic Language Model." Journal of Machine Learning Research, 3, pp. 1137-1155.

Berg-Kirkpatrick, T., Bouchard-Côté, A., DeNero, J., and Klein, D. (2010). "Painless Unsupervised Learning with Features." In Proceedings of HLT:NAACL 2010, pp. 582-590.

Blunsom, P. and Cohn, T. (2006). "Discriminative Word Alignment with Conditional Random Fields." In Proceedings of Coling/ACL 2006, pp. 65-72.

Brown, P. F., Pietra, S. A. D., Pietra, V. J. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19 (2), pp. 263-311.

Chen, S. F. and Goodman, J. (1996). "An Empirical Study of Smoothing Techniques for Language Modeling." In Proceedings of ACL 1996, pp. 310-318.

Collobert, R. and Weston, J. (2008). "A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning." In Proceedings of ICML 2008, pp. 160-167.

Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., and Kuksa, P. (2011). "Natural Language Processing (Almost) from Scratch." Journal of Machine Learning Research, 12, pp. 2493-2537.

Dahl, G. E., Yu, D., Deng, L., and Acero, A. (2012). "Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition." IEEE Transactions on Audio, Speech, and Language Processing, 20 (1), pp. 30-42.

Dempster, A. P., Laird, N. M., and Rubin, D. B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm." Journal of the Royal Statistical Society, Series B, 39 (1), pp. 1-38.

Dyer, C., Clark, J., Lavie, A., and Smith, N. A. (2011). "Unsupervised Word Alignment with Arbitrary Features." In Proceedings of ACL/HLT 2011, pp. 409-419.

Fordyce, C. S. (2007). "Overview of the IWSLT 2007 Evaluation Campaign." In Proceedings of IWSLT 2007, pp. 1-12.

Ganchev, K., Graça, J. V., and Taskar, B. (2008). "Better Alignments = Better Translations?" In Proceedings of ACL/HLT 2008, pp. 986-993.

Goh, C.-L., Watanabe, T., Yamamoto, H., and Sumita, E. (2010). "Constraining a Generative Word Alignment Model with Discriminative Output." IEICE Transactions, 93-D (7),
pp. 1976-1983.

Goto, I., Chow, K. P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of 10th NTCIR Conference, pp. 260-286.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of 9th NTCIR Conference, pp. 559-578.

Graça, J. V., Ganchev, K., and Taskar, B. (2008). "Expectation Maximization and Posterior Constraints." In Proceedings of NIPS 2008, pp. 569-576.

Gutmann, M. and Hyvärinen, A. (2010). "Noise-Contrastive Estimation: A New Estimation Principle for Unnormalized Statistical Models." In Proceedings of AISTATS 2010, pp. 297-304.

Kalchbrenner, N. and Blunsom, P. (2013). "Recurrent Continuous Translation Models." In Proceedings of EMNLP 2013, pp. 1700-1709.

Kneser, R. and Ney, H. (1995). "Improved Backing-off for M-gram Language Modeling." In Proceedings of ICASSP 1995, pp. 181-184.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of EMNLP 2004, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constrantin, A., and Herbst, E. (2007).

"Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of ACL 2007, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of HLT/NAACL 2003, pp. 48-54.

Le, H.-S., Allauzen, A., and Yvon, F. (2012). "Continuous Space Translation Models with Neural Networks." In Proceedings of NAACL/HLT 2012, pp. 39-48.

Liang, P., Taskar, B., and Klein, D. (2006). "Alignment by Agreement." In Proceedings of HLT/NAACL 2006, pp. 104-111.

Matusov, E., Zens, R., and Ney, H. (2004). "Symmetric Word Alignments for Statistical Machine Translation." In Proceedings of Coling 2004, pp. 219-225.

Mihalcea, R. and Pedersen, T. (2003). "An Evaluation Exercise for Word Alignment." In Proceedings of the HLT-NAACL 2003 Workshop on Building and Using Parallel Texts: Data Driven Machine Translation and Beyond, pp. 1-10.

Mikolov, T., Karafiát, M., Burget, L., Cernocký, J., and Khudanpur, S. (2010). "Recurrent Neural Network based Language Model." In Proceedings of INTERSPEECH 2010, pp. 1045-1048.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS 2013, pp. 3111-3119.

Mikolov, T. and Zweig, G. (2012). "Context Dependent Recurrent Neural Network Language Model." In Proceedings of SLT 2012, pp. 234-239.

Mnih, A. and Teh, Y. W. (2012). "A Fast and Simple Algorithm for Training Neural Probabilistic Language Models." In Proceedings of ICML 2012, pp. 1751-1758.

Moore, R. C. (2005). "A Discriminative Framework for Bilingual Word Alignment." In Proceedings of HLT/EMNLP 2005, pp. 81-88.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of ACL 2003, pp. 160-167.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29, pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of ACL 2002, pp. 311-318.

Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation." In Rumelhart, D. E. and McClelland, J. L. (Eds.), Parallel Distributed Processing, pp. 318-362. MIT Press.

Smith, N. A. and Eisner, J. (2005). "Contrastive Estimation: Training Log-Linear Models on Unlabeled Data." In Proceedings of ACL 2005, pp. 354-362.

Stolcke, A. (2002). "SRILM - An Extensible Language Modeling Toolkit." In Proceedings of ICSLP 2002, pp. 901-904.

Sundermeyer, M., Oparin, I., Gauvain, J.-L., Freiberg, B., Schlüter, R., and Ney, H. (2013). "Comparison of Feedforward and Recurrent Neural Network Language Models." In Proceedings of ICASSP 2013, pp. 8430-8434.

Takezawa, T., Sumita, E., Sugaya, F., Yamamoto, H., and Yamamoto, S. (2002). "Toward a Broad-coverage Bilingual Corpus for Speech Translation of Travel Conversations in the Real World." In Proceedings of LREC 2002, pp. 147-152.

Tamura, A., Watanabe, T., and Sumita, E. (2014). "Recurrent Neural Networks for Word Alignment Model." In Proceedings of ACL 2014, pp. 1470-1480.

Taskar, B., Lacoste-Julien, S., and Klein, D. (2005). "A Discriminative Matching Approach to Word Alignment." In Proceedings of HLT/EMNLP 2005, pp. 73-80.

Utiyama, M., Yamamoto, H., and Sumita, E. (2009). "Two Methods for Stabilizing MERT: NICT at IWSLT 2009." In Proceedings of IWSLT 2009, pp. 79-82.

Vaswani, A., Huang, L., and Chiang, D. (2012). "Smaller Alignment Models for Better Translations: Unsupervised Word Alignment with the $l_{0}$-norm." In Proceedings of ACL 2012, pp. 311-319.

Vaswani, A., Zhao, Y., Fossum, V., and Chiang, D. (2013). "Decoding with Large-Scale Neural Language Models Improves Translation." In Proceedings of EMNLP 2013, pp. 1387-1392.

Viterbi, A. J. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE Transactions on Information Theory, 13 (2), pp. 260-269.

Vogel, S., Ney, H., and Tillmann, C. (1996). "Hmm-based Word Alignment in Statistical Translation." In Proceedings of Coling 1996, pp. 836-841.

Watanabe, T., Suzuki, J., Tsukada, H., and Isozaki, H. (2006). "NTT Statistical Machine Translation for IWSLT 2006." In Proceedings of IWSLT 2006, pp. 95-102.

Yang, N., Liu, S., Li, M., Zhou, M., and Yu, N. (2013). "Word Alignment Modeling with Context Dependent Deep Neural Network." In Proceedings of ACL 2013, pp. 166-175.

## 略歴

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2007 年から 2011 年まで日本電気株式会社にて自然言語処理，特にテキストマイニングに関する研究に従事． 2011 年から 2014 年まで情報通信研究機構にて統計的機械翻訳に関する研究に従事. 2013 年東京工業大学大学院総合理工学研究科博士課程修了. 2014 年から 2015 年まで日本電気株式会社にてテキスト分類に関する研究に従事. 2015 年から情報通信研究機構の研究員, 現在に至る. 工学博士. 情報処理学会, 言語処理学会, ACL 各会員.

渡辺太郎：1994 年京都大学工学部情報工学科卒業. 1997 年京都大学大学院工学研究科情報工学専攻修士課程修了. 2000 年 Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science 取得. 2004 年京都大学博士 (情報学)。ATR，NTT およびNICTにて研究員として務めた後, 現在, グーグル株式会社ソフトウェアエンジニア.隅田英一郎：1982 年電気通信大学大学院修士課程修了. 1999 年京都大学大学院博士 (工学). 日本アイ・ビー・エム東京基礎研究所, 国際電気通信基礎技術研究所を経て, 2007 年より国立研究開発法人情報通信研究機構に勤務, 現在, ユニバーサルコミュニケーション研究所副所長. 自動翻訳, e ラーニングに関する研究開発に従事. 2007, 2014 年アジア太平洋機械翻訳協会長尾賞, 2007 年情報処理学会喜安記念業績賞, 2010 年文部科学大臣表彰・科学技術賞（開
発部門), 2013 年第 11 回産学官連携功労者表彰-総務大臣賞. 情報処理学会,電子情報通信学会, ACL, 日本音響学会, ACM 各会員.

(2015 年 6 月 16 日受付)

(2015 年 8 月 12 日再受付)

(2015 年 8 月 28 日採録)


# クラスタリングを利用した語義曖昧性解消の 誤り原因のタイプ分け

藤田 早苗 ${ }^{\dagger+1 \dagger \dagger} \cdot$ 佐々木 稔 $\dagger \cdot$ 古宮嘉那子 $\dagger \cdot$ 乾 孝司 ${ }^{\dagger+1+\dagger \dagger}$
}

語義曖昧性解消の誤り分析を行う場合，まずどのような原因からその誤りが生じて いるかを調べ，誤りの原因を分類しておくことが一般的である。この分類のために，分析対象データに対して分析者 7 人が独自に設定した誤り原因のタイプを付与した が, 各自の分析結果はかなり異なり, それらを議論によって統合することは負荷の 高い作業であった。そこでクラスタリングを利用してある程度機械的にそれらを統合することを試み，最終的に 9 種類の誤り原因として統合した. この 9 種類の中の 主要な 3 つの誤り原因により, 語義曖昧性解消の誤りの 9 割が生じていることが判明した。またタイプ分類間の類似度を定義することで，統合した誤り原因のタイプ 分類が，各自の分析結果を代表していることを示した。また統合した誤り原因の夕 イプ分類と各自の誤り原因のタイプ分類を比較し，ここで得られた誤り原因のタイ プ分類が標準的であることも示した.

キーワード：語義曖昧性解消，誤り分析，クラスタリング
## Classification of Word Sense Disambiguation Errors Using a Clustering Method

Hiroyuki Shinnou ${ }^{\dagger}$, Masaki Murata ${ }^{\dagger \dagger}$, Kiyoaki Shirai ${ }^{\dagger \dagger}$, Fumiyo Fukumoto ${ }^{\dagger \dagger \dagger}$, Sanae Fujita ${ }^{\dagger \dagger \dagger \dagger \dagger}$, Minoru Sasaki ${ }^{\dagger}$, Kanako KomiYa ${ }^{\dagger}$ and Takashi Inu ${ }^{\dagger \dagger \dagger \dagger \dagger \dagger}$

As a first step of word sense disambiguation (WSD) errors analysis, generally we need investigate the causes of errors and classify them. For this purpose, seven analysts classified the error data for analysis from their unique standpoints. Next, we attempted to merge the results from the analyses. However, merging these results through discussions was difficult because the results differed significantly. Therefore, we used a clustering method for a certain level of automatic merger. Consequently, we classified WSD errors into nine types, and it turned out that the three main types of errors covers $90 \%$ of the total WSD errors. Moreover, we showed that the merged

error types represented seven results and was standardized by defining the similarity between two classifications and comparing it with each analysis result.

Key Words: Word Sense Disambiguation, Error Analysis, Clustering

## 1 はじめに

Project Next NLP ${ }^{1}$ は自然言語処理 (NLP) の様々なタスクの横断的な誤り分析により，今後の NLP で必要となる技術を明らかにしようとするプロジェクトである。プロジェクトでは誤り分析の対象のタスクが 18 個設定され，「語義曖昧性解消」はその中の 1 つである. プロジェクトではタスク毎にチームが形成され，チーム単位でタスクの誤り分析を行った。本論文では,我々のチーム（「語義曖昧性解消」のチーム）で行われた語義曖昧性解消の誤り分析について述べる。特に，誤り分析の初期の段階で必要となる誤り原因のタイプ分けに対して，我々がとったアプローチと作成できた誤り原因のタイプ分類について述べる.

なお本論文では複数の誤り原因が同じと考えられる事例をグループ化し，各グループにタイプ名を付ける処理を「誤り原因のタイプ分け」と呼び，その結果作成できたタイプ名の一覧を 「誤り原因のタイプ分類」と呼ぶことにする.

誤り分析を行う場合，(1) 分析対象のデータを定める，(2) その分析対象データを各人が分析する，(3) 各人の分析結果を統合し，各人が同意できる誤り原因のタイプ分類を作成する, という手順が必要である．我々もこの手順で誤り分析を行ったが，各人の分析結果を統合することが予想以上に負荷の高い作業であった．統合作業では分析対象の誤り事例一つ一つに対して，各分析者が与えた誤り原因を持ち寄って議論し，統合版の誤り原因を決定しなければならない. しかし，誤りの原因は一意に特定できるものではなく，しかもそれを各自が独自の視点でタイプ分けしているため, 名称や意味がばらばらな誤り原因が持ち寄られてしまい議論がなかなか収束しないためであった.

そこで我々は「各人が同意できる誤り原因のタイプ分類」を各分析者のどの誤り原因のタイプ分類とも類似している誤り原因のタイプ分類であると考え，この統合をある程度機械的に行うために，各自が設定した誤り原因をクラスタリングすることを試みた。また，本論文では「各分析者のどのタイプ分類とも類似している」ことに対し，「代表」という用語を用いることにした.つまり，我々が設定した目標は「各分析者の誤り原因のタイプ分類を代表する誤り原因のタイプ分類の作成」である。クラスタリングを行っても，目標とするタイプ分類を自動で作成できるわけではないが，ある程度共通している誤り原因を特定でき，それらを元にクラスタリング結果を調整することで目標とする誤り原因のタイプ分類が作成できると考えた.
^{1} \mathrm{https}$ //sites.google.com/site/projectnextnlp/
}
具体的には，各自の設定した誤り原因を対応する事例を用いてべクトル化し，それらのクラスタリングを行った。そのクラスタリング結果から統合版の誤り原因を設定し，クラスタリング結果の微調整によって最終的に 9 種類の誤り原因を持つ統合版の誤り原因のタイプ分類を作成した.この 9 種類の中の主要な 3 つの誤り原因により, 語義曖昧性解消の誤りの 9 割が生じていることが判明した，考察では誤り原因のタイプ分類間の類似度を定義することで，各分析者の作成した誤り原因のタイプ分類と統合して作成した誤り原因のタイプ分類が，各分析者の視点から似ていることを確認した. これは作成した誤り原因のタイプ分類が分析者 7 名のタイプ分類を代表していることを示している。また統合した誤り原因のタイプ分類と各自の誤り原因のタイプ分類を比較し，ここで得られた誤り原因のタイプ分類が標準的であることも示した.

## 2 分析対象データ

誤り分析用のデータは SemEval-2 の日本語 WSD タスクから作成した (Okumura, Shirai, Komiya, and Yokono 2011). SemEval-2 のデー夕は対象単語が 50 単語あり, 各対象単語に対して50 個の訓練用例と 50 個のテスト用例が存在する。また用例中の対象語には岩波国語辞典 (西尾, 岩淵, 水谷 1994) の語義が付与されている。つまり語義識別のラベルは岩波国語辞典の語義である.

まず SemEval-2 のコンぺの際に baseline とされたシステムを構築した. 以降，本論文ではこのシステムを「分析用システム」と呼ぶ。学習アルゴリズムは SVM であり, 以下の 20 種類の特徴量を利用する.

baseline システムは分類語彙表 ID の 4 桁と 5 桁を同時に使う形になっていたが，分析用システムでは 5 桁のみとした。また一般に一つの単語に対しては複数の分類語彙表 ID が存在するので， e17,e18,e19,e20 に対する素性は複数になる場合もある.

例として, 以下の用例（「息子とその婚約者に会っていこうかと考えた」）2に対する素性リストを示す. 対象単語は記号 $(*)$ のついた「あう」である.

対象単語の一つ前の単語表記は「に」なので, 'e4=に’,となる.この単語の品詞情報から 'e5=助詞', 'e6=格助詞, となる. 同様にして e1 から e15 が設定できる. また用例は CaboCha ${ }^{3}$ により係り受けの解析がなされ, 対象単語を含む文節の最も近い係先の単語の原形が e16 に設定される。この場合は'e16=いく’となる。次に二つ前の単語「者」に対する分類語彙表 ID は $1.1000,7,1,2$ と 1.2020,1,1,4であり. 前者から上位 5 桁を取ると 11000 となり, 後者から上位 5 桁を取ると 12020 となる。そのため e17 は‘e $17=11000$ ’ととe $17=12020 ’ の 2$ づ設定される. 一つ前の単語「に」と一つ後の単語「て」は助詞なので分類語彙表 ID は無視する。二つ後の単語「いこう」に対する分類語彙表 ID は $2.3000,6 \mathrm{~A}, 2,1$ と $2.3320,5,1,2$ から 'e20=23000' と‘ $\mathrm{e} 20=23320$ ’ が設定される ${ }^{4}$. 以上より，上記用例の素性リストは以下となる.

( e1=者, e2=接尾辞, e3=名詞的, e4=に, e5=助詞, e6=格助詞, e7=会っ, e8=動詞, $e 9=$ 一般, $e 10=$, $e 11=$ 助詞, e12=接続助詞, e13=いこう, e14=動詞, e15=非自立可能, e16=い< , e17=11000, e17=12020, e e20=23000, e20=23320)

「あう」の訓練データの 50 用例を全て素性リストに直し，その要素の異なり数 $N$ を次元数とした $N$ 次元べクトルを設定する ${ }^{5}$. 訓練データとテストデータの用例を素性リストに変換し，
^{3}$ http://taku910.github.io/cabocha/

4 これは間違いである. 正しくは「いこう」の原形「いく」に対する分類語彙表 ID を与えなくてはならない. 分析用システムでは baseline システムを忠実に再現したためこのような不備も生じている.

5 この例の場合, $N=335$ であった.
}
$N$ 次元ベクトルの $i$ 次元目に対応する要素が存在すれば $i$ 次元の値を 1 に, 存在しなければ 0 とすることで，その素性リストは素性べクトルに変換できる。この素性べクトルを利用して SVM による学習と識別が可能となる．SVM の学習は libsvm ${ }^{6}$ の線形カーネルを用いた．指定できるパラメータは全て default のままである.

SVM により識別した結果, テスト事例 2,500 のうち，誤りは 577 事例であった 7 . ここから新語義と未出現語義の事例を除くと 543 事例となった.ここからランダムに 50 個の事例を選出し, この 50 事例を誤り分析の対象事例とした. この 50 事例は付録 1 に記した.

## 3 各人の分析結果

前述した 50 事例の分析対象データに対して, 我々のチームのメンバーの内 7 名（村田, 白井,福本, 新納, 藤田, 佐々木, 古宮）が独自に誤り分析を行った. 分析結果として, 各人は分析対象の 50 事例に対して，各自が設定した誤り原因の記号をつけた。表 1 がその結果である.

各自の記号の意味やどのような観点で分析したかを以下に述べる.

## 3.1 村田の分析：解き方に着目

採用した誤り分析の考え方・方法論について述べる。普遍的な誤り分析を目指して，以下の誤り分析のフレームワークを用いる.

・ 誤り事例を人手で考察し，人ならそれを正しく解くにはどう解くかを考えて，その事例の解析に有効な特徴（解き方）を見つける。その特徴が学習デー夕にあるかを確認する.
- 誤り分析の際には, 正解に至るまでの誤り原因をすべて網羅して調べる。これは, 複数の誤り原因が存在する場合があり，一つの原因だけを見つけるのでは誤り分析としては不十分な場合があるためである.

具体的な誤り分析の手順は以下のとおりである。まず, 各事例の対象単語の品詞を調べる.次に, 品詞を参考にして各事例の解き方を調べる。最後に, 解き方を参考にして各事例の誤り原因を調べる。

以降, 以上の方法論・手順に基づき行った調查結果について述べる。 まず各事例の対象単語の品詞を調べた. 品詞の出現数を表 2 に示す. 表の「記号」の列はその品詞のデー夕に付与した記号である.

次に各事例の解き方を調べた. 解き方はある程度対象語の品詞に依存する. このため対象語の品詞を考慮しながら，解き方を考える．各事例に解き方の夕グを付与する．解き方（解析に有効な特徴）の出現数を表 3 に示す。表の「記号」の列は, 実際に事例に付与したタグの記号

表 150 事例に対する各自の分析結果

である。夕グは一つの事例に複数重複してふられる場合がある.「解き方未判定」は，難しい事例で解き方が思いつかなかったものである。「文パターン」は，例えば「対象語の直前に『て』 がある文パターンの場合語義 Xになる」という説明が辞書にある場合があり，そのような文パターンを利用して解く方法である。「表現自身」は，例えば「対象語において漢字Xを使う場合は語義 Y になる」という説明が辞書にある場合がありそのような情報を利用して解く方法である。

次に各事例の誤り原因を調べた。各事例で付与した解き方のタグを参考にして，誤り原因を調べた。誤り原因の出現数を表 4 に示す。表の「記号」の列は，実際に事例に付与したタグの

表 2 品詞の出現数

表 3 解き方の出現数

表 4 誤り原因の出現数

記号である.夕グは一つの事例に複数重複してふられる場合がある.

表の「分析が困難」は, 分析が困難で分析を行っていないものを意味する。より綿密な作業により分析ができる可能性がある。「シソーラスの不備」は, シソーラスの不備の他, シソーラスでの多義性の解消が必要な場合を含む.「素性も学習データもあるのに解けていない」は, 解くときに役立つ素性も存在し, その素性を持つ学習データもあるのに解けていない場合である. その素性を持つ学習データの事例数が少ないか, 他の素性や学習データが悪さをした可能性がある.「格解析が必要」は, 能動文, 受け身文, 連体などの正規化や, 格の把握が必要な場合である。「入力文の情報が少なすぎる」は，入力文だけでは文が短く，その文だけでは語義識別ができない場合である．前後の文など，より広範囲の文脈の情報の入力が必要な場合である.

解き方の分類に基づき, いくつか誤り分析の事例を示す.

「格に取る名詞（対象語が用言の場合）」が解き方の場合を示す。対象語が用言の場合, 格に取る名詞が語義識別に役立つ表現となりやすい (村田, 内山, 内元, 馬, 井佐原 2003). 格に取る名詞を中心に眺めて誤り分析を行う.

事例 ID 3 の誤り事例を考察する。対象文は「‥悲鳴をあげながら…」で，対象単語は「あげる」である. 動詞「あげる」の格になっている「悲鳴」が語義識別に役立つ個所となる. 現在のデータでは対象データの「悲鳴」が分類語彙表の情報を持たない. 他のバージョンの分類語彙表には「悲鳴」の情報がある。「悲鳴」の類似事例「声」が多数学習データにある．シソーラスの情報をよりよく利用することで改善できる事例である．誤りの分類としては，「t: シソーラスの不備」を与えている。

意味ソート (村田, 神崎, 内元, 馬, 井佐原 2000) を使うと, 学習データに類似事例があるかどうかを簡明に知ることができる。「悲鳴」が存在する分類語彙表を利用して意味ソートを行った. 意味ソートとは, 単語群を分類語彙表の意味の順に並べる技術である.「あげる」の学習データにおいて,「あげる」のヲ格の単語を取り出し, その単語の意味ソートを行った。注目している単語「悲鳴」の近くの単語群での意味ソート結果は「13030010201: 顔 (545-0-1-1), 13031010101: 声 (545-0-1-2), 13031021203: 歓声 (545-0-1-2), 13031050102: 叫び声 (545-0-1-2), 13031050304: 悲鳴* (545-0-1-2), 13041060106: 顔 (545-0-1-1), 13061110102: 声 (545-0-1-2)」である. 単語の後ろの括弧にはその単語を含むデータの文の分類先を示し, 単語の前の数字はその単語の分類語彙表の番号である．今解析している単語には「*」の記号を付与している。意味ソートの結果では, 「叫び声」が類似事例としてあることがすぐにわかる.

「共起語（主に対象語が名詞の場合)」が解き方の場合を示す. 対象語が名詞の場合, 同一文の共起語が語義識別に役立つ表現となりやすい (村田他 2003). 同一文には共起語が多く存在するため, この場合の誤り分析は基本的に困難である。事例 ID 14 の誤り事例を考察する。対象文は,「事件で、鶴見署は二十一日現場で...」であり，対象単語は「現場」である．対象単語は名詞であるので, 共起語が役立ちやすく, この例では, 「事件」「署」が語義識別に役立つ.
今の素性では対象単語の前方 2 形態素, 後方 2 形態素しか素性に用いておらず, 同一文の単語すべては素性に使っていない，今の素性では，「事件」「署」が使えない，共起語の素性を使えるように素性を拡張する必要がある。学習デー夕を見たところ，共起語が重なる事例がなさそうであり，学習データ不足の問題もあるようだった。この事例には，誤りの分類としては，「f:素性の種類の不足」「d: 学習データの不足」を与えている.

「言い換え」が解き方の場合を示す。事例 ID 7 の誤り事例を考察する．対象文は，「“自己防衛の意味でも…であり, 対象単語は「意味」である. 正解語義は「表現や行為の意図・動機。」であり，システム出力の誤り語義は，「その言葉の表す内容。意義。」である．対象語の「意味」を「動機」に言い換えることが可能であることを認識できれば，正解語義「表現や行為の意図・動機。と推定できるようになると思われる。この事例には，誤りの分類としては，「p:言い換え技術が必要」を与えている8.

## 3.2 白井の分析：機械学習の素性の問題を中心に

まず，誤り分析の考え方について述べる。特に着目したのは機械学習の素性の問題である. テスト文から抽出された素性に不適切なものがないか, テスト文の素性と同じものが訓練デー 夕に出現するか, 有力な手がかりとなる情報で素性として表現できていないものはないか, といった観点から分析を進めた。それ以外にも誤り原因と考えられるものは全て洗い出した。

誤り原因のタイプ分類を図 1 に示す. 大きくは手法の問題, 前処理の問題, 知識の問題, デー

図 1 白井による誤り原因のタイプ分類

夕の不備, 問題設定の不備に分類し, これらをさらに細かく分類した。図中の（）はそれぞれの要因に該当する誤り事例の数, [] は分析対象とした 50 事例に占める割合である ${ }^{9}$. 枠内の数字は付録 2 に記載されている誤り原因 IDに対応する。

【手法の問題】は機械学習手法に関する問題が見つかった事例である.【訓練データの不足】 は, 他に手がかりとなる情報がある場合 10 と, テスト文に類似した事例が訓練デー夕にないと語義を識別しようがない場合（【他に手がかりなし】）に分けた．後者の多くは定型的な言い回しで語義が決まる事例である。例えば，「指揮を火とる*」は決まり文句に近く，この文が訓練デー 夕にないと「とる」の語義を決めるのは難しい.【素性抽出が不適切】は表 5 のような文の正規化をした上で素性を抽出するべき事例である。【有効な素性の不足】は，語義曖昧性解消の手がかりとなる情報が素性として利用されていない場合である。分析用システムでは最小限の素性しか使用していないため, トピック素性（スポーッや事件といったトピックの文内に出現するということで語義が決まる事例があった), 文脈中の自立語, 構文素性など, 先行研究で既に使われている素性の不足も分類されている。 また,【長いコロケーション】とは, 分析用システムでは前後 2 単語を素性としていたが，対象語からの距離が 3 以上の単語で語義が決まる場合である。【素性のコーディングが困難】とは, 語義を決める手がかりは発見できたが, 高度な言語処理や推論を必要とし, 機械学習の素性として表現することが難しい事例である. 文の深い解釈が必要な場合（【文の解釈】）と文章全体の解釈が必要な場合（【文脈の解釈】）に分けた.【学習アルゴリズムの問題】とは, 語義曖昧性解消に必要な素性は抽出できていて, 類似用例も訓練デー夕に存在するが, SVM で学習された分類器では正解を選択できなかった事例である。他の機械学習アルゴリズムなら正しく解ける可能性がある.【消去法】とは, 該当しない語義を除外することで正解の語義がわかる事例を指す。例えば「かえって医師の処方を経ないで入手できる*市場*が生じている」という文での「市場」は，21128-0-0-1の意味（野菜などを得る市場） でもなければ 21128-0-0-3 の意味（株式市場）でもないことから，21128-0-0-2 の意味（売行き先）とわかる.このような事例は教師あり学習とは別の枠組で解く必要があるかも知れない.

【前処理の問題】は前処理の誤りに起因する事例である.【知識の問題】は外部知識の不備

表 5 【素性抽出が不適切】の細分類

が誤りの原因となっているものである.【データの不備】はタグ付けされた語義の誤りである.【問題設定の不備】に分類したのは, 対象語の解析対象文における品詞と辞書見出しにおける品詞が一致せず，そもそも対象語として不適切であった事例である。今回の分析では上記は少数の事例しか該当しなかったが，多くの外部知識を用いたり，文節の係り受け解析など多くの前処理を必要とするシステムでは, これらの原因ももっと細かく分類する必要があるだろう.

教師あり学習に基づく手法を用いるという前提で，今後語義曖昧性解消の正解率を向上させるには,【訓練デー夕の不足一他に手がかりなし】に分類した事例が多いことから, 訓練データを自動的または半自動的に拡充するアプローチが有望である。また，【素性抽出が不適切】や 【有効な素性の不足】で考察した問題点に対応することも考えられる. ただし, 表 5 に示すような正規化の処理を導入しても誤った解析結果が得られたり, 単純に素性を追加しても素性数が多すぎて過学習を引き起こすなど，単純な対応だけでは語義曖昧性解消の正解率の向上に結びつかない可能性もあり, 深い研究が必要であろう．また，【素性のコーティングが困難】に分類した事例は，現時点での言語処理技術では対応が難しい事例だが，誤り原因の $20 \%$ 程度を占めており，軽視できない．これらの事例に対応することは，チャレンジングではあるが，必要であると考える。

## 3.3 福本の分析：解消に必要となる知識・処理に着目

語義曖昧性解消に必要となる知識に着目し, 分析対象の 50 事例について誤りの原因を分析した.まず, 語義識別に必要となる知識が (1) 語義曖昧性解消夕スク内か, (2) 語義曖昧性解消夕スク外かで大別した。 さらに (2) 語義曖昧性解消タスク外については, 語義曖昧性解消の前処理として必要となる形態素解析など, 他の言語処理タスクで得られる知識にも着目し, それらに関する影響の有無を調査した。誤り原因のタイプ分類を以下に示す。括弧は各誤り原因に該当する事例数とその割合（(1)と $(2)$ での割合, 及び各詳細項目での割合）を示す.また, “*” で囲まれた単語は語義識別の対象単語を示す.

(1) 語義曖昧性解消タスク内の問題（40 事例, $80 \%$ ）

(a) 語義の記載がない.（1 事例， $2.5 \%$ ）

「くもりを*取る*」というテスト事例において，「くもり」に関する語義情報が分類語彙表に存在しないため, 「くもり」と「取る」での共起による語義識別が難しく,「取る」が訓練事例数の多い語義に識別されている.

(b) テスト事例と類似した事例が，訓練事例中に存在しない。（11 事例， 27.5\%）訓練事例不足の問題である。例えば「見せて*あげる*事ですね。」のように，動詞

て識別されている.

（c）テスト事例の語義が，訓練事例中では低頻度で出現している。（4事例， 10\%）
語義の分布に片寄りがあるものの，対象としているテスト事例中の語義の特徴と高頻出の語義が持つ特徴との区別が困難であるために，低頻出の語義であるテス卜事例の語義が正しく識別できない．例えば「私の*場所*だ!」であるテスト事例が該当し，「ところ．場」の意味の訓練事例は 49 事例，正解語義である「居るところ」は 1 事例であるために，「ところ。場」に誤って識別されている.

(d) 解消に必要な情報が欠如している。（10 事例，25\%）

この誤り原因に相当する事例として，例えばテスト事例「*相手*をすべて倒した」 において，「倒した」（行為）の対象が「*相手*」（人）であることから，共起関係を利用することにより「*相手*」が「自分と対抗して物事を争う人」に識別可能である。しかし語義の前後 2 単語というウィンドウサイズの制限により，識別に必要な「倒した」に関する情報（素性）が欠如している.

（e）語義同士の意味が互いに類似しているために，識別が非常に難しい。（14 事例, $35 \%$ )

この誤りは，誤り原因の中で最も多くの事例が相当した誤りである。「発音を*教え*てください。」などのように，「侾え*」が「知識や技能を身につけるように導く」という語義か，正解である「自分の知っていることを告げ示す」か，両者の語義が類似しているために識別が難しい.

（2）語義曖昧性解消タスク外の問題（10 事例，20\%）

(a) 形態（語義を含む）（7 事例）

(i) 形態素解析における品詞推定誤り。（2 事例，20\%）識別の対象単語と共起して出現する単語の品詞が誤って識別されているために，品詞，及び共起関係の情報が利用できないという問題である。例えば，ひらがな表記の「神のみ*まへ*の」において形態素解析において「御前」と認識されていない.

(ii) テスト事例の単語について，その同義語・類義語に関する情報が辞書に揭載されていない。（3 事例， $30 \%$ )

この誤りは，例えば「悲鳴を*あげ*ながら」というテスト事例において，訓練事例中に存在する「歓声」が「悲鳴」と意味的に類似していることが分類語彙表に記載されていれば，「悲鳴」と「あげる」との共起関係により識別が可能であると考えられる。

(iii) 識別の対象となっている単語と共起している単語に曖昧さが存在している. (1 事例, 10\%)

例えば「レベリングは*技術*がいる」というテスト事例において，「技術」 と共起関係にある「いる」は「必要である」という語義と「豆などを煎る」

という語義が存在する。分類語彙表の情報として「豆などを煎る」が素性としてテスト事例に付与されているため, 共起の語彙情報を利用することができない.

(iv) 慣用句表現の認識（1 事例，10\%）「めどが*立つ*。」が相当する．識別の対象となっている単語を慣用句表現として認識する必要がある.

(b) 構文（1 事例， 10\%）

(i) 複合名詞の認識

「国際*電話*」の事例のように, 複合名詞が正しく認識されず, 識別の対象単語である「*電話*」が複合名詞の一部として出現している.

(c) 文脈（2 事例， $20 \%$ )

(i) 省略語の補完

例えば「*開い*たときに請求書ご案内が上に来るように入れます。」のように, 対象単語である「開く」の主語が省略されているため, 共起関係など,語義識別に必要な情報が利用できない.

語義曖昧性解消タスク内の誤り原因に相当する事例は 40 事例であり,夕スク外の事例は 10 事例であったことから，誤りの多くは語義曖昧性解消の処理方法に問題があると考えられる．語義曖昧性解消内の誤り原因のうちの 6 事例は, 既存の学習手法や統計手法の工夫により語義を正しく識別できた。一方, 例えば上述した (1)における (e)の「*教え*てください」や，「島がびっしょり濡れているようにさえ*見え*た」における「見え」が (a)「目にうつる」，(b)「そう感じ取れる」において，(a) と識別するために必要となる素性が何かを明かにすることが難しい事例も存在した。文内に限定した語彙・語義情報を用いた手法の限界であり，今後は文外に存在する情報，例えば分野に依存した主要語義に関する情報とも組み合わせることにより，語義曖昧性解消を行う方法なども考えられる. 今後のさらなる調査と検討が必要である.

## 3.4 新納の分析：手法の問題の機械的排除

採用した誤り分析の考え方・方法論について述べる。基本的に, 自身の誤り原因のタイプ分類を作成し, 分析対象の各誤り事例に設定した誤り原因のタイプを付与した。特徴としては「手法の問題」という誤り原因を設定したことである。ここでの分析対象のデータはSVM を利用した場合の誤りである．SVM を利用したために生じる誤りは分析の重要度が低いと考えた。 そこで SVM 以外の他の学習手法を試し, SVM 以外の 2 つ以上の学習手法で正解となるような （SVM での）誤りの事例の誤り原因を「手法の問題」として機械的に取り除いた. 残された誤り事例に対してのみ，その誤り原因を精査するアプローチを取った。

設定した誤りの原因は，まず (1) 手法の問題, であり，それ以外に (2) 意味の問題, (3) 知識

の問題, 及び (4) 領域の問題, の計 4 タイプの誤り原因を設けた。(2), (3), (4) については更に詳細化した，以下各タイプがどのような誤りかと，それをどのように判定したかを述べる。

## 3.4.1 手法の問題

分析対象のデータは, 学習手法として SVM を使った場合の誤りであり, 他の手法を用いた場合には誤りにならないこともある. ここでは最大エントロピー法 (ME), Naive Bayes 法 (NB),決定リスト (DL), 及び最大頻度語義 (MFS)の 4 つを試した.

まず各手法の SemEval-2 のデータに対する正解率を表 6 に示す.

SVM が最も正解率が高いが，他の手法の正解の事例を完全にカバーしているわけでない．表 7 に正解の事例の差分を示す. 表 7 は行が誤りを，列が正解を表している。例えば行 $($ NB- $\times$ ),列（ME-O）の要素は 98 であるが，これは NB で誤りであった事例のうち ME では正解であった事例数が 98 存在したことを意味する。表 7 から分かるように，手法 A が手法 B よりも正解率が高いからといって, 必ずしも, 手法 B が正解していた事例すべてを手法 A が正しく識別できる訳でない.これは手法を選択した際に生じる副作用であり, 誤りの 1 つの原因であると考えられる。そして，ここではSVM では誤りだが，他の 2 つ以上の手法で正解となっていた誤りの事例を「手法の問題」（記号 4）と判定した.

表 7 は SemEval-2 のデータ全体での事例数を示している． 2 つ以上の手法で正解であった事例の数は 198 であったが，誤り分析の対象とした 50 事例に限れば 8 事例が該当した。これらを 「手法の問題」と分類した.

## 3.4 .2 意味の問題

語義曖昧性解消の問題設定自体に誤りの原因があると考えられるものを「意味の問題」と判定した。この下位分類として (a) 辞書の語義が似ていて識別困難（記号 1-a），(b) 深い意味解

表 6 各手法の SemEval-2 の正解率 (\%)

表 7 手法間の差分

析が必要（記号 1-b），(c) 表現自体からしか識別できない（記号 1-c), 及び (d) テスト文の問題（記号 $1-\mathrm{d}$ ），の 4 つを設けた。

語義曖昧性解消の問題設定では, 対象単語の語義が固定的に与えられる。 ある対象単語が持つ複数の語義は, 明確に異なる場合もあるが, 非常に似ている場合もある。もしある語義 $\mathrm{s} 1$ と $\mathrm{s} 2$ が非常に似ている場合，それらを区別することは明らかに困難であり，それらを取り違えた誤りの原因は，問題自体の困難性から生じていると考えた。このようなタイプの誤りを「(a) 辞書の語義が似ていて識別困難」とした。 例えば事例 27 は対象単語「強い」の語義 34522-0-0-1 「積極的に働く力にあふれている.」と語義 34522-0-0-2「抵抗力に富み，簡単には壊れたりくずれたりしない.」を区別する問題たが，どちらの語義も互いの意味を想起させるため，意味的に非常に似ていると判断した.

上記の (a) のタイプであっても深い意味解析が可能であれば解決できるものを「(b) 深い意味解析が必要」とした. 例えば事例 1 は対象単語「相手」の語義 117-0-0-2「物事をするとき, 行為の対象となる人.」と語義 117-0-0-3 「自分と対抗して物事を争う人.」を区別する問題である.「争う人」も「行為の対象となる人」であることは明かであり，意味的には非常に近く (a) である。ただしその「行為」が「争い」なのかどうかを深い意味解析で判断できれば解決できるため,「(b) 深い意味解析が必要」のタイプと判定した。(a)のタイプでかつ (b) であるかどうかは，「深い意味解析」の深さの度合いである。技術的に可能なレべルの深さと思えれば (b) をつけた。

次に「(c) 表現自体からしか識別できない」のタイプであるが, これは語義曖昧性解消の問題として不適と思えるものである。例えば慣用表現中の単語に語義が存在していると考えるのは不自然である。また語義曖昧性解消の問題では, 対象単語が自立語であることは暗黙の了解である。つまり単語の品詞自体が名詞や動詞であっても, その単語が機能語に近いものであれば,語義曖昧性解消の問題として不適と考えられる。このようなタイプの誤りを「(c) 表現自体からしか識別できない」とした。例えば事例 21 の対象単語「する」，事例 48 の対象単語「やる」 を，このタイプの誤りとした。

最後に「(d) テスト文の問題」のタイプであるが，これは単純にテスト文に手がかりとなる単語がほとんどないために誤るものである。これは「意味の問題」ではないが，問題設定自体に誤りの原因があると捉え，この範疇に含めた。例えば事例 10 の「*教え*て下さい.」などがこのタイプの誤りである。

## 3.4.3 知識の問題

語義曖昧性解消を教師あり学習により解決するアプローチをとった場合，前述した「手法の問題」「意味の問題」以外の誤りの原因は，システムに何らかの知識が不足していたためと考えられる。そこで「手法の問題」「意味の問題」以外の誤り原因を「知識の問題」と判定した.
不足している知識（解決のために必要としている知識）としては, 現状のシステムの枠組みから考え，(a) その表現自体が訓練データに必要（記号 2-a），(b) 周辺単語に同じ単語が必要（記号 2-b), 及び (c) 周辺単語に類似単語が必要（記号 2-c), の3つを設定した.

例えば事例 9 の「…待ち伏せて詫びを*入れる*振りをしながら‥」の「入れる」の語義の識別には「詫びを入れる」が訓練データに必要と考え「（a）その表現自体が訓練データに必要」

識別も「国際電話」が訓練データに必要だと考えた.

また事例 32 の「どうすればくもりを*取る*ことが出来ますか？」の「取る」の語義は単語「くもり」が対象単語の周辺に存在することが必要と考え, 「(b) 周辺単語に同じ単語が必要」と判定した. (a) との差異は少ないが, (a) は慣用表現に近い表現であり, 単語間に別の単語が插入できない，態が変化できない，などの特徴があるが，(b) は「くもりをきれいに取る」や「きれいに取ったくもり」という表現が可能であり，慣用表現とは異なると考えた.

また事例 45 の「…患者はどこの病院でも*診*て貪えない…のの「診る」の語義は対象単語の周辺に「病院」と類似の単語が存在することが必要たと考え,「(c) 周辺単語に類似単語が必要」と判定した.

## 3.4.4 領域の問題

語義曖昧性解消の誤りは上記までの項目のいずれかに該当すると考えられるが，特殊なケー スとして訓練データのコーパス内にはまれにしか出現しない表現が，テストデータとして出現したために生じる誤りが存在する。これは領域適応の問題であり，教師あり学習により問題解決を図った場合に必ず生じる問題である (Søgaard 2013). この原因の誤りを「領域の問題」と判定した（記号 3 -a）。例えば事例 4 や事例 42 はテスト文が古文であり，学習の対象であった領域とは異なっている。このような誤りを「領域の問題」と判定した.

## 3.5 藤田の分析：素性に着目

まず，採用した誤り分析の考え方について述べる。教師あり学習の場合, 適切なラベルと素性を得ることができればほぼ正しく識別可能だと考えられる。適切な素性があるにも関わらず誤りになる場合, 素性に付与する重みが適切ではないなど，学習器側の問題だと考えることができる。そこで，当初は，適切な素性があるかどうか，あるならば，素性に対する重みの付与などが適切かどうかを調査することを考えた。ただし，そもそも適切な素性が得られていないものが大半だったため, 最終的には重みの適切さについての詳細な調査は行わず，素性を増やした場合でも誤りとなる事例について, 原因と対処方法について考察した.

以下， 3.5.1 節では, 分析対象の 50 事例に対して, 素性の重なりに着目した分析を示す.さらに，3.5.2 節では, 自前の語義曖昧性解消システムを用いて分析対象の 50 事例の語義識別を
行い，そのシステムでも誤りとなった 16 事例についての詳細な分析結果を示す. 最後に 3.5 .3 節で，語義曖昧性解消というタスクを考える上で，今後考えるべき問題点について考察する.

## 3.5.1素性の重なりの調査

まず，分析用システムの出力語義（以下，SYS）と正解語義（以下，COR）が付与された訓練データから得られる素性と, 対象のテスト文から得られる素性の重なりを調査した.

例えば，事例 13 の場合, 対象テスト文の 19 種類の素性のうち, 10 種類は SYS と COR の両方の訓練データに出現し， 8 種類は両方に出現しない．差がある素性は， 1 種類（'e $17=11950 ， 2$語前の分類語彙表の値）のみであり，これは，SYSの訓練データのみに出現している，つまり， CORにのみ出現するような特徴的な素性は得られていないことがわかる.

COR の訓練データにだけ存在する（手がかりになる可能性が高い）素性が存在するかどうかに着目すると，分析対象とした 50 事例のうち, CORの訓練データにだけ出現する素性がある

素性の不足に対応するには，学習データ自体を何らかの方法で増やすか，学習データが変わらない場合には，利用する素性を増やす必要がある.

分析用システムでは，与えられた訓練データだけを用いており，利用している素性も比較的少ない. しかし, 事例 13 の場合でも，同一文中に「ライン」や「経験」など，他に素性として有効そうな語があることから， ウインドウ幅を広げたり， Bag-of-words (BOW) を利用することでも正解となる可能性がある。また，分析用システムでは，辞書の例文を訓練デー夕として利用していないが，例文は重要な手がかりであり，簡便に追加できる訓練デー夕となり得る.

そこで，次節では，例文などを訓練データに用いた自前のシステム ((Fujita and Fujino 2013).以降, このシステムを「藤田のシステム」と呼ぶ. ) の結果と比較し, 両方で共通する誤り事例に対して，誤り分析を行う.

## 3.5 .2 共通の誤り事例

まず，藤田のシステムの概要を説明する．藤田のシステムは， 2 段階に分けられる． Step-1 では，語義が付与されていない生コーパスの中から辞書の例文を含む文を抽出し，ラベルありデータとして自動獲得する，例えば，語義 15615-0-0-2 の例文「工事現場」を含む文として，例 (1) ${ }^{12}$ のような文をラべルありデータとして利用できる。特に人間用の紙の辞書の場合, 省スペー ス化のため，例文は非常に短いことが多い．Step-1 では，例文だけをラベルありデータとして追加するより，より長くて情報量の多い文を自動獲得できることが利点である.

（1）足場などを組み合わせて建設工事現場や各種工場のラインをつくる。

Step-2 では, ラベルありデータとラベルなしデータを訓練データとして, 半教師あり学習法 (ハイブリッド法, Maximum Hybrid Log-likelihood Expectation: MHLE, (Fujino, Ueda, and Nagata 2010）を適用する. MHLEでは，ラベルありデータで学習させた ME モデル（識別モデル）とラベルなしデータで学習させた NB モデル（生成モデル）を統合して分類器を得る.

素性は, 分析用システムで利用している素性以外に, 各語の原形, 前後 3 語以内の bigrams, trigrams, skipbigrams, 各対象語と同一文内に出現する全内容語の原形, トピック分類の結果 ${ }^{13}$利用している，ただし，係り受け情報 (e16) と分類語彙表の値 (e17-e20) は利用していない.

もちろん, 藤田のシステムを利用した場合, 正解になるばかりではなく, 逆に分析用システムでは正解だったテスト文が不正解になる場合もあるが, 本節では両者の共通の誤り事例を取り上げる。分析対象の 50 事例の内, 藤田のシステムでも誤った事例は 16 事例であった. その分析結果を表 8 に示す.

表 8 から， $[\mathrm{A}][\mathrm{B}]$ は両手法で解くことは困難だと考えられる。 [C][D] は素性の問題だが, $[\mathrm{C}]$ の場合は, 両手法で採用していない項構造解析 (Semantic Role Labeling, SRL (Gildea and Jurafsky 2002)）を正しく行うことができれば，正解となる可能性がある。なお, これらの対象語はすべて動詞であり，動詞の語義曖昧性解消には，SRLが特に重要であることがわかる，たたし，係り受け解析誤りも含まれる誤り事例については, 係り受け解析の精度向上により正解できる可能性もある. 一方, [D] の場合, 利用した素性が不適切だったり, 少なすぎたと考えられるので,適切な素性を取り出したり，利用素性を増やすことで正解できる可能性がある.

しかしながら, [D] は藤田のシステムでも誤りとなっている。 [D] の誤り事例について, 3.5.1

表 8 共通した誤り事例の分析

 & Difficult &  & 9 & 人間でも識別が困難 \\

^{13}$ Gibbs サンプリングを用いたトピック分類 (http://gibbslda.sourceforge.net/）を行い，分類されたトピック番号を利用.
}
節と同様, 藤田のシステムで得られた素性の重なりを調べると, 訓練データの追加 ${ }^{14}$ と BOW 等の利用にも関わらず，少なくともラベルありデータにおいて，CORにのみ出現した素性はなく，逆にSYSにのみ出現した素性があるという結果だった。なお，両誤り事例とも，CORの語義は元の訓練デー夕にも，それぞれ 1 回と 4 回しか出現しない低頻度語義である. 両対象語は, 語義の頻度分布のエントロピー $\left(E(w)=-\sum_{i} p\left(s_{i} \mid w\right) \log p\left(s_{i} \mid w\right)\right.$. ここで, $p\left(s_{i} \mid w\right)$ は, 単語 $w$ の語義が $s_{i}$ となる確率。(白井 2003)) による難易度分類では, 低難易度の語に分類される。つまり，ある語義が圧倒的に多く出現するため低難易度の語に分類されるが，そうした語の低頻度語義の識別の難しさを示している.

## 3.5.3 考察

前節の分析結果をふまえ，重要だと考える点について考察する。

まず，従来の語義曖昧性解消の問題設定で今後取り組むべき課題として，以下の項目を上げる.

（1）データの質の向上: 人手作成データの一貫性の担保が必要.（表 $8,[A]$ )

（2） 素性の追加: 特に動詞について, 係り受け精度の向上や項構造解析の組み迄みが必要. (表 $8,[\mathrm{C}]$ )

（3）ラベルありデータの追加等: 特に低頻度語義に対して対処方法の考案が必要. (表 $8,[\mathrm{D}]$ )

また, 今後の方向性として, 現在の語義曖昧性解消の枠組みにこだわらず, 他の夕スクでも利用されるには，どういった語義，どういった粒度で識別すべきか検討することが重要だと考える. 特に，そもそも人間にとっても識別が困難な語義（表 $8,[\mathrm{~B}]$ ）の推定が必要なのか, アプリケーションや領域によって必要とされる語義の粒度や種類が異なるにも関わらず, 一律に扱ってよいのかどうか，といった点を考慮すべきだと考えている.

## 3.6 佐々木の分析：パターンの差異に着目

まず，ここでの誤り分析の考え方について述べる。注目したのは訓練データから得られるパターンとテスト事例から得られるパターンとの差異である。ここでいうパターンとは対象語の周辺に現れる素性（単語や品詞など）の組み合わせを指している。一般に教師あり学習では, 訓練データから得られるパターンの集合とテスト事例から得られるパターンとの比較によって識別処理が行われる。つまり誤りの原因はパターンの差異から生じると考えられる。 そして，その差異の原因として以下の 2 点に注目して誤り分析を行った.

(1) 訓練データに不足しているパターン

(2) 訓練データから抽出される不適切なパターン

(1) はテスト事例のパターンが訓練事例に含まれないことから生じる誤りに対応する。 (2) は識別に有効そうなパターンが訓練事例に存在しているにも関わらず生じている誤りに対応する. (2)は適切なパターンを抽出できていないことが原因だと考えた.

作成した誤り原因のタイプ分類を表 9 に示す. 分析対象の 50 事例に表 9 のタイプを付与するが，ここでは重複も許すことにした。以下，各誤り原因について述べる。「構文情報の不足」 はテスト事例の文の構造の情報を捉えていないことを表す。例えば，対象単語を含む単語間の係り受け関係を考慮した素性の不足, 格関係のような文の意味的構造を表現した素性の不足などが挙げられる。「考慮する単語の不足」は語義を識別できる特徴的な共起単語が少ないことを表す.テスト事例において対象単語の前後に出現する共起単語や訓練事例に出現する共起単語の特徴では語義を識別することが難しい場合をこのタイプの誤りとした.「パターンの一部が不足」は品詞情報など, 単語表層以外の特徴的な情報が不足していることを表す。語義を識別できる特徴には名詞や動詞などの特徴的な単語だけではなく, 接続する品詞によって語義が決定する場合もある. 助詞や助動詞といった品詞を含むパターンが大きく影響して誤りとなる場合をこのタイプの誤りとした.「概念情報の不足」は手がかりとして使う単語の上位・下位関係にある単語を利用していないことを表す。テスト事例において対象単語の前後に出現する共起単語に対し, 単語を表層形で利用すると訓練事例の単語と一致しないが, 外部辞書として概念体系を使うと同じ概念として一致する場合がある。同じ概念ではあるが概念体系を利用していないために誤って識別する誤りをこのタイプとした.「表記のずれ」は訓練事例に識別のためのパター ンは存在するが，異表記が原因で誤ったタイプである。「文が短く，手がかりがない」は文が短く, 特徴が捉えにくいことを表す。「再実験では正解した例」は誤り事例集合作成時は異なる語義に分類されたが，再実験を行った結果正しく分類された事例を表す． 2 節の実験では libsvm の default のパラメータ設定を採用したので, モデルの複雑度を調節するコストは $\mathrm{C}=1$, 学習を止める停止基準值は eps=0.001 としていたが, $\mathrm{C}=5$ 及び $\mathrm{eps}=0.1$ と設定して再実験したところ,いくつかの誤り事例に対して正解が得られた。このようにSVM の学習パラメータの変更

表 9 誤り原因のタイプ分類と出現数

によって語義を正しく識別できた事例の誤り原因は「再実験では正解した例」としてまとめた次に，ここで行ったいくつかの誤り分析の例を示す。最も出現数の多い「パターンの一部が不足」の例として，「早く元気な顔を見せて*あげる*事ですね.」を見てみる。「見せてあげる」 と同様の「〜してあげる」というパターンが訓練事例に存在していれば適切に識別できると考元られる。しかし，訓練事例にはそのようなパターンの事例は存在しなかった。その一方で，「あげる事です」に対応する「あげる＋普通名詞＋助動詞」のパターンが異なる語義の事例として存在するために，この用例は誤った語義に識別されたと思われる。「考慮する単語の不足」の例と

身につけるように導く」であり，「〜てください」のパターンが識別に有効そうであるが，誤って識別した語義「知っていることを告げ示す」と共起単語を比較した結果, どちらの語義でもこのパターンが生じていた.このパターン以外に識別に有効そうな素性は存在していないため,結果的に誤っている。このような問題に対処するには，訓練事例数を数多く用意し，「教える」 の前に接続する単語の種類を揃える必要があると考える。「概念情報の不足」の例として，「…悲鳴を*ああげ*ながらずんずん進んだ…」がある。この事例の正しい語義は「勢い・資格・価値・程度を高める.」である。辞書にはこの語義の用例として「声を（高く）出す.」があるため， この語義が正解であることは明らかである。しかし，分析用システムは「取り出して言う.」と誤って識別した. 正しい語義の訓練事例には「声」,「叫び声」,「歓声」といった声に関連する単語が含まれているため, テスト事例の「悲鳴」も含めて同じ「声」の概念として捉えることができれば識別可能だったと考えられる。「表記のずれ」の例として，「落札する前に聞いた方が *いい*ですか？」がある，訓練事例には正しい語義の事例で「ほうがいいです」との表記を持つものがあり，テスト事例の「方」をひらがなの「ほう」に変更して識別を行うと適切に語義を識別することができた．このように，異表記を正しく解析できないために誤ることもある。

## 3.7 古宮の分析：最大頻度語義と素性に注目

機械学習の観点から誤りの原因の分析を行った. 具体的には, 訓練事例中の最頻出語義 (Most Frequent Sense, 以下 MFS）の割合や，テスト事例と訓練事例の間の素性の違いと共通性を見ることで，機械学習の特質から説明できる誤りを主に分析した。分析の結果を表 10 に示す。な

表 10 古宮による誤り原因のタイプ分類とその出現数

お,「MFS に誤分類」の 2 つの分類（表 10 の $\mathrm{M}$ と $(\mathrm{M})$ ）には重複して分類されることはないが, これらと「テスト事例の素性が訓練事例の素性と等しい」（表 10 の F）と「分からない，自信がない」（表 10 の？）については重複して分類されることがある.

ここでの分析では，まず，MFSに注目した。分析用システムの識別結果が a であり，それが誤りであった場合, a は対象単語の MFS である可能性が高いと考えたためである. そこで,「MFS に誤って分類された」事例と，そうでない事例の分類を行った. すると，分析対象の 50 事例中の 32 事例が「MFS に誤って分類された」事例であることが分かった. 更に，「MFSに誤って分類された」事例の中で，MFS と第二位の比率を持つ語義（第二語義）との訓練事例数の差が小さい (4 以内の) ものが 5 事例であり, 残りの 27 事例は, MFS と第二語義との訓練事例数の差が大きい（8 以上の）ものであった. なお, 差が 5 から 7 の事例は存在しなかった ${ }^{15}$.

例えば，最も顕著な例は対象単語の「場所」である。「場所」の 50 個の訓練事例のうち， 49 事例が語義 41150-0-0-1（ところ）であり，語義 41150-0-0-2（居るところ）は 1 事例しかなかった. その結果，「場所」のテスト事例はすべて語義 41150-0-0-1 と識別されており，テスト事例中に 2 つあった語義 41150-0-0-2 は誤りとなっていた.

このことから，誤りの原因として，機械学習の特質により，MFS に誤って分類されるということが大きいことが分かる。また，この例にも見られるように，今回の分析で用いた訓練事例の少なさから, 少量の事例しか持たない語義は十分に学習ができていないことがあったと思われる。

次に，テスト事例の素性が訓練事例の素性と等しいことで，誤っている事例を目視で探した。例えば，「意味」の事例の一つ，「“これらの単語で*意味*が通じるよ」の「意味」(正解は語義 2843-0-0-1（その言葉の表す内容. 意義. )）は,「対象の単語の一つ後の形態素」が「が」である，という素性が強く働いたためであると思われる。この素性は語義 2843-0-0-3（表現や行為のもつ価値. 意義. ）に頻出していたことから, 語義 2843-0-0-3 に誤って識別されている.この例は, 語義 2843-0-0-3 として訓練事例にあった「意味がある」「意味がない」に「意味が通じる」という表現が少し似ていた，と見ることができる。このようなものは 22 事例あった.

このように表現の類似性は, 実際に語義曖昧性解消の手掛かりともなるが, 逆に誤りの原因ともなっている。なお，このような，素性が誤りの原因と思われる事例に対しては，「F」を付与した。また, 訓練事例中に何度も現れる顕著な素性ではない場合には, 素性が強く働いたかどうか分からないため, 「F」とともに「?」も付与した. さらに, これらの観点から分類が難しかったものに対しては，単独で「?」を付与した。

また，他にも，ここでの誤り分類のタイプには含めなかったが，この素性が訓練事例にあれ

ば識別可能だと思われる素性が，訓練事例にない場合が 2 つ存在した。一つは，「早く元気な顔を見せて*あげる*事ですね」であり，正解は語義 545-0-3-2（敬語としての用法）だが，手掛かりとなりそうな「ひとつ前の形態素が『て』である」という素性が訓練事例には存在しなかった.

また「「“ええ水をお*あたえ*くださいませ $\cdots$ お」正解は語義 755-0-0-1（自分の物を他人に渡し，その人のものとする.）であり，この「おあたえくたさる」という表現は典型的であると思われるが，訓練事例に「与えてください」のように「与える」と「くださる」の間に「て」をはさむ用法はあっても，このような用法は存在しなかった.

最後に，分類語彙表の值に曖昧性があり，本来の意味ではない値が付与されていたために，誤った事例が 1 つあった.「凝固する際に*出る*熱を冷やしているから $\cdots 」$ という用例で，これは,「〜（の）際（さい）」という表現が「きわ」として誤って解析されたために誤った例である。「出る」の訓練事例には「きわ」と同じ意味分類を持つ「外」などを $2 \supset$ 前の形態素にもつ事例が 2 つった。

## 4 クラスタリングを用いた分析結果の統合

## 4.1 誤り原因のクラスタリング

前掲の表 1 が各自の分析結果である。誤り分析の次のステップとしては, これらを統合し，各人が同意できる統一した誤り原因のタイプ分類を作成し，それに対する考察を行う必要がある.しかし各自の分析結果を統合する作業は予想以上に負荷が高かった．統合作業では分析対象の誤り事例一つ一つに対して, 各分析者が与えた誤り原因を持ち寄って議論し, 統合版の誤り原因を決定しなければならない。しかし，誤りの原因は一意に特定できるものではなく，しかもそれを各自が独自の視点でタイプ分けしているため, 名称や意味がばらばらな誤り原因が持ち寄られてしまい議論がなかなか収束しないためであった。また統合の処理を議論によって行う場合, 結果的に誰かの分析結果をべースに修正していく形になってしまう. 誰の分析結果をべースにすればよいかも正解はなく，しかもある人の分析結果をべースにした時点で，他の人の分析結果に含まれるかもしれない重要な情報を捨ててしまう危険性もある. つまり分析者全員が同意できるような誤り原因のタイプ分類を，グループ内の主観に基づく議論のみから作成するのは，負荷が高い作業になってしまう.

このような背景から，我々は各自の誤り原因を要素とする集合を作り，それをクラスタリングすることで，ある程度機械的な誤り原因のタイプ分けを試みた。 クラスタリングでは分析者全員の分析結果を公平に扱っている。またクラスタリングによって作成できた誤り原因のタイプ分類は各人のタイプ分類を代表しているタイプ分類になっていることが期待できる。結果として，このようなアプローチで作成した誤り原因のタイプ分類は，各分析者が同意できるもの

となり，しかも統合作業の負荷を大きく減らすことができると考えた.

各自の分析では分析対象の 50 事例に対して，各自が設定した誤り原因の記号を付与している形になっている。見方を変えて各自が設定した誤り原因の記号の 1 つ 1 つに注目すると， 50 個の対象事例のどの事例がその誤り原因に対応しているかを見ることができる．対応する事例に 1 を，対応しない事例に 0 を与えれば，誤り原因は 50 次元のべクトルに変換することができる. そしてこのべクトルの距離が近いほど誤り原因の意味が近いと考えることができるため, ベクトルに変換した誤り原因のクラスタリングが可能となる.

まず各自の誤り原因を取り出すと, 全部で 75 個存在した。この 75 個の誤り原因がクラス夕リングの対象である。処理のために各誤り原因に ID 番号を付与した。また誰が設定した誤り原因かがわかりやすいように，番号には各人を表す記号を前置している。m-は村田，sr-は白井, fk-は福本, sn-は新納, fj- は藤田, ss- は佐々木, k-は古宮を意味する。この誤り原因と ID 番号との対応は付録 2 に記した。また付録 2 には誤り原因の意味（簡単な説明）も付与している．以後，誤り原因に対してはこのID 番号によって参照することにする． 75 個の各誤り原因を 50 次元のベクトルに変換し，そのノルムを 1 に正規化した後に Ward 法によりクラスタリングを行った (新納 2007). このクラスタリング結果であるデンドログラムを図 2 に示す.

## 4.2 クラスタの抽出

誤り原因の総数が 75 個, 分析者が 7 人であり, その平均から考え, 誤り原因は 10 個前後に設定するのが適切だと考えた。そこで図 2 のデンドログラムから目視により, 図 3 に示す A から M の 13 個のクラスタを取り出した。各クラスタに含まれる誤り原因の ID 番号を表 11 に示す.またクラスタ内の各誤り原因には対応する事例が存在するので, その総数と種類数も表 11 に示す。

図 2 クラスタリング結果

図 3 クラスタの設定

表 11 クラスタ内の誤り原因と対応する事例数

## 4.3 各自の分析結果の統合

クラスタリングにより A から M の 13 個のクラスタを取り出した。次に各クラスタに意味を与える必要がある。この意味を与えることで各自の分析結果の統合が完成する. ただし各クラスタに正確に 1 つの意味を与えることは困難である。通常，クラスタにある意味を設定した場合, クラスタ内にはその意味とは異なる要素が含まれることが多い.

ここでは各クラスタ内の要素（誤り原因）を精査し，その意味を設定する。意味を割り当てることができたクラスタが統合版の誤り原因となる。次にその意味から考え, 不適な要素を省いたり別クラスタに移動させたりすることで, 最終的な統合を行う。

## 4.3.1 クラスタの意味の付与とクラスタの合併

クラスタに意味を付与するには, クラスタ内の類似している要素に注目し, それらの共通の意味を抽出することで行える．この段階で意味が同じクラス夕は合併することができる．以下，各クラスタについてその内容を表にまとめる。その表の「注目」の列に“○”がついているものが意味付けを行うために注目した要素である.

## クラスタ $\mathbf{A:$ 【削除】}

クラスタ A の内容は以下の通りである。意味付けは困難でありこのクラスタは削除する。

## クラスタ B: テスト文に問題あり

クラスタ B の内容は以下の通りであり，意味は「テスト文に問題あり」とした。

## クラスタ C:【削除】

クラスタ $\mathrm{C}$ の内容は以下の通りである。意味付けは困難でありこのクラスタは削除する。

## クラスタ D:【削除】

クラスタ D の内容は以下の通りである。意味付けは困難でありこのクラスタは削除する.

## クラスタ $\mathrm{E:$ シソーラスの問題}

クラスタ $\mathrm{E}$ の内容は以下の通りであり，意味は「シソーラスの問題」とした.
新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

## クラスタ F: 学習アルゴリズムの問題

クラスタ $\mathrm{F}$ の内容は以下の通りであり，意味は「学習アルゴリズムの問題」とした.

k-74 (分からない, 自信がない) に“○”を付けている. k-74 は古宮が設定した分類である.古宮の分類観点を見ると， k-74 が付けられた事例は MFS の観点あるいは素性の様子からでは誤りの原因が特定できないものであることがわかる。これは分析用システムで利用した SVM による影響と見なせる。そのため $\mathrm{k}-74$ も「学習アルゴリズムの問題」と見なした.

## クラスタ G: 訓練データの不足

クラスタ G の内容は以下の通りであり，意味は「訓練データの不足」とした.

fj-55 (藤田のシステムで正解) に“○”を付けている．藤田のシステムは訓練データを拡張した手法である。そのシステムで正解となったということで，その誤りの原因を「訓練データの
不足」と見なした.

## クラスタ $\mathrm{H$ : 共起語の多義性}

クラスタ H の内容は以下の通りであり，意味は「共起語の多義性」とした。

## クラスタ I: 構文・格・項構造の素性不足

クラスタ I の内容は以下の通りであり，意味は「構文・格・項構造の素性不足」とした．

## クラスタ $\mathrm{J:$ データの誤り}

クラスタ J の内容は以下の通りであり，意味は「データの誤り」とした。

## クラスタ $\mathrm{K$ : 深い意味解析が必要}

クラスタ K の内容は以下の通りであり，意味は「深い意味解析が必要」とした.

sn-46 (辞書の語義が似ていて識別困難（正解の誤りも含む））に “○”を付けている. sn-46 は新納が設定した分類である。新納は $\mathrm{sn}-46$ と sn-47 (深い意味解析が必要) を区別しているが， そこでの説明にもあるように，これらの違いは一概に判断できない，sn-46 のタイプの誤りのほとんどは，その文脈上で人間は語義を識別できると考え，ここではまとめることにした。また fj-56 (人間でも判別が困難) にも“○”を付けているが，これは sn-46 あるいは sn-47 の意味と考えられるためである。
新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

## クラスタ $\mathrm{L:$ 【クラスタ I と合併】}

クラスタ L の内容は以下の通りであり，意味は「構文・格・項構造の素性不足」とした. これはクラスタ I の意味と同じであり，クラスタ L はクラスタ I と合併する.

## クラスタ $\mathrm{M:$ 素性のコーディングが困難}

クラスタ $\mathrm{M}$ の内容は以下の通りであり，意味は「素性のコーディングが困難」とした。

以上より記号 B, E, F, G, H, I, J, K 及び M で示される 9 個の統合版の誤り原因を設定した (表 13 参照).

## 4.3.2 クラスタリング結果の調整

クラスタリングの対象であった 75 個の誤り原因のうち，統合版の誤り原因に置き換えられるものは 35 種類であった. 残り 40 種類の誤り原因の中で統合版の誤り原因に置き換えられるものを調べた．基本的には各分析者が自身の設定した誤り原因の意味と統合版の誤り原因の意味を比較することで行った。結果，以下の表 12 に示した 11 個の置き換えができると判断した。

上記の調整を行った後の統合版の誤り原因は表 13 にまとめれる。本論文ではこれを「統合版誤り原因のタイプ分類」と名付けることにする.
表 12 統合版の誤り原因への置き換え

表 13 統合版誤り原因のタイプ分類

 &  \\

## 4.4 事例への誤り原因のラベル付与

ここでは分析対象の 50 事例を統合版誤り原因のタイプ分類に基づいてラベル（記号）を付与する。まず対象事例に対する各自の分析結果である表 1 の各記号を，統合版誤り原因のタイプ分類の記号に置き換える。次に 2 名以上が同じ記号を付けていた場合に，その記号をその事例に対する誤り原因とする。結果を表 14 に示す。「統合タイプ」の列が統合版誤り原因のタイプ分類による記号を表す。

以下に示す対象事例の 25,42 には記号が付与されなかった。これらの事例に対しては, 誤り原因が分析者により異なり，共通した原因がなかったためであるといえる.

 & & \\

新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

表 1450 事例に対する統合版の誤り原因の付与

 & 佐々木 & 古宮 & 統合タイプ \\

表 15 統合版の誤り原因の事例数と累積カバー率

また表 14 から得られる統合版の誤り原因の事例数を大きい順に表 15 に示す. 累積カバー率はその順位までのタイプを使って分析対象の 50 事例をどの程度カバーしているかを表す。表 15 から誤りの 9 割は上位 3 つの「G: 訓練データの不足」「K: 深い意味解析が必要」「E: シソーラスの問題」のいずれか，あるいはそのいくつかが原因であることがわかる.

## 5 考察

## 5.1 統合版誤り原因のタイプ分類の評価

ここでは統合版誤り原因のタイプ分類の評価を行う。本論文が目標としたタイプ分類は分析者 7 名のタイプ分類を代表するタイプ分類であるため, この観点から評価を行う．そのために，誤り原因のタイプ分類間の類似度を定義し，各タイプ分類間の類似度を測る．統合版誤り原因のタイプ分類がどの分析者の誤り原因のタイプ分類とも類似していれば，統合版誤り原因の夕イプ分類が本論文で目標としていたタイプ分類であることがいえる.

$A$ と $B$ を誤り原因のタイプ分類とし， $A$ と $B$ の類似度 $\operatorname{Sim}(A, B)$ の定義を行う。 $A$ の要素である各誤り原因は，本論文のクラスタリングで利用したように 50 次元のべクトルで表現できる16.そして $A$ の誤り原因が $m$ 種類のとき， $A$ は以下のような集合で表現できる.

$
A=\left.\{a_{1}, a_{2}, \cdots, a_{m}\right.\}
$

同様に， $B$ の誤り原因が $n$ 種類のとき， $B$ は以下のような集合で表現できる.

$
B=\left.\{b_{1}, b_{2}, \cdots, b_{n}\right.\}
$

ここで $a_{i} や b_{j}$ は 50 次元のベクトルである.

本論文では $\operatorname{Sim}(A, B)$ を以下で定義する.

$
\operatorname{Sim}(A, B)=\max _{Q} \sum_{(i, j) \in Q} s\left(a_{i}, b_{j}\right)
$

ここで $s\left(a_{i}, b_{j}\right)$ は $a_{i}$ と $b_{j}$ の類似度であり，ここでは内積を用いる. また $Q$ は誤り原因のラ

ラベルの対応は以下の 6 通りが存在する，Qはこの中のいずれかになる.

$
\begin{array}{lll}
\{(1,1),(2,2)\}, & \{(1,2),(2,1)\}, & \{(1,2),(2,3)\} \\
\{(1,3),(2,2)\}, & \{(1,1),(2,3)\}, & \{(1,3),(2,1)\}
\end{array}
$

つまり $\operatorname{Sim}(A, B)$ はラベル間の対応 $Q$ に基づく誤り原因間の類似度の和を意味する. 問題は最適な $Q$ の求め方であるが, 一般にこれは組み合わせの数が膨大になるため, 求めることが困難である。ここでは単純に以下の擬似コードで示される貧欲法により $Q$ を求め，その $Q$ を用いて $\operatorname{Sim}(A, B)$ を算出することにした.

上記の疑似コードの概略を述べる。 まず $A$ も $B$ も記号の添え字でラベルを表すことにする。 $A$ のラベルの集合を $K, B$ のラベルの集合を $H$ とする. 各 $(i, j) \in(K, H)$ に対して, $\operatorname{sim}\left(a_{i}, b_{j}\right)$ を求めることで, $\operatorname{sim}\left(a_{i}, b_{j}\right)$ が最大となる $(i, j)$ が求まる. これを $Q$ に追加し, $K$ から $i$ を, また $H$ から $j$ を取り除く. この処理を $K$ か $H$ のどちらかの集合が空になるまで続け, 最終的な $Q$ を出力とする.

またここではラベルの意味を考慮して $Q$ を設定していないことに注意しておく. 我々の問題ではラベルに意味が付けられている。このラベルの意味から要素間の対応を取り $Q$ を設定することも可能である. しかしここではそのようなアプローチは取らなかった. つまりここでは分析者 $A$ が誤り原因 $i$ に付与した（主観的な）意味と，分析者 $B$ が誤り原因 $j$ に付与した（主観的な）意味が似ているか似ていないかは考慮せずに， $i$ や $j$ のベルが付与された事例の分布のみから $i$ と $j$ 類似度を測っている。
表 16 誤り原因のタイプ分類間の類似度

表 17 誤り原因タイプ分類の評価結果

またここでの誤り原因のタイプ分類では，1つの事例に対して複数の誤り原因を与えることを許している。このため明らかに 1 つの事例に多くの誤り原因を与える方が類似度が高くなる. この問題の解消のために 1 つの事例に $k$ 個の誤り原因を与えている場合, その部分の頻度を $1 / k$ に修正した。さらに統合版誤り原因のタイプ分類では, 事例 25,42 にラベルを付与していない.一方，他の分析者は「わからない」「分析していない」などのラべルも許して全ての事例にラべルを付与している。公正な評価のため, 統合版誤り原因のタイプ分類による事例 25,42 にも便宜上「その他」というラベルを付与した。

上記の処理により各誤り原因のタイプ分類間の類似度を求めた結果を表 16 に示す. 表中の各人の名前はその人の誤り原因のタイプ分類を示し，【統合】は統合版誤り原因のタイプ分類を示す。また類似度の横の括弧内の数値は，その行に注目して類似度の大きい順の順位を表す。

各人の縦の列の順位を足して，要素数で割った結果を表 17 に示す。この值が低いほど，全体として他のタイプ分類と類似していることを示しており，統合版誤り原因のタイプ分類が最も良い値を出している。これは統合版誤り原因のタイプ分類が，分析者 7 名のタイプ分類を代表していることを意味し，本論文が目標としていたタイプ分類であることを示している.

## 5.2 統合版誤り原因のタイプ分類を利用した各人の分析結果の比較

ここでは統合版誤り原因のタイプ分類を利用して各人の分析結果の関係を考察する。

各人の誤り分析に対する分析結果は, 細かく見ると, 誤り原因のタイプ分類の構築とその夕イプ分類に従った対象事例への誤り原因のラベル付与からなっている. 各人の分析結果は誤り原因のタイプ分類が異なっているために，直接比較することはできないが，各人が設定した誤り原因を統合版の誤り原因に変換し，誤り原因のラベルを統一することで，各人の分析結果を
新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

比較できる。具体的には表 14 が, 統合版誤り原因のタイプ分類を利用して誤り原因のラベルを統一した各人の分析結果と見なせる。ラベルが付与されていない場合は，仮想的に 10 番目の誤り原因のラベル「その他」が付与されていると考える。これによって表 14 から各人の分析結果を $50 \times 10$ の行列として表現できる ${ }^{17}$. 行列間の距離を各行（事例）間の距離の和で定義すれば，各人の分析結果間の距離が表 18 のように求まる。

表 18 から多次元尺度法を利用して, 各人の分析結果の位置関係を 2 次元にマップしたものが図 4 である.

表 18 各人の分析結果間の距離

図 4 各人の分析結果の位置関係

図 4 の各人の点はほぼ均等に分布しており, 各人の分析結果は互いにかなり異なることが確認できる。その上で以下の 2 点も認められる.

（a）村田, 白井, 藤田, 佐々木の 4 者の点（分析結果）は比較的近くに集まっている.

(b) 古宮の点（分析結果）は比較的孤立している.

（a）は, 表 18 から距離の近い分析者の組を順に並べると (村田, 藤田), (村田, 白井), (藤田, 佐々木), (白井, 藤田) となっていることからも裏付けられる.また上記 4 者の距離が近いのは誤り原因 G「訓練データの不足」の事例数のためと考えられる．以下の表は各人の分析結果に対して，誤り原因 G が与えられた事例数である.

村田, 白井, 藤田, 佐々木の 4 者の分析結果に誤り原因 $\mathrm{G}$ が与えられた事例数は, どれも比較的大きな値であることがわかる．このため 4 者の類似度が高くなり，比較的近くに集まったと考えられる。

(b) は古宮の分析結果からほぼ明らかである。古宮の分析結果には, 誤り原因 F 「学習アルゴリズムの問題」しか与えられていない.このため他の分析者と誤り原因の一致する事例が極端に少ない. 例えば佐々木とは 50 事例中, 誤り原因が一致するものは 2 つしかない. 一致する事例数が少ないと距離が大きくなり，結果的に孤立した位置となる。

## 5.3 統合版誤り原因のタイプ分類と各人のタイプ分類の差

ここでは統合版誤り原因のタイプ分類に置き換えられなかった各人が設定した誤り原因に注目し，それらが統合版誤り原因のタイプ分類に置き換えられなかった理由を調べることで，統合版ならびに各人の誤り原因のタイプ分類の特徴を考察する.

本論文ではクラスタリングを利用して各人の分析結果である誤り原因のタイプ分類を統合した. 原理的には多数決と各人の設定した誤り原因の意味を勘案してタイプ分けを行ったことに相当する．統合の過程で各人の分析結果の一部は切り捨てられ, 結果的に, 統合版に含まれていない．具体的には付録 2 の表の「統合版の誤り原因」の欄が空闌になっているものがそれに当たる。

「切り捨てられた」と言ってもクラスタリング結果の調整を行っているので, 実際は, 設定した誤り原因が統合版の誤り原因のどれにも置き換えられないと判断された結果である. 各人が設定したある誤り原因がある統合版の誤り原因に置き換えられるかどうかの判断は, 主観的な部分も大きく，困難である。また事例数が少ないものは，統合版の構築には影響が出ないために，無理矢理置き換えることを避けたという事情も考えられる。一方，ある誤り原因が統合版の誤り原因に置き換えられないことが比較的明らかなものも多い. これはその誤り原因が独自の観点のためである。例えば白井の $\mathrm{sr}-28$ (過学習), sr-29（消去法）, 新納の sn-53（領域の問
題)，藤田の fj-64（テスト文が古文）などである。また古宮の設定した誤り原因のほとんど（4 中 3 つ）が統合版の誤り原因に置き換えられていない，具体的には k-72（MFSに誤分類（第二語義との差が大きい)）, k-73（MFS に誤分類（第二語義との差が小さい））及び k-75（テスト事例の素性が訓練事例の素性と等しい）である。古宮のタイプ分類は, 語義曖昧性解消の問題を分類問題として一般化した上で, その現象べースから誤りの原因を考えようとしたものであり,上記 3 つはどれも独自の観点と見なせる。また福本の $\mathrm{fk}-40$ （形態素解析での品詞推定誤り）, $\mathrm{fk}-43$ (慣用句表現の認識), fk-44（省略語の補完）及び fk-45（複合名詞の認識誤り）は福本が 「語義曖昧性解消タスク外の問題」と位置づけたものであり，これも独自の観点と見なせる.

独自の観点とは多少異なるが，統合版の誤り原因の異なるタイプの部分的な和になっている，言わば，混合した観点も統合版の誤り原因とは異なると考えた．例えば村田の m-1（素性の種類の不足）は，主に以下の 2 種類の誤り原因に対応する.

(1) 同一文内の共起語を素性に利用すべき

(2) 分類語彙表の分類番号の 3 桁や 4 桁も利用すべき

（1）は統合版誤り原因 K 「深い意味解析が必要」に対応し， (2) は統合版誤り原因 E「シソー ラスの問題」に対応すると考えられる。つまり村田の m-1（素性の種類の不足）はこれらを混合した観点と言える。佐々木の ss-66（考慮する単語の不足）の場合, テスト事例あるいは訓練事例における「単語の不足」であるため, 統合版誤り原因 G「訓練デー夕の不足」と統合版誤り原因 K 「深い意味解析が必要」の混合した観点となっている.

統合版の誤り原因に置き換えられなかった各人が設定した誤り原因のほとんどは独自の観点か混同した観点であり，しかも事例数が少ない.この点から統合版誤り原因のタイプ分類は,各人のタイプ分類を代表するタイプ分類であるだけでなく，各人が設定した誤り原因の主要部分が反映されたタイプ分類でもある。その結果，統合版誤り原因のタイプ分類は，標準的な語義曖昧性解消の誤り原因のタイプ分類になっていると考えられる。また標準的な誤りの原因のタイプ分類を定量的なデータと共に提示できた意味は大きい。語義曖昧性解消の問題に新たに取り組む者にとって，標準的な手法を用いた場合に，どのような誤りがどの程度出現するのかの目安を得られることは有益である。その上で独自の手法を考案する際，提案手法がどのような誤りの解決を狙っているのかといった研究の位置づけも明確になる点も長所である.

最後に, ここで作成した統合版誤り原因のタイプ分類の問題点として, タイプの粒度の問題が存在することを注記しておく．本論文では統合版誤り原因のタイプ分類を作成するのにクラスタリングを利用している。そこではまず誤り原因のクラスタを 13 個作成したが（図 3 参照）, 1 つのクラスタに最大 1 つのタイプしか与えなかった. これはタイプの粒度を一定に保つために行った処置である。このためある粒度のタイプ分けは行えているが, その粒度が粗すぎることも考えられる。例えば統合版誤り原因 G「訓練データの不足」と言っても，どのような夕イプの「訓練デー夕」なのかで詳細化できる。また統合版誤り原因 K「深い意味解析が必要」も,

どのような「意味解析」なのかで詳細化ができる。このような詳細化は有益であり, 本研究の今後の課題と言える.

## 6 おわりに

本論文では Project Next NLP の「語義曖昧性解消」チームの活動として行われた語義曖昧性解消の誤り原因のタイプ分けについて述べた。誤り分析の対象事例を設定し，メンバーの 7 名が各自誤り分析を行った. 各自の分析結果はかなり異なり, それらを議論によって統合することは負荷が高いことから，ここでは各自の設定した誤り原因（計 75 個）を対応する事例を用いてべクトル化し, それらのクラスタリングを行うことで, ある程度機械的に統合処理を行った。

クラスタリングによって統合版の誤り原因を特定し, クラスタリング結果の微調整によって最終的な誤り原因のタイプ分類を作成した。 得られた誤り原因の主要な 3 つにより, 語義曖昧性解消の誤りの 9 割が生じていることも判明した。また得られたタイプ分類はタイプ分類間の類似度を定義して考察した結果, 分析者 7 名のタイプ分類を代表するものであることも示した. また統合した誤り原因のタイプ分類と各自の誤り原因のタイプ分類を比較し，ここで得られた誤り原因のタイプ分類が標準的であることも示した.

本研究で得られた誤り原因のタイプ分類は標準的であり，それを定量的なデータと共に提示できた意味は大きい．今後，一部のタイプを詳細化することで改善していけると考える。この点が今後の課題である.

## 参考文献

Fujino, A., Ueda, N., and Nagata, M. (2010). "A Robust Semi-supervised Classification Method for Transfer Learning." In Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM'10), pp. 379-388.

Fujita, S. and Fujino, A. (2013). "Word Sense Disambiguation by Combining Labeled Data Expansion and Semi-Supervised Learning Method." Transactions on Asian Language Inforamtion Processing, Association for Computinng Machinery (ACM), 12 (7), pp. 676-685.

Gildea, D. and Jurafsky, D. (2002). "Automatic Labeling of Semantic Roles." Computational linguistics, 28 (3), pp. 245-288.

Mihalcea, R. and Moldovan, D. I. (1999). "An Automatic Method for Generating Sense Tagged Corpora." In Proceedings of the American Association for Artificial Intelligence (AAAI1999), pp. 461-466.
村田真樹，神崎享子，内元清貴，馬青，井佐原均 (2000). 意味ソート msort一意味的並ベかえ手法による辞書の構築例とタグつきコーパスの作成例と情報提示システム例一. 言語処理学会誌, 7 (1), pp. 51-66.

村田真樹, 内山将夫, 内元清貴, 馬青, 井佐原均 (2003). SENSEVAL2J 辞書タスクでの CRL の取り組み一日本語単語の多義性解消における種々の機械学習手法と素性の比較一. 言語処理学会誌, $10(3)$, pp. 115-133.

西尾実，岩淵悦太郎，水谷静夫 (1994). 岩波国語辞典第五版. 岩波書店.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2011). "On SemEval-2010 Japanese WSD Task.”自然言語処理, 18 (3), pp. 293-307.

白井清昭 (2003). SENSEVAL-2 日本語辞書タスク. 自然言語処理, 10 (3), pp. 3-24.

Søgaard, A. (2013). Semi-Supervised Learning and Domain Adaptation in Natural Language Processing. Morgan \& Claypool.

強田吉紀, 村田真樹, 三浦智, 徳久雅人 (2013). 機械学習を用いた同義語の使い分け. 言語処理学会第 19 回年次大会, pp. 585-587.

新納浩幸 (2007). R で学ぶクラスタ解析. オーム社.

## 付録

## A 誤り分析対象の 50 用例

 \\

 \\

新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

 \\

## B 各人の誤り原因の一覧

 & 意味 \\

 & 意味 \\

新納, 村田, 白井, 福本, 藤田, 佐々木, 古宮, 乾クラスタリングを利用した語義曖昧性解消の誤り原因のタイプ分け

## 略歴

新納浩幸: 1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年より茨城大学工学部助手. 2015 年同学部教授. 現在に至る.博士 (工学)．機械学習や統計的手法を用いた自然言語処理の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会各会員.

村田真樹：1993 年京都大学工学部電気工学第二学科卒業. 1997 年同大学院工学研究科電子通信工学専攻博士課程修了. 博士 (工学). 同年, 京都大学にて日本学術振興会リサーチ・アソシエイト. 1998 年郵政省通信総合研究所入所. 2010 年鳥取大学大学院工学研究科教授. 現在に至る. 自然言語処理, 情報抽出の研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会各会員.

白井清昭：1993 年東京工業大学工学部情報工学科卒業. 1998 年同大学院情報理工学研究科博士課程修了. 同年同大学院助手. 2001 年北陸先端科学技術大学院大学情報科学研究科助教授. 現在に至る. 博士 (工学). 統計的自然言語解析に関する研究に従事. 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

福本文代 : 1986 年学習院大学理学部数学科卒. 同年冲電気工業株式会社入社.総合システム研究所勤務. 1988 年より 1992 年まで財団法人新生代コンピュー 夕技術開発機構へ出向. 1993 年マンチェスター工科大学計算言語学部修士課程修了. 同大学客員研究員を経て 1994 年より山梨大学工学部助手, 2010 年同学部教授, 現在に至る. 自然言語処理の研究に従事. 理博. ACM, ACL, 情報処理学会各会員.

藤田早苗：1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, NTT 日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所研究主任. 博士 (工学). 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会各会員.

佐々木稔：1996 年徳島大学工学部知能情報工学科卒業. 2001 年同大学大学院博士後期課程修了. 博士 (工学). 2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索, 自然言語処理等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

古宮嘉那子 : 2005 年東京農工大学工学部情報コミュニケーション工学科卒. 2009 年同大大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京
工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 2014 年茨城大学工学部情報工学科講師. 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

乾孝司: 2004 年奈良先端科学技術大学院大学情報科学研究科博士課程修了.日本学術振興会特別研究員, 東京工業大学統合研究院特任助教等を経て, 2009 年筑波大学大学院システム情報工学研究科助教. 2015 年同准教授. 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 近年は CGMテキストに対する評判分析に興味をもつ.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/