# 単語アライメントを用いた英日機械翻訳文の流暢さの自動評価

本稿では, 人間による翻訳 (人間訳)と機械翻訳システムによる翻訳 (システム訳)を 訓練事例とした機械学習によって構築した識別器を用いてシステム訳の流暢さを自動評価する手法について述べる。提案手法では, 人間訳とシステム訳の流暢さの違 いを表わす手がかりとして, 逐語訳（原文と翻訳文での単語同士の対応）に着目し た。人間訳とシステム訳における逐語訳の違いを捉えるために，原文と人間訳との 間，および原文とシステム訳との間で単語対応付けを行ない，その結果を機械学習 のための素性とする. 提案手法は, 識別器を構築する際に対訳コーパスを必要とす るが，評価対象のシステム訳の流暢さを評価する際には参照訳を必要としない. さ らに，大量の訓練事例に人手で流暢さの評価値を付与する必要もない。検証実験の 結果, 提案手法によってシステムレベルでの自動評価が可能であることが示唆され た。また, サポートベクターマシンによる機械学習で各素性に付与される重みに基 づいてシステム訳に特徴的な素性を特定できるため, このような素性を含む文を観察することによって文レベルでのシステム訳の特徴分析を行なうこともできる。

キーワード：機械翻訳，自動評価, 流暢さ, 逐語訳, 単語対応付け, 機械学習
## Automatic Evaluation of the Fluency of English-to-Japanese Machine Translation Using Word Alignment

\author{
Takehiko Yoshimi $^{\dagger}$, Katsunori Kotani $^{\dagger \dagger}$, Takeshi Kutsumi ${ }^{\dagger \dagger}$, \\ ICHIKO SATA ${ }^{\dagger \dagger \dagger}$ and HITOSHI ISAHARA ${ }^{\dagger \dagger \dagger \dagger}$
}

This paper presents a method of automatically evaluating the fluency of machinetranslated sentences. We constructed a classifier that would distinguish machine translations from human translations, using Support Vector Machines as machine learning algorithms. In order to obtain a clue to the distinction, we focused on literal translations (word-for-word translations). The classifier was constructed based on features derived from word alignment distributions between source sentences and human/machine translations. Our method employed parallel corpora to construct the classifier but required neither manually labeled training examples nor multiple reference translations to evaluate new sentences. We confirmed that our method could assist evaluation on system level. We also found that this method could identify the

qualitative characteristics of machine translations, which would greatly help improve the translation quality.

Key Words: Machine Translation, Automatic Evaluation, Fluency, Word-for-Word Translation, Word Alignment, Machine Learning

## 1 はじめに

機械翻訳システムの研究開発において, システムの翻訳品質の評価は重要なプロセスの一つである。人手による翻訳品質評価では，機械翻訳システムによる翻訳（以下，システム訳）に対して適切さと流暢さの二つの側面から評価値が付与される (隅田, 佐々木, 山本 2005). 適切さは，原文によって読者に伝わる情報のうちどの程度が翻訳文によって伝わるかを測る尺度である。一方，流暢さは，翻訳文が目的言語の文としてどの程度流暢（自然）であるかを原文とは独立に測る尺度である。本研究では，対象を英日機械翻訳に絞り，まず，現状の一般的な英日機械翻訳システムの翻訳品質を把握するために, 市販されている英日機械翻訳システムで得られたシステム訳を適切さと流暢さの側面から評価した。その結果, 4.1 節で述べるように, 適切さの評価値に比べて流暢さの評価値のほうが低く, システム訳の流暢さを向上させることがより重要な課題であることが判明した.

このため，特に流暢さの向上に重点を置いたシステム改善を支援することを目的として，流暢さの評価の効率化を図るための自動評価手法を提案する。流暢さを低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある。辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがある．このため, システム訳には不自然な逐語訳が含まれている可能性が高い. 従って, システム訳と人間による翻訳（以下，人間訳）における逐語訳の違いを捉えることによってシステム訳の流暢さ (の一部) の自動評価が可能になると期待できる.

既存の自動評価手法の中には, 機械学習によって識別器を構築する手法 (Corston-Oliver, Gamon, and Brockett 2001; Kulesza and Shieber 2004; Gamon, Aue, and Smets 2005; 田中, 南條, 吉見 2008)がある。この手法では, 良い翻訳とは人間訳に近いものであり, そうでない翻訳とはシステム訳に近いものであると仮定される。このような仮定の下で，対訳コーパスにおける人間訳 （正例）と，原文を機械翻訳システムで翻訳して得られるシステム訳（負例）とを訓練事例として識別器が構築される。この識別器を用いて, 評価対象のシステム訳から抽出した素性に基づいて，そのシステム訳が良い翻訳であるかそうでないかの二値判定が行なわれる.

本研究では, このような先行研究に倣い, 人間訳とシステム訳を訓練事例とした機械学習によって構築した識別器を用いて自動評価を行なう。このような自動評価手法においては, 人間訳での逐語訳とシステム訳での逐語訳の違いを適切に捉えることができる手がかりを機械学習

で用いる素性として選ぶ必要がある。本稿では, このような素性として単語対応付け結果を利用することを提案する，具体的には， 3 節で述べるように，英文と人間訳の間，および英文とシステム訳の間で単語対応付けを行ない，その結果を機械学習のための素性とする．従来，流暢さの評価には $N$ グラムが用いられることが多いが，人間訳とシステム訳での逐語訳の違いを捉えるには $N$ グラムよりも単語対応付け結果を利用するほうが適切であると考えられる.

検証実験の結果，提案手法によってシステムレベルでの自動評価が可能であることが示唆された。また，サポートベクターマシン (Vapnik 1998)による機械学習で各素性に付与される重みに基づいてシステム訳に特徴的な素性を特定できるため，このような素性を含む文を観察することによって文レベルでのシステム訳の特徴分析を行なうこともできる.

## 2 先行研究

自動評価に関する研究は活発に行なわれ，これまでに様々な手法が示されている。このうち， BLEU や NIST, METEOR などの既存手法 (Papineni, Roukos, Ward, and Zhu 2002; Doddington 2002; Banerjee and Alon 2005)では, 流暢さの評価は, システム訳と参照訳の間での高次の $N$ グラムの照合によって行なわれる。これらの手法によって信頼できる評価結果を得るためには, （新規）評価対象文についての参照訳を通常複数用意する必要がある。しかし, 大量の評価対象文について複数の参照訳を入手することは容易ではない.

近年，機械学習を利用する手法がいくつか示されている (Corston-Oliver et al. 2001; Kulesza and Shieber 2004; Quirk 2004; Gamon et al. 2005; Albrecht and Hwa 2007a, 2007b; Paul, Finch, and Sumita 2007; 田中他 2008).これらの手法は，モデルを構築する際に訓練事例集を必要とするが，（新規）評価対象文の流暢さを評価する際には参照訳を必要としない．機械学習を利用する手法は，機械学習によって回帰モデルを構築する手法と識別モデルを構築する方法に分けることができるが, 両者では学習に必要な訓練事例集を用意するのに要する負担が異なる.回帰モデルは，システム訳から抽出された素性に基づいて，そのシステム訳の良さを表わす評価値を予測する。従って，回帰モデルを構築する手法 (Quirk 2004; Albrecht and Hwa 2007a, 2007b; Paul et al. 2007) では, 大量の訓練事例に人手で評価值を付与する必要があり, 訓練事例集の作成に要する負担が比較的大きい。一方, 識別器を構築する手法 (Corston-Oliver et al. 2001; Kulesza and Shieber 2004; Gamon et al. 2005; 田中他 2008) では, 識別器に入力された評価対象のシステム訳がシステム訳であるか人間訳であるかの二値判定を行なう。このため, 対訳コーパスにおける人間訳と，原文を機械翻訳システムで翻訳して得られるシステム訳を訓練事例とすることができる。従って，大量の訓練事例に人手評価値を付与する必要がなく，負担は比較的小さく抑えられる。本稿では後者のアプローチを採るため, 識別器を構築する先行研究について概観する.
文献 (Corston-Oliver et al. 2001) では，言語的な素性として，構文木の分岐に関する情報，文中での内容語の数に対する機能語や代名詞の数の割合, 文の構成要素 (名詞句や副詞句, 形容詞句, 前置詞句など）の長さなどが用いられている。この他に，パープレキシテイが統計的な素性として利用されている。、スペイン語から翻訳された英文からこれらの素性を抽出して, 決定木学習によって識別器を構築し, 試験事例に対して $82.9 \%$ の識別正解率を得ている。また, 構築された決定木を観察することによって，機械翻訳システムが抱える問題点をシステム開発者が把握できることが示されている。 さらに，システム訳の翻訳品質が向上すれば人間訳との識別が困難になるため, 識別器の識別正解率が低下するという予想を示している。しかし, 予想の提示に止まっており，検証結果は示されていない.

文献 (Kulesza and Shieber 2004)では，評価対象文と参照訳の間の $N$ グラム適合率や単語誤り率などを素性として，サポートベクターマシンによる機械学習が行なわれている。識別正解率は, システム訳だけから成る試験事例に対しては $70.0 \%$, 人間訳だけから成る試験事例に対し

は，評価対象文がシステム訳であるか人間訳であるかの二値判定を行なうだけでなく，サポー トベクターマシンによる機械学習の結果得られる分離超平面と事例との距離をそのシステム訳に対する評価値とみなしている。この評価値と人手による評価値の間の相関係数は, 既存の自動評価尺度（BLEU 值や単語誤り率など）と人手評価値の間の相関係数よりも高かったという実験結果が示されている.

文献 (Gamon et al. 2005) では, 素性として, 品詞トライグラム, 構文解析で使用された文脈自由文法規則, 文構成要素の意味標識, 文構成要素とその支配要素の間の意味的関係などが利用されている。英語から翻訳されたフランス語文からこれらの素性を抽出してサポートベクター マシンによる機械学習で識別器を構築し, 訓練事例に対して $77.8 \%$, 試験事例に対して $77.6 \%$ の識別正解率をそれぞれ得ている.

文献 (田中他 2008)では, システム訳の流暢さの自動評価を目的として, 品詞の出現比率, 品詞 $N$ グラム $(N=1,2,3)$, 単語トライグラムに着目し, これらの素性を個別に用いて識別器を構築している。 ロイター英日対訳コーパス (Utiyama and Isahara 2003) における和文を人間訳とし, 英文を市販の機械翻訳システムで翻訳した結果をシステム訳として実験を行ない, 品詞の出現比率による識別器で $78.6 \%$, 品詞 $N$ グラムによる識別器で $94.9 \%$, 単語トライグラムによる識別器で $97.7 \%$ の識別正解率を得ている. さらに, システム訳を流暢さの観点から上位群と下位群の 2 群に分けたとき, これらの素性を用いた識別器の正解率は, 流暢さが上がるにつれて低下するという文献 (Corston-Oliver et al. 2001)の仮説を確認している.

## 3 着目した素性

システム訳の流暢さを低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある。本研究ではこの不自然な逐語訳を捉えることをめざしている，人間は，柔軟性に富む多様な表現上の工夫を施した翻訳を行なうことができるため，人間訳に不自然な逐語訳が含まれている可能性は低い。一方, 人間の様々な翻訳技術が十分に反映されていない, 辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがあるため，システム訳には不自然な逐語訳が含まれている可能性が高い。このため, 人間訳の流暢さとシステム訳の流暢さの違いを適切に捉えることができる手がかりとして逐語訳に着目した，例えば，次の英文 (E1)に対する人間訳は，無生物主語他動詞構文の構造変換が行なわれ, (H1)のようになるだろう。これに対して, 英文 (E1)を, 本研究の実験で用いた 3 つの市販機械翻訳システムで処理すると (Ma1), (Mb1), (Mc1)のようなシステム訳がそれぞれ得られる。

(E1) His failure to fulfill the promise made the voters suspicious.

（H1）彼が約束を果たさなかったので，有権者は疑い深くなりました。

（Ma1） 彼が約束を実現させないことで，有権者は疑わしげになりました.

（Mb1） 彼が約束を果たすことができなかったことは，投票者を疑わしくした.

(Mc1) 約束を果たすことについての彼の失敗は投票者を疑い深くしました.

システム訳 (Ma1)と人間訳 (H1)を比べると, 両者は非常に近いことが分かる.

システム訳 (Mb1) と人間訳 (H1)を比べると, 両者の主な違いとして, makeを主辞とする動詞句の翻訳が挙げられる．英語では行為者が対象に能動的に働きかけるという捉え方がされる傾向が強い．これに対して，日本語では物事が自然にある状態になるという表現が好まれる．人間訳 (H1)では, このことを考慮して makeが「なる」と訳されている，一方，システム訳 (Mb1) では「する」という逐語訳になっている.

システム訳 (Mc1) と人間訳 (H1)を比べると, make を主辞とする動詞句の翻訳の違いに加え, failure を主辞とする名詞句の翻訳の違いも見られる。人間訳 (H1)では, 英語が名詞文体であり日本語が動詞文体であることを考慮して，動詞的意味を含む名詞句を文に展開するという工夫がされて自然な翻訳になっている。一方, システム訳 (Mc1)ではそのまま「失敗」という逐語訳になっている。以上のような違いが主な原因で, 特にシステム訳 (Mc1)の流暢さが人間訳 (H1)の流暢さよりも低くなっていると考えられる.

人間訳とシステム訳の間には以上のような違いがあるため, 英文と人間訳の間で単語同士の対応付けを行なった場合と英文とシステム訳の間で行なった場合を比べると，後者の場合のほうが単語対応が付きやすいと予想される。実際, 英文 (E1) と人間訳 (H1)に対して, 本研究の実験で用いた単語対応付けソフトウェアで単語対応付けを行なうと, 表 1 の左側のような結果
表 1 英文 (E1) と人間訳 (H1) の単語対応付け結果と英文 (E1) とシステム訳 (Mc1) の単語対応付け結果

が得られる. また, 英文 (E1) とシステム訳 (Mc1)の間の単語対応付け結果は表 1 の右側のようになる。表 1 において, $\operatorname{align}(A, B)$ は $A$ と $B$ が対応付けられた単語の対であることを表わし， nonalign_eng $(C)$ は $C$ が対応付けられずに残った英語単語であること, nonalign_jpn $(D)$ は $D$ が対応付けられずに残った日本語単語であることを表わす。以下, $\operatorname{align}(A, B)$ を対応単語対と呼び, nonalign_eng $(C)$ あるいは nonalign_jpn $(D)$ を未対応単語と呼ぶ.

表 1 を見ると, 人間訳 (H1)よりシステム訳 (Mc1)のほうが, 対応単語対の比率が高いことが分かる。また, 人間訳 (H1)では failure も make も単語対応が付いていないのに対して, システ厶訳 (Mc1) では両方とも単語対応が付いている。 さらに，人間訳 (H1)には「ない」,「ので」,「なる」などの未対応単語が含まれている。

これらのことから，人間訳における様々な表現上の工夫とシステム訳における逐語訳との違い（の一部）を対応単語対と未対応単語によって捉えることができると考えられる. 対応単語対と未対応単語によって捉えることができる人間訳とシステム訳の違いは, 対応単語対は主に人間訳とシステム訳の類似点（人間でも行なうような逐語訳）を表わしており，未対応単語は主に人間訳とシステム訳の相違点（主に人間しか行なわないような翻訳）を表わしていると解
釈することができる.

対応単語対と未対応単語によって捉えることができる人間訳とシステム訳の違いとしては,無生物主語他動詞構文の構造変換以外に代名詞の訳語選択などがある。人間訳では，英語の代名詞は日本語の代名詞としては表わされず，ゼロ代名詞化されたり，他の表現に置き換えられたりすることがある。これに対して，システム訳では，英語の代名詞はそのまま日本語の代名詞に訳され，不自然な翻訳文となることが多い，例えば，次の人間訳 (H2)では，hisは「自分」 という表現に置き換えられ, he と it はゼロ代名詞化されている。これに対して, システム訳 (Ma2), (Mb2), (Mc2)では, 「彼」や「それ」と訳されている。このように，代名詞が他の表現に置換されている人間訳と代名詞の逐語訳が含まれているシステム訳との違いは, 対応単語対と未対応単語によって捉えることができると考えられる。

(E2) Mr. Smith does his work when he feels like doing it.

(H2) スミス氏は，したいと思うときに，自分の仕事をする。

（Ma2） スミス氏は，それをしたいと思うとき，彼の仕事をする。

（Mb2）スミスさんがそれをしたい気がするとき，彼は仕事します。

(Mc2) スミス氏がそれをしたい気がするとき，彼は彼の仕事をします。

人間訳において様々な表現上の工夫がされていればいるほど，人間訳と逐語訳による不自然なシステム訳との違いがより鮮明になる. 従って, このような場合, 対応単語対と未対応単語によって人間訳とシステム訳の違いをより確実に捉えることができるようになり，有効性が高まると考えられる。

他方，人間訳とシステム訳における語順の違いについては，対応単語対と未対応単語では捉えることができない. しかし，この問題は，句対応付けを今後利用することなどによって解決できると考えられる。また，助詞についても，人間訳とシステム訳での対応単語対と未対応単語の違いとして現れにくいため，捉えることは困難である。

システム訳に非対応単語が現れる原因として, 機械翻訳システムによる無生物主語他動詞構文の構造変換の他に，翻訳処理の失敗などが想定される。非対応単語が構文構造変換によるものか翻訳処理失敗によるものかの区別は，システム訳に現れる非対応単語と人間訳に現れる非対応単語を比較することによって可能な場合もある. なぜならば，構文構造変換による非対応単語はシステム訳集合にも人間訳集合にも現れうるのに対して，処理失敗によるものは人間訳集合には現れにくいと考えられるからである。

本稿でのサポートベクターマシンによる機械学習では, 人間訳 (H1) とシステム訳 (Mc1)を, それぞれ，表 1 に示した対応単語対と未対応単語を成分とする素性べクトルで表わす。具体的には, 人間訳とシステム訳に現れる対応単語対と未対応単語を素性名番号（整数）に変換し，その素性値を 1 とする.

## 4 実験と考察

提案手法の有効性を確認するための実験について述べる，今回の実験は，報道記事を対象とし，辞書と規則に基づく方式の英日機械翻訳システムを用いて行なったものである.

## 4.1 実験方法

提案手法の検証実験に必要な言語資源は，原文とそれに対する人間訳である。今回の実験では，ロイター英日対訳コーパスを利用した。このコーパスは, 文献 (Utiyama and Isahara 2003) に示されている類似度を用いて文対応が付けられたコーパスである。文対応付けの結果には 1 対 1 のものと 1 対多のものがあるが，今回の実験では 1 対 1 に対応付けられている文の組を用いた. ロイター英日対訳コーパスには同一の英文や同一の和文が複数回出現することがある。このような重複がある場合には 1 文だけを残し他の文は削除した.

システム訳は，ロイター英日対訳コーパスの英文を，辞書と規則に基づく方式を採用している考えられる 3 つの市販機械翻訳システムで処理して得た. 以下, システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$, システム訳 $\mathrm{c}$ とする. 英文と人間訳の単語対応付けおよび英文と各システム訳の単語対応付けは，システム訳 $\mathrm{a}$ を得るために使用した機械翻訳システムの開発企業で試作されたソフトウェア1を用いて行なった. このソフトウェアでは, まず和文を形態素に分割し, 日本語の形態素と英語の単語を対応付ける. 単語対応付け処理は, 対訳辞書, シソーラス, 係り受け規則などを利用して行なわれる。各機械翻訳システムに約 15,000 文を入力文として与え, すべての機械翻訳システムで処理が正常に終了し, さらに単語対応付け処理が正常に終了した文を選択した結果, 3 つの機械翻訳システムに共通する文として最終的に 12,900 文ずつが得られた.

サポートベクターマシンによる機械学習には TinySVM ${ }^{2}$ を利用した。 カーネル関数は 1 次の多項式とした. カーネル関数以外のパラメータは, 標準設定されている値を使用した.

3 つのシステム訳のうちシステム訳 $\mathrm{a}$ を対象として, 著者ら以外の評価者 3 名による人手評価を行なった，評価者は全員日本語母語話者であり，平均で約 6 年の英日機械翻訳用辞書の開発経験がある．評価対象文としてシステム訳 a から 500 文を無作為に抽出した． 3 つのシステ厶訳すべてから 500 文ずつ抽出して合計 1,500 文を人手評価する労力は大きいため, 評価の負担を抑えるためにシステム訳 a だけを評価対象とした。評価の観点は，システム訳の流暢さと適切さとした．流暢さについては，システム訳の日本語としての流暢さを 100 点満点で採点し
^{1}$ 民間企業で開発された非公開ソフトウェアであるため, アルゴリズムは開示できない.このため, 公開ソフトウェアを用いた場合にどの程度の識別正解率が得られるかを明らかにするための追加実験を行なった. 追加実験には GIZA++(Och and Ney 2003) を用いた. GIZA++は, 隠れマルコフモデルと統計的翻訳モデル（IBM モデル）に基づく統計的単語対応付け手法である。実験の結果, システム訳 a で $99.0 \%$, システム訳 bで $98.5 \%$, システム訳 c で $99.6 \%, 3$ つのシステム訳の平均で 99.0\%の識別正解率が得られた (Kotani, Yoshimi, Kutsumi, and Sata 2009). これは, 4.3 節で示す本稿の実験結果と同程度の識別正解率である.

2 http://chasen.org/ taku/software/TinySVM/
}

その点数に該当する評価値（表 2 の左側）を付与するよう評価者に指示した．流暢さの評価ではシステム訳だけを評価者に示した。適切さについては，英文とシステム訳を比較し，英文で伝わる情報のうちどの程度がシステム訳で伝わるかを表わす評価値（表 2 の右側）を付与するよう指示した， 3 名による評価值の中央値を評価対象文の最終的な評価値とした. 100 点満点での評価における 1 点の持つ意味は規定せずに，評価者の主観的判断に委ねた。評価型国際ワー クショップ IWSLT などでの評価基準のように 5 段階程度での評価の場合には 1 段階の持つ意味を規定することができるが， 100 点満点での評価における 1 点の持つ意味を規定することは現実的に困難である。それでも 100 満点での評価を行なった理由は，将来人手評価値を 5 段階あるいは 10 段階などに細分化して実験を行なうときに今回の人手評価結果を再利用できることである。また，通常のテストの採点では 100 点満点で点数付けされることが多いためでもある. なお，システム訳に評価値 4 が付与されるのは 75 点から 100 点のときであるので，評価値 4 が付与されたシステム訳がすべて人間訳並に流暢あるいは適切であるとは限らない.

人手評価結果を表 3 に示す。適切さについては, 評価値が 3 以上であるシステム訳が $51.4 \% を$占める。一方，流暢さについては，評価值が 3 以上であるシステム訳は $21.6 \%$ かない. このことから, 評価対象とした機械翻訳システムに関しては, システム訳の流暢さを向上させることが重要な課題であると言える。

システム訳の流暢さの評価結果を評価者ごとに表 4 に示す。表 4 と表 3 の左側（3 名による評価値の中央值の集計）を比較すると，評価者 1 と評価者 2 は比較的甘い評価を行ない, 評価者 3 は比較的厳しい評価を行なったことが分かる.

表 2 人手評価での評価基準

表 3 人手評価値の度数分布表

## 4.2 対応単語対と未対応単語の分布

3 節で示した作業仮説（人間訳よりシステム訳のほうが単語対応が付きやすい）の妥当性を，実験に使用したソフトウェアによる単語対応付け結果において検証する．英文とその人間訳の間での単語対応付け結果に含まれる素性の延べ数と, 英文とその各システム訳の間での単語対応付け結果に含まれる素性の延べ数を表 5 に示す.

人間訳とシステム訳の間で対応単語対と未対応単語の比率に差があるかどうかを検証するために，表 5 の分布に対して $\chi^{2}$ 検定 ${ }^{3}$ を行なった。その結果, 比率の差は有意水準 $5 \%$ で有意であった. さらに, 人間訳とどのシステム訳との間で比率に差があるのかを検証するために, Ryan 法による多重比較4を行なった。その結果，人間訳とすべてのシステム訳の間において有意水準 $5 \%$ で有意であった.このことから, 人間訳よりもシステム訳のほうが単語対応が付きやすい傾向にあると言える.

## 4.3 機械翻訳システムと識別正解率

提案手法の識別正解率が使用した機械翻訳システムに影響を受けるかどうかを，システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$, システム訳 $\mathrm{c}$ を用いて検証する。これらの各システム訳と人間訳を合わせた合計 25,800 件をそれぞれ事例集合として 3 つの識別器を構築した。人間訳はどの事例集合においても同一のものを使用した。 各事例集合を 5 分割し, 交差検定を行なった. 素性としては対応単語対と未対応単語の両方を使用した。

表 4 各評価者の評価値の度数分布表

表 5 対応単語対と未対応単語の出現比率

^{3} \chi^{2}$ 検定は, 1 条件で，各測定值が 2 つ以上のカテゴリのいずれか一方に分類されるときに，それぞれのカテゴリの度数の母比が, 理論的に導出される特定の値と異なると言えるか否かを吟味する検定である (森, 吉田 2006).

 }^{4}$ Ryan 法による多重比較は, 誤差の割合の概念的単位を比較の集合に設定する際に，ステップ数によって個々の比較における有意水準を直接変化させて一対比較を行なう多重比較法である (森, 吉田 2006).

試験事例のシステム訳に対する識別正解率を表 6 に示す．数値は 5 分割交差検定の平均値である。表 6 より, 使用した機械翻訳システムによらずいずれも高い識別正解率が得られていることが分かる.

2 節で述べた先行研究 (田中他 2008 ) によると, 本稿と同じ実験条件において, 品詞 $N$ グラム $(N=1,2,3)$ を素性として構築した識別器で $94.9 \%$, 単語トライグラムを素性とした識別器で $97.7 \%$ 識別正解率が得られている. 本稿で得られた平均識別正解率 $99.3 \%$ は, この先行研究での識別正解率と同程度である.

## 4.4 素性の種類の識別正解率への影響

識別器の構築に使用する素性の種類が識別正解率に与える影響を明らかにするために，素性として対応単語対だけを使用した場合と未対応単語だけを使用した場合について識別正解率を求めた。試験事例のシステム訳に対する識別正解率’（5 分割交差検定の平均值）を，対応単語対と未対応単語の両方を用いた場合の識別正解率と共に表 7 に示す.

対応単語対だけを用いた識別器, 未対応単語たけを用いた識別器, 対応単語対と未対応単語の両方を用いた識別器で識別正解率の間に有意な差があるかどうかを見るために, McNemar 検定 5 を行なった，有意水準は，Bonferroni 法により，比較する群数 3 で $5 \%$ を割った値とした．その結果，システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$ ，システム訳 $\mathrm{c}$ のいずれにおいても，すべての識別器の間で識別正解率に有意水準 $1.7 \%$ で有意差が見られた.

表 7 を見ると, 対応単語対と未対応単語の両方を用いることによって最も高い識別正解率が得られていることが分かる。また，すべてのシステム訳において未対応単語だけを用いた場合の識別正解率が対応単語対だけを用いた場合の識別正解率よりも高くなっている。このことから，人間訳とシステム訳を区別する手がかりとしては，未対応単語のほうが対応単語対よりも

表 6 提案手法の識別正解率

表 7 素性の種類と識別正解率

^{5} \mathrm{McNemar}$ 検定は， 2 条件における対応がある測定値が，ある特性の有無によって二分されるときに，その特性を有する母比が条件間で異なるか否かについて検定する手法である (森，吉田 2006).
}
有効であると言える。未対応単語を用いたほうが識別正解率が高くなる理由は， 3 節で述べたように，対応単語対が主に人間訳とシステム訳の類似点を表わしているのに対して未対応単語は主に人間訳とシステム訳の相違点を表わしていることであると考えられる.

## 4.5 事例数の識別正解率への影響

十分な識別正解率を得るために必要な人間訳の数即ち対訳コーパスの量を明らかにするために, 人間訳の数を 12,900 文, 10,000 文, 7,000 文, 4,000 文, 1,000 文と 3,000 文ずつ変化させて識別正解率を求めた。それぞれの人間訳数において, 人間訳とそれに対応する同数のシステム訳から成る事例集合を作成した。

各人間訳数における識別正解率 ( 5 分割交差検定の平均値) を図 1 に示す. 人間訳の数を 1,000 文（システム訳と合わせた事例全体では 2,000 文）まで減少させても識別正解率は $95 \%$ 以上となっている. 従って, 比較的小規模な対訳コーパスでも十分な識別正解率が得られると言える.

## 4.6 流暢さの評価値と識別正解率の関係

文献 (Corston-Oliver et al. 2001)によると, システム訳はその翻訳品質が向上すれば, 人間訳との違いが小さくなるため, 人間訳との識別が困難になり, 識別器の識別正解率は低下すると予想されている. 実際, 文献 (Sun, Liu, Cong, Zhou, Xiong, Lee, and Lin 2007) や文献 (田中他 2008)では, システム訳を翻訳品質が上位のものと下位のものに分けたとき, 下位群での識別正

図 1 人間訳の数と識別正解率の関係
解率より上位群での識別正解率のほうが低いことが確認されている。もし，本稿で提案する手法においてもシステム訳の翻訳品質が向上する（人手評価値が高くなる）につれて識別正解率が低下することが確認できれば，提案手法の識別正解率が低下するかどうかによって翻訳品質が向上したかどうかを判断できることになり，システム開発において提案手法を用いた自動評価が可能になる，提案手法においてこのような識別正解率の低下が生じるかを検証する．検証には，4.1 節で述べたシステム訳 a 500 文に付与された流暢さの評価値を利用する.

検証は，対応単語対と未対応単語の両方を用いて構築した識別器，対応単語対だけ用いた識別器, 未対応単語だけを用いた識別器のそれぞれについて行なった. 各識別器について, システム訳 a 500 文の流暢さの評価値別に，正しくシステム訳と識別された文数と誤って人間訳と識別された文数を集計した。それらの結果を表 $8,9,10$ にそれぞれ示す.

正しくシステム訳と識別された文数と誤って人間訳と識別された文数の間に差があるかどうかを検証するために，表 $8,9,10$ の各分布に対して Fisher の正確確率検定6を行なった。その結果, 正しい識別件数と誤った識別件数の割合は, 対応単語対と未対応単語の両方を用いた場合

表 8 対応単語対と未対応単語による識別器の識別正解率と流暢さ

表 9 対応単語対のみによる識別器の識別正解率と流暢さ

表 10 未対応単語のみによる識別器の識別正解率と流暢さ

^{6}$ Fisher の正確確率検定は， $\chi^{2}$ 検定と同様に対応がない 2 条件間の比率の比較を行なう方法であるが，周辺度数に 0 に近い値（10 以下程度）があるときに適用される (森, 吉田 2006).
}
表 11 表 9 の調整済み残差

（表 8）と未対応単語だけを用いた場合（表 10）は有意水準 $5 \%$ \%有意でなかったが，対応単語対だけを用いた場合（表 9）は有意水準 5\%で有意であった。そこで，対応単語対だけを用いた場合について残差分析 (田中，山際 2005)を行なった結果，表 11 に示すように，人間訳と誤識別されるシステム訳の数は，流暢さの評価値が 1 か 2 である場合に有意水準 $5 \%$ で有意に少なく, 逆に，評価値が 3 か 4 である場合に有意水準 $5 \%$ で有意に多かった. このことから，対応単語対だけを用いて構築した識別器の識別正解率は, システム訳の流暢さが高くなるにつれて低下すると言える，表 7 から分かるように，対応単語対のみによる識別器は, 平均識別正解率では, 未対応単語のみによる識別器にも対応単語対と未対応単語の両方を用いた識別器にも劣る. しかし, 識別正解率の低下が見られることから, 機械翻訳システムの開発において翻訳品質評価尺度として利用できることが示唆される。たたし，システム訳 $\mathrm{b}$ やシステム訳 $\mathrm{c}$ を実験対象とした場合にも同様の結果が得られるかどうかの一般性の検証は今後の課題である.

システム訳は，その流暢さの評価値が高くなれば，人間訳との相違点が減少すると考えられる。このため, 人間訳とシステム訳の相違点に相当する未対応単語を素性とした場合も，流暢さの評価値が高いシステム訳は人間訳と誤って識別されやすくなり, 識別正解率が低下するはずである。しかし，実験では，機械学習に使用する素性に未対応単語を含めて（未対応単語たけを用いて，あるいは未対応単語と対応単語対の両方を用いて）構築した識別器でシステム訳の識別を行なった場合，流暢さの評価値が高いシステム訳でも低いシステム訳でも識別正解率にほとんど差は出なかった。この原因は，たとえ流暢さの評価値が高いシステム訳であっても，人間訳との明らかな相違点が含まれており，人間訳との識別が容易に行なえることにあるのではないかと考えられる。

## 4.7 既存手法との比較

提案手法を, 代表的な既存手法の一つである METEOR (Banerjee and Alon 2005) と比較する。比較対象を BLEU や NIST ではなく METEOR とした理由は，文単位での自動評価では METEOR のほうが良いとされているからである (Banerjee and Alon 2005). METEOR では,評価対象文が参照訳と照合され，両者の類似度が評価値として評価対象文に付与される。評価
値は 0 から 1 の範囲をとる。一方，提案手法は，評価対象文が良い翻訳であるかそうでないかの二值判定を行なう識別器であり，評価対象文に評価値を付与するものではない．このため，提案手法と METEOR を比較するために, 次のような考えで METEOR を識別器とみなすことにする。すなわち，ある閾値を設け，評価対象文に対する METEORによる評価値がその閾値以上であれば，その評価対象文を良い翻訳であると判定する識別器とする。

METEOR に基づく識別器の振る舞いは，設定する閥値によって異なる。閥値が高過ぎれば厳し過ぎる評価尺度になり, 逆に，低過ぎれば甘過ぎる評価尺度になる。適切な閾値を決定するために，閥值を 0.1 から 0.9 まで 0.1 刻みで変化させて, 4.6 節で行なった方法でシステム訳 a 500 文の流暢さの評価値別に, 間値未満の類似度が付与された文数と間值以上の類似度が付与された文数を集計した，適切な閾値とは，集計結果に対して正確確率検定と残差分析を行ない，最も多くの流暢さの階級において有意水準 $5 \%$ \%゙有意差が確認できるときの閾値であるとした.参照訳には， ロイター英日対訳コーパスにおいて英文 500 文に対応する和文を用いた. システム訳 a と参照訳を “茶笔” 7で形態素解析した結果を METEORへの入力とした. システム訳 a と参照訳の照合には，形態素の表記を照合する exact モジュールを使用した。この結果, 閾値が 0.4 のときに流暢さの 3 つの階級 $(2,3,4)$ において有意水準 $5 \%$ で有意差が確認できた. このため, 闇値を 0.4 に設定したときの METEOR に基づく識別器を提案手法との比較対象とする. 闇値を 0.4 としたときの, 間値未満の類似度が付与された文数と間値以上の類似度が付与された文数，および閾値以上の類似度が付与された文の割合を表 12 に示す. 括弧内の数値は調整済み残差である。

表 12 から， METEOR に基づく識別器は，流暢さの評価值が 4 である文のうち $33.3 \% を$ 良くない翻訳であるとみなすことが分かる。一方, 提案手法は, 流暢さの評価値が 4 である文のうち $55.6 \%$ を良くない翻訳であるとみなすことが表 9 から分かる，従って，流暢さが高い文を正しくそのように自動評価しなければならない場合（評価の効率化が重要な場合）には，提案手法は望ましくない，しかし，流暢さの評価値が 1 である文については，METEOR に基づく識

表 12 METEOR に基づく識別器（閥値 0.4 ）による判定と流暢さ

別器は $31.5 \%$ 良い翻訳であるとみなすのに対して, 提案手法は流暢さの評価値が 1 である文のうち $4.3 \%$ しか良い翻訳であるとみなさない，従って，機械翻訳システムの評価において流暢さが低い文を見落としてはならない場合には，提案手法のほうが望ましいと言える。

## 4.8 文レベルでのシステム訳の特徴分析

4.6 節では，提案手法がシステムレベルでの自動評価に使える可能性があることを示した。しかし，機械翻訳システムの翻訳品質を高めていくためには，単にシステム全体として流暢さが向上したかどうかを評価するだけでなく, システム訳と人間訳の間にどのような違いがあるのかを発見し，その違いを埋めていくために取り組むべき課題を明らかにする必要がある。システム訳と人間訳の間の違いを見い出す方法の一つとして, システム訳に特徴的な素性を（人間訳に特徴的な素性と見比べながら）観察するという方法が考えられる。

システム訳あるいは人間訳に特徴的な素性は, サポートベクターマシンによる機械学習で各素性に付与される重みに基づいて特定することができる。この重みの値が正ならば人間訳らしさを表わし，負ならばシステム訳らしさを表わす。重みの絶対値が大きいほど，人間訳らしさあるいはシステム訳らしさをより強く特徴付ける素性である.

システム訳 $\mathrm{a}$ を分析対象とし, 対応単語対と未対応単語の両方を素性として用いた場合について各素性の重みを求めた。重みの絶対値が大きい素性の上位 30 個を表 13 に示す.

まず，表 13 に示した素性のうち，一般にテキストでの出現頻度が高いと考えられる代名詞，冠詞，接続詞に関連する素性で示される特徴について議論する.

（1）表 13 を見ると, 人間訳には, 第 1 位の未対応単語 nonalign_jpn (同) や第 3 位の nonalign_jpn （同氏）という素性や, 第 14 位の nonalign_eng(he), 第 20 位の nonalign_eng(we) という素性が現れている。このことは, 英語の代名詞が日本語の代名詞としては表わされず,「同首相」や「同グループ」のような接頭辞「同」を持つ照応表現や「同氏」という照応表現に訳されていることを示している。一方, システム訳 $a$ には, 第 6 位の対応単語対 $\operatorname{align}(\mathrm{it}$, それ) や第 21 位の lign(its, その) という素性が現れている.このことから, 英語の代名詞が日本語の代名詞として直訳されていることが読み取れる。このような違いは,例えば，次の英文 (E3) に現れる we やheの訳し方に見られる.

(E3) "We have an exchange rate which seems to me to make sense," he told foreign journalists in Rome.

(H3) 同首相は，ローマで外国特派員に対し，「為替レートについては妥当なものと判断している」と述べた.

（M3）「我々は，私には意味をなすように思われる為替レートを持つ」と，彼は， ローマの外国人記者に告げた。

代名詞を直訳すると，原文が伝えている意味と異なる意味を伝える翻訳文が生成された
表 13 重みの絶対値が大きい素性

り，文意は同じでも不自然で読みにくい翻訳文が生成されてしまうという問題が生じることがある，従って，英語での代名詞による照応を日本語では他の表現による照応として翻訳できるようにすることが重要な課題である (吉見 2001).

（2）システム訳aでは，第 10 位に align(the, その) という素性が現れている。 これは, システム訳 a では冠詞 the が「その」と訳される傾向があることを意味している。システム訳 aにおいて the が常に「その」と訳されるわけではないが, 例えば次の英文 (E4)に対するシステム訳 (M4) では, the countryが「その国」と訳されている。一方, 人間訳 $(\mathrm{H} 4)$

は, 代名詞の場合と同様に the が接頭辞「同」と訳されているため, 自然な翻訳文となっている。

(E4) Mexican agriculture minister Francisco Labastida Ochoa said the country needs to raise coffee productivity to boost foreign export incomes.

(H4) メキシコのラバスティダ農牧・農村開発相は, 輸出収入を増加するため, 同国はコーヒーの生産性を高める必要がある，と述べた。

(M4) メキシコの農業大臣 Francisco Labastida Ochoa は言った。その国は, コー ヒー生産性を増大対外輸出収入に上げる必要があると.

（3） システム訳 a における第 2 位の align（and, そして）と第 4 位の align（and, 及び）という素性に着目して, システム訳 a と人間訳での接続詞 and の訳し方を比較する。まず, and が複数の名詞句 $N P$ を結合している表現 “ $N P_{1}$ and $N P_{2}$ ” を含む英文の人間訳とシステム訳 aを調査した。人間訳では, and は読点や「と」，「や」，「および」などに訳し

おり，やや大袈乷な印象を受ける。

(E5) Virat said investors were worried about the Thai economy and the coalition government's stability.

（H5）Virat氏は, 投資家は, タイ経済と連立政権の安定性を懸念している，と指摘した.

（M5）Viratによれば，投資家は，夕イの経済，及び，連立政権の安定性について心配した。

システム訳 a 以外の二つのシステム訳についても同様の調査をしたところ，システム訳 bでは「と」，「，および」，「そして」などにほぼ適切に訳し分けられていた。また，シス

ステム訳 $\mathrm{c}$ のような訳し分けを実現することはそれほど困難ではないと考えられる.次に， and が複数の動詞句を結合している表現を含む英文の人間訳とシステム訳 a を調査した。その結果, 人間訳では and は動詞の連用形に訳されているのに対して, システ么訳 aでは (M6)のように常に「〈動詞の連用形〉, そして,」と訳されていた.

(E6) Japan is the world's leading consumer of palladium and Russia is the world's largest exporter.

（H6） 日本は世界的にも大口のパラジウム消費国であり， ロシアは世界最大の輸出国.

（M6）日本は，パラジウムの世界の主要な消費者であり，そして，ロシアは，世界で最も大きな輸出業者である。

また, 我々の調査範囲では, システム訳 b とシステム訳 c では常に「〈動詞の終止形〉,

そして,」と訳されていた. and が複数の動詞句を結合している場合, 動詞を連用形にして， and を「そして」と訳さないようにすることもそれほど困難ではないと考えられる。次に，表 13 に示した素性のうち，実験に使用したコーパスが報道記事であることに起因すると考えられる動詞の訳し分けと時間表現について議論する。

(1) システム訳 a では，第 11 位に align(say, 言う) という素性が現れている。一方, 人間訳では，第 23 位の nonalign_jpn(述べる) や第 24 位の nonalign_jpn(語る) という素性が現れている。「述べる」や「語る」を含む人間訳（例えば $(\mathrm{H} 4)$ など）を調査したところ，「述べる」や「語る」に対応する英語表現は say であることが多かった．実験に用いたコー パスには記者会見やインタビューでの発言が含まれているが, このような発言では, say を「言う」と訳すより「述べる」や「語る」などと訳したほうが適切であることが多いため，sayの柔軟な訳し分けを実現する必要がある.

（2）システム訳aでは, 第 17 位に align(on Wednesday, 水曜日に), 第 20 位に align (on Thursday,木曜日に)，第 26 位 align(on Tuesday, 火曜日に) という素性が現れている。このことから，システム訳 aでは (M7)のように曜日が忠実に訳されていることが読み取れる。一

方，人間訳では，第 7 位に nonalign_eng(Wednesday), 第 11 位に nonalign_eng(Monday),第 17 位に nonalign_eng(Thursday) という素性が現れている。このことは, 次の人間訳 (H7)のように，曜日が直訳されていないことを示している.

(E7) The senate is expected to begin debate on the amendment on Wednesday.

(H7) 上院での同案の審議は, 5 日から開始される見通し.

（M7）上院は，水曜日に修正に関して討論を始めることを期待されている.

人間訳で曜日が直訳されていない理由は，英語の報道記事では時間を曜日で表わすのに対して，日本語の記事では日付で表わすという文体上の違いにある。単語対応付け結果という素性によってこのような文体的な違いも浮き彫りになることは興味深い.

## 5 おわりに

本稿では, 人間訳とシステム訳を訓練事例とした機械学習によって構築した識別器を用いてシステム訳の流暢さを自動評価する手法について述べた。提案手法では，人間訳とシステム訳の流暢さの違いを捉える手がかりとして，英文と人間訳の間，および英文とシステム訳の間で単語対応付けを行なった結果を利用した，提案手法は，識別器を構築する際に対訳コーパスを必要とするが，評価対象文を評価する際には参照訳を必要としない. さらに，大量の訓練事例に流暢さの評価値を付与する必要もない.

検証実験の結果，(1) 提案手法は, 素性として対応単語対だを使用した場合, $93.7 \%$ 識別正解率で人間訳とシステム訳の識別が可能であることと， (2) システム訳を流暢さの側面から 4
段階に分けて識別正解率の低下を正確確率検定と残差分析で検定したところ, 流暢さの評価值が上がるにつれて，対応単語対だけを素性とした場合の提案手法の識別正解率が有意水準 $5 \%$有意に低下することが確認できた。この識別正解率の低下傾向は, 提案手法によってシステムレベルでの評価を支援できることを示唆している。 さらに，サポートベクターマシンによる機械学習で各素性に付与される重みに基づいてシステム訳に特徴的な素性を特定することができるため，このような素性を含む文を観察することによって文レベルでの特徴分析を行なうこともできる.

今後の課題は, 辞書と規則に基づく方式以外の機械翻訳システム, 英語と日本語以外の言語対, 報道記事以外のテキストなど様々な設定条件の下で提案手法の有効性の検証を行なうことである。

## 参考文献

Albrecht, J. S. and Hwa, R. (2007a). "A Re-examination of Machine Learning Approaches for Sentence-Level MT Evaluation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 880-887.

Albrecht, J. S. and Hwa, R. (2007b). "Regression for Sentence-Level MT Evaluation with Pseudo References." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 296-303.

Banerjee, S. and Alon, L. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Corston-Oliver, S., Gamon, M., and Brockett, C. (2001). "A Machine Learning Approach to the Automatic Evaluation of Machine Translation." In Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics, pp. 148-155.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics." In Proceedings of the 2nd Human Language Technologies Conference, pp. 128-132.

Gamon, M., Aue, A., and Smets, M. (2005). "Sentence-level MT evaluation without reference translations: Beyond language modeling." In Proceedings of EAMT 10th Annual Conference, pp. 103-111.

Kotani, K., Yoshimi, T., Kutsumi, T., and Sata, I. (2009). "Validity of an Automatic Evaluation of Machine Translation Using a Word-alignment-based Classifier." In Wenjie Li and Diego

Mollá-Aliod (Ed.), Computer Processing of Oriental Languages: Language Technology for the Knowledge-Based Economy, Vol. 5459 of Lecture Notes in Artificial Intelligence, pp. 91-102. Springer.

Kulesza, A. and Shieber, S. M. (2004). "A Learning Approach to Improving Sentence-Level MT Evaluation." In Proceedings of the 10th International Conference on Theoretical and Methodological Issues in Machine Translation, pp. 75-84.

森敏昭, 吉田寿夫（編著） (2006). 心理学のためのデータ解析テクニカルブック. 北大路書房.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Paul, M., Finch, A., and Sumita, E. (2007). "Translation quality prediction using multiple automatic evaluation metrics." 言語処理学会第 13 回年次大会発表論文集, pp. 95-98.

Quirk, C. B. (2004). "Training a Sentence-Level Machine Translation Confidence Measure." In Proceedings of the 4th International Conference on Language Resources and Evaluation, pp. 825-828.

隅田英一郎, 佐々木裕, 山本誠一 (2005). 機械翻訳システム評価法の最前線. 情報処理, 46 (5), pp. 552-557.

Sun, G., Liu, X., Cong, G., Zhou, M., Xiong, Z., Lee, J., and Lin, C. (2007). "Detecting

Erroneous Sentences using Automatically Mined Sequential Patterns." In Proceedings of the

45th Annual Meeting of the Association for Computational Linguistics, pp. 81-88.

田中元貴, 南條浩輝, 吉見毅彦 (2008). 機械翻訳文と人間による翻訳文で構築した識別器によ

る機械翻訳システムの自動評価. 言語処理学会第 14 回年次大会発表論文集, pp. 865-868.

田中敏, 山際勇一郎 (2005). 新訂ユーザーのための教育 ・ 心理統計と実験計画法. 教育出版.

Utiyama, M. and Isahara, H. (2003). "Reliable Measures for Aligning Japanese-English News

Articles and Sentences." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 72-79.

Vapnik, V. N. (1998). Statistical Learning Theory. Wiley-Interscience.

吉見毅彦 (2001). 英日機械翻訳における代名詞翻訳の改良. 自然言語処理, 8 (3), pp. 87-106.

## 略歴

吉見毅彦：1987 年電気通信大学大学院計算機科学専攻修士課程修了. 1999 年神戸大学大学院自然科学研究科博士課程修了. (財) 計量計画研究所 (非常
勤)，シャープ（株）を経て，2003 年より龍谷大学理工学部勤務. 2004 年よ

り 2008 年まで（独）情報通信研究機構専攻研究員を兼任.

小谷克則: 2004 年関西外国語大学外国語学研究科博士課程修了 (英語学博士). 2002 年より 2008 年まで（独）情報通信研究機構特別研究員. 2004 年より関西外国語大学外国語学部勤務.

九津見毅：1990 年大阪大学大学院工学研究科修士課程修了（精密工学一計算機制御). 同年シャープ株式会社に入社. 現在, 同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室主事. 1990 年より機械翻訳システムの研究開発に従事.

佐田いち子：1984 年北九州大学文学部英文学科卒業. 同年シャープ（株）に入社. 現在, 同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室副参事. 1985 年より機械翻訳システムの研究開発に従事.

井佐原均：1978 年京都大学工学部卒業. 1980 年同大学院修士課程修了. 博士 (工学)。1980 年通商産業省電子技術総合研究所入所. 1995 年郵政省通信総合研究所関西支所知的機能研究室室長. 情報通信研究機構上席研究員を経て, 現在，豊橋技術科学大学情報メディア基盤センター教授. 自然言語処理,機械翻訳の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, 日本認知科学会, 各会員.

$(2008$ 年 4 月 22 日 $\quad$ 受付 $)$
$(2009$ 年 4 月 4 日 $\quad$ 再受付 $)$
$(2009$ 年 9 月 7 日 $\quad$ 再々受付 $)$
$(2009$ 年 10 月 27 日 $\quad$ 採録)


# 依存関係確率モデルを用いた統計的句アライメント

中澤 敏明 $・$ 黒橋 禎夫 $\dagger$
}

語順や言語構造の大きく異なる言語対間の対訳文をアライメントする際に最も重要 なことは, 言語の構造情報を利用することと, 一対多もしくは多対多の対応が生成 できることである。本論文では両言語文の依存構造木上での単語や句の依存関係を モデル化した新しい句アライメント手法を提案する。依存関係モデルは木構造上で の reordering モデルということができ, 非局所的な語順変化を正確に扱うことがで きる。これは文を単語列として扱う既存の単語アライメント手法にはない利点であ る. また提案モデルはヒューリスティックなルールを一切用いずに, 句となるべき 単位の推定を自動的に行うことができる。 アライメント実験では, 既存の単語アラ イメント手法と比較して, 提案手法にではアライメントの精度を $\mathrm{F}$ 値で 8.5 ポイン ト向上させることができた.

キーワード：機械翻訳，アライメント，木構造，依存関係確率
## Statistical Phrase Alignment Model Using Dependency Relation Probability

\author{
Toshiaki NaKazaWa $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

\begin{abstract}
When aligning very different language pairs, the most important needs are the use of structural information and the capability of generating one-to-many or many-tomany correspondences. In this paper, we propose a novel phrase alignment method which models word or phrase dependency relations in dependency tree structures of source and target languages. The dependency relation model is a kind of tree-based reordering model, and can handle non-local reorderings which sequential word-based models often cannot handle properly. The model is also capable of estimating phrase correspondences automatically without any heuristic rules. Experimental results of alignment show that our model could achieve F-measure 8.5 points higher than the conventional word alignment model with symmetrization algorithms.
\end{abstract}

Key Words: machine translation, alignment, tree structrue, dependency relation probability

## 1 はじめに

日本語と英語のように言語構造が著しく異なり，語順変化が大きな言語対において，対訳文をアライメントする際に重要なことは二つある。一つは構文解析や依存構造解析などの言語情報をアライメントに組み込み，語順変化を克服することであり，もう一つはアライメントの手法が

1 対 1 の単語対応だけでなく, 1 対多や多対多などの句対応を生成できることである. これは一方の言語では 1 語で表現されているものが，他方では 2 語以上で表現されることが少なくないからである。しかしながら，既存のアライメント手法の多くは文を単純に単語列としてしか扱っておらず (Brown, Pietra, Pietra, and Mercer 1993), 句対応は単語対応を行った後にヒューリスティックなルールにより生成するといった方法を取っている (Koehn, Och, and Marcu 2003). Quirk ら (Quirk, Menezes, and Cherry 2005) や Cowan ら (Cowan, Kučerová, and Collins 2006) はアライメントに構造情報を統合しようとしたが，前述の単語列アライメントを行った後に用いるに留まっている。単語列アライメント手法そのものの精度が高くないため, このような方法では十分な精度でアライメントが行えるとは言い難い.

一方で，アライメントの最初から構造情報を利用する手法もいくつか提案されている. Watanabe ら (Watanabe, Kurohashi, and Aramaki 2000) や Menezes と Richardson (Menezes and Richardson 2001) は構文解析結果を利用したアライメント手法を提案しているが，対応の曖昧性解消の際にヒューリスティックなルールを用いている. Yamada と Knight (Yamada and Knight 2001) や Gildea (Gildea 2003) は木構造を利用した確率的なアライメント手法を提案している. これらの手法は一方の文の木構造に対して葉の並べ替え, 部分木の挿入・削除といった操作を行って，他方の文構造を再現するものであるが，構文情報の利用が逆に強い制約となってしまい, 文構造の再現が難しいことが問題となっている. Yamada と Knight はいったん木構造を崩すことによって, Gildea は部分木を複製することによってこの問題に対処している. 我々はこのような木構造に対する操作は不要であり, 依存構造木中の部分木をそのままアライメントすればよいと考えた。また Cherry と Lin (Cherry and Lin 2003)は原言語側の依存構造木を利用した識別モデルを提案している。しかしながらこの手法はアライメント単位が単語のみであり，一対一対応しか扱えないという欠点がある. phrase-based SMTでいうところの“句”はたたの単語列に過ぎないが，Nakazawa と Kurohashi (Nakazawa and Kurohashi 2008b) は言語的な句をアライメントの最小単位とし, 句の依存関係に着目したモデルを提案しているが，そこでは内容語は内容語のみ，機能語は機能語のみにしか対応しないという制約があり，また複数の機能語をひとまとまりに扱っているという問題もあり, これらがしばしば誤ったアライメントを生成している.

本論文では Nakazawa と Kurohashi の手法の問題点を改善し，単語や句の依存関係に注目した句アライメントモデルを提案する。提案手法のポイントは以下の 3 つである.

(1) 両言語とも依存構造解析し, アライメントの最初から言語の構造情報を利用する

（2）アライメントの最小単位は単語だが, モデル学習時に句となるべき部分を自動的に推定し, 句アライメントを行う

（3）各方向（原言語 $\rightarrow$ 目的言語と目的言語 $\rightarrow$ 原言語）の生成モデルを二つ同時に利用することにより，より高精度なアライメントを行う
本モデルは二つの依存構造木において，一方の依存構造木で直接の親子関係にある一組の対応について，他方のそれぞれの対応先の依存関係をモデル化しており，単語列アライメントで扱うのが困難な距離の大きな語順変化にも対応することができる。言い替えれば，本モデルは木構造上での reordering モデルということができる。また本モデルはヒューリスティックなルー ルを用いずに，句となるべき部分を自動的に推定することができる。ここでいう句とは必ずしも言語的な句である必要はなく，任意の単語のまとまりである。ただ， Phrase-based SMTにおける句の定義との重要な違いは, 我々は木構造を扱っており, 単語列としては連続でなくても，木構造上で連続ならば句として扱っているという点である。

また我々のモデルは IBM モデルのような各方向の生成モデルを両方向分同時に用いてアライメントを行う．これはアライメントの良さを両方向から判断する方が自然であり， Liang ら (Liang, Taskar, and Klein 2006) による報告にもあるように，そうした方が精度よいアライメントが行えるからである。ただし, Liang らの手法が IBM モデルと同様に単語列を扱うものであるのに対し, 提案手法は木構造を扱っているという重要な違いがある. また Liang らの手法では部分的に双方向のモデルを結合するに留まっており，アライメントの結果としては各方向それぞれ独立に生成されるが，我々の方法ではただ一のアライメントを生成するという違いもある.

最近の報告では生成モデルよりも識別モデルを用いた方がより高精度なアライメントが行えるという報告がなされているが, 学習用にアライメントの正解セットを用意するコストがかかってしまう．そこで我々は教師なしでモデル学習が行える生成モデルを用いた。モデルは 2 のステップを経て学習される. Step 1 では単語翻訳確率を学習し, Step 2 では句翻訳確率と依存関係確率が推定される. さらにStep 2 では単語対応が句対応に拡張される. 各 Step は EM アルゴリズムにより反復的に実行される.

次章では我々の提案するアライメントモデルを，IBM モデルと比較しながら定義する， 3 章ではモデルのトレーニングについて説明し， 4 章では提案手法の有効性を示すために行った実験の結果と結果の考察を述べ, 最後に結論と今後の課題を述べる.

## 2 提案モデル

以降の説明においては言語対として日本語と英語を用いるが，提案モデルはこの言語対に特別に設計されたものではなく，言語対によらないロバストなものである.

提案モデルは依存構造木上で定義されるものであるので, まず対訳文を両言語とも依存構造解析し，単語の依存構造木に変換する。図 1 の一番右に依存構造木の例を示す。単語は上から下に順に並んでおり，文のヘッドとなる単語は最も左側に位置している。アライメントの最小単位はこれら各単語であるが，モデル推定時に複数単語のかたまりを句として自動的に獲得す

$\mathbf{f} \longrightarrow \mathbf{e}$

Proposed

図 1 単語列アライメントモデルと提案手法との比較

る.これについては 3.2 章で詳しく述べる。

## 2.1 提案モデル概観

本章では，広く知られており，かつ一般的に用いられている統計的なアライメント手法であるIBM モデルと比較しながら，我々が提案するモデルについて説明する．IBM モデル (Brown et al. 1993) では, 与えられた日本語文 $\mathbf{f}$ と英語文 $\mathbf{e}$ からなる対訳文間の最も良いアライメント âは以下の式により獲得される：

$
\begin{aligned}
\hat{\mathbf{a}} & =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a} \mid \mathbf{f}, \mathbf{e}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} \frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{p(\mathbf{f} \mid \mathbf{e})} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} \frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e})
\end{aligned}
$

ここで, $p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})$ は語彙確率 (lexicon probability) と呼ばれ, $p(\mathbf{a} \mid \mathbf{e})$ はアライメント確率 (alignment probability) と呼ばれている.

$\mathbf{f}$ が $n$ 語 $\left(f_{1}, f_{2}, \ldots, f_{n}\right)$ からなり, e が $m$ 語 $\left(e_{1}, e_{2}, \ldots, e_{m}\right)$ と $\operatorname{NULL}\left(e_{0}\right)$ からなるとする.またアライメント $\mathbf{a}$ は $\mathbf{f}$ の各単語から $\mathbf{e}$ の単語への対応を表し, $a_{j}=i$ は $f_{j}$ が $e_{i}$ に対応していることを示すとする。このような条件の下，上記二つの確率は以下のように展開される：

$
p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})=\prod_{j=1}^{J} p\left(f_{j} \mid e_{a_{j}}\right)
$

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{i=1}^{I} p\left(\Delta j \mid e_{i}\right)
$

ここで $\Delta j$ は $e_{i}$ に対応する $\mathbf{f}$ の単語の相対位置である. 式 2 は単語翻訳確率の積であり，式 3 は相対位置確率の積となっている。ただし, ここで示した式は正確にIBM モデルを記述しているわけではなく，その意図を簡単に示したものである。また図 1 の左側に IBM モデルによるアライメントの例を示す. IBM モデルは方向性があるため，アライメントに制限がある。これを解消するため，両方向による結果を最後に統合して最終的なアライメントとすることが多い (Koehn et al. 2003). しかし日英のような言語構造の違いの大きい言語対においては, このような方法では十分な精度でのアライメントは行えない.

提案モデルは IBM モデルを 3 つの点で改善する。一つ目は式 2 において, 単語ではなく句を考慮する。二つ目は式 3 において，文中での単語の位置ではなく，依存関係を考慮する，最後に，提案モデルでは最も良いアライメント $\hat{\mathbf{a}}$ を求める際に，片方向のモデルだけでなく，両方向のモデルを同時に利用する。つまり，式 1 を以下のように変更する：

$
\begin{aligned}
\hat{\mathbf{a}} & =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a} \mid \mathbf{e}, \mathbf{f})^{2} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \cdot p(\mathbf{a}, \mathbf{e} \mid \mathbf{f}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e}) \cdot p(\mathbf{e} \mid \mathbf{a}, \mathbf{f}) \cdot p(\mathbf{a} \mid \mathbf{f})
\end{aligned}
$

我々のモデルでは句を扱っているため，上式を素直に計算できる。また式の上ではIBM モデルと同じ解が得られるはずであるが，それぞれの確率を近似するため，両方向を考慮した方がよりよい解が得られる。図 1 の一番右に提案モデルによるアライメント例を示す。従来手法のアライメントと比べると，多対多対応が自然と獲得されていることがわかる.

提案モデルは EM アルゴリズムにより学習される (Liang et al. 2006). 目的関数として, 与えられたデータに対する尤度を考える：

$
\begin{aligned}
\sum_{(\mathbf{e}, \mathbf{f})} \log p(\mathbf{e}, \mathbf{f}) & =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{e}, \mathbf{f})\right) \\
& =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e}, \mathbf{f})^{2}}\right) \\
& =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f}) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \cdot p(\mathbf{e})}\right)
\end{aligned}
$

この尤度を最大化するようなパラメータ $\theta$ を求める。 $\theta$ は各方向のモデルにおけるパラメータ

をまとめたものとする． E-stepでは現在のパラメータ $\theta$ の下でのアライメントの事後確率を以下のように計算する：

$
\begin{aligned}
q(\mathbf{a} ; \mathbf{e}, \mathbf{f}) & :=p(\mathbf{a} \mid \mathbf{e}, \mathbf{f} ; \theta) \\
& =\frac{p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)}{\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)} \\
& =\frac{\sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f} ; \theta) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e} ; \theta) \cdot p(\mathbf{e})}}{\sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f} ; \theta) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e} ; \theta) \cdot p(\mathbf{e})}}
\end{aligned}
$

M-step ではパラメータの更新を行う：

$
\theta^{\prime}:=\underset{\theta}{\operatorname{argmax}} \sum_{\mathbf{a}, \mathbf{e}, \mathbf{f}} q(\mathbf{a} ; \mathbf{e}, \mathbf{f}) \log p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)
$

次節以降では, lexicon probabilitiy と alignment probabilitiyを定義する.

## 2.2 句翻訳確率

$\mathbf{f}$ が $N$ 個の句 $\left(F_{1}, F_{2}, \ldots, F_{N}\right)$ からなり, $\mathbf{e}$ が $M$ 個の句 $\left(E_{1}, E_{2}, \ldots, E_{M}\right)$ と $\operatorname{NULL}\left(E_{0}\right)$ からなるとする。またアライメント $\mathbf{A}^{\mathrm{fe}}$ は $f$ 各句から $e$ の単句への対応を表し, $A_{j}^{f e}=i$ は句 $F_{j}$ が句 $E_{i}$ に対応していることを示すとする.

提案モデルでは, IBM モデルにおける単語翻訳確率 $p\left(f_{j} \mid e_{i}\right)$ の代わりに, 句翻訳確率 $p\left(F_{j} \mid E_{i}\right)$ を考える。ただし， 2 語以上からなる句は NULL 対応にはならないという制限を加える（その句に含まれる各単語が NULL 対応になるものとする). 句翻訳確率を用いて, 式 2 を以下のように変更する：

$
p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})=\prod_{j=1}^{N} p\left(F_{j} \mid E_{A_{j}^{f e}}\right)
$

ここで, 句 $F_{j}$ と句 $E_{i}$ が対応付いたと仮定すると, この句の対応に寄与する句翻訳確率は,双方向分の句翻訳確率を掛け合わせるため以下のようになる：

$
p\left(F_{j} \mid E_{i}\right) \cdot p\left(E_{i} \mid F_{j}\right)
$

この確率の積を句対応確率と呼ぶことにする。表 1 の上部に図 1 の例における句対応確率を示す.

## 2.3 依存関係確率

IBM モデルにおいて，単語の移動，すなわち reordering モデルは, 式 3 に示したように, 一
表 1 各確率の計算例

つ前の単語のアライメントとの相対位置によって定義されている.これに対し提案モデルでは,単語の文内での位置ではなく，依存関係を考慮する.

まず $\mathbf{e}$ のある単語 $e_{p}$ と, $e_{p}$ に係る単語 $e_{c}$ について考え, それらの可能なアライメントのうち, $e_{p}$ が句 $E_{P}$ に属し， $e_{c}$ が句 $E_{C}$ に属しており， $E_{C}$ が $E_{P}$ に係っているものを考える。このような状況において， $E_{P}$ と $E_{C}$ の $\mathbf{f}$ での対応句 $F_{A_{P}^{e f}}$ と $F_{A_{C}^{e f}}$ の関係をモデル化したものが依存関係確率である。図 2 に例を示す。日英などのように語順の大きく異なる言語対であっても，文内の単語や句の依存関係は多くの場合保存され， $F_{A_{C}^{e f}}$ が直接 $F_{A_{P}^{e f}}$ に係ることが多い. 提案モデルはこのような傾向を考慮したものである。直接の親子関係にある 2 単語が属する 2 句の対応先の句の関係は $\operatorname{rel}\left(e_{p}, e_{c}\right)$ のように記述することにし，これは $e_{p}$ が属する句の対応先の句 $F_{A_{P}^{e f}}$ から, $e_{c}$ が属する句の対応先の句 $F_{A_{C}^{e f}}$ への経路として定義される. 経路は以下のような表記に従って示される：
- 子ノードへ行く場合は 'c'(child node)
- 親ノードへ行く場合は ' $\mathrm{p}$ '(parent node)

$\cdot$ 2 ノード以上離れている場合は，上記二つを並べて表記する

例えば図 1 において, “for"から "photodetector"への経路は 'c'となり, “the"から "for"への経路は，2ノード離れているため 'p;p'となる。句同士の依存関係を記述する際には，経路上にある全ての句は，2つ以上の単語からなる句も含めて，すべて 1 つのノードとして扱う。このため, 図 1 において "photogate”から “the”への経路は 'p;c;c;c'となる.

f

$\mathbf{e}$

図 2 依存関係の例（親子関係にある $e_{p}$ と $e_{c}$ が属する句 $E_{P}$ と $E_{C}$ の対応先の句 $F_{A_{P}^{e f}}$ と $F_{A_{C}^{e f}}$ の関係をモデル化する)

この rel を用いて，式 3 を以下のように改善する：

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{\left(e_{p}, e_{c}\right) \in D_{\mathbf{e}-p c}} p_{\text {ef }}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right)
$

ここで $D_{\mathrm{e}-p c}$ は $\mathbf{e}$ の木構造において直接の親子関係にある全ての単語の組み合わせである。また $p_{\mathbf{e f}}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right)$ を $\mathbf{~} \rightarrow \mathbf{f}$ 方向の依存関係確率と呼ぶ. $p_{\mathbf{e f}}$ は木構造上での reordering モデルと考えることができる.

$r e l$ にはいくつか特別な值がある。まず $E_{C}$ と $E_{P}$ が同じ場合, つまり, $e_{c}$ と $e_{p}$ が同じ句に属する場合， $r e l=$ 'SAME'となる．次に NULL アライメントに関してだが，これには $e_{p}$ が NULL 対応の場合, $e_{c}$ が NULL 対応の場合, 両方とも NULL 対応の場合の 3 通りがあり, それぞれ rel の値は 'NULL_p', 'NULL_c', 'NULL_b'となる. 例として表 1 の下部に図 1 の例における依存関係確率を各方向それぞれ示す。

一般的に，構文解析などにおいても，親ノードとの関係たけけでなく，さらにその親のノードとの関係を考慮することは自然であり，精度の向上につながる，提案モデルにおいても，直接の親子関係だけでなく, さらにその親ノードとの関係も考慮し, 以下のように定式化する：

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{\left(e_{p}, e_{c}\right) \in D_{\mathbf{e}-p c}} p_{\text {ef- } p c}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right) \cdot \prod_{\left(e_{g}, e_{c}\right) \in D_{\mathbf{e}-g c}} p_{\mathbf{e f}-g c}\left(\operatorname{rel}\left(e_{g}, e_{c}\right)\right)
$

ここで $D_{\mathbf{e}-g c}$ は $\mathbf{e}$ の木構造において祖父と子の関係にある全ての単語の組み合わせである. $p_{\text {ef }-p c}$ は直接の親子関係にある 2 単語を見たときの依存関係確率であり, $p_{\text {ef- } g c}$ は親の親と子の関係にある 2 単語の場合の依存関係確率である.

なお，逆方向（f から $\mathbf{e} ）$ のモデル $p(\mathbf{a} \mid \mathbf{f})$ も全く同様に定義される.

$
p(\mathbf{a} \mid \mathbf{f})=\prod_{\left(f_{p}, f_{c}\right) \in D_{\mathbf{f}-p c}} p_{\mathbf{f e}-p c}\left(\operatorname{rel}\left(f_{p}, f_{c}\right)\right) \cdot \prod_{\left(f_{g}, f_{c}\right) \in D_{\mathbf{f}-g c}} p_{\mathbf{f e}-g c}\left(\operatorname{rel}\left(f_{g}, f_{c}\right)\right)
$

## 3 トレーニング

提案モデルは 2 つのステップに分けて学習される。これは IBM モデルにおいて，完全に最適解が求まる簡単なモデルからスタートし, 徐々により複雑なモデルに移行することに対応する. Step 1 では単語翻訳確率の推定が行われ, Step 2 では句翻訳確率と依存関係確率の推定が行われる. どちらのステップにおいてもモデルは EMアルゴリズムにより学習される。 またステップ 1 においては句は扱わず，全て単語単位での学習となる。複数単語の塊＝句は Step 2 において自動的に獲得される。

## 3.1 Step 1

Step 1 では各方向独立に, 単語翻訳確率を推定する. これは IBM Model 1 と全く同様の方法により行われる. Step 1 の推定の際には対応の単位は各ノード単体，つまり単語のみであり，句は考慮しない. 句は Step 2 の推定から考慮し, 句となるべき候補を動的に作り出すことにより実現する。これは Step 1 の段階で可能な句の候補全てを考慮すると，アライメント候補数が爆発し，扱えなくなるためである。

$\mathbf{f}$ から eへのアライメントを考えると, $\mathbf{f}$ の各単語は, 他の単語に関係なく, e の任意の単語, または NULL に対応することができる。このことから，あるひとつの可能なアライメント $\mathbf{a} の$確率は以下のように計算できる：

$
\begin{aligned}
p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) & =p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e}) \\
& =\prod_{j=1}^{J} p\left(f_{j} \mid e_{a_{j}}\right) \cdot C(n, m)
\end{aligned}
$

ここで $p(\mathbf{a} \mid \mathbf{e})$ は全てのアライメントにおいて一定 (uniform) であるとし, 各文の単語数による関数 $C(n, m)$ と置く. さらに, 全ての可能なアライメントを考慮すると, 確率 $p(\mathbf{f} \mid \mathbf{e})$ は以下のように計算できる。

$
p(\mathbf{f} \mid \mathbf{e})=\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})
$

単語翻訳確率の初期值として一様な確率を与えておき, 式 13 と 15 を計算して, 正規化したアライメント回数 $\frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{p(\mathbf{f} \mid \mathbf{e})}$ をアライメント $\mathbf{a}$ 内の全ての単語対応に与える. 次に単語翻訳確率を最尤推定により求める。これを繰り返すことにより, 単語翻訳確率を推定する。なおこの計算は効率的に行うことができ, 近似することなく最適なパラメータが求められる. 反対方向 (e

## $3.2 \quad$ Step 2

Step 2 では句翻訳確率と依存関係確率の両方を推定する。また $\mathbf{f}$ から e, e から $\mathbf{f}$ の二つのモデルを同時に用いて，一つの方向性のないアライメントを得る. Step 1 では計算を効率化することにより，近似を用いずにモデルの推定が完全に行えるが， Step 2 では可能なアライメントを全て考慮することは不可能である。そこで我々は最も良いアライメントを探索するために, まず句翻訳確率のみから初期アライメントを生成し，その後依存関係確率も考慮しつつ，山登り法によってアライメントを徐々に修正するという方法をとる.

さらに Step 2 において新たな句候補の生成を行う，新たな句候補は山登り法によって求められた最も良いアライメントの状態から生成され, 次のイタレーションから考慮される。つまり， Step 2 のイタレーションが進むに連れ，より大きな句の対応を発見することができる.

全体として, Step 2 の 1 回のイタレーションは, E-step での“初期アライメント” の生成と “山登り法”により最適なアライメントの探索, E-step と M-step の間での新たな句候補の生成, M-step でのパラメータの更新の 4 つの要素からなる.

Step 2 での一回目のイタレーションでは, パラメータの初期値を以下のようにする。一回目のイタレーションにおいては全ての句は 1 単語からなるため（2 単語以上からなる句候補が獲得されていないため）句翻訳確率については, Step 1 で求めた単語翻訳確率をそのまま用いる.依存関係確率は, Step 1 の最後のイタレーションで得られた最も良いアライメント結果において依存関係の生起回数を計数し，そこから求めた確率を用いる.

## 初期アライメント (E-step)

依存関係確率は用いず，句翻訳確率のみから初期アライメントを生成する。全ての句候補同士の対応（もしくは NULL 対応）に対して，句対応確率を式 9 により計算する。これらの中から, 句対応確率の相乗平均が高いものから順に, 対応として採用する。この際, 各単語は 1 度しか対応付かないようにする。つまりすでに採用されている対応と重なるような対応は採用しない. なお句候補の生成については後で述べる.

初期アライメントが生成されたら，その状態でのアライメント確率を計算する。このときから依存関係確率も用い，式 4 のように計算する.

## 山登り法 (E-step)

初期アライメントの状態から, 依存関係確率を考慮しながらアライメントを修正し, 徐々に確率の高いアライメントを探索していく. 修正手段としては以下の 4 種類を考える.

図 3 山登り法によるアライメントの修正例

Swap: 任意の 2 つの対応に注目し, それらの対応を入れ替える. 例えば図 3 の最初の操作では，“光 $\leftrightarrow$ photogate”と“フォトゲート $\leftrightarrow$ photodetector”の対応がそれぞれ“光 $\leftrightarrow$ photodetector”と“フォトゲート $\leftrightarrow$ photogate”というように対応が入れ替えられている.

Extend： 任意の1つの対応に注目し，そのいずれかの言語における句を，親または子方向に 1 ノード分だけ拡大する。

Add： NULL 対応となっている原言語側及び目的言語側のノード間に，新たに対応を追加する.

Reject：すでにある対応を削除し，それぞれ NULL 対応とする。

図 3 に山登り法によるアライメント修正過程の例を示す。なお図 3 は 1 回以上イタレーションを行ったあとの状態である。修正後のアライメント確率が修正前よりも高くなる場合にのみ修正を実行し，修正された状態から再度修正を行っていく，確率が高くなる修正箇所がなくなるまで修正を繰り返し行い, 最終的に得られたアライメントが, 最も確率の高いアライメントとなる。なお修正の途中で得られたアライメントの状態を，確率の高いものから $n$ 個保存しておき，仮想的な $n$-best アライメントとし，パラメータ推定の際に利用する.

## 新たな句候補の生成

山登り法により得られた最も良いアライメント結果のうち, NULL対応となった単語に注目する. NULL 対応となった語の親，または子の単語が NULL 対応でなければ，その単語と NULL 対応の単語とをまとめたものを新たに句として獲得し, Step 2 の次のイタレーションから探索範囲に入れる。例えば図 3 の最終状態において NULL 対応となっている“素子”は，その子の
対応である “受光 $\leftrightarrow$ photodetector”に含まれ，新たに“受光素子”という句を作りだし，“受光素子 $\leftrightarrow$ photodetector” という対応があるものと考えるさらに親の対応である“に $\leftrightarrow$ for” に含まれ，“素子に”という句もつくり出し，“素子にに for”という対応があるものと考える.これらの新たに考慮される対応には, 元の対応の出現期待値（正規化されたアライメントの確率）を分配する。例えば図 3 のアライメントの正規化された確率を 0.7 とすると, “受光 $\leftrightarrow$ photodetector”と“受光素子 $\leftrightarrow$ photodetector”にそれぞれ 0.35 ずつ, “に $\leftrightarrow$ for”と“素子に $\leftrightarrow$ for”にも 0.35 ずつ出現期待値を与える.

このように，NULL 対応に注目することにより動的に句となるべきかたまりを獲得していき， モデルの構築を行う.

## モデル推定 (M-step)

一般的な EM アルゴリズムにおいては, 得られた n-best アライメントのそれぞれのアライメント確率を正規化し，各アライメントにおけるパラメータの出現回数をこの正規化された確率値（出現期待値）を用いて計数する。我々もこの方法に従い, 全ての対訳文での全てのアライメント結果を集めてパラメータの推定を行う。たたし，正確に全てのアライメントを数え上げることはできないため, 山登り法の途中で得られたアライメントのうち, アライメントの確率の高いもの上位 $n$ 個（山登りの回数が $n$ に満たない場合はその全て）を用いる。パラメータ推定は各パラメータの出現期待値の総和を全体の回数で正規化することにより行われる。例えば句翻訳確率は以下のような式により推定する：

$
p\left(F_{j} \mid E_{i}\right)=\frac{C\left(F_{j}, E_{i}\right)}{\sum_{k} C\left(F_{k}, E_{i}\right)}, \quad p\left(E_{i} \mid F_{j}\right)=\frac{C\left(F_{j}, E_{i}\right)}{\sum_{k} C\left(E_{k}, F_{j}\right)}
$

ここで $C\left(F_{j}, E_{i}\right)$ は $F_{j}$ と $E_{i}$ がアライメントされた回数である.

ここまでの処理により，EM アルゴリズムの E-step, M-step が終了し, 再び E-step に戻る. これを複数回繰り返すことにより，モデルのトレーニングを行う.

## 4 アライメント実験

提案手法の有効性を示すためにアライメント実験を行った. トレーニングコーパスとして $\mathrm{JST}^{1}$ 日英抄録コーパスを用いた。このコーパスは，科学技術振興機構所有の約 200 万件の日英抄録から, 内山・井佐原の方法 (Utiyama and Isahara 2007) により, 情報通信研究機構 ${ }^{2}$ が作成したものであり， 100 万対訳文からなる。このうち 475 文に人手で正解のアライメントを付与

し, 正解データとした。ただし, 正解データには $\operatorname{Sure}(S)$ アライメントのみが付与されており, Possible (P) アライメントはない (Och and Ney 2003)，また評価の単位は日本語, 英語とも単語とし，適合率・再現率・ $\mathrm{F}$ 値により精度を求めた.

日本語文に対しては形態素解析器 JUMAN (Kurohashi, Nakamura, Matsumoto, and Nagao 1994) および依存構造解析器 KNP (Kawahara and Kurohashi 2006) を用い，英語文に対しては Tsuruoka と Tsujii の POS タガー (Tsuruoka and Tsujii 2005)でPOS タグを付与し, MST パー サ (McDonald, Pereira, Ribarov, and Hajic 2005) を用いて単語の依存構造木に変換する.

また Step 2 のパラメータ推定の際に用いるアライメントの数は $n=10$ とした.

実験は 2 種類行った。一つ目は既存の単語列アライメント手法と比較することによって提案手法の有効性を示すための実験であり，二つ目は依存構造を利用することと，単語より大きな単位である句を扱うことの効果を示すための実験である．全ての実験において，各単語は原形に戻した状態でトレーニングを行った.

## 4.1 単語列アライメント手法との比較

比較実験として, 単語列アライメント手法として広く利用されているIBM モデルを実装したアライメントツールである GIZA++ (Och and Ney 2003) を用いてアライメントを行った. 各モデルのイタレーション回数などのオプションはデフォルトの設定をそのまま利用した. さらに各方向のアライメント結果を三つの対称化手法により統合した (Koehn et al. 2003). 結果を表 2 の下部 3 行に示す. 利用した対称化手法は 'intersection', 'grow-final-and', 'grow-diag-final-and' の 3 つである (Koehn, Axelrod, Mayne, Callison-Burch, Osborne, and Talbot 2005).

表 2 アライメント実験結果（提案手法と単語列アライメント手法との比較）

一方，提案手法によるアライメント精度を表 2 の上部に示す。まず'Step 1’に示されているのは, Step 1のイタレーションを 5 回行った後に学習されたパラメータ（単語翻訳確率）を用いたアライメントの精度である。 なおここでのアライメントは, 両方向のパラメータを用いて, 3.2 章の初期アライメント生成手法と同様にアライメントを生成した結果である. 'Step 2-X'は Step 2 の各イタレーション終了時点でのアライメント精度である. 'Step 2-1'は句翻訳確率は 'Step 1’のものと同じたが，それに加えて'Step 1'のアライメント結果から推定した依存関係確率を用いてアライメントを行っている。つまり, 'Step 1'と 'Step 2-1’とを比較することにより，依存関係確率を用いることによるアライメント精度の向上が見て取れる．以後 Step 2 のイタレーションを行い, その都度アライメント精度を計測した。結果として, 提案手法では単語列アライメント手法よりも $\mathrm{F}$ 值で 4.9 ポイントのアライメント精度向上を達成した（Step 2-7 と grow-diag-final-and との比較による)。適合率だけを見ると 'intersection’が最もよい値を示しているが再現率が極端に低くなっている。また再現率が最も高いのは 'grow-diag-final-and'であるが, 同程度の再現率を示している提案手法の結果を見ると, 適合率では大きく上回っており, 総合的に見て提案手法は単語列アライメント手法よりも優れているということができる。 なお $\mathrm{F}$值は Step 2-7 が最も高い値を示したが, Step 2-5 から 2-7までは大差ないことと, Recall よりも Precision が高い方が翻訳での利用を考えた際には有利であり，イタレーションが進むに連れ Precision が低下していくことを考慮して, Step 2-5 の結果に注目することにする.

次に, 機能語に関する簡単なルールを人手により作成し, 最終的なアライメント結果の修正を行った。用いたルールは以下の 3 つである：
- 英語の冠詞はその係り先のノード（普通は名詞）に併合する
- 日本語の助詞と英語の 'be'や 'have' との間に対応がある場合, それらは棄却する
- 日本語の ‘する’, ‘れる’, 英語の 'be', 'have'が NULL に対応している場合, その係り先の動詞や形容詞のノードに併合する

これらのルールを Step 2-5の結果に適用することにより, F 値は 70.76 に向上し, 単語列アライメントよりも 8.5 ポイント高い $\mathrm{F}$ 値を達成した（表 2 の Step 2-5 + rule）. なお, 以後の考察ではルールなしの Step 2-5の結果を検討する.

## 4.2 依存構造と句を扱うことの有効性

依存構造木を用いることと, 単語より大きな句という単位を用いることの有効性を示すための実験を行った．実験の条件として以下の 4 通りを採用した：
- 依存構造木と句のどちらも用いる（結果の ‘提案手法’）
- 依存構造木のみを利用し, 句は用いない
- 依存構造木は利用せず，句のみを用いる
- 依存構造木と句のどちらも利用しない（結果の ‘ベースライン’）
表 3 依存構造木および句を利用することの効果（Step 2 での 5 回のイタレーション後のアライメント精度)

なお依存構造木を用いない実験においては, 単語の依存関係ではなく相対位置の情報を用いた。例えば原言語側で連続している一組の対応のそれぞれの対応先が前, 又は後ろに何単語（もしくは句）離れているかをモデル化した．実験結果を表 3 に示す。全ての実験条件において，示した結果は Step 2 で 5 回イタレーションを行った後のアライメント結果での評価である.

この結果から, 句を扱うことは再現率の向上につながり, 依存構造木を利用することは適合率の向上につながることがわかり，両方を用いることにより，適合率・再現率ともにバランスよく高い精度を達成することができると言える。

## 5 考察

4.1 章（表 2）から, 単純な単語列アライメントモデルと比較して, 提案モデルが十分に高精度なアライメントを行えていることがわかる。図 4 および図 5 で二つの手法のアライメント結果の比較を示す。灰色に塗られたマスはアライメントの正解であり，黒い四角（ロ）がある部分が出力である。図 4 は単語列アライメントの結果の例である。文内に“非去勢マウス”と “去勢マウス”, “non-castrated mice”と“castrated mice”というように, 同じ語が複数回出現しており，アライメントに曖昧性があるが，単語列アライメントモデルはこの曖昧性解消に失敗している。これは文を単純な単語列として見た場合，曖昧性を持つ語同士が互いに近くに位置しており，さらに曖昧性解消の手がかりとなる“同様に $\leftrightarrow$ as”といった対応ともほぼ等距離にあるためである。一方で図 5 に示すように，提案モデルではこれらの語を正しく対応付けることができており，文を木構造で見た場合の利点が生かされている．例えば英語側の木構造において, “as"に係っているのは "castrated mice”ではなく"non-castrated mice"であり, 同様に日本語側の木構造においても，“同様に”に係っているのは“去勢マウス”ではなく“非去勢マウス”である。このような関係から，“非去勢マウス $\leftrightarrow$ non-castrated mice”，“去勢マウス $\leftrightarrow$ castrated mice”という正しい対応関係が獲得されている.

1 章で述べたように，IBM モデルに代表されるような文を単純な単語列として扱う既存の統計的単語列アライメントモデルは, 英語とフランス語などのように語順がほぼ同じであり, 語順

図 4 単語列アライメントにおける曖昧性解消の失敗例 (grow-diag-final-and)

図 5 提案手法によるアライメント例（曖昧性が正しく解消されている）

変化がある場合でも局所的である言語対においては十分頑健に働くが，語順が大きく変化する言語対においてはその精度に問題がある。例えば日本語と英語について考えてみると，日本語の文は SOV の語順であるのに対し，英語ではSVO の語順であり，このため語順の変化が大きくなりやすい.このような言語対においては言語の構造情報を利用することが自然であり，ま

た有効であることが本実験により示されている.

句を扱うことによる改善例としては, 図 6 において単語列アライメントモデルでは “受光素子 $\leftrightarrow$ photodetector” という句対応の獲得に失敗しているのに対し, 図 7 に示すように提案手法では正しく獲得されている。単語レベルでの対応を後から重ね合わせる手法では，どこまでが句となるべきかの境界判定ができないなどの欠点があり，このような句対応を精度良く発見することは難しい。これに対し提案手法ではパラメータの学習と同時に句を獲得することができる上に，木構造を利用しているため，単語列としては連続であっても意味上不連続であり，句となるべきではないといった境界判定が自然に行える。

表 4 に, 得られた対応を大きさごとに計数した結果を示す（単語列アライメント手法は growdiag-final-and, 提案手法は Step 2 の 5 回目のイタレーションの結果)。なお提案手法ではイ夕レーションが進むにつれて， 1 ずつ句の大きさが大きくなる. このため, 5 回目のイタレーションにおいては日英の句の合計が 6 の対応が最大となる．結果を見ると，単語列アライメント手

図 6 単語列アライメントにおける句対応獲得の失敗例 (grow-diag-final-and)

 &  &  &  & \ulcorner &  &  &  &  \\

図 7 提案手法によるアライメント例（句が正しく獲得されている）
法に比べて提案手法では得られた対応の個数がサイズがより大きなものへとシフトしていることが見て取れ，より大きなサイズの対応が獲得されていることがわかる。これが再現率の向上に大きく貢献しているといえる.

さらにイタレーションごとの各言語の NULL 対応ノード数と, 平均フレーズサイズの推移を図 8 に示す. 平均フレーズサイズは, 例えばある一つの対応に含まれる日本語の単語が $j$ 語, 英語の単語が $i$ 語ならば $(i+j) / 2$ とした，ある程度までは平均フレーズサイズは上昇するが， 6 回目程度からはそれほど大きくは変化しておらず，アライメントが安定していることがわかる。

翻訳での利用を考えた場合，適合率は高ければ高いほどもちろん翻訳の精度が向上すると考えられる。しかしながら再現率が低いと，例えば Phrase-based SMT (Koehn et al. 2003) や Hiero (Chiang 2005) などにおいてはフレーズテーブルのサイズが大きくなりすぎるという問題が起こ

表 4 得られた対応の大きさの分布

} & 1 & 3492 & 289 & 41 & 6 & 3 & 1 \\

図 8 NULL 対応ノード数と平均フレーズサイズの推移

り, 用例ベース翻訳システム (Nakazawa and Kurohashi 2008a) においては利用可能な用例の数が減ってしまうなど，再現率もおざなりにはできない，一方で再現率のみが高く，適合率が低くてもやはり質の良い翻訳は行えない。つまり両者のバランスを取り，どちらも向上させることが，翻訳の質の向上につながるはずであり， 4.2 章で示したように，提案手法はこの観点からも有効であると言える。実際に提案手法によるアライメントによって翻訳精度が向上するかの調査は今後の課題である。

提案手法におけるアライメント誤りの要因で最も大きいものは, 構文解析の誤りによるものである。提案手法は構文解析結果に強く依存しており，構文解析が誤っていると容易にアライメントの誤りにつながってしまう。長期的には各言語の構文解析の精度が向上していくことも十分期待できるが，構文解析結果を修正しつつアライメントすることも考えられる (Fraser, Wang， and Schütze 2009).

また山登り法によるアライメントの探索の際に局所解に陥ってしまうという問題もしばしば見受けられた。これはほとんどの場合，一方の言語で 1 文内に同じ語や句が複数回出現しているが，他方では省略されて 1 度しか出現していないなど，出現回数に差がある場合に起こる。初期アライメント生成時には周りのノードとの関係は一切見ていないため, このような省略がある場合にはどちらが正しい対応かを判断することができないため, ランダムにどちらかが選ばれる。このとき運悪く誤った方を選択してしまい，さらにその周囲に誤った対応がいくつかあると，お互いに足を引っ張り合い，局所解に陥ってしまう．このように，提案手法では必ずしも最もよいアライメントが得られるとは限らない. この問題を解決するためには, 山登り法の初期値を複数用意しておき，探索を複数回行うといった方法を取ったり，アライメントの探索アルゴリズムをよりよいものに改良する必要があり，例えば Belief Propagation を利用する (Cromierès and Kurohashi 2009)ことなどが考えられる.

さらに，機能語をどのように扱うかといった難しい問題も残されている。機能語は明確に対応する語を持たないことがしばしばある。例えば日本語における格助詞などや英語における冠詞などはその典型的な例である。このような語に対しては, アライメントの正解の基準と出力とが整合的でない場合が多く, これがアライメント精度の向上の障害になってしまう． 4.1 章の最後に示したように，提案手法では簡単なルールを用いるだけで大幅な精度の向上を達成できる。これは木構造を利用していることの利点であるといえる.

## 6 結論

本稿では依存関係確率モデルを用いた統計的句アライメント手法を提案した。提案モデルは木構造上での reordering モデルということができ, シンプルなモデルながらも言語構造の違いを柔軟に吸収し，精度の高いアライメントを実現できた．実験結果から，語順の大きく異なる
言語対に対しては既存の単語列アライメント手法では十分な精度を達成することは困難であり，構文解析などの言語情報を利用することが自然であり，高い効果を示すことが証明された．今回は日本語と英語間のアライメント実験のみしか行わなかったが, 同様に語順に大きな違いのある日本語と中国語間での実験などを行い，提案手法が言語対によらずロバストな手法であることを示す必要がある。

考察にも述べたとおり, 提案手法は依存構造解析に大きく依存しており, 依存構造解析誤りが容易にアライメントの誤りにつながってしまう。両言語の解析結果を照らしあわせて，文構造を修正しつつアライメントすることも可能なはずであり，現在検討中である。これが実現できれば，依存構造解析とアライメント双方の精度向上が可能となると考える.

アライメントの精度のみを評価したが, この結果が翻訳の精度にどのように影響するかを調查することは今後の課題である.

## 参考文献

Brown, P. F., Pietra, S. A. D., Pietra, V. J. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Association for Computational Linguistics, 19 (2), pp. 263-312.

Cherry, C. and Lin, D. (2003). "A Probability Model to Improve Word Alignment." In Proceedings of the 41st Annual Meeting of the Association of Computational Linguistics, pp. 88-95.

Chiang, D. (2005). "A Hierarchical Phrase-Based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 263-270.

Cowan, B., Kučerová, I., and Collins, M. (2006). "A Discriminative Model for Tree-to-Tree Translation." In Proceedings of the 2006 Conference on EMNLP, pp. 232-241 Sydney, Australia. Association for Computational Linguistics.

Cromierès, F. and Kurohashi, S. (2009). "An Alignment Algorithm Using Belief Propagation and a Structure-Based Distortion Model." In Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009), pp. 166-174 Athens, Greece. Association for Computational Linguistics.

Fraser, A., Wang, R., and Schütze, H. (2009). "Rich Bitext Projection Features for Parse Reranking." In Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009), pp. 282-290 Athens, Greece. Association for Computational Linguistics.

Gildea, D. (2003). "Loosely Tree-based Alignment for Machine Translation." In Proceedings of the 41st Annual Meeting on ACL, pp. 80-87.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183. New York City, USA. Association for Computational Linguistics.

Koehn, P., Axelrod, A., Mayne, A. B., Callison-Burch, C., Osborne, M., and Talbot, D. (2005). "Edinburgh System Description for the 2005 IWSLT Speech Translation Evaluation." In Proceedings of International Workshop on Spoken Language Translation 2005 (IWSLT'05).

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In HLTNAACL 2003: Main Proceedings, pp. 127-133.

Kurohashi, S., Nakamura, T., Matsumoto, Y., and Nagao, M. (1994). "Improvements of Japanese Morphological Analyzer JUMAN." In Proceedings of The International Workshop on Sharable Natural Language, pp. 22-28.

Liang, P., Taskar, B., and Klein, D. (2006). "Alignment by Agreement." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 104-111. New York City, USA. Association for Computational Linguistics.

McDonald, R., Pereira, F., Ribarov, K., and Hajic, J. (2005). "Non-Projective Dependency Parsing using Spanning Tree Algorithms." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 523-530. Vancouver, British Columbia, Canada. Association for Computational Linguistics.

Menezes, A. and Richardson, S. D. (2001). "A Best-first Alignment Algorithm for Automatic Extraction of Transfer Mappings from Bilingual Corpora." In Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics (ACL) Workshop on Data-Driven Machine Translation, pp. 39-46.

Nakazawa, T. and Kurohashi, S. (2008a). "Kyoto-U: Syntactical EBMT System for NTCIR-7 Patent Translation Task." In Proceedings of HLT/EMNLP 2005, pp. 467-474.

Nakazawa, T. and Kurohashi, S. (2008b). "Linguistically-motivated Tree-based Probabilistic Phrase Alignment." In Proceedings of the Eighth Conference of the Association for Machine Translation in the Americas (AMTA2008).

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Association for Computational Linguistics, 29 (1), pp. 19-51.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 271-279.

Tsuruoka, Y. and Tsujii, J. (2005). "Bidirectional Inference with the Easiest-First Strategy for

Tagging Sequence Data." In Proceedings of HLT/EMNLP 2005, pp. 467-474.

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In MT summit XI, pp. 475-482.

Watanabe, H., Kurohashi, S., and Aramaki, E. (2000). "Finding Structural Correspondences from Bilingual Parsed Corpus for Corpus-based Translation." In Proceedings of the 18th International Conference on Computational Linguistics, pp. 906-912.

Yamada, K. and Knight, K. (2001). "A Syntax-based Statistical Translation Model." In Proceedings of 39th Annual Meeting of the ACL, pp. 523-530.

## 略歴

中澤敏明：2005 年東京大学工学部電子情報工学科卒業. 2007 年同大学院修士課程修了. 2007 年京都大学大学院博士後期課程入学. 機械翻訳の研究に従事.

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.

博士 (工学). 2006 年, 京都大学大学院情報学研究科教授, 現在に至る.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 述語項構造と照応関係のアノテーション： NAIST テキストコーパス構築の経験から

本論文では，日本語書き言葉を対象とした述語項構造と照応関係の夕グ付与につい て議論する。述語項構造解析や照応解析は形態素・構文解析などの基盤技術と自然言語処理の応用分野とを繋ぐ重要な技術であり, これらの解析のための主要な手法 は夕グ付与コーパスを用いた学習に基づく手法である。この手法を実現するために は大規模な訓練データが必要となるが, これまでに日本語を対象にした大規模な夕 グ付きコーパスは存在しなかった。 また, 既存のコーパス作成に関する研究で導入 されているタグ付与の基準は, 言語の違いや最終的に出力したい解析結果の粒度が 異なるため，そのまま利用することができない。そこで，我々は既存のいくつかの タグ付与の仕様を吟味し, 述語項構造と共参照関係のアノテーションを行うために タグ付与の基準がどうあるべきかについて検討した。本論文ではその結果について 報告する。また, 京都コーパス第 3.0 版の記事を対象にタグ付与作業を行った結果 とその際に問題となった点について報告する。 さらにタグ付与の仕様の改善案を示 し，その案にしたがい作業をやり直した結果についても報告する.

キーワード：アノテーション, 述語項構造, 照応, 共参照, コーパス
## Annotating Predicate-Argument Relations and Anaphoric Relations: Findings from the Building of the NAIST Text Corpus

\author{
RYu Iida ${ }^{\dagger}$, Mamoru Komachi $^{\dagger \dagger}$, NaOya InOuE ${ }^{\dagger \dagger}$, \\ Inui Kentaro $^{\dagger \dagger}$ and Yuji Matsumoto ${ }^{\dagger \dagger}$
}

This paper addresses how to annotate predicate-argument and anaphoric relations in Japanese written text. Predicate-argument structure analysis and anaphora resolution are important problems because they bridge the gap between basic techniques in NLP such as morpho-syntactic analysis and NLP applications. To solve these problems, researchers have generally made use of annotated corpora for machine learningbased approaches. Although we need large corpora where predicate-argument relations and anaphoric relations are annotated to examine their occurrence in Japanese text, there have been no such resources so far. In addition, existing specifications for annotating predicate-argument and anaphoric relations are not directly applicable

due to the difference of languages and different problem settings. For these reasons, we explore how to annotate these two kinds of relations and then define an adequate specification of each annotation task. In this article, we report the results of annotation, taking the Kyoto Corpus 3.0 as a starting point. Furthermore, we refine our annotating specification to adapt actual phenomena existing in our corpus and then report the results of the annotation work according to the new specification.

Key Words: annotation, predicate-argument structure, anaphora, coreference, corpus

## 1 はじめに

情報抽出や機械翻訳などの NLP の応用処理への需要が高まる中で，その技術を実現するための中核的な要素技術となる照応・共参照と述語項構造の解析に関して多くの研究者が解析技術を向上させてきた。それらの技術の多くは各情報が付与されたコーパス（以後，夕グ付与コー パス）を訓練用データとして教師あり手法を用いるやり方が一般的であり，解析の対象となるコーパス作成の方法論についても議論がなされてきた (Hirschman 1997; Kingsbury and Palmer 2002; Doddington, Mitchell, Przybocki, Ramshaw, Strassel, and Weischedel 2004).

照応・共参照解析については，主に英語を対象にいくつかの夕グ付与のスキーマが提案されており，実際にそのスキーマに従ったコーパスが作成されている (Hirschman 1997; 河原, 黒橋,橋田 2002; Hasida 2005; Poesio 2004; Doddington et al. 2004)．例えば， Message Understanding Conference (MUC) の Coreference (CO) タスク (Hirschman 1997) や，その後継にあたる Automatic Content Extraction (ACE) program の Entity Detection and Tracking (EDT) タスクでは,数年に渡って主に英語を対象に詳細な仕様が設計されてきた。また，述語項構造解析に関しては，CoNLLの shared task ${ }^{1}$ で評価データとして利用されている PropBank (Palmer, Gildea, and Kingsbury 2005) を対象に仕様が模索されてきた.

日本語を対象に述語項構造と照応・共参照の研究をするにあたり, 分析, 学習, 評価のための大規模な夕グ付きコーパスが必要となるが，現状で利用可能な Global Document Annotation (GDA) (Hasida 2005)夕グ付与コーパス (以後, GDA コーパス) や京都テキストコーパス第 4.0 版（以後，京都コーパス 4.0）は，述語項構造や共参照の解析のための十分な規模の評価データとはいえない.

日本語を対象に述語項構造を照応・共参照の研究を進めるためには，英語の場合と同様に夕グ付きコーパスを構築する必要があるが，日本語では述語の格要素が省略されるゼロ照応の現象が頻出するため, 後述するように述語項構造の記述の中で照応現象も同時に扱う必要がある. そのため, 英語では独立に扱われている述語項構造と（ゼロ）照応の関係の両方の夕グ付与の仕
^{1}$ http://www.lsi.upc.edu/ srlconll/
}
様を把握し，2つの関係横断的にどのようにタグ付与の仕様を設計するかについて考える。夕グ付与の仕様は最初から完成したものを目指すのではなく，作業仕様を経験的に定め，人手によるタグ付与の作業を行い，作業結果を検討することで洗練していくことを想定している．本論文ではこれまでに行った仕様に関する比較検討の内容と現在採用している我々の作業仕様について説明する。この際， MUC や ACE の英語を対象に設計されたタグ付与の仕様に加え，日本語を対象に作成された既存の共参照・述語項構造のタグ付きコーパスである Global Document Annotation (GDA) (Hasida 2005) タグ付与コーパス（以後, GDA コーパス）や京都テキストコーパス第 4.0 版（以後，京都コーパス 4.0）2 との比較も行う.

本論文ではまず 2 節で照応と共参照の関係について確認し， 3 節では述語項構造と照応・共参照の夕グ付与に関する先行研究を紹介する。次に，4節で先行研究を踏まえた上の我々の夕グ付与の基準を示し, その基準に従った作業結果についても報告する。 さらに, 5 節で今回作業を行った際に問題となった点について説明し，5 節でその改善案とその案にしたがって作業をやり直した結果について報告し，最後に 7 節でまとめる.

また, 今回の作業の結果作成された述語項構造と照応・共参照タグ付与コーパスを NAIST テキストコーパスとして公開している. 詳細はhttp://cl.naist.jp/nldata/corpus/を参照されたい.

## 2 照応と共参照

照応とはある表現が同一文章内の他の表現を指す機能をいい，指す側の表現を照応詞，指される側の表現を先行詞という。日本語の場合は述語の格要素の位置に出現している照応詞が頻繁に省略される。この省略された格要素をゼロ代名詞といい，ゼロ代名詞と照応関係となる場合をゼロ照応と呼ぶ. 本研究では便宜上ゼロ照応の関係をゼロ代名詞とその先行詞の出現位置で 3 種類に分類する。ゼロ代名詞と先行詞が同一文内に出現している場合を文内ゼロ照応と呼び，また先行詞がゼロ代名詞と同一文章内の異なる文に出現している場合を文間ゼロ照応と呼ぶ。例えば，図 1 で“行く”のガ格が省略されており，その項が述語と係り受け関係にないため, “行く”のガ格のゼロ代名詞とその項 “太郎” は文内ゼロ照応の関係にあると考える ${ }^{3}$. 最後

図 1 文内ゼロ照応

に，ゼロ代名詞の先行詞が文章内に出現しない場合を外界照応と呼ぶ.

一方，二つ（もしくはそれ以上）の表現が現実世界（もしくは仮想世界）において同一の実体を指している場合には共参照（もしくは同一指示）の関係にあるという。先行詞となる表現が固有表現になる場合など，多くの場合は照応関係かつ共参照の関係が成り立つ. 例えば，文章 (1) では, 代名詞 “彼 ${ }_{i}$ が “横尾 $i$ ”を指しており, かつ同一の人物を指しているため, 照応関係かつ共参照関係である。

(1) 横尾 $i_{i}$ は画家でもないし、デザイナーでもない。

要するに、そんなことは彼 $i$ってはどうでもよいことなのだ。

これに対し，文章 $(2)$ では， 2 文目の “それ” なるが，同じ実体を指していないため共参照関係とはならない.

次郎もそれ

このように照応関係にある場合でも，同一の実体を指している場合とそれ以外の場合が存在する。

文献 (Mitkov 2002) では, 前者のような共参照かつ照応関係となる関係を identity-of-reference anaphora (IRA), 後者を identity-of-sense anaphora (ISA) と呼び区別している.

照応と共参照は異なる概念であるにもかかわらず, IRAが両方の性質を兼ねるため, 既存研究ではそれぞれの概念が混同して扱われてきた。 3 節で述べる夕グ付与コーパス作成の先行研究でも同様にいくつかの異なる解釈で仕様が設計されている.

## 3 先行研究

この節では，共参照と述語項構造のタグ付与に関する主な先行研究を説明する.

## 3.1 照応・共参照のタグ付与

情報抽出の主要な会議である Message Understanding Confernce (MUC) では, 第 6 回と第 7 回の会議（以後, MUC-6 と MUC-7）において, 情報抽出の部分問題として共参照解析の問題を扱っている ${ }^{4}$. MUC-6, MUC-7の共参照関係タグ付与コーパスでは名詞句間の共参照関係がタグ付与され (ただし, 動名詞 (gerund) は除く), Soon ら (Soon, Ng, and Lim 2001)や Ng ら (Ng and Cardie 2002a) などさまざまな機械学習に基づく共参照解析手法の gold standard データとして利用されてきた. しかし，このコーパスの仕様では，一般に共参照関係とはみなされないような量化表現（every, mostなど）を伴う場合や同格表現 (Julius Caesar ${ }_{i}$, the/a well-known emperor $\left._{i}, \ldots\right)$ も共参照関係とみなしてタグ付与されているという問題を含んでいる ${ }^{5}$.

図 2 言及 (mention) と実体 (entity)

MUC の共参照解析タスクの後継に相当する Automatic Content Extraction (ACE) (Doddington et al. 2004)の Entity Detection and Tracking (EDT)では, この過剰な共参照関係の認定を回避するために, mention（言及）と entity（実体）という2つの概念を導入しタスクを設定している。言及とは文章中に出現する表現のことで，情報抽出で解析の対象となる特定の種類の固有表現を含む。これに対し，実体とは 2 節で述べた意味での実体，つまり現実世界（もしくは仮想世界）で指せるモノを意味する。例えば，図 2 の例については，“ジョン”と“彼”はそれぞれクラスが names と pronouns の言及であり，その 2 つの表現が実体のレベルではクラスが specific_referenceである同一の実体を指しているという夕グ付与を行う。

EDTの夕グ付与 6 では，言及の型が人名や組織名など特定の種類の固有表現に該当する場合で，かつ総称的 (generic) でない場合にのみ共参照関係の夕グ付与を行う。このため, ACEのデータセットでは文章内に出現する共参照関係に網羅的にタグが付与されず，文章内のすべての実体を対象として解析を行うには不十分なデータとなっている.

日本語に関しても, 京都コーパス 4.0 (河原他 2002) や GDA コーパス (Hasida 2005) などのタグ付きコーパスに共参照相当の夕グが付与されている。京都コーパス 4.0 には，係り受けの情報に加え, 毎日新聞 95 年度版の一部（555 記事, 5,127 文）に114,729もの共参照夕グが付与されている。ただし，このコーパスでは ACEで導入されている実体と実体の間の共参照関係に加え，実体と属性の間にも共参照関係の夕グを付与している。例えば，文 (3)では，実体 “村山富市 $i$ ”とその属性 “首相 $i$ の間に共参照の関係が付与されることになる.

(3) 村山富市 $i$ 首相 $i$ の年頭記者会見の要旨は次の通り。

一方，GDA コーパスでは，表現が実体を指している場合と総称的な表現の場合を区別せずに共参照の関係を認定している。下記の (4) は GDA コーパスから抜粋したものだが, この文章
^{6} \mathrm{http} / / /$ projects.ldc.upenn.edu/ace/annotation/
}

では総称名詞である 2 つの “フロン $i$ "に対して共参照タグが付与されている. このような例が多数見られたため, GDAの共参照夕グはIRAとISAの両方の関係で付与されていると考えられる。

## 3.2 述語項構造のタグ付与

述語とその項 7 の夕グ付与に関しては, 表層格レベルから深層格レベルまでさまざまなレベルでのタグ付与についての議論がある。例えば, 英語を対象とした PropBank (Palmer et al. 2005) では, 述語の項のラベルとして, 基本的には agent や theme などの意味役割に相当する ARG0, ARG1, ..., ARG5, AA, AM, AM-ADV など， 35 種類のタグを用いて文章にタグ付与を行っている。一例をあげると, 文 (5) に出現している動詞 “earned”に対し, “the refiner”を agent 相当である ARG0, “\$66 million, or $\$ 1.19$ a share”を theme に相当する ARG1 としてタグが付与されている.

(5) [ARGM-TMP A year earlier], [ARG0 the refiner] [rel earned] [ARG1 \$66 million, or $\$ 1.19$ a share].

ただし，PropBankでは項が付与される範囲は同一文内に限定されている.

一方，日本語を対象に述語項構造を考える場合は必須格が省略されるゼロ照応の現象が頻繁に起きるため, 文を越えて出現している表現や, もしくは文章外の要素も考慮して夕グ付与を行う必要がある. 京都コーパス 4.0 では文間ゼロ照応, 外界照応となる項に関しても夕グが付与されている。共参照夕グ付与の対象となった 555 記事を対象にガ/ヨ/ニ/カラ/ヘ/ト/ヨリ/マデなどの格助詞相当の表層格に加え, ニツイテのような連語も一つの表層格として述語と項の関係が付与されている。例えば，文（6)に出現している述語“答え（る）”では前方に出現している“状態 $i$ ”をニツイテという表層格でタグ付与している.

（6）体の状態 $i$ について健康と答えたニッィテ:i 人は八七・八\%で、体力に自信を持っているとの回答は八一・一\%だった。

また, GDAコーパスではゼロ照応に関してagent, theme などの粒度で意味役割の夕グが付与されているが, 我々が確認した限りでは, 述語と係り関係にある場合や, ゼロ照応の関係として認定できる場合であっても先行詞が同一文内に出現している場合には夕グが付与されておらず，述語項構造解析の訓練事例として利用するには網羅性の点で問題がある.

## 3.3 事態性名詞のタグ付与

動詞や形容詞などの述語への項構造の付与に加え, 動詞派生名詞やサ変名詞などの名詞（以後, 事態性名詞) についても述語と同様に, 項同定の問題が設計され (Meyers, Reeves, Macleod,

Szekely, Zielinska, Young, and Grishman 2004; Hasida 2005; 河原他 2002), 実際にそれらの問題への取り組みも報告されている (Jiang and Ng 2006; Komachi, Iida, Inui, and Matsumoto 2007; Liu and Ng 2007).

例えば， Meyers らが作成した NomBank (Meyers et al. 2004)では, Penn Treebank (Marcus, Santorini, and Marcinkiewicz 1993) を対象に名詞とその項構造の夕グ付与を行っている。このコーパスでは英語における動詞の名詞化に着目して, PropBank (Palmer et al. 2005) で用いられている意味役割相当の項のラベルを句の中に項が出現している場合に限って夕グ付与している。例えば，文 (7) 中の名詞 “complaints” について，“customer”がagent 相当の表現であり，また “about that issue”が theme 相当の表現であるといったタグ付与を行っている.

(7) There have been [ARGM-NEG no] [ARG0 customer] [rel complaints] [ARG1 about that issue].日本語に関しても, 京都コーパス 4.0 では事態性名詞とその項に対して表層格でタグが付与されている，例えば，文 (8) に示すように “及ぼす”の格要素となっている事態 “影響”に対して，“離党 $i$ が “影響する”ことのガ格として付与されている.

（8）村山富市首相は年頭にあたり首相官邸で内閣記者会と二十八日会見し、社会党の新民主連合所属議員の離党 $i$ 問題について「政権に影響ガ:iを及ぼすことにはならない。離党者がいても、その範囲にとどまると思う」と述べ、大量離党には至らないとの見通しを示した。

複合名詞句の中や “Aノ B” などに縮退される場合もあり，このような場合どこまでを夕グ付与の対象とするかを決定する必要がある.

## 4 NAIST テキストコーパスで採用するタグ付与の仕様

3 節で述べた先行研究の夕グ付与仕様の背景にある考え方，およびまたその仕様を採用した場合に生じる問題点を考慮した結果, 我々は以下の 3 つの基準を基本方針として採用するに至った.

（1） 述語項構造については，述語の基本形にその項となる表現を表層格（ガ格， ᄏ格，二格） レベルでタグ付与する.

（2）事態性名詞についても，述語と同様に表層格レベルで項を付与する.

（3）共参照関係については，IRAの関係のみを対象として共参照の関係を認定する.以下で，それぞれの詳細を説明する。

## 4.1 述語と項のタグ付与

述語そのものの認定に関しては, 品詞体系として IPADIC (浅原, 松本 2003) を採用し, 動詞,形容詞, 名詞十“た（助動詞）”の 3 種類を夕グ付けの対象となる述語とみなし, 作業を行う.
述語の格要素については, 京都コーパス 4.0 が採用しているような表層格, GDA で採用されている agent, themeのような意味役割, また PropBank で付与されている ARG0 や ARG1 といった意味役割相当のラベルなど，さまざまな夕グ付与のレベルが考えられる．この中で我々は「誰が何を何に対してどうする」という情報抽出的な観点でタグを付与することが自然だと考え, 述語の原形の必須格に対して項の夕グを付与するという仕様を採用した. この仕様に従った場合, さらにガ格などの表層格レベルでの夕グ付与を行うか, もしくは agent もしくは ARG0 といった意味役割レベルでタグを付与するかという 2 の選択肢があるが，ここでは表層レべルからなんらかの情報を捨象して意味のレべルを考えることが応用処理横断的に有益かどうかが現状では判断できないという理由で, 格交替の情報のみを捨象した表層格で夕グ付与を行った. 例えば，京都コーパス 4.0 では文 (9) の述語 “食べさせる”に対して“私 $i$ ”, “彼 $j$ ”, “リンゴ $k$ "をそれぞれガ， ヨ，二格でタグ付与するのに対し, 我々の仕様では述語の原形 “食べる” に対して “彼 ${ }_{j}$ ガリンゴ ${ }_{k}$ Э食べる”というタグを付与する. ただし, 述語の原形に対してタグを付与する場合には使役者に相当する“私 $i$ ”と述語“食べる”の間の関係にタグが付与されないことになる。これを回避するため, 格要素を増やす助動詞に対してタグ “追加ガ（ニ）格”を付与した，例えば，文 (9)では，助動詞“させる”に対し“私 $i$ ”を追加ガ格でタグ付与し，文 (10) では助動詞 “やる”に対し“彼 $j$ ”を追加ニ格でタグ付与する.

(9) a. 私は彼 $_{j}$ にリンゴ ${ }_{k}$ を食べさせるガ: $i, \exists: k,=: j$

b. 私は彼 $_{j}$ にリンゴを食べガ:j, Э: $k$ させる追加力格: $i$

(10) 私は彼 $_{j}$ に本 $k$ を読んガ:i, Э:k でやる追加二格: $j$

京都コーパス 4.0 では表層格を網羅する形をとっているが, 今回の作業では, 頻出するガ/ヲ/二格のみを対象にタグ付与を行う。

当面このような基準で作業を進めることで, 今後深層格の情報を夕グとして付与する必要がでてきた場合にも, 述語の基本形の必須格に付与した情報は, agent, themeのような意味役割を付与する場合や語彙概念構造 (LCS) (Jackendoff 1990)の意味述語の情報を付与する際にも役立つと考えられる。

また, ゼロ照応の関係として項を付与する場合には, 前方文脈に先行詞と認め得る名詞句が複数個出現している場合がある。例えば，文章 (11)の 2 文目で動詞“接する”のガ格は省略されており，このゼロ代名詞に対して 1 文目の“村山富市首相”，もしくは 2 文目の“首相”の両方が補完可能である.

（11） 就任後初めて地元の大分県へ里帰りしていた村山富市首相 $_{i}$ は三十一日夕、三泊四日の日程を終えて日航機で羽田空港に到着した。

という感謝の気持ちでいっぱい。期待に応えてしっかり頑張らないといかんという気持ちを一層強く持った」と感想を述べた。
表 1 述語と項の夕グ付与の比較

このような状況の場合, ゼロ照応の正解データとしては両方の表現が先行詞として夕グ付与されているべきであるが，すべての先行詞となり得る表現を作業者が把握しタグ付与していくことは作業効率と作業品質の両方から見て得策とはいえない。このような問題に対し, 我々が行った作業では共参照の関係も同時にタグ付与することで，共参照関係にある表現の集合のうちどれか一つが先行詞として夕グ付与されるだけで，共参照関係にある他の表現にも夕グが付与されたこと同じ結果として考えることができる。文章 (11)の例に戻ると，“村山富市首相”と “首相”が共参照の関係であるとタグ付与されていることで，“接する”のガ格ゼロ代名詞の先行詞はいずれかの表現にタグ付与するだけでよくなる.

最後に，表 1 に述語に関する我々の仕様と他のコーパスの仕様の比較をまとめる.

## 4.2 事態性名詞と項のタグ付与

動詞や形容詞などの述語に加え，事態性名詞に対して述語と同様に必須格となるガ/ヲ/ニ格を付与する。作業者は与えられた名詞（主にサ変名詞）が事態を表しているか否かを判定し，事態性名詞と判断した名詞（句）に対して必須格を付与する．例えば，文 (12)で出現している二つの “電話” という名詞のうち, “電話 $i$ が「電話する」というコトを表しているのに対し, “電話 $j$ ”は「(携帯) 電話」というモノを表している。この状況で作業者は “電話 $i$ ”のみを事態性名詞と認定し，これに対して“彼 $a$ ”をガ格，“私 $b$ ”を二格として付与しなければならない.

(12) 彼からの電話 $_{i_{(\text {カj: } a,=: b)} \text { によると、私 }}$ は彼の家に電話 $j$ を忘れたらしい。

また，夕グ付与の対象が複合語の場合はその構成素を構成的に分解した上でそれぞれの構成素に対して事態性判別の作業を行う。例えば，「紛争仲裁」は構成素 “紛争”と“仲裁”のそれぞれの意味を構成的に組み合せてできた複合語だとみなし, “仲裁”を事態性名詞と判断する.

## 4.3 名詞句間の共参照関係のタグ付与

共参照のタグ付与では，2 節で述べた IRA に加えISAの関係も含めてタグを付与するか否かの選択肢があるが，ISAの関係まで含めてしまうと，総称名詞間の包含関係のような複雑な関係を考慮して作業を行う必要がある，例えば，文章 (13)では，“食べ物”と“食料”が同一の概念であるため，共参照の関係とするか否かの判断が必要となるが，厳密にはこの二つの表現は
表 2 共参照夕グ付与の差異

“兵庫県内で不足している食べ物”と“被災地（兵庫県）を離れた場所にある食料”という異なる概念を指すため ISAの関係として認定すべきではない。このように，概念の同一性を判断するためにはその表現が出現する文脈との関連性を捉え，その表現が指す範囲を考えた上で同じ概念を指しているかを考える必要があり，共参照の認定が非常に困難な作業となる.

(13) 兵庫県内の暗やみの中で、人々が水と食べ物の不足に苦しんでいる同じ夜、隣接した大阪の繁華街ではネオンが光り、飲食店はにぎわっている。

水も食料も、被災地を離れるとふんだんにある。

そこで，述語や事態性名詞が ISA も含めた関係に夕グ付与しているのに対し, 共参照に関してはIRAの関係にのみタグを付与する。ただし, EDTの仕様のように, 実体が組織名や場所名など数種の固有表現に限定して共参照関係のタグを付与することは, さまざまな応用分野で必要となる共参照の表現を網羅できないため望ましくない。そこで，今回の作業では，以下の 3 つの基準に基づいて表現のクラスを限定せずに共参照関係の夕グ付与を行い, どのような問題が生じるのかを調査した。

（1） 照応詞は文節の主辞（最右の名詞自立語）のみに限定する.

（2）談話内に出現した名詞句のみを先行詞とする.

(3) 総称名詞は照応詞, 先行詞とみなさない.

既存の共参照関係のタグ付与の研究と比較すると表 2 のようになる.

## 4.4 統計

4.1，4.2，4.3 の仕様に従い，京都コーパス 3.0 の全記事（2,929 記事， 38,384 文）8を対象に， 2 人の作業者が述語項構造と共参照の関係についてタグ付与作業を行った. 述語/事態性名詞とその項に付与されたタグの個数を表 3 にまとめる. ただし, 項の出現位置によって, 同一文節

表 3 述語と事態性名詞のタグの統計（NAIST テキストコーパス全体）

内 $^{9}$, 係り関係にある場合 10 , 文内のゼロ照応関係，文間のゼロ照応関係，外界照応の 5 に分類して頻度を求めた11，表 3 より，述語の項目ではヨ格，二格の項のほとんどは係り関係にあるのに対し，ガ格の約 6 割はゼロ照応の関係にあることがわかる。これに対して，事態性名詞のヲ格, 二格は同一文節内，つまり複合語の構成素として項が出現している割合が高く，ガ格に関しては約 8 割がゼロ照応の関係にあり, 述語の場合と比較して項の出現箇所がおおきく異なっていることがわかる.

共参照関係のタグについては, タグ付与された実体の総数が 10,531 , 最初に出現した表現を先行詞，その他を照応詞とみなしたときの照応詞の個数が 25,357 であった. 京都コーパス 4.0 より圧倒的に個数が少ないが, これは厳密にISA の関係と判断できる場合のみ夕グ付与を行ったためだと考えられる。また, 共参照に関与する代名詞の個数は 622 と, 京都コーパスと比較してタグ付与した記事に対する割合が小さい。これは作業者が (1) 節照応の付与を行わずに， (2)共参照夕グ付与に関して厳密な実体の一致を強いたために完全に一致するとみなせない場合にはタグが付与されなかったためだと考えられる。代名詞に関しては現状の仕様のようにIRAの関係でタグを付与する立場と，実体の一致を問題としないISAの関係で付与するという立場の二つを考えることができ，どちらが良いかは応用分野によって異なる。そのため，代名詞については追加的に ISA 関係のタグを分けて付与することも今後検討したい.

次に，実際に作業を行っている 2 人の作業者間のタグ付与の一致率を調査するため，ランダム

表 4 タグの一致率（報道 30 記事）

に選択した報道 30 記事を対象に作業を行った。評価は一方の作業者の夕グ付与の結果を正解,他方の作業結果をシステムの出力とみなし再現率と精度で評価する。ただし，それぞれのタグの一致率は各夕グの終了位置の一致で評価した。また, 述語と事態性名詞の項の一致率については，2人の作業者の述語（事態性名詞）が一致した箇所のみを対象に評価した. また，共参照の一致率については MUC score (Vilain, Burger, Aberdeen, Connolly, and Hirschman 1995)を用いて再現率と精度を求めた. これらの基準で評価した結果を表 4 に示す. 表 4 よりわかるように，それぞれのタグ付与は多くの場合 8 割を越える品質で作業ができているが，改善の余地は大きい. 5 節では, 各夕グ付与において, 問題となった主要な点を説明し, その問題を解決するための今後の方向性について議論する.

## 5 タグ付与の問題点と今後の展望

この節では述語, 事態性名詞, 共参照のそれぞれの夕グ付与作業中に生じた問題を説明し, それに対する今後の対応などをまとめる.

## 5.1 述語のタグ付与の問題点

まず，述語そのもののタグ付与に関してだが，夕グ付与対象となる述語が「〜として」のような機能語相当表現と表現上では同一の場合に述語認定に摇れが生じることがわかった。例えば「会社 A が会社 B を子会社として」では「として」が “ある一つの側面からの価値付け・意味付け” という意味の機能語相当表現なのか, それとも「会社 Aが会社 Bを子会社とする」と解釈すべきなのかを判断することが難しい. この機能語相当表現の問題については, 土屋ら (土屋, 宇津呂, 松吉, 佐藤, 中川 2006) がタグ付与作業に関して作業者間の高い一致率を得ており，彼らの作業方針を参考に仕様を洗練していく予定である.

## 5.2 事態性名詞タグ付与の問題点

事態性名詞の認定に関して，今回は「対象となる名詞（句）が出現文脈でモノとコトのどちらを表しているかを判断し，コトの場合のみ項を付与する」という仕様を採用したが，夕グ付与作業の結果, モノとコトの 2 值に分類することが困難な事例が多数出現し, それが作業の摇れの主な原因となった，例えば，例 (14)の名詞 “報告”は “文化庁ガ報告スル”というコトを表していると同時に報告された結果（内容物）というモノを表していることになり，この例からもわかるように，事態性名詞の中にはモノとコトのどちらとも解釈できるものがある.

（14）文化庁の 2005 年の報告によると、各宗教団体の報告による信者数は合計 2 億 1100 万人である。

つまり，項となり得る表現（例 (14)では “文化庁”）が近傍に出現しているか否かがコトを指すか否かの判定におおきく影響し，上のような場合でも項となる表現が近くに出現していない場合はモノと判断されるなど，一貫した作業結果が得られていない.

## 5.3 項のタグ付与の問題点

項の夕グ付与に関しては述語が取り得る格パタンが複数存在するために作業者間で摇れが生じることがわかった．この問題の典型的な例が自動詞と他動詞の交替である．例えば，述語 “実現する”は同じ語義に対して表層格レベルで “agent ガ theme ヨ実現する”と“theme ガ実現する”の 2 つの格パタンが存在するため，文章中ですべての格要素が省略されている場合は，作業者はどちらの解釈でも夕グ付与が可能になってしまう，自他交替の問題と類似して，制度などの表現に動作主性 (agentivity) を認めるか否かで解釈が異なるために摇れが生じる場合もある。例えば，文 (15)において，述語 “しばる”は，直前に出現している“規制”の動作主性を認め, “規制ガ theme チしばる”と “agent ガ規制デ theme チしばる”の 2 つの解釈が存在する.

(15) 我々の生活が知らず知らずにどれだけ規制でしばられているか、規制緩和によって豊かさが変わっていくのかを考えてみた。

このような交替を伴う場合の摇れに関しては, どちらかのパタンを優先するという規則をあらかじめ決めておき作業することで対応できると考えられる。

動作主性の問題に関連して, 組織のような実体にどのくらい動作主性を認めるかが作業者間で異なるために摇れが生じる場合も頻繁に起こった，例えば，文 (16) では，組織 “与野党”もしくはその組織の“党首”が事態“協力（する）”のガ格として解釈可能である.

（16）．.. 自民、さきがけ、新進各党の与野党 $a$ の党首 $b$ 会談を呼び掛けて協力を求めるべきだ。 このような組織とその組織の関係者のような対立や，また文 (17)の“北朝鮮”と“同指導部”のような組織とその部署の関係など，ある名詞が他の名詞と関連しているために，複数の解釈が可能な場合は “（与野党ノ）党首”のように詳細化されているほうに夕グを付与することによって作業者間の摇孔を少なくすることができると考えられる。このように扱うことで，もし〈所
属（党首, 与野党）〉のような名詞間の関係解析が実現できれば，他方の名詞（(16)では “与野党”）と対象となる述語を関連付けて扱うことができる。

(17) 北朝鮮 $a$ における新年の辞は、同指導部 $b$ の施政方針発表に当たる重要行事である。

また図 3(a)のように，項として夕グ付与されるべき名詞句が IRA の関係で他の名詞句と関連付けられている場合は，共参照関係にある名詞句のいずれかを項として同定する問題とみなすことができるが，一方図 3(b) の“子供”と“览童”のような ISAの関係で出現している名詞句については，ラベルが付与されていない“子供”は述語の項として夕グが付与されないという問題が起こる。

また, 本研究では必須格となるガ/ヲ/ニを対象に述語項構造の夕グ付与について議論したが, それ以外の格（カラ/ヘ/ト/ヨリ/マデ/デ）についても付与することが可能であるかを調査する必要がある。そこでコーパスの一部 136 記事を対象にこれらの夕グを試験的に付与し，どのような結果となるかを調査した。ただし，項の出現箇所に制限を加えずに作業を行った場合，作業者は各述語に対し文章全体を対象に格要素を探す必要があるため，すべての項に網羅的に夕グ付与できるかどうかがわからない。そのため，今回は項を同定する範囲を述語と同一文内に限定し, その中で網羅的に項の夕グ付与を行った. 表 5 に作業者 2 人が付与したタグの個数を表層格ごとにまとめる。表 5 より，ガ/ヲ/ニ以外の項についてもある程度の個数が付与可能な

## (a) 先行詞が非総称名詞

村山富市首相;

図 3 先行詞が総称名詞の場合の夕グ付与の漏れ
表 5 ガ/ヲ/ニ格以外の夕グ付与結果（新聞 136 記事）

ように見えるが，このうち文 (18)や文 (19)のような, 複数の述語が同一表現を項として持つ並列や文内ゼロ照応など，明示的にタグを付与すべき現象がどのくらい出現しているかを人手で調査したところ, 作業者 1 と 2 でそれぞれ 16 回と 31 回であった. つまり, 項の夕グ付与の対象を同一文内に限定した場合，ほとんどの項は係り受け関係にあり，かつ明示的にタグ付与対象となる格助詞を伴い出現するため, 今回人手でタグ付与作業を行った結果のほとんどは機械的に処理できる問題となる.

(18) 台北 $i$ では、屋外のスタジアムも満員になりデ:i、失神者が出たデ:iほど。

（19） ...「新民主連合」は六、九の両日に総会 $i_{i}$ を開き $\exists_{: i}$ 、離党問題などの対応を話し合うデ:i ことにしており、党内調整は大きなヤマ場を迎える。

このため，文を越えて述語と任意格の関係を付与することを考慮する必要があるが，どのような基準でその作業に取り組めばよいのかは自明ではなく，今後さらに検討する必要があると考えている.

## 5.4 共参照タグ付与の問題点

共参照関係のタグ付与に関して作業を行った結果，共参照関係を厳密な同一実体を参照している場合に限定したことで, 多くの関係は固有名の間で認定され, 照応の現象と関連する代名詞や指示連体詞を伴う名詞句のような表現についてはほとんどには共参照の関係が付与されなかった。これは, 新聞記事の場合は読み手が理解できる箇所では代名詞のような表現よりゼロ代名詞を優先的に利用している，また，代名詞が名詞句に加え，直前の節を指す場合などが比較的多く, 仕様で定義した共参照関係として認定できない, などの理由がある．たたし，代名詞, 指示連体詞などの指示表現については照応関係を研究するための良い題材になると考えられるので, これらの指示表現に特化した夕グ付与作業を行った。作業結果については 6.2 でまとめる。

また，IRAのみを対象に共参照のタグを付与する作業に関してもいくつかの問題が残る。まず 1 つ目の問題を文章 $(20)$ を例に説明しよう.

（20）グロズヌイからの報道によると三日、大統領官邸の北西一・五キロの鉄道駅付近でロシア軍部隊 $i_{i}$ とチェチェン側部隊が衝突したが、ロシア側 $_{i}$ は中心部への進撃を阻まれて苦戦。... ロシア政府 $j$ は三日、戦況に関する声明を発表し、大統領官邸を含む首都中心部は依然としてロシア側が支配していると強調した。しかし現地からのテレビ映像では、
官邸はじめ中心部は依然としてドゥダエフ政権部隊の兵士が警戒に当たっており、ロシア側 ${ }_{j}$ の発表と食い違いを見せている。

この例で，最初に出現する “ロシア側 $i$ ”が “ロシア軍部隊 $i$ ”の換喻に相当するのに対し，次に出現する“ロシア側 $j$ ”は “ロシア政府 $j$ ”の換喻として解釈できる．現状の仕様では “ロシア軍部隊 $i$ ”と“ロシア側 $i$ ”、“ロシア政府 $j$ ”と“ロシア側 $j$ ”それぞれに共参照関係の夕グを付与することになるが，換喻の解釈しながら夕グ付与作業を行なうことが困難であることに加え，実際の自動解析する際にも非常に困難な問題設定となる。この問題を回避するために，換喻の解釈で共参照の夕グを付与するのではなく，文章に出現している 4 つの“ロシア”を同一の実体としてタグ付与するなどの方法が考えられるが，どのように仕様を決めた方がよいかは明らかでないため今後検討していく必要がある.

また，IRAの認定に関しても，実体が具体名詞である場合は 2 つの言及が同一の実体を指すか否かの認定が容易であるが，抽象名詞の場合は同じものを指しているかの判定が困難である。 4.3 で共参照関係のタグ付与にはあらかじめ名詞のクラスを指定して作業を行うことは望ましくないと述べたが，抽象名詞に関してはいくつかの意味クラスに限定して作業を行い，どのくらい摇れなく作業できるかを調查したい.

## 6 タグの仕様の改善

5 節で見たように，今回採用したタグ付与の基準には解決しなければならないいくつかの問題点が含まれている。この節ではその中で事態性名詞と名詞句の照応関係についてさらに仕様を洗練し，作業を行った結果について報告する。

## 6.1 事態性名詞

5.2 に示したように，事態性名詞に関する典型的な作業の摇れは, 事態性名詞が文脈によってモノとコトの両方の解釈がある場合に「あらかじめ明示的にコトかモノかを判別し，コトへのみ項を付与する」という仕様と矛盾するために起こる。この矛盾を回避するために，以下に示すの 2 つの項目をタグ付与の仕様として採用した。

修正点 1: モノを指す表現へも項を付与するモノとコトの境界を項付与できるか否かで弁別することは困難であり，モノとして解釈できる場合にも項を持つ場合がある。そこで，今回の仕様ではモノである場合でも項を持つと判断できた場合には，モノ/コトの判別とは独立に項を付与する.

修正点 2: モノとコトを指す表現を区別するためモノと判断した根拠もタグ付与する提案 1 で述べた仕様を採用すると，モノの場合も項を付与するため項を付与したことがコトを指すという情報と等価ではなくなる。しかし, 文章中の事態のみを抽出したい応用分野も存在するため,
作業結果には事態性名詞がコトを指すという情報もできる限り残しておくことが望ましい。そこで，まず我々はあらかじめ摇れが起こった事態性名詞を人手分析し，モノとコトの解釈で曖昧性が生じる名詞を結果物/内容，モノ（具体物），役割，述語と事態性名詞との語義のずれの 4 種のクラスに分類した。事態性名詞をモノとして解釈できる場合には, これら 4 つのうちいずれかを夕グ付与することでモノとしての証拠を残す。逆にこれらのタグが付与されないことで純粋に事態を表す事態性名詞を表現する。また，名詞クラスのタグを用意することで，項付与が困難な場合に作業者が無理に項を付与しようとする事態を回避することができる。

上述の 2 つの提案を採用することにより，これまでモノに分類するか項を取るかどちらか一方の情報しか付与できなかった例 (14)の “報告” についても, “モノ（具体物）”としての解釈と “文化庁ガ報告スル” という項構造の両方を情報を付与できるようになる，以下で，今回付与する 4 種の名詞クラスについて説明する。
- 結果物/内容: 典型的には例 (21)のような内容節をとる（トノ, トイウを伴って出現する）場合，“意見”のような名詞は内容節が表す内容と同格であり，“意見スル”というコトを指すとは考えにくい12.

（21）党内には「社会党会派の離脱者は従来通り除名すべきだ」との意見が根強く... この類例としては“提案”, “決定”, “報告”などがある.

また，“連合シタ”結果，“連合”という実体が存在するという解积に基づき，例 (22)のような実体を指すのみで事態を表すとは考えにくい“連合”についても〈結果物/内容〉のタグを付与し，項は付与しない。この類例としては“組織”などの表現がある。

(22) 十日夜には、自由連合の新年会に自民党から森喜朗幹事長、島村宜伸国対委員長らが出席した。

同様に，例 (23)の “規制”も “規制スル” 事態よりも規制の内容そのものを指すと判断した場合は，項は付与せず〈結果物/内容〉タグのみを付与する。

（23）また、経済問題については日本経済の構造変革のため規制緩和に積極的に取り組むと訴える。
- モノ（具体物）：事態性名詞が文脈中でモノ（具体物）を指しているかを判定する．前述の例 (12)のモノとしての “電話 $j$ ”や場所としての “施設”, 道具としての“装備”などの表現がこれに相当する，例えば，ある文脈で“携帯”という表現が“携帯電話”というモノを指す場合は〈モノ〉タグを付与する。
- 役割: “課長補佐”, “松本教授”, “オシム監督”などの表現は, 名詞句全体で個人を指示しており，名詞句内の事態性名詞がコトを指すとは考えにくく，この場合には〈役割〉夕

グを付与することで項の付与を回避する。このような表現は典型的に主辞の位置に出現している場合が多い.
- 述語と事態性名詞との語義のずれ: 事態性名詞が派生前の動詞の意味と異なる場合には,項を付与することができない．例えば，例 (24)のサ変名詞“一定”は動詞 “一定スル”と異なった意味で用いられており，このような場合には〈ずれ〉タグを付与し，項は付与しない.

（24）一定の得票で議席を占めた後に今回と同様「除名」などの騒動が起きれば、...

上述の作業方法を採用することで人手での夕グ付与品質にどのような影響が出るかの調査を行った. 具体的には, 作業者 2 人が新聞報道 50 記事中のサ変名詞 665 箇所に対し, その名詞が項を持つか否かの判定と項を持つ場合は項の付与を行った. この作業とは独立に 3 節に示した名詞クラスの付与を行った，今回の作業では頻出するサ変名詞を対象に作業し, 和語動詞派生の名詞は対象外とした。作業者 2 名の作業結果とその一致率を表 6 に示す. 表 6 より，665 件のサ変名詞のうちどちらの作業者も 550 を越えるサ変名詞に対して項を持つと判定しており，文章中のほとんどのサ変名詞は項付与対象となっていることがわかる。 また，項を持つか否かの作業者間の一致率はそれぞれの作業者について見た場合 0.95 と 0.91 と以前の作業品質の調査 (飯田, 小町, 乾, 松本 2007 ) (一致率は 0.905 と 0.810 ) と比較して一致率が向上しており, 今回の作業方針が品質向上に有効であったことがわかる。また，項を持つか否か Kappa 値で評価したところ 0.522 という結果を得た. 名詞クラスの一致率については良いとは言い難いが, これは作業者間で〈結果物/内容〉と〈ずれ〉にそれぞれ付与するなど，クラス間の摇れが生じたためであり，またそもそもスル接続で表現する頻度が低い“確証” などの事態性名詞に関する解釈の異なりも作業の摇れの原因となった。また，項を取るか否かの夕グ付与が不一致だった 78 事例を調べたところ，44 事例は項を付与するか否かに作業者間で解釈が異なる事例であり，残りは付与の誤りとみなせる事例であった。

次に，2人の作業者が項を持つと判断した 531 事例について, 項（ガ/ヲ/ニ格）がどのくらい一致するかを評価した結果を表 7 に示す。項を取ると判断された事態性名詞のうち付与された

表 6 名詞クラスのタグ付与の作業結果（報道 50 記事, サ変名詞 665 箇所）

項が一致しなかった 265 事例を人手で分析，摇れの原因を調査した結果を表 8 にまとめる ${ }^{13}$. 作業の摇れはおおきく 2 の問題に起因している。一つは，各事態性名詞を述語化して考えた際に作業者間で異なった格パタンを想起したためである。特に，ある事態性名詞に対して，一方の作業者は必須格としてヲ格を取ると判断したが，他方はそれを取らないと判断した場合が摇れの大部分を占めていることがわかった。この問題に関しては, 語彙概念構造 (Jackendoff 1990) を考慮して作成されている動詞辞書 (竹内，乾，藤田 2006)のような情報を作業の際に提示することで，作業者が想起できない格パタンを網羅的に把握することができ，摇れが少なくなると考えられる。このような作業者支援については，野口らの作成しているアノーテションツール (野口，三好，徳永，飯田，小町，乾 2008)でどのように情報を提示するかという問題と同時に考えていきたい.

また，もう一つの主要な摇れの原因は，同定すべき項の粒度に関するものである．例えば，例 (25) で項を持つと判断された“整備”には，前方文脈に出現している“日本鉄道建設公団”という組織が “整備スル”という解釈と，文章中に出現しない“特定の誰か（もしくは集団）”が “整備スル”という 2 つの解釈が存在する。

（25）日本鉄道建設公団は十一日、整備新幹線の北海道新幹線について、ルート公表に向けた

表 7 事態性名詞の項夕グ付与の一致率（サ変名詞 531 箇所）

表 8 タグ付与不一致の原因分析の結果（サ変名詞 265 箇所）

函館市と小樽市付近の調査に一月下旬から着手すると発表した。

調査は、整備新幹線建設費とは別枠の、建設推進準備事業費三十億円の中で行われる。 この問題は「できるだけ文章内から項を選択する」という基準を用いた場合でも，作業結果は作業者の解釈に左右されるため，解決はできず，述語の場合も同様に問題となる。この問題と関連して，これまでの夕グ付きコーパス構築の方法論はできるだけ摇れを無くすことが前提であり，解析はその厳密な設定のもと問題を解くという立場で研究が進められてきたが，今後はその代替案として作業者一人もしくは複数人の摇れを許容するような学習・分類の枠組みを検討すべきかもしれない.

## 6.2 名詞句の照応関係

5.4 で示したように， 4.3 で示した名詞句の共参照関係の仕様に従って作業を進めた場合, 厳密な共参照関係であることを作業者に強いて夕グを付与させるため, 例えば表現が代名詞であっても，照応関係が付与されないことになる．どの粒度での照応関係が応用処理に必要となるかは応用処理それぞれの問題に依存するため, 同一の実体を指していることが保証できない場合でも，照応関係を認定して夕グを付与したい。しかし, この対象を名詞句全体に広げた場合, 4.3 で述べた概念間の包含関係など, 複雑な関係を把握した上で照応関係を付与するという作業を作業者に強いることになる。ここではそのような照応関係を捉える第一歩として，“この” や “その”といった指示連体詞を伴う名詞句を作業対象とすることで，照応関係についてどのような作業を進めていくべきかを考える。以下で示すように，指示連体詞を伴う名詞句を対象にする場合，共参照の関係を含む指定指示（限定指示）や bridging reference (Clark 1977) などの間接照応の関係に相当する代行指示といった複数のの関係を考慮する必要があり, 名詞句全体の照応現象を考える上での良い縮図となっていると考えられる。

指定指示（限定指示）：“指示連体詞 + 名詞（句）〉”が文章中の他の表現と照応関係になる場合にその関係を指定指示（限定指示）という。例えば，例 $(26)$ において，“このデー夕 $i$ ”は先

(26) 図書館で資料 $i_{i}$ 手に入れた。このデー夕 $i_{i}$ は機械的に処理される。

代行指示: 指示連体詞単体が前方文脈の表現と照応関係になる場合にその関係を代行指示とい

う，例えば，例 $(27)$いて，“こ（の）”は前文の“水質調査”と照応関係にある.

(27) 5 年間、水質調査 $i$ を行った。この年 $_{i}$ デー夕は機械的に処理される。

この 2 種類の関係を分けて付与するため，指定指示の場合は “指示連体詞 + 名詞（句）〉”全体を照応詞とし, 代行指示の場合は指示連体詞のみに照応詞の夕グを付与する. また作業の確認のため, 各に指示代名詞にはどちらの関係で出現しているかを明示的に夕グ付与を行う。また, “この日”などの表現は文章中に必ずしも先行詞が存在するとは限らず,このような場合には外界照応のタグを付与し, 指定指示や代行指示と区別する。この結果，指示連体詞には指定
指示，代行指示，外界照応のいずれかのタグが付与されることになる．共参照関係を付与した際には，談話要素間の厳密な共参照関係を強いたため先行詞は名詞（句）に限られたが，指示連体詞を伴う場合には，先行詞の品詞には制約を加えずに作業を行った。このため，照応詞の指し先が節となる場合も含まれる。このような場合は節の主辞（多くの場合は述語）をその節を代表して先行詞としてタグ付与した。例えば，例 (28)では，“その前計算”は “前述のシステムは前もって値を計算する”ことを指しており，この場合はこの節を代表して，“計算する”を先行詞としてタグ付与する。

(28) システムは前もって値を計算する ${ }_{i}$ 。その前計算はシステムの性能を大幅に向上させている.

また, 先行詞の表現によっては指示関係が指定指示なのか代行指示なのか曖昧な例が存在する.例えば，例 (29) では，“その土地”が“アメリカ”を指す指定指示の関係なのか，“その”が“アメリカ”を指し，“アメリカの土地”として解釈すべきかの判断が困難である。

(29) 彼はアメリカ ${ }_{i j}$ へ向かった。その ${ }_{i}$ 土地 $j$ で彼は新しい仕事をみつけるつもりだ。

このような曖昧性のある指示関係については指示関係が曖昧であることを夕グ付与し，明かにわかる指定指示や代行指示の関係とは区別する.

上述の作業内容にしたがい, 一人の作業者が指示関係とその先行詞の夕グ付与作業を行った.作業対象はすでにタグ付与を行った NAIST テキストコーパスの中から指示連体詞を含む記事をあらかじめ抽出し, その記事を対象に作業を行う。茶鉒14で形態素解析した結果を利用し, 品詞が “連体詞”として解析された形態素を含む記事 1,463 記事（報道 883 記事，社説 580 記事） を対象に作業を行った。この結果 4,089 の指示連体詞にタグが付与され，このうち指定指示は 30.9\%（1,264/4,089）代行指示は $57.4 \% （ 2,345 / 4,089 ）$, 外界照応は $11.5 \%(470 / 4,089 ）$ であった. 表 9 に記事の種類や先行詞の種類ごとの出現数をまとめる.

次に, 作業の信頼度を調査するために, 別の作業者がすでにタグ付与した記事の一部（418の指示連体詞）を対象に新たに夕グ付与作業を行い，作業の一致率を見る。まず，指示関係の判別について Kappa 值で評価したところ 0.73 と高い数値を得た。また, 先行詞の一致率について

表 9 照応関係の夕グ付与の統計（新聞 1,463 記事，4,089 の指示連体詞）

は, 評価に使った 418 の指示連体詞のうち, 先行詞を持つ 322 の指示連体詞についてどの程度同じ先行詞にタグ付与されたかの一致率を見た。その結果，指定指示については $80.7 \%$ (88/109) が一致するという高い一致率が見られたが，代行指示については， $62.9 \%(134 / 213)$ と指定指示に比べ低い一致率となった。これは，指定指示についての作業は照応詞に対し先行詞が同じ意味カテゴリに入る候補のみを探す比較的容易な作業であるのに対し, 代行指示に関してはさまざまな意味的な関係を考慮して先行詞を探す必要があり，作業がより困難であることに起因すると考えられる。この品質の向上のためにある意味カテゴリを先行詞として持つ可能性のある表現については，あらかじめその情報を提示した状況で作業を行うなどが考えられる。その点を含め, どのような情報をどのような状況に提示するかについては今後さらに検討していく予定である.

## 7 おわりに

本稿では, 日本語を対象とした述語項構造・共参照タグ付与コーパスに関して, 我々が今回採用したタグ付与の基準について報告した. 3 節の議論に基づき，述語項構造の夕グに関してはISAとIRAの関係両方で, 共参照関係はIRAの関係でタグ付与作業を行い, 京都コーパス 3.0 を対象にこれまでにない大規模な述語項構造・共参照タグ付きコーパスを作成した。また,特に一致率の悪かった事態性名詞の夕グ付与に着目し, 作業仕様の洗練を行った. 具体的にはモノのタグ付与と項付与を独立に扱うことで, 作業品質が向上するという結果を得た. さらに, その他のタグ付与作業に関しても, 作業の過程で起こった問題について考察し, 作業の詳細化のための項目を述べた。

今回作業では述語と事態性名詞の表層ガ/ヲ/二格と共参照関係の夕グ付与を行ったが，情報抽出などの応用分野を想定した場合, 今回作業したラベルに加え, 以下に示す内容に取り組む必要があると考えている.

まず，今回の作業では名詞間の関係として共参照関係のみを作業対象としたが，上位下位や部分全体, 所属関係など，さまざまな関係の解析も述語項構造・共参照解析と同様に応用処理

る“Aノ B”の粒度でタグを付与した場合, この“ノ”で付与した結果には上位下位関係や部分全体関係などさまざまな関係を含んでしまうため，関係抽出の粒度としては不十分である。また, この名詞句間の関係解析は, bridging reference (Clark 1977) や間接照応 (山梨 1992)などの用語で表現される場合もあるが, bridging reference は一般に英語の定情報 (definite) の存在が仮定された上で述べられることが多い。つまり，“the”を伴った名詞句があるにもかかわらず，参照する先行詞が文章中に出現していない場合にどう解釈すればよいかという点が議論の中心となっている。一方, 日本語などの冠詞のが利用できない言語の場合, “the”のような手がかり

がないために，どの名詞句の対に対して間接照応の関係を付与するかという課題設計そのものが困難になると考えられる。ACEの Relation Detection and Characterization (RDC) タスクでは, 3.1 で述べた実体の間の関係にのみ抽出対象となる関係を定義しているが，実体のクラスをオープンにした場合に摇れなく作業できるかについても今後調査したい.

さらに，今回の作業では新聞記事を対象に作業を行ったが，例えば代名詞の出現が少ないなど, このコーパス内の用例だけを学習手法の訓練事例として利用すると, blog などの照応解析,述語項構造解析を適用したい記事との異なりのために適切に解析できない恐れがあり，今後はタグ付与作業をいくつかの領域に拡張して進める必要がある.

また，夕グ付与に関する仕様書に関して，それぞれ個別の仕様について，外延的に例を示すだけで仕様をまとめるのではなく，それぞれの夕グがどのような性質を持っているために付与されているかという内包的な仕様も明示的に記述することで，実際に解析に利用した研究者が問題の性質を分析するのに役立つ仕様書を作成することが重要だと考えており，今後の作業内容については順次 Webぺージ15にまとめていく予定である.

## 謝 辞

本研究は科研費特定領域研究「代表制を有する大規模日本語書き言葉コーパスの構築」, ツー ル班「書き言葉コーパスの自動アノテーションの研究」（研究代表者: 松本裕治）の支援を受けた。記して謝意を表する。

## 参考文献

浅原正幸，松本裕治 (2003). ipadic version 2.6.3 ユーザーズマニュアル.

Clark, H. H. (1977). "Bridging." In Johnson-Laird, P. N. and Wason, P. (Eds.), Thinking: Readings in Cognitive Science. Cambridge University Press.

Doddington, G., Mitchell, A., Przybocki, M., Ramshaw, L., Strassel, S., and Weischedel, R. (2004). "Automatic Content Extraction (ACE) program—task definitions and performance measures." In Proceedings of the 4 rd International Conference on Language Resources and Evaluation (LREC-2004), pp. 837-840.

Hasida，K. (2005). GDA 日本語アノテーションマニュアル草稿第 0.74 版. http://icontent.org/gda/tagman.html.

Hirschman, L. (1997). "MUC-7 coreference task definition. Version 3.0.".

飯田龍, 小町守, 乾健太郎, 松本裕治 (2007). NAIST テキストコーパス: 述語項構造と共参照関係のアノテーション. 情報処理学会研究報告 (自然言語処理研究会) NL-177-10, pp. 71-78. Jackendoff, R. (1990). Semantic Structures. Current Studies in Linguistics 18. The MIT Press. Jiang, Z. P. and Ng, H. T. (2006). "Semantic Role Labeling of NomBank: A Maximum Entropy Approach." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP 2006), pp. 138-145.

河原大輔, 黒橋禎夫, 橋田浩一 (2002).「関係」タグ付きコーパスの作成. 言語処理学会第 8 回年次大会発表論文集, pp. 495-498.

Kingsbury, P. and Palmer, M. (2002). "From TreeBank to PropBank." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC-2002), pp. 1989-1993.

Komachi, M., Iida, R., Inui, K., and Matsumoto, Y. (2007). "Learning Based Argument Structure Analysis of Event-nouns in Japanese." In Proceedings of the Conference of the Pacific Association for Computational Linguistics (PACLING), pp. 120-128.

Liu, C. and Ng, H. T. (2007). "Learning Predictive Structures for Semantic Role Labeling of NomBank." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 208-215.

Marcus, M. P., Santorini, B., and Marcinkiewicz, M. A. (1993). "Building a Large Annotated Corpus of English:The Penn Treebank." In Computational Linguistics, pp. 313-330.

Meyers, A., Reeves, R., Macleod, C., Szekely, R., Zielinska, V., Young, B., and Grishman, R. (2004). "The NomBank Project: An InterimReport." In Proceedings of the HLT-NAACL Workshop on Frontiers in Corpus Annotation.

Mitkov, R. (Ed.) (2002). Anaphora Resolution. Studies in Language and Linguistics. Pearson Education.

Ng, V. and Cardie, C. (2002a). "Improving Machine Learning Approaches to Coreference Resolution." In Proceedings of the 40th ACL, pp. 104-111.

野口正樹, 三好健太, 徳永健伸, 飯田龍, 小町守, 乾健太郎 (2008). 汎用アノテーションツー ル SLAT. 言語処理学会第 14 回年次大会発表論文集.

Palmer, M., Gildea, D., and Kingsbury, P. (2005). "The Proposition Bank: An Annotated Corpus of Semantic Roles." Computational Linguistics, 31 (1), pp. 71-106.

Poesio, M. (2004). "Discourse Annotation and Semantic Annotation in the GNOME Corpus." In Proceedings of the ACL 2004 Workshop on Discourse Annotation, pp. 72-79.

Soon, W. M., Ng, H. T., and Lim, D. C. Y. (2001). "A Machine Learning Approach to Coreference Resolution of Noun Phrases." Computational Linguistics, 27 (4), pp. 521-544.
竹内孔一, 乾健太郎, 藤田篤 (2006). 語彙概念構造に基づく日本語動詞の統語・意味特性の記述. 影山太郎 (編),レキシコンフォーラム, 2 号, pp. 85-120. ひつじ書房.土屋雅稔, 宇津呂武仁, 松吉俊, 佐藤理史, 中川聖一 (2006). 日本語複合辞用例データベースの作成と分析. 情報処理学会論文誌, 47 巻, pp. 1728-1741.

van Deemter, K. and Kibble, R. (1999). "What is coreference, and what should coreference annotation be?" In Proceedings of the ACL '99 Workshop on Coreference and its applications, pp. 90-96.

Vilain, M., Burger, J., Aberdeen, J., Connolly, D., and Hirschman, L. (1995). "A Model-Theoretic Coreference Scoring Scheme." In Proceedings of the 6th Message Understanding Conference (MUC-6), pp. 45-52.

山梨正明 (1992). 推論と照応. くろしお出版.

## 略厤

飯田龍：1980 年生. 2007 年奈良先端科学技術大学院大学情報科学研究科博士後期課程終了。同年より奈良先端科学技術大学院大学情報科学研究科特任助教. 2008 年 12 月より東京工業大学大学院情報理工学研究科助教. 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年同大学博士後期課程に進学. 修士 (工学). 日本学術振興会特別研究員. 大規模なコーパスを用いた意味解析に関心がある。言語処理学会第 14 回年次大会最優秀発表賞, 情報処理学会第 191 回自然言語処理研究会学生奨励賞受賞. ACL$\cdot$人工知能学会 ・ 情報処理学会各会員.

井之上直也：1985 年生. 2008 年武蔵大学経済学部経済学科卒業. 同年より奈良先端科学技術大学院大学情報科学研究科博士前期課程. 現在に至る. 自然言語処理の研究に従事.

乾健太郎：1967 年生. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同年より同研究科助手. 1998 年より九州工業大学情報工学部助教授. 1998 年〜2001 年科学技術振興事業団さきがけ研究 21 研究員を兼任. 2001 年より奈良先端科学技術大学院大学情報科学研究科准教授. 現在に至る. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 電子情報通信学会, ソフト科学会各会員.

松本裕治：1955 年生. 1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所.

1984 85 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年 (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授. 現在に至る. 工学博士. 専門は自然言語処理.人工知能学会, 日本ソフトウェア科学会, 情報処理学会, 認知科学会, AAAI, ACL, ACM 各会員.