# 辞書からの上位語情報抽出とオントロジー自動生成
## 鈴木 敏 $\dagger$

辞書の定義文を基にした上位語情報の抽出手法を提案し，その結果に基づく単語オントロジーの自動生成を試みた。提案するのは再帰的語義展開による情報抽出手法である。本手法では定義文を再帰的に展開し, 巨大な単語集合として定義文を再定義する。このとき，定義文中に上位語が含まれるという仮定を利用すれば, 非常に多くの単語を上位語候補とすることができる。この手法では上位語となる尤もらしさの指標を得ることができるため, これを利用して多数の候補の中から上位語を効率よく選択できるようになる。本手法を適用した上位語抽出実験では, 構文解析を用いた既存手法を上回る精度を示した. 更に本論文では, 取り出された上位語情報を用いて単語オントロジーの自動生成を試みた。自動生成の手法はまだ完全なものではないが, 実験結果は上位語情報の有用性を示すものであり, 今後のオントロジー 自動生成の可能性を示している.

キーワード：辞書，上位語，オントロジー, 自動生成

## Information Extraction of Hypernyms and Ontology from Dictionaries

\author{
SAtoshi Suzuki ${ }^{\dagger}$
}

This paper proposes a method for information extraction of hypernyms from dictionaries, and presents a result of automatic construction of word ontology based on the extracted information. The method recursively expands word definitions to get much larger word sets, which will be candidates of hypernyms of the headwords. At the same time, this method gives likelyhood of the candidates for hypernyms, which is useful for selecting hypernyms from the candidates. Computational experiments showed that the proposed method gives better results than an existing method, which regards HEAD as hypernyms by parsing the explanatory notes. Additionally, we tryed to create a word ontology with the resulting hypernyms. This method is still underconstruction, but the results showed effectiveness of the resulting hypernyms, and showed possibility of entirely automatic construction of word ontology.

Key Words: dictionary, hypernym, ontology, information extraction

## 1 まえがき

単語オントロジーは自然言語処理の基礎データとして様々な知識処理技術に利用されており, その重要性は年々高まっている。

現在広く知られている日本語オントロジーとしては, 例えば日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997) 等が挙げられる. 日本語語彙大系は人手により編集された大規模オントロジーであり, 約 3,000 の意味カテゴリーを木構造状に分類し, 約 40 万語を各意味カテゴリーに割当てている。しかしながら, これらは翻訳への適用を主な目的として作成されており, 利用目的によっては必ずしも適切な分類とはならない. 言い換えれば，オントロジーは利用目的に応じて異なるものが求められるのである.

ところが, オントロジーの作成には膨大な労力が必要であり, また, 言葉が日々進化するものであることを考えると，特定目的に応じたオントロジー作成を人手で行うことは現実的に不可能である．従って，オントロジーの生成は自動化されることが望まれる.

そこで本論文ではオントロジー自動生成手法の検討を行う。技術的検討を行う上では特定目的のオントロジー生成よりも，むしろ一般のオントロジーを取り扱う方が検証を行いやすい.従って, 本論文ではオントロジー自動生成の第一歩として, 日本語語彙大系のような一般的なオントロジーの自動生成を目的とし，検討を進めることとする.

オントロジーは単語の意味的関連性を表すものであり, この点からみると, 基礎となるデー 夕は共起情報を与えるコーパスよりも単語の意味を直接定義している辞書（国語辞典）の方が適していると考えられる。

辞書を用いた関連性抽出の例を挙げると，例えば，鶴丸らは辞書の定義文のパターン抽出により上位語の同定が可能であることを示している (鶴丸, 竹下, 伊丹, 柳川, 吉田 1991). また, オントロジーの自動獲得の試みも行われており, 例えば Nichols らは定義文中に上位語が含まれているという仮定の下での単語階層化手法を提案している (Nichols and Bond 2005).

上記の手法は, 定義文を構文解析し，その主辞を上位語とするものであるが, 必ずしも定義文の主辞が上位語であるとは限らないため, 決定論的に上位語を決めてしまうとオントロジー 生成時に矛盾を引き起こすことになる。従って，決定論的に上位語を決めるのではなく，順位づけられた上位語候補を取り出すことが望まれる。しかしながら，辞書の短い定義文からこれを行うことは難しい.

一方で, 上位語を抽出する方法として, コーパスから"is-a" 構造等を取り出すという方法がある.この方法は統計量が大きければ信頼性の高い情報が得られる一方, 基本的な単語が網羅される保証はなく, 単語の偏りが起こる可能性が高い. また, Snow らは”is-a” 構造を持つデータを利用してオントロジーを構築する手法を提案しているが (Snow, Jurafsky, and Ng 2006), この手法は既存のオントロジーに単語を追加する手法としては有効であるが，オントロジーの骨
格をゼロから作り上げることには向いていない.

このように，上位語抽出とオントロジー構築にはそれぞれの課題があり，オントロジーを生成するためには，上位語の抽出方法と上位語候補を用いたオントロジー生成手法とを分けて考えるべきであり，まず適切な上位語情報を抽出することが重要である．以上の点から，本論文では, 順位付け可能な上位語情報を取り出し, その情報を利用した最適化学習によりオントロジーを生成することを目指す.

ところで，鈴木は辞書の定義文を再帰的に展開することでカバー率の非常に大きい単語類似度計算手法を提案している (Suzuki 2003; 鈴木 2005).この方法によると，辞書の定義文を仮想的に巨大な単語集合と見なすことができ，各単語の出現頻度は確率として与えられるため，上位語候補の不足を解決できる可能性がある.

そこで本論文では上位語情報の抽出を主な目的とし, 辞書の定義文を巨大な単語集合として再定義することにより上位語侯補を増やすという手法を試みる。提案手法では, 定義文中に上位語が含まれるという前堤を保ちつつ, 大きな単語集合の中から上位語候補を確率的指標を伴った形でリストアップする，即ち，辞書の定義文を基に，上位語の尤もらしさを数値として表す手法を提案する. 更に, この上位語候補情報を利用したオントロジー自動生成も試みる。本論文に示す自動生成手法は簡易的なものであるが，前述の上位語候補情報の効果を確認するには非常に有効である.

以下，確率モデルによる定義文の拡張方法を簡単に説明し，この手法により一般的な国語辞典から上位語候補が確率的指標と共に取り出せることを示す.また同時に, 従来手法との比較も行い，その有効性を検証する。次に，この指標の利用例としてオントロジー自動生成手法を提案し, この手法に上記指標を適用した結果を示す.

## 2 辞書からの上位語情報抽出

まずはじめに，辞書から単語の上位語情報を取り出すことを考える。ここで言う上位語情報とは，上位語と相関のある数値情報のことであり，上位語を一意に決定するものではない.

一般に定義文中に同じ単語が複数回現れることは稀なので，そのままでは単語間で差を付けることはできない，そこで，定義文を再帰的に展開し，拡張した定義文の中での出現頻度の差を利用することにする。この再帰的展開は適当な回数の展開を設定しても良いが, 本稿は上位語抽出方法として鈴木による再帰的語義展開手法 (Suzuki 2003; 鈴木 2005) を利用することにする。この手法によれば，定義文を無限に再帰的に展開することにより巨大な仮想定義文を生成し，そこから頻度情報を取り出すことができる。辞書の定義文が見出語に意味を与えるためのものであるとすれば，上位語は単語に意味付けするために非常に重要な要素である．従って， この仮想定義文中には上位語が高い頻度で出現することを期待できる。

## 2.1 再帰的語義展開

再帰的語義展開の基本的な考えは, 定義文中の単語頻度を再帰的に展開し, より多くの単語からなる定義文を作成するということである.

辞書（国語辞典）は見出語と定義文の組合せから成り立っている。定義文は単語の集合であり，これを見出語の集合とみなせば，一つの定義文を複数の定義文の集合として再定義することができる。ところが, このような展開は無限に続いてしまう，従って，展開された定義文中の単語数も無限になり, 頻度計算は一般に不可能になる。しかしながら, 定義文の展開を行なう毎に一定の割合でその影響が小さくなるとすれば，無限に展開された定義文の影響は元の定義文に比べて微小になる。このとき, 定義文の影響力は語義展開の回数に従う等比数列として表すことができる。同時に，様々な染さまで展開した定義文の集合体を考え，その総和を無限級数として計算すると必ず有限な値となる。これにより，定義文の集合体中の単語頻度も有限になり，計算可能となる。これらを確率モデルに置き換えることで，無限の展開を含めた定義文の集合体から単語の出現確率を取り出すことが可能になり，拡張された定義文として再定義することができる.

計算の概要を以下にまとめる。以下， $n$ 回展開された定義文を $n$ 次の定義文と呼ぶ．また，辞書中の定義文を 0 次定義文とする.

まず, 見出語 $w_{i}$ と 0 次定義文中の単語 $w_{j}$ の関係は $P\left(w_{j}^{(0)} \mid w_{i}\right)$ と表すものとする. ここで, $w^{(n)}$ は $n$ 次の定義文中の単語 $w$ を表す. 従って, 確率 $P\left(w_{j}^{(0)} \mid w_{i}\right)$ は, 見出語 $w_{i}$ の 0 次定義文中に現れる $w_{j}$ の出現確率である.

この表記を用いると, 各見出語に関する 0 次定義文中の単語の出現確率は

$
A=\left[\begin{array}{cccc}
P\left(w_{1}^{(0)} \mid w_{1}\right) & \cdots & \cdots & P\left(w_{1}^{(0)} \mid w_{m}\right) \\
P\left(w_{2}^{(0)} \mid w_{1}\right) & \ddots & & \\
\vdots & & \ddots & \\
P\left(w_{m}^{(0)} \mid w_{1}\right) & & & P\left(w_{m}^{(0)} \mid w_{m}\right)
\end{array}\right]
$

の列ベクトルとして表される.ここで， $m$ は辞書中の見出語の数である. 行列 $A$ の各要素 $P\left(w_{j}^{(0)} \mid w_{i}\right)$ は見出語 $w_{i}$ の定義文中の単語頻度 $N_{i}(w)$ を用いて

$
P\left(w_{j}^{(0)} \mid w_{i}\right)=\frac{N_{i}\left(w_{j}^{(0)}\right)}{\sum_{\text {all k }} N_{i}\left(w_{k}^{(0)}\right)}
$

と書ける. このとき, 全ての列べクトルは, 要素の合計が 1 であり, 確率表現となっている. さらに, この表記に従うと, $n$ 次定義文は $A^{n+1}$ にり表される.

目的とする定義文の集合体 $C$ は, 語義展開の度に定義文の影響が一定の割合 $a$ で減少すると仮定すると，

$
C=(1-a)\left(A+a A^{2}+\cdots+a^{n-1} A^{n}+\cdots\right)
$

と書ける. ここで, 係数 $1-a$ は正規化のための定数である.

式 (3) は無限級数の計算から

$
(I-a A) C=(1-a) A
$

と書け，線型計算により解を求めることができる。

計算により得られる行列 $C$ は, 列べクトルの各要素の合計が必ず 1 となり, 確率として扱うことが出来る． $C$ の $(j, i)$ 要素を $P\left(w_{j}^{*} \mid w_{i}\right)$ と書くと, $w^{*}$ は定義文の集合体の中の単語を意味することになる．以下，この定義文の集合体を拡張定義文と呼ぶことにする。すなわち， $P\left(w_{j}^{*} \mid w_{i}\right)$ は拡張定義文中の単語の確率頻度である。

## 2.2 拡張定義文

上記の手法を実際に国語辞典 (金田一，池田 1988) に適用した結果を以下に示す。前処理として, 扱う単語を一般名詞とサ変名詞に限定 (形態素解析は茶鉒 (松本, 北内, 山下, 平野, 松田,高岡，浅原 2000）を利用）し，語義の区別はせず，語義文と例文をまとめて見出語の定義文とした. その結果, 43,915 語の見出語と, 平均約 7 語の 0 次定義文を得た. 以下, $a=0.9$ で行った実験結果を例に詳細を記す。

まず，式 (1)(2) から確率行列 $A$ を計算した。これはスパースな 43,915 次元の正方行列である. 次に式 (4) から線形ライブラリ CLAPACK(Anderson, Bai, Bischof, Blackford, Demmel, Dongarra, Du Croz, Greenbaum, Hammarling, McKenney, and Sorensen 1999)を利用してCを求めた. このときの計算精度は 32 bit 長の浮動小数点演算で, 有効桁は $10^{-7}$ までとした. この結果得られた列べクトルの非ゼロの値を持つ次元数は平均約 33,000であった. すなわち, 平均約 33,000 語の仮想定義文ができたことになる.

表 1 に 0 次定義文と拡張定義文との比較を示す。まず，見出語「通信」に関しては， 0 次定義文では「通信」が頻度 4 ，他の 13 語が等しく頻度 1 で，「通信」のみが突出して頻度が高い。一方, 拡張定義文では全ての単語の確率頻度が異なっており，順位づけすることができる。また,頻度 1 位の「通信」と 2 位の「人」との差は相対的に小さくなっている. さらに， 0 次定義文に現れていなかった「物事」「一つ」が拡張定義文では上位の頻度で現れている．定義文中の語数は，0次定義文では 14 語だったものが，拡張定義文では 32,182 語に大幅に増えている．

同様に, 見出語「傍受」に関しては, 0 次定義文では 5 単語が等しく頻度 1 で現れているのに対し, 拡張定義文では順位が付けられ, 中でも「通信」が相対的に大きな頻度を示している。 また, 見出語「通信」の場合と同様に「人」「物事」「自分」「行動」といった一般的な単語が現れているほか,「電線」「有線」「発信」といった見出語と関連の深い特徵的な単語が現れている.
表 10 次定義文と拡張定義文の比較

本手法を用いると, 辞書全体でよく使われる単語, 即ち一般的な単語が上位に現れやすくなる.この性質により, 等しい頻度の単語でも, より一般的な語が拡張定義文中の上位に現れる傾向があり，場合によっては 0 次定義文に現れない単語が確率頻度最大となることもある.

## 2.3 上位語情報としての評価

見出語 $w_{i}$ の拡張定義文中に上位語 $w_{j}$ があるとすれば，上位語 $w_{j}$ は見出語 $w_{i}$ を説明するために非常に重要な単語であるため, その確率頻度 $P\left(w_{j}^{*} \mid w_{i}\right)$ は高いことが予想される. 従って,見出語 $w_{i}$ の上位語は, その拡張定義文の中から確率頻度 $P\left(w_{j}^{*} \mid w_{i}\right)$ が高い順に尤もらしいと考えることができる. この仮説を検証するために, 日本語語彙大系 (池原他 1997) を正解データとした検証実験を行った，対象としたのは，前節で用いた 43,915 語のうち，日本語語彙大系と表記が一致する 39,982 語である.

1 節で記したように, 日本語語彙大系は意味的上下関係を表した約 3,000 のカテゴリーからなるオントロジーと各カテゴリーに割当てられた合計約 40 万語からなる大規模語彙データである。ただし，単語の割当てに関しては翻訳への適用を主な目的として作成されているため，才ントロジーとしては必ずしも正しいとは限らない，そこで，本論文では，まずはじめに日本語語彙大系をオントロジー検証のための正解データとして適切に利用する方法を検討し, その後,
提案手法に対する評価を行うことにする。

まず，日本語語彙大系のオントロジーとしての性質を調べるため，既存手法による上位語抽出結果と，その結果を人手により修正した正解データ18利用した. この既存手法は, Nichols らにより提案された，辞書定義文の構文解析により得られた主辞を上位語とみなす手法である (Nichols and Bond 2005). ただし, ここで用いた辞書 (Lexeed (笠原, 佐藤, 田中, 藤田, 金杉,天野 2004)）は前節の実験で用いた辞書（学研国語辞典 (金田一，池田 1988)）とは異なる.

これらのデータを利用して, 日本語語彙大系の意味カテゴリー間の関係を上位語の評価指標としての妥当性という観点から評価した。評価方法は，次に示す 3 種類をそれぞれ上位語の正解データとして精度を計算するものである.

(1) 見出語の含まれる意味カテゴリーの直接上位カテゴリー中の全単語

(2) 直接上位カテゴリーを除く全ての上位カテゴリー（間接上位カテゴリー）中の全単語

(3) 見出語と同一カテゴリーに属する全単語

評価結果を表 2 に示す.

人手修正データの評価結果を見ると，直接上位カテゴリーよりもむしろ同一カテゴリーの単語に上位語が多く含まれていることがわかる。人手修正による精度の向上も同一カテゴリーの方が大きく，上位語の多くはここに集まっていると考えられる。逆に，間接上位カテゴリーでは, 人手修正による精度向上率は $-24.5 \%$ であり, 精度を大きく下げている。この結果は, 間接上位カテゴリーは上位語以外の単語を多く含んでおり，間違った結果を正解と判断している率が非常に高いことを示している。言い替えると，間接上位カテゴリーは再現率が非常に低く，一方, 直接上位カテゴリーと同一カテゴリーには従来手法のような構文解析手法では取り出しにくい上位語が集まる傾向があるといえる。ここで，人手修正デー夕に強いバイアスが掛っている（脚注参照）点を考慮すると，実際に修正を加えられた人手修正データの方がより信頼性の高いデータであることに気附く，従って，精度の絶対値ではなく，向上率を重視したほうが

表 2 日本語語彙大系カテゴリーの上位語集合としての妥当性評価

 \\

間接上位カテゴリー & 0.0776 & 0.0586 & $-24.5 \%$ \\
同一カテゴリー & 0.2170 & 0.3486 & $60.6 \%$ \\

信頼性が高いと考えられる。よって，本論文においては，日本語語彙大系を上位語の評価として使う場合には，同一カテゴリーあるいは直接上位カテゴリーを正解とみなして評価を行うことにする．特に同一カテゴリーによる評価を重視する方向で検討をすすめることとする．

この結果を考慮して, 提案手法による上位語情報の抽出結果を日本語語彙大系の直接上位力テゴリーおよび同一カテゴリーを正解データとして評価した。その結果を図 1,2 に示す。図 1 は直接上位カテゴリーを正解とした場合, 図 2 は同一カテゴリーを正解とした場合である。それぞれの図には，横軸に拡張定義文中の確率頻度を降順に並べた順位を，縦軸に正解デー夕に対する精度をとり，全ての見出語に関する統計量でプロットしている．黒丸は前述の人手修正による正解デー夕を，白丸は同じく前述の既存手法による結果である。太い実線は再帰的展開を行わない場合，即ち $a=0$ の結果である。ここでは同一頻度のものは任意に順位を割当てた.破線，細い実線，鎖線はそれぞれ $a=0.1,0.5,0.9$ の場合の結果を示している.

図 1 の順位 1 位を比較すると, 既存手法の精度 0.0399 に対して $a=0.1$ では 0.0402 であり,提案手法の精度が上回っている。また， $a=0.5,0.9$ でもそれぞれ $0.0389,0.0378$ であり，ほぼ同等の結果を得ている。ただし，人手修正による正解デー夕の精度 0.0510 には及んでいない.一方, 図 2 の順位 1 位での比較では, 既存手法の精度 0.2170 に対して $a=0.1,0.5,0.9$ のそれぞれで $0.2628,0.2915,0.2932$ と大きく上回る結果を出している. さらに， $a=0.5,0.9$ は人手修正による正解データの精度 0.2793 をも僅かに上回っている. 2

確率頻度の順位

図 1 出現頻度順位と精度（日本語語彙大系直接上位カテゴリーによる評価）

確率頻度の順位

図 2 出現頻度順位と精度（日本語語彙大系同一カテゴリーによる評価）

また, 再帰的展開前の結果 $(a=0)$ と展開後の結果 $(a=0.1,0.5 .0 .9)$ とを比較してみると, 展開後の結果は, 展開前に比べて順位 1 位の精度が上り, 順位 2,3 位以下では精度が下っている。 これは，再帰的展開により，低い順位にあった上位語が高い順位に移動したことを示しており，再帰的展開の効果を明確に表す結果である.

以上の結果から, 提案手法は既存手法と同等以上の精度を持ち, 評価方法によっては手作業にも劣らない精度を出せることが示された。 さらに，上位語候補として 1 語あるいは数語しか提示できない既存手法に比べて, 提案手法では順位 2 位以下の情報を多量に持っているため, アプリケーションへの応用の際にこれらの情報が有効に働くことを期待できる.

## 3 オントロジーの生成

## 3.1 学習モデル

2節で得られた上位語情報を利用して，単語オントロジーの自動生成を試みた。以下は, 今回検証したモデルである.

まず，目的とするオントロジーは上位語が下位語を意味的に包含するものである．従って，下

らの辞書も国語辞典であり, 同じ性質の文章であるためその影響は非常に小さいと考えられる. 特に, 図 2 の結果は人手修正データとの相対比較という観点からみても大きな差があり, 十分意味を持つものである.
位語は上位語の意味を要素として含まなければならない。逆に，下位語は上位語以外の単語の意味を要素として含んではいけないことになる.

いま，あるオントロジーが存在し，その中の単語 $C$ の上位語が $A, B$ である場合を考える（図 3(a) 参照). このとき, $C$ の持つ意味は $A, B$ 及び $C$ 自身により特徴づけられると考える. ところが，Cは拡張定義文において様々な単語から成り立っている，そこで，単語の意味空間の集合としての見出語の意味空間を考える（図 3(b) 参照）.

拡張定義文中の各単語は見出語を構成する要素（部分空間）であると考え，見出語自身とその上位語のみが，その見出語を特徴づける意味要素として有効であると仮定する．即ち，

オントロジー上に単語 $C$ の上位語として単語 $A, B$ のみが存在する場合, このオントロジー

における $C$ の意味は拡張定義文中の $A, B, C$ で構成される部分空間に限定され, 拡張定義文中の他の単語は無視される。そして, これらの単語の確率頻度の合計が大きいほど, 見出語の本来の意味が再現されると考える。この再現率がオントロジー全体で高いほど，良いオントロジーとなる。

これにオントロジー上の距離の要素を加味し, 単語の確率頻度（2.1 節参照）を用いて, 上位語を $A, B, C, D, \cdots$ としたときの再現率を

$
P^{\prime}(w)=b_{A} P\left(w_{A}^{*} \mid w\right)+b_{B} P\left(w_{B}^{*} \mid w\right)+b_{C} P\left(w_{C}^{*} \mid w\right)+b_{D} P\left(w_{D}^{*} \mid w\right)+\cdots
$

と書くことにする。ただし， $b_{x}$ は単語 $w_{x}^{*}$ の木構造の頂点からのトポロジカルな距離に従う定数 $\left(\sum_{x} b_{x}=1\right)$ である. 以下, この $P^{\prime}(w)$ を意味再現率と呼ぶ.

この仮定の下で, あるオントロジー $T$ が存在している場合, $T$ が存在する確からしさは全単語の意味再現率の積, 即ち,

$
P(T)=\prod_{w_{x}}^{\text {all words }} P^{\prime}\left(w_{x}\right)
$

で表すことができる。つまり，全ての単語がより良く元の意味を再現できている状態がオント

(a)

(b)

図 3 オントロジー学習モデル

ロジーの存在が最も安定している状態であると考える.

計算を簡単にするため，式 (6)の対数をとれば,

$
\begin{aligned}
L(T) & =\log P(T) \\
& =\sum_{w_{x}}^{\text {all words }} \log P^{\prime}\left(w_{x}\right) \\
& =\sum_{w_{x}}^{\text {all words }} \log \sum_{w_{y}^{*}}^{\text {all hypernyms }} b_{y} P\left(w_{y}^{*} \mid w_{x}\right)
\end{aligned}
$

となる.この $L(T)$ を最大化することにより, 前述の仮定の下での最適な単語オントロジーが取り出せる.

## 3.2 計算機実験

本論文では，計算コストを抑えるため，最適化アルゴリズムを各単語の意味再現率最大化と， その組合せとしての全体の最適化の 2 段階に分離して行った。即ち,

(1) $\forall w_{x}, P^{\prime}\left(w_{x}\right)=\sum_{w_{y}^{*}}^{\text {all hypernyms }} b_{y} P\left(w_{y}^{*} \mid w_{x}\right)$ の最大化

(2) $L(T)=\sum_{w_{x}}^{a l l \text { words }} \log P^{\prime}\left(w_{x}\right)$ の最大化

を交互に行うことで，近似的に最適化を行った。オントロジー上の距離に関するパラメータ $b_{y}$ は，上位語の木構造の最上位からの階層の深さを $n$ としたとき, $b_{y} \propto z^{n}, z=0.1,0.5,0.9,0.99$ の 4 種類とした.

学習の前提として, オントロジー上での各単語の直接上位語は 1 語に限定し, 自身を上位語とすることを許可している. 自身が上位語となる場合は, 当該単語は木構造の最上位に位置するものと考える。これらの前提の下, 学習の初期状態は全ての単語が自身を上位語とする状態にあるものとし，学習を行った。

具体的な学習手順は, 次の通りである.

(1) 見出語を 1 つ選ぶ.

（2）上位語候補を $N$ 個選ぶ.

(3) 各上位語候補に対して $P^{\prime}\left(w_{x}\right)$ を計算し，最大となる上位語を決定する.

（4）上記に対し $L(T)$ を計算し，值が増加すれば上位語を置換，それ以外なら元に戻す. を全見出語に関し変化がなくなるまで繰り返す。ただし， $N$ は事前に与えられる定数であり，今回の実験では $N=100$ とした.

## 3.3 結果

以下, $a=0.1$ の場合を例に，結果の詳細を記す.

学習の結果得られたオントロジーの一部を図 4 に示す.「通信」の全上位語および全下位語の
(a) $\mathrm{z}=0.1$

1408:通信丁794:連絡一1815: 交信

6578:外信

-10726:ホットライン

-12126: 不通

-15089: 通謀

-34702:テスター

-39322: 伝書鳩

-40566:Дコュニニケート

-1407:受信-1405:発信--1404:着信--37340:傍受

て1947:送信丁13098:トランシーバー

17118:送受

1982:電信--1406:着電

-3467:マスコミュニケーション

一13413:コミュニケーショ

(b) $\mathrm{z}=0.5$

-1815: 交信

-1982:電信丁34702:テスター

-40566:コミミュニケート

-3467:マスコミュニケーション

-12126: 不通

-39322: 伀書鳩

(c) $\mathrm{z}=0.9$

1408:通信丁1407:受信丁1405:発信丁1404:着信--37340: 傍受

-12126:不通

-13413:コミュニケーション

(d) $\mathrm{z}=0.99$

36:人--542:物事--2503:事柄--181:通達--14554:通告--12064:通知--37375:朗報--34182:快報--2347:知らせ--15101:通報--794:連絡

--1408:通信丁3342:伝達丁13413:コ通道--14554:通告・

-15089:通謀

-24257: 暗号

-18060 :音信-49560:コ訪れ

4970:コンュユケート

$-18203:$ 音通汰

18204:消息--25839:尋ね人

図 4 獲得されたオントロジーの例（「通信」の上位語／下位語）
構造を表示している ${ }^{3}$. (a) はオントロジー上の距離に関するパラメータ $b(z=0.1)$ を用いて学習した結果である。同様に $(\mathrm{b}),(\mathrm{c}),(\mathrm{d})$ はそれぞれ $b(z=0.5,0.9,0.99)$ のときの結果である。この値が大きくなる程，上位語の影響は階層の離れた下位語まで届くため，深い木構造が期待できる，逆にこの値が小さいと，浅い木構造ができることが期待される，今回の実験では，独立した木構造の数は，(a) 1687，(b) $1472 ，(c) 788 ，(d) 142$ であった。 (a), (b), (c) では「通信」は木構造の最上位に位置しているが，(d) では「人」を頂点とする巨大な木構造の一部であり，多くの上位語の下に位置している。これらの結果から，パラメータ $z$ の值が増加するに従い木構造の階層がより深く大きくなるのが確認できる。また, 図 4 を詳細にみると, 上下関係が特定の意味関係で統一されているとは言い難いものの, 関連のある言葉が集まり木構造を構築していることは確認できる。

次に, 生成されたオントロジーの精度を, 2.3 節同様, 日本語語彙大系のカテゴリー間の上下関係との一致度を測ることにより調べた．評価方法は 2.3 節の結果を考慮して， 2 種類の正解データを設定した。一つは，見出語の含まれる意味カテゴリーの直接上位カテゴリーを正解とするもの，もう一つは，見出語の含まれる意味カテゴリーと同一カテゴリーを正解とするものである。これら正解カテゴリー内の単語のいずれかに，生成したオントロジーから得られる上位語が一致すれば正解とみなした。

この手法による評価を，オントロジー上での上位語の距離に対する精度としてプロットしたのが図 5 および図 6 である。横軸は上位語のトポロジカルな距離で，直接上位語であれば “ 1 ”, さらにその上位語であれば “2” というように，オントロジー上の距離を表している。縦軸は精度である。図の各線は, 学習時のパラメータ $b(z=0.1,0.5,0.9,0.99)$ のそれぞれの結果をプロットしたものである。また，白丸はオントロジー生成学習前（拡張定義文中の出現頻度最大の単語を正解とみなした場合）の精度を，黒丸は人手で修正したデー夕の精度（表 2 参照）を表している.

全体的に, 学習時のパラメータ $z$ が小さいほど距離 1 での精度が高く, また, 距離が大きくなるに従い急激に精度を落している。 $z$ が小さいと, 生成された木構造の階層が浅いため大きな距離の上位語は非常に少くなり, 逆に, $z$ が大きいと, 木構造の階層が深くなり, 多くの上位語を同時に学習するため直接上位語の精度が犠牲になると考えられる。ただし, この差は僅かであり，距離 2 以上では逆転するものもあるので， $z$ を如何に設定すべきかは更なる検討が必要である.

さらに，これらの結果を学習の前後で比較してみる。図 5 の距離が 1 （直接上位語）の場合を見ると，オントロジー生成学習前（図では白丸）よりも後の方が大きく精度を下げている。人手修正デー夕の場合（図では黒丸）と比べると, 半分程度の精度である。ここで人手修正デー

## 上位語の距離

図 5 オントロジー上の上位語の精度（直接上位カテゴリーによる評価）

図 6 オントロジー上の上位語の精度（同一カテゴリーによる評価）

夕の性質を考える。このデータはオントロジーを意識して作成されたものではないので，上位語にさらにその上位語を積上げる手法をとっても木構造にはならず，ループ状につながってしまう．従って，木構造にするには，いくつかの上位語を変える必要があり, 多少の精度低下が
起る.この点を考慮すると, 学習前後で精度が低下することは妥当であると思われる.

一方, 図 6 では距離が 1 の各値はオントロジー生成学習前（図の白丸）および人手修正デー 夕（図の黒丸）と比べて大きく精度を上げている．2.3 節の結果を考慮すれば同一カテゴリーによる評価がより重要であるとも考えられるが，同義語など他の要素が影響している可能性も考えられる。この点に関しても更なる検討が必要である。

以上の結果は, $a=0.5,0.9$ の場合でも同様の傾向がみられる.

上述のように，オントロジーとしての十分な評価を下すためには更に検証を加える必要があるが，上記の実験結果は計算により得られた上位語情報を学習によって木構造に組み上げる方法論の妥当性を示唆している。また, 再帰的展開の影響が小さい $a=0.1$ での結果が学習前から大きく改善したことは，辞書から得たカバー率の高い上位語情報が有効に活用されていることを表すものである.

## 4 むすび

本論文では辞書の定義文から上位語情報を取り出し, 検証を行った. 取り出した上位語情報はカバー率が非常に高いという特徴をもっており, 精度の検証では既存の手法を上回る結果を示した。また，上位語情報を利用したオントロジー生成手法を提案し，上位語情報のカバー率の高さが有効に働いていることを示した.

提案したオントロジー生成手法はまだ簡易的なものであるが, パラメータに従い様々な深さの階層をもつオントロジーを生成できる。ただし，その精度の評価方法に関しては更なる検討が必要であることも明らかになった.

今後の課題としては, 第一に評価手法の確立が挙げられる。今回は正解データとして日本語語彙大系のみを利用したが，様々な辞書等を組合せて，より精度の高い評価手法を確立したいと考えている. 更に, 学習の最適化手法の改良に関しても今後の課題である. 今回用いた最適化手法は簡易的なもので, 極めて局所的な最適解しか得られない. この点を改善すれば, 今後の更なる精度の向上も期待できる。

また, 今回の実験では語義の曖昧性については考慮せず， 1 表記につき 1 語義として実験を行ったが, 定義文中の語義曖昧性を排除した辞書（例えば Lexeed(笠原他 2004)）を利用することにより，語義レベルの上位語抽出，オントロジー生成が可能である。今回は特殊な辞書である Lexeed の利用は避けたが，これの再帰的展開への適用については現在検討を進めているところである.

## 参考文献

Anderson, E., Bai, Z., Bischof, C., Blackford, S., Demmel, J., Dongarra, J., Du Croz, J., Greenbaum, A., Hammarling, S., McKenney, A., and Sorensen, D. (1999). LAPACK Users' Guide (Third edition). Society for Industrial and Applied Mathematics, Philadelphia, PA.

Nichols, E. and Bond, F. (2005). "Acquiring Ontologies Using Deep and Shallow Processing." In 11th Annual Meeting of the Association for Natural Language Processing, pp. 494-498 Takamatsu.

Snow, R., Jurafsky, D., and Ng, A. Y. (2006). "Semantic Taxonomy Induction from Heterogenous Evidence." In Proceedings of 44th Annual Meeting of the ACL, pp. 801-808. Association for Computational Linguistics, ACL.

Suzuki, S. (2003). "Probabilistic Word Vector and Similarity based on Dictionaries." Computational Linguistics and Intelligent Text Processing Lecture Notes in Computer Science (In proceedings of CICLing2003), N 2588, pp. 564-574.

池原悟，宮崎正弘，白井諭，横尾昭男，中岩浩巳，小倉健太郎，大山芳史，林良彦 (1997). 日本語語彙大系. 岩波書店.

鶴丸弘昭，竹下克典，伊丹克企，柳川俊英，吉田将 (1991)。“国語辞典情報を用いたシソーラスの作成について." 情報処理学会自然言語研究会, 1991-NL-83.

金田一春彦, 池田弥三朗 (1988). 学研国語大辞典第二版. 学習研究社.

鈴木敏 (2005). “辞書に基づく単語の再帰的語義展開.” 情報処理学会論文誌, 46 (2), pp. 624-630.松本裕治，北内啓，山下達雄，平野善隆，松田寞，高岡一馬，浅原正幸 (2000). “日本語形態素

解析システム『茶鉒』 version 2.2.1 使用説明書.”. http://chasen.aist-nara.ac.jp/.

笠原要, 佐藤浩史, 田中貴秋, 藤田早苗, 金杉友子, 天野成昭 (2004). “「基本語意味デー夕

ベース:Lexeed」の構築 (辞書, コーパス).”情報処理学会研究報告. 自然言語処理研究会報告, 2004 (1), pp. 75-82.

## 略歴

鈴木敏（正会員）：昭和 42 年生. 平成 2 年東京大学教養学部基礎科学科卒.同年 NTT 入社．統計的学習理論，物体認識に関わる計算モデル，自然言語処理のための学習モデルの研究に従事. 平成 $4 \sim 9$ 年 ATR 人間情報通信研究所研究員. 平成 6 年日本神経回路学会研究賞受賞.

(2008 年 6 月 2 日受付)

(2008 年 7 月 11 日再受付)

(2008 年 10 月 14 日再々受付)

(2008 年 10 月 20 日採録)


# 仮説検定に基づく英文書の母語話者性の判別
## 冨浦 洋一†・青木さやか呫・柴田 雅博 $\cdot$ 行野 顕正 ${ ^{\dagger \dagger}$}

本論文では，ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別を高精度で行う手法を提案する．品詞 $n$-gram モデルを言語モデルとし, 判別対象の文書の品詞列の生起確率を, 母語話者言語モデルにより求めた場合と非母語話者言語モデルにより求めた場合とで比較し, 判別を行う. $n$ を大きくすると, 母語話者/非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる反面，ゼロ頻度問題およびスパースネスの問題が顕在化し，品詞 $n$-gram モデルのパラメ夕の最尤推定値を信頼することはできくなる。そこで,提案手法では, 仮説検定に基づいた方法で両言語モデルにおける生起確率の比を推定する．実験の結果，従来手法を上回る $92.5 \%$ の精度で判別できることを確認している.

キーワード：母語話者性判別，言語推定，仮説検定

## Discernment of Nativeness of English Documents Based on Statistical Hypothesis Testing

\author{
Yoichi Tomiura ${ }^{\dagger}$, Sayaka Aoki ${ }^{\dagger \dagger}$, Masahiro Shibata $^{\dagger}$ and Kensei Yukino ${ }^{\dagger \dagger \dagger}$
}

This paper proposes a method to discern the nativeness of English documents with high precision based on Bayes decision and a statistical hypothesis testing. Regarding a document as a sequence of part-of-speeches, the proposed method makes a comparison between probabilities of a document by the statistical language model of native English and by that of non-native English to discern the nativeness of the document. The statistical language model used here is a $n$-gram model. The $n$-gram model with a large $n$ can be expected to treat well the difference between the native English and the non-native one and has the potential to discern the nativeness with high precision. However, when we use the $n$-gram model with a large $n$, the zero frequency problem and the sparseness problem become acute and we cannot rely on the maximum likelihood estimates of $n$-gram probabilities. The proposed method estimates the ratio of the probability of the document by the native English language model to that by the non-native English language model using a statistical hypothesis testing. The experimental result shows that the proposed method discerns the nativeness with the precision $92.5 \%$, which is significantly higher than by traditional methods.

Key Words: Discernment of Nativeness, Language Identification, Statistical Hypothesis

Testing

## 1 はじめに

本論文では， ベイズ識別と仮説検定に基づいて，英文書の作成者の母語話者／非母語話者の判別（母語話者性の判別）を高精度で行う手法を提案する.

WWW 上の英文書を英語教育や英文書作成支援に利用する研究が盛んに行われている (大鹿,佐藤, 安藤, 山名 2005 ; 佐野, 猪野 2000 ; 大武, 河本, 竹腰, 国村, Morren, 竹内, 鵜川, 藤田，金子 2004). WWW 上にはオーサライズされた言語コーパスとは比べものにならないくらいの大量の英文書が存在するため, これを言語データとして活用することで, 必要な言語デー 夕の量の問題をかなり克服できる，しかし， WWW上の英文書の質は様々であり，英語を母語とする者あるいはそれと同等の英語運用能力を有する者が書いた英文書（本論文では母語話者文書と呼ぶ）と英語を母語としない者が書いた誤りや不自然な表現を含む英文書（本論文では非母語話者文書と呼ぶ）とが混在している．WWW上の英文書を英語学習教材として使用する場合，あるいは，英語表現の用例集として使用する場合は，使用する英文書を母語話者文書に制限するのが望ましい. また, 非母語話者に特有の文法的特徵や使用語彙の傾向を調査したり,非母語話者が犯しがちな不自然な表現を収集するには，大量の母語話者文書および非母語話者文書を必要とする。したがって，英語教育や英文書作成支援を目的としてWWW上の英文書を使用する場合，英文書の母語話者性判別を行う技術は非常に重要である.

本論文で提案する英文書の母語話者性判別手法では, 品詞 $n$-gram モデルを言語モデルとし,判別対象の文書の品詞列（文書中の単語をその品詞で置き換えた列）の母語話者言語モデルによる生起確率と非母語話者言語モデルによる生起確率との比に基づいて判別を行う． $n=5,6,7$ といった比較的大きな $n$-gram モデルを言語モデルとすることで, 母語話者／非母語話者固有の特徴をより良く扱うことが可能となり, 判別精度の向上が期待できる. しかしその反面, 両言語モデルのパラメタ（ $n$-gram 確率）を最尤推定した場合, 母語話者/非母語話者文書間で品詞 $n$-gram モデルのパラメ夕值に大きな違いがあるのか, 学習データの統計的な摇らぎに起因するものなのかが区別できない. $n=3$ という条件部が短い $n$-gram モデルを用いて判別を行う場合でさえ， ゼロ頻度問題およびスパースネスの問題に対処するために，通常なんらかのスムージングを行う。これに対し，提案手法では，仮説検定に基づいた方法で両言語モデルにおける文書の生起確率の比を推定する.

## 2 文書クラス識別の枠組み

本研究で扱う母語話者性の判別問題は, 文書 $d$ が属すクラスの識別問題の一種である。本節では，文書が属すクラスの識別の枠組みについて，その一般論を述べておく。

文書が属す可能性のあるクラスとして $, C_{1}, C_{2}, \cdots, C_{M}$ があるとする. 文書 $d$ がクラス $C$ に属す文書である尤もらしさ（尤度） $\operatorname{Lh}(d, C)$ を何らかの方法で設定し, $L h(d, C)$ が最大の $C$, つまり，

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} L h(d, C)
$

を文書 $d$ が属すクラスとして識別する．文書 $d$ のどのような構成要素（特徴）を用いて $\operatorname{Lh}(d, C)$ をどのように定義するかにより，どのようなクラスの識別ができるか，および，その識別精度が異なって来る。次節で述べる言語識別, 本論文で扱う母語話者性の判別の他, ジャンルの識別, 著者識別, さらに迷惑メールの判別 (spam filter) もこの朹組みで議論することができる.

文書 $d$ の属すクラスが $C$ である尤度 $L h(d, C)$ を $d$ が与えられたときのクラス $C$ の事後確率 $P(C \mid d)$ とし, 文書 $d$ の属すクラスを,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C \mid d)
$

と推定することもできる。これは，統計的パターン認識で用いられる事後確率最大化識別 (ベイズ識別) (麻生, 津田, 村田 2003) である. 文書 $d$ の生起確率を $P(d)$, クラス $C$ での $d$ の生起確率（クラス $C$ に属す文書が生起するときにその文書が $d$ である条件付き確率）を $P_{C}(d)$, クラス $C$ に属す文書の生起確率（ $C$ の事前確率）を $P(C)$ とすると, 上記の事後確率 $P(C \mid d)$ は

$
P(C \mid d)=\frac{P(C) P_{C}(d)}{P(d)}
$

と表せるので，式 (1)は,

$
\arg \max _{C \in\left.\{C_{1}, C_{2}, \cdots, C_{M}\right.\}} P(C) P_{C}(d)
$

と等しい，適当な統計的言語モデルを設定し，各クラス $C_{i}$ の文書集合（ $C_{i}$ の学習デー夕）を用いて， $C_{i}$ の言語モデルのパラメタを推定すれば，式 $(2)$ を用いて $d$ が属すクラスの識別をすることができる.

代表的な統計的言語モデルとして, $n$-gram モデルがある。一般に, ある時点で生起する事象の確率が，その直前の $n$ 個の時点で生起した事象だけの影響を受けるとき，これを $n$ 重マルコフ過程と呼び, $n$-gram モデルは, 記号の生起を $(n-1)$ 重マルコフ過程で近似したモデルであ

る (北 1999). 特に, $n=1$ の場合を uni-gram モデル, $n=2$ の場合を bi-gram モデル, $n=3$ の場合を tri-gram モデルと呼ぶ. $n$-gram モデルでは, 記号列 $\boldsymbol{a}=a_{1} a_{2} \cdots a_{\ell}$ の生起確率は,

$
P(\boldsymbol{a})=\prod_{i=1}^{\ell+1} P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

で表される. ただし， $j \leq 0$ のとき $a_{j}=@_{s}$ であり， @ $s_{s}$ は文頭を表す特殊記号である.また， $a_{\ell+1}=@_{e}$ であり， $@_{e}$ は文末を表す特殊記号である．記号としては，文字，単語，品詞などが考えられる，本論文では，記号が文字であるものを文字 $n$-gram モデル，記号が品詞であるものを品詞 $n$-gram モデルと呼ぶことにする. 条件付き確率 $P\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は $n$-gram 確率と呼ばれる。本論文では，言語クラス $C$ の $n$-gram 確率を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ と添え字を付けて表す。学習データの生起確率を最大にするようにモデルのパラメタを推定する最尤推定 (野田, 宮岡 1992)では, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ は

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{\sum_{a \in A} f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a\right)}
$

すなわち,

$
\frac{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1} a_{i}\right)}{f_{C}\left(a_{i-n+1} \cdot a_{i-2} a_{i-1}\right)}
$

と推定される. $f_{C}(\boldsymbol{a})$ は言語クラス $C$ の学習データにおける記号列 $\boldsymbol{a}$ の出現頻度であり， $A$ は記号の全体集合である。しかし, $n$ が大きい場合, $n$-gram 確率を単純に式 (3)により推定すると,学習データ中に出現しない記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}$ に対して, $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を 0 と推定してしまうという大きな問題がある。また，たとえ学習データ中に出現したとしても，条件部の記号列 $a_{i-n+1} \cdots a_{i-2} a_{i-1}$ の出現頻度が小さい場合は，統計的に信頼性のある確率值を推定するのが難しい，前者はゼロ頻度問題, 後者はスパースネスの問題と呼ばれている (北 1999). したがって, これらの問題に対処するために, 通常は $n$-gram 確率のスムージングを行う. 代表的なスムージング手法としては, 加算スムージング, 線形補間などがある (北 1999).一般に，線形補間の方が加算スムージングより精度が高いと言われている.

また, 多くの識別問題で高い性能を実現している 2 クラスの識別器である Support Vector Machine(麻生他 2003) を使って, 文書 $d$ の属すクラスを識別することもできる.

## 3 関連研究

文書の母語話者性の判別と関連の深い研究分野として, 文書の記述言語を推定する言語識別がある.

Cavnar らは，出現頻度上位の文字列とその順位を言語および文書の特徴と考える言語識別を
行っている (Cavnar and Trenkle 1994). 各言語 $L_{i}$ の学習データ文書中での 1～5 の長さの文字列のうち出現頻度上位 300 個の文字列とその順位を求めて，言語 $L_{i}$ における順位表を作成しておく，同様に，識別対象文書 $d$ に対しても順位表を作成する．dの順位表中の各文字列の順位と $L_{i}$ の順位表での順位との差の絶対値の和を $d$ と $L_{i}$ の非類似度 $\operatorname{dissim}\left(d, L_{i}\right)$ と考え, $\operatorname{dissim}(d, L)$ が最小の言語 $L$ を $d$ 記述言語として識別する. これは，前節で述べた枠組みに対して, $\operatorname{dissim}\left(d, L_{i}\right)$ の逆数を尤度 $L h\left(d, L_{i}\right)$ と考えたことに相当する.

また, 前田らは, 長さ 2 の文字列の出現頻度分布をユークリッド空間上のベクトル（頻度べクトル）であると考え，識別対象文書 $d$ の頻度ベクトルと各言語 $L_{i}$ の学習データ文書の頻度ベクトルとの余弦を,$d$ と言語 $L_{i}$ の類似度 $\operatorname{sim}\left(d, L_{i}\right)$ とする言語識別を行っている (前田, 関,吉川，植村 2001).これは，前節で述べた枠組みに対して， $\operatorname{sim}\left(d, L_{i}\right)$ を尤度 $\operatorname{Lh}\left(d, L_{i}\right)$ と考えたことに相当する。

行野らは，長い文字列の頻度は統計的な摇らぎが大きいものの，言語を特定する能力が高いと考え，1７の長さの文字列を言語および文書の特徴と考える言語識別の手法を提案している (行野, 田中, 冨浦, 松本 2006). 彼らの手法は, 識別対象文書 $d$ に出現する 1〜7 の長さの文字列集合と言語 $L_{i}$ の学習データに出現する 1～7 の長さの文字列集合の積集合の大きさを $L h\left(d, L_{i}\right)$ とする手法である. 長い文字列を特徵として使用した結果, 類似言語間の識別や識別対象文書が極めて短い場合の識別でも，Cavanr らの手法, 前田らの手法に比べ高い識別精度を実現したと報告している.

Dunning は文字 $n$-gram モデルにより $P_{L_{i}}(d)$ を求め, 言語の事前確率を等確率 $\left(P\left(L_{i}\right)=P\left(L_{j}\right)\right)$ と仮定して，ベイズ識別により，dの属す言語の識別を行っている (Dunning 1994). ただし， ゼ口頻度問題に対処するため，加算スムージングによる $n$-gram 確率のスムージングを行っている. $n=1 \sim 5$ を試した結果, $n=2$ の場合, つまり, bi-gram モデルの場合が最も識別精度が高かったと報告している.

Sibun らは, 長さ $n$ の文字列の確率分布を言語および文書の特徴と考え（実際には $n=1$ または $n=2$ を採用している), 確率分布間の相違尺度である KL-Divergence に基づいた言語識別手法を提案している (Sibun and Reynar 1996). 確率分布 $P$ と $Q$ の KL-Divergence (Kullback-Leibler 距離) $D_{K L}(P \| Q)$ は

$
D_{K L}(P \| Q)=\sum_{x \in \mathcal{X}} P(x) \log \frac{P(x)}{Q(x)}
$

で定義される (北 1999). Sibun らの手法は, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ をの記述言語として識別する手法である。ただし， $P_{d}(\boldsymbol{a})$ は文書 $d$ における文字列 $\boldsymbol{a}$ の生起確率， $P_{L_{i}}(\boldsymbol{a})$ は言語クラス $L_{i}$ における文字列 $\boldsymbol{a}$ の生起確率である. $P_{d}(\boldsymbol{a})$ は

$
P_{d}(\boldsymbol{a})=\gamma \cdot f_{d}(\boldsymbol{a}) \quad \text { ただし, } \gamma=\frac{1}{\sum_{\boldsymbol{a} \in A^{n}} f_{d}(\boldsymbol{a})}
$

と推定されるので $\left(f_{d}(\boldsymbol{a})\right.$ は $d$ での文字列 $\boldsymbol{a}$ の出現頻度, $A$ は記号の全体集合, $A^{n}$ は可能な $n$ 長さの文字列の全体の集合)，言語 $L_{i}$ における文書 $d$ の生起確率 $P_{L_{i}}(d)$ を

$
P_{L_{i}}(d)=\prod_{\boldsymbol{a} \in A^{n}} P_{L_{i}}(\boldsymbol{a})^{f_{d}(\boldsymbol{a})}
$

と大胆に近似するならば,

$
D_{K L}\left(P_{d} \| P_{L_{i}}\right)=\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log \frac{P_{d}(\boldsymbol{a})}{P_{L_{i}}(\boldsymbol{a})}=-\gamma \cdot \log P_{L_{i}}(d)+\sum_{\boldsymbol{a} \in A^{n}} P_{d}(\boldsymbol{a}) \log P_{d}(\boldsymbol{a})
$

となる.つまり, $D_{K L}\left(P_{d} \| P_{L_{i}}\right)$ が最小の $L_{i}$ を $d$ 記述言語として識別する Sibun らの手法は,式 (4)の近似を行った上で, 言語の事前確率を等確率と仮定して, ベイズ識別により, $d$ の属す言語の識別を行うことと等価である。なお, Sibun らもゼロ頻度問題に対処するために, $P_{L_{i}}(\boldsymbol{a})$ は

$
P_{L_{i}}(\boldsymbol{a})=\frac{f_{L_{i}}(\boldsymbol{a})+\delta}{\sum_{\boldsymbol{a} \in A^{n}}\left.\{f_{L_{i}}(\boldsymbol{a})+\delta\right.\}}
$

のように，加算スムージングによりスムージングしている（ $\delta$ は非負の定数 $).$

次に，本論文で扱う文書の母語話者性判別に関する従来研究について述べる.

Tomokiyo らは, 長さ $n(n=1,2,3)$ の記号列（記号としては, 単語, 品詞, および単語品詞混合の 3 種を試している）を言語および文書の特徴と考え, 文書（あるいは, 文書を構成する単語をその品詞に置き換えたもの, 文書を構成する一部の単語を品詞に置き換えたもの）の生起確率を式 (4)で近似し, ベイズ識別に基づく母語話者／非母語話者クラスの判別を行っている (Tomokiyo and Jones 2001). しかし, 彼らは, 子供用ニュース記事の音読による発話や観光などに関する自発的発話を, 音声認識器によりテキストにした文書, および, 人手で書き起こした文書を対象としている。音読では読み間違いが非母語話者の大きな特徴であり, 自発的発話では, 使用語彙が母語話者／非母語話者の間の大きな違いである。一方, 我々は, 論文などのように十分推敲して作成されているフォーマルな文書を対象としており，母語話者／非母語話者判別に有効な特徴量も異なってくるため, 彼らの判別実験結果と直接比較することはできない.

藤井らは, 品詞 tri-gram モデルを言語モデルとし, ゼロ頻度問題に対処できる Skew Divergence を用いて英文書の母語話者性の判別を行っている (藤井, 冨浦, 田中 2005). 以下で定義される判別対象文書 $d$ と言語クラス $C(\in\{N, N N\}, N$ : 母語話者言語クラス, $N N$ : 非母語話者言語クラス) との相違度 $E D(d ; C)$

$
E D(d ; C)=\sum_{\langle a b\rangle \in H^{2}} f_{d}(a b) D\left(P_{d}^{\langle a b\rangle} \| P_{C}^{\langle a b\rangle}\right)
$

を求め, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ を $d$ が属すクラスとして推定する. ただし， $H$

は品詞の全体集合, $P_{d}^{\langle a b\rangle}$ は文書 $d$ における条件を $a b$ とする品詞 tri-gram 分布, $P_{C}^{\langle a b\rangle}$ はクラス $C$ における条件を $a b$ とする品詞 tri-gram 分布 ${ }^{1}, D$ は確率分布間の相違度である. 確率分布間の相違度 $D$ として KL Divergence を用いた場合, $E D(d ; C)$ を最小にする $C(\in\{N, N N\})$ は, 文書 $d$ の各単語をその品詞で置き換えた品詞列の生起確率を最大にする言語クラスである. したがって藤井らの手法は, 品詞 tri-gram モデルを言語モデルとし, 言語の事前確率を等確率と仮定して, Bayes 識別に基づいて $d$ が属すクラスを判定する方法と本質的には同じである.藤井らの手法の特徴は, 分布間の相違度 $D$ として KL Divergence を用いるのではなく, 以下で定義される Skew Divergence (Lee 1999) を用いている点にある.

$
D_{\text {skew }}(p \| q)=\sum_{x \in \mathcal{X}} p(x) \log \frac{p(x)}{\alpha \cdot q(x)+(1-\alpha) \cdot p(x)}
$

Skew Divergence はゼロ頻度問題に弱い KL Divergence を改良したものである。藤井らは， $\alpha$ を, 分布 $q\left(\right.$ つまり, $\left.P_{N}^{\langle a b\rangle}, P_{N N}^{\langle a b\rangle}\right)$ の推定に用いた学習データのサイズに応じて, $a b$ 毎に

$
\alpha(a b)=1-\exp \left(-\sqrt{\beta \cdot \min \left(f_{N}(a b), f_{N N}(a b)\right)}\right)
$

と設定している，彼らは， Skew Divergence を用いることで, 線形補間を施した品詞 tri-gram 分布による KL Divergence を用いた手法および多くの識別問題で高い精度を実現している Support Vector Machine を用いた手法よりも有意に高い判別精度を実現できたと報告している。

英文書の母語話者性判別は, 母語話者英語, 非母語話者英語という類似した言語の識別問題と捉えることもできる，青木らは，文書を，それを構成する単語を品詞で置き換えた品詞列と見なし，基本的には KL-Divergence を用いた Sibun らの言語識別手法に基づいて，文書の母語話者性の判別を行っている (青木, 冨浦, 行野, 谷川 2005).「長い文字列も言語特徴とすることで類似言語の識別精度が向上する」という行野らの知見からの予想通り, 長い品詞列の頻度情報を利用した場合の判別精度が高く $(n=6$ のときが最も精度が高い $)$, 藤井らの手法より高精度で母語話者性を判別できたと報告している。

著者らは, 青木らの主張と同じく, 長い品詞列の頻度情報も利用することが文書の母語話者性判別に有効であると考えている。藤井らの手法は言語モデルを $n>3$ の品詞 $n$-gram モデルとしてもそのまま適用できる。しかし, 藤井らは, 式 $(6)$ を
- $\alpha$ は $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ の単調増加関数,
- $\lim _{f \rightarrow \infty} \alpha=1, \lim _{f \rightarrow 0} \alpha=0$
^{\langle a b\rangle}(x)$ は文書 $d$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{d}(x \mid a b), P_{C}^{\langle a b\rangle}(x)$ は言語クラス $C$ において, 品詞列 $a b$ の次に品詞 $x$ が生起する確率 $P_{C}(x \mid a b)$ である.
}

を満たす $\alpha$ の設定法の一例として用いたに過ぎず， $n$ を大きくした場合に，式 (6) で良いのかどうかは疑問である。 さらに， $n$ を大きくしたとき, 式 (6)では高い精度が得られない場合に,式 (6) に代えて，上記の性質を満たす $f=\min \left(f_{N}(a b), f_{N N}(a b)\right)$ のどのような関数を $\alpha$ の設定に用いればよいのかも明らかではない. 一方, 青木らの手法は, 統計的パターン認識の立場で見るならば, 近似式 (4)を仮定したべイズ識別による判別法である. しかし, 品詞 $n$-gram モデルに比べ，式 (4)は，近似としては非常に粗い.

$n$ が大きな品詞 $n$-gram モデルを言語モデルとして使用し, かつ, ゼロ頻度問題およびスパー スネスの問題を克服する新たな母語話者性判別手法を次節で述べる.

## 4 提案手法

本論文で提案する母語話者性判別手法は, 長い品詞列の頻度情報を利用することで, より高精度で判別を行うことをねらったもので, 長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐために仮説検定を利用しているのが大きな特徴である.

藤井らおよび青木らの研究と同じく, 文書をそれを構成する単語を品詞で置き換えた品詞列とみなす. 品詞 $n$-gram モデルを言語モデルとし, 文書内の各文が独立に生起すると仮定すると, 品詞列に変換した文書 $d$ のクラス $C$ での生起確率 $P_{C}(d)$ は,

$
P_{C}(d)=\prod_{\boldsymbol{a} \in d} \prod_{i=1}^{\ell(\boldsymbol{a})+1} P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
$

と表せる．ただし， $\ell(\boldsymbol{a})$ は文（品詞列） $\boldsymbol{a}$ の長さであり， $a_{i}$ は $\boldsymbol{a}$ の $i$ 番目の品詞である。また, $j \leq 0$ のとき $a_{j}=@_{s}$ であり， $a_{\ell(\boldsymbol{a})+1}=@_{e}$ である（2 節参照）. Bayes 識別に基づく文書 $d$ の母語話者性判別では，母語話者文書と非母語話者文書の事前確率を 0.5 とすると ${ }^{2}$,

$
\begin{array}{ll}
\frac{P_{N}(d)}{P_{N N}(d)}>1 & \Longrightarrow \text { 母語話者文書クラス }(N) \\
\frac{P_{N}(d)}{P_{N N}(d)}<1 & \Longrightarrow \text { 非母語話者文書クラス }(N N) \\
\text { その他 } & \Longrightarrow \text { 未定 }
\end{array}
$

と判別することになる.

生起確率の比の対数を取り, 文書（品詞列）の生起確率を式 (7)を用いて展開すると,

$
\log \frac{P_{N}(d)}{P_{N N}(d)}=\sum_{\boldsymbol{a} \in d} \sum_{i=1}^{\ell(\boldsymbol{a})+1} \log \frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

となる. 上式が正ならば $d$ は母語話者文書，負ならば $d$ は非母語話者文書と判別することになる。

より大きな $n$ における品詞 $n$-gram モデルは, 母語話者英語と非母語話者英語における品詞列の生起確率の相違をより良く取り扱うことができると予想される。しかし，現実的なサイズの学習データから最尤推定により求めた品詞 $n$-gram 確率による

$
\frac{P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)}
$

では, この値が 1 から大きくずれる場合に，これが両言語の大きな相違を示しているのか，統計的な摇らぎに起因するものかが分からない（ゼロ頻度問題，スパースネスの問題）。そこで,式 (9) を仮説検定に基づいた以下に述べる 2 種類の手法により控えめに（最尤推定値を用いた場合の比より 1 に近い值として）推定し，これを用いて式 (8) の計算を行い母語話者性の判別を行う。

## 4.1 手法 1

手法 1 では, 式 (9) の値を以下のようにして推定する. ただし, $\widehat{P}_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ を $P_{C}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の最尤推定值とする.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $\mu$ と推定し, $\mu \leq 1$ （つまり， $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に大きいと言えない) ならば 1 と推定する. $f_{C}(\boldsymbol{a})$ を言語クラス $C(\in\{N, N N\})$ のモデルの学習データにおける品詞列 $\boldsymbol{a}$ の出現頻度とすると，上記の $\mu$ は，

$
\begin{aligned}
x & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), & & y=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1} a_{i}\right), \\
m & =f_{N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right), & & n=f_{N N}\left(a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)
\end{aligned}
$

として，付録 B の $\widehat{\mu}(x, m, y, n)$ で求めることができる.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説 : } & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & \mu \cdot P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $n$-gram 確率の比 $(9)$ を $1 / \mu$ と推定し, $\mu \leq 1$ (つまり, $P_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ が $P_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ より有意に小さいと言えない) ならば 1 と推定する。このような $\mu$ は, $x, m, y, n$ を前述 (A)のように定めると, $\widehat{\mu}(y, n, x, m)$ として求めることができる.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-n+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $n$-gram 確率の比 (9) を 1 と推定する.

つまり，頻度情報の統計的摇らぎを考慮し， $1-\alpha$ の信頼度で， $n$-gram 確率の比 $(9)$ を控えめに（最尤推定値を用いた場合の比より 1 に近い値として）推定する。一方の $n$-gram 確率が他方より有意に大きいと言えない場合, 両 $n$-gram 確率に大きな違いはないということで, この $n$-gram 確率の比を 1 と推定し，母語話者性判別に影響しないようにする.

表 1 に $n$-gram 確率の比の推定例を示す（有意水準 $\alpha=0.05 ）$. 例 (a) は頻度が小さいため有意水準 0.05 で一方の $n$-gram 確率が他方の $n$-gram 確率より大きいと判断できない場合で, 比を 1 と推定している。例 (b)〜 (e) は最尤推定値を用いた場合より 1 に近い値を推定している （つまり，スパースネスの問題に対処できている），例 $(\mathrm{f})(\mathrm{g})$ は，最尤推定值を用いると $n$-gram 確率の比がそれぞれ $\infty, 0$ となってしまう場合であるが，有意水準 0.05 での推定では 0 より大きな有限の値となっており，母語話者性の判別に決定的な影響を与えることを避けている（つまり，ゼロ頻度問題にも対処できている)。

表 $1 n$-gram 確率の比の推定例

 &  \\

(b) & 10 & 20 & 10 & 50 & 2.5 & 1.342 \\
$($ c) & 100 & 200 & 10 & 50 & 2.5 & 1.596 \\
$(\mathrm{~d})$ & 100 & 200 & 100 & 500 & 2.5 & 2.069 \\
$(\mathrm{e})$ & 10 & 50 & 10 & 20 & 0.4 & 0.745 \\
$(\mathrm{f})$ & 10 & 100 & 0 & 100 & $\infty$ & 4.897 \\
$(\mathrm{~g})$ & 0 & 100 & 10 & 100 & 0.0 & 0.204 \\

## 4.2 手法 2

手法 2 は, 手法 1 を拡張し, $n$-gram 確率の比 (9) の推定において, 有意水準 $\alpha$ では両言語モデルにおける $n$-gram 確率の一方が他方より有意に大きいと判断できない場合に, $3 \leq k<n$ の $k$-gram 確率の比の推定値を用いるものである ${ }^{3}$.

(1) $k \longleftarrow n$

(2) 以下の 3 つの場合に応じて,

$
\frac{P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}{P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)}
$

を推定する.

(A) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\begin{cases}\text { 帰無仮説： } & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \leq \mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\ \text { 対立仮説 }: & P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)>\mu \cdot P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)\end{cases}
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め, $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $\mu$ と推定し， $\mu \leq 1$ ならば 1 と推定する.

(B) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合

$
\left.\{\begin{array}{l}
\text { 帰無仮説 : } \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \geq P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right) \\
\text { 対立仮説 }: \quad \mu \cdot P_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)<P_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)
\end{array}\right.
$

なる有意水準 $\alpha$ の検定において，帰無仮説を棄却できる最大の $\mu$ を求め， $\mu>1$ ならば $k$-gram 確率の比 $(10)$ を $1 / \mu$ と推定し, $\mu \leq 1$ ならば 1 と推定する.

(C) $\widehat{P}_{N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)=\widehat{P}_{N N}\left(a_{i} \mid a_{i-k+1} \cdots a_{i-2} a_{i-1}\right)$ の場合 $k$-gram 確率の比 (10) を 1 と推定する.

(3) 推定した $k$-gram 確率の比 (10) が 1 で，かつ， $k>3$ ならば， $k \longleftarrow k-1$ として (2)へ. そうでないならば, この推定値を式 (9) の推定值とする.

## 5 実験

2 つの提案手法, つまり,
- 式 (9)の値の推定を手法 1 で行う判別手法 (Hypo1),

$\cdot$ 式 (9)の值の推定を手法 2 で行う判別手法 (Hypo2)
^{3} 2 \leq k<n$ も実験では試してみたが， $3 \leq k<n$ の場合より, 若干精度が低下した. これは, bi-gram モデルでは母語話者/非母語話者文書の相違を扱うにはモデルが単純過ぎることを意味している.
}

を用いた母語話者性判別実験を行った。また，

・ 藤井らの手法で使用する言語モデルを $n$-gram に拡張した手法 (Skew),
- 青木らの手法 (KL)

による母語話者性判別を行い, 提案手法との比較を行った.

実験データは以下の 2 種類を用意した。

## ・データ 1

電気情報関係の国際会議で発表された英語科学技術論文. 内訳は,
- 英語圈（米国，英国，カナダ，オーストラリア）で開催された採択率 $50 \%$ 未満の国際会議の論文で, 第一著者が英語圈所属の非日本人名である論文 602 件,
- 東/東南アジアで開催された採択率 $50 \%$ 以上の国際会議の論文で, 第一著者が日本所属の日本人名の論文 679 件

である。擬似的に，前者を母語話者文書集合，後者を非母語話者文書集合とした。なお,母語話者文書集合／非母語話者文書集合における品詞列の出現頻度情報の信頼度がほぼ同一となるように, 両文書集合中の延べ単語数（下記の前処理後の単語数）がほぼ同数になるように文書数を設定した。

## ・データ 2

電気情報関係の国際会議で発表された英語科学技術論文で，校正専門家（母語話者）が母語話者性を判定したもの 60 件 (母語話者文書 25 件, 非母語話者文書 35 件).これは, (青木他 2005) で使用されている評価用論文と同一のものである.

なお, 論文の収集に際しては，両文書集合に母語話者／非母語話者以外の特徵の差が現れないように注意を払った. すなわち, 複数の研究分野から論文を収集し, 図表や数式, ヘッダやフッ夕などの情報を削除するという前処理を行った。単語列から品詞列への変換には Tree Tagger4を用いた．変換後の品詞異なり数は 57 であった（文頭, 文末の特殊記号 $\varrho_{s}, @_{e}$ を除く).

データ 1 に付与された母語話者性 $(N / N N$ の別) はかなり精度は高いものの, 勿論誤りを含む. そこで，参考としてデータ 2 をテストデータ（判別対象文書）とした実験（評価実験 2）も行った. データ数が少ないため, 各手法に対して有意な差は期待できないが, データ 1 での結果と同様の傾向が見られるかどうかを調べた.

各手法の評価は, 以下の 2 つの精度

$
\begin{gathered}
\operatorname{Prec}(N)=\frac{\text { 母語話者文書で母語話者文書と判別された文書数 }}{\text { 母語話者文書と判別された文書数 }} \operatorname{Prec}(N N)=\frac{\text { 非母語話者文書で非母語話者文書と判別された文書数 }}{\text { 非母語話者文書と判別された文書数 }}
\end{gathered}
$
^{4}$ http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/DecisonTreeTagger.html
}

のうち值の低い方（これを MinPrec と表記する）を用いて評価する. これは, 本手法の目的が,母語話者文書および非母語話者文書をともに高精度で収集することにあるからである。

## 5.1 評価実験 1

以下のようにして, 各手法の精度をデータ 1 を用いて 10 交差検定 (10-fold cross validation)(北 1999) で求める.

（1）データ 1 の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $t=1,2, \cdots, 10$ に対して，以下を行う.

(a) 各 $i=1,2, \cdots, 10(\neq t)$ に対して, $B_{t}^{N}, B_{i}^{N}$ を除く 8 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}, B_{i}^{N N}$ を除く 8 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの値を求める.

(b) 上記で求めたメタパラメタの値（9 個）の平均値をメタパラメタの値として設定し， $B_{t}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{t}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして， $\left(B_{t}^{N}, B_{t}^{N N}\right)$ の各文書の母語話者性を判別する.

（3）上記 (b) で求めた母語話者性判別結果より，精度を求める.

なお，各手法におけるメタパラメ夕は，手法 Hypo1 と Hypo2 では有意水準 $\alpha$, 手法 Skew では式 (6)の $\beta$, 手法 $\mathrm{KL}$ では式 (5)の加算項 $\delta$ である. 上記 (2)の (a) での各 $\left(B_{i}^{N}, B_{i}^{N N}\right)$ に対する MinPrec が最大となるメタパラメタの値は,

$
\begin{aligned}
& \alpha \in\{0.01,0.03,0.05,0.07,0.09,0.11\} \quad(\text { Hypo 1, 2) } \\
& \beta \in\{0.01,0.02, \cdots, 0.15\} \quad \text { (Skew) } \\
& \delta \in\left.\{1 \times 10^{-7}, 3 \times 10^{-7}, 5 \times 10^{-7}, 1 \times 10^{-6}, 3 \times 10^{-6}, \cdots, 5 \times 10^{-4}\right.\}
\end{aligned}
$

の範囲で求めた.

## 5.2 評価実験 2

以下のようにして，データ 1 を学習データ，データ 2 をテストデータとした場合の各手法の精度を求める。

（1）データ1の母語話者文書集合を $B_{1}^{N}, B_{2}^{N}, \cdots, B_{10}^{N}$ と 10 ブロックに分割する. 同様にデー 夕 1 の非母語話者文書集合を $B_{1}^{N N}, B_{2}^{N N}, \cdots, B_{10}^{N N}$ と 10 ブロックに分割する.

(2) 各 $i=1,2, \cdots, 10$ に対して, $B_{i}^{N}$ を除く 9 ブロックの母語話者文書を母語話者言語モデルの学習データ， $B_{i}^{N N}$ を除く 9 ブロックの非母語話者文書を非母語話者言語モデルの学習データとして, $\left(B_{i}^{N}, B_{i}^{N N}\right)$ の各文書の母語話者性を判別し, MinPrec が最大となるメタパラメタの值を求める.

（3）上記で求めたメタパラメタの値（10個）の平均値をメタパラメ夕の値として設定し, デー 夕 1 の全母語話者文書を母語話者言語モデルの学習データ，データ 1 の全非母語話者文書を非母語話者言語モデルの学習データとして, データ 2 の各文書の母語話者性を判別し, 精度を求める。

上記 (2) での MinPrec が最大となるメタパラメタ値は前節と同様の範囲で求めた.

## 5.3 結果と考察

$n=3,4,5,6,7,8$ なる品詞 $n$-gram を言語モデルとした場合の 2 つ評価実験の結果を表 2 に示す. 表には, MinPrec だけでなく, 参考のため, $\operatorname{Prec}(\mathrm{N}), \operatorname{Prec}(\mathrm{NN})$ も挙げている.また,『未定』の判定になった数を挙げている. 手法 Skew のみ未定があるが, これは, 条件部の品詞列の学習データにおける頻度が高い品詞 $n$-gram 分布が存在し, 用いた計算機の精度では式 (6) の值が 1 となり, その結果 $E D(d ; N)$ も $E D(d ; N N)$ もとなってしまったことによる.評価実験 1 では, 各手法とも， $n>3$ で MinPrec が最も高い. 手法 Skew は， $\alpha$ の設定式 (6) が最適とは限らないことを述べたが, それでも， $n=5$ の場合は $n=3$ の場合より精度が $1 \%$ 向上しており, このことからも, 条件部の長い品詞 $n$-gram モデルを言語モデルとすることの有効性が分かる。

提案手法では, Hypo2 の $n=7$ の場合の $\operatorname{MinPrec}$ が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=$ $552 / 597 \simeq 0.925$ である. 一方, 従来手法では, Skew の $n=5$ の場合の MinPrec が最も高く, $\operatorname{MinPrec}=\operatorname{Prec}(N)=546 / 606 \simeq 0.901$ である. 2 つの二項母集団の母比率の差の検定 (竹村 1991）を行うと, 有意水準約 $8 \%$ で有意差があることが示せ, AIC に基づく2つの二項母集団の母比率の差の検定 (鈴木 1995) でも有意差が示せる.

2 つの提案手法 Hypo1 と Hypo2 の比較では, 同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い. 特に， $n=6,7,8$ ではその差は大きく, $n$-gram 確率に関して, 母語話者 $/$ 非母語話者文書間で有意な差がない場合に， $k<n$ なる $k$-gram 確率を利用して式 (9) を推定する効果が現れていることが分かる.

評価実験 2 でも, 各手法とも $n>3$ で MinPrec が最も高く, そのうち, Hypo2 の MinPrec が最も高い. また, Hypo1 と Hypo2における同一の $n$ に対する MinPrec は Hypo2 の方が概ね高い，評価実験 2 では使用したテスト文書数が少ないため，信頼性のある結果とは言えないが, このように評価実験 1 とある程度同様の傾向が現れていることが分かる.
表 2 評価実験 1，2 の結果

 &  &  &  &  &  &  \\

## 6 おわりに

英文書を品詞列と見なし, 品詞 $n$-gram モデルを統計的言語モデルとしたべイズ識別に基づく母語話者性判別手法を提案した，提案した手法は，長い品詞列の頻度情報を利用し，仮説検定を利用して，長い品詞列の頻度情報を使うことによる信頼性の低下を防ぐもので，従来手法からの判別精度の改善が確認できた。

現在, Web 上から科学技術論文を収集し, 提案した母語話者性判別システムを用いて母語話者／非母語話者英語論文コーパスを構築することを検討している.

## 謝 辞

本研究の一部は, 科学研究費補助金・基盤研究 B（課題番号 20320082）により行われた.

## 参考文献

Cavnar, W. B. and Trenkle, J. M. (1994). "N-Gram-Based Text Categorization." In Proceedings of SDAIR-94, 3rd Annual Symposium on Document Analysis and Information Retrieval, pp. 161-175 Las Vegas, US.

Dunning, T. (1994). "Statistical Identification of Language." Techical report MCCS-94-273, Computing Research Lab (CRL), New Mexico State University.

Lee, L. (1999). "Measures of Distributional Similarity." In 37th Annual Meeting of the Association for Computational Linguistics, pp. 25-32.

Sibun, P. and Reynar, J. C. (1996). "Language Identification: Examining the Issues." In 5th Symposium on Document Analysis and Information Retrieval, pp. 125-135 Las Vegas, Nevada, U.S.A.

Tomokiyo, L. M. and Jones, R. (2001). "You're Not From Round Here, Are You? Naive Bayes Detection of Non-native Utterance Text." In Proceedings of the 2nd Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL-01), pp. 239-5246.青木さやか, 冨浦洋一, 行野顕正, 谷川龍司 (2005). “言語識別技術を応用した英語における母語話者文書・非母語話者文書の判別.”情報科学技術レターズ, 第 5 巻, pp. 85-88.

野田一雄, 宮岡悦良 (1992). 数理統計学の基礎. 共立出版.

麻生英樹, 津田宏治, 村田昇 (2003). 統計科学のフロンティア 6 パターン認識と学習の統計学.岩波書店.

鈴木義一郎 (1995). 情報量規準による統計解析入門. 講談社.

北研二 (1999). 言語と計算 4 確率的言語モデル. 東京大学出版会.

行野顕正, 田中省作, 冨浦洋一，松本英樹 (2006). “低頻度 byte 列を活用した言語識別.”情報処理学会論文誌, 47 (4), pp. 1287-1294.

藤井宏, 冨浦洋一, 田中省作 (2005). “Skew Divergence に基づく文書の母語話者性の推定." 自

然言語処理, 12 (4), pp. 79-96.

大鹿広憲, 佐藤学, 安藤進, 山名早人 (2005). “Google を活用した英作文支援システムの構築."

In Data Engineering Workshop, pp. 4B-i8.

竹村彰通 (1991). 現代数理統計学. 創文社.

大武博, 河本健, 竹腰正隆, 国村正子, Brian Morren, 竹内浩昭, 鵜川義弘, 藤田信之, 金子
周司 (2004). “インターネット利用による電子英文情報の即時教材化システムの開発とその教育利用.”情報処理学会研究会報告, FI, No.77, pp. 23-32.

佐野洋, 猪野真理枝 (2000). “英語文法の難易度計測と自動分析.”情報処理学会研究会報告, CE, No.58, pp. 5-12.

前田亮，関慶妍，吉川正俊，植村俊亮 (2001). “Web 文書の符号系および使用言語の自動識別."

電子情報通信学会論文誌, J84-D-II (1), pp. 150-158.

## 付録

## A 2 つの二項母集団の母比率の比の検定

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし $(\Theta$ はパラメ夕空間 $), \Theta_{0}$ と $\Theta_{1}$ を $\Theta_{0} \cap \Theta_{1}=\emptyset$, $\Theta_{0} \cup \Theta_{1}=\Theta$ なる $\Theta$ の部分集合とする. $\theta \in \Theta_{0}$ は帰無仮説, $\theta \in \Theta_{1}$ は対立仮説と呼ばれる.標本 $\boldsymbol{X}$ の值（観測値） $\boldsymbol{x}$ を基に $\theta \in \Theta_{0}$ か $\theta \in \Theta_{1}$ かを決定することを統計的仮説検定という（詳しくは，たとえば，文献 (野田，宮岡 1992）を参照)，標本 $\boldsymbol{X}$ の統計量 $T(\boldsymbol{X})$ を用いて $T(\boldsymbol{x}) \geq t$ のとき帰無仮説を棄却する検定を考える．与えられた $\Theta_{0}$ と $\alpha$ に依存させて $t$ を

$
\forall \theta \in \Theta_{0} P(T(\boldsymbol{X}) \geq t ; \theta) \leq \alpha
$

を満たすように設定すると, この検定は, 有意水準 $\alpha$ の検定（帰無仮説が正しいにもかかわらず帰無仮説を棄却してしまう確率が $\alpha$ 以下である検定）となる.

確率変数 $X$ が二項分布 $B(m, p)^{5}$ に従い, 確率変数 $Y$ が二項分布 $B(n, q)$ に従うとし, $x / m>y / n$ である場合に， $(X, Y)$ の観測値 $(x, y)$ を基に $p / q>\mu$ であるか否かの判定を行いたい.このような判定を行う検定は, 著者の知る限りでは, 確率・統計のテキストなどでは解説されていない．望ましい性質を持つことで知られる尤度比検定を行うことも考えられるが， $m$, $n$ が大きくなった場合, 棄却判定の計算に時間を要する. したがって, 尤度比検定を用いた場合，現実的な時間内で一つの文書の母語話者性の判別ができないことがある.

そこで，本研究では，このような判定を高速に行う近似的な検定手法を新たに考案し，これを母語話者性の判別に利用する。一様最強力検定や第 2 種の誤り（帰無仮説が正しくないにもかかわらず帰無仮説を採択してしまう）確率が本手法より小さな検定で高速なものが求まるならば，これらの検定を利用することで母語話者性の判別の精度はより向上すると考えられる.
^{5} X$ の確率関数 $f_{X}(x)$ が以下で与えられる分布である.

$
f_{X}(x)= \begin{cases}{ }_{m} C_{x} p^{x}(1-p)^{m-x} & ; x=0,1,2, \cdots, m, \\ 0 & ; \text { その他 }\end{cases}
$
}
帰無仮説と対立仮説を以下のように設定した検定を考える。

$
\begin{aligned}
& \text { 帰無仮説 : }(p, q) \in \Theta_{0}=\{(p, q) \mid p \leq \mu q, 0 \leq p \leq 1,0 \leq q \leq 1\} \\
& \text { 対立仮説 : }(p, q) \in \Theta_{1}=\{(p, q) \mid p>\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}
\end{aligned}
$

本論文では母比率の比の検定と呼ぶ，本質的には， $p \leq \mu q$ であるか否かであるが，ここでは上記のように正確に両仮説を記述しておく．帰無仮説が棄却されるならば， $p / q>\mu$ と判定したことになる。対立仮説が正しい場合に，その観測值が大きな値となる傾向を持つ統計量 $T^{\dagger}(X, Y)$

$
T^{\dagger}(X, Y)=\frac{X / m}{(Y+1) /(n+1)}
$

を用いて， $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却することにする. 分母の ‘ +1 ’ は $Y$ の観測値が 0 の場合でも $T^{\dagger}$ が定義できるように導入したものである. 式 (11)より, $t^{\dagger}(\mu)$ は

$
\forall(p, q) \in \Theta_{0} \quad P\left(T^{\dagger}(X, Y) \geq t^{\dagger}(\mu) ; p, q\right) \leq \alpha
$

を満たすように， $\mu$ と有意水準 $\alpha$ に応じて設定される。

本手法では, $t^{\dagger}(\mu)$ を求めて帰無仮説の棄却判定を行う代わりに, 観測値 $(x, y)$ の $p$-値を用いて棄却判定を行う。 $(x, y)$ の $p$-値とは, $(x, y)$ を基に帰無仮説を棄却できる最小の有意水準のことである。明らかに, $P\left(T^{\dagger}(X, Y) \geq t ; p, q\right)$ は $t$ の減少関数であり, $T^{\dagger}(x, y) \geq t^{\dagger}(\mu)$ のとき帰無仮説を棄却するのであるから， $(x, y)$ の $p$-值は以下で与えられ，

$
\max _{(p, q) \in \Theta_{0}} P\left(T^{\dagger}(X, Y) \geq T^{\dagger}(x, y) ; p, q\right)
$

この值が $\alpha$ 以下である場合に，有意水準 $\alpha$ で帰無仮説を棄却することになる.ここで新たに

$
T(X, Y)=\frac{X}{Y+1}
$

と定義すると，式 (13) は，以下と等しい.

$
\max _{(p, q) \in \Theta_{0}} P(T(X, Y) \geq T(x, y) ; p, q) .
$

$Y$ が $B(n, q)$ に従うとき, $0 \leq y_{0}<n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)$ は $q$ の単調減少関数であり， $y_{0}<0$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=0$ であり, $y_{0} \geq n$ なる任意の $y_{0}$ に対して $P\left(Y \leq y_{0} ; q\right)=1$ である. この性質と, $0<x, y<n(\because$ 前提 $x / m>y / n)$, および,

$
P(T(X, Y) \geq T(x, y) ; p, q)=\sum_{x^{\prime}=0}^{m}{ }_{m} C_{x^{\prime}} p^{x^{\prime}}(1-p)^{m-x^{\prime}} \cdot P\left(\frac{x^{\prime}}{Y+1} \geq T(x, y) ; q\right)
$

と表すことができることから, $(x, y)$ の $p$-值である式 $(14)$ は,

$
\max _{(p, q) \in \Theta_{0}^{\prime}} P(T(X, Y) \geq T(x, y) ; p, q)
$

と等しい. ただし， $\Theta_{0}^{\prime}=\{(p, q) \mid p=\mu q, 0 \leq p \leq 1,0 \leq q \leq 1\}$ である.

観測値 $(x, y)$ に基づいた, $(p, q) \in \Theta_{0}^{\prime}$ の下での $p, q$ の最尤推定值（つまり， $(x, y)$ の生起確率を最大にする $p, q$ の値) を $p^{*}(\mu), q^{*}(\mu)$ で表すと,

$
\begin{aligned}
p^{*}(\mu) & =\mu \cdot q^{*}(\mu) \\
q^{*}(\mu) & =\frac{x+\mu y+\mu m+n-\sqrt{(x+\mu y+\mu m+n)^{2}-4(x+y)(m+n) \mu}}{2(m+n) \mu}
\end{aligned}
$

である。本手法では，検定に要する時間を考慮し，式 $(15)$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似し,

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha
$

ならば帰無仮説を棄却する。

二項分布 $B(m, p)$ に従う確率変数の分布関数は, $m p>5$ かつ $m(1-p)>5$ の場合, 正規分布で近似できる。そこで, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right) \leq \alpha$ の判定に必要な $P(T(X, Y) \geq t ; p, q)$ の計算は， $X, Y$ の分布を正規分布で近似できるか否かにより，4つの場合に分けて行った， $X$, $Y$ 共に正規分布で近似できる場合と，Xのみ正規分布で近似できる場合の計算をそれぞれ以下の(1)(2)に示す。以下に示すとおり，正規分布の性質を利用して高速な計算が可能である.

(1) $5<m p<m-5$ かつ $5<n q<n-5$ の場合

$
P(T(X, Y) \geq t ; p, q)=P(X-t Y \geq t ; p, q)
$

である．X の分布は正規分布 $N(m p, m p(1-p))$ で近似でき $6, Y$ の分布は $N(n q, n q(1-q))$ で近似できるので，正規分布の性質より，

$
P(T(X, Y) \geq t ; p, q)=P\left(Z \geq \frac{t-m p+t n q}{\sqrt{m p(1-p)+t^{2} n q(1-q)}}\right)
$

である．ただし， $Z$ は標準正規分布に従う確率変数である.

(2) $5<m p<m-5$ かつ $[n q \leq 5$ または $n-5 \leq n q]$ の場合

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n} P\left(Y=y^{\prime} ; q\right) \cdot P\left(X \geq t\left(y^{\prime}+1\right) ; p\right)
$
$ の正規分布を $N\left(\xi, \sigma^{2}\right)$ で表す.
}

である. $X$ の分布は正規分布 $N(m p, m p(1-p))$ で近似できるので,

$
P(T(X, Y) \geq t ; p, q)=\sum_{y^{\prime}=0}^{n}{ }_{n} C_{y^{\prime}} q^{y^{\prime}}(1-q)^{n-y^{\prime}} \cdot P\left(Z \geq \frac{t\left(y^{\prime}+1\right)-m p}{\sqrt{m p(1-p)}}\right)
$

である。ただし， $Z$ は標準正規分布に従う確率変数である.

## B 仮説検定を利用した母比率の比の推定

$X$ を二項分布 $B(m, p)$ に従う確率変数, $x$ をその観測値, $Y$ を二項分布 $B(n, q)$ に従う確率変数, $y$ をその観測值とする（勿論， $p, q$ は未知である）. $x / m>y / n$ を前提として, 前節の仮説検定で，帰無仮説を棄却できる最大の $\mu$ ，つまり，

$
P\left(T(X, Y) \geq T(x, y) ; p^{*}(\widehat{\mu}(x, m, y, n)), q^{*}(\widehat{\mu}(x, m, y, n))\right)=\alpha
$

なる $\widehat{\mu}(x, m, y, n)$ を以下のようにして求める.

$
p v(\mu ; x, y)=P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)
$

とおき, $p v(\mu ; x, y)$ が $\mu$ の増加関数になっていることを利用して 7,2 分法により求める.

(1) $\mu_{L}=1$ とし, $p v\left(\mu_{L} ; x, y\right)<\alpha$ となるまで, $\mu_{L} \leftarrow \mu_{L} / 2$ を繰り返す.

$
\mu_{R}=1 \text { とし, } p v\left(\mu_{R} ; x, y\right)>\alpha \text { となるまで, } \mu_{R} \leftarrow 2 \cdot \mu_{R} \text { を繰り返す. }
$

(2) $\mu_{R}-\mu_{L}$ が十分小さくなるか, $p v\left(\left(\mu_{L}+\mu_{R}\right) / 2 ; x, y\right)=\alpha$ となるまで以下を繰り返す.

$-\mu_{C} \leftarrow\left(\mu_{L}+\mu_{R}\right) / 2$
- $\left.\{p v\left(\mu_{L} ; x, y\right)-\alpha\right.\}$ と $\left.\{p v\left(\mu_{C} ; x, y\right)-\alpha\right.\}$ が同符号ならば, $\mu_{L} \leftarrow \mu_{C}$ とし, そうでないならば, $\mu_{R} \leftarrow \mu_{C}$ とする.

(3) $\left(\mu_{L}+\mu_{R}\right) / 2$ が $\widehat{\mu}(x, m, y, n)$ である.

最後に, 前節で述べた $T^{\dagger}(X, Y)$ による $p / q$ の信頼区間を文献 (野田, 宮岡 1992) に従って

ミュレーションによりこれを確かめる.

標本 $\boldsymbol{X}$ の統計モデルを $\{P(\cdot ; \theta) \mid \theta \in \Theta\}$ とし， $S(\boldsymbol{x})$ を $\Theta$ の部分集合とする.

$
\forall \theta \in \Theta \quad P(\theta \in S(\boldsymbol{X}) ; \theta) \geq 1-\alpha
$
^{7} p^{*}(\mu)$ は $\mu$ の増加関数, $q^{*}(\mu)$ は $\mu$ の減少関数になっていることが示せる.

このことから, $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ が $\mu$ の増加関数になっていることが示せる.
}

となるとき， $S(\boldsymbol{X})$ を $\theta$ の 100(1- $\alpha) \%$ 信頼領域（ $S(\boldsymbol{X})$ が区間になる場合は信頼区間）と言う. $p / q$ はパラメタではないが, この定義に当てはめるならば, 統計量 $L(X, Y)$ が

$
\forall(p, q) \in[0,1]^{2} \quad P(L(X, Y)<p / q ; p, q) \geq 1-\alpha
$

を満たすならば, $(L(X, Y), \infty)$ は $p / q$ の 100(1- $\alpha) \%$ 信頼区間である.これは, $(X, Y)$ の観測値を 100 個得たとき， $L(x, y)<p / q$ を満たす観測値 $(x, y)$ が $100(1-\alpha)$ 個程度以上あることを意味している。観測値 $(x, y)$ に対する $L(x, y)$ は,

$
L(x, y)=\max \left.\{\mu \mid T^{\dagger}(x, y) \geq t^{\dagger}(\mu)\right.\}
$

で求めることができる，以下にこれを示す．上記定義より， $\left(p_{0}, q_{0}\right)$ を任意に選んだとき，

$
L(x, y)<p_{0} / q_{0} \Longleftrightarrow T^{\dagger}(x, y)<t^{\dagger}\left(p_{0} / q_{0}\right)
$

が成立する。したがって，

$
\begin{aligned}
P\left(L(X, Y)<p_{0} / q_{0} ; p_{0}, q_{0}\right) & =P\left(T^{\dagger}(X, Y)<t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& =1-P\left(T^{\dagger}(X, Y) \geq t^{\dagger}\left(p_{0} / q_{0}\right) ; p_{0}, q_{0}\right) \\
& \geq 1-\alpha \quad\left(\because p_{0} \leq\left(p_{0} / q_{0}\right) q_{0} \text { と式 }(12)\right)
\end{aligned}
$

$p_{0}, q_{0}$ は任意に選んだので， $L(X, Y)$ は式 (17) を満たすことが分かる， $L(x, y)$ の定義より, $L(x, y)$ は帰無仮説 $(p \leq \mu q)$ を棄却できる最大の $\mu$ である。前節で述べた検定は, $p$-値 $(15)$ (つまり $p$-值 $(13))$ を $P\left(T(X, Y) \geq T(x, y) ; p^{*}(\mu), q^{*}(\mu)\right)$ で近似しているため, $\widehat{\mu}(x, m, y, n)$ は $L(x, y)$ の近似と考えられる.

$\widehat{\mu}(x, m, y, n)$ が $L(x, y)$ の近似となっていることを確かめるために, シミュレーションを行った. 有意水準 $\alpha$ を 0.05 とし, いくつかの $m, p, n, q$ に対して, $B(m, p)$ および $B(n, q)$ に従って $(x, y)$ を 10,000 個発生させ, $x / m \neq y / n$ なる各 $(x, y)$ に対し,
- $x / m>y / n$ のとき, $\widehat{\mu}(x, m, y, n)<p / q$ ならば成功, $\widehat{\mu}(x, m, y, n) \geq p / q$ ならば失敗,
- $x / m<y / n$ のとき, $p / q<1 / \widehat{\mu}(y, n, x, m)$ ならば成功 $p / q \geq 1 / \widehat{\mu}(y, n, x, m)$ ならば失敗とし, 求めた信頼区間に $p / q$ が含まれる割合を求めた。結果を表 3 に示す.この表から，近似の影響はあるものの, $\widehat{\mu}(x, m, y, n)<p / q$ あるいは $p / q<1 / \widehat{\mu}(y, n, x, m)$ がほぼ $100(1-\alpha) \%$ の割合で成立していることが分かる.
表 $3 p / q$ の信頼区間の推定の成功率

## 略歴

冨浦洋一：1984 年九州大学工学部電子工学科卒業, 1989 年同大学院工学研究科電子工学専攻博士課程単位取得退学. 同年九州大学工学部助手, 1995 年同助教授, 現在, 九州大学大学院システム情報科学研究院准教授. 博士 (工学).自然言語処理, 計算言語学に関する研究に従事.

青木さやか：2006 年九州大学工学部電気情報工学科卒業, 2008 年同大学院シ

ステム情報科学府知能システム学専攻修了, 現在, 新日鉄ソリューションズ

（株）に勤務. 自然言語処理に関する研究に従事.

柴田雅博: 1996 年九州大学工学部情報工学科卒業, 2005 年同大学院システム情報科学研究科知能システム学専攻博士課程単位取得退学. 同年九州システム情報技術研究所特別研究助手, 2006 年九州大学ベンチャー・ビジネス・ラボラトリー講師 (中核的研究機関研究員), 現在, 九州大学大学院システム情報科学研究院テクニカルスタッフ. 博士 (工学). 自然言語処理に関する研究に従事.

行野顕正：2001 年九州大学工学部電気情報工学科卒業, 2007 年同大学院システム情報科学府知能システム学専攻博士課程修了, 現在, 株式会社ジャストシステムに勤務. 博士 (工学). 自然言語処理に関する研究に従事.

$(2007$ 年 11 月 22 日受付 $)$
$(2008$ 年 7 月 4 日再受付 $)$
$(2008$ 年 10 月 2 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 話し言葉における引用節・挿入節の自動認定および 係り受け解析への応用

浜辺 良二 ${ }^{\dagger} \cdot$ 内元 清貴 ${ }^{\dagger} \cdot$ 河原 達也 $\dagger \cdot$ 井佐原 均 $\dagger \dagger$
}

話し言葉の係り受け解析を行なう際の最大の問題は, 文境界や引用節・挿入節など の境界が明示されていないことである。本論文では，話し言葉に対して，引用節・插入節を自動認定するための手法, および自動認定した引用節・挿入節の情報を用 いて係り受け解析を改善するための手法を提案する. 形態素やポーズの情報などを もとに，SVM を用いたテキストチャンキングによって，引用節・挿入節の始端と終端を決定する，始端を決定する際には，自動推定した係り受けの情報をあわせて利用する。日本語話し言葉コーパス (CSJ) を用いた評価実験により，自動認定した引用節・挿入節の情報を利用することで係り受け解析精度が $77.7 \%$ から $78.7 \%$ に改善 されることを確認し, 本手法の有効性を示した.

キーワード：話し言葉, 係り受け解析, 節境界, 引用節, 挿入節, 機械学習
## Detection of Quotations and Inserted Clauses and its Application to Dependency Structure Analysis in Spontaneous Japanese

Ryoji Hamabe $^{\dagger}$, Kiyotaka Uchimoto $^{\dagger \dagger}$, Tatsuya Kawahara $^{\dagger}$ and Hitoshi Isahara ${ }^{\dagger \dagger}$

Japanese dependency structure is usually represented by relationships between phrasal units called bunsetsus. One of the biggest problems with dependency structure analysis in spontaneous speech is that clause boundaries are ambiguous. This paper describes a method for detecting the boundaries of quotations and inserted clauses and that for improving the dependency accuracy by applying the detected boundaries to dependency structure analysis. The quotations and inserted clauses are determined by using an SVM-based text chunking method that considers information on morphemes, pauses, etc. The information on automatically analyzed dependency structure is also used to detect the beginning of the clauses. Our evaluation experiment using Corpus of Spontaneous Japanese (CSJ) showed that the automatically estimated boundaries of quotations and inserted clauses helped to improve the accuracy of dependency structure analysis from $77.7 \%$ to $78.7 \%$.

Key Words: spontaneous Japanese, dependency structure analysis, clause boundary, quotation, inserted clause, machine learning

## 1 はじめに

係り受け解析は日本語解析の重要な基本技術の一つとして認識されており,これまでに様々な手法が提案されてきた (黑橋, 長尾 1994; 白井, 池原, 横尾, 木村 1995; 藤尾, 松本 1997; 春野, 白井,大山 1998; 内元, 関根, 井佐原 1999; 内元, 村田, 関根, 井佐原 2000; Kudo and Matsumoto 2000;工藤, 松本 2002; Matsubara, Murase, Kawaguchi, and Inagaki 2002; 工藤, 松本 2004; Kawahara and Kurohashi 2006; Ohno, Matsubara, Kashioka, Maruyama, and Inagaki 2006). しかし, そのほとんどは書き言葉を対象としたものであった. これに対し, 本研究では, 話し言葉, 特に『日本語話し言葉コーパス (CSJ) (古井, 前川, 井佐原 2000)』のような長い独話を対象とする.ここで CSJ とは, 主に学会講演や模擬講演などの独話を対象に, 約 660 時間（約 750 万語）の自発音声を収録した世界最大規模の話し言葉コーパスのことである。このコーパスには音声デー夕だけでなく書き起こしも含まれており，コアと呼ばれる一部の書き起こしには，人手により形態素・係り受け・節境界・引用節・挿入節・談話構造など様々な情報が付与されている.

一般に, 話し言葉には特有の現象が見られるため, 書き言葉と比べて話し言葉の係り受け解析は難しい，例えば，CSJを用いた実験によると，話し言葉特有の現象の影響をなくした場合とそうでない場合で，係り受け解析精度に大きな差があることが報告されている (Uchimoto， Hamabe, Maruyama, Takanashi, Kawahara, and Isahara 2006). 特に，引用節・挿入節などの境界が認識されていない場合に係り受け解析精度の低下が著しい。そこで本論文では, 引用節・㨁入節を自動認定する方法, および, 自動認定した引用節・挿入節の情報を係り受け解析に利用する方法を提案し, 提案手法により係り受け解析精度が有意に向上することを定量的に示す.

## 2 話し言葉に特有の現象と係り受け構造

話し言葉には, 書き言葉にはない特有の現象が見られる。 そして, その話し言葉特有の現象が係り受け解析精度の低下を招くことが多い. 本研究では, その中でも節境界が曖昧であるという現象に着目する。そして, 本論文では, 係り受け解析精度に及ぼす影響の大きさを考慮し,節の中でも, 特に, 引用節・挿入節と係り受け構造との関係を取り上げる.ここで, 節および係り受け構造の定義は CSJに従うものとする。

以下, 2.1 節では, 話し言葉における節境界と係り受け構造の定義, および, 引用節と挿入節との関係について述べる. 次に, 2.2 節では, 話し言葉特有の現象, 特に, 節境界が曖昧であるという現象が係り受け解析に及ぼす影響について言及する。そして， 2.3 節では，その他の話し言葉特有の現象に関して, 本研究での係り受け解析時の扱いについて述べる.

## 2.1 節境界と係り受け構造の定義および引用節・挿入節との関係

一般に，書き言葉においては，係り受け構造などを付与する単位として，いわゆる「文」を用いることが多い. しかし, 自発的な話し言葉を対象とする場合, 文は必ずしも自明な単位ではない。そこで CSJでは，より適切な分割単位として，「節」に基づく文の単位が定義されている。節境界としては，次の 3 種類が定義されている。

絶対境界：いわゆる文末表現で，述語の終止形・終助詞・「と文末」など.

強境界 ：並列節「ケレドモ」「ガ」「シ」・「ましテ」節・「でしテ」節など.

弱境界 : 理由節「カラ」「ノデ」・連用節・引用節・条件節「夕ラ」「ト」「ナラ」「レバ」など. そして, これらの節境界を表層表現などに基づいて自動検出した後 (丸山, 柏岡, 熊野, 田中 2003),文節係り受けを考慮して人手により文境界を特定する (高梨, 丸山, 内元, 井佐原 2003). 上の 3 種類の境界のうち, 絶対境界と強境界は基本的に文境界となり, 弱境界は機能的に区切れていると判断される箇所のみが文境界となる. 引用節と挿入節についてもこのときに認定され, 基本的に, 引用節の終端は弱境界, 挿入節の終端は強境界となる.

CSJにおける係り受け構造は, 原則として「京大コーパス」(黒橋長尾 1997)の付与基準に準拠して付与されており, 話し言葉特有の現象に対しては新たな基準が設けられている (内元, 丸山, 高梨, 井佐原 2003). 係り受けは文内で閉じており, 引用節・插入節の内部でも同様に係り受けが閉じている。したがって, 文境界が特定されれば, 引用節と挿入節の始端は係り受け構造に基づいて特定できる。 すなわち，直前の文節が終端より後方に係る文節のうち，最も終端に近いものが引用節の始端となる。そのような文節がない場合は, 文頭の文節が始端となる.

話し言葉，特に CSJのような長い独話における引用節・挿入節の特徴は次の通りである．以下では，引用節・挿入節と係り受け構造との関係の例も示す.

## (引用節)

引用節は，主に人の言ったことや思ったことを発話に取り込む際に用いられる。書き言葉では引用節の前後に引用符や読点が付与されるのに対し, 発話においては, その境界が明示されることはない，以下の例文 1 では， \{\} 内が引用節に相当し，「昔から」が引用節の後方に係るため「一度でも」が始端となる。

(例文 1)

CSJでは, 引用節の終端の文節に「引用節」というラベルが付与されている. 本研究では，それに加え「トイウ節」のラベルの付いたものも引用節として扱う．トイウ節は，以下の例文 2 のように引用を表わすために多く用いられる。例文 2 では，引用節の終端を越えて係る文節はないので,「本当に」が始端となる.

(例文 2)

以降，引用節・トイウ節を合わせて引用節とする。

## (挿入節)

插入節は，発話の途中で話者の発話プランが変更されたとき，節の途中に別の節が注釈のような形で挿入されることにより発生するものである。書き言葉ではこのような表現はあまり用いられない，例文 3 では，（）内が挿入節に相当する。

(例文 3)

CSJでは，插節の終端の文節に「挿入節」というラベルが付与されている．挿入節の終端は基本的に強境界となっているが，挿入節を越えて前方から後方に係る係り受けが存在するため，文境界ではなく挿入節の終端と認定される.

## 2.2 節境界の曖昧さが係り受け解析に及ぼす影響

従来研究では，話し言葉において節境界の曖昧さが係り受け解析に及ぼす影響については, ほとんど考慮されていなかった。下岡ら (下岡, 内元, 河原, 井佐原 2005) は, 話し言葉では文境界が曖昧であることが係り受け解析に与える影響が最も大きいことを指摘し，その影響を定量的に示した．彼らは，正しい文境界の情報を与えることにより，文境界を自動推定した場合に比べて約 $3 \%$ 高い係り受け解析精度が得られると報告している。 また, 文境界を推定する方法および文境界の自動推定結果を係り受け解析に利用する方法を提案し, その有効性も示した.しかし，その他の節境界については，係り受け解析に及ぼす影響は明らかではなかった。大野ら

(Ohno et al. 2006) は，文を節境界で分割して得られる節境界単位を基本として，節境界単位内の係り受けと節境界単位間の係り受けを別々に解析する方法を提案し，その有効性を示している。しかし，節境界単位は節とは異なるため，本来は節を超える係り受けを正しく推定することができない，例えば， 2.1 の例文 1 や例文 3 では，節の始端は節境界ではないため，「昔から」 と「思っていたところです」，「早速」と「チェックしました」は節境界単位をまたぐ係り受けとみなされ，正しく推定することができない，内元ら (Uchimoto et al. 2006) は文境界，言い直しの存在，挿入節・引用節などの境界の曖昧さ，係り先のない文節に着目し，正しい文境界の情報を与えた場合，さらに言い直し関係のうち係り元の文節を削除した場合，さらに挿入節・引用節の境界の情報を与えた場合，さらに係り先のない文節を削除した場合のそれぞれについて，係り受けモデルを学習しテストした場合に得られる係り受け解析精度を調べた。その結果，挿入節・引用節の境界の情報を与えた場合に約 $2 \%$ 高い精度が得られたと報告している. これは,話し言葉においては引用節や挿入節を含む文は節構造が複雑で，引用節あるいは挿入節の内部と外部とを結んでしまう係り受け解析誤りが多くなるためであると考えられる。逆に，引用節・挿入節の範囲を取得することができれば，係り受け解析精度の向上が期待できるが，そこまでは明らかにはされていない，そこで，本論文では，引用節・挿入節を自動認定する手法，および，その結果を利用して係り受け解析を行なう手法を提案し，引用節・挿入節を自動認定した結果を用いることで係り受け解析精度が有意に向上することを示す。手法については， 3 章で詳しく述べる。

## 2.3 係り受け解析におけるその他の話し言葉特有の現象の扱い

その他の話し言葉特有の現象および本研究における係り受け解析時の扱いについては次の通りである.

## (1) 文境界が明示されていない

話し言葉では文境界が明示されない。そのため，すべての文節に対して係り受けを特定しようとすると, 文間関係も文節の関係として特定することになる。 しかし, 文間関係については人間の判断が摇れる場合が多い。また, 自動要約のために文圧縮をしたり格関係を抽出する場合など，実際に必要となる係り受けの情報は文単位の係り受けであることが多い，そこで本研究では，文間関係は推定せず文境界を推定するにとどめ，係り受けは文内の文節間係り受けのみを対象として解析する.

(2) 係り先がない文節がある

話し言葉では, 途中で発話のプランが変わったために係り先が消失したり，またフィラー や言いよどみなど，係り受け関係を特定しても用途がほとんど考えられず，係り受けを定義することに意味がない場合がある。このような場合, CSJでは係り受けが付与されていない. フィラーや言いよどみについては, 浅原らの手法 (浅原松本 2003) を用いるこ

とである程度特定できると考え，本研究ではすべて削除して扱う。ただし，どこにフィラーがあったかについての情報は残しておき，後の解析に利用する。本来これらの文節については, 正しく「係り先なし」と推定するべきであるが, これについては今後の課題とする。それ以外の係り先を持たない文節については，以下に述べる条件に従って便宜的に係り先を設定する。
- 挿入節の終端の文節は, 交差を発生させない範囲で文内のできるだけ後方に係るとする．２．1 節の例文 3 では，「着いたんですけども」の係り先は「チェックしました」とする.
- 引用節や插入節の内部に絶対境界・強境界が含まれる場合, その内部境界の直前の文節の係り先は, 後方に最初に現れる内部境界の直前または引用節・挿入節の終端の文節とする。以下の例文 4 にその例を示す。「：」は内部境界を表わす.「必要かな」「確保できないし」は係り先を持たないが，それぞれ「確保できないし」「作れるんじゃないかな」に係るとする。

(例文 4)

$
\begin{aligned}
& \text { ナイフがないと何も確保できないし： } \\
& \text { まずはもしかしたら何年間も } \\
& \text { 掛けてカヌーぐらい作れんじゃないかな\} と思いましてね }
\end{aligned}
$
- 上記以外の係り先を持たない文節は，直後の文節に係るとする.

## (3) 係り受け関係が交差する

一般に，日本語の書き言葉においては「係り受け関係は互いに交差しない」という非交差条件が成り立つと言われている。しかし, 話し言葉ではこの非交差条件が成り立たないことも多い，例えば，以下の例文 5 では，「これが」が「正しいと」に係り，「私は」が 「思う」に係るので係り受け関係が交差している.

(例文 5)

思う

しかし, 今回用いた 188 講演において, 係り受け関係が交差している箇所は 689 個とそれほど多くないため, 本論文では, 係り受けの非交差条件が成り立つと仮定して係り受け解析を行なう。したがって, 評価の際, 交差している係り受けのいずれかは解析誤りとなる. 交差している場合への対処については今後の課題である.

## (4) 言い直しが多い
話し言葉ではしばしば言い直しが生じる。CSJでは言い直し関係には係り受け関係と同様の関係が付与され, さらにD というラベルが付与されている。 以下の例文 6 にその例を示す。

(例文 6）

本来は，文節間の関係の推定のみではなくそれがどういった関係なのかまで推定すべきである。しかし，書き言葉を対象にした研究においても多くの場合は関係の有無の推定のみを対象としているため, 本論文でも同様に, 言い直し関係を係り受け関係として特定し，言い直し関係かどうかのラベルの推定までは行なわない.

(5) 倒置表現がある

話し言葉ではしばしば倒置表現が用いられる。 CSJでは, 倒置は左係りで表現されている. 本論文では, 関係を特定することが重要と考え, CSJにおける倒置に対しては修正を行ない，便宜上すべて右係りとして扱った，例えば，以下の例文 3 では，「これは」が 「耐えられないんです」に倒置で係っているが, 「耐えられないんです」が「これは」に係るように修正した。

(例文 7)

私は一

耐えられないんです

しこれは

なお，上記の対処法については (2) 以外は下岡らの手法 (下岡他 2005) に従っている.

## 3 係り受け解析と引用節・挿入節の自動認定のアプローチ

## 3.1 係り受け解析と境界推定の相互処理

図 1 に本手法で提案する処理の概要を示す。処理の流れは下記の通りである。 入力は, 形態素および文節の情報が付与されたテキストであり, CSJを対象とする場合, 一講演のテキストおよび形態素, 文節の情報が入力となる。図 1 およびその説明において, 文境界と引用節・挿入節の境界をまとめて境界と表現している.
- 境界推定 (1回目)

図 1 係り受け解析と境界推定の相互処理の概要

入力テキストに対し, まず, 3.3 節で述べる手法により, 表層表現 ・品詞・活用形, ポー ズ長の情報などを素性として用いて，文境界，引用節，挿入節の境界を推定する。このとき，引用節・挿入節および文境界の 3 つの境界の推定は同時に行なう.
- 係り受け解析 (1 回目)

次に，境界推定（1 回目）で推定された文境界によりテキストを文に分割し，各文について，3.2節で述べる手法により係り受け解析を行なう。このとき，素性としては表層表現・品詞・活用形, 文節間距離などを用いる。境界推定（1 回目）で得られた情報のうち, 引用節・插入節の境界に関する情報はここでは用いない.
- 境界推定 (2 回目)

さらに，元の入力テキストに対し，文境界，引用節，挿入節の境界を再推定する。このとき，係り受け解析（1 回目）で得られた係り受けの確率の情報も素性として用いる。この素性は境界の情報により場合分けされており，その場合分けには，境界推定（1回目） で得られた引用節・挿入節の境界のうち，終端の情報を用いる.
- 係り受け解析 (2 回目)
最後に，境界推定（2 回目）で得られた文境界により元の入力テキストを文に分割し, 各文について，3.2 節で述べる手法により係り受けの再解析を行なう。このとき，境界推定

（2 回目）で得られた引用節・挿入節の境界の情報も素性として用いる.

以上の処理により，入力テキストに対し，文境界，引用節，挿入節の境界情報，および，各文内について文節係り受けの情報が得られる。

以下では，係り受け解析および引用節・挿入節の自動認定の手順についてそれぞれ説明する.

## 3.2 係り受け解析

本研究では, 内元らの手法 (内元他 2000) に基づき, 係り受け解析モデルを統計的に学習する。統計的係り受け解析では，文中の各文節がどの文節に係りやすいかを確率值で表わし，それらを要素とした係り受け行列を作成する。そして，一文全体が最適な係り受け関係になるように，それぞれの係り受けを決定する。ここで，2つの文節間の関係を「間」「係る」「越える」 の 3 カテゴリとして学習することにより, 着目している 2 文節の間にある文節や，それらより後方にある文節との関係も考慮して確率值を計算できる。この係り受け解析モデルは最大エントロピー (ME) モデルとして実装され, 素性には, 単語の表層表現・品詞・活用形$\cdot$文節間距離など，およびそれらの組合せが利用されている.

本研究ではさらに，着目している 2 文節の係り受けを仮定した場合に，その係り受けが引用節・挿入節の境界と交差するかどうかを素性に加える。より具体的には次の通りである。仮定した係り受けと引用節・挿入節の境界との関係は下記の 3 つの場合に分類できる。そして，引用節と挿入節のそれぞれについて，2 文節の関係が下記の分類のうちどれに属するかを素性値として与える。

## ・ 仮定した係り受けと引用節・挿入節の境界とが交差する場合

交差が発生するのは, 以下の 2 通りの場合である。このとき， 2 文節が実際に係り受け関係を持つことはない，ただし，対象の 2 文節のうち係り文節が引用節あるいは挿入節の終端となっている場合はこの分類に含めない.
- 2 文節の一方のみが引用節・插入節の内部に含まれる
- 2 文節の双方が異なる引用節・挿入節の内部に含まれる

## - 仮定した係り受けと引用節・挿入節の境界とが交差しない場合交差が発生しないのは，以下の 2 通りの場合である.
- 2 文節がともに引用節・挿入節の内部に含まれない
- 2 文節がともに同一の引用節・挿入節の内部に含まれる

## - 2 文節のうち係り文節が引用節・挿入節の終端となっている場合

この場合には， 2.3 節で述べたように，節の外部と内部との係り受けが例外的に結ばれるので，別の分類とする.

ただし，引用節・挿入節の境界が適切に推定されていることが望ましいため，この素性は図 1 の係り受け解析（2 回目）のみに用いる。この素性を用いることにより，2 文節間に仮定した係り受けと引用節・挿入節の境界とが交差する場合には，この 2 文節が実際に係り受け関係を持つ確率は低く推定される。

## 3.3 引用節・挿入節の自動認定

本研究では, 下岡らが提案した機械学習による文境界推定法 (下岡他 2005) に基づき, 引用節・挿入節の自動認定をテキストチャンキングの問題として扱う。これにより,引用節・挿入節の自動認定と文境界推定を同時に行なうことが可能となり，これらを別々に行なう場合に比べて，文境界推定の誤りに対しても頑健に動作することが期待できる.

テキストチャンカには, SVM (Support Vector Machines)に基づく YamCha(Kudo and Matsumoto 2001) を用いる. YamChaでは，カーネル関数として多項式カーネルを用いることにより, 複数の素性の組合せを考慮した学習が可能である。また, 推定により得られた前後のチヤンクラベルを動的素性として用いることができる.

本手法では，チャンクラベルは文節ごとに付与する，ラベルには，文境界に関する夕グ（ $\mathrm{E}$ :文末, I: 文末以外）と，引用節および挿入節に関する夕グ（表 1）の 3 つ組を用いる．以下の例文 8 にラベル付与の例を示す. ラベル内のタグは, 順に（文境界に関する夕グ，引用節に関する夕グ，挿入節に関する夕グ）を表わしている。例えば「予算の」に付与されているラべル（I， B，B）は，この文節が文末の文節ではなく，引用節・挿入節の始端となっていることを示す. 3 つの夕グは同時に推定されるため, このモデルでは文境界・引用節・插入節の関係が考慮されている，例えば，引用節・挿入節の範囲が文境界を越えることはないので，（E，I，0）などというラベルが推定されることはない.

(例文 8 )

YamCha の多項式カーネル次数は 3 , 解析方向は Right to Left とし, 後方 3 文節の動的素性を利用する．SVM に与える素性としては，以下のものを用いる。

## (1) 単語情報

単語情報として, 表層表現・読み・品詞情報・活用の種類・活用形を用いる.引用節の
表 1 チャンキングに使用する夕グの種類

終端では「〜と思う」「〜って言う」などの表現が，挿入節の終端では「〜ですが」「〜 けれども」などの表現が多用される.

## (2) 文節の前後のポーズ長

引用節や挿入節の前後にはポーズが入りやすいと考えられる。そこで, 文節の前後のポー ズ長を素性として利用する。なおポーズ長としては, 講演ごとに平均と分散で正規化した值を用いる. CSJでは, $200 \mathrm{msec}$ 以上のポーズで区切られた単位を転記単位として,書き起こしデータが作成されており，各転記単位には開始・終了時刻が付与されているため, これからポーズ長が計算できる.

引用節・挿入節の終端を推定する際には単語情報が大きな手がかりとなるが，以上の素性はすべて局所的な情報であり，これらだけから始端も同時に推定するのは困難である．例えば，以下の例文 9 では，「この辺りは父から聞いた話なんですけど」の部分だけを見た場合，「（他に自分が体験したことを話している途中で）この辺り（の話）は父から聞いた話なんですけど」という意味でも解釈できるため,「父から」が引用節の始端であるとは決定できない. この場合,「この辺りは父から聞いた話なんですけど」の全体が挿入節に含まれる可能性もある.

(例文 9)

$
\text { この }
$

辺りは

このように，引用節・挿入節の始端を決定するためには，大域的な情報も必要となる．そこで，始端を決定する際には，自動推定した係り受けの情報をあわせて利用する．引用節・挿入節の終端が既に得られている場合, 2.1 節および 3.2 節で述べたような引用節・挿入節と係り受け構造との関係により，始端より前の文節の係り受けには図 2 のような制約が成り立つ. 本手

(b) 始端の直前の文節は節の後方に係る

図 2 引用節・挿入節の始端以前の係り受けに関する制約

法ではこの制約を利用し，チャンキングを 2 回にわたって行なう。 1 回目のチャンキング（図 1 の境界推定（1 回目））では，上述の素性のみを用いて文境界および引用節・挿入節を自動認定する。そして，ここで得られた文ごとに係り受け解析（図1の係り受け解析（1 回目）を行ない, 1 回目のチャンキングで自動認定された引用節・挿入節の終端の情報をもとに, 以下の係り受けの確率を素性に加えて，2 回目のチャンキング（図 1 の境界推定（2 回目））を行なう。学習デー夕に対する係り受け確率は，学習デー夕内で 10 -fold cross validation によって係り受け解析を行なうことで求める.

(a) 着目している文節より前方にある文節が, 着目している文節と終端の間の文節に係る確率 (b) 着目している文節の直前の文節が, 終端より後方の文節に係る確率

図 2 から, 例えば，(a) の確率が小さく (b) の確率が大きければ，その文節は始端になりやすいと推測される。先の例文 9 では, 「辺りは」「聞いた」「話なんですけど」は前方の文節が着目している文節に係るため，(a)の確率が大きくなる。また「父から」については, 直前の文節「辺りは」が挿入節の終端「話なんですけど」より後方に係るため, (b) の確率が大きくなる. これより，「父から」が挿入節の始端であると推定できることが期待される.

## 4 評価実験

引用節・挿入節の自動認定および係り受け解析の評価実験を行なった．実験に用いたコーパスは CSJ のコア 188 講演（模擬講演 111 講演と学会講演 77 講演）の書き起こしである.この中には 6,148 個の引用節と 818 個の挿入節が含まれている.このうち 168 講演を学習データ, 20 講演（模擬講演 11 講演と学会講演 9 講演）をテストデータとして用いた.

まず，下岡らの手法 (下岡他 2005) に従い, 単語情報とポーズ長を用いて文境界を推定した後で，得られた文ごとに係り受け解析を行ない，べースライン精度を求めた。文境界推定の $\mathrm{F}$ 値は 85.6 で, 係り受け解析精度は, open テストで $77.7 \%$, closed テストで $86.6 \%$ であった. closed テストでは, 188 講演のすべてを学習に利用している.

## 4.1 引用節・挿入節の自動認定結果

3.3 節で述べた手法を用いて, 引用節・插入節の自動認定を行った. その結果を表 2 に示す.表 2 には以下の 5 種類の実験結果を示している.
- 係り受けを用いない場合（1 回目のチャンキング：図 1 の境界推定（1 回目））の認定精度
- open テストで得られた係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 (2 回目)）の認定精度
- closed テストで得られた係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 （2 回目）の認定精度
- 正解の係り受けを用いた場合（2回目のチャンキング：図 1 の境界推定 $(2$ 回目)）の認定精度（係り受け確率はすべて 1.0 とする）
- 1 回目のチャンキング（図 1 の境界推定（1 回目））における終端のみについての認定精度

表 2 によると，引用節の終端のおよそ 9 割は正しく検出できている。検出できなかったものの中には「〜と」で終わる文末や，「〜っちゅう」「〜みたいな」など，使われる頻度が比較的少ない表層表現があった，始端とともに正解した精度は，open テストで自動推定された係り受けを利用することによって向上した，個々の文節における引用節のチャンクタグの推定結果についてマクネマー検定を行なったところ， $p<0.01$ で有意な改善が得られていることが分かった.これは，本手法で素性として利用した係り受け情報が有効に作用したことを表わしている。

表 2 引用節・挿入節の認定精度（文境界が未知の場合）

例えば，以下の例文 10 では， 1 回目のチャンキングでは「多分私が飼っていたさくらの方だった」の部分が引用節だと誤って自動認定されたものの，2 回目のチャンキングで係り受けを利用することにより，「逃げたのは多分私が飼っていたさくらの方だった」の範囲が引用節であると正しく自動認定されるようになった.

(例文 10)

\{逃げたのは
多分一
私が一
飼っていた口
さくらの一
方だった $\}$

思うんですけれども

さらに，closedテストで得られた係り受けや正解の係り受けを用いた場合は，引用節の認定精度は大きく向上している。このことから, 係り受け解析精度が改善されるのに伴って, 引用節の認定精度も向上することが分かる.

一方，挿入節については，係り受けを利用してもほとんど検出できず，挿入節の終端の大半は文境界であると推定されていた，插入節は，文末表現としてもよく用いられる「〜けれども」「〜ですが」の形で終わるものが多く, 文境界との区別が難しいことが原因であると考えられる.これらの区別は，本手法で用いた素性だけでは困難である。そこで， 4.5 節に述べるように，フィラーの有無や話速，韻律情報などを素性として用いてみたが，有意な精度向上は見られなかった，今後，より広範な素性を検討する必要があると考える。

## 4.2 節の自動認定結果を用いた係り受け解析結果

次に，自動認定された引用節・挿入節を用いて，3.2 節の手法で係り受け解析（図 1 の係り受け解析（2回目））を行なったところ, 表 3 に示す結果となった. ここで用いる引用節・挿入節の自動認定結果は, 表 2 において open テストで得られた係り受けを利用したものである。学習データにおいても同様に， 2 -fold cross validationによって引用節・插入節の自動認定を行なった.引用節・挿入節の自動認定結果を利用することで, open テストにおける係り受け解析精度

表 3 係り受け解析精度（文境界が未知の場合）

表 4 引用節・挿入節の境界と交差する係り受けの数（文境界が未知の場合）

は $1.0 \%$ 向上した. マクネマー検定を行なったところ, 本手法を用いた係り受け解析精度はベー スラインの精度より $p<0.01$ で有意に上回っていることがわかった. この結果は，引用節・挿入節の推定に誤りがある場合でも，係り受け解析モデルが頑健に作用したことを示唆している.

そこで次に，引用節・挿入節を含む文の係り受け解析における解析誤りの数の変化について考察した. 表 4 に, 引用節・挿入節の内部と外部を結ぶ誤った係り受けが推定された数を示す. このような係り受け解析誤りの数は, 引用節・挿入節の推定結果を利用することで, 639 個から 572 個に削減された. 特に, 引用節の内部から外部へと係る解析誤りの数が, 217 個から 128 個へと大きく削減された。その理由は次のように考えられる。一般に，引用節や挿入節がある場合は，その前方にある文節は引用節や挿入節を越えて遠くの文節に係ることが多い. その結果,従来の係り受けモデルでは，遠くに係る係り受けが誤って優先され，引用節・挿入節の内部から終端を越えて節の後方に係るような係り受け解析の誤りが多く発生していた。しかし，本手法によって，引用節については，認定精度の高かった終端の情報を活用することで，このような解析誤りを削減することができるようになったと考えられる。例えば，以下の例文 11 では，引用節・挿入節の情報を利用せずに係り受け解析を行なった場合には，「挟んで」(引用節内部) が「覚えてきて」(引用節外部) に係ると誤って推定されていたものの，「顔挟んで外に出てしまう」の部分を引用節として自動認定できたことにより，「挟んで」（引用節内部）が「出てしまうという」(引用節内部) に係るように修正された。

(例文 11)

出てしまう\} という—

覚えてきて

また，表 3 には，引用節・挿入節の正解を与えた場合，すなわち認定精度が $100 \%$ たっったと仮定した場合の係り受け解析の結果も示す. この場合, 係り受け解析精度はさらに改善されており,引用節・插入節の認定精度の向上に伴って係り受け解析精度も改善されることが分かる.

## 4.3 節の自動認定と係り受け解析の相互作用に関する考察

上述の実験結果から, 引用節・插入節の自動認定および係り受け解析の精度は, 相互の情報を利用することにより高精度化されることが確認できた. 単純には, 同様のサイクルを繰り返すことにより, さらなる精度向上が期待される. そこで, 引用節・挿入節の自動認定結果と係り受け解析の結果を再度相互に利用して, それぞれの精度がさらに改善されるかどうか調べた。 しかしながら，引用節の認定精度および係り受け解析精度に有意な変化は見られなかった. これは, 一度引用節・挿入節の情報を利用して推定した係り受けは, 現在得られている節の認定範囲に対して最適な状態になっており, その結果を用いても始端の位置はほとんど修正できないためと考えられる.

逆に，再度相互に推定結果を利用することで，引用節の外部から内部へと係る解析誤りがわずかに増加する結果となった。これは， 2 回目のチャンキングで引用節の始端を再推定する際に，誤った係り受けの情報が優先され，始端の位置が誤って文頭側にずれたことが原因と推測される. 今後の課題として, 特に引用節の始端付近について係り受けの傾向を詳細に分析し, より適切な係り受けの利用法を検討したい。

## 4.4 文境界が既知の場合の実験結果

次に，文境界推定の誤りの影響を調べるために，正解の文境界を与えて，引用節・挿入節の自動認定および係り受け解析を行なった。評洒結果を表 5 〜表 7 に示す.

表 5 引用節・挿入節の認定精度（文境界が既知の場合）

表 6 係り受け解析精度（文境界が既知の場合）

表 7 引用節・挿入節の境界と交差する係り受けの数（文境界が既知の場合）

結果として, 文境界を与えることにより, 引用節・挿入節の認定精度, 係り受け解析精度ともに大きく上昇した，表 5 からは，引用節だけでなく挿入節についても係り受けを利用することで認定精度が向上すること，表 6 からは，引用節・挿入節の自動認定結果を用いることで open テストでの係り受け解析精度が $0.6 \%$ 向上することなどが分かる。また, 引用節・挿入節の正解を与えた場合，係り受け解析精度はさらに改善されることも分かる。これらの結果は，文境界推定の誤りの影響がいかに大きいかを示している。

しかしながら，話し言葉において曖昧となる引用節・挿入節および文境界の情報をすべて与えても，書き言葉における係り受け解析精度と比べると依然として大きな差がみられる。話し言葉における係り受け解析精度をさらに向上させるためには, 話し言葉特有の問題点について, さらに調査を行なう必要がある。これは今後の課題である.

## 4.5 その他の素性を追加した場合の実験結果

3.3 節で述べた素性 (1) と (2) に下記の素性を加え, それぞれの素性の組み合わせを用いて 4.1 節や 4.2 節と同様の実験を行なった。

## 文節の前後のフィラーの有無

引用節や挿入節の前後にはポーズだけでなくフィラーも入りやすいと考えられる．そこで，文節の前後のフィラーの有無も素性として利用する.

## 文節の話速

挿入節では，話者が早口になると考えられるため，各文節の話速をポーズ長と同様に正規化してから用いる。話速は，モーラあたりの平均発声時間によって定義する。 すなわ

ち文節 $b$ の話速 rate (b) は, 文節 $b$ が転記単位 $u$ に含まれるとき, 次式で計算できる.

$
\operatorname{rate}(b)=\frac{t_{\text {end }}(u)-t_{\text {begin }}(u)}{\operatorname{mora}(u)}
$

ここで $t_{\text {begin }}(u), t_{\text {end }}(u)$ は転記単位 $u$ の開始・終了時刻を表わし, $\operatorname{mor} a(u)$ は転記単位 $u$ に含まれるモーラ数である.

## 文節内の基本周波数の最大値

引用節・挿入節の境界の前後では, 基本周波数 (F0)の上昇や下降が起こることが予想される，そこで，各文節における基本周波数の最大値を講演ごとに正規化したものを素性として用いる，CSJでは，F0 曲線の頂点や，曲線の変化率が大きく変わる点（屈曲点） に対して，自動抽出された $\mathrm{F} 0$ 值が付与されており，素性としてはその值を用いる。

## 文節の先頭・末尾の韻律ラベル

CSJでは，韻律の変化に関するラベリングが行なわれている。ラベリング体系には，日本語の韻律ラベリング法として従来用いられてきたJ_ToBI (Japanese Tones and Break Indices) (Venditti 1995) を自発音声に適用するための拡張が施されたX-JToBI (eXtended J_ToBI) (前川菊池 2001) が用いられている. これらのラベルは, 音声の基本周波数のパターンや，音韻の時間長変化によるリズムを考慮して定義されたものである.

引用節・挿入節の始端や終端では, これらの韻律特徵に変化が起こることが考えられる. そこで，各文節の先頭および末尾に付与されているX-JToBI のトーン層ラベルを素性と

して用いる. X-JToBI で定義されているトーン層ラベルの例を表 8 に示す.

それぞれの素性の組み合わせに対し，個々のチャンクラベルの推定結果についてマクネマー 検定を行なったところ, 単語情報とポーズ長以外の素性, すなわち, フィラーの有無・話速・基本周波数・韻律ラベルを用いても, 有意水準 $p=0.01$ とした場合, 有意な改善は得られなかった. これは, 話速・基本周波数・韻律ラベルといった音響的特徴の現れ方が，引用節・挿入節において不安定であることや，上記の素性から得られる情報がすでに単語情報やポーズ長から得られていることなどが原因と考えられる.

表 8 X-JToBI トーン層ラベルの例

## 5 おわりに

本論文では，CSJを対象として，引用節・挿入節を自動認定し，その自動認定結果を係り受け解析に適用する手法について述べた。評価実験により，自動認定した引用節・挿入節の情報を係り受け解析に利用することで, 係り受け解析精度が改善されることを示した. 特に, 引用節の終端は高い精度で推定することができたため, その情報を利用することで, 引用節の内部から終端を越えて外部に係る解析誤りを削減することができた，今後の課題としては，実験の考察を踏まえ，より広範な素性の考慮，より適切な係り受けの利用法の検討などにより，さらなる精度の改善を図ることや, 音声認識結果に誤りがある場合の頑健性について検討することなどが挙げられる。また，係り受け解析における話し言葉特有の問題点についてもさらなる調査を行ないたい.

## 参考文献

浅原正幸, 松本裕治 (2003). “形態素解析とチャンキングの組み合わせによるフィラー／言い直

し検出.”言語処理学会第 9 回年次大会発表論文集, pp. 651-654.

藤尾正和, 松本裕治 (1997). “統計的手法を用いた係り受け解析.”情報処理学会自然言語処理研

究会 NL117-12, pp. 83-90.

古井貞熙, 前川喜久雄, 井佐原均 (2000). “科学技術振興調整費開放的融合研究推進制度一大規

模コーパスに基づく『話し言葉工学』の構築—." 日本音響学会誌, 56 (11), 752-755.

春野雅彦, 白井諭, 大山芳史 (1998)。“決定木を用いた日本語係受け解析.”情報処理学会論文誌,

39 (12), 3177-3186.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese

Syntact ic and Case Structure Analysis." In Proceedings of the Human Language Technology

Conference of the North American Chapter of the Association for Computational Linguistics

(HLT-NAACL2006), pp. 176-183.

工藤拓, 松本裕治 (2002). “チャンキングの段階適用による係り受け解析.” 情報処理学会論文誌,

43 (6), 1834-1842.

工藤拓, 松本裕治 (2004).“相対的な係りやすさを考慮した日本語係り受け解析モデル.”情報処理学会論文誌, 46 (4), 1082-1092.

Kudo, T. and Matsumoto, Y. (2000). "Japanese Dependency Structure Analysis Based on Support Vector Machines." In Proceedings of the 2000 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora, pp. 18-25.

Kudo, T. and Matsumoto, Y. (2001). "Chunking with Support Vector Machines." In Proceedings
of the 2nd Meeting of the North American Chapter of the Association of Computational Linguistics (NAACL 2001), pp. 192-199.

黒橋禎夫, 長尾眞 (1994). “並列構造の検出に基づく長い日本語文の構文解析.” 自然言語処理, 1 (1), 35-57.

黒橋禎夫, 長尾眞 (1997). “京都大学テキストコーパス・プロジェクト.”言語処理学会第 3 回

年次大会発表論文集, pp. 115-118.

前川喜久雄, 菊池英明 (2001). “X-JToBI：自発音声の韻律ラベリングスキーム.”電子情報通信学会技術研究報告, SP2001-106, pp. 25-30.

丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝 (2003). “節境界自動検出ルールの作成と評価.”言語処理学会第 9 回年次大会発表論文集, pp. 517-520.

Matsubara, S., Murase, T., Kawaguchi, N. and Inagaki, Y. (2002). "Stochastic Dependency

Parsing of Spontaneous Japanese Spoken Language." In Proceedings of the 19th International Conference on Computational Linguistics (COLING 2002), pp. 640-645.

Ohno, T., Matsubara, S., Kashioka, H., Maruyama, T. and Inagaki, Y. (2006). "Dependency Parsing of Japanese Spoken Monologue Based on Clause Boundaries." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (COLING-ACL), pp. 169-176.

白井諭, 池原悟, 横尾昭男, 木村淳子 (1995). “階層的認識構造に着目した日本語従属節間の係り

受け解析の方法とその精度.”情報処理学会論文誌, 36 (10), 2353-2361.

下岡和也, 内元清貴, 河原達也, 井佐原均 (2005). “日本語話し言葉の係り受け解析と文境界推定

の相互作用による高精度化.” 自然言語処理, 12 (3), 3-18.

高梨克也, 丸山岳彦, 内元清貴, 井佐原均 (2003). “話し言葉の文境界一CSJコーパスにおける文

境界の定義と半自動認定一.”言語処理学会第 9 回年次大会発表論文集, pp. 521-524.

内元清貴, 関根聡, 井佐原均 (1999). “最大エントロピー法に基づくモデルを用いた日本語係り

受け解析.”情報処理学会論文誌, 40 (9), 3397-3407.

内元清貴, 村田真樹, 関根聡, 井佐原均 (2000). “後方文脈を考慮した係り受けモデル.” 自然言語処理, 7 (5), 3-17.

内元清貴, 丸山岳彦, 高梨克也, 井佐原均 (2003). “『日本語話し言葉コーパス』における係り受け構造付与.”平成 15 年度国立国語研究所公開研究発表会予稿集.

Uchimoto, K., Hamabe, R., Maruyama, T., Takanashi, K., Kawahara, T. and Isahara, H. (2006).

"Dependency-structure Annotation to Corpus of Spontaneous Japanese." In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC 2006), pp. 635-638.

Venditti, J. (1995). "Japanese ToBI Labelling Guidelines." Papers from the Linguistics Labora-
tory. Ohio State University Working Papers in Linguistics, 50, 127-162.

## 略歴

浜辺良二: 2005 年京都大学工学部情報学科卒業. 2007 年同大学院情報学研究科修士課程修了. 現在, パナソニックコミュニケーションズ株式会社に勤務.在学中, 話し言葉処理の研究に従事.

内元清貴：1994 年京都大学工学部電気工学第二学科卒業. 1996 年同大学院修士課程修了. 博士 (情報学). 同年郵政省通信総合研究所入所. 現在, 独立行政法人情報通信研究機構主任研究員. 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, ACL, 各会員.

河原達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 1990 年同博士後期課程退学. 同年京都大学工学部助手. 1995 年同助教授. 1998 年同大学情報学研究科助教授. 2003 年同大学学術情報メディアセンター教授. 現在に至る。この間, 1995 年から 1996 年まで米国べル研究所客員研究員. 1998 年から ATR 客員研究員. 1999 年から 2004 年まで国立国語研究所非常勤研究員. 2001 年から 2005 年まで科学技術振興事業団さきがけ研究 21 研究者. 音声言語処理, 特に音声認識・理解に関する研究に従事. 京大博士 (工学). 1997 年度日本音響学会粟屋潔学術奨励賞受賞. 2000 年度情報処理学会坂井記念特別賞受賞. 情報処理学会連続音声認識コンソーシアム代表, IEEE SPS Speech TC 委員, IEEE ASRU 2007 General Chair, 言語処理学会理事, を歴任. 情報処理学会音声言語情報処理研究会主査. 日本音響学会, 人工知能学会各評議員. 情報処理学会, 電子情報通信学会, 言語処理学会, IEEE 各会員.

井佐原均：1978 年京都大学工学部電気工学第二学科卒業. 1980 年同大学院修士課程修了. 博士 (工学). 同年通商産業省電子技術総合研究所入所. 1995 年郵政省通信総合研究所. 現在, 独立行政法人情報通信研究機構上席研究員およびタイ自然言語ラボラトリー長. 自然言語処理, 語彙意味論の研究に従事.言語処理学会, 情報処理学会, 人工知能学会, 日本認知科学会, ACL, 各会員.

(2007 年 3 月 22 日受付) (2007 年 7 月 4 日再受付) (2008 年 8 月 10 日採録)