# テキストの表層情報と潜在情報を利用した適合性フィードバック
## 原島純†・黒橋 禎夫

適合性フィードバックの手法の多くは，テキストに表層的に出現する単語の情報だけを用いて検索結果をリランキングしている。これに対し，本稿では，テキストに表層的に出現する単語の情報だけでなく, テキストに潜在的に現れうる単語の情報も利用する適合性フィードバックの手法を提案する。提案手法では，まず検索結果に対して Latent Dirichlet Allocation (LDA) を実行し, 各文書に潜在する単語の分布を推定する。ユーザからフィードバックが得られたら，これに対しても LDA を実行し，フィードバックに潜在する単語の分布を推定する。そして，表層的な単語の分布と潜在的な単語の分布の両方を用いてフィードバックと検索結果中の各文書との類似度を算出し，これに基づいて検索結果をリランキングする。実験の結果， 2 文書（合計 3,589 単語）から成るフィードバックが与えられたとき，提案手法が初期検索結果の Precision at 10 (P@10)を $27.6 \%$ 改善することが示された. また，提案手法が，フィードバックが少ない状況でも，初期検索結果のランキング精度を改善する特性を持つことが示された (e.g., フィードバックに 57 単語しか含まれていなくても，P@10で $5.3 \%$ の改善が見られた).

キーワード：情報検索，適合性フィードバック，LDA

## Relevance Feedback using Surface and Latent Information in Texts

\author{
Jun Harashima $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Most of the previous relevance feedback methods re-rank search results using only the information of surface words in texts. In this paper, we present a novel method that uses not only the information of surface words, but also that of latent words that are highly probable from the texts. In the proposed method, we infer the latent word distribution in each document in the search results using latent Dirichlet allocation (LDA). When user feedback is given, we also infer the latent word distribution in the feedback using LDA. We calculate the similarities between the user feedback and each document in the search results using both the surface and latent word distributions, and then, we re-rank the search results based on the similarities. Evaluation results show that when user feedback that consists of two documents ( 3,589 words) is given, our method improves the initial search results by $27.6 \%$ in precision at 10 (P@10). Additionally, it proves that our method has the advantage of performing well even when only a small amount of user feedback is available (e.g., improvement of $5.3 \%$ in P@10 was achieved even when user feedback constituted only 57 words).

Key Words: Information Retrieval, Relevance Feedback, Latent Dirichlet Allocation

## 1 はじめに

検索エンジンの主な目的は，ユーザの情報要求に適合する文書をランキング形式でユーザに提供することである。しかし, 情報要求に見合うランキングを実現するのは容易ではない.これは, ユーザが入力するクエリが一般的に, 短く, 曖昧であり (Jansen, Spink, and Saracevic 2000), ユーザの情報要求を推定するのが困難であることに起因する．例えば「マック。価格」 というクエリは，「Mac (コンピュータ)」の価格とも，「マクドナルド」の価格とも，もしくは他の「マック」の価格とも解釈できる。 そのため, どの「マック」に関する文書が求められているのか分からなければ，ユーザの情報要求に見合うランキングを実現するのは難しい.

このような問題を解決する方法の一つとして, 適合性フィードバック (Rocchio 1971) がある.適合性フィードバックでは，ユーザから明示的（もしくは擬似的）に得られるフィードバックを利用することで，検索結果のランキングを修正する．具体的には，次のような手続きに従ってランキングの修正を行う.

(1) クエリに対する初期検索結果をユーザに提示する.

（2）初期検索結果中から，情報要求に適合する文書をユーザに選択させる。

（3）選択された文書（フィードバック）を利用して, 初期検索結果のランキングを修正する.

ザがこの話題に関心を持っていると推測できる。 そして，この情報を基に検索結果のランキングを修正することができる.

適合性フィードバックには, ベースとするランキングアルゴリズムに応じて, 様々な手法がある. Rocchio の手法 (Rocchio 1971)や Ide の手法 (Ide 1971)は, ベクトル空間モデルに基づくランキングアルゴリズム (Salton, Wong, and Yang 1975) に対する適合性フィードバックの手法として有名である．確率モデルに基づくランキングアルゴリズム (Spärck Jones, Walker, and Robertson 2000)においては，フィードバックを用いて，クエリ中の単語の重みを修正したり， クエリを拡張することができる。言語モデルに基づくランキングアルゴリズム (Ponte and Croft 1998)に対しては, Zhai らの手法 (Zhai and Lafferty 2001) が代表的である.

このように適合性フィードバックには様々な手法があるが, それらの根底にあるアイディアは同じである。すなわち, 適合性フィードバックでは, フィードバックと類似する文書を検索結果の上位にリランキングする。ここで, 既存の手法の多くは, テキスト（フィードバック及び検索結果中の各文書）に表層的に出現する単語の情報だけを用いて類似度を算出している。すなわち，テキストに含まれていない単語の情報は利用していない. しかし, 表層的には出現していなくても, そのテキストに潜在的に現れうる単語の情報は, リランキングに役に立ちうる

と考えられる．上の「マック」の例であれば，仮にフィードバック（この例では「Mac（コンピュータ)」の価格に関する文書）に「CPU」や「ハードデイスク」などの単語が含まれていなくても，これらの単語はフィードバックとよく関連しており，潜在的にはフィードバックに現れうる。検索結果中の適合文書（i.e.,「Mac（コンピュータ）」の価格に関する文書）についても同様のことが言える. 仮にある適合文書にこれらの単語が含まれていなくても, これらの単語は適合文書によく関連しており，潜在的にはその文書に現れうる。このように，テキストに現れうる単語の情報があれば，フィードバックと検索結果中の各文書との類似度を算出する際に有用であると考えられる。

そこで，本稿では，テキストに表層的に存在する単語の情報だけでなく，テキストに潜在的に現れうる単語の情報も利用する適合性フィードバックの手法を提案する。提案手法では，まず Latent Dirichlet Allocation (LDA) (Blei, Ng, and Jordan 2003) を用いて, テキストに潜在するトピックの分布を推定する. 次に，推定された潜在トピックの分布を基に，各テキストに潜在的に現れうる単語の分布を推定する。そして，推定された潜在的な単語の分布とテキストの表層的な単語の分布の両方を用いて，フィードバックと検索結果中の各文書との類似度を算出し，これを基に検索結果をリランキングする。実験の結果， 2 文書（合計 3,589 単語）から成るフィードバックが与えられたとき, 提案手法が初期検索結果の Precision at 10 (P@10) を $27.6 \%$改善することが示された。また, 提案手法が, フィードバックが少ない状況でも, 初期検索結果のランキング精度を改善する特性を持つことが示された (e.g., フィードバックに 57 単語しか含まれていなくても，P@10で $5.3 \%$ の改善が見られた).

以降，本稿では，次の構成に従って議論を進める。2 章では，提案手法の基礎をなす，言語乇デルに基づくランキングアルゴリズムについて概説する。 3 章では，提案手法で使用する LDA について解説する， 4 章では，提案手法について説明する． 5 章では，提案手法の有効性を調查するために行った実験と，その結果について報告する，最後に， 6 章で，本稿の結論を述べる.

## 2 言語モデルに基づくランキング

本章では，言語モデルに基づくランキングアルゴリズムについて概説する。ここで紹介する技術は，4章で説明する提案手法の基礎をなしている.

## 2.1 概要

言語モデルに基づくランキングアルゴリズムは，三つのタイプに分類できる。 すなわち, クエリの尤度に基づく方法 (Ponte and Croft 1998), 文書の尤度に基づく方法 (Lavrenko and Croft 2001)，カルバック・ライブラー情報量に基づく方法 (Lafferty and Zhai 2001)の三つである.

クエリの尤度に基づく方法では, 文書セット中の各文書 $\boldsymbol{d}_{h}(h=1, \ldots, H)$ について, $\boldsymbol{d}_{h}$ を表

て, $P_{\boldsymbol{d}_{h}}(\cdot)$ がクエリを生成する確率 $P_{\boldsymbol{d}_{h}}(\boldsymbol{q})$ を計算する。そして, $P_{\boldsymbol{d}_{h}}(\boldsymbol{q})$ が高い順に各文書をランキングする.

文書の尤度に基づく方法は，クエリの尤度に基づく方法と逆のアプローチを採る。すなわち， クエリ $\boldsymbol{q}$ を表す言語モデル $P_{\boldsymbol{q}}(\cdot)$ を構築し, 文書セット中の各文書 $\boldsymbol{d}_{h}$ について, $P_{\boldsymbol{q}}\left(\boldsymbol{d}_{h}\right)$ を計算する。そして， $P_{\boldsymbol{q}}\left(\boldsymbol{d}_{h}\right)$ が高い順に各文書をランキングする.

カルバック・ライブラー情報量に基づく方法では， $P_{\boldsymbol{q}}(\cdot)$ と $P_{\boldsymbol{d}_{h}}(\cdot)$ の両方を構築する。そして, 各文書 $\boldsymbol{d}_{h}$ について,$P_{\boldsymbol{q}}(\cdot)$ と $P_{\boldsymbol{d}_{h}}(\cdot)$ のカルバック・ライブラー情報量 $K L\left(P_{\boldsymbol{q}}(\cdot) \| P_{\boldsymbol{d}_{h}}(\cdot)\right)$ を計算し, これが小さい順に各文書をランキングする.

## 2.2 言語モデルの構築方法

クエリや文書を表す言語モデル¹は, Maximum Likelihood Estimation (MLE) や DIRichlet smoothed estimation (DIR) (Zhai and Lafferty 2004) などの方法を用いて構築する.

MLE では, テキスト $\boldsymbol{t}\left(\boldsymbol{t}\right.$ はクエリや文書) における単語 $w$ の生起確率 $P_{\boldsymbol{t}}^{M L E}(w)$ を次式によって算出する.

$
P_{\boldsymbol{t}}^{M L E}(w)=\frac{t f(w, \boldsymbol{t})}{|\boldsymbol{t}|}
$

ただし， $t f(w, \boldsymbol{t})$ は $\boldsymbol{t}$ における $w$ の出現頻度を表す。また， $|\boldsymbol{t}|$ は， $\boldsymbol{t}$ に含まれる単語数を表す.

一方，DIR では， $\boldsymbol{t}$ における $w$ の生起確率 $P_{\boldsymbol{t}}^{D I R}(w)$ を次式によって算出する.

$
P_{\boldsymbol{t}}^{D I R}(w)=\frac{t f(w, \boldsymbol{t})+\mu P_{\boldsymbol{D}_{a l l}}^{M L E}(w)}{|\boldsymbol{t}|+\mu}
$

ただし， $\boldsymbol{D}_{\text {all }}$ は文書セットを表す。また， $\mu$ はスムージングパラメータを表す。ＤIR では，MLE と異なり， $\boldsymbol{D}_{\text {all }}$ におり $w$ の出現頻度が加味されており，スムージングが行われている。

## 2.3 代表的な適合性フィードバックの手法

言語モデルに基づくランキングアルゴリズムに対する代表的な適合性フィードバックの手法として, Zhai らの手法 (Zhai and Lafferty 2001) がある. Zhai らの手法では, フィードバックとして与えられた文書集合 $\boldsymbol{F}=\left(\boldsymbol{f}_{1}, \ldots, \boldsymbol{f}_{G}\right)$ に対して, $\boldsymbol{F}$ を表す言語モデル $P_{\boldsymbol{F}}(\cdot)$ を構築する ${ }^{2}$.次に， $P_{\boldsymbol{F}}(\cdot)$ と $P_{\boldsymbol{q}}(\cdot)$ （初期検索結果を得るために使用したクエリモデル）を足し合わせ，新しいクエリモデルを構築する。そして，新しいクエリモデルを用いて，初期検索結果のランキングを修正する。

Zhai らの手法は, 言語モデルに基づくランキングアルゴリズムに対する基本的な適合性フィー ドバックの手法として重要である。しかし, 彼らの手法では, テキストに表層的に存在する単語の情報しか用いられていない。これに対し, 提案手法では, テキストに潜在的に現れうる単語の分布を推定し，この情報も用いて適合性フィードバックを行う.

## 3 LDA

本章では LDA (Blei et al. 2003) について解説する. LDA は, 提案手法において, 各単語がテキストに潜在的に現れうる確率を推定するために用いられる.

## 3.1 概要

LDA は文書の生成モデルの一つである，LDA では，文書は複数のトピックから生成されると仮定する。また, 文書中の各単語は, 各トピックが持つ単語の分布から生成されると仮定する. ある文書における各トピックの混合比 $\boldsymbol{\theta}=\left(\theta_{1}, \ldots, \theta_{K}\right)$ は， $(K-1)$ 単体中の一点を取る. ただし，単体中のある一点が選択される確率は, Dirichlet 分布によって決められるとする。

以上の生成過程をまとめると, LDA における文書 $\boldsymbol{d}$ の生成確率は, 次のようにして計算される。

$
P\left(\boldsymbol{d} \mid \boldsymbol{\alpha}, \boldsymbol{\beta}_{1}, \ldots, \boldsymbol{\beta}_{K}\right)=\int P(\boldsymbol{\theta} \mid \boldsymbol{\alpha})\left(\prod_{j=1}^{J}\left(\sum_{k=1}^{K} P\left(w_{j} \mid z_{k}, \boldsymbol{\beta}_{k}\right) P\left(z_{k} \mid \boldsymbol{\theta}\right)\right)^{t f\left(w_{j}, \boldsymbol{d}\right)}\right) d \boldsymbol{\theta}
$

ただし, $P(\boldsymbol{\theta} \mid \boldsymbol{\alpha})$ は, Dirichlet 分布から得られる $\boldsymbol{\theta}$ の生成確率である. $\boldsymbol{\alpha}=\left(\alpha_{1}, \ldots, \alpha_{K}\right)$ は正の実数から構成される $K$ 次元ベクトルで, Dirichlet 分布のパラメータを表す.また, $P\left(w_{j} \mid z_{k}, \boldsymbol{\beta}_{k}\right)$ と $P\left(z_{k} \mid \boldsymbol{\theta}\right)$ は，多項分布から得られる $w_{j}$ と $z_{k}$ の生成確率である。 $z_{k}(k=1, \ldots, K)$ はトピックを, $\boldsymbol{\beta}_{k}$ は $z_{k}$ が持つ単語の分布を表す. Jは LDA で考慮する語彙数を表す.

## 3.2 パラメータの推定方法

LDA では, 変分ベイズ法やギブスサンプリングなどを用いてパラメータを推定する (Blei et al. 2003; Griffiths and Steyvers 2004). ギブスサンプリングを用いれば，より厳密な推定結果が得られる．実装も容易なため，一般的にはギブスサンプリングが用いられることが多い．しかし， ギブスサンプリングには推定に時間を要するという欠点がある，一方，変分ベイズ法は，厳密な推定結果は得られないが，高速に動作する。即時性が要求される検索というタスクの性質を考慮し，提案手法では変分ベイズ法を用いる．以下，変分ベイズ法による推定方法について説明する。

まず，訓練データ中の各文書 $\boldsymbol{d}_{i}(i=1, \ldots, I)$ について，変分パラメータ $\gamma_{i}=\left(\gamma_{i 1}, \ldots, \gamma_{i K}\right)$

と $\phi_{i}=\left(\phi_{i 1}, \ldots, \phi_{i J}\right)$ を導入する. ただし, $\phi_{i j}=\left(\phi_{i j 1}, \ldots, \phi_{i j K}\right)$ である. そして, 式 (4) と式 (5)を交互に計算し，これらの値を更新する.

$
\begin{aligned}
\phi_{i j k} & \propto \beta_{k j} \exp \left(\Psi\left(\gamma_{i k}\right)-\Psi\left(\sum_{k^{\prime}=1}^{K} \gamma_{i k^{\prime}}\right)\right) \\
\gamma_{i k} & =\alpha_{k}+\sum_{j=1}^{J} \phi_{i j k} \operatorname{tf}\left(w_{j}, \boldsymbol{d}_{i}\right)
\end{aligned}
$

ただし， $\Psi$ はディガンマ関数を表す.

次に，更新された $\gamma_{i}$ と $\phi_{i}$ を用いて， $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ を更新する， $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ の更新には，ニュートン-ラフソン法や固定点反復法を用いる (Blei et al. 2003; Minka 2000). ここでは固定点反復法による $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ の更新式を示す. 更新式は次の通りである.

$
\begin{aligned}
\beta_{k j} & \propto \sum_{i=1}^{I} \phi_{i j k} t f\left(w_{j}, \boldsymbol{d}_{i}\right) \\
\alpha_{k} & =\frac{\sum_{i=1}^{I}\left.\{\Psi\left(\alpha_{k}+n_{i k}\right)-\Psi\left(\alpha_{k}\right)\right.\}}{\sum_{i=1}^{I}\left.\{\Psi\left(\alpha_{0}+\left|\boldsymbol{d}_{i}\right|\right)-\Psi\left(\alpha_{0}\right)\right.\}} \alpha_{k}^{o l d}
\end{aligned}
$

ただし， $n_{i k}=\sum_{j=1}^{J} \phi_{i j k} t f\left(w_{j}, \boldsymbol{d}_{i}\right), \quad \alpha_{0}=\sum_{k^{\prime}=1}^{K} \alpha_{k^{\prime}}$ とする.また， $\alpha_{k}^{\text {old }}$ は更新前の $\alpha_{k}$ を表すものとする。

以降, $\gamma_{i}$ と $\phi_{i}$ の更新と, $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ の更新を繰り返すことで, 各パラメータの値を推定することができる， $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ の值が推定されれば，式 (3) を用いて，文書 $\boldsymbol{d}_{i}$ の生成確率を求めることができる，また， $\gamma_{i}$ の値が推定されれば，次式を用いて，文書 $\boldsymbol{d}_{i}$ における単語 $w_{j}$ の生起確率 $P_{\boldsymbol{d}_{i}}^{L D A}\left(w_{j}\right)$ を求めることができる.

$
P_{\boldsymbol{d}_{i}}^{L D A}\left(w_{j}\right) \simeq \sum_{k=1}^{K} \frac{\beta_{k j} \gamma_{i k}}{\sum_{k^{\prime}=1}^{K} \gamma_{i k^{\prime}}}
$

ここで， $\gamma_{i k} / \sum_{k^{\prime}=1}^{K} \gamma_{i k^{\prime}}$ は， $\boldsymbol{d}_{i}$ に潜在するトピックの分布に相当する. これに基づいて $\boldsymbol{\beta}_{k j}$ を足し合わせることで,$w_{j}$ が $\boldsymbol{d}_{i}$ に潜在的に現れうる確率を求めることができる.

## 3.3 未知テキストに対する適用

LDA は Probabilistic Latent Semantic Analysis (PLSA) (Hofmann 1999)をベイズ的に拡張したモデルと位置付けられる。 PLSA に対する LDA の長所として，LDA は未知テキスト（訓練データ中に含まれないテキスト）に関する確率も推定できるという点が挙げられる。未知テキスト $\boldsymbol{t}$ に LDA を適用するときは， $\boldsymbol{t}$ に対して変分パラメータ $\gamma_{t}$ と $\phi_{t}$ を導入し, 式 (4) と式 （5）を用いてこれらの値を推定する．ただし， $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ には，訓練デー夕によって推定された値を用いる， $\gamma_{t}$ が推定されれば，式 (8) を用いて，未知テキスト $\boldsymbol{t}$ におけ単語 $w_{j}$ の生成確
率 $P_{\boldsymbol{t}}^{L D A}\left(w_{j}\right)$ を求めることができる. 提案手法では, LDA のこの長所を利用して, 各単語がフィードバックに潜在的に現れうる確率を求めている.

## 3.4 情報検索における LDA の利用

LDA は, 自然言語処理や画像処理, 音声認識など, 様々な分野で利用されている (Blei et al. 2003; Fei-Fei and Perona 2005; Heidel, an Chang, and shan Lee 2007). 情報検索の分野では, 例えば Wei らが，クエリの尤度に基づくランキング手法に LDA を利用している (Wei and Croft 2006). また，Yi らは文書の尤度に基づくランキング手法に，Zhou らはカルバック・ライブラー 情報量に基づくランキング手法に LDA を利用している (Yi and Allan 2009; Zhou and Wade 2009). これらの研究は，LDA を用いて各文書の文書モデルを構築し，それぞれのスコア (e.g., クエリの尤度）に基づいてクエリに対する検索結果を取得するものである．本研究では，さらに, ユーザからフィードバックが得られる問題（i.e., 適合性フィードバックの問題）に焦点を当てる. 我々は，フィードバックに対しても LDA を用いてその言語モデルを構築し，構築されたフィードバックモデルを用いて検索結果を修正する.

## 4 提案手法

本章では, 提案手法の概要と, 提案手法を構成する各ステップについて詳説する.

## 4.1 概要

提案手法では, テキストに表層的に存在する単語の情報だけでなく, テキストに潜在的に現れうる単語の情報も利用して，検索結果をリランキングする，表層情報だけでなく潜在情報も考慮することで，表層的なレベルだけでなく潜在的なレベルでもフィードバックと類似する文書を検索結果の上位にリランキングする。

図 1 に提案手法の概要を示す，以降，本稿では，テキスト $\boldsymbol{t}$ の表層情報と潜在情報の両方を含む言語モデルを $P_{\boldsymbol{t}}^{H Y B}(\cdot)$ と表す (HYB は hybrid を表す)。まず, ユーザによって入力されたクエリ $\boldsymbol{q}$ に対して, その初期検索結果 $\boldsymbol{D}_{\boldsymbol{q}}=\left(\boldsymbol{d}_{1}, \ldots, \boldsymbol{d}_{I}\right)$ を取得する (Step 1). 次に, LDA を用いて, $\boldsymbol{D}_{\boldsymbol{q}}$ 中の各文書 $\boldsymbol{d}_{i}(i=1, \ldots, I)$ について， $\boldsymbol{d}_{i}$ に潜在的に現れうる単語の分布を推定する. そして, $\boldsymbol{d}_{i}$ の表層的な単語の分布と潜在的な単語の分布の両方を考慮した言語モデル $P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)$ を構築する $\left(\right.$ Step 2). ユーザからフィードバック $\boldsymbol{F}=\left(\boldsymbol{f}_{1}, \ldots, \boldsymbol{f}_{G}\right)$ が得られたら， $\boldsymbol{F}$ に対してもLDA を実行し， $\boldsymbol{F}$ に潜在的に現れうる単語の分布を推定する。そして, 検索結果中の各文書と同様， $\boldsymbol{F}$ に対しても， $\boldsymbol{F}$ の表層的な単語の分布と潜在的な単語の分布の両方を考慮した言語モデル $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ を構築する $($ Step 3$)$. 最後に, 構築されたフィードバックモデル $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ と,初期検索結果 $\boldsymbol{D}_{\boldsymbol{q}}$ を得るために使用したクエリモデル $P_{\boldsymbol{q}}^{M L E}(\cdot)$ を混合し, 新しいクエリモデル

図 1 提案手法の概要

$P_{\boldsymbol{q}}^{N E W}(\cdot)$ を構築する. そして, 検索結果中の各文書 $\boldsymbol{d}_{i}$ について, 文書モデル $P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)$ と新しいクエリモデル $P_{\boldsymbol{q}}^{N E W}(\cdot)$ との類似度を算出し, これに基づいて $\boldsymbol{D}_{\boldsymbol{q}}$ をリランキングする (Step 4). 次節以降では, 各ステップについて詳説する。

なお, 提案手法とはそもそもの検索モデルが異なるが，テキストの潜在情報を利用するため, Latent Semantic Analysis (LSA) を用いることも考えられる。すなわち，各文書をべクトルで表現し，文書セットに対してLSAを実行する。そして，LSAの実行結果を用いて各べクトルを低次元の意味的空間に射影することで，各文書に潜在的に現れうる単語の情報を利用することができる。しかし，この方法では，今述べた通り，文書セット全体に対して LSA を実行する必要がある。文書セットは時に数千万〜数億文書にも及ぶため，LSA の実行には膨大な時間を要する，さらに，もし文書セットに対する文書の追加や削除があれば，LSA を実行しなおさなければならない. 一方, 提案手法では, 検索結果中の各文書に対する $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ やフィードバックに対する $P_{\boldsymbol{F}}^{L D A}(\cdot)$ を構築するため, 検索結果に対して LDA を実行する必要がある（4.3 節及び 4.4 節で後述)。しかし，検索結果は文書セットより明らかに規模が小さく, これに要する時間は問題にならない (5.7 節で後述)。このように, LSA に基づく手法と提案手法の間には, ベー スとする検索モデルや効率の面で大きな違いがある.

## 4.2 初期検索結果の取得

提案手法では, カルバック・ライブラー情報量に基づいて (Lafferty and Zhai 2001), 各文書をランキングする。まず，文書セット $\boldsymbol{D}_{\text {all }}$ 中の各文書 $\boldsymbol{d}_{h}(h=1, \ldots, H)$ について，DIR に基づく文書モデル $P_{\boldsymbol{d}_{h}}^{D I R}(\cdot)$ をあらかじめ構築しておく. ユーザからクエリ $\boldsymbol{q}$ が与えられると， $\boldsymbol{q}$ に対して MLE に基づくクエリモデル $P_{\boldsymbol{q}}^{M L E}(\cdot)$ を構築する。そして， $\boldsymbol{D}_{\text {all }}$ 中の $\boldsymbol{q}$ を含む各文書について, $P_{\boldsymbol{q}}^{M L E}(\cdot)$ と $P_{\boldsymbol{d}_{h}}^{D I R}(\cdot)$ のカルバック・ライブラー情報量を計算する. すなわち, クエ

リ $\boldsymbol{q}$ に対する文書 $\boldsymbol{d}_{h}$ の重要度は, 次式のように定義される。

$
\text { initial_score }\left(\boldsymbol{d}_{h}, \boldsymbol{q}\right)=-K L\left(P_{\boldsymbol{q}}^{M L E}(\cdot) \| P_{\boldsymbol{d}_{h}}^{D I R}(\cdot)\right)
$

この重要度に従って各文書をランキングし， $\boldsymbol{q}$ に対する初期検索結果 $D_{q}$ を得る.

クエリモデルの構築に MLE を用いたのは, 言語モデルに基づくランキングに関する先行研究 (e.g., (Zhai and Lafferty 2001)) に倣ってのことである. なお，クエリモデルの構築に MLE を用いた場合, カルバック・ライブラー情報量に基づくランキングは, クエリの尤度に基づくランキング (Ponte and Croft 1998) と等価になる.

## 4.3 文書モデル $P_{\boldsymbol{d_{i}}^{H Y B}(\cdot)$ の構築}

$\boldsymbol{D}_{\boldsymbol{q}}$ 中の各文書 $\boldsymbol{d}_{i}(i=1, \ldots, I)$ について, $\boldsymbol{d}_{i}$ の表層情報と潜在情報の両方を含む言語モデル $P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)$ を構築する，まず，各文書 $\boldsymbol{d}_{i}$ について，LDA を用いて， $\boldsymbol{d}_{i}$ の潜在情報を含む言語モデル $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ を構築する。具体的な手順は次の通りである。まず， $\boldsymbol{D}_{\boldsymbol{q}}$ に対して LDAを実行し， $\boldsymbol{D}_{\boldsymbol{q}}$ に対する LDA のパラメータ $\alpha_{k}$ と $\boldsymbol{\beta}_{k}(k=1, \ldots, K), \gamma_{i}(i=1, \ldots, I)$ を推定する $(3.2$節参照)，次に，各文書について，推定された各パラメータ及び式 (8)を用いて $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ を構築する． $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ は， $\boldsymbol{d}_{i}$ に潜在するトピックの分布を基に構築されており，各単語が $\boldsymbol{d}_{i}$ に潜在的に現れうる確率の分布になる（式 (8) 参照).

次に，構築された $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ と $P_{\boldsymbol{d}_{i}}^{D I R}(\cdot)$ を次式によって混合し， $P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)$ を構築する.

$
P_{\boldsymbol{d}_{\boldsymbol{i}}}^{H Y B}(w)=(1-a) P_{\boldsymbol{d}_{\boldsymbol{i}}}^{D I R}(w)+a P_{\boldsymbol{d}_{\boldsymbol{i}}}^{L D A}(w)
$

ただし， $0 \leq a \leq 1$ とする． $P_{\boldsymbol{d}_{i}}^{D I R}(\cdot)$ は，各文書の表層的な単語の分布を基に構築される（式 $(2)$参照)． $P_{\boldsymbol{d}_{i}}^{D I R}(\cdot)$ と $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ を混合することで， $\boldsymbol{d}_{i}$ の表層情報と潜在情報の両方を含む言語モデルを構築することができる.

## 4.4 フィードバックモデル $P_{F^{H Y B}(\cdot)$ の構築}

フィードバック $\boldsymbol{F}$ が得られたら， $\boldsymbol{F}$ に対しても， $\boldsymbol{F}$ の表層情報と潜在情報の両方を含む言語モデル $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ を構築する。まず， LDA を用いて， $\boldsymbol{F}$ の潜在情報を含む言語モデル $P_{\boldsymbol{F}}^{L D A}(\cdot)$ を構築する。具体的な手順は次の通りである。まず，Step 2 で訓練された LDA を $\boldsymbol{F}$ に適用し， $\boldsymbol{F}$ に対する変分パラメータ $\gamma_{\boldsymbol{F}}$ を推定する（3.3 節参照），次に，推定された $\gamma_{\boldsymbol{F}}$ と式 (8) を用いて $P_{\boldsymbol{F}}^{L D A}(\cdot)$ を構築する， $P_{\boldsymbol{F}}^{L D A}(\cdot)$ は, $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ と同様, 各単語が $\boldsymbol{F}$ に潜在的に現れうる確率の分布になる.

次に，構築された $P_{\boldsymbol{F}}^{L D A}(\cdot)$ と $P_{\boldsymbol{F}}^{D I R}(\cdot)$ を次式によって混合し, $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ を構築する.

$
P_{\boldsymbol{F}}^{H Y B}(w)=(1-a) P_{\boldsymbol{F}}^{D I R}(w)+a P_{\boldsymbol{F}}^{L D A}(w)
$

ただし， $P_{\boldsymbol{F}}^{D I R}(\cdot)$ は式 $(2)$ を用いて構築する. $P_{\boldsymbol{F}}^{D I R}(\cdot)$ と $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ を混合することで, $\boldsymbol{F}$ の表層情報と潜在情報の両方を含む言語モデルを構築することができる.

## 4.5 リランキング

$D_{q}$ をリランキングするため，まず新しいクエリモデルを構築する，新しいクエリモデル $P_{\boldsymbol{q}}^{N E W}(\cdot)$ は， $\boldsymbol{D}_{\boldsymbol{q}}$ を得るために使用したクエリモデル $P_{\boldsymbol{q}}^{M L E}(\cdot)$ と, Step 3 で構築したフィードバックモデル $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ を次式のようにして混合し, 構築する.

$
P_{\boldsymbol{q}}^{N E W}(w)=(1-b) P_{\boldsymbol{q}}^{M L E}(w)+b P_{\boldsymbol{F}}^{H Y B}(w)
$

ただし， $0 \leq b \leq 1$ とする.

最後に， $\boldsymbol{D}_{\boldsymbol{q}}$ 中の各文書 $\boldsymbol{d}_{i}$ について,$P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)$ と $P_{\boldsymbol{q}}^{N E W}(\cdot)$ のカルバック・ライブラー情報量を算出する。 すなわち, クエリ $\boldsymbol{q}$ とフィードバック $\boldsymbol{F}$ が与えられた下での文書 $\boldsymbol{d}_{i}$ の重要度を次式のように定義する。

$
\text { re-ranking_score }\left(\boldsymbol{d}_{i}, \boldsymbol{q}, \boldsymbol{F}\right)=-K L\left(P_{\boldsymbol{q}}^{N E W}(\cdot) \| P_{\boldsymbol{d}_{i}}^{H Y B}(\cdot)\right)
$

この重要度に従って各文書をリランキングすることで，検索結果のランキングを修正する。

## 5 実験

本章では, 提案手法の有効性を調査するために行った実験と, その結果について報告する.

## 5.1 実験データ

実験は, 第 3 回 NTCIR ワークショップ3で構築されたウェブ検索評価用テストセット (Eguchi, Oyama, Ishida, Kuriyama, and Kando 2002)を用いて, これを行った. テストセットは, 11, 038,720 ページの日本語ウェブ文書と, 47 個の検索課題から成る. 検索課題ごとに, 約 2,000 文書に, その課題に対する適合度が付与されている。たたし，適合度は「高適合」「適合」「部分適合」「不適合」のいずれかである。これらの適合度が付与された文書を用いて, 検索結果のランキング精度を測ることができる.

図 2 に検索課題の一例を示す. 各タグが表す意味内容は次の通りである.

NUM 課題番号.

TITLE 検索システムに入力するであろう単語. 課題作成者によって $2 \sim 3$ 語がリストアップされている. 左から順に重要.
^{3}$ http://research.nii.ac.jp/ntcir/ntcir-ws3/ws-ja.html
}

図 2 テストセットにおける検索課題の一例

DESC課題作成者の情報要求を一文で表したもの.

RDOC 情報要求に適合する代表的な文書の ID. 課題作成者によって $2 \sim 3$ 個がリストアップされている.

実験では，〈TITLE 〉タグの単語をクエリとして使用した。ただし，提案手法では，検索の質を高めるため，クエリを含む文書（クエリを構成する各タームが最低でも 1 回以上出現する文書）のみをスコア付けの対象として収集する（4.2 節参照）そのため, 〈TITLE 〉ダの全ての単語を用いると, 多くの検索課題において, 検索される文書数が極端に少なくなってしまった.例えば，課題番号 0027,0047, 0058 などは, それぞれ 17 文書, 5 文書, 14 文書しか検索できなかった. 課題番号 0061 に至っては 1 文書も検索できなかった. このように検索される文書が少ないと，適合性フィードバックの有効性が検証しにくい。すなわち, 実際に適合性フィードバックによって初期検索結果のランキングが改善されても, その結果が $\mathrm{P} @ 10$ などの評価尺度の値に反映されにくく, 適合性フィードバックが有効に働いたかどうかが判断しづらい. そこで，実験では，この問題を避けるため, 十分な検索結果が得られるように, クエリとして使用する単語を $\langle T I T L E\rangle$ タグの最初の 2 語のみとした。たたし，「十分」の定義は「100 文書以上」 とした.

また， $\langle\mathrm{RDOC}\rangle$ タグの ID が付与された文書を, ユーザのフィードバックとして使用した. 上で述べた通り, これらは課題作成者本人によって選択された代表的な適合文書であり, フィー ドバックとして使用するのに最適と考えられる。これらの文書は, 提案手法の初期検索結果に含まれるとは限らない。初期検索結果に含まれない場合, これらをユーザのフィードバックとして使用するのは奇異に感じられるかもしれない. しかし, これらの文書は, 仮に初期検索結果に含まれていた場合も, リランキング前後のランキング精度を測定・比較する際, 結局ランキングから取り除かれる（5.3 節で後述）。言い換えれば，これらは，初期検索結果に含まれていた場合も，初期検索結果に含まれない場合のように，検索結果中に存在していないものとして扱われる. このように, どちらの場合でも存在していないものとして扱われることを考えると, これらの文書が初期検索結果に含まれているか含まれていないかは重要ではない．以上を踏まえ, 実験では, これらが初期検索結果に含まれているか含まれていないかは問題にしなかった. 47 個の検索課題のうち， 7 個の検索課題（課題番号: 0011, 0018, 0032, 0040, 0044, 0047, 0061）

については, 実験で使用しなかった. これは, 上で述べたようにクエリとして使用する単語を 2 語にしても，十分な文書（i.e., 100 文書）が検索できなかったためである. さらに, 残った 40 課題を, 開発データと評価データに分けて使用した. 開発データは, 提案手法のパラメータを最適化するために使用した。評価データは，提案手法のランキング精度を測定するために使用した。開発デー夕には 8 課題（課題番号：0008 0017）を，評価デー夕には 32 課題（課題番号 : 0018〜0063）を使用した。

## 5.2 実験用検索システム

実験を行うため, 提案手法に従って適合性フィードバックを行う検索システムを作成した.実装の詳細は以下の通りである。

検索対象とする文書セット (i.e., $\boldsymbol{D}_{\text {all }}$ )には, テストセットの 11, 038, 720 文書を使用した。また，文書セット中の各文書について，次の手順に従って文書モデルを構築した。

(1) Shinzato らの手法 (Shinzato, Kawahara, Hashimoto, and Kurohashi 2008)を用いて本文を抽出し, JUMAN (Kurohashi, Nakamura, Matsumoto, and Nagao 1994)を用いて各文を解析する。

（2）解析結果及び式 (2)を用いて，DIR に基づく文書モデルを構築する．たたし，先行研究 (Zhai and Lafferty 2001; Wei and Croft 2006; Yi and Allan 2009)に倣って, $\mu=1,000$ とした.

クエリが与えられたら，次の手順に従ってクエリモデルを構築した。

(1) JUMAN を用いてクエリを解析する.

(2) 解析結果及び式 (1)を用いて，MLE に基づくクエリモデルを構築する.

LDA の実装については次の通りである。 パラメータ $\alpha_{k}(k=1, \ldots, K)$ の初期值は 1 とした. また， $\boldsymbol{\beta}_{k}(k=1, \ldots, K)$ の初期値にはランダムな値を与えた. $\gamma_{i}$ と $\phi_{i}$ を更新する際の反復回数と， $\alpha_{k}$ と $\boldsymbol{\beta}_{k}$ を更新する際の反復回数は, それぞれ 10 回とした. LDA で考慮する語彙数 $J$ は 100 とした, ただ, LDA で考慮する語彙は, 初期検索結果に対する重要度を基に選出した. ここで，初期検索結果 $\boldsymbol{D}_{\boldsymbol{q}}$ に対する単語 $w$ の重要度は, $d f\left(w, \boldsymbol{D}_{\boldsymbol{q}}\right) * \log \left(H / d f\left(w, \boldsymbol{D}_{\text {all }}\right)\right)$ と定義した. ただし, $d f(w, \boldsymbol{D})$ は $\boldsymbol{D}$ における $w$ の文書頻度を表す.

## 5.3 ランキング精度の測定方法

適合性フィードバックの効果は, 適合性フィードバック前のランキング (i.e., 初期検索結果のランキング）と，適合性フィードバック後のランキングを比較することで検証できる。このとき，フィードバックとして使用する文書の扱いに気を付けなければならない (Hull 1993).

例えば，適合性フィードバック前後のランキングをそのまま比較すると, 後者が有利になってしまう。これは，フィードバックとして与えられた文書（適合であることが分かっている文
書）が，適合性フィードバック後のランキングの上位に含まれやすいためである.

そこで，適合性フィードバック前後のランキングを比較する際，フィードバックとして与えられた文書を適合性フィードバック後のランキングから取り除くという方法が考えられる。しかし，この方法だと，適合性フィードバック前のランキングが有利になってしまう。これは, 適合文書が少ないときに特に問題となる.

以上を踏まえ，実験では，ランキングの精度を測定する際，フィードバックとして使用した文書を各ランキングから取り除いた。これにより，適合性フィードバック前後のランキングを公平に比較することができる.

ランキング精度の評価尺度には, P@10, Mean Average Precision (MAP), Normalized Discounted Cumulative Gain at 10 (NDCG@10) (Järvelin and Kekäläinen 2002) を用いた. ただし, P@10 及び MAP を測定する際は，「高適合」「適合」「部分適合」の文書を正解，「不適合」及び適合度が付与されていない文書を不正解とした。また，NDCG@10 は，「高適合」の文書を 3 点, 「適合」の文書を 2 点, 「部分適合」の文書を 1 点として算出した.

## 5.4 リランキング性能の調査

まず，提案手法が初期検索結果のランキング精度をどの程度改善できるか調查した．具体的には, 初期検索結果のランキング精度と, 提案手法によってリランキングを行った後のランキング精度を比較し, 提案手法の有効性を検証した，実験には評価デー夕を使用し，各検索課題の初期検索結果を取得する際は, 5.1 節で述べたように，〈TITLE 〉タグの最初の 2 単語をクエリとして用いた。また, 実験では, initial_score（式 (9) 参照）の上位 100 件を初期検索結果とした。提案手法を実行する際は，〈RDOC $\rangle$ タグの最初の 2 文書をフィードバックとして用いた. なお,これらの文書に含まれる単語数は平均 3,589 語であった. 提案手法に必要な 3 つのパラメータ $a, b, K$ の値は，それぞれ $0.2 ， 0.9,50$ とした.これらは，5.6 節で述べる実験の結果を基に決定した。

結果を表 1(a) に示す. INIT は各検索課題に対する初期検索結果のランキング精度の平均値

表 1 リランキング性能の調査結果

(a) 適合性フィードバックに対する性能

(b) 擬似適合性フィードバックに対する性能

を, OURS は提案手法実行後のランキング精度の平均値を表す。比較のため, 初期検索結果に対してベースラインとなる手法を実行したときの結果も示した. ZHAI は Zhai らの手法 (Zhai and Lafferty 2001)を, OURS $(a=0.0)$ は提案手法から潜在情報を除いた手法を表す.ただし， ZHAI と OURS $(a=0.0)$ は本質的にはほとんど同じ手法である. 両手法とも, フィードバックの表層の単語分布を文書セット全体の単語分布で補正することでフィードバックモデルを構築し，これを用いてリランキングを行っている。違うのは単語分布の補正の仕方だけである（前者は EM アルゴリズムを用い，後者は DIR を用いて補正を行っている). OURS $(a=0.0)$ では， $b=0.5$ とした.これも，5.6 節で述べる実験の結果を基に決定した.

DIC もべースラインとなる手法を表す。提案手法の核となるアイディアは, テキスト（フィー ドバック及び検索結果中の各文書）に潜在的に現れうる単語の情報を適合性フィードバックに利用することである。同義語辞書や関連語辞書などの知識リソースを用いても，同様のアイディアを実現することができる，DIC では，OURS $(a=0.0)$ をべースに，テキスト中の各単語が同義語を持つ場合, その同義語もそのテキストに出現しているとみなした上でリランキングを行った. ただし, 同義知識は, Shibata らの手法 (Shibata, Odani, Harashima, Oonishi, and Kurohashi 2008) を用いて例会小学国語辞典 (田近 2001) と岩波国語辞典 (西尾, 岩淵, 水谷 2002) から獲得した. 獲得された同義知識 (e.g.,「コンピュータ」=「電子計算機」,「ポテト」=「じゃが芋」=「ばれいしょ」) は 4,597 個であった.

表 1(a)を見ると，すべての尺度において，OURS が INIT を大きく上回っている．例えば $\mathrm{P} @ 10$ は $27.6 \%$ 改善しており，提案手法が初期検索結果をうまくリランキングできたことが分かる。また, 提案手法は, ZHAI や OURS $(a=0.0)$ より高い性能を示した. ZHAI や OURS $(a=0.0)$ は，テキストの表層情報だけを用いて適合性フィードバックを行っている。一方，提案手法は，テキストの表層情報に加え，テキストの潜在情報も用いて適合性フィードバックを行っている。提案手法がこれらの手法を上回ったことから, 潜在情報が適合性フィードバックに有用であったことが分かる.

さらに, リランキング結果を調査したところ, 提案手法が, テキストに表層的には出現しないが潜在的には現れうる単語の情報をうまく利用していることが確認できた. 図 2 の検索課題を例に取ると, 「宗教」や「祝日」「聖書」などの単語は, 情報要求によく関連するが, フィー ドバックとして使用した文書には含まれていなかった。そのため, ZHAI や OURS $(a=0.0)$ では, これらの単語の情報を使用することができなかった。一方, 提案手法では, これらの単語がフィードバックにおいてもある程度の確率で現れうると推定できた。具体的には，「宗教」「祝日」「聖書」は，それぞれ $0.0046,0.0037,0.0024$ の確率で現れうると推定できた。 なお，フィー ドバックに 1 回出現した単語として「クリスマス」や「E A S T E R」などがあったが，これらの生起確率の推定値は，それぞれ $0.0093 ， 0.0060$ であった，提案手法では，これらの推定結果を用いることで, これらの単語を含む検索結果中の適合文書を上位にリランキングすること

ができた.

DIC はあまり有効に機能せず，その結果は ZHAI や OURS $(a=0.0)$ の結果を少し上回る程度であった。この原因は, 我々が構築した同義語辞書のカバレッジにあると思われる。DIC は, よりカバレッジの高い知識リソースが利用できれば（同義語や関連語などの知識をより多く利用できれば），より有効に機能する可能性を持つ。しかし，そのようなリソースを構築するのは容易ではない。一方, 提案手法でも, 単語と単語が関連するという知識を必要とする。しかし, DIC と違って, 何のリソースも必要としない. すなわち, 提案手法では, LDA を用いることで,単語と単語が関連するという知識を検索結果から動的に獲得することができる．1 章の「マックっ価格」というクエリを例に取ると，このクエリに対する検索結果には「CPU」や「ハードディスク」「ハンバーガー」「ポテト」などの単語が含まれると考えられる．提案手法では，検索結果に対して LDA を実行することで，「CPU」と「ハードディスク」が関連するという知識や「ハンバーガー」と「ポテト」が関連するという知識を, トピックという形で動的に獲得することができる，そして，獲得された知識を用いることで，文書に「ハードディスク」という単語が出現していなくても，「CPU」という単語が出現していれば，「ハードディスク」も潜在的にはその文書に現れうると推測できる。このように，DIC と比べると，（カバレッジの高低に関わらず）何のリソースも必要としないという点で，提案手法の方が優れている.

提案手法は擬似適合性フィードバックにも適用可能である。そこで，これに対するリランキング性能も調査した。擬似適合性フィードバックでは, 初期検索結果の上位 $n$ 文書を適合文書とみなし, 適合性フィードバックを行う。実験では， $n=10$ として初期検索結果をリランキングし，リランキング前後のランキング精度を比較した。ただし，擬似適合性フィードバックでは，明示的なフィードバック（適合であることが分かっている文書）は存在しない. そのため, ランキングの精度を測る際，他の実験のように，〈RDOC $\rangle$ タグの文書を各ランキングから除くことはしなかった.

結果を表 $1(\mathrm{~b})$ に示す. INIT の値が表 $1(\mathrm{a})$ と違うのは, ランキング精度を算出する際, 〈RDOC タグの文書を除いていないからである，表 1(b)を見ると，普通の適合性フィードバックに比べると改善の度合いは小さいが，P@10 や NDCG@10の値が上昇している．例えば，P@10では $8.2 \%$ の改善が見られる。このことから, 擬似適合性フィードバックにおいても提案手法がある程度機能することが分かる.

## 5.5 フィードバックが少ない状況でのリランキング性能

現実的には，ユーザが多くのフィードバックを与えてくれるとは考えにくい，そのため，適合性フィードバックの手法は，フィードバックが少ない状況でも機能するべきである。この実験では，このような状況をシミュレートし，フィードバックが少なくても提案手法が機能するかを調查した，具体的には，提案手法に与えるフィードバックを少しずつ減らしていき，リラ

図 $3 G$ によるリランキング性能の変化

ンキング性能がどのように変化するかを調査した。 提案手法に与えるフィードバックの分量 $G$ は， $G=2^{1}, 2^{0}, 2^{-1}, \ldots, 2^{-5}$ とした.ただし，例えば $G=2^{1}$ は，フィードバックとして 2 文書を用いることを意味している。また，例えば $G=2^{-1}$ は，フィードバックとして 1 適合文書の半分だけを用いることを意味している。この場合, 適合文書中の単語をランダムに半分抽出し, それらを用いて適合性フィードバックを行った。 $G<1$ の場合も調査したのは，フィードバックとして文書より小さい単位 (e.g., 文書のタイトル, スニペット）が与えられた場合を想定し, このような場合にも提案手法が機能するかを調べたかったからである.

結果を図 3 に示す。比較のため，提案手法から潜在情報を除いたとき (i.e., OURS $(a=0.0)$ ) の性能の変化も示した。また, INIT は初期検索結果のランキング精度を表す. 図から， $G$ が小さいときでも，提案手法が高い性能を示すことが分かる. 例えば $G=2^{0}$ のとき, 提案手法は初期検索結果を $24.5 \%$ 改善している. さらに， $G=2^{-5}$ のときでも， $5.3 \%$ の改善が見られた. なお， $G=2^{-5}$ のとき，フィードバック $\boldsymbol{F}$ に含まれる単語数は平均 57 語であった. 一方， OURS $(a=0.0)$ を見ると， $G$ が小さくなるにつれ，ほとんど改善が見られなくなった. OURS $(a=0.0)$ ではテキストの表層情報しか利用していない，そのため， $G$ が小さくなるにつれて利用できる情報が少なくなり，初期検索結果を改善できなくなったと考えられる。一方，提案手法では，表層情報だけでなく潜在情報も利用している，利用できる情報が多い分， $G$ が小さいときでも，初期検索結果のランキングを改善することができたと考えられる。

## 5.6 パラメータとリランキング性能の関係

提案手法には 3 つのパラメータ $a, b, K$ がある。 $a$ は $P_{\boldsymbol{d}_{i}}^{D I R}(\cdot)$ と $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ の混合比を調整するパラメータ（式 (10) 及び式 (11) 参照)，bは $P_{\boldsymbol{q}}^{M L E}(\cdot)$ と $P_{\boldsymbol{F}}^{H Y B}(\cdot)$ の混合比を調整するパラ

メータ（式 (12) 参照）， $K$ は LDA のトピック数である. 5.4 節及び 5.5 節で述べた実験では, OURS のパラメータを $a=0.2, \quad b=0.9, K=50$ とした. また, OURS $(a=0.0)$ のパラメータを $b=0.5$ とした. これらの值は予備実験の結果を基に決定した.

提案手法の性能を最大限に発揮するためには，パラメータとリランキング性能の関係について知る必要がある。予備実験では, この関係を知るため, 様々な $(a, b, K)$ の組み合わせについて提案手法のリランキング性能を調査し，その結果を比較した。ただし， $a=0.0,0.1, \ldots, 1.0$, $b=0.0,0.1, \ldots, 1.0, K=10,20, \ldots, 100$ とし, 全 1,210 通りの組み合わせについて, 調査を行った。開発データを用いて調査した。

ある $(a, b, K)$ の組み合わせに対するリランキング性能は，他の実験と同じようにして，これを測定した。すなわち，開発データ中の各検索課題について初期検索結果を取得し，提案手法を用いてこれらをリランキングした後，全課題における $\mathrm{P} @ 10$ の平均値を算出した。他の実験と同様, クエリには $\langle\mathrm{TITLE}\rangle$ タグの最初の 2 単語を, フィードバックには $\langle\mathrm{RDOC}\rangle$ タグの最初の 2 文書を用いた。

結果を表 2 及び図 4 に示す。表 2 は，実験結果を $(a, b)$ についてまとめたものである。表中の各セルの值は, 各 $(a, b)$ の組み合わせについて, 各 $K$ の $\mathrm{P} 10$ を平均したものである. 例えば, $(a, b)=(0.1,0.2)$ のセルは, $(a, b, K)=(0.1,0.2,10),(0.1,0.2,20), \ldots,(0.1,0.2,100)$ の $\mathrm{P} @ 10$ の平均値が 0.286 であったことを示している，各列においてもっとも $\mathrm{P} @ 10$ が高いセルは, その値を太字で装飾した。 また，各行においてもっとも $\mathrm{P} @ 10$ が高いセルは，その値に下線を引いた。

表から， $(a, b)=(0.1,0.9)$ or $(0.2,0.9)$ のとき, リランキング性能がもっとも良いことが分かる.また， $a=0.0$ のとき（潜在情報を考慮しないとき）は， $b$ が大体 $0.3 \sim 0.5$ のとき， リラン

表 $2(a, b)$ とリランキング性能の関係

図 $4 K$ によるリランキング性能の変化

キング性能が良い，一方， $a \geq 0.1$ のとき（潜在情報を考慮したとき）は， $b$ が大体 $0.8 \sim 1.0$ のとき, リランキング性能が良い， $a=0.0$ のときより，性能が良くなる $b$ の値（及びそのときのランキング精度）が大きくなっている。これは，潜在情報を考慮することで，フィードバックモデルの信頼度が増すことを示唆している。

図 4 は，Kによるリランキング性能の変化を示している，図では，表 2 においてリランキング性能が良かった 3 つの $(a, b)$ の組み合わせ $(a, b)=(0.1,0.9),(0.2,0.9),(0.3,0.9)$ について, $K$ による性能の変化を示した。図から，Kが大体 50 ～ 70 のとき，リランキング性能が良いことが分かる。

以上の結果をまとめると，提案手法がその性能を発揮するパラメータは， $(a, b)=(0.1,0.9)$ or $(0.2,0.9), K$ は大体 50～70 となる.

## 5.7 LDA の実行時間

提案手法では, 検索結果中の各文書に対する $P_{\boldsymbol{d}_{i}}^{L D A}(\cdot)$ を構築するため, 検索結果に対して LDA を実行する。また，フィードバックに対する $P_{\boldsymbol{F}}^{L D A}(\cdot)$ を構築する際は，フィードバックに対してLDA を実行する。本節では, これらの処理に要する時間について考察する.

実験では，各検索課題の検索結果（100 文書）に対して LDA（Perl と C を組み合わせて実装）を実行するのに，13.1～16.0 秒を要した。この程度の時間であれば，提案手法を実行する上で，問題にはならない，適合性フィードバックは，(1) システムによる検索結果の提示, (2) ユーザによる検索結果の閲覧, 適合文書の選択, (3) 適合文書を用いた検索結果のリランキングという三つのステップから成る。ここで，一般的に考えて，(2)には 1 分以上はかかると思われる。従って，まずユーザに検索結果を提示し，ユーザが検索結果を閲覧している裏でLDA を実行するようなシステムの構成を採れば，(3) に移る前にLDAの実行を終えることができる。こ

のように，検索結果が 100 文書程度であれば，LDA の実行時間は問題にならない。

一方，検索結果は，より大きくなり得る．検索結果が大きくなると，LDAの実行時間も大きくなってしまう。これを解決する一つの方法は，ランキングの上位だけを検索結果とすることである。例えば，多くの文書が検索されても，上位 100 文書だけを検索結果とすれば，上述の通り，LDAの実行時間は問題にならない．別の方法として，変分パラメータの推定を並列化することも考えられる．LDAの実行時間は，変分パラメータの推定に要する時間が多くを占める。ここで，各文書に対する変分パラメータは，他の文書に対する変分パラメータと独立である。従って，各文書に対する変分パラメータの推定を並列化し，LDA の実行時間を削減することができる．例えば，Nallapati らは，50ノードのクラスタを用いることで LDA の実行時間を 14.5 倍高速化できたと報告している (Nallapati, Cohen, and Lafferty 2007). 提案手法でも並列化を取り入れることで，LDAの実行時間を削減することができると思われる.

最後に，フィードバックに対して LDA を実行するのに要した時間を報告する。これは 1 秒にも満たないものであった，例えば，フィードバックが 2 文書の場合, 実行に要した時間は，わずか $0.1 \sim 0.2$ 秒であった。従って，フィードバックに対する LDA の実行時間も問題にはならない.

## 6 おわりに

本稿では，テキストの表層情報と潜在情報の両方を利用する適合性フィードバックの手法を提案し，その有効性について議論した。 提案手法では，LDAを用いて，フィードバックや検索結果中の各文書に潜在的に現れうる単語の分布を推定した. そして, 表層的な単語の分布と潜在的な単語の分布の両方を用いてフィードバックと検索結果中の各文書との類似度を算出し, これに基づいて検索結果をリランキングした，実験では，2 文書（合計約 3,589 単語）から成るフィードバックが与えられたとき，提案手法が初期検索結果の $\mathrm{P} @ 10 を 27.6 \%$ 改善することを示した。また，提案手法が，フィードバックが少ない状況でも，初期検索結果のランキング精度を改善する特性を持つことを示した（e.g., フィードバックに 57 単語しか含まれていなくても，P@10で $5.3 \%$ の改善が見られた).

今後の課題としては，ネガティブフィードバックの利用が挙げられる。提案手法は高い性能を示したが，ポジティブフィードバック（ユーザが適合と判定した文書）を扱う機構しか持ち合わせていない．ネガティブフィードバック（ユーザが不適合と判定した文書）も利用することで，さらに性能を上げることができないか検討中である.

## 参考文献

Blei, D. M., Ng, A. Y., and Jordan, M. I. (2003). "Latent Dirichlet Allocation." Jounal of Machine Learning Research, 3, pp. 993-1022.

Eguchi, K., Oyama, K., Ishida, E., Kuriyama, K., and Kando, N. (2002). "The Web Retrieval Task and its Evaluation in the Third NTCIR Workshop." In Proceedings of the 25th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2002), pp. 375-376.

Fei-Fei, L. and Perona, P. (2005). "A Bayesian Hierarchical Model for Learning Natural Scene Categories." In Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005), pp. 524-531.

Griffiths, T. L. and Steyvers, M. (2004). "Finding scientific topics." In Proceedings of the National Academy of Sciences of the United States of America (NAS), pp. 5228-5235.

Heidel, A., an Chang, H., and shan Lee, L. (2007). "Language Model Adaptation Using Latent Dirichlet Allocation and an Efficient Topic Inference Algorithm." In Proceedings of the 8th Annual Conference of the International Speech Communication Association (INTERSPEECH 2007), pp. 2361-2364.

Hofmann, T. (1999). "Probabilistic Latent Semantic Analysis." In Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI 1999), pp. 289-296.

Hull, D. (1993). "Using Statistical Testing in the Evaluation of Retrieval Experiments." In Proceedings of the 16th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 1993), pp. 329-338.

Ide, E. (1971). "New Experiments in Relevance Feedback." In The SMART Retrieval System: Experiments in Automatic Document Processing, pp. 337-354. Prentice-Hall Inc.

Jansen, B. J., Spink, A., and Saracevic, T. (2000). "Real life, real users, and real needs: a study and analysis of user queries on the web." Information Processing and Management, 36 (2), pp. 207-227.

Järvelin, K. and Kekäläinen, J. (2002). "Cumulated Gain-Based Evaluation of IR Techniques." ACM Transactions on Information Systems, 20 (4), pp. 422-446.

Kurohashi, S., Nakamura, T., Matsumoto, Y., and Nagao, M. (1994). "Improvements of Japanese Morphological Analyzer JUMAN." In Proceedings of the International Workshop on Sharable Natural Language Resources (SNLR), pp. 22-28.

Lafferty, J. and Zhai, C. (2001). "Document Language Models, Query Models, and Risk Minimization for Information Retrieval." In Proceedings of the 24th Annual International ACM

SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2001), pp. 111-119.

Lavrenko, V. and Croft, W. B. (2001). "Relevance-Based Language Models." In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2001), pp. 120-127.

Minka, T. P. (2000). "Estimating a Dirichlet distribution." Tech. rep., Microsoft.

Nallapati, R., Cohen, W., and Lafferty, J. (2007). "Parallelized Variational EM for Latent Dirichlet Allocation: An Experimental Evaluation of Speed and Scalability." In Proceedings of the 7th IEEE International Conference on Data Maining Workshops (ICDMW 2007), pp. 349-354.

Ponte, J. M. and Croft, W. B. (1998). "A Language Modeling Approach to Information Retrieval." In Proceedings of the 21nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 1998), pp. 275-281.

Rocchio, J. J. (1971). "Relevance Feedback in Information Retrieval." In The SMART Retrieval System: Experiments in Automatic Document Processing, pp. 313-323. Prentice-Hall Inc.

Salton, G., Wong, A., and Yang, C.-S. (1975). "A Vector Space Model for Automatic Indexing." Communications of the ACM, 18 (11), pp. 613-620.

Shibata, T., Odani, M., Harashima, J., Oonishi, T., and Kurohashi, S. (2008). "SYNGRAPH: A Flexible Matching Method based on Synonymous Expression Extraction from an Ordinary Dictionary and a Web Corpus." In Proceedings of the 3rd International Joint Conference on Natural Language Processing (IJCNLP 2008), pp. 787-792.

Shinzato, K., Kawahara, D., Hashimoto, C., and Kurohashi, S. (2008). "A Large-Scale Web Data Collection as a Natural Language Processing Infrastructure." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC 2008), pp. 2236-2241.

Spärck Jones, K., Walker, S., and Robertson, S. E. (2000). "A Probabilistic Model of Information Retrieval: Development and Comparative Experiments." Information Processing and Management, 36 (6), pp. 779-808, 809-840.

Wei, X. and Croft, W. (2006). "LDA-Based Document Models for Ad-hoc Retrieval." In Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2006), pp. 178-185.

Yi, X. and Allan, J. (2009). "A Comparative Study of Utilizing Topic Models for Information Retrieval." In Proceedings of the 31st European Conference on Information Retrieval (ECIR 2009), pp. 29-41.

Zhai, C. and Lafferty, J. (2001). "Model-based Feedback in the Language Modeling Approach
to Information Retrieval." In Proceedings of the 20th ACM Conference on Information and Knowledge Management (CIKM 2001), pp. 403-410.

Zhai, C. and Lafferty, J. (2004). "A study of smoothing methods for language models applied to information retrieval." ACM Transactions on Information Systems, 22 (2), pp. 179-214.

Zhou, D. and Wade, V. (2009). "Latent Document Re-Ranking." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP 2009), pp. 1571-1580.

西尾実, 岩淵悦太郎, 水谷静夫 (2002). 岩波国語辞典. 岩波書店.

田近洵一 (2001). 例解小学国語辞典. 三省堂.

## 略歴

原島純：2007 年京都大学工学部電気電子工学科卒業. 2009 年同大学院情報学研究科修士課程修了. 現在, 同大学院博士後期課程在学中. 情報検索の研究に従事.

黒橋禎夫：1989 年京都大学工学部電気工学第二学科卒業. 1994 年同大学院博士課程修了. 京都大学工学部助手, 京都大学大学院情報学研究科講師, 東京大学大学院情報理工学系研究科助教授を経て, 2006 年京都大学大学院情報学研究科教授, 現在に至る. 自然言語処理, 知識情報処理の研究に従事.

$(2011$ 年 12 月 2 日受付)
$(2012$ 年 3 月 6 日再受付)
$(2012$ 年 5 月 14 日採録)


# 語義曖昧性解消のための領域適応手法の 決定木学習による自動選択

古宮嘉那子†・奥村 学怰
}

ソースドメインのデータによって分類器を学習し, ターゲットドメインに適応する ことを領域適応といい, 近年さまざまな手法が研究されている. しかし, 語義曖昧性解消 (WSD: Word Sense Disambiguation) について領域適応を行った場合, 最も効果的な領域適応手法は, ソースデータとターゲットデータの性質により異なる。本稿ではそれらの性質から, WSDの対象単語タイプ, ソースドメインとターゲットド メインの組み合わせに対して, 最も効果的な領域適応手法を決定木学習を用いて自動的に選択する手法について述べるとともに, どのような性質が効果的な領域適応手法の決定に影響を与えたかについて考察する。

キーワード: 語義曖昧性解消, 領域適応, 手法選択, 決定木学習
## Automatic Selection of Domain Adaptation Method for WSD using Decision Tree Learning

\author{
Kanako KomiYa $^{\dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

\begin{abstract}
Domain adaptation (DA), which involves adapting a classifier developed from source to target data, has been studied intensively in recent years. However, when DA for word sense disambiguation (WSD) was carried out, the optimal DA method varied according to the properties of the source and target data. This paper describes how the optimal method for DA was determined depending on these properties using decision tree learning given a triple of the target word type of WSD, the source domain, and the target domain and discusses what properties affected the determination of the best method when Japanese WSD was performed.
\end{abstract}

Key Words: word sense disambiguation, domain adaptation, method selection, decision tree learning

## 1 はじめに

自然言語処理で使われる帰納学習では, 新聞デー夕を用いて新聞用の分類器を学習するなど, ドメインＡのデータを用いてドメインＡ用の分類器を学習することが一般的である。しかし一

方, ドメイン B についての分類器を学習したいのに， ドメイン A のデータにしかラベルがついていないことがあり得る。このとき， ドメイン $\mathrm{A}$ (ソースドメイン）のデータによって分類器を学習し，ドメイン B（ターゲットドメイン）のデータに適応することを考える。これが領域適応であり，様々な手法が研究されている。

しかし, 語義曖昧性解消 (Word Sense Disambiguation, WSD) について領域適応を行った場合, 最も効果的な領域適応手法は, ソースドメインのデータ（ソースデータ）とターゲットドメインのデータ（ターゲットデータ）の性質により異なる．SVM 等の分類器を利用してWSDを行う際にモデルを作る単位である, WSD の対象単語タイプ, ソースドメイン, ターゲットドメインの三つ組を1ケースとして数えるとする。本稿では，このケースごとに，データの性質から，最も効果的な領域適応手法を，決定木学習を用いて自動的に選択する手法について述べるとともに, どのような性質が効果的な領域適応手法の決定に影響を与えたかについて考察する.

本稿の構成は以下のようになっている。まず 2 節で領域適応の関連研究について紹介する。 3 節では領域適応手法をどのように自動選択するかについて述べる。 4 節では本研究で用いたデー 夕について説明する．５節では決定木学習におけるラベル付きデータの作成方法と学習方法について述べ，6節に結果を，7節に考察を，8節にまとめを述べる.

## 2 関連研究

領域適応は，学習に使用する情報により, supervised, semi-supervised, unsupervised の三種に分けられる。まず supervised の領域適応は，訓練事例として少量のターゲットドメインだでなく大量のソースドメインのデータを加えて学習を行うもので, 訓練事例としてソースデー 夕または少量のターゲットデータだけを利用する場合よりも，分類器を改良することを目指す.次の semi-supervised の領域適応は，ラベルつきのソースデータに加え，ラベルなしのターゲットデータを利用し, 訓練事例としてソースデータだけを利用する場合よりも，分類器を改良することを目指す。また, 最後の unsupervisedの領域適応は，ラベルつきのソースデータで学習後, ターゲットデータで実行する。本研究で扱うのは, supervisedの領域適応である.

領域適応の研究は様々な分野で研究が行われており, ここではその一部を紹介する。まず, (Chan and Ng 2006)は，EM アルゴリズムによる語義の事前確率推定により WSD の領域適応を行っている。(Chan and Ng 2007) も，EM アルゴリズムによる事前確率推定を行っているが, これは能動学習により事例をターゲットドメインから加える supervised の領域適応である. Count-merging により重要文に重みをつけることで，性能を向上させている.

また, (Daumé 2007) はシーケンスラベリングを例に supervised の領域適応を行っている。素性空間の次元を「ソースデータの素性空間」「ターゲットデータの素性空間」「ソースデータとターゲットデータ共通の素性空間」に相当する三倍にし，モデルを三倍に拡張して実験を行う

というもので，様々な supervised の領域適応に併用できる手法である．利点として，上記の併用可能性に加え, 実装が簡単で処理が速いこと, マルチドメインに拡張が簡単（素性空間の次元をドメイン数 +1 倍にすればよい) であることが挙げられる.

さらに, (Daumé, Kumar, and Saha 2010) は (Daumé 2007) を semi-supervised のために拡張した。この手法がなぜ有効なのかはまだ解き明かされていないが，拡張前の利点を引き継いでいるだけでなく，ラベルなしのターゲットデータを利用することでよりよい性能が得られる.

(Agirre and de Lacalle 2008)は, semi-supervised の WSD の領域適応を行った. 大量のラベルなしのソースデータに，ラベルなしのターゲットデータを加えて行列を作り, 特異值分解 (SVD) により素性圧縮をして分類器を学習する手法である。また (Agirre and de Lacalle 2009) は，大量のラベルなしのソースデータの代わりに，少量のラベルつきのソースデータを使用して，同様の手法で supervised の領域適応を行っている.

(Jiang and Zhai 2007) は領域適応を行う際，事例の重み付けにより性能が向上することを示した. この手法は様々な supervised または semi-supervised の領域適応との併用が可能である. また，領域適応に悪影響を及ぼすソースデータを特定して削除することも試みているが，ソー スデータの削除は事例の重み付けを行わなければ有効であるが，事例の重み付けを行った場合には有効ではないと結論づけている。

(Zhong, Fan, Peng, Zhang, Ren, Turaga, and Verscheure 2009) はターゲットデータとソースデータの周辺確率を似せるようにカーネル空間を学習した後, 条件確率がターゲットデータに似ているソースデータの事例をクラスタリングベースの事例選択を用いて選び，その事例を利用して領域適応を行っている.

(Raina, Battle, Lee, Packer, and Ng 2007) は Web 上からランダムに取得したラベルなしデータを利用して, より高いレべルの素性を作成するためにスパースコーディングを利用した self-taught learningを提案している。これは unsupervised の領域適応の一種である.

(Tur 2009) は co-training において領域適応を行った co-adaptation の研究である. boosting による線形補完により領域適応を行い，両方の分類器においてエラー率が低下したことを報告している.

また (Blitzer, McDonald, and Pereira 2006) は semi-supervised の領域適応である.この研究では, ソースデータ中とターゲットデータ中の単語の類似度を計算するために, pivot feature （ソースデータとターゲットデータの両方でよく出てくる単語）の周りの単語の重みを計算する。この重みの行列にSVD を適用して新しい素性空間を作り，オリジナルの素性に新しい素性を加えて使用するという手法をとっている.

本稿に最も近い研究は, (McClosky, Charniak, and Johnson 2010) である. この研究では, 多様なドメインからなる文書を構文解析する際, 最も良いモデルは異なるという問題に注目している。彼らは様々な混合モデルによる構文解析の正解率を回帰分析で予測し, それぞれのター

ゲットデータに対して, 最も高い正解率を出すと予測されたモデルを利用して構文解析を行っている。本研究との最も大きな違いは，対象の夕スクが構文解析ではなく語彙曖昧性解消である点である。そのため，本論文ではケースという単位ごとに最適な領域適応を行う．また，彼らは複数のソースドメインから抽出した用例を混合して訓練事例とした領域適応を想定しているが，我々は想定していない，本研究では決定木学習を用いることで，どのような性質が最適な領域適応の決定に影響を与えるのかについて考察する.

本稿では，ソースデータとターゲットデータの性質をもとに領域適応に用いる手法を自動選択する手法について述べる。これに関連した研究として (張本, 宮尾, 辻井 2010) や (Asch and Daelemans 2010) がある。(張本他 2010)は, 構文解析において, 分野間距離をはかり, より適切なコーパスを利用して領域適応を行えるようにした。また, (Asch and Daelemans 2010)は,構文解析において，自動的にタグ付けされたコーパスを用いて，ソースデータとターゲットデー 夕の類似度から性能を予測できることを示した。これらの研究では, 領域間の距離からソースデータとして利用できるコーパスを選択するという立場をとっているが，本研究では領域間の距離などの性質から，手法を選択するという立場をとる。

## 3 領域適応手法の自動選択

## 3.1 ケースごとの領域適応手法の自動選択

本論文では，ケースという単位を定義し，ケースごとに適切な領域適応を行う。本論文におけるケースとは，SVM 等の分類器を利用してWSD を行う際にモデルを作る単位である．WS $\mathrm{D}$ の分類器は, 対象単語タイプ, ソースドメイン, ターゲットドメインの三つ組に対してひとつ作られるので，この三つ組をケースと呼ぶ。例えば，ケースを（対象単語タイプ，ソースドメイン, ターゲットドメイン）の順に書くと, (出る, 新聞, Yahoo!知恵袋), (出る, Yahoo! 知恵袋, 新聞), (手, Yahoo!知恵袋, 新聞）は全て別のケースである.

最適な領域適応手法は，ソースデータとターゲットデータの性質により異なるが，WSDにおけるソースデータとターゲットデータの訓練事例集合は, ソースやターゲットになるコーパスのドメインだけでなく，WSDの対象単語も含めたケースごとに定まる。したがって，ケースごとに適切な領域適応手法を自動的に選択し，その手法を適宜用いて領域適応を行えば，どれかひとつの手法を用いるよりも，WSDの性能が向上することが予想される。このため, 決定木学習を用いて，ケースごとに領域適応手法の自動選択を行う。決定木学習の素性にはソースデー タとターゲットデータの性質を利用し，ラベル（教師値）には，WSDの正解率を比較した際に，そのケースにおいて最も正解率が高かった領域適応手法を用いる。決定木学習を用いるのは，どのような性質が最適な領域適応手法の決定に影響を与えるのかを明示的に示すことができる上, 少量の訓練事例から学習しても十分な分類精度が得られるからである。また, $\mathrm{n}$ 個の
領域適応手法から選択する際には, pairwise 方式で ${ }_{n} C_{2}$ 通りの二分決定木をつくり, 最終的にそれらを統合することで，ひとつのケースにつきひとつの領域適応手法を決定する¹.

なお，本論文で扱う領域適応手法は，どれも supervised の領域適応であるため，最終的にどの領域適応手法が選択されるかは不明な段階でも，先にターゲットデータに対する少量の語義のタグ付けが必要である.

本論文では, 一般公開されている Yahoo!知恵袋, 白書, 新聞の三つの夕グ付きコーパスから, 144 ケースのラベル付きデータを作成して決定木学習を行った。これらのラベル付きデータの素性ベクトルには，ソースデータとターゲットデータの JS 距離などを用いており，それぞれのケースの対象単語タイプ，ソースドメイン，ターゲットドメインが何なのかという情報は与えていない．WSD の領域適応の問題が生じた場合には，問題のケースごとに，本論文で叙述するように素性べクトルを作成して決定木への入力とし, 決定木によって最適な領域適応手法を選択する。本論文では決定木学習の有効性を 144 ケースの交差検定によって示す.

## 3.2 WSD のための領域適応手法

WSDのための領域適応手法として, 本研究では以下に示す三つを用いる. したがって, pairwise 方式で三つ（TO と RS， TO と FD，RS と FD）の二分決定木をつくり，最終的にそれらを統合することで，ひとつのケースにつきひとつの領域適応手法を決定する.

以降，決定木の用例の単位であるケースと区別するために，WSDの用例の単位をトークンと呼ぶ. WSDの対象単語を $\mathrm{w}$ とすると，トークンは $\mathrm{w}$ の用例と等しい。それぞれソースドメインとターゲットドメインのコーパス中の $\mathrm{w}$ の用例が, ソースデータとターゲットデータの訓練事例であるため，ケースごとにソースデータとターゲットデータの数や性質は異なる.

・ TO: Target Only. ソースデータを用いず，ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものだけを訓練事例にする。

・ RS: Random Sampling. ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものとソースデータの両方を訓練事例にする.
- FD: フィルタリングによる削除. ランダムに選んだ少量のターゲットデータのトークンに語義をタグ付けしたものとソースデータの両方を訓練事例にする。このときソースデータは，フィルタリングによりターゲットデータにある一定の間値以上似ているデー タのみを用いる。

FDでは以下の手順を取る。なお，ターゲットデータやソースデータのトークンは，後述する WSDの素性を要素としたべクトルとして表されている.
^{1}$ pairwise 方式を利用するのは，多値分類では十分な分類性能が得られなかったためである．この原因は， 入手できた事例数が 144 ケースという少数であったためだと思われる.
}

(1) ターゲットデータのトークン $\forall t_{i} \in T$ について，全ソースデータのトークン $\forall s_{j} \in S$ とのコサイン類似度 $\operatorname{sim}_{i, j}$ を計算する.

(2) ソースデータのトークン $\forall s_{j} \in S$ について，それぞれ最も自身と近いターゲットデータのトークン $t_{j, \text { nearest }}$ を特定する.

(3) ソースデータのトークン $\forall s_{j} \in S$ について $t_{j, \text { nearest }}$ との類似度 $\operatorname{sim}_{j, \text { nearest }}$ をとに, 訓練事例とするかどうかを判定する.

ここで， $\operatorname{sim}_{j, \text { nearest }}$ が 0.8 以上のソースデータ $s_{j}$ を訓練事例に含めた. なお $\operatorname{sim}_{i, j}$ を計算する際，重みづけや正規化は行っていない.

なお，追加するターゲットデータ数は常に 10 トークンとした.

分類器としてはマルチクラス対応のSVM (libsvm) を使用した. カーネルは予備実験の結果, 線形カーネルが最も高い正解率を示したため, これを採用した。また, 学習の素性には, (Sugiyama and Okumura 2009) で使われている以下の 17 素性を用いた.
- WSD の対象単語の前後二語までの形態素の表記（4 素性）
- WSD の対象単語の前後二語までの品詞 (4 素性)
- WSD の対象単語の前後二語までの品詞の細分類 (4 素性)
- WSD の対象単語の前後二語までの分類コード (4 素性)
- 係り受け (1 素性)

－ 対象単語が名詞の場合はその名詞が係る動詞

－ 対象単語が動詞の場合はその動詞のヲ格の格要素

分類語彙表の分類コードには (国立国語研究所 1964)を使用した.

## 3.3 決定木学習のラベル

作成する三つの二分決定木のうち, ここでは TO と RS の決定木のラベル（教師値）について述べる。作成する決定木によって，TOと RS を，それぞれ TOと $\mathrm{FD}$ ，または RS と $\mathrm{FD}$ に読み替えていただきたい.

ケースごとに，最もWSD の正解率がよかった手法によって，TO と RS と Same の三種類のうちのひとつのラベルをつける。これらのつけ方は 5.1 節で述べる。決定木は，ケースごとにソースデータとターゲットデータの性質から，TO かRSのどちらの手法を使って領域適応するべきかを判定していることに留意いただきたい².

・ TO: RSより TOを使用した方が WSD の正解率が良いケース

・ RS: TO より RSを使用した方が WSD の正解率が良いケース

- Same: TO と RS のどちらを使っても WSDの正解率に差がないケース

なお，TO と RS のどちらを使っても WSD の正解率に差がないケースには， Same ラベルを使用せず，どちらかの手法に強制的に割りつけることも可能であるが，このような正解率に差がないケースが比較的多かったため (c.f. 表 5), 本論文では Same ラベルを使って決定木の分類性能をあげている。

## 3.4 決定木学習の素性

最適な領域適応手法はソースデータとターゲットデータの分布や距離などの性質によって異なると考えられるため，決定木には以下の 24 種類の合計 40 の素性を利用する ${ }^{3}$. なお，手法 1 と手法 2 は作成する二分決定木によって， RS と TO，または RS と FD，または TO と FDが相当する。また，データ 1 とデータ 2 は手法 1 と手法 2 に準じ，それぞれ RS の場合にはソー スデータ，TOの場合にはターゲットデータ，FDの場合にはターゲットデータに閥値以上似たソースデータが相当する。

(1) 手法 1 のシミュレーションの正解率

(2) 手法 2 のシミュレーションの正解率

(3) ふたつの正解率の比 $((1) /(2))$

(4) データ 1 のトークン数

(5) データ 2 のトークン数

(6) ふたつのデータのトークン数の比 $((4) /(5))$

(7) データ 1 の語義数

(8) データ 2 の語義数

(9) 辞書中の語義数

(10) データ1のMFS（Most Frequent Sense:データ中最も頻出する語義）のトークン数

(11) データ 2 の MFS のトークン数

(12) MFS の語義がデータ 1 とデータ 2 で同じか

(13) データ1のMFS のパーセンテージ $((10) /(4))$

(14) データ 2 の MFS のパーセンテージ $((119 /(5))$

(15) データ 2 の MFS のデータ 1 中でのパーセンテージ $((11) /(4))$

(16) データ 1 の MFS のデータ 2 中のパーセンテージ $((10) /(5))$

(17) データ 1 とデー夕 2 の語義タグのジェンセン・シャノン・ダイバージェンス (JS 距離)

(18) データ 1 とデータ 2 の間の WSD の素性ごとの分布の JS 距離

（19）データ 1 とデータ 2 の間の素性ごとの JS 距離を足しあわせたもの（(18)を 17 種類足し
^{3} 41$ 番目の素性として品詞を追加した実験も行ったが，正解率が低下したため, 最終的には含めなかった
}

あわせた值)

（20）デー夕 1 とデー夕 2 の素性をひとつの単位としたときの JS 距離

(21) 新語義の数

(22) データ 1 とデータ 2 で共通する語義数

（23）データ 1 とデータ 2 で共通する語義の, データ 1 中のパーセンテージ $((22) /(4))$

(24) データ 1 とデータ 2 で共通する語義の, データ 2 中のパーセンテージ $((22) /(5))$

なお, (1) と (2)のシミュレーションの正解率としては, 手法ごとに以下を用いる.
- RS：ソースデータのシミュレーションの正解率. ソースデータで分類器を学習し, 語義をタグ付けしたターゲットデータ 10 トークンで評価した正解率
- TO：TOのシミュレーションの正解率. ターゲットデータ 10 トークンに語義を夕グ付けし, Leave One Out 法で評価を行った際の正解率
- FD：FDのシミュレーションの正解率. ターゲットデータに間值以上似たソースデータで分類器を学習し, 語義を夕グ付けしたターゲットデータ 10 トークンで評価した正解率また，(4)と (5) のトークン数には, 手法ごとに以下を用いる. ただし, (13)～(16), (23), (24) において, TOのデータ数は 10 トークンとする.
- RS：全ソースデータのトークン数
- TO：全ターゲットデータのトークン数
- FD：全ソースデータの 4/5（5 分割交差検定のうち一試行）のうち, ターゲットデータに閥値以上似ているトークンの数また, (7) と (8) の語義数には, 手法ごとに以下を用いる.
- RS：全ソースデータ中に出現する語義の異なり数
- TO：語義を夕グ付けした 10 トークンのターゲットデータ中に出現する語義の異なり数
- FD：ソースデータの全トークンの $4 / 5$ のうち, ターゲットデータに間値以上似たデータに出現する語義の異なり数

また，(10)と (11)，(12)のMFSには，手法ごとに以下を用いる.
- RS : 全ソースデータ中の, 全ソースデータの MFS を語義に持つトークンの数
- TO：語義をタグ付けしたターゲットデータ 10 トークンの中の, 語義をタグ付けしたター ゲットデータ 10 トークンの MFS を語義に持つトークンの数
- FD：「全ソースデータの $4 / 5$ のうち，ターゲットデータに閾値以上似たデータ」中の,「全ソースデータの $4 / 5$ のうち, ターゲットデータに閥値以上似たデー夕」のMFS を語義に持つトークンの数

さらに， (17) (20) の JS 距離は, カルバック・ライブラー・ダイバージェンスを対称にしたものであり, $\mathrm{H}(\mathrm{P})$ が分布 $\mathrm{P}$ のエントロピーであるとき, 以下の式で与えられる.

$
D_{J S D}(P \| Q)=H\left(\frac{1}{2} P+\frac{1}{2} Q\right)-\frac{1}{2} H(P)-\frac{1}{2} H(Q)
$

また, (17)では,
- RS：全ソースデータの $4 / 5$

・ TO：ターゲットデータの 10 トークン
- FD：全ソースデータの $4 / 5$ のうち，ターゲットデータに間值以上似たトークンの語義タグの分布間の JS 距離を用いたが，(18)の JS 距離では,
- RS：全ソースデータ
- TO：全ターゲットデータ
- FD：全ソースデータの $4 / 5$ のうち, ターゲットデータに間值以上似たトークン

の間の WSD の素性（形態素情報など 17 種類. 3.2 節参照）の素性ごとの分布の JS 距離を, (19) の JS 距離では，これらのデータの WSD の素性（形態素情報など 17 種類）をつなげて，ひとつの単位としたものの分布の JS 距離を用いた。これは， 17 種類全ての素性が等しいときにたけ, 同じ要素と考えて JS 距離を求めるものである。また, (22)の共通語義も，(17) の JS 距離の際のデータのうち, 手法に対応したふたつのデータに出現した語義の異なり数である. また, $(21)$ の新語義の数は,
- RS と TO の決定木：語義を夕グ付けしたターゲットデータ 10 トークンに出現せず，全ソースデータのみに出現する語義の異なり数
- RS と FD の決定木 : 全ソースデータの $4 / 5$ のうち, ターゲットデータに閥値以上似たデータに出現せず，全ソースデータのみに出現する語義の異なり数
- TO と FDの決定木：語義を夕グ付けしたターゲットデータ 10 トークンに出現せず，全ソースデータの $4 / 5$ のうち，ターゲットデータに間値以上似たトークンのみに出現する語義の異なり数

になる。

決定木作成アルゴリズムには C4.5 (Quinlan 1993) を利用し，二分決定木を作成した。また，五分割交差検定を行った。決定木作成の枝刈りの閥値は訓練事例の $1 / 4$ を開発用データとした予備実験により最適化した。なお, このとき決定木作成の閾値にはノードのエントロピーの値を使用し， $0,0.1,0.2 \ldots$ というように 0.1 きざみで試した. 閾値の最適化の際に，最高の正解率の決定木の閥値が複数ある場合には，決定木がより小さいときの閥値を採用した.

## 4 データ

実験には, 現代日本語書き言葉均衡コーパス（BCCWJコーパス）(Maekawa 2008)の白書のデータと Yahoo! 知恵袋のデータ，またRWCコーパスの毎日新聞コーパス (Hashida, Isahara, Tokunaga, Hashimoto, Ogino, and Kashino 1998)の三つのデータを利用し, ソースデータとター ゲットデータを変えることで，全部で 6 通りの領域適応を行った。これらのデータには岩波国語辞典 (西尾, 岩淵, 水谷 1994) の語義が付与されている. これらのコーパス中の多義語のうち, ソースデータおよびターゲットデータ中にともに 50 トークン以上存在する単語を実験対象とした. WSD を行う単語の異なり数は, 白書 $\Leftrightarrow$ Yahoo! 知恵袋 : 24 白書 $\Leftrightarrow$ 新聞 : 22 Yahoo!知恵袋 $\Leftrightarrow$ 新聞 : 26 であり, 最終的なケースの数は, 28 単語, 合計 144 のケースとなった. ター ゲットコーパス別に見たケースの最小, 最大, 平均トークン数を表 1 に示す. また, 実験には岩波国語辞典の小分類の語義を採用した. 全 WSD の対象単語の語義数ごとの内訳を表 2 に示す.

また，領域適応による WSDの実験には五分割交差検定を用いた．RSのときのこの様子を図 1 に示す. RS の場合には, ソースデータの $4 / 5$ (ソースデータの濃い灰色の部分）に加え, ター

表 1 ターゲットコーパス別に見たケースの最小, 最大, 平均トークン数

表 2 全 WSD の対象単語の語義数ごとの内訳

ゲットデータの $4 / 5$ （ターゲットデータの白の部分と薄い灰色の部分）から 10 トークン（白い部分）を訓練事例とする．FDの際には，ソースデータの $4 / 5$ (ソースデータの濃い灰色の部分） に関して，ターゲットデータの $4 / 5$ （ターゲットデータの白の部分と薄い灰色の部分）との類似度を測り，一定以上似たデータと 10 トークン（白い部分）を訓練事例とする。テストデータは，ターゲットデータの残りの $1 / 5$ (黒い部分）である.

表 3 に，白書 $\Leftrightarrow$ Yahoo！知恵袋でソースデータとターゲットデータを逆にしたときの領域適応別の WSD の正解率を示す。これらの結果は，すべてのトークンごとの平均の正解率（マイクロ平均）である。ここで，夕グつきターゲットデータが手に入ったと仮定して, supervised の学習を 5 分割交差検定を用いて行った self と，ターゲットデータに対して，ソースデータだけで 5 分割交差検定を用いて学習を行った Source Only についての WSD も行い, その正解率も参考として示した，表 3 から，使用するコーパスによって効果の出る手法が異なることが分かる。また，表 4 に，ソースデータとターゲットデータのコーパス別に見たケースごとの最適な領域適応手法の分布を示す。この表において，例えば「RS と $\mathrm{TO}\rfloor$ は， RS と TO が同率一位であることを表す。この表から，最適な領域適応手法は，コーパスごとよりも，ケースごとに異なることが分かる.

図 $1 \mathrm{RS}$ による WSD の実験の五分割交差検定

表 3 Yahoo！知恵袋と白書でソースデータとターゲットデータを逆にしたときの領域適応別の WSD の正解率

表 4 ソースデータとターゲットデータのコーパス別に見たケースごとの最適な領域適応手法の分布

## 5 決定木学習におけるラベル付きデータの作成方法と学習方法

本研究では, 決定木の Same ラベルの付け方や, Same ラベルのついたトークンの扱い, 決定木におけるケースの重みを変えて 8 通りの決定木を作成した。本節ではそれらの手法の詳細と， pairwise に作成した複数の決定木の結果を統合して, 最終的に領域適応手法を一意に定める手法について述べる.

ここでも， 3.3 節と同様, TO と RS の決定木のラベルについて述べる. 作成する決定木によって，WSDの手法は読み替えていただきたい.

## 5.1 Same ラベルの付け方

3.3 節で述べたように, 決定木学習の教師値として, ケースごとに, 最もWSD の正解率がよかった手法によって, TO と RS と Same の三種類のうちのひとつのラベルをつける。このうち, Same は TO でも RS でも WSD の正解率に差がないケースに対するラベルであるが，どこまでが正解率に差がなく, どこからが差があるかという点についてはいくつかの考え方がある.本稿では，以下の二通りの Sameの定義を考え，両方について実験を行う。
- 「同じもの」:TO と RS の WSD の正解率が全く等しいものに Sameをつけ，それ以外にTO かRS を付与する。
- 「カイ二乗検定」：TO と RS の WSD の正解率を比較してカイ二乗検定を行い, 有意差がないものに Same をつけ, あるものに TO か RS を付与する。 なお, カイ二乗検定の有意水準は 0.05 を利用した。

「同じもの」では，全く同じ正解率のケースだけを，TO と RSに差がないケースと考え，「カイ二乗検定」では，カイ二乗検定により有意差がないケースを，TO と RS に差がないケースと考えている.

決定木とラベル付け手法別に見たラベルの分布を表 5 に示す。また，コーパスとラベル付け手法別に見たラベルが割りつけられたケースの数と合計の単語タイプ数を表 6 に示す.
表 5 決定木とラベル付け手法別に見たラベルの分布

表 6 コーパスとラベル付け手法別に見たラベルが割りつけられたケースの数と合計の単語タイプ数

## 5.2 決定木学習における Same の扱い

前節のように全てのケースに三つのラベルを付与したが，三つ目のラベル Same については TO でもRSでも差がないケースであり, 決定木学習の際にいくつかの扱い方が考えられる。本稿では, 決定木学習の際, 以下の二通りの Sameの扱い方で実験を行う.
- 「Sameを利用した 3 值分類」：TO, RS, Sameの 3 值分類の決定木学習とテストを行う.
- 「訓練事例から Same の事例を削除した 2 值分類」: Same が付与されたケースを訓練事例から削除して TO と RS） 2 值分類の決定木学習を行う。なお，テストには全ケースを利用する。

図 2 に，「訓練事例から Same の事例を削除した 2 值分類」のときの決定木学習の五分割交差検定の様子を示す. 全体が 144 ケースあり, 最終的に訓練データとして用いるケースはそのうちの TO かRS のラベルをもつケースである.「同じもの」を使用するときは 129 ケースがこれにあたり，「カイ二乗検定」を用いるときには 69 ケースがこれにあたる（濃い灰色の部分）。五分割交差検定の一試行において，この訓練デー夕となる濃い灰色の部分の $4 / 5$ （白い部分）で訓練を行い，全体のケースの 144 ケースのうちの $1 / 5$ （薄い灰色の部分）でテストを行う。これを五回交差して行うことで決定木学習の五分割交差検定を行った.

図 2 訓練事例から Same の事例を削除した 2 値分類のときの決定木学習の五分割交差検定

「訓練事例から Sameの事例を削除した 2 值分類」を利用してテストを行う場合, Same ラべルがふられたケースに正解はない。そのため, 決定木のノードにおけるラベルの確からしさの度合いなどの閾値をもうけることで,「Sameを利用した 3 値分類」の Sameのようなどちらの手法を利用してもよいという結果を出力することも考えられる。 しかし, Same ラベルがふられたケースはもともと, どちらの手法を利用してもよいケースであるため, 便宜的な割り付けを行っても問題ないとの考えから, 本稿では学習した決定木を用いて全てのケースに自動的に TO かRSかを割り付けた。

## 5.3 ケースによる分類とトークン数による重みづけを用いた分類

表 1 にあるように, ケースにはたくさんの事例があるケースと, 少量の事例しかないケースがある。このため, 決定木において，少量のトークン（WSD の事例）しかないケースよりも，たくさんのトークンがあるケースについて, 利用する領域適応手法を正確に予測できた方が， より全体の WSD の正解率に寄与する可能性がある。本稿では，以下のようにケースによる分類のほかに，トークン数による重みづけを行う分類についても実験を行った.
- 「ケースによる分類」: 全てのケースに同等の重みがあるとして決定木学習を行う.
- 「トークン数による重みづけを用いた分類」: ケースごとにケース中のトークン数の重みをつけて決定木学習を行う。

具体的には，トークン数による重みづけを用いた分類は，決定木学習の際，エントロピーの計算において，ひとつのケースをひとつのケースとして数えるかわりに，トークン数分のケー スとして数えることで重みを付けている.

5.1-5.3 節でそれぞれ二通りの選択肢があるため, 本稿では全組み合わせの合計 8 通りの決定木を作成した。

## 5.4 決定木の統合

決定木の統合は, 以下のように行った. pairwise の性質上, 三つの決定木が三つとも同じ方法がよいと答えることはなく, 答えが $2: 1$ に分かれるか, 三つ巴になるはずである.

このうち, $2: 1$ に分かれるときは, かならず 2 つ決定木が出した答えが理論的に一番良くなるため，その答えを選択すればよい。手法 $1>$ 手法 2 のとき手法 1 のほうがよい手法であるとすると，例えば， $\mathrm{TO}>\mathrm{RS}$ かつ， $\mathrm{FD}>\mathrm{RS}$ かつ $\mathrm{TO}>\mathrm{FD}$ であれば， $\mathrm{TO}>\mathrm{FD}>\mathrm{RS}$ なので， $\mathrm{TO} を$選択する。

次に，三つ巴のときには，事例が割りつけられた葉についている確率を比較し，一番高い確率のところに割り付けた，確率は，「学習時にその葉に割りつけられたその手法のケース数/学習時に，その葉に割りつけられた全ケース数」として計算した，たとえば，テストデータが，実行時に「学習時に, TOが 1 ケース, RSが 2 ケース割り当てられた葉」に割り当てられた場合, そのテストデータは $2 / 3$ の確率で RS となる。 三つ巴の場合には, この確率で比較し, 最も高い確率の手法を割り当てた。

三つ巴のときに, ふたつの決定木で割りつけられた葉の確率が同率一位である場合には, RS>TO かつ $\mathrm{FD}>\mathrm{RS}$ なら, $\mathrm{FD}>\mathrm{RS}>\mathrm{TO}$ なので $\mathrm{FD}$ を選択, というように論理的に選択された手法を選択した。

また，三つ巴でどれも確率が等しい時など，上記のルールを利用してもどうしても領域適応手法が選べない時には，一括的に領域適応を行ったときに正解率が高い順，つまり，FD， TO， RSの順で割りつけた。

## 6 結果

表 7 に，もともとの手法を一括的に用いた際の WSD の平均正解率を示す.なお， 144 のケー スには合計 232,116 の WSD のトークンが含まれており, 本稿の平均正解率はそれらのトークンの平均の正解率（マイクロ平均）である。表 7 から TO, RS, FDのうち, 最も良い正解率は FDの $82.27 \%$ であることが分かる.

表 8 に，5節の決定木を用いて自動的にケースごとに選択した手法を利用した際の WSD の平均正解率を示す。なお, 選択の仕方は, 決定木学習による選択の 8 種類と, Golden Answer の一種類の合計 9 種類である。ここで，決定木学習による選択の 8 種類は，5.1-5.3 節でのそれぞれ二通りの選択肢による，全組み合わせに対応する。表 8 の決定木学習の方法の列はそれぞれ，一列目が 5.1 節の分類に, 二列目が 5.2 節の分類に, 三列目が 5.3 節の分類にあたる。それぞれ,

表 7 個別の手法を用いた際の WSD の平均正解率

表 8 選択した手法を利用した際の WSD の平均正解率

3 值と 2 值は「Sameを利用した 3 值分類」と「訓練事例から Same の事例を削除した 2 值分類」 を，ケースとトークンは「ケースによる分類」と「トークン数による重みづけを用いた分類」を示す。なお, Golden Answer は，決定木学習を用いる代わりに，ラベルとなっているふたつの領域適応のうち, WSDの正解率の高い領域適応手法をケースごとに人手で選択して, WSDの平均正解率を求めた值であり, upper bound である.

「Same を利用した 3 値分類」の決定木で Same が割りつけられたケースは, 本来は TO でも RSでもどちらでもよいというように，二つの領域適応手法の選択肢のどちらを用いてもよいケースであるが, 本稿では一括的に領域適応を行ったときに正解率が高い方の手法を用いて, 最終的な WSD の平均正解率を算出した。「訓練事例から Same の事例を削除した 2 值分類」を利用した場合は，5.2 節で述べたように，学習した決定木を用いて自動的に全てのケースを分類した. そのため, Sameの割りつけられたケースも, 決定木によって選択された手法を利用して最終的な WSD の平均正解率を算出した。

表 8 から, 決定木学習を用いて選択した手法を利用した際の WSD の平均正解率のうち, 最も高いWSD の平均正解率は,「カイ二乗検定」,「訓練事例から Same の事例を削除した 2 値分類」,「ケースによる分類」を利用した $83.52 \%$ である。表 7 の, 個別の手法を用いた際の最高の正解率, FDの $82.27 \%$ りも正解率が高いため, 決定木を利用して適切な領域適応手法を利用した方が，個々の領域適応手法を使った時よりも正解率が上がることが分かる．またこのとき， カイ二乗検定により十分な有意差が認められた.

## 7 考察

## 7.1 決定木学習のラベル付きデータの作成方法と学習方法についての比較

本節では, 決定木学習に打けるラべル付きデー夕の作成方法と学習方法による違いを比較する. まずSame ラベルの付け方について比べると, 決定木学習に打ける Same の扱いを「訓練事例から Same の事例を削除した 2 値分類」にしたときには「同じもの」が「カイ二乗検定」よりもよいが，「Sameを利用した 3 値分類」にしたときには「カイ二乗検定」が「同じもの」よりもよいことが分かる.

また決定木学習における Same の扱いについて比べると，「訓練事例から Same の事例を削除した 2 值分類」のほうがいつも「Sameを利用した 3 值分類」よりもよいことが分かる。

さらにケースによる分類とトークン数による重みづけを用いた分類について比べると，「ケー スによる分類」のほうがいつも「トークン数による重みづけを用いた分類」よりもよいことが分かる.

8 種類の決定木の作成手法のうち最も良かったのは, 決定木学習のデー夕の Sameのラベル付けには「カイ二乗検定」を利用し, 決定木学習における Same の扱いにおいては「訓練事例から Same の事例を削除した 2 值分類」を利用し，決定木学習の際には「ケースによる分類」を用いた決定木学習（カイ二乗検定，2 値，ケース）であった.

このとき，決定木の正解率はそれぞれ，TO と RS の決定木は $69.57 \%$ ，TO と FDの決定木は $64.81 \%, \mathrm{RS}$ とD の決定木は $52.63 \%$ であった。

また，上記の実験は，コーパスを考慮しない五分割交差検定であるため，語義夕グがついていないコーパスに対しての性能を見るために，ケースをコーパスごとに分け，コーパスごとの交差検定を行った．上記の実験で最高の正解率だった（カイ二乗検定， 2 値，ケース）の決定木学習の手法で実験を行ったところ，WSD の平均正解率は $82.32 \%$ となった．FD の $82.27 \%$ よも高いが，カイ二乗検定による有意差は得られなかった．利用したコーパスは 3 つであるため， 144 ケースのおおよそ三分割交差検定を行うこととなっており，訓練事例数が足りず，決定木の十分な分類性能が得られなかったためだと考えられる．WSD の領域適応の実際のタスクにおいて，本論文が提案する決定木を作る際には，ソースドメインのコーパス以外に，語義夕グ付きのコーパスが少なくともひとつ以上存在する必要がある。その中にターゲットドメインのコーパスを含めずに済むかどうかは不明である。しかし，上記の実験から，含めない場合にもある程度の効果は得られると考える。あるいはターゲットドメインのコーパスに決定木を作るのに必要な程度の語義夕グをつけることも考えられる。

## 7.2 学習された決定木についての考察

WSD の平均正解率が最高だった「カイ二乗検定」,「訓練事例から Same の事例を削除した 2 値分類」,「ケースによる分類」の決定木学習の五回の検定のうち, 最も高い正解率だった決定木を付録として示し，生成に特に貢献した素性と素性値について以下に述べる.

まず，TO と RS の決定木のルートノードでは,「ふたつの正解率の比 $=0.70$ 以上」が no のときTOが割り当てられた。これは「the Otherのシミュレーションの正解率/ TO のシミュレー ションの正解率」の割合が 0.70 以下であれば，TO が割り当てられたということである。つまり, 10 トークンのターゲットデータに語義をタグ付けし, Leave One Out 法で評価を行った際の正解率のほうが, ソースデータで分類器を学習し, 10 トークンのターゲットデータに語義をタグ付けしたもので評価した正解率よりも高いときには TO が割り当てられたということに等しい.このことから，10 ケースの語義をタグ付けしたターゲットデータによるシミュレーションの予測が，最適な領域適応の手法を予想する強力な手がかりになることが分かる.

次に, 決定木の深さが 1 のノードでは, 「JS 距離 (WSD の対象単語の一つ前の形態素 $)=0.61$以上」のときにTOが選ばれている。このことから, WSD の対象単語の一つ前の形態素に関する素性の分布がソースデータとターゲットデータで異なっているときには, ソースデータを訓練事例に利用せず，ターゲットデータの 10 トークンに語義をタグ付けして訓練事例にした方がよいことが分かる．JS 距離が大きいのは素性の分布が異なっていることを意味し，逆に JS 距離が小さいのは素性の分布が似通っていることを意味する．WSDにおいて鍵となる素性の分布が遠く, ソースデータが十分に似ていない時には, ソースデータを利用しない方がよいため, JS 距離が大きいときには TO になりやすいと考えられる. 同様に素性の分布が近く, ソー スデータが十分に似ている時には, ソースデータを利用した方がよいため, JS 距離が小さいときにはRSになりやすいと考えられる。

また, RS と FD の決定木のルートノードでは,「ソースデータの数/ターゲットデータに一定以上似ているソースデータの数 $=186.85$ 以上」のとき FD が割り当てられた. FD は, ターゲットデータに閥値以上似たソースデータだけを訓練事例に利用する手法であるため，ターゲットデータに間値以上似ていないソースデータが多量にあるときには, 全ソースデータではなく, ターゲットデータに似ているデータだけ利用すればよいことが分かる。このことから， ター ゲットデータに十分似ていないデータを足しすぎると，誤った学習が行われてしまうことが推察できる。

次に，決定木の深さが 1 のノードでは, 「JS 距離（WSD の対象単語の二つ前の形態素）=0.74 以上」が yes であれば FDが，noであれば RSが割り当てられた。このことから，WSD の対象単語の二つ前の形態素に関する素性の分布がソースデータと「ターゲットデータに一定以上似ているソースデータ」で似ているときには, ソースデータを訓練事例にすべて利用した方がよく，似ていない時には，ソースデータを利用せずに語義を夕グ付けしたターゲットデータの 10

トークンを訓練事例にした方がよいことが分かる。本決定木では， TO と RS の決定木の深さ 1 のノードと同様に，素性の分布が似ているときに，ソースデータを利用したほうがよいという結果になっている.

また, TO と FD の決定木のルートノードでは, 「ターゲットデータ 10 トークン中の MFS の, ターゲットデータに閾値以上似たソースデータ中のパーセンテージ $=12.58$ 以下」である場合に, TO が割り当てられた. このことにより, ターゲットデータ 10 トークン中に最頻出する語義が, FD の訓練事例として利用される，「ターゲットデータに一定以上似ているソースデータ」に少ない時には，TOを用いた方がよいことが分かる．このことから，二つのデータの語義夕グが似ていないときは，ソースデータから訓練事例を一切足すことなく， ターゲットデータだけで学習した方がよいと考えられる。

次に, 決定木の深さが1のノードでは, 「JS 距離（WSD の対象単語の一つ後の形態素の分類語彙表の値 $)=0.15$ 以下」であれば，TOが割り当てられた．WSD の対象単語の一つ後の形態素の分類語彙表の值に関する素性の分布が，ターゲットデータと「ターゲットデータに一定以上似ているソースデータ」で似ているときには，ソースデータを訓練事例に一切利用せず，ター ゲットデータを 10 トークンタグ付けして訓練事例にした方がよいことが分かる。ここで注目したいのは，これまでの決定木とは逆に，素性の分布が似ているときに，ソースデータを利用しないほうがよいという結果になっていることである。TO と FDの決定木全体を見てみると， ノードに JS 距離についての条件は四度現れる。そのうち，二回は素性の分布が似ているときに，ソースデータを利用しないほうがよいという結果であり，残りの二回は逆に素性の分布が似ているときに，ソースデータを利用したほうがよいという結果になっている。このように同じ JS 距離でも素性によって似ているときにソースデータを利用した方がよかったり，そうでなかったりするのは，本決定木では TO と FD の二手法から領域適応手法を選択しているためであると考えられる。全てのソースデータを訓練事例に含める RS と異なり，FDでは，ターゲットデータに一定以上似ているソースデータを訓練事例に含めるため，素性によって似ていたらソースデータを使用すべきものと，ソースデータを使用すべきでないものに分かれているのではないかと考えられる。「WSDの対象単語の一つ後の形態素の分類語彙表の値」は後者であることが決定木から読みとれる。

## 8 まとめ

語義曖昧性解消 (WSD; Word Sense Disambiguation) について領域適応を行った場合、ソー スデータとターゲットデータのデータの性質により，最も効果的な領域適応手法が異なる。そのため本稿では, 決定木学習を用いてソースデータとターゲットデータの性質から, 最も効果的な領域適応手法を自動的に選択する手法について述べた．WSDの対象単語タイプ，ソース

ドメイン，ターゲットドメインの三つ組を 1 ケースとして数え，決定木学習を利用してケースごとに，TO，RS，FDの三種類から適切な領域適応手法を選択した。なお，TO はソースデー タを用いず，ランダムに選んだ少量のターゲットデータに語義をタグ付けしたものだけを訓練事例とする手法, RS はソースデータと語義を夕グ付けした少量のターゲットデータの両方を訓練事例とする手法, FD はターゲットデータに似たソースデータと語義を夕グ付けした少量のターゲットデータを訓練事例とする手法である。三つの手法から領域適応手法を一意に選ぶため, pairwise 方式に三つの決定木を作成し, 最後に統合して用いた. ケースごとに自動的に選択された手法を用いて領域適応を行うことで，もともとの手法を一括的に使った時に比べ，WSD の正解率が有意に向上した.

また，ラベル付きデータの作成方法と学習方法を 8 通り試したが，このうち最もWSD の平均正解率が高かったのは, 決定木学習のケースへのラベル付けの際, ふたつの領域適応手法の WSD の正解率に有意差がないケースに Same ラベルを付与し, Sameの割りつけられたケースは訓練事例から取り除いて 2 值分類を行い, ケースごとに分類を行う決定木学習であった.

作成した決定木から，語義を夕グ付けした少量のターゲットデータによるシミュレーションの予測や, 同ターゲットデータの最頻出語義の「ターゲットデータに一定以上似ているソースデータ」中の出現率, ソースデータの数と「ターゲットデータに一定以上似ているソースデー 夕」の数の比が, 最適な領域適応の手法を予想する強力な手がかりになることが分かった.

## 謝 辞

文部科学省科学研究費補助金特定領域研究「現代日本語書き言葉均衡コーパス」の助成によ

り行われた。ここに，謹んで御礼申し上げる。また, 本論文の内容の一部は, 5th International Joint Conference on Natural Language Processing で発表したものである (Komiya and Okumura 2011).

## 参考文献

Agirre, E. and de Lacalle, O. L. (2008). "On Robustness and Domain Adaptation using SVD for Word Sense Disambiguation." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 17-24.

Agirre, E. and de Lacalle, O. L. (2009). "Supervised Domain Adaption for WSD." In Proceedings of the 12th Conference of the European Chapter of the Association of Computational Linguistics, pp. 42-50.

Asch, V. V. and Daelemans, W. (2010). "Using Domain Similarity for Performance Estima-
tion." In Proceedings of the 2010 Workshop on Domain Adaptation for Natural Language Processing, ACL 2010, pp. 31-36.

Blitzer, J., McDonald, R., and Pereira, F. (2006). "Domain Adaptation with Structural Coppespondence Learning." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 120-128.

Chan, Y. S. and Ng, H. T. (2006). "Estimating Class Priors in Domain Adaptation for Word Sense Disambiguation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 89-96.

Chan, Y. S. and Ng, H. T. (2007). "Domain Adaptation with Active Learning for Word Sense Disambiguation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 49-56.

Daumé, III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263.

Daumé, III, H., Kumar, A., and Saha, A. (2010). "Frustratingly Easy Semi-Supervised Domain Adaptation." In Proceedings of the 2010 Workshop on Domain Adaptation for Natural Language Processing, ACL 2010, pp. 23-59.

Hashida, K., Isahara, H., Tokunaga, T., Hashimoto, M., Ogino, S., and Kashino, W. (1998). "The RWC text databases." In Proceedings of The First International Conference on Language Resource and Evaluation, pp. 457-461.

Jiang, J. and Zhai, C. (2007). "Instance Weighting for Domain Adaptation in NLP." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 264-271.

Komiya, K. and Okumura, M. (2011). "Automatic Determination of a Domain Adaptation Method for Word Sense Disambiguation Using Decision Tree Learning." In Proceedings of the 5th International Joint Conference on Natural Language Processing, IJCNLP 2011, pp. 1107-1115.

Maekawa, K. (2008). "Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 6th Workshop on Asian Language Resources (ALR), pp. 101-102.

McClosky, D., Charniak, E., and Johnson, M. (2010). "Automatic Domain Adaptation for Parsing." In Proceedings of the 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 28-36.

Quinlan, J. R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers.

Raina, R., Battle, A., Lee, H., Packer, B., and Ng, A. Y. (2007). "Self-taught Learning: Trans-
fer Learning from Unlabeled Data." In ICML '07: Proceedings of the 24th international conference on Machine learning, pp. 759-766.

Sugiyama, K. and Okumura, M. (2009). "Semi-supervised Clustering for Word Instances and Its Effect on Word Sense Disambiguation." In Proceedings of the 10th International Conference on Intelligent Text Processing and Computational Linguistics (CICLing 2009), pp. 266-279.

Tur, G. (2009). "Co-adaptation: Adaptive Co-training for Semi-supervised Learning." In Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, 2009. ICASSP 2009, pp. 3721-3724.

Zhong, E., Fan, W., Peng, J., Zhang, K., Ren, J., Turaga, D., and Verscheure, O. (2009). "Cross Domain Distribution Adaptation via Kernel Mapping." In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 1027-1036.張本佳子, 宮尾祐介, 辻井潤一 (2010). 構文解析の分野適応における精度低下要因の分析及び

分野間距離の測定手法. 言語処理学会第 16 回年次大会発表論文集, pp. 27-30.

国立国語研究所 (1964). 分類語彙表. 秀英出版.

西尾実, 岩淵悦太郎, 水谷静夫 (1994). 岩波国語辞典第五版. 岩波書店.

## 付録

## A 生成された決定木

上の枝が yes, 下の枝が no に相当する. JS 距離 (語義) は, 決定木の素性の (17) データ 1 とデー 夕 2 の語義タグの JS 距離の略記, JS 距離（*)は, (18)データ 1 とデータ 2 の間の WSD の素性ごとの分布の JS 距離の略記であり，*には 3.2 節の WSD の素性名が入る. JS 距離 (Featureplus) は (19) データ 1 とデータ 2 の間の素性ごとの JS 距離を足しあわせたものの略記で，(18)を 17 種類足しあわせた値であり, JS 距離 (Featureall) は (20)データ 1 とデータ 2 の素性をひとつの単位としたときの JS 距離の略記である.

図 $3 \mathrm{TO}$ と $\mathrm{RS}$ の決定木

$
\begin{aligned}
& \text { - FD } 10 \text { ケース } \\
& \text { ソースデータの数/ターダットデータに一定以上似ているソースデータの数 }=186.85 \text { 以上 } \\
& \text { - FD } 4 \text { ケース } \\
& \text { 一JS 距離 (WSD の対象単語の二つ前の形態素) }=0.74 \text { 以上 } \\
& \text { L RS } 23 \text { ケース FD } 8 \text { ケース } \\
& \text { 図 } 4 \mathrm{RS} \text { と } \mathrm{FD} \text { の決定木 }
\end{aligned}
$

$
\begin{aligned}
& \left.\lvert\, \begin{array}{c}
\text { ターゲットデータの数=56 以上 } \\
\text { L TO } 1 \text { ケース }
\end{array}\right. \\
& \begin{array}{l}
\text { FD のシミュレーションの正解率 }=0.2 \text { 以上 } \\
\text { L TO } 1 \text { ケース }
\end{array} \\
& \begin{array}{l}
\text { ターゲットデータ } 10 \text { トークン中の MFS を持つトークン数=5 以上 } \\
\text { L TO } 3 \text { ケース }
\end{array} \\
& \text { — JS 距離（WSD の対象単語の一つ後の形態素の分類語彙表の値） }=0.15 \text { 以上 } \\
& \text { —TO } 5 \text { ケース } \\
& \text { ターゲットデータ } 10 \text { トークンの MFS を持つターゲットデータに } \\
& \text { 一定以上似ているソースデータ中のパーセンテージ= } 12.58 \text { 以上 }
\end{aligned}
$

図 5 TO と FD の決定木

## 略歴

古宮嘉那子 : 2005 年東京農工大学工学部情報コミュニケーション工学科卒. 2009 年同大大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

奥村学：1962 生. 1984 年東京工業大学工学部情報工学科卒業. 1989 年同
大学院博士課程修了. 工学博士. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授，2009 年同教授，現在に至る. 自然言語処理，知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会, AAAI,言語処理学会, ACL, 認知科学会, 計量国語学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 地方自治体の例規比較に用いる条文対応表の作成支援

竹中 要一 $\cdot$ 若尾 岳志 ${ }^{\dagger}$
}

地方自治体が制定する条例（規則も含め, 以下例規という）は，章節／条項号とい う階層を有する，基本的に構造化された文書である。各自治体はそれぞれ別個に各議会等でこの例規を制定するため, 複数の自治体が同一の事柄に関する規定（例え ば「淫行処罰規定」など）を有している事が多い。この同一の事柄に関する規定の自治体間における異同を明らかにするための比較は, 法学教育や法学研究, 地方自治体法務, 企業法務において実施されている，実務における法の比較では，対応する 条項を対とし, それらの条文を左右または上下に並べた条文対応表の作成が主体と なっている。これまで条文対応表は手作業で作成されてきたが, 対象とする例規の 条数や文字数が多い場合の表作成には 3 時間以上も必要としていた。そのため計算機による条文対応表の作成支援が強く求められているが，本件に関する研究はこれ までに行われていない。そこで我々の研究は, 条文対応表を計算機で自動作成する ことによる条文対応表の作成支援を目的とする。この目的を達成するため, 我々は 条文対応表を, 各条をノードとする二部グラフとしてモデル化し, このモデルに基 づき条文対応表を自動作成するために有効な手法の検討を行った。二文書間の類似度を定義する多くの研究がこれまでに報告されている. これらの類似度比較手法よ り本研究ではベクトル空間モデル, 最長共通部分列, 及び文字列アライメント（編集コスト可変のレーベンシュタイン距離）に基づく96 個の類似尺度の性能を比較し た. 評価には愛媛県の 11 の条例とそれに対応する香川県の 11 の条例を用い，法学者が作成した条文対応表に基づき正解率を求めた。その結果, 名詞, 副詞, 形容詞,動詞，連体詞を対象としたべクトル空間モデルに基づく類似尺度の正解率が $85 \%$ と 最も高かった。また，文字列アライメントに基づく類似尺度の正解率は最高で $81 \%$,最長共通部分列は最高で $75 \%$ であった。本研究は条文対応表の作成支援であるため,推定された対応関係の信頼度, あるいは尤もらしさを提示する事が望ましい。そこ で各比較手法で最も正解率の高かったパラメータを用いた合計 3 つの類似尺度に対 して受信者操作特性曲線による評価を行ったが，曲線下面積がいずれも狭くて信頼度の尺度として適さない。そこで, 推定された対応関係の類似度を二番目に高い類似度を持つ対応関係の値で割る事による正規化を行ったところ, 最長共通部分列の 曲線下面積が 0.80 と最も高く, ベクトル空間モデルの面積は 0.79 と良好であった.以上の評価結果より, 条文対応表の作成支援では条見出しに対して最長共通部分文字列を，条文に対してべクトル空間モデルをそれぞれ適用した類似尺度を併用する 事が，そして得られた条文対応関係の信頼度を評価する尺度としては二番目に高い 類似度で割った值を用いるとよい事を明らかにした。

キーワード: 法, 条例, 比較法, ベクトル空間モデル, 文字列アライメント, 地方自治体

#
Automatic Generation of Article Correspondence Tables for the Comparison of Local Government Statutes

\author{
YoIChi TAKENAKA ${ }^{\dagger}$ and TAKEShi WaKAO $^{\dagger \dagger}$
}

Local governments establish ordinances and regulations (hereinafter collectively referred to as "statutes"). They are structured documents that possess a chapter $>$ article $>$ paragraph >item hierarchy. Since each local government establishes statutes in its councils independently, similar statutes on the same matter are often found in separate local governments (e.g. punishment for obscene habits). In legal education, legal research and legal works at local government and business enterprise, comparisons are made to clarify the differences between similar statutes. In the comparison of laws for practical purposes, article correspondence tables are normally created with pairs of corresponding articles aligned horizontally or vertically. The objective of our research is to use a computer to automatically generate the article correspondence tables that are currently created manually. In order to accomplish this objective, we have focused on the relationships between articles in article correspondence tables, which were modeled with directed bipartite graphs that used each article as a node. 96 methods based on the vector space model, longest common subsequence and sequence alignment were examined in order to clarify effective methods for searching for corresponding articles. In the course of the research, we automatically generated article correspondence tables of 22 statutes in total (11 statutes of Ehime and Kagawa Prefectures, respectively). Their accuracy rates were calculated based on article correspondence tables created by legal scholars. Consequently, the vector space model-based method proved the highest accuracy rate at $85 \%$. Its targets were nouns, adverbs, adjectives, verbs and attributives. The sequence alignment-based method showed up to $81 \%$ of accuracy rate, while the rate with the longest common subsequence method was $75 \%$. As the results of the computer-generated article correspondence tables are checked by legal scholars on a practical level, it is required to posess the degree of reliability for each relationships between articles. To meet the requirement, we examined two measurements for the three methods by receiver operating charasteristic curve. The results shows the ratio of the selected relations and the runner-up gives 0.80 AUC for longest common subsequences. In this research, the problem was defined by focusing on the correspondence relationship between articles in the article correspondence tables. For practical purposes, there is a need to focus not just on the correspondence relationship between articles, but also on the clarification of different words used in corresponding articles. Since vector space model cannot be used to clarify such differences, sequence alignment-with which it is feasible to clarify differing texts - is necessary. Composite methods that combine those two will therefore be required in the future.

Key Words: Law, Local Government Statue, Comparative Law, Vector Space Model, Sequence Alignment, Local Government

## 1 はじめに

法は章節／条項号という階層を有する，基本的に構造化された文書であり，国（国会）の制定する法律, 地方自治体（議会）が制定する条例の二つがある．前者に規則を加え法規，後者に規則を加え例規と総称される。日本国内で法律を制定する主体は国家のみだが，条例を制定する地方自治体は多数存在する，そのため，同一の事柄について規定する多数の例規が地方自治体ごとに存在することになる．例えば，各県の象徴であり，旗に用いられる県章を定めた条例は全都道府県で制定されており, 青少年の保護育成を目的とする条例は, 長野県を除く 46 都道府県で制定されている。これら同一事項に関する条例は相互に類似しているものの, 地方自治体の置かれた状況が異なるため, 随所に相違点が存在している。一例として, 青少年の保護育成を目的とした条例では，青少年の深夜外出を制限しているが，その制限される時間が異なっている事が挙げられる. 東京都や愛媛県では午後 11 時から午前 4 時を深夜と定義している一方,高知県では午後 10 時から午前 4 時を深夜としている。また, 大阪府では外出を制限する時間帯を年齢によって変えており, 16 歳未満の場合は午後 8 時から午前 4 時まで外出を制限される. このような違いを明確化するため例規比較が行われる.

例規比較は，自治体間の違いを明らかにする教育・研究活動以外にも，企業法務や自治体法務においても発生する業務である。自治体法務における例としては，例規を制定・改正する際の参考資料作成，さらには自治体合併時に全例規を擦り合せて一つに䌂めるための準備作業が挙げられる。特に自治体合併時には, 対象となる全自治体の全例規に対する例規比較を短時日に行う必要がある仕事量の多い法務となっている (加藤 2006; 伊佐美 2005a, 2005b; 藤井 2007).現在, この例規比較は専門家が手作業で実施しているため, 計算機を利用した作業の省力化が望まれている。そこで本研究では, 条文対応表の作成支援を目的とし, 与えられた 2 つの例規の条文対応表を計算機で作成する手法の検討及び, 得られた条文の対応関係の尤もらしさについての評価を行う.

法を計算機で扱う研究は, 法律の専門家を模倣するエキスパートシステムに関する研究として, 人工知能研究の派生領域として発達してきた。本分野初期の国際会議として, 1987 年より隔年開催されている International Conference on Artificial Intelligence and Law (ICAIL) と, 1988 年より毎年開催されている International Conference on Legal Knowledge and Information System (JURIX ) がある.日本では平成 5 年度から 9 年度の文部省化学研究費重点領域研究「法律エキスパートシステムの開発研究」において促進された (吉野 2000).この期間を通してインターネット上における法律の閲覧が可能となり, 特に判例を計算機で利用する知的システムに関する多数の研究が実施された. 法律や例規以外の法関係の文書に対する情報科学との融合研究としては, 特許における公開特許公報中の請求項と発明の詳細な説明文との対応付けを行う研究が行われている (丸川, 岩山, 奥村, 新森 2002 ; 新森, 奥村 2005). また, 法律用語のオント

ロジー構築に対する研究も行われた (山口, 槫松 1998). そして, 日本においても 2007 年より人工知能学会全国大会の併設ワークショップとして International Workshop on Juris-informatics (JURISIN:JURIS INformatics) が毎年開催されている。自治体の情報化を支援する企業も多数存在し, 例規のインターネット上での公開支援にとどまらず，例規改正の編集過程に基づき，改正前後の差異を表現した新旧対照表を自動作成する事も可能となっている (角田 2010). 現在では，官報を基に法務省行政管理局が整備した法令デー夕提供システムが日本の法令を提供している (総務省行政管理局 ). また, 多くの法律の英対訳も名古屋大学の日本法令外国語訳デー夕ベースシステムを通じて提供されている (法情報研究センター). 現在では法律だけでなく, 多くの自治体が例規をインターネット上に公開するようになった.

しかし例規を対象とした情報科学との融合研究は少なく, これまでに例規を分類する研究 (原田, 青木, 真島 2009) が存在するに留まっている. そのため, 例規の条文対応表の自動作成に関する研究は本論文が嚆矢である.

米国の連邦法と州法とで整合性の取れていない条文の発見を目的とした，法律体系の中から関連する条文を網羅的に抽出する研究がある (Lau, Law, and Wiederhold 2006). この研究は類似する条文を抽出する点で, 例規の条文対応を推定する本研究と類似している．しかしながら，彼らの研究は米国における領域知識の利用を前提としている事及び，不整合性検出のために数值や単位に特化した処理を追加している点で日本の例規を対象とした条文対応表への適用は困難である. 条文対応表は, 条文を一般の文書と見なした場合, 類似文書を探す研究と見なしうる。類似文書の探索に関する研究としては, 英語で記された複数のコーパス間の類似する文を抜き出す研究や (Barzilay and Elhadad 2003) や, コーパス内に存在する類似文のクラスタを抜きだす研究がある (Hatzivassiloglou, Klavans, Holcombe, Barzilay, yen Kan, and McKeown 2001). また日本語を対象とした研究も挙げられる (宮部, 高村, 奥村 2006 ; 平尾, 鈴木, 磯崎, 前田 200510 15). これらの論文では同一事象に対して記述された記事の抽出及び，記事の要約をその目的としている。これらはよく整備されたコーパスや類義語辞典を用いたり, 豊富に収集された事例に基づく機械学習によりその性能向上を図っている。そのため研究事例のない例規を対象とした本研究に直接利用する事は困難である。

## 2 モデル化と問題定義

## 2.1 例規の構造

本研究で対象とする例規とは, 法特有の階層構造を有する文章である。典型的な法では, 例規名を表す「表題」，効力を発する日を記した「発令」，公布を宣言する「公布文」，例規の内容を記した「本則」，そして「制定附則」及び「改正附則」が第一番目の階層を構成する。このうち本則は，「章」「節」／「条」「項」「号」の階層を有している。図 1 に例規に共通する主要な

図 1 例規の主要な共通階層構造

図 2 本則の階層構造の例（抜粋）

階層構造を示す，ただし，実際の例規では章が存在しない場合も多く，特に制定時期が古い例規ではこの階層構造に従わない場合もある事を付記する。章と一部の条にはその内容を記載した見出しがついている。図 2 に愛媛県青少年保護条例から抜粋した本則の一部を記す。図 2 において章と条の右横に括弧で記載した文字列が章見出しおよび条見出しである.

## 2.2 条文対応表

例規比較を行う際には，対応する条文の関係を記した比較対照表が作成される。この表を条文対応表と呼ぶ. 表 1 に，愛媛県青少年保護条例と香川県青少年保護育成条例の条文対応表の典型例を記す，表では，例规構造より表題，発令，公布文がまず並ぶ，その後，二つの条例において対応する条が左右に並ぶという形をとっている，条番号の一行上に書かれている括弧書きの文字列は条見出しである。表より以下のような事がわかる.
- 愛媛県の第 1 条が香川県の第 1 条に, 愛媛県の 1 条が香川県の 4 条に対応している.
- 香川県の第 3 条に対応する愛媛県の条文が存在しない.
- 香川県の第 15 条は，愛媛県の第 12 条と第 13 条の 2 つに対応している.

この表を利用する事により「青少年」の定義や，夜間の時間帯といった二つの条例の違いを網羅的に比較する事が行われている。

条文比較表において対応する条文は類似する事が多い．これを示すため，表中で対応する両県の第一条の共通部分に下線を引いた。

愛媛県:この条例は、青少年の健全な育成を阻害する恐れのある行為から青少年を保護し、 もって青少年の健全な育成をはかる事を目的とする。

香川県：この条例は、青少年の福祉を阻害するおそれのある行為を禁止し、その健全な保護育成を図る事を目的とする。
表 1 愛媛県と香川県の青少年保護に関する条例の条文比較表（一部抜粋）

 &  \\

この場合，両方の条が大変よく一致している事がわかる，次に対応する条の文字数に差がある包含関係にある例として，愛媛県の第 13 条の 3 と第 10 条の 3 を挙げる.

愛媛県：何人も、青少年に対し、ツーショットダイヤル等利用カード（ツーショットダイヤル等営業に関して提供する役務の数量に応ずる対価を得ることを目的として発行する文書その他の物品をいう。以下同じ。）を販売し、配布し、贈与し、又は貸し付けてはならない。

香川県：何人も、青少年に利用カードの販売等をしてはならない。

この例は「利用カード」の定義が条内で行われているか否により共通部分に偏りが出ている事を示している。そのため, 香川県側は 24 文字中 18 文字 $(75 \%)$ が一致しているが，愛媛県側は 110 文字中 18 文字 $(16 \%)$ が一致しているにすぎない，ただ，共通部分が多い場合でも必ずしも対応する条であるとは限らない，例として愛媛県の第 5 条の 8 と香川県の第 10 条の 2 を示す.

愛媛県：自動販売機等業者は、次に掲げる施設の敷地の周囲から 200 メートル以内の区域に、(中略）設置しないように努めなければならない。

（1） 学校教育法（昭和 22 年法律第 26 号）第 1 条に規定する学校（大学を除く。）

(2) 児童福祉法（昭和 22 年法律第 164 号）第 7 条第 1 項に規定する児童福祉施設

(3) 図書館法(昭和 25 年法律第 118 号) 第 2 条第 1 項に規定する図書館 (後略)

香川県：卑わいな姿態等を被写体とした写真又は描写した絵を掲載した広告文書等は（中略）「有害広告文書等」（中略）とする。

2 何人も、次に揭げる行為をしてはならない。(中略)

(3) 次に揭げる施設の敷地内において有害広告文書等の配布をすること。

ア学校教育法(昭和 22 年法律第 26 号) 第 1 条に規定する学校（大学を除く。）

イ図書館法(昭和 25 年法律第 118 号) 第 2 条第 1 項に規定する図書館

(後略)

このように，共通部分が多い場合でも必ずしも対応するとは限らない事がわかる.

## 2.3 条文対応表のモデル化と推定問題

本研究で目的とする計算機支援を達成するためには，与えられた 2 条例より条文比較表を自動生成する必要がある。そのためには, 計算機で解決可能な形に問題をモデル化する必要がある. 一般に条文対応表は, その名の通り表として表現されているが，条の対応関係は多対多であり，また対応する条がない場合も存在する。当然にして同一例規内の条の間には対応関係は存在しない。また, 例規の主要構造のうち対応関係を決める必要があるのは本則に属する条のみであり，制定附則や改正附則に属する条の対応関係を決める必要はない。そこで，我々は条

図 3 二部グラフによる条文対応表のモデル

文比較表より本則の部分に着目し，各例規の本則に属する条を頂点とする 2 部グラフとしてモデル化する． 2 部グラフを構成する 2 つ頂点集合は例規ごとに構成され, 対応する条の間に辺が引かれる.

ここで 2 の例規 A, B の条文対応表のモデルを以下のように定義する.

二部グラフ $G=\left(V_{A}, V_{B}, E\right)$, ただし,
- 頂点 $v_{a} \in V_{A}$ が $\mathrm{A}$ の本則に属する条に, $v_{b} \in V_{B}$ が $\mathrm{B}$ の本則に属する条に対応し,
- 辺 $e=\left(v 1 \in V_{A}, v 2 \in V_{B}\right)$ は, $v 1$ と $v 2$ が条文比較表において対応する事を表す.

図 3 に，愛媛県と香川県の青少年保護に関する条例の条文対応表を示す。図中左側の四角が愛媛県側の, 右側の四角が香川県側の各条を表す頂点である. 左右の頂点間の辺が, 両県の条例における条の対応関係を表現している。

条文対応表の推定問題とは, 2 つ例規 $A, B$ を入力とし, 法学者が作成する条文対応表と一致または類似した二部グラフ $G=\left(V_{A}, V_{B}, E\right)$ を出力する問題と定義する.

## 2.4 条文対応表生成アルゴリズム

条文対応表の推定問題は, 入力として与えられる二例規の各条間の類似度を計算し, その類似度に基づき条文が対応するか否かを判定する事で解く事ができる。本研究では, 類似度の定義, すなわち類似尺度が与えられたとき以下のアルゴリズムによって条文の対応関係を推定する方法を提案する。

入力 2 つの例規 $\mathrm{A}, \mathrm{B}$

出力二部グラフ $G\left(V_{A}, V_{B}, E\right)$

step12つの例規の本則に属する条に対応する頂点集合 $V_{A}, V_{B}$ を生成する.

step2 2 つ頂点 $v_{a} \in V_{A}, v_{b} \in V_{B}$ 間の辺重みを条 $v_{a}, v_{b}$ 間の類似度とする重み付き完全二部

$
\text { グラフ } G_{p}=\left.\{V_{A}, V_{B}, E_{p}\right.\} \text { を生成する. }
$

step3 $V_{A}$ に属する各頂点 $v_{a}$ を端点とする辺集合 $E_{v_{a}}=\left.\{\left(v_{a}, v_{b} \mid v_{b} \in V_{B}\right)\right.\}$ のうち, 最も重みの大きい辺を二部グラフ $G$ の辺集合 $E$ に加える.

step4 $V_{B}$ に属する各頂点 $v_{b}$ を端点とする辺集合 $E_{v_{b}}=\left.\{\left(v_{a}, v_{b} \mid v_{a} \in V_{A}\right)\right.\}$ のうち, 最も重みの大きい辺を二部グラフ $G$ の辺集合 $E$ に加える.

step5 二部グラフ $G$ を出力する.

条文対応表では，図 3 に示したように一つの条に対して複数の条が対応する事例がある．提案アルゴリズムでは両方の例規からではなく, Step3 と 4 において一方の例規の条からみて類似度の最も高い条に対応関係があると判定した辺をグラフに追加している. Step3 と Step4 は独立して辺，すなわち 1 つの条と対応関係にある条を選択しているため，一つの頂点が複数の辺の端点となりうる。結果的に Step5において多対多の二部グラフ，すなわち多対多の関係を含む条文対応表が出力される.

## 3 条間の類似尺度

前節のアルゴリズム内では条間の類似度を定義していない。この類似度は, 法学者が二条間に対応関係が存在する場合に大きい値を，対応関係が存在しない場合に小さい值をとる事が求められる。しかしながら, 法学者の暗黙知を適切に表現する類似尺度が明らかとなっていないため, 本研究では既存の 3 種類の文書比較, 文字列比較法に基づく類似尺度を用い, それらの比較評価を行った。

## 3.1 ベクトル空間モデル

与えられた文章を, 単語の出現頻度を表現したべクトルとしてモデル化する方法をべクトル空間モデルと呼ぶ (Salton, Wong, and Yang 1975). 2つの文章に対応するベクトル間の距離を計算する事により，文章間の関連度を求める方法であり，情報抽出や情報フィルタリング等に用いられる。距離尺度としては，コサイン，内積，マンハッタン距離やユークリッド距離等が用いられる.

要素数 $n$ 個の単語集合 $W=\left.\{w_{1}, w 2, \cdots, w_{n}\right.\}$ が与えられたとき, ベクトル空間モデルによりある文章 $T$ は長さ $n$ のベクトル $V_{T}=\left(v_{1}, v_{2}, \cdots, v_{n}\right)$ で表現される. ここで, $v_{i}$ は, 文章 $T$中における単語 $w_{i}$ の出現回数である。このベクトルはしばしばtf-idf (Term Frequenc, Inverse Document Frequency) に基づく重みが加味される。この重みにより，多くの文章に出現する単語の重要度を下げ，特定の文章にしか出現しない単語の重要度を上げる事が可能となる.

本研究では，条文対応表作成問題における各条文をこのべクトル空間モデルでベクトル化し， 2 つのべクトルの距離によって対応関係の強さを数値化する. なお, 距離尺度としてコサイン

を用い, 利用する単語を頻出順に $10,50,100$ 個選んだもの, 及び全例規に出現する全単語の 4 種類を比較した。 ベクトルの重み付けについては，定数重み及び tf-idf 重みの 2 種類を比較した. また, 利用する単語の品詞として, 全品詞の利用, 全品詞の原形を利用, 名詞のみ利用, 名詞,副詞，形容詞，動詞，連体詞の 5 種類を利用，の 4 種類を適用した。

例規の条文はその長さ，すなわち単語数や文字数の分散値が大きい. これが本手法で計算される条文間の類似度は条文の長さの違いが影響を及ぼす可能性がある。そこで類似度を 2 つの条文のうち短い方の条文の文字数で割る事で正規化した値も類似尺度とする．以降，正規化前を「絶対スコア」, 正規化後を「相対スコア」と呼ぶこととする。 以上によりベクトル空間モデルに基づく類似尺度数は, (ベクトル長 $) \times($ 対象品詞 $) \times($ 重み $) \times($ 絶対 $\mid$ 相対スコア $)=4 \times 4 \times 2 \times 2=64$個となる。

## 3.2 最長共通部分列

最長共通部分列 (Longest Common Subsequence) とは, 入力として与えられた 2 つの文字列における最長の共通部分文字列をいう (Maier 1978)。共通部分文字列とは，もとの文字列から文字を出現順序をかえずに取り出したものとなる。今, 二本の文字列 $X=$ (アイウエオ), $Y=$ (アイクエオ) が与えられたとする．このとき最長共通部分列は，（アイエオ）となり，その長さは 4 である.

最長共通部分列は動的計画法により計算する事が可能である．入力として 2 入の文字列 $X=$ $\left(x_{1} x_{2} \cdots x_{n}\right)$ と $Y=\left(y_{1} y_{2} \cdots y_{m}\right)$ が与えられたとき, 最長共通部分列長を求めるアルゴリズムは以下の通りである。

Step1 $n+1$ 行, $m+1$ 列の行列 $M$ を準備する

Step2 行列 $M$ の値を以下の漸化式によって計算していく

$
M(i, j)= \begin{cases}0 & (i=0 \text { または } j=0) \\ M(i-1, j-1)+1 & \left(i, j>0 \text { かつ } x_{i}=y_{j}\right) \\ \max (M(i-1, j), M(i, j-1)) & \left(i, j>0 \text { かつ } x_{i} \neq y_{j}\right)\end{cases}
$

Step3 行列 $M$ の要素より最大値を出力する

本手法による条文の対応関係の強さは, 最長共通部分列の長さとして定義する，比較する単位としては, 文字単位と単語単位の比較を行った. 文字単位では, ひらがなカタカナを含む全ての文字を対象とした場合と漢字のみを対象とした場合を, 単語単位では, 全品詞, 全品詞の原形, 名詞のみ,名詞, 副詞, 形容詞, 動詞, 連体詞の 5 種類の 4 つの場合の比較を行った. また, 本手法の性能比較では, 入力として条見出しを用いた場合の評価も行った. 以上により最長共通部分列に基づく類似尺度数は, 定数重みを用いたものが (条題 $\mid$ 条文 $) \times($ 対象文字 $) \times($ 絶対 $\mid$ 相対スコア $)=2 \times 2 \times 2=8$
個, tf-idf 重みを用いたものが (対象品詞) $\times($ 絶対 $\mid$ 相対スコア $)=4 \times 2=8$ 個の合計 16 個となる.

## 3.3 文字列アライメント

文字列アライメントは，入力として与えられた文字列に存在する類似した領域を特定できるよう，文字列を整列させる事をいう．この整列に必要とする文字・単語の挿入や削除，置換コストの合計値によって文字列間の類似度が定義される。挿入・置換のコストを 1 ，置換コストを 2 とした場合，レーベンシュタイン距離あるいは編集距離と呼ばれる類似尺度になる。挿入等のコストの異なる例としては, 生物情報学におけるアミノ酸配列（タンパク質）に適用される手法がある (Smith and Waterman 1981; Needleman and Wunsch 1970).この手法におけるコストは生物の進化において変化が発生する確率に基づいて決定されている.

文字列アライメントは，文字列を整列させるため，一致しない事を表す文字として「一」を用いる. 今, 二本の文字列 $X=$ (アイウエオ), $Y=$ (アイクエオ) が与えられたとすると, (アイー エオ) がアライメントである。アライメントは, 例えば一致した文字に 2 点を加点し, 一致しない場合（「一」の場合）に 2 点を減点する, といった基準を設定する事により, 類似度の数値が

アライメントの計算には動的計画法が用いられる。 入力として 2 つの文字列 $X=\left(x_{1} x_{2} \cdots x_{n}\right)$ と $Y=\left(y_{1} y_{2} \cdots y_{m}\right)$ が与えられたとき, 最も高い類似度を求めるアルゴリズムは以下の通りである.

Step1 $n+1$ 行, $m+1$ 列の行列 $M$ を準備する

Step2 0 行及び， 0 列の値を 0 にする

Step3 行列 $M$ の值を以下の漸化式によって計算していく

$
M(i, j)=\max \left(\begin{array}{c}
0 \\
M(i-1, j-1)+s\left(x_{i}, y_{j}\right) \\
M(i-1, j)-g \\
M(i, j-1)-g
\end{array}\right)
$

Step4 行列 M の要素より最大値を出力する

ここで関数 $s(x, y)$ は, 文字 $x$ と $y$ をアライメントさせた場合の点数であり, 上記の例の場合 2 点である. また, 定数 $g$ は, 一致しない場合, すなわち「一」の時の点数であり, 上記の例では -2 点である.

一般に最長共通部分列や文字列アライメントでは，共通部分文字列の順序は保存される。しかし例規比較において対応させるべき条文は, 必ずしも順序が保存されているとはいいがたい.例として，愛媛県と香川県の青少年の保護に関する条例を挙げる。愛媛県の 5 条の 2 及び香川
県の 8 条の 2 はともに，有害ながん具類等の販売等の制限や禁止について規定している．愛媛県では，青少年に対する有害がん具の所持制限，有害がん具の定義の順で記述しているのに対し, 香川県では, 有害がん具の定義, 所持制限の順で記述されている。表 2 に該当部分の抜粋を記載する。そこで，本研究では，アライメントアルゴリズムを再帰的に適用する事により順序関係が保存されていない条文へ対応した手法も用いた。再帰的な適用法は，以下の通りである。

入力長さ $l$ の文字列 $\mathrm{A}$ と長さ $m$ の文字列 $\mathrm{B}$

Step1 文字列にアライメントを行う．その結果， 文字列 $\mathrm{A}$ の $l_{s} \sim l_{e}$ までの部分文字列と文字列 $\mathrm{B} の m_{s} \sim m_{e}$ までの文字列のアライメントが得られたとする.

Step2 文字列 A と文字列 B の整列していない部分文字列の組合せ 4 種類に対してそれぞれアライメントを行う。 4 種類の組合せは以下の通りである.

(a) 文字列 $\mathrm{A}$ の $1 \sim l_{s}-1$ 文字と文字列 $\mathrm{B}$ の $1 \sim m_{s}-1$ 文字

(b) 文字列 $\mathrm{A} の 1 \sim l_{s}-1$ 文字と文字列 $\mathrm{B}$ の $m_{e}+1 \sim m$ 文字

(c) 文字列 $\mathrm{A} の l_{e}+1 \sim l$ 文字と文字列 $\mathrm{B} の 1 \sim m_{s}-1$ 文字

(d) 文字列 $\mathrm{A} の l_{e}+1 \sim l$ 文字と文字列 $\mathrm{B}$ の $m_{e}+1 \sim m$ 文字

Step3 対角線に位置する (a) と (d) の類似度の和と (b) と (c)の類似度の和のうち大きい方のアライメント結果と Step1 でえられたアライメント結果を出力する.

文字列アライメントによる条文の対応関係の強さは，再帰的に得られた各アライメントの類似度の値の和とした。アライメントの単位としては, 3.2 節に記した最長共通部分列と同様に文字単位と単語単位の比較を行った。関数 $s(x, y)$ の値としては, 文字単位の場合は漢字が一致した場合に 2 点, 漢字以外が一致した場合 1 点とし, 単語単位の場合は各単語の tf-idf スコアを用いた。以上により文字列アライメントに基づく類似尺度数は，定数重みを用いたものが

表 2 青少年保護に関する条例における記述順序が異なっている箇所

 &  \\

(順序の保存関係) $\times$ (対象文字) $\times$ (絶対 $\mid$ 相対スコア $)=2 \times 2 \times 2=8$ 個, tf-idf 重みを用いたものが (対象品詞) $\times($ 絶対 $\mid$ 相対スコア $)=4 \times 2=8$ 個の合計 16 個となる.

## 4 評価実験

## 4.1 実験条件と評価項目

法学者の暗黙知を適切に表現し，条文対応表の作成に適した類似尺度を明らかにするため，愛媛県と香川県の 22 条例を対象とした性能評価を行った。対象とした条例を表 3 に記す。また,若尾の監督下において 3 名の法学部生を被験者とした条文対応表の作成に要した時間を表 4 に記す。なお被験者が条文対応表を作成するにあたり青少年保護に関する条例を対象とした講義を行ったため，表 4 において条例対応 ID3 の青少年保護に関する条例の作成時間が欠損している. ベクトル空間モデルにおける距離にはコサインを用い，条文の品詞分解には Mecab (Kudo，

表 3 条文対応表を作成した例規の組合せ一覧

表 4 条文対応表の作成時間（分）

Yamamoto, and Matsumoto 2004)を用いた.

三種類の手法で計算される条文間の類似度は条文の文字数に依存する。そこで類似度を短い方の条文の文字数で割る事で正規化した値も類似尺度として比較した. 自動生成した条文対応表の評価を行うため, 若尾が作成した条文対応表を正解例として正解率の比較を行った. ここで正解率とは, 正解となる条文対応表を表現する二部グラフにおける辺の数を母数とし, 各類似尺度を用いて得られる二部グラフと一致する辺数を母数で割った値である。

## 4.2 類似尺度の正解率

表 5, 6, 7 に最長共通部分列, アライメント, ベクトル空間モデルに基づく手法の正解率を示す. 表中の「五詞」は名詞, 副詞, 形容詞, 動詞, 連体詞を表している。正解率が上位 5 位の手法にはその順位を併記した。

各アルゴリズムにおいて最も高い正解率は, ベクトル空間モデルが $85 \%$, 最長共通部分列が $75 \%$, 文字列アライメントが $81 \%$ となている. 全ての場合において絶対スコアが相対スコアの正解率を上回っている事, 定数重みが tf-idf 重みの正解率を上回っている事がわかる.

ベクトル空間モデルでは, べクトル長が長いほど正解率が高くなっており, 用いる品詞の影響はさほど大きくない，最長共通部分列では，条見出しのみを用いた場合でも最高で $71 \%$ の正解率となっている，全ての条には条見出しが存在しない事を考慮すると大変高い正解率である

表 5 ベクトル空間モデルの正解率

定数重み

tf-idf 重み

表 6 最長共通部分列の正解率

定数重み

} & 全語 & $72 \%$ & $66 \%$ \\
\cline { 2 - 4 } & 漢字 & $75 \%$ & $69 \%$ \\

tf-idf 重み

表 7 文字列アライメントの正解率

定数重み

tf-idf 重み

と考えられる．最長共通部分列と文字列アライメントでは，単語単位よりも文字単位の方が正解率が高かった。また，文字列アライメントにおける条文内容の記述順序を考慮する事による正解率の向上はみられなかった.

## 4.3 受信者操作特性曲線

前節の結果が示す通り, 本手法で得られた条文の対応関係の正解率は $100 \%$ でなく, 必ずしも正しいとは限らない。すなわち，この結果を用いて条文対応を作成する法務関係者は，条文の対応関係が正しいか否かを判断する必要がある。そのため, 本手法で得られる対応関係の信頼度，すなわち得られた対応関係が正解である尤もらしさを提示する事が望ましい。そこで，対応関係を得るために用いた類似尺度を信頼度として利用した場合の評価を受信者操作特性曲線 （ROC 曲線：Receiver Operating Characteristic curve）を用いて行った. 受信者操作特性曲線とは，正解と判定する類似度の閥値を変化させた場合の敏感度と偽陽性率の変化を表現したものである，敏感度とは正解を正しく正解として捕捉する率であり，偽陽性率とは，不正解を誤って正解と判定する率である。なお，提案手法によって得られた条文の対応関係の類似度が間値よりも大きい場合に正解と判定する.

ベクトル空間モデル及び文字列アライメントにおいて最も正解率の高い類似尺度及び, 条見出しを対象とする最長共通部分列において最も正解率の高い類似尺度の受信者操作特性曲線 (ROC 曲線）を図 4 に示す。図の縦軸は敏感度を，横軸は偽陽性率を表す。また, 各類似尺度の受信者操作特性曲線下面積を表 8 に記す。受信者操作特性曲線では, グラフの形状が敏感度 1 , 偽陽性率 0 である左上点に近い凸形状を示し，曲線下面積が 1 に近づくほど良い指標である事を

偽陽性率

図 4 類似度を指標とした ROC 曲線

図 5 二位との比率を用いた場合の ROC 曲線

表 8 受信者操作特性曲線下面積 (AUC: Area Under Curve)

示す。図及び表より，文字列アライメントに基づく類似尺度の曲線下面積は 0.5 を下回っており，信頼度として利用ができない事を示している。また，べクトル空間モデル及び最長共通部分文字列についても 0.5 を少し上回っている程度であり, 信頼度として利用するには低いものとなっている.

上の結果は，条文や条文の見出しの長さが異なる事が原因であると考えられる．そこで， 2.4 節に示すアルゴリズムにおいて対応条を決定する step3 および step4 4 おいて， 頂点 $v_{a}$ または $v_{b}$ と接続する辺集合ごとにその類似度を正規化する必要があると考える。そこで, 信頼度を表す新たな尺度として step3 および step4 で選択される辺の類似度を二番目に大きい類似度の值で割った值（以降，二位との比率と呼ぶ）の評価を行う。この信頼度に対する受信者操作特性曲線を図 5 に, 曲線下面積を表 8 に示す. 図 4 と図 5 を比較すると, 二位との比率を用いる事により信頼度を表す評価尺度の性能が大幅に向上していることがわかる．また表 8 に示す曲線下面積は最長共通部分文字列が 0.80 と最大の值となっており, べクトル空間モデルが次いで 0.79 となっており, 二位との比率の優位性を示している.

## 4.4 結果の考察

4.2 節の結果より, 本研究の条文対応表作成では全単語に基づくべクトル空間モデルを用いた tf-idf 重みを使わない類似尺度が最も有効である事がわかった。文字列アライメントは公開特許公報における請求項と「発明の詳細な説明」との対応付けのような， 2 つの文章内で言及される事柄の出現順序が同じ場合には有効であるが (丸川他 2002), 事柄や単語の出現順に対応できないために一般の文書での利用は不適切であると言われている (Barzilay and Elhadad 2003).本研究においてべクトル空間モデルが文字列アライメントの結果よりも良かったのは, 条文間で言及される事柄の語順が，公開特許公報ほどには保存されておらず，一般の文書に近かったためであると考えている。

次に，ベクトル空間モデルの軸を構成する単語数が多い方が，そして tf-idf 重みを用いない類似尺度の方が, 推定精度が高かった理由を考察する. 例規で用いられる単語を調べると, 県名や地名等の固有名詞の出現頻度が高く, 県名, 地名等に加え, 甲乙, 委員, 委員会, 規定といった単語の tf-idf 值が高かった. 本研究におけるべクトル空間モデルの軸は単語の出現頻度に基づいて選択した。そのため, べクトル空間モデルの軸を構成する単語数が少ない場合, 都道府県名，たとえば「愛媛」のように都道府県固有の単語が占める率が高くなる．都道府県固有の単語は, すなわち他の都道府県には出現しない単語であるため, 軸を構成する単語としては不適切である。これがベクトル空間を構成する単語数が多い方が推定精度のよかった一因たと推察する。また, 都道府県固有の単語に加え, 甲乙や委員会といった一般的とは言えないものの, 法律用語としてはありふれている単語の tf-idf 値が高い事が, 対応する条文を特定する精度を低下させたと考えている。

本論文で掲げた全ての手法はいずれも $100 \%$ の正解率を得る事はできなかった。また，今後の研究により正解率の向上は期待できるものの法学者の暗黙知を表す数式が明らかとなり正解率が 100\%となる事は期待しがたい，そのため実用上は，計算機で作成した条文対応表を基づき専門家が最終的な条文対応表を作成する，という計算機支援システムの形にならざるを得ない. この場合計算機が提示する解の信頼度や尤もらしさを提示できる事が望ましい. そこで受信者操作特性曲線を用いた評価を 4.3 節で行った。その結果, 対応する条を決定するのに用いた類似度そのものではなく, 二位との比率を信頼度を評価する尺度として用いる事により最長共通部分文字列及びベクトル空間モデルにおいて受信者操作特性曲線下面積が約 0.8 と高い值を示す事がわかった，以上の結果により，条文対応表の生成及び作成支援のためには条見出しに対して最長共通部分文字列を, 条文に対してべクトル空間モデルを適用して得られる結果を併用することがよい事がわかった.

実務で利用される条文対応表では, 条文の対応関係だけでなく, 対応する 2 つの条文の差異が明示されている。そのため条文対応表の作成支援の今後としては, 条文の対応関係を明らかにするだけではなく, 対応する 2 つの条文の差異を明確化する事が求められると考えている。

この目的を達成する方法としてべクトル空間モデルは適切ではない。なぜならべクトル空間モデルは対応する条文を決定するのに留まり，専門家が最終的な条文対応表を作成するための手がかりとなる情報を提示する事はできないからである。一方, 文字列アライメントを用いた場合には一致する文字列群とその出現順序, そして一致する文字列に挟まれた不一致の文字列といった情報を提示する事が可能である。そのため，文字列アライメントの正解率はべクトル空間モデルよりも低いが，条文対応表を作成するために条文の差異を提示する支援システムとしての利用価値は高いと考えている。支援システムとして考えるならば, ベクトル空間モデルと最長共通部分文字列により条文の対応関係をその信頼度と共に提示し, 文字列アライメントにより条文の差異を示すという形が望ましいと考えている.

## 5 まとめ

地方自治体の法である例規を比較する条文対応表の作成支援のための枠組みを提案した. 条文対応表を二部グラフとして表現することで条文対応表の自動生成問題を定義した. 情報科学的手法を適用するため, 法学者の暗黙知に類似した類似尺度を探すため, 3 つの計算手法にもとづく 96 個の類似尺度の評価を行った. 愛媛県と香川県の 22 条例を対象として行った比較により，べクトル空間モデルに基づく手法が最も高い正解率である事を明らかにした。また提案手法で推定した条文の対応関係の信頼度を示す尺度としては, 最も高い類似度を二番目に高い類似度で割った値を利用する事で高い操作特性曲線下面積が得られる事を明らかにした．特に条見出しを対象に最長共通部分文字列を適用した結果が良い事を示した.

## 謝 辞

本研究の一部は科研費 JSPS (21500253) の助成を受けたものである.

## 参考文献

Barzilay, R. and Elhadad, N. (2003). "Sentence alignment for monolingual comparable corpora." In Proceedings of the 2003 conference on Empirical methods in natural language processing, pp. 25-32, Morristown, NJ, USA. Association for Computational Linguistics.

藤井真知子 (2007). 市町村合併における自治体法務の現状と課題 : 甲賀市の条例整備を手がかりとして. 龍谷大学大学院法学研究, 9, pp. 181-214.

原田隆史, 青木淳一, 真島由里香 (2009). クラスタリング手法に基づく条例の自動分類. 情報ネットワーク法学会第 9 回研究大会予稿集, pp. 65-68.

Hatzivassiloglou, V., Klavans, J. L., Holcombe, M. L., Barzilay, R., yen Kan, M., and McKeown, K. R. (2001). "SIMFINDER: A Flexible Clustering Tool for Summarization." In In Proceedings of the NAACL Workshop on Automatic Summarization, pp. 41-49.

平尾努, 鈴木潤, 磯崎秀樹, 前田英作 (2005-10-15). 単一言語コーパスにおける文の自動対応付け手法 (自然言語). 情報処理学会論文誌, 46 (10), pp. 2533-2545.

法情報研究センター. 日本法令外国語訳データベースシステム. http://japaneselawtranslation.go.jp.

ICAIL. "International Conference on Artificial Intelligence and Law (ICAIL)." http://www.iaail.org/.

伊佐美浩一 (2005a). 市町村合併調整のポイント (1) 合併に関する法的問題 (1) 条例・規則の調整西東京市. 自治体法務研究, 1, pp. 108-114.

伊佐美浩一 (2005b). 市町村合併調整のポイント (2) 合併に関する法的問題 (2) 合併関連法令の問題点西東京市. 自治体法務研究, 2, pp. 108-113.

JURIX. "International Conference on Legal Knowledge and Information Systems (JURIX)." http://www.jurix.nl/.

角田篤泰 (2010). ソフトウェア工学との類似性に着目した立法支援方法 (三), 237 巻, 第二節章, pp. 191-252. 名古屋大學法學部.

加藤幸嗣 (2006). 比較分析市町村合併と条例制定一福知山市の公の施設条例等を題材として (自治体情報条例制定の動向). 法令解説資料総覧, 292, pp. 76-78.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying conditional random fields to Japanese morphological analysis." In Proc. of EMNLP, pp. 230-237.

Lau, G. T., Law, K. H., and Wiederhold, G. (2006). "A relatedness analysis of government regulations using domain knowledge and structural organization." Inf. Retr., 9, pp. 657-680.

Maier, D. (1978). "The Complexity of Some Problems on Subsequences and Supersequences." J. ACM, 25, pp. 322-336.

丸川雄三, 岩山真, 奥村学, 新森昭宏 (2002). ローカルアラインメントを用いたテキスト間の柔軟な対応付け. 情報処理学会研究報告. 情報学基礎研究会報告, 2002 (87), pp. 23-28.

宮部泰成, 高村大也, 奥村学 (2006). 文書横断文間関係の特定. 言語処理学会第 12 回年次大会, pp. 496-499.

Needleman, S. and Wunsch, C. (1970). "A general method applicable to the search for similarities in the amino acid sequence of two proteins." Journal of Molecular Biology, 48, pp. 443-453.新森昭宏, 奥村学 (2005). 特許請求項読解支援のための「発明の詳細な説明」との自動対応付け. 自然言語処理, 12 (3), pp. 111-128.

Salton, G., Wong, A., and Yang, C.-S. (1975). "A vector space model for automatic indexing."

Communications of the ACM, 18 (11), pp. 613-620.

Smith, T. and Waterman, M. (1981). "Identification of common molecular subsequences." Journal of Molecular Biology, 147, pp. 195-197.

総務省行政管理局. 法令データ提供システム.http://e-gov.go.jp/.

山口高平, 槫松理樹 (1998). 法律オントロジー (小特集法律と人工知能). 人工知能学会誌, 13 (2), pp. 189-196.

吉野一 (編) (2000). 法律人工知能一法的知識の解明と法的推論の実現. 創成社.

## 略歴

竹中要一：1995 年大阪大学基礎工学部情報工学科飛び級中退. 1997 年同大基礎工学研究科博士前期課程修了. 2000 年同大基礎工学研究科博士後期課程修了. 同年同大基礎工学研究科助手. 2002 年同大情報科学研究科助教授. 2007 年同大情報科学研究科准教授. 現在に至る. 博士 (工学). 生物情報学, 法情報科学の研究に従事.

若尾岳志：1996 年早稲田大学法学部卒. 1999 年早稲田大学大学院法学研究科修士課程修了. 2004 年早稲田大学大学院法学研究科博士後期課程満期退学. 2004 年大阪学院大学法学部専任講師. 2008 年大阪学院大学法学部准教授. 2009 年年獨協大学法学部総合政策学科准教授. 現在に至る. 刑事法学の研究に従事.