# 課題志向別シラバス自動分類システムの設計と実装
## 太田 晋†・美馬 秀樹†

近年の科学技術の進展にともない, 工学知は幾何級数的に増大したが, その一方で,工学教育の現場においては，学生が自分の興味に合わせて講義・演習を選ぶことが非常に困難な状況になっている，また，教員も同様に，講義全体の効率化のために，講義内容の重複や講義の抜けを知る必要があり, 総じて, 各講義間の関連性を明確にし, カリキュラムの全体像を明らかにすることが求められている. しかし, 講義間の関連から全体の構造を明らかにするためには, 通常, 人手によりあらかじめ講義内容（シラバス）を分析・分類する必要があり，これは大きな人的コストと時間を必要とする。したがって, この作業を可能な限り自動化し, 効率的な手法を開発することが非常に重要な課題となる。本稿では, こうした問題に対して, 我々のグルー プで取り組んでいる課題志向別シラバス分類システムについて，評価実験を交えて解説する。また，東京大学工学部の 850 以上のシラバスを使った評価実験によって，本システムが実用的な課題志向別シラバス分類の自動化に有効であることを示す.

キーワード：自動用語認識，機械学習，テキスト分類，知の構造化

## Design and Implementation of an Issue-oriented Automatic Syllabus Categorization System

\author{
Susumu $\mathrm{Ota}^{\dagger}$ and Hideki Mima ${ }^{\dagger}$
}

The purpose of this study is to develop an issue-oriented automatic syllabus categorization system, in which natural language processing and machine learning based automatic categorization are combined. Recent explosion of scientific knowledge due to the rapid advancement of academia and society makes it difficult for learners and educators to recognize overall picture of syllabus. In addition, the growing number of interdisciplinary researches makes it harder for learners to find their proper subjects from the syllabi. In an attempt to present clear directions to their subjects, issue-oriented syllabus structure is expected to be more efficient in learning and education. However, it normally requires categorizing all the syllabi manually in advance, and it is generally a time consuming task. Thus, this emphasizes the importance of developing efficient methods for (semi-) automatic syllabus structuring in order to accelerate syllabus retrieval. In this paper, we introduce design and implementation of an issue-oriented automatic syllabus categorization system. And preliminary experiments using more than 850 engineering syllabi of University of Tokyo show that our proposed syllabus categorization system obtains sufficient accuracy.

Key Words: automatic term recognition, machine learning, text categorization

## 1 はじめに

近年の科学技術の進展にともない, 工学知は幾何級数的に増大したが, その一方で, 工学教育の現場においては，学生が自分の興味に合わせて講義・演習を選ぶことが非常に困難な状況になっている. 例えば, 東京大学工学部では約 900 の講義が開講されており, 学科の枠を越えた講義の履修が可能であるが，講義の選択に対する十分な知識が得られる状況とは言い難い. 学生にとっては, a) 自分の興味がどの講義によって教授されるか（講義の検索），b）その講義を受けるために習得すべき講義は何か（講義間関連の同定）, 等を得ることが望ましい. また, 教員も同様に, 講義全体の効率化のために, 講義内容の重複や講義の抜けを知る必要があり, 総じて講義の全体像を俯瞰し，各講義間の関連性を知ることが非常に重要となる.

こうした問題に対し, 我々は先より, 異なる分野における知識を効率的に抽出し，かつ得られた知識間の関連性から浮かび上がる新たな知の活用を支援する「知の構造化」に関する研究開発を進めてきた (Mima 2006; Mima, Ananiadou, and Matsushima 2006; Yoshida 2007).「知の構造化」の主たる目的は，知識を分析し可視化技術により知の内容を明瞭にすることで，i)知識全体の構造を明らかにし, ii) 知識の関連から隠れた知識や, 新たな知識を発見する, iii) 知識の集中と抜けを発見する, さらには, これらによる知識の活用と再利用性を促すことにある.

以上のような知の構造化の工学教育分野における実践として, 以下の目標を達成するために,

工学知およびカリキュラムの構造化と可視化に取り組んでいる.

## ・セルフオリエンテーション可能なシステムの構築

カリキュラムの全体像を構造化し, 可視化することによって, 学生が学ぶことの相対的位置付けを理解し，進むべき道を自ら指向できるようにする。

## ・テーラーメイド教育の実現

様々な異なるキャリアの学生に対して, 多様なコース中から, 個々の目的に応じた最適な力リキュラムを効果的に提示する.

これらの目標を達成するために，1) キーワード検索によるアプローチ，および，2) 課題志向によるアプローチ, という二つのアプローチでこの問題に対する取り組みを進め, 既に学生へのサービス提供を行っている.

通常, キーワード検索によるアプローチは, 有用性が高く強力な検索能力を提供可能であるが, 専門的知識の乏しい初学者にとっては, 適切な検索キーワードを見つけだすことが難しいという問題がある。その一方, Yahoo!等のインターネット検索サイトでのディレクトリ検索に相当する課題志向によるアプローチでは, あらかじめ「環境」,「エネルギー」等の,（学科の枠に捕らわれない）課題に即して講義を（階層的に）分類し, それらの取捨選択により最終的な講義の選別が可能となるため, 個別の科目に関する知識をそれほど必要とせずに, 各学生の興味のある課題にあわせて講義を検索することができるという利点がある. 双方共に一長一短が

あるが，教養課程から専門課程に渡る学生の多様なニーズに応えるためにも，キーワード入力と課題志向の両面から，講義を構造化・可視化することが，学生へのサービス提供という点からも重要である.

キーワード入力からのアプローチとして, 東京大学工学部では, MIMA Search シラバス構造化システムとして既に学生に向けサービスを提供している。本システムの特徴は, 講義内容 （以下，シラバス）のテキストを自然言語処理技術により自動的に構造化し，可視化技術を利用することで学生との柔軟なインタフェースを提供することにある．学部学生，大学院生を対象とした過去 3 年に渡るアンケート調查の結果や，年々のアクセス数の伸び等を始めとし，検索の効率化等に対する良好な評価を得ている。なお， MIMA Search に関する詳細は (Mima 2006; CIEE a) にあるため, 本稿では割愛する。一方, 課題志向によるアプローチに関しても, 従来,人手により課題別にシラバスを分類し，構造化，可視化を行うことで，同様のサービスを提供しており，先と同様，学生からの良好な評価を得ている.

しかしながら, 課題志向によるアプローチでは, 従来の学科や進学コース単位での, 言わば,分野内でのシラバス分類と異なり，多くの場合に分野の枠を越えたシラバスの分類が要求される. 特に, 近年急速に発展しつつある「バイオテクノロジー」,「ナノテクノロジー」,「環境」,「エネルギー」等の分野では, 学際的, 複合的, 融合的な方法で研究開発が行なわれており, これらの分類に関しては，より広範囲の知識を必要とする。さらには，「地球温暖化」，「環境資源の枯渇」,「持続可能な社会」等, 学科のみならず，学部の枠組みを超えた講義や知識のつながりをとらえることが必要な課題も存在する。

その一方で, 近年の工学知の増大と細分化により, 講義を受け持つ各教員が俯瞰的な視点から自身の講義を位置付けることが困難な状況にあるといえる。例えば，東京大学工学部の 2008 年度シラバスにおいて, 「事前履修」,「並行履修」,「事後履修」という関連講義を記述する項目があるが，入力された関連講義のうち約 $34 \%$ の記述に誤りがあり，関連講義をたどることできない状態にある。これらの多くは，カリキュラムの再編によって既に開講されていない講義名を参照していたり，曖昧な記述のままとなっていることが原因と見られるが，各教員が講義の全体像を把握し, シラバス間の関連を記述することが必ずしも容易ではないことを示していると思われる。

以上のように，学際的な研究が増加し課題志向別にシラバスを俯瞰する必要性が高まっている一方で，各教員は学問分野の増大・細分化により俯瞰的な視点からシラバスを記述することが困難な状況にある。したがって，客観的・俯瞰的に課題志向別にシラバスを構造化するためには，工学知を俯瞰し，分類することができる専門の人員が必要となる．そこで，東京大学大学院工学系研究科では, 現在数名の専門の教員が人手によりシラバスを精査し分類作業を行っている (CIEE b) . しかし, 年度毎に更新されるシラバスに対して, 人手による分類を毎年続けていくことは，大きなコストと時間を要する。よって，この作業を可能な限り自動化し，効率
的な手法を開発することが非常に重要な課題となる.

そこで，本研究では，課題志向によるシラバス構造化のアプローチに関し，シラバス分類を （半）自動化するシステムを提案する。本システムの特徴は, 従来, 全ての工程を人手による手作業で行っていたシラバス分類に対し, その一部を言語処理による特徴抽出, 及び機械学習による自動分類を利用することで, 全体の作業工程を短縮することにある. 以下, 本稿では, これら課題志向によるシラバス構造化アプローチとして, 我々のグループで取り組んでいる課題志向別シラバス分類, 構造化システムについて, システム構成, 実装, 及びテストデータを利用した実験評価を交えて解説する.

## 2 関連研究

近年, 大学における活動状況を内外へ周知する目的でWebを利用した情報公開が進んでおり， Information Communication Technology (ICT) を活用した教育の一環として，シラバスの電子化と公開が多くの大学で取り組まれている。 さらに, シラバスの公開から一歩すすんで, MIT をはじめとする主要大学にて, Open Course Ware (OCW) という, 講義とその関連資料をインターネット上に公開する取り組みもはじまっている (Open Course Ware, JOCW)。また, 一部の大学では, シラバスを可視化するシステムに関する研究・開発が行われている (三好，大家, 上田, 廣友, 矢野, 川上 2006). これらのシステムでは, 講義間の関連性を可視化することによって, 学生が自ら履修計画を立てたり, 多様なコース中から最適なキャリアパスを自ら指向することを目指しているが，現段階では，比較的単純な可視化という段階にとどまっており， より深くシラバスを分析し構造化することが求められている.

シラバスの分類支援に関する研究 (宮崎, 井田, 芳鐘, 野澤, 喜多 2005) では, ユーザ支援のためには, 分類の根拠となった素性（用語）を含めた形でユーザへ情報提示することが重要であると指摘されており, 通常の文書分類において一般的に利用されているサポートベクターマシン (SVM) や確率モデルがユーザ支援には向かないことが議論されている. 現時点では, 分類の判定根拠を明確にする目的においては，SVMに比べて決定木 (Lewis and Ringuette 1994) 等の手法のほうが有望であると考えられるが, 近年の研究では, SVM においても判定根拠の説明を行おうとする試みが行われている (板橋, 松井, 大和田 2008). 尚, 本システムでは, 分類精度の観点からSVM を分類器として選択したが, 分類の根拠を明示する目的において, 可視化時に素性（用語）を提示する等の工夫を行っており, 修正作業者からは, 修正に有益な情報であるとの評価を得ている。しかしながら，より大規模の対象に対する分類・修正の場合は， (板橋他 2008) と同様の手法の導入も検討する必要があろう。一方, システム上は, 分類器を変更できるようモジュラリティを確保して設計を行っており，今後の研究の進展および技術発展等を検討しつつ，他の分類手法へ変更に柔軟に対応できるように実装を行っている.

また, 本研究のようにあらかじめ課題を設定して分類しようとするトップダウン型ではなく, ボトムアップ型の分類手法として，文書クラスタリングによりシラバスを分類する研究も行われている (野澤, 井田, 芳鐘, 宮崎, 喜多 2005). 文書クラスタリングは, 分析の切り口が定まっていない状況での分類や，新たなカテゴリの発見には有用であり，東京大学工学部においても， MIMA Search シラバス分類システム (Mima 2006; CIEE a) を開発し，学生に向けたサービスを提供している。また，学生を主体としたボトムアップ型アプローチとして，フォークソノミー を用いた講義選択知識の抽出の試みも行われている (西島, 荒井, 檜垣, 土屋 2008). ただし,学生の観点からの分類が，学生への教育にとって必ずしも適当とは限らないこと（例えば，単位取得の容易さによる分類等）や，実際にサービスを行う際には，学生へのインセンティブ付与の問題や, 不適切な内容の削除に必要なコスト等, 検討すべき課題は多い.

一方，高等教育機関における，教育内容・方法等の改善のための組織的な取り組み（ファカルティディベロップメント，FD）の制度化が近年急速に進展しており，教員の教育力向上のためにICT を活用した FDの実施が求められている (NIME 2008).この点からも，シラバスを構造化し全体を俯瞰することによって，講義内容の重複や抜けを発見しFD の実施に資することが期待されている。たた，ICT 活用教育の導入の際のデメリットとして，「システムやコンテンッを作成, 維持するための人員が不足していること」が最も高いと報告されているように (NIME 2008), シラバスを構造化するためには，通常，人手によりあらかじめシラバスを分析・分類・整理する必要があり，これは大きな人的コストと時間を必要とする。したがって，この作業を可能な限り自動化し，効率的な手法を開発することが非常に重要な課題となる.

## 3 システム構成

図 1 に本システムの構成を示す。本システムでは，あらかじめ分類されたシラバスの情報をもとに，未分類のシラバスを（半）自動的に各カテゴリに分類することを目的とする．以下に各コンポーネントの概要を述べる.

## ・特徵抽出（自動用語認識）

入力されたシラバスに対して, 形態素解析および自動用語認識を行い, シラバス中から特徴を抽出する。なお, 本システムでは, シラバス中の「科目名」,「講義の目的」,「理解すべき事項」,「前提事項」,「応用先」, 「事前履修」, 「並行履修」,「事後履修」を対象として名詞および用語の抽出を行うこととした。

関連研究で取り上げた文献 (宮崎他 2005) で報告されているように，ユーザ支援を目的とした分類システムでは，分類の根拠となった用語を含めた形でユーザへ情報提示することが重要である。本システムでも同様の理由により，分類の根拠をユーザに明確にする目的で，シラバス中に含まれる用語を次項で述べる $\mathrm{C} / \mathrm{NC}-$ value 用語認識を利用して抽出を行い，可視化の際

図 1 課題志向別シラバス分類システムの構成

に利用することで，可能な限りユーザに提示する.

- $\mathrm{C} / \mathrm{NC}$-value 用語抽出

本システムでは, 機械学習・分類のための素性の一部として C/NC-value 用語認識技術 (Mima and Ananiadou 2000）を基にした用語の自動認識を利用している. C/NC-value 手法は，テキストを入力とし，言語的な知識と統計的な解析の両者を複合的に利用することで，複数の語からなる用語を自動抽出する手法である.

まず，C-value 手法では，形態素のパターンと用語の対象ドメインにおける出現頻度, さらには, 用語のネスティングに関する性質に注目し，スコア付けを行うことで用語の高精度な自動認識を行う。ここで，ネスティングとは，「乱数系列」と「疑似乱数系列」の関係のような，ある用語がさらに長いまとまりの用語に含まれている状態（包含関係）を示す. 具体的な手順としては，まず，対象テキストを形態素解析し，以下のようなパターンによってフィルタリングを行う。

[Filter 1] Noun $\{2$,

例：疑似乱数系列, 仮想関数

[Filter 2] (Prefix | Adv) (Noun | Adj | Suffix)+ Noun+

例 : 全二重接続, 非同期通信

## [Filter 3] Prefix Noun+ Suffix

例 : 未定義型, 再初期化

上記のフィルターによって対象テキスト中から文字列を切り出し, これを用語の候補とする.次に，用語の候補それぞれの対象テキスト中における出現頻度を計算し，さらにこの出現頻度から，単語のネスティングに関する性質を利用して，以下の式により C-value を算出する.

$
C-\operatorname{value}(a)= \begin{cases}\log _{2}|a| \cdot f(a) & a \text { がネストしていない場合 } \\ \log _{2}|a|\left(f(a)-\frac{1}{P\left(T_{a}\right)} \sum_{b \in T_{a}} f(b)\right) & a \text { がネストしている場合 }\end{cases}
$

ここで,

$a$ は用語の候補

$|a|$ は用語の候補 $a$ の長さ（形態素の個数）

$f($.$) は対象テキスト中の出現頻度$

$T_{a}$ は $a$ を含む抽出された用語の候補の集合

$P\left(T_{a}\right)$ は上記集合の要素数

## である.

また， $\mathrm{NC}$-value 手法では，候補となる用語の実際の文章上でのコンテキスト（前後の文脈）中にある語彙との共起の情報を用いて, 用語としての確からしさ (termhood) の指標を求め, 求まった指標を基に候補となる用語の再順序づけを行う。

本手法は日英両言語のテキストに対して用語抽出の実験評価が行われており，両言語共に高い精度の認識が行える言語非依存性や，異なる分野に対しても同手法で比較的高精度な用語抽出が可能なドメイン非依存性を持つことを特徵とする。この性質は，本稿で提案する，分野を越えて関連する講義を抽出するという目的には有効だと思われる。実際に，AI 分野の論文を用いた評価実験の結果， $90 \%$ 以上の用語認識精度が得られており，他の手法と比較して高いドメイン非依存性があると報告されている (Mima and Ananiadou 2000).

なお, 抽出した用語の例として, 2006 年度の東京大学工学部シラバスから抽出した用語のうちスコア上位 5 件は, 「基礎知識」,「線形代数」、「統計力学」,「固体物理」，「ベクトル解析」であった。

## ・サポートベクターマシン $(\mathrm{SVM)$}

SVM は, あらかじめ学習させたパターンに基づき, 未知の入力パターンの分類を行う強力

なパターンマッチング手法であり，機械学習理論の構造的リスク最小化原理に基づいている (Vapnik 1995; Cortes and Vapnik 1995)。本システムでは高精度のテキスト分類を実現するためにSVM を分類器として採用した。なお，SVMによるテキスト分類についての研究は既に報告されており，決定木等の他の手法に比べてSVMが非常に高い分類能力を持つことが示されている (Dumais, Platt, Heckerman, and Sahami 1998; Joachims 1998). 本システムでは，あらかじめいくつかのカテゴリに分類されたシラバス群をSVM 分類器に学習させておき, 未分類のシラバスを自動的に各カテゴリに分類するためにSVM を利用している。 なお, 本コンポーネントでは, カテゴリ数と同数のSVM 分類器を用意し，1つのシラバスを複数のカテゴリに分類することが可能である. 本システムでは, SVM ソフトウェアの TinySVM 0.09 (Kudoh)を利用した.

また，SVM を利用したテキスト分類において，素性をどのように選択するかが重要であると報告されている (Taira and Haruno 1999)。文献 (Moschitti and Basili 2004)では, n-gram, 形態素, および複合名詞を含む種々の素性を用いたテキスト分類について議論されており, 英語の新聞記事に対するSVM を用いた分類実験では，形態素に複合名詞を加えたものを素性として用いた際に，10 個の分類カテゴリのうち 8 個のカテゴリにおいては若干の分類精度向上が見られることが示されている．総合的に見た場合には， bag of words 以外（フレーズ，語義情報等）の素性を利用しても精度向上は微々たるものであり, 計算量とのトレードオフも含め, 必ずしも質の向上に寄与するとは言えない面もあるとの報告もあるが, カテゴリの専門性の高さ （専門用語の特徴量としての尤もらしさ）に対する素性の最適化や素性の組み合わせ方式等, 未だ議論の余地はある。例えば，情報検索分野において，従来，素性の単位を n-gram か形態素にするかの議論が成されていたが，今日の検索システムにおいては，両者の融合による検索精度の向上が既に実現されている.

以上の観点より, システムの設計にあたり, 事前に学習データのクロスバリデーションによる実験, 及び日本語の新聞記事を使った予備実験を行い, 名詞と用語を素性に採用した際の分類精度への影響を調査した．まず，SVMによるテキスト分類の素性として，1）名詞のみ，2)用語のみ，3）名詞および用語，の3つを準備し，tf・idf (Salton 1991)によりスコア付けを行い, それぞれの場合について新聞記事を対象とした分類実験を行った。その結果, 実験全体の $\mathrm{F}$ 值 (適合率と再現率の調和平均) は, 1) 名詞のみ $\mathrm{F}=0.6390,2$ ) 用語のみ $\mathrm{F}=0.5462,3$ ) 名詞および用語 $\mathrm{F}=0.6560$ となり，3）の名詞および用語を素性とした場合に最も精度よく分類出来ることを確認した。特に，新聞記事での軍事や国際関係等の専門性の高いと考えられるカテゴリにおいて, より多くの精度向上が見られた。一般に, シラバスの記述内容は専門用語を多く含んでいるため，名詞および用語を素性とすることでより高精度の分類を行うことが期待できる．以上の理由から本システムでは SVM 分類の素性として, 名詞および用語を素性として採用した.

## - 機械学習

「特徴抽出」部によって抽出された素性（名詞および専門用語）を基に, tf・idf によりスコ

ア付けを行い，訓練データとなるシラバスを正規化された多次元べクトルに変換する。さらに，訓練データをもとにSVM 分類器を学習させ，分類知識を生成する。

## - 自動分類

「特徵抽出」部によって抽出された素性（名詞および専門用語）を基に，テストデータとなるシラバスを多次元べクトルに変換し，SVM 分類器により未分類のシラバスを分類する.

## ・シラバス分類可視化エンジン

「自動分類」部によって分類されたシラバスから，HTML ドキュメントを自動生成しブラウザに表示する (図 2 参照)。なお, 実装についてはアプリケーションエンジンの一つである Apache Tomcat 4.1.32をべースに，Java 言語により HTML を生成する Servlet を作成した。また，シラバスデータを保存するためのデータベースエンジンとして PostgreSQL 7.1.3を利用し, JDBC を介したデータベースコネクションによりモジュラリティの高い構成を採用している。

## ・インタラクティブ修正インタフェース

「自動分類」部によって生成されたシラバス分類結果を見ながら，インタラクティブに分類間違いを修正する。まず，図 3 に示した分類結果一覧画面を見ながら分類間違いを探し，「修正」 ボタンを押すことによって個別シラバスの修正画面に移行し, 図 4 に示した個別シラバス修正画面にてシラバス内の各項目を修正する．実装については「シラバス分類可視化エンジン」部と同様に Apache Tomcat 4.1.32 上に Java 言語により Servlet を作成した. なお，可視化システム，および上記インタラクティブ修正インタフェース等, 本システムのすべてのユーザインタフェースをWebベースとすることで，一般のWeb ブラウザを介した操作のみで， シラバス閲覧等のすべての作業を行うことが可能となっている.

図 2 は, 環境分野に関連する科目について, 課題志向型構造（ある課題に着目した場合の関

図 2 環境分野における課題志向別科目構造

図 3 課題志向別シラバス分類結果一覧画面

図 4 個別シラバス修正画面

係構造）を相対的な関係で描き出したものである。「環境大事典」（工業調査会）のセクションあるいはテーマで全体の枠組みを作り，その中に工学部で履修できる環境関連科目を当てはめた. 図 2 中において, 亀甲状のタイルによりある課題の全体構造を示し, 六角形の各領域がそれぞれの下位の課題に対応している。下位の課題の部分をクリックすることにより，その下位の構造全体の可視化画面に遷移する。色の濃淡は科目数に対応しており，科目ごとの相対的な関係が見えると同時に，工学部の講義の中では技術的なことはよく扱われている反面，法的枠組みのような社会科学的視点や, 人文科学的枠組みである心理的問題などが, 工学部の講義の中だけでは必ずしも履修できないことが見えてくる.

以上のように，分類結果を可視化することで，学生にとっては，学問分野を俯瞰しながら自分の興味のある講義を探し, さらにその講義に関連する講義を知り, 履修しようとする講義の相対的位置付けや，キャリアパスに応じた履修計画の支援に役立てることがきる。また，教員にとっては，可視化によって，講義の全体像を俯瞰し各講義間の関連性を知ることによって，講義内容の重複や講義の抜けを知ることができ，カリキュラムの改善に役立てることができる.

## 4 評価実験

SVM による自動分類システムの有用性を評価するために精度評価実験を行った．実験デー 夕として, 東京大学工学部の 2003 年度（総科目数 862 ) および 2006 年度（総科目数 855 ) のシラバスを対象とした．このシラバスには，あらかじめ数名の専門の教員が人手により分類を行い, 表 1 に示すように，約 450 科目に情報工学分野および環境分野のカテゴリが付与されている. 本実験では, 2003 年度の人手による分類結果を訓練データとして分類器を学習させ, 2006
表 1 分類実験の対象としたシラバスのカテゴリとデータ数

年度のシラバスをテストデータとして分類を行い，人手による分類と分類器による結果を比較することにより，その適合率と再現率を求めた。訓練データとテストデータそれぞれの詳細を表 1 に示す.また, 機械学習システムとして, SVMソフトウェアの TinySVM 0.09 (Kudoh)をデフォルトの状態で利用した.

実験結果を図 5 に示す。適合率 (precision) は，分類器により求められたカテゴリのうち，正しく分類できたカテゴリの割合である。再現率 (recall) は，正しく分類されるべきシラバスのうち，どれだけ分類器が正しく分類できたかの割合である。なお， $\mathrm{F}$ 値（適合率と再現率の調和平均）の平均値は $\mathrm{F}=0.5685$ であった. さらに，予備実験にて，SVMによるテキスト分類の素性として，1）名詞のみ，2）用語のみ，3）名詞および用語, を素性とした場合の分類精度を比較したが，本実験においても同様に分類実験を行い，その結果 $\mathrm{F}$ 值の平均值は 1) 名詞のみ $\mathrm{F}=0.5352,2)$ 用語のみ $\mathrm{F}=0.5038,3)$ 名詞および用語 $\mathrm{F}=0.5685$ となり，3)の名詞および用

図 5 分類実験の適合率 (precision)一再現率 (recall) 結果

語を素性とした場合に最も精度よく分類出来ることを本実験においても確認した。また，全科目に対する分類誤り率は $0.84 \%$ でる。つまり，システムで分類した結果のうち，一つのカテゴリにつき平均 7.2 件程度の分類誤りがあり，これらを人手により修正することが必要となる.図 5 より，再現率についてはカテゴリによってばらつきがあるものの，概ね全てのカテゴリにおいて $90 \%$ 以上の適合率を得た。また，訓練デー夕数が極端に少ないカテゴリでは，適合率・再現率ともに低く, 自動で分類することは難しいことがわかる。ただし, 訓練デー夕数が極端に少ないカテゴリに関しては，他のカテゴリと同数程度まで訓練データを毎年蓄積することで改善可能であると考えられる．また，カリキュラムの再編で科目数が大幅に増減しているカテゴリでは，他のカテゴリに比べて再現率が低下していることから，これらのカテゴリにおいては自動分類後に人手により修正する必要があることがわかる.

以上の実験結果から, 本手法が実用的な課題志向別シラバス分類の自動化に有効であることを確認した。

## 5 考察

まず，本システムの導入による作業量の変化について考察する。図 6 に本システム導入前後の分類作業フローの比較を示す。A1の作業では，それぞれの課題に関連するキーワード選定を行うが, このキーワードの選定は課題への十分な理解が必要であり, 多少の主観が入ることは否めない。また，人手によりキーワード選定を行った場合，必ずしもその課題を特徴付けるキー ワードが全て網羅できるとは限らない。それに対して，B1の自動分類システムでは，自動特徴抽出および $\mathrm{tf}$ idfによってスコア付けを行うことによって，客観的基準により課題の特徴を抽出することが期待できる。加えて, 課題志向のような分野が多岐に渡る場合, 例え人手によるものであっても，作業者の専門分野との関連の度合いにより，精度にばらつきが生じる。よって，A4に与えられるカテゴリ候補は，適合率，再現率共に十分とは言えず，やはり事後の精査

図 6 システム導入以前 (左) 以後（右）の分類作業フローの比較

による修正が必要となる。実際に，今回の実験では，A1～A3の作業によって得られたカテゴリの候補と，B1によって自動で得られたカテゴリの候補の精度は同程度であった．従来，A1～ $\mathrm{A} 3$ までの作業は $3 \sim 4$ 週間程度必要としていたが，本システムの導入によって，A1～A3 までの作業を B1の作業に置き換えることが可能となり，数日間の作業に短縮することができた．A4 〜A5 の作業については, 通常 $2 \sim 3$ 週間程度の作業を必要とし, 現段階では B2 B3 の作業も同程度の作業を必要とする. しかし, 今後, 分類システムの精度を向上させることによってさらなる短縮が期待できる。

次に, 本システムを運用する上で想定される問題点として, 課題の構造（カテゴリ）をどのように整備・修正するかということがあげられる，現在は，例えば情報の分野では，岩波書店刊「情報科学事典」をもとに課題のカテゴリを作成しているが, 今後, 科学技術の発展に伴い, 課題の構造（カテゴリ）が年々変化することが考えられる．現在のシステムでは，新たな課題を追加する際は, 人手により全シラバスを吟味し, 個別の講義（シラバス）を一つ一つ新たなカテゴリに追加する必要がある。この作業の負担を減らすためには, 前述の MIMA Searchを組み合わせて，個別のシラバスをキーワード検索し，その結果をドラッグアンドドロップ等の簡便な方法でシームレスにカテゴリに追加出来るようシステムを拡張する必要がある．また， MIMA Searchのクラスタリング機能を利用して新たなカテゴリを発見し，本システムのカテゴリへ反映することも考えられる。一方，近年のコーパスベース言語処理研究の発展により，コーパスを利用したシソーラスやオントロジーの自動構築研究 (Mima, Ananiadou, Nenadic, and Tsujii

2002; Shinzato and Torisawa 2004) も進展しつつある. 実用に至るには未だ課題は多いが, 今後の研究の進展によりこのような課題の構造を自動で構築することも可能となると期待される.

また，評価実験の章で述べたように，カリキュラムの再編により，年度毎にカテゴリに属する講義（シラバス）に大幅な増減があった場合は, 分類精度が低下し人手の作業が必要となる. この場合は，分類結果を可視化する際に色を分けて表示するなど，作業者に対して注意を促すような仕組みを追加し，作業者自身の負担を軽減することが必要である.

## 6 結論

本稿では, 課題志向別シラバス分類システムの開発, というアプローチによって, i) カリキュラムの全体像の俯瞰，ii) 各講義間の関連性の可視化，および，iii）講義の集中と抜けを可視化するシステムを示した。また, 本システムによって, 大量のシラバスデータの自動分類, および, 分類間違いのインタラクティブ修正を可能にし, 大幅に人的コストと時間を短縮することが期待できる.

ドッグイヤーと呼ばれるように，近年の高度情報化による社会の発展のスピードは著しく, グローバル経済の発達等により社会の変化も激しいのが現状である. 社会の変化に迅速に対応した教育を行うことは大学の使命であるが, カリキュラム再編のみならず, 学科の再編等, 教育にも常に変化が求められる現状において, 教育環境構築の負担は今後も常に増大するものと思われる。その意味でも，本システムのような学生へのサービス向上とその効率的運用を目的としたシステムに対する期待は今後も非常に大きくなると思われる。なお, 本システムは, 現在は 2003 年度から 2008 年度のデータを元に実験運用を行なっているが，2009 年度より実運用を開始し，実際に学生に向けてサービスを提供する予定である。本サービス開始と共に, 学生へのアンケート調査等を通じ，ユーザビリティの改善を進める予定である.

## 参考文献

CIEE 東京大学大学院工学系研究科工学教育推進機構. MIMA Search シラバス検索システム. http://ciee.t.u-tokyo.ac.jp/snavi/index.html.

CIEE 東京大学大学院工学系研究科工学教育推進機構. 課題志向別の科目分類. http://ciee.t.u-tokyo.ac.jp/ciee/kozoka/kadai.html.

Cortes, C. and Vapnik, V. (1995). "Support-Vector Networks." Machine Learning, 20, pp. 273-297.

Dumais, S., Platt, J., Heckerman, D., and Sahami, M. (1998). "Inductive Learning Algorithms and Representations for Text Categorization." In Proc. 7th International Conference on

Information and Knowledge Management, pp. 273-297.

板橋広和, 松井藤五朗, 大和田勇人 (2008). テキスト分類における重みつき類似度を用いた SVM 判別モデルの説明. 2008 年度人工知能学会全国大会（第 22 回）3B2-04.

Joachims, T. (1998). "Text Categorization with Support Vector Machines: Learning with Many Relevant Features." In Proc. European Conference on Machine Learning, pp. 137-142.

JOCW 日本オープンコースウェア・コンソーシアム. “Japan Opencourseware Consortium (JOCW) Official Site." http://www.jocw.jp/.

Kudoh, T. "TinySVM." http://www.chasen.org/ taku/software/TinySVM/.

Lewis, D. D. and Ringuette, M. (1994). "A Comparison of Two Learning Algorithms for Text Categorization." In Proc. 3rd Annual Symposium on Document Analysis and Information Retrieval, pp. 81-93.

Mima, H. (2006). "Structuring and Visualizing the Curricula with MIMA Search." In Proc. 7th APRU Distance Learning and the Internet Conference 2006.

Mima, H. and Ananiadou, S. (2000). "An application and evaluation of the C/NC-value approach for the automatic term recognition of multi-word units in Japanese." International Journal on Terminology, 6 (2), pp. 175-194.

Mima, H., Ananiadou, S., and Matsushima, K. (2006). "Terminology-based Knowledge Mining for New Knowledge Discovery." ACM Transactions on Asian Language Information Processing (TALIP), 5 (1), pp. 74-88.

Mima, H., Ananiadou, S., Nenadic, G., and Tsujii, J. (2002). "A Methodology for Terminologybased Knowledge Acquisition and Integration." In Proc. 19th International Conference on Computational Linguistics (COLING2002), pp. 667-673.

宮崎和光, 井田正明，芳鐘冬樹，野澤孝之，喜多一 (2005). 分類候補数の能動的調整を可能にした学位授与事業のための科目分類支援システムの提案と評価. 知能と情報（日本知能情報ファジィ学会誌), $\mathbf{1 7}(5)$, pp. 558-568.

三好康夫, 大家隆弘, 上田哲史, 廣友雅徳, 矢野米雄, 川上博 (2006). EDB を利用した学習経路探索を支援する e シラバスシステムの構築. 大学教育研究ジャーナル (徳島大学), $\mathbf{3}$, pp. 1-9.

Moschitti, A. and Basili, R. (2004). "Complex Linguistic Features for Text Classification: a comprehensive study." In Proc. 26th European Conference on Information Retrieval Research (ECIR 2004).

NIME 独立行政法人メディア教育開発センター (2008). e ラーニング等の ICT を活用した教育に関する調査報告書（2007 年度）.テクニカル・レポート, 独立行政法人メディア教育開発センター.
西島寛, 荒井幸代, 檜垣泰彦, 土屋俊 (2008). フォークソノミーを用いた講義選択知識の抽出.

電子情報通信学会技術研究報告 OIS2008-14, 108 (53), pp. 79-84.

野澤孝之, 井田正明, 芳鐘冬樹, 宮崎和光, 喜多一 (2005). シラバスの文書クラスタリングに基づくカリキュラム分析システムの構築. 情報処理学会論文誌, 46 (1), pp. 289-300.

Open Course Ware. "MIT OpenCourseWare." http://ocw.mit.edu/.

Salton, G. (1991). "Developments in automatic text retrieval." Science, 253, pp. 974-980.

Shinzato, K. and Torisawa, K. (2004). "Acquiring Hyponymy Relations from Web Documents." In Proc. HLT-NAACL.

Taira, H. and Haruno, M. (1999). "Feature Selection in SVM Text Categorization." In Proc. Fifth International Conference on Artificial Intelligence (AAAI-99), pp. 480-486.

Vapnik, V. (1995). The Nature of Statistical Learning Theory. New York: Springer-Verlag.

Yoshida, M. (2007). "Structuring and Visualising the Engineering Knowledge-Basic Principles, methods and the application to the UT's Engineering Curriculum." In Proc. 8th APRU Distance Learning and the Internet Conference 2007.

## 略歴

太田晋：2001 年東京大学大学院工学系研究科金属工学専攻修士課程修了.同年コグニティブリサーチラボ（株）入社. 2005 年科学技術振興機構社会技術研究開発センター研究員, 2007 年より東京大学大学院工学系研究科工学教育推進機構特任研究員. 自然言語処理の研究に従事. 言語処理学会会員.

美馬秀樹：1996 年徳島大学工学研究科システム工学専攻博士課程修了. 工学

博士.（株）ジャストシステム研究員, ATR 音声翻訳通信研究所研究員, 英国マンチェスターメトロポリタン大学講師 (Lecturer), 東京大学大学院理学系研究科研究員, 同大学工学系研究科助手を経て, 2005 年より東京大学大学院工学系研究科工学教育推進機構 /知の構造化センター特任准教授. 自然言語処理の研究に従事. 言語処理学会, 可視化情報学会各会員.


# 半教師有りクラスタリングを用いた Web 検索結果における 人名の曖昧性解消

杉山 一成 $\dagger$ ・奥村学怰
}

人名は検索語として, しばしば検索エンジンに入力される. しかし, この入力された 人名に対して，検索エンジンは，いくつかの同姓同名人物についての Web ページを 含む長い検索結果のリストを返すだけである。この問題を解決するために，Web 検索結果における人名の曖昧性解消を目的とした従来研究の多くは, 凝集型クラスタ リングを適用している。一方，本研究では，ある種文書に類似した文書をマージす る半教師有りクラスタリングを用いる. 我々の提案する半教師有りクラスタリング は，種文書を含むクラスタの重心の変動を抑えるという点において，新規性がある。 キーワード：Web 情報検索，半教師有りクラスタリング，人名の曖昧性解消
## Personal Name Disambiguation in Web Search Results Using a Semi-Supervised Clustering Approach

\author{
Kazunari SugiYama $^{\dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

\begin{abstract}
Personal names are often submitted to search engines as query keywords. However, in response to a personal name query, search engines return a long list of search results that contains Web pages about several namesakes. In order to address this problem, most of the previous works that disambiguate personal names in Web search results often employ agglomerative clustering approaches. In contrast, we have adopted a semi-supervised clustering approach to integrate similar documents into a seed document. Our proposed semi-supervised clustering approach is novel in that it controls the fluctuation of the centroid of a cluster.
\end{abstract}

Key Words: Web information retrieval, Semi-supervised clustering, Personal name disambiguation

## 1 はじめに

検索エンジン $A L L T h e W e b^{1}$ において，英語の検索語の約 1 割が人名を含むという報告 2 があるように，人名は検索語として検索エンジンにしばしば入力される。しかし，その検索結果としては，その人名を有する同姓同名人物についての Web ページを含む長いリストが返されるの

みである．例えば，ユーザが検索エンジン Google 3 に “William Cohen”という人名を入力すると, その検索結果には, この名前を有する情報科学の教授, アメリカ合衆国の政治家, 外科医,歴史家などの Webぺージが，各人物の実体ごとに分類されておらず，混在している。

こうした Web 検索結果における人名の曖昧性を解消する従来研究の多くは，凝集型クラス夕リングを利用している (Mann and Yarowsky 2003), (Pedersen, Purandare, and Kulkarni 2005), (Bekkerman, El-Yaniv, and McCallum 2005), (Bollegala, Matsuo, and Ishizuka 2006). しかし,一般に人名の検索結果では，その上位に，少数の同姓同名だが異なる人物のページが集中する傾向にある。したがって，上位に順位付けされたぺージを種文書として，クラスタリングを行えば，各人物ごとに検索結果が集まりやすくなり，より正確にクラスタリングができると期待される。以下，本論文では，このような種文書となる Web ページを「seed ページ」と呼ぶことにする。本研究では，この seed ページを用いた半教師有りクラスタリングを, Web 検索結果における人名の曖昧性解消のために適用する。

これまでの半教師有りクラスタリングの手法は，（1）制約に基づいた手法，(2) 距離に基づいた手法，の二つに分類することができる．制約に基づいた手法は， ユーザが付与したラベルや制約を利用し，より正確なクラスタリングを可能にする。例えば，Wagstaff ら (Wagstaff and Cardie 2000), (Wagstaff, Rogers, and Schroedl 2001)の半教師有り $K$-means アルゴリズムでは, “must-link"（2つの事例が同じクラスタに属さなければならない）と, “cannot-link"（2つの事例が異なるクラスタに属さなければならない）という２種類の制約を導入して，データのクラスタリングを行なう．Basu ら (Basu, Banerjee, and Mooney 2002) もまた, ラベルの付与されたデータから初期の種クラスタを生成し, これらの間に制約を導入する半教師有り $K$-means アルゴリズムを提案している。また, 距離に基づいた手法では, 教師付きデータとして付与されたラベルや制約を満たすための学習を必要とする。例えば, Klein ら (Klein, Kamvar, and Manning $2002)$ の研究では, 類似した 2 点 $\left(x_{i}, x_{j}\right)$ 間には “ 0 ”, 類似していない 2 点間には $\left(\max _{i, j} D_{i j}\right)+1$ と設定した隣接行列を作成して，クラスタリングを行なう。また, Xing ら (Xing, Ng, Jordan, and Russell 2003)の研究では, 特徴空間を変換することで, マハラノビス距離の最適化を行う. さらに, Bar-Hillel ら (Bar-Hillel, Hertz, and Shental 2003) の研究では, 適切な特徴には大きな重みを，そうでない特徴には小さな重みを与える RCA (Relevant Component Analysis) (Shental, Hertz, Weinshall, and Pavel 2002) により, 特徴空間を変換する。一方, 我々の提案する半教師有りクラスタリングでは, seedページを含むクラスタの重心の変動を抑える点において，新規性がある。

本論文の構成は次のとおりである， 2 章では, 我々の提案する新たな半教師有りクラスタリングの手法について説明する， 3 章では, 提案手法を評価するための実験結果を示し, その結
^{3} \mathrm{http} / / /$ www.google.com/
}
果について考察する. 最後に 4 章では, 本論文のまとめと今後の課題について述べる.

## 2 提案手法

1 章で述べた凝集型クラスタリングに基づいた人名の曖昧性解消は，クラスタリングを適切に導いていく基準がないため, 正確なクラスタリングを行うことは難しい。一方, これまでに提案されている半教師有りクラスタリングは, クラスタ数 $K$ をらかじめ設定する必要がある K-means アルゴリズム (MacQueen 1967) を改良することを目的としている. しかし，本研究においては, Web 検索結果における同姓同名人物の数は, 事前にわかっているわけではない. したがって，我々の手法においては，事前にクラスタ数を設定するのではなく，新たに生成されたクラスタと，すでに生成されているクラス夕間の類似度を計算し，これらの値がすべて，あらかじめ設定した閥値よりも小さくなった場合に，クラスタリングの処理を終え，その時点で生成されているクラスタ数を最終的な同姓同名人物の数とする.

また, 従来の半教師有りクラスタリングアルゴリズムは, 制約を導入したり (Wagstaff and Cardie 2000), (Wagstaff et al. 2001), (Basu et al. 2002), 距離を学習したり (Klein et al. 2002), (Xing et al. 2003), (Bar-Hillel et al. 2003) することにのみ着目していた. しかし, 半教師有りクラスタリングにおいて, より正確なクラスタリング結果を得るためには, seed ページ間への制約の導入とともに, seed ページを含むクラスタの重心の変動の抑制も重要である。これは, (1) seed ページを導入して半教師有りクラスタリングを行なう場合, 通常の重心の計算法では重心の変動が大きくなる傾向にあり, クラスタリングの基準となる seedページを導入する効果が得られない, (2) 重心を完全に固定して半教師有りクラスタリングを行なう場合, その重心と類似度が高い Web ページしかマージされなくなり, 多数の独立したクラスタが生成されやすくなる，という二つの考えに基づく．したがって， seedページを含むクラスタの重心の変動を抑えることができれば，より適切なクラスタリングが実現できると期待される。

本章では, 我々の提案する半教師有りクラスタリングの手法について説明する.

以下，検索結果集合 $W_{p}$ 中の Webページ $p_{i}$ の特徵ベクトル $\boldsymbol{w}^{p_{i}}(i=1, \cdots, n)$ を式 (1)のように表す。

$
\boldsymbol{w}^{p_{i}}=\left(w_{t_{1}}^{p_{i}}, w_{t_{2}}^{p_{i}}, \cdots, w_{t_{m}}^{p_{i}}\right)
$

ここで, $m$ は検索結果集合 $W_{p}$ における単語の異なり数であり, $t_{k}(k=1,2, \cdots, m)$ は, 各単語を表す。予備実験として, (a) Term Frequency (TF), (b) Inverse Document Frequency (IDF), (c) residual IDF (RIDF), (d) TF-IDF, (e) $x^{I}$-measure, (f) gain の 6 つの単語重み付け法を比較した。これらの単語重み付け法は，それぞれ，次のように定義される。

## (a) Term Frequency (TF)

TF は，与えられた文書において，ある単語がどれだけ顕著に出現するかを示し，この値が大きければ大きいほど，その単語が文書の内容をよく表現していることを示す. $t f\left(t_{k}, p_{i}\right)$ を Web ページ $p_{i}$ における単語 $t_{k}$ の頻度とする。このとき, $\boldsymbol{w}^{p_{i}}$ の各要素 $w_{t_{k}}^{p_{i}}$ は, 式 $(2)$ によって定義される.

$
w_{t_{k}}^{p_{i}}=\frac{t f\left(t_{k}, p_{i}\right)}{\sum_{s=1}^{m} t f\left(t_{s}, p_{i}\right)}
$

## (b) Inverse Document Frequency (IDF)

(Jones 1973) によって導入された IDF は，その単語が出現する文書数が少なければ少ないほど，その単語が出現する文書にとっては，有用であることを示すスコアである。このとき， $\boldsymbol{w}^{p_{i}}$ の各要素 $w_{t_{k}}^{p_{i}}$ は, 式 (3)によって定義される.

$
w_{t_{k}}^{p_{i}}=\log \frac{N}{d f\left(t_{k}\right)}
$

ここで, $N$ は Web ページの総数, $d f\left(t_{k}\right)$ は単語 $t_{k}$ が現れる Web ページ数である.

## (c) Residual Inverse Document Frequency (RIDF)

Church and Gale (Church and Gale 1995a, 1995b) は, ほとんどすべての単語は, ポアッソンモデルのような独立性に基づいたモデルに応じて, 非常に大きな IDF スコアを持つことを示した。また，単語の有用性は，推定されるスコアからは大きな偏差を持つ傾向があるという考えに基づいて導入したスコアが residual IDF である。このスコアは，実際のIDF とポアッソン分布によって推定される IDF との差として定義される. $c f_{k}$ を文書集合中における単語 $t_{k}$ の総出現数， $N$ を Webぺージの総数としたとき， 1 つの Webページあたりの単語 $t_{k}$ の平均出現数は, $\lambda_{k}=\frac{c f_{k}}{N}$ と表される. このとき, $\boldsymbol{w}^{p_{i}}$ の各要素 $w_{t_{k}}^{p_{i}}$ は, 式 (4)によって定義される.

$
\begin{aligned}
w_{t_{k}}^{p_{i}} & =I D F-\log \frac{1}{1-p\left(0 ; \lambda_{i}\right)} \\
& =\log \frac{N}{d f\left(t_{k}\right)}+\log \left(1-p\left(0 ; \lambda_{k}\right)\right)
\end{aligned}
$

ここで， $p$ は, パラメータ $\lambda_{k}$ を伴うポアッソン分布である. この手法は, 少数の文書のみに出現する単語は，より大きな RIDF スコアを持つ傾向がある.

## (d) TF-IDF

TF-IDF 法 (Salton and McGill 1983) は, 文書中の単語を重み付けするために, 情報検索の研究において広く使われている。TF-IDF は，上述した (a) TF と (b) IDF に基づいて，式 (5)のように定義される。

$
w_{t_{k}}^{p_{i}}=\frac{t f\left(t_{k}, p_{i}\right)}{\sum_{s=1}^{m} t f\left(t_{s}, p_{i}\right)} \cdot \log \frac{N}{d f\left(t_{k}\right)}
$

ここで, $t f\left(t_{k}, p_{i}\right)$ と $d f\left(t_{k}\right)$ は，それぞれ, Webページ $p_{i}$ における単語 $t_{k}$ の頻度と, 単語 $t_{k}$ が出現する Webぺージ数を表す。また， $N$ は Webぺージの総数である.

(e) $x^{I}$-measure

Bookstein and Swanson (Bookstein and Swanson 1974) は，単語 $t_{k}$ に対する $x^{I}$-measure というスコアを導入した。 $t f\left(t_{k}, p_{i}\right)$ を Webページ $p_{i}$ における単語 $t_{k}$ の頻度, $d f\left(t_{k}\right)$ を単語 $t_{k}$ が現れる Webぺージ数とすると， $\boldsymbol{w}^{p_{i}}$ の各要素 $w_{t_{k}}^{p_{i}}$ は, 式 (6) によって定義される.

$
w_{t_{k}}^{p_{i}}=t f\left(t_{k}, p_{i}\right)-d f\left(t_{k}\right)
$

この手法は, 同程度の出現頻度である 2 つの単語のうち, 少数の文書に集中して出現する単語ほど，高いスコアを示す.

## (f) gain

一般に, IDF は単語の重要性を表すと考えられているが, Papineni (Papineni 2001) は, IDF は単語の特徵を表す最適な重みに過ぎず，単語の重要性とは異なるものであるため, 利得を単語の重要性と考え, gainを提案した. 本手法では, $\boldsymbol{w}^{p_{i}}$ の各要素 $w_{t_{k}}^{p_{i}}$ は, 式 (7) によって定義される。

$
w_{t_{k}}^{p_{i}}=\frac{d f\left(t_{k}\right)}{N}\left(\frac{d f\left(t_{k}\right)}{N}-1-\log \frac{d f\left(t_{k}\right)}{N}\right)
$

ここで, $d f\left(t_{k}\right)$ は, 単語 $t_{k}$ が現れる Webページ数を, $N$ は Web ページの総数を示す. 本手法では, ほとんど出現しない単語と, 非常に頻出する単語は, 両方とも低いスコアとなり, 中頻度の単語は高いスコアとなる。

上述した $(\mathrm{a})$ (f) の単語重み付け手法の中で, 本研究においては, “(f) gain”が最も効果的な単語の重み付け法であることがわかったため, これを本研究における単語の重み付け法として用いる。 さらに，クラスタ $C$ の重心べクトル $G^{C}$ を式 (8)のように定義する.

$
\boldsymbol{G}^{C}=\left(g_{t_{1}}^{C}, g_{t_{2}}^{C}, \cdots, g_{t_{m}}^{C}\right)
$

ここで, $g_{t_{k}}^{C}$ は $\boldsymbol{G}^{C}$ における各単語の重みであり, $t_{k}(k=1,2, \cdots, m)$ は各単語を表す. なお,以下で述べるクラスタリング手法では, 2 つのクラスタ $C_{i}, C_{j}$ 間の類似度 $\operatorname{sim}\left(C_{i}, C_{j}\right)$ を, 式 (9) によって計算する.

$
\operatorname{sim}\left(C_{i}, C_{j}\right)=\frac{\boldsymbol{G}^{C_{i}} \cdot \boldsymbol{G}^{C_{j}}}{\left|\boldsymbol{G}^{C_{i}}\right| \cdot\left|\boldsymbol{G}^{C_{j}}\right|}
$

ただし， $\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{j}}$ は，それぞれ，クラスタ $C_{i}, C_{j}$ の重心べクトルを表す.

## 2.1 凝集型クラスタリング

凝集型クラスタリングにおいては，はじめに各 Web ページを，個々のクラスタとして設定す

る。次に，二つのクラスタ間の類似度が，あらかじめ設定された閾値より小さくなるまで，類似度が最大となる二つのクラスタをマージして新たなクラスタを生成する。図 1 に凝集型クラスタリングのアルゴリズムを示す.

このアルゴリズムでは, あるクラスタ $C_{i}\left(\right.$ 要素数 $\left.n_{i}\right)$ を最も類似したクラスタ $C_{j}\left(\right.$ 要素数 $n_{j}$ ) にマージした後の, 新たなクラスタ $C^{\text {new }}$ の重心べクトル $G^{\text {new }}$ は, 式 (10)のように定義される.

$
\boldsymbol{G}^{\text {new }}=\frac{\sum_{\boldsymbol{w}^{p} \in C_{i}} \boldsymbol{w}^{p}+\sum_{\boldsymbol{w}^{p} \in C_{j}} \boldsymbol{w}^{p}}{n_{i}+n_{j}}
$

## 2.2 提案する半教師有りクラスタリング

一般に, seedページを含むクラスタ $C_{s_{j}}$ と, seed ページを含まないクラスタ $C_{i}$ の類似度が大きい場合には，両者を新たなクラスタとしてマージすべきであるが，両者の距離が大きい場合には， 通常の重心の計算法では， 重心の変動が大きくなる傾向にある．そこで，はじめに，あるクラスタ $C_{i}\left(\right.$ 重心べクトル $\left.G^{C_{i}}\right)$ を, seed ページを含むクラスタ $C_{s_{j}}\left(\right.$ 重心べクトル $\left.G^{C_{s_{j}}}\right)$ にマージする際, これらのクラスタの重心間の距離 $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}}\right)$ に基づいて, Web ページ $p$ の特徴ベクトル $\boldsymbol{w}^{p} \in C_{i}$ を重み付けする。次に, この重み付けした特徴ベクトルを用いて重心の計算を行なうことで上述した傾向を防ぎ，重心の変動を抑える.

まず，これまでに $k_{j}$ 個のクラスタがマージされた seed ページを含むクラスタ $C_{s_{j}}^{\left(k_{j}\right)}$ (要素数 $n_{s_{j}}$ ) に対して, クラスタ $C_{i}$ (要素数 $n_{i}$ ) が $k_{j}+1$ 回目にマージされるクラスタであるとする.

図 1 凝集型クラスタリングアルゴリズム

なお, クラスタ $C_{s_{j}}^{(0)}$ の要素は, 初期の seed ページとなる.

(1)この $C_{s_{j}}^{\left(k_{j}\right)}$ にマージされるクラスタ $C_{i}$ に含まれる各要素について, $C_{s_{j}}^{\left(k_{j}\right)}$ の重心 $G^{C_{s_{j}}^{\left(k_{j}\right)}}$ と, クラスタ $C_{i}$ の重心 $\boldsymbol{G}^{C_{i}}$ 間の距離尺度 $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}^{\left(k_{j}\right)}}\right)$ を用いて, クラスタ $C_{i}$ に含まれる Web ページの特徴ベクトル $\boldsymbol{w}_{C_{i}}^{p_{l}}\left(l=1, \cdots, n_{i}\right)$ を重み付けし，その後に生成されるクラスタを $C_{i^{\prime}}$ (要素数 $n_{i^{\prime}}$ ) とする。このとき， $C_{i^{\prime}}$ の要素となる重み付けした後の Webページの特徴ベクトル $\boldsymbol{w}_{C_{i^{\prime}}}^{p_{l}}$ は, 式 (11) で表される.

$
\boldsymbol{w}_{C_{i^{\prime}}}^{p_{l}}=\frac{\boldsymbol{w}_{C_{i}}^{p_{l}}}{D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}^{\left(k_{j}\right)}}\right)+c}
$

本研究では, $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}^{\left(k_{j}\right)}}\right)$ として, (i) ユークリッド距離, (ii) マハラノビス距離, (iii) 適応的マハラノビス距離, の三つの距離尺度を比較する。また, $c$ は $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}^{\left(k_{j}\right)}}\right)$ が 0 に非常に近い値となったとき, $\boldsymbol{w}^{p}$ の各要素が極端に大きな值となることを防ぐために導入した定数である.この $c$ の值の影響については, 3.3.1節で述べる.

(2) 次に, seed ゚゚ージを含むクラスタ $C_{s_{j}}^{\left(k_{j}\right)}$ (要素数 $\left.n_{s_{j}}\right)$ に $C_{i^{\prime}}\left(\right.$ 要素数 $\left.n_{i^{\prime}}\right)$ の要素を追加し, クラスタ $C_{s_{j}}^{\left(k_{j}+1\right)}$ (要素数 $\left.n_{s_{j}}+n_{i^{\prime}}\right)$ を作成する.

$
C_{s_{j}}^{\left(k_{j}+1\right)}=\left.\{\boldsymbol{w}_{C_{s_{j}}^{\left(k_{j}\right)}}^{p_{1}}, \cdots, \boldsymbol{w}_{C_{s_{j}}^{\left(k_{j}\right)}}^{p_{n_{s_{j}}}}, \boldsymbol{w}_{C_{i^{\prime}}}^{p_{1}}, \cdots, \boldsymbol{w}_{C_{i^{\prime}}}^{p_{n_{i^{\prime}}}}\right.\}
$

(3)このとき, $k_{j}+1$ 回目のクラスタをマージしたクラスタ $C_{s_{j}}^{\left(k_{j}+1\right)}$ の重心 $G^{C_{s_{j}}^{\left(k_{j}+1\right)}}$ は, 式 (12) のように計算される. ここで, 式 (11)において, マージされるクラスタの特徵べクトル $\boldsymbol{w}_{C_{i}}^{p_{l}}$ に重み付けをしているため, 重み付き平均の計算となるように， $n_{i^{\prime}}$ にも同様の重みを乗じている.

$
\boldsymbol{G}^{C_{s_{j}}^{\left(k_{j}+1\right)}}=\frac{\sum_{\boldsymbol{w}^{p} \in C_{s_{j}}^{\left(k_{j}+1\right)}} \boldsymbol{w}^{p}}{n_{s_{j}}+n_{i^{\prime}} \times \frac{1}{D\left(\boldsymbol{G}^{\left.C_{i}, \boldsymbol{G}^{C_{s}}{ }^{\left(k_{j}\right.}\right)}\right)+c}}
$

このように本研究では, seed ページを含むクラスタを重視してクラスタリングの基準を明確にし，正確なクラスタリングを行うことを目的とする。もし，2つのクラスタが種用例を含まないのであれば，新たなクラスタの重心べクトル $G^{n e w}$ は, 式 (13)のように計算される.

$
\boldsymbol{G}^{\text {new }}=\frac{\sum_{\boldsymbol{w}^{p} \in C_{i}} \boldsymbol{w}^{p}+\sum_{\boldsymbol{w}^{p} \in C_{j}} \boldsymbol{w}^{p}}{n_{i}+n_{j}}
$

本研究では, seed ページを含むクラスタに，それと最も類似したクラスタをマージする際, seed ページを含むクラスタの重心の変動を抑える半教師有りクラスタリングを適用して，Web 検索結果における人名の曖昧性を解消する．従来の半教師有りクラスタリングの手法のうち，制約を導入する手法では，クラスタの基準となる重心についての検討は見逃されており，また，距離を学習する手法では, 特徵空間が大域的に変換される。一方, 我々の手法は, seedページを含

むクラスタの重心の変動を抑え，その重心を局所的に調整できる効果が期待される. なお, seed ページを導入することで，検索結果を改善することは，適合性フィードバック (Rocchio 1971) に類似した手法であると考えられる。しかし, 適合性フィードバックでは, 検索結果中の文書に対して，ユーザが判断した適合文書・非適合文書に基づいた検索語の修正を目的としているのに対し, 本手法は, あらかじめ設定した seed ページに基づいて, 検索結果の改善, 特に本研究においては，検索結果のクラスタリング精度の改善を目的としている点が異なる.

また，検索結果をクラスタリングする検索エンジンとして，"Clusty"4 が挙げられる。しかし，そのクラスタリングされた検索結果には，適合しない Webぺージが含まれることも多く, クラスタリングを行う上で, 何らかの基準が必要である. すなわち, 本研究のように, seedペー ジをクラスタリングの基準として導入し，かつ，その seed ページを含むクラスタの重心を抑えることで，その基準を保つような手法が必要であると考えられる.

図 2 に，我々の提案する半教師有りクラスタリングアルゴリズムの詳細を示す。なお，提案する半教師有りクラスタリングでは，対象とするすべての Webぺージが，いずれかの seedペー ジを含むクラスタにマージされるのではなく, seedページを含まないクラスタにもマージされることに，注意されたい（図 2 下から 7 行目, “else if”以降参照).

ここで, 本研究において比較する式 (11) 直後に述べた (i), (ii), (iii) の 3 つの距離尺度は, それぞれ，以下のように定義される。

## (i) ユークリッド距離

式 (11)において, ユークリッド距離を導入した場合, seed ページを含むクラスタの重心べクトル $\boldsymbol{G}^{C_{s}}$ と, あるクラスタ $C$ の重心べクトル $\boldsymbol{G}^{C}$ 間の距離 $D\left(\boldsymbol{G}^{C_{s}}, \boldsymbol{G}^{C}\right)$ は, 式 (8) に基づいて,式 (14)のように定義される.

$
D\left(\boldsymbol{G}^{C_{s}}, \boldsymbol{G}^{C}\right)=\sqrt{\sum_{k=1}^{m}\left(g_{t_{k}}^{C_{s}}-g_{t_{k}}^{C}\right)^{2}}
$

## (ii) マハラノビス距離

マハラノビス距離は，データ集合の相関を考慮した尺度であるという点において，ユークリッド距離とは異なる。したがって，ユークリッド距離を用いるよりもマハラノビス距離を用いた方が，クラスタの重心の変動を，より効果的に抑えられることが期待される。

式 (11) において, マハラノビス距離を導入した場合, seed ページを含むクラスタ $C_{s}$ の重心ベクトル $\boldsymbol{G}^{C_{s}}$ と, あるクラスタ $C$ の重心べクトル $\boldsymbol{G}^{C}$ 間の距離 $D\left(\boldsymbol{G}^{C_{s}}, \boldsymbol{G}^{C}\right)$ は, 式 $(15)$ のように定義される.

$
D\left(\boldsymbol{G}_{\boldsymbol{C}_{(s)}}, \boldsymbol{G}_{\boldsymbol{C}}\right)=\sqrt{\left(\boldsymbol{G}^{C_{s}}-\boldsymbol{G}^{C}\right)^{T} \boldsymbol{\Sigma}^{-1}\left(\boldsymbol{G}^{C_{s}}-\boldsymbol{G}^{C}\right)}
$

Algorithm: Semi-supervised clustering

Input: Set of feature vectors of search-result Web pages $\boldsymbol{w}^{p_{i}}(i=1,2, \cdots, n)$,

and seed pages $\boldsymbol{w}^{p_{s}}(j=1,2, \cdots, u)$,

$W p=\left.\{\boldsymbol{w}^{p_{1}}, \boldsymbol{w}^{p_{2}}, \cdots, \boldsymbol{w}^{p_{n}}, \boldsymbol{w}^{p_{s_{1}}}, \boldsymbol{w}^{p_{s_{2}}}, \cdots, \boldsymbol{w}^{p_{s_{u}}}\right.\}$.

Output: Set of clusters $\mathcal{C}=\left.\{C_{1}, C_{2}, \cdots\right.\}$ that contain the Web pages that refer to the same person.

## Method:

1. Set feature vector of each Web page $\boldsymbol{w}^{p_{i}}$ and each seed pages $\boldsymbol{w}^{p_{s}}$ in $W_{p}$

as an initial cluster $C_{i}$ and $C_{s_{j}}^{\left(k_{j}\right)}$, respectively.

$C_{i}=\left.\{\boldsymbol{w}^{p_{i}}\right.\}, C_{s_{j}}^{\left(k_{j}\right)}=\left.\{\boldsymbol{w}^{p_{s_{j}}}\right.\}$,

thus, set of clusters

$\mathcal{C}=\left.\{C_{1}, C_{2}, \cdots, C_{n}, C_{s_{1}}^{\left(k_{1}\right)}, \cdots, C_{s_{u}}^{\left(k_{u}\right)}\right.\}$,

where "cannot-link" constraints are introduced between $C_{s_{q}}^{\left(k_{q}\right)}$ and $C_{s_{r}}^{\left(k_{r}\right)}(q \neq r)$.

$k_{h}(h=1, \cdots, u) \leftarrow 0$,

where $k_{h}$ denotes the frequency of merging a cluster that do not contain a seed page into $C_{s_{h}}^{\left(k_{h}\right)}$.

2. do

2.1 Find the pair of clusters $\left(C_{i}, C_{j}\right)$, or $\left(C_{i}, C_{s_{h}}^{\left(k_{h}\right)}\right)$ with the maximum similarity.

if the maximum similarity is obtained in $\left(C_{i}, C_{s_{h}}^{\left(k_{h}\right)}\right)$,

then compute the distance $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{h}}^{\left(k_{h}\right)}}\right)$

between the centroids $\boldsymbol{G}^{C_{i}}$ and $\boldsymbol{G}^{C_{s_{h}}^{\left(k_{h}\right)}}$ of clusters $C_{i}$ and $C_{s_{h}}^{\left(k_{h}\right)}$, respectively.

for $l=1$ to $n_{i}$ do

transform the feature vector $\boldsymbol{w}_{C_{i}}^{p_{l}}$ in $C_{i}$ to $\boldsymbol{w}_{C_{i^{\prime}}}^{p_{l}}$ using Equation (11),

add $\boldsymbol{w}_{C_{i^{\prime}}}^{p_{l}}$ to $C_{s_{h}}^{\left(k_{h}\right)}$

## end for

$k_{h} \leftarrow k_{h}+1$

recompute the centroid $\boldsymbol{G}^{C_{s}\left(k_{h}\right)}$ using Equation (12), and remove $C_{i}$ from $\mathcal{C}$.

else if

the maximum similarity is obtained in $\left(C_{i}, C_{j}\right)$,

then merge $C_{i}$ and $C_{j}$ to form a new cluster $C^{\text {new }}$, add $C^{\text {new }}$ to $\mathcal{C}$, remove $C_{i}$ and $C_{j}$ from $\mathcal{C}$, and recompute the centroid $\boldsymbol{G}^{\text {new }}$ of the cluster $C^{\text {new }}$ using Equation (13).

2.2 Compute similarities between $C^{\text {new }}$ and all $C_{i} \in \mathcal{C}\left(C_{i} \neq C^{\text {new }}\right)$.

3. until All of the similarities computed in 2.2 are less than the predefined threshold.

4. return Set of clusters $\mathcal{C}$.

図 2 提案する半教師有りクラスタリングアルゴリズム

ここで， $\boldsymbol{\Sigma}$ は， seedページを含むクラスタ $C_{s}$ の要素によって定義される共分散行列である. すなわち, クラスタ $C_{s}$ 内の要素を,

$
C_{s}=\left.\{\boldsymbol{w}_{C_{s}}^{p_{1}}, \boldsymbol{w}_{C_{s}}^{p_{2}}, \cdots, \boldsymbol{w}_{C_{s}}^{p_{m}}\right.\}
$

と表せば，重心べクトル $G^{C_{s}}$,

$
\boldsymbol{G}^{C_{s}}=\frac{1}{m} \sum_{i=1}^{m} \boldsymbol{w}_{C_{s}}^{p_{i}}
$

を用いて，共分散 $\Sigma_{i j}$ を式 (16)のように定義することができる.

$
\Sigma_{i j}=\frac{1}{m} \sum_{i=1}^{m}\left(\boldsymbol{w}_{C_{s}}^{p_{i}}-\boldsymbol{G}^{C_{s}}\right)\left(\boldsymbol{w}_{C_{s}}^{p_{j}}-\boldsymbol{G}^{C_{s}}\right)^{T}
$

以上から，共分散行列 $\boldsymbol{\Sigma}$ は，

$
\boldsymbol{\Sigma}=\left[\begin{array}{cccc}
\Sigma_{11} & \Sigma_{12} & \cdots & \Sigma_{1 m} \\
\Sigma_{21} & \Sigma_{22} & \cdots & \Sigma_{2 m} \\
\vdots & \vdots & \ddots & \vdots \\
\Sigma_{m 1} & \Sigma_{m 2} & \cdots & \Sigma_{m m}
\end{array}\right]
$

と表すことができる.

## (iii) 適応的マハラノビス距離

(ii) のマハラノビス距離は, クラスタ内の要素数が少ないときに, 共分散が大きくなる傾向がある。そこで， seedページを含むあるクラスタ $C_{s_{j}}$ について，このクラスタに含まれる Web ページの特徵ベクトル間の非類似度を局所最小化することを考える。この局所最小化で得られる分散共分散行列を用いて計算した $C_{s_{j}}$ の重心べクトル $\boldsymbol{G}^{C_{s_{j}}}$ と, このクラスタにマージされるクラスタ $C_{l}$ の重心べクトル $G^{C_{l}}$ 間の距離が, 適応的マハラノビス距離 (Diday and Govaert 1977) である. この分散共分散行列は, 次のように導出される.

(1) まず，クラスタ $C_{s_{j}}$ において，このクラスタに含まれる Web ページの特徴ベクトル $\boldsymbol{w}^{p_{i}}$ と, それ以外の特徵べクトル $\boldsymbol{v}\left(\boldsymbol{w}^{p_{i}} \neq \boldsymbol{v}\right)$ との非類似度 $d_{s_{j}}\left(\boldsymbol{w}^{p_{i}}, \boldsymbol{v}\right)$ を, 式 (17) により定義する.

$
d_{s_{j}}\left(\boldsymbol{w}^{p_{i}}, \boldsymbol{v}\right)=\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)^{T} \boldsymbol{M}_{s_{j}}^{-1}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)
$

ただし， $\boldsymbol{M}_{s_{j}}$ は $C_{s_{j}}$ の分散共分散行列を表す. すなわち, クラスタ $C_{s_{j}}$ 内の要素を,

$
C_{s_{j}}=\left.\{\boldsymbol{w}_{C_{s_{j}}}^{p_{1}}, \boldsymbol{w}_{C_{s_{j}}}^{p_{2}}, \cdots, \boldsymbol{w}_{C_{s_{j}}}^{p_{m}}\right.\}
$

と表せば, 重心べクトル $G^{C_{s_{j}}}$,

$
\boldsymbol{G}^{C_{s_{j}}}=\frac{1}{m} \sum_{i=1}^{m} \boldsymbol{w}_{C_{s_{j}}}^{p_{i}}
$

を用いて，共分散 $M_{i j}$ を式 (18) のように定義することができる.

$
M_{i j}=\frac{1}{m} \sum_{i=1}^{m}\left(\boldsymbol{w}_{C_{s_{j}}}^{p_{i}}-\boldsymbol{G}^{C_{s_{j}}}\right)\left(\boldsymbol{w}_{C_{s_{j}}}^{p_{j}}-\boldsymbol{G}^{C_{s_{j}}}\right)^{T}
$

以上から，共分散行列 $M_{s_{j}}$ は，

$
\boldsymbol{M}_{\boldsymbol{s}_{j}}=\left[\begin{array}{cccc}
M_{11} & M_{12} & \cdots & M_{1 m} \\
M_{21} & M_{22} & \cdots & M_{2 m} \\
\vdots & \vdots & \ddots & \vdots \\
M_{m 1} & M_{m 2} & \cdots & M_{m m}
\end{array}\right]
$

と表すことができる.

(2) 次に, 目的関数

$
\begin{aligned}
\Delta_{s_{j}}\left(\boldsymbol{v}, \boldsymbol{M}_{s_{j}}\right) & =\sum_{\boldsymbol{w}^{p_{i} \in C_{s_{j}}}} d_{s_{j}}\left(\boldsymbol{w}^{p_{i}}, \boldsymbol{v}\right) \\
& =\sum_{\boldsymbol{w}^{p_{i} \in C_{s_{j}}}}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)^{T} \boldsymbol{M}_{s_{j}}^{-1}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)
\end{aligned}
$

を定義し, これを局所最小化するような $C_{s_{j}}$ の代表点の特徴べクトル $\boldsymbol{L}_{s_{j}}$ と分散共分散行列 $\boldsymbol{S}_{s_{j}}$ を求める。

(i) まず，クラスタ $C_{s_{j}}$ の要素により定義される共分散行列 $\boldsymbol{M}_{s_{j}}$ を固定し， $\Delta_{s_{j}}$ を最小化する $\boldsymbol{L}_{s_{j}}$ を求める.

$
\boldsymbol{L}_{s_{j}}=\arg \min _{\boldsymbol{v}} \sum_{\boldsymbol{w}^{p_{i} \in C_{s_{j}}}}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)^{T} \boldsymbol{M}_{s_{j}}^{-1}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}\right)
$

式 (19)において, クラスタ $C_{s_{j}}$ の重心 $G$ に最も近い点 $G^{\prime}$ の特徴ベクトルを $\boldsymbol{v}_{G^{\prime}}$ と表せば, $\boldsymbol{L}_{s_{j}}=\boldsymbol{v}_{G^{\prime}}$ と求めることができる.

(ii) 次に, (i) で求めた代表点の特徴べクトル $\boldsymbol{L}_{s_{j}}=\boldsymbol{v}_{G^{\prime}}$ を固定する. ここで, $\operatorname{det}\left(\boldsymbol{M}_{s_{j}}\right)=1$ のもとで， $\Delta_{s_{j}}$ を局所最小化する $\boldsymbol{S}_{s_{j}}$ を求める.

$
\boldsymbol{S}_{s_{j}}=\arg \min _{\boldsymbol{M}_{s_{j}}} \sum_{\boldsymbol{w}^{p_{i} \in C_{s_{j}}}}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}_{G^{\prime}}\right)^{T} \boldsymbol{M}_{s_{j}}^{-1}\left(\boldsymbol{w}^{p_{i}}-\boldsymbol{v}_{G^{\prime}}\right)
$

この $\boldsymbol{S}_{s_{j}}$ は, クラスタ $C_{s_{j}}$ の共分散行列 $\boldsymbol{M}_{s_{j}}$ を用いて, 式 $(21)$ によって与えられることが, 文献 (Diday and Govaert 1977) により示されている.

$
\boldsymbol{S}_{s_{j}}=\left(\operatorname{det}\left(\boldsymbol{M}_{s_{j}}\right)\right)^{1 / m} \boldsymbol{M}_{s_{j}}^{-1}
$

ただし, $\operatorname{det}\left(\boldsymbol{M}_{s_{j}}\right) \neq 0$ であり, $m$ は検索結果集合における単語の異なり数を表す.

以上から， seed ゚゚ージを含むあるクラスタ $C_{s_{j}}$ において，Webページ間の非類似度を局所最小化することを考慮した分散共分散行列 $\boldsymbol{S}_{s_{j}}$ を求めることができる。この $\boldsymbol{S}_{s_{j}}$ を用いて， $C_{s_{j}}$ の重心べクトル $G^{C_{s_{j}}}$ と, このクラスタにマージされるべきクラスタ $C_{l}$ の重心べクトル $G^{C_{l}}$ 間の適応的マハラノビス距離は，式 $(22)$ のように定義される.

$
D\left(\boldsymbol{G}^{C_{s_{j}}}, \boldsymbol{G}^{C_{l}}\right)=\sqrt{\left(\boldsymbol{G}^{C_{s_{j}}}-\boldsymbol{G}^{C_{l}}\right)^{T} \boldsymbol{S}_{s_{j}}^{-1}\left(\boldsymbol{G}^{C_{s_{j}}}-\boldsymbol{G}^{C_{l}}\right)}
$

なお, 式 $(22)$ は, 上述した $\mathbf{1} \mathbf{1}$ ～(2)によるクラスタ $C_{s_{j}}$ における Webページ間の非類似度を考慮して得られた式 (21) の分散共分散行列 $\boldsymbol{S}_{s_{j}}$ を適用している点で, 式 (15) とは異なる.

## 3 実験

## 3.1 実験データ

本研究では, “Web People Search Task” (Artiles, Gonzalo, and Sekine 2007) において作成された「WePS コーパス」を，実験に用いた. このWePSコーパスは，訓練集合とテスト集合から構成され，それぞれ 49,30 , 合計で 79 の人名が含まれる. これらは, 人名を検索語として, Yahoo! ${ }^{5}$ の検索 API を通じて得られた上位 100 件の検索結果から取得されたものである。 すなわち, このコーパスは約 7,900 の Web ページから構成される. 具体的な統計量を表 1 に示す.

まず前処理として, このコーパスにおけるすべての Webページに対して, 不要語リスト 6 に基づいて, 不要語を取り除き, Porter Stemmer (Porter 1980) 7 を用いて語幹処理を行なった. 次に，WePS コーパスの訓練集合を用いて類似したクラスタをマージするための最適なパラメー 夕を決定し，これをWePS コーパスのテスト集合に適用した。

## 3.2 評価尺度

本研究では, "purity", “inverse purity”と,これらの調和平均である $F$ 値 (Hotho, Nürnberger, and Paaß 2005) に基づいて, クラスタリングの精度を評価する。これらは, “Web People Search Task”において採用されている標準的な評価尺度である．以下，生成されたクラスタに割り当てられるべき，人手で定めた正解を「カテゴリ」と呼ぶことにする。 "purity”は, 各クラスタにおいて最もよく現れるカテゴリの頻度に注目し，ノイズの少ないクラスタを高く評価する。 $C$

表 1 WePS コーパスにおける統計量

 \\

& ECDL'06 プログラム委員リスト & 10 & 15.3 \\
& アメリカ合衆国・国勢調査 & 32 & 5.90 \\
& & 合計 49 & 平均 10.8 \\

& ACL’06 参加者リスト & 10 & 31.0 \\
& アメリカ合衆国・国勢調査 & 10 & 50.3 \\
& & 合計 30 & 平均 45.9 \\

*ECDL: European Conference on Digital Libraries, ACL: Association for Computational Linguistics

を評価対象となるクラスタの集合， $L$ を人手で作成したカテゴリの集合， $n$ をクラスタリング対象の文書数とすると, purity は, 式 (23)に基づいて, 最大となる適合率の重み付き平均をとることで計算される.

$
\text { Purity }=\sum_{i} \frac{\left|C_{i}\right|}{n} \max \operatorname{Precision}\left(C_{i}, L_{j}\right)
$

ここで，あるカテゴリ $L_{j}$ に対するクラスタ $C_{i}$ の適合率 Precision $\left(C_{i}, L_{j}\right)$ は, 式 $(24)$ によって定義される.

$
\operatorname{Precision}\left(C_{i}, L_{j}\right)=\frac{\left|C_{i} \bigcap L_{j}\right|}{\left|C_{i}\right|}
$

“inverse purity”は，各カテゴリに対して最大の再現率となるクラスタに着目する。 ある一つのクラスタにおいて, 各カテゴリで定められた要素を多く含むクラスタを高く評価する． inverse purityは，式 (25)によって定義される.

$
\text { InversePurity }=\sum_{j} \frac{\left|L_{j}\right|}{n} \max \operatorname{Recall}\left(C_{i}, L_{j}\right)
$

ここで，あるカテゴリ $L_{j}$ に対するクラスタ $C_{i}$ の再現率 $\operatorname{Recall}\left(C_{i}, L_{j}\right)$ は, 式 $(26)$ によって定義される。

$
\operatorname{Recall}\left(C_{i}, L_{j}\right)=\frac{\left|C_{i} \bigcap L_{j}\right|}{\left|L_{j}\right|}
$

また, purityと inverse purity の調和平均 $F$ は, 式 (27)によって定義される.

$
F=\frac{1}{\alpha \frac{1}{\text { Purity }}+(1-\alpha) \frac{1}{\text { InversePurity }}}
$

なお, 本研究では, $\alpha=0.5,0.2$ として, 評価を行なった. 以下, $\alpha=0.5,0.2$ のときの $F$ 值を，それぞれ， $F_{0.5}, F_{0.2}$ と示すことにする。

## 3.3 実験結果

我々の提案する半教師有りクラスタリングの手法では, 次の 2 種類の seed ページを用いた実験を行なった.

(a) Wikipedia (Remy 2002) における各人物の記事,

(b) Web 検索結果において上位に順位付けされた Webぺージ.

## 3.3.1 パラメータ $c$ の設定

我々の提案する手法では， seed ゚゚ージを含むクラスタ $C_{s_{j}}$ と，それに最も類似したクラスタ $C_{i}$ をマージした後の新しいクラスタの重心べクトルは, 2 章で述べたように, 式 (11)に基づいてクラスタ $C_{i}$ に含まれる Web ページの特徵ベクトル $\boldsymbol{w}_{C_{i}}^{p_{l}}\left(l=1, \cdots, n_{i}\right)$ を重み付けし, この重み付けした特徴べクトルを用いて，式 (12)によって計算される.

式 (11)における $c$ は, $D\left(\boldsymbol{G}^{C_{i}}, \boldsymbol{G}^{C_{s_{j}}}\right)$ が 0 に非常に近い值となったとき, $\boldsymbol{w}^{p}$ の各要素が極端に大きな値となることを防ぐために導入した定数であるが，この値によっては，クラスタリングの精度にも影響が及ぶものと考えられる。そこで, WePSコーパスの訓練集合を用いて，上述した 2 種類の seed ページ (a), (b) ともに 7 個までの seed ページを用いた場合について， $0.1 \leq c \leq 50$ として得られるクラスタリング精度について検証した。ここで, seedページの数を 7 個までと定めたのは，少数の seed ページでの効果を確認するためである。この結果，表 $2 \sim 4$ に示す $c$ の値のときに， $F_{0.5}, F_{0.2}$ ともに，最良なクラスタリング精度が得られた.

なお, 以下の 3.3 .3 節では, 距離尺度, seed ページの種類とその数, に応じて, 表 $2 \sim 4$ に示した $c$ の値を, WePSコーパスのテスト集合に適用して得られた実験結果を示している.

表 2 ユークリッド距離を用いたときの最良なクラスタリング精度を与える $c$ の値

表 3 マハラノビス距離を用いたときの最良なクラスタリング精度を与える $c$ の値

表 4 適応的マハラノビス距離を用いたときの最良なクラスタリング精度を与える $c$ の値

表 5 凝集型クラスタリングを用いて得られたクラスタリング精度

## 3.3.2 文書全体を用いた実験結果

## (1) 凝集型クラスタリングを用いた実験結果

凝集型クラスタリングによって得られた精度を表 5 に示す.

## (2) 半教師有りクラスタリングを用いた実験結果

seed ページを導入することによる効果を確かめるため，はじめに一つの seed ページを用いて実験を行なった.この際, 3.3 節はじめに述べた 2 種類の seedページに関して, (a) は検索結果の上位にある Wikipediaの記事を，（b）は第 1 位に順位付けされた Web ページを用いた。しかしながら， 3.1 節で述べた WePS コーパスのテスト集合におけるすべての人名が，必ずしも Wikipedia に対応する記事を有するわけではない。したがって，ある人名が Wikipedia に記事を有するのであれば，これを seed ページとして用いた。そうでなければ，Web 検索結果において第 1 位に順位付けされた Web ページを用いた。この方針に基づき，WePSコーパスのテスト集合における 30 の人名のうち，16の人名に対しては Wikipedia の記事を，14の人名に対しては第 1 位に順位付けされた Webページを seed ページとして用いた。なお，人名の曖昧性解消に

Wikipediaを利用した最近の研究として, Bunescu (Bunescu and Pasca 2006) らは, Wikipedia の構造を用いることによって固有名を同定するとともに，その固有名の曖昧性を解消している.表 6 に，一つの seed ページでの半教師有りクラスタリングを用いて得られたクラスタリング精度を示す。

さらに，一つの seed ページを用いた実験において，最も良い $F$ 值 $\left(F_{0.5}=0.68, F_{0.2}=0.66\right)$ が得られた適応的マハラノビス距離に関して, seed ページの数を変えることによって, さらなる実験を行なった，3.3.1 節でも述べたように，少数の seed ページでの効果を確認するために，導入する seed ページの数は 7 個までとした。 また, 図 2 に示したように, これらの seed ゚゚ージの間には, “cannot-link”の制約を導入している。これは, 上位に順位付けされる検索エンジンの出力結果を信頼し，それぞれの Webぺージが異なる人物について記述していると想定していることに基づく，図 3，4 は，それぞれ, 複数の Wikipedia 記事, 上位 7 位までに順位付けされたWebページを用いて得られたクラスタリング精度 ( $F$ 値)を示す.

また，この実験では， 2 章で述べたように， seedページを含むクラスタの重心と，それにマー ジされるクラスタの重心間の距離を考慮する。この提案手法の有効性を確認するために， 1 章で述べた距離を学習する半教師有りクラスタリング手法である Klein (Klein et al. 2002), Xing ら (Xing et al. 2003), Bar-Hillel ら (Bar-Hillel et al. 2003)の手法を用いて得られた結果との比較を示す.また, seedページを含むクラスタの重心の変動を抑えることによる効果を確認するために，重心を固定する手法との比較も示す.

## 3.3.3 文書を部分的に用いた実験結果

3.3.2 節で述べた実験では，検索結果のWeb ページと seed ページの全文を用いた. しかし,人物について記述された Webぺージにおいて，その人物を特徴付ける単語は，人名の周囲にしばしば現れること，また，検索結果のスニペットにおいても，同様の傾向が観察される。

そこで, seedページを用いて最も良い結果が得られている場合，すなわち，図 3 において， 5

表 61 つの seed ページを使い, 提案する半教師有りクラスタリングを用いて得られたクラスタリング精度

*(a) and (b) in "Seed page" denote "Wikipedia article" and "top-ranked Web page," respectively.

$[\alpha=0.5]$

$[\alpha=0.2]$

図 3 複数の seed ページを用いて得られたクラスタリング精度 (7つまでの Wikipedia 記事)

$[\alpha=0.5]$

$[\alpha=0.2]$

図 4 複数の seed ページを用いて得られたクラスタリング精度 (上位 7 位までに順位付けされた Web ページ)

つの Wikipedia 記事を用いた場合 $\left(F_{0.5}=0.76, F_{0.2}=0.74\right)$ に, さらに精度が改善されるかを確認するために,

(i) seed ページと検索結果の Web ページにおいて, 人名前後の単語, および文の数を変化させる，

(ii) 検索結果のスニペットを用いる，

実験を行なった。

（i）については，まず，WePSコーパスの訓練集合を用いて，最も良い $F$ 值を与える seed ゚゚ー ジと検索結果の Web ページのそれぞれにおいて用いる人名前後の単語数，または文数を求める.この結果を図 5 に示す. 次に，これらのパラメータをテスト集合に適用し，評価する。(ii)

図 5 図 3 における 5 つの seed ページ (Wikipedia 記事) の場合に, seed ページと検索結果の Web ページで用いる人名前後の単語数と文数を変化させて得られるクラスタリング精度 (“w"と“ $\mathrm{s}$ ”は, それぞれ「単語」と「文」を表す)

$
[\alpha=0.5]
$

$[\alpha=0.2]$

図 6 図 3 における 5 つの seed ページ (Wikipedia 記事) の場合に, 検索結果のスニペットを用い, seed ページ中の人名前後の単語数と文数を変化させて得られるクラスタリング精度 (“w”と“" は, それぞれ「単語」と「文」を表す)

についても同様に, WePSコーパスの訓練集合を用いて, 最も良い $F$ 值を与える seed ページでの人名前後の単語数, または文数を求める。この結果を図 6 に示す. 次に, これらのパラメー タをテスト集合に適用し, 評価する。最終的に (i), (ii)の実験によって得られたクラスタリング精度を，表 7 に示す.

## 3.3.4 他手法との比較

“Web People Search Task”における上位 3 チームのクラスタリング精度 ( $F$ 値)を，表 7 に示す.なお, これらのチームで採用している手法の詳細については, 表 7 に示した文献を参照さ
表 7 Web People Search Task における上位 3 チームと提案手法とのクラスタリング精度の比較

れたい，基本的には，凝集型クラスタリングの手法が採用されている，また，提案手法によって得られた結果も, 比較のために示す.

## 3.4 処理時間に関する検討

3.3 .2 節で述べたように，式 (11)において, 適応的マハラノビス距離を用いて, seedページを含むクラスタにマージされるクラスタに含まれる Web ページの特徴ベクトルを重み付けし，この変換された特徴ベクトルを用いて重心の計算を行なった場合に，最良なクラスタリング精度が得られることがわかった。この場合について，7つまでの Wikipedia 記事，上位 7 位までに順位付けされた Webページを seed ページとして用い，最も処理時間を要すると考えられる 3.3 .2 節の文書全体を用いた場合についての処理時間を測定した。なお，提案手法は，PC (CPU: Intel Pentium M・2.0 GHz， Memory: 2 GByte, OS: Windows XP) 上に Perl を用いて実装されている. 図 7 に，その結果を示す.

## 3.5 考察

式 (11)における $c$ の值について, 特徴べクトルを重み付けする際には, 表 $2 \sim 4$ から $c=0.95$ 前後の値を用いたときに，最良なクラスタリング精度が得られることがわかった. なお, $5 \leq c \leq 50$ の大きな值のときには，それほど高いクラスタリング精度が得られないことも観察された。これは, 式 (11)において, 距離尺度よりも $c$ が支配的になることにより, クラスタにマージすべき Web ゚゚ージの特徴ベクトルの各要素の值が小さくなりすぎることによる影響であると考えられる。

図 7 seed ページ数を変化させたときのクラスタリングに要する処理時間

凝集型クラスタリングの手法においては, 表 5 から, purity (0.67) は, inverse purity (0.48) よりも高いことがわかる. このように, purity が高いことは, 凝集型クラスタリングが, 一つの要素しか含まないクラスタを生成する傾向にあることを示す. また, $F$ 値が $F_{0.5}=0.52, F_{0.2}=0.49$ であり，それほど高い精度が得られていないことは，凝集型クラスタリングでは，クラスタリングを適切に行なうことが難しいことを改めて確認できたといえる。

2 章で述べた半教師有りクラスタリングの手法において, 表 6 から purity の値 $(0.47 \sim 0.57)$ は，表 5 の凝集型クラスタリングを用いて得られた purity の值 $(0.67)$ を上回ることができなかったが, inverse purityの值 $(0.75 \sim 0.88)$ は, すべての手法が凝集型クラスタリングの値 $(0.48)$ を上回っていることがわかる。また，良好な inverse purityの値によって，F 值においても，良い結果が得られている。これは, seedページを導入したこと，ならびに，その seedページを含むクラスタの重心の変動を抑えられたことによる効果であると考えられる。 さらに，表 6 からは, seed ページとして Wikipedia の記事を用い, 適応的マハラノビス距離を適用した場合において，最も良い $F$ 値 $\left(F_{0.5}=0.68, F_{0.2}=0.66\right)$ が得られたことがわかる.

複数の seed ページを用いた半教師有りクラスタリング手法においては, 図 3,4 から, 次の内容が観察される。まず，いずれの seedページを用いても，また，いずれの手法においても，導入する種文書数の増加とともに，クラスタリング精度 ( $F$ 値) が改善されている. seed ページの数について， 7 個まで導入したが，いずれの seed ページとも 5 個の時点でのクラスタリング精度が最も良いことが観察される。 さらに，重心を固定する方法は，他の手法に比べて非常に精度が劣る結果となった。これは，重心を完全に固定してしまうと，その重心と類似度が高いWeb ページしかマージされなくなるため，本来クラスタにマージされるべきWebページが独立したクラスタとなってしまうことが原因であると考えられる。この実験においては，高い purityの値が得られていたことからも，上述した原因が裏付けられるといえる。
一方，距離を学習するクラスタリング手法では， Bar-Hillel ら (Bar-Hillel et al. 2003), Xing ら (Xing et al. 2003), Klein ら (Klein et al. 2002)の手法の順に良いクラスタリング精度が得られている. 1 章で述べたように，Klein らの手法では，類似した 2 点 $\left(x_{i}, x_{j}\right)$ 間を 0 , 類似していない 2 点間を $\left(\max _{i, j} D_{i j}\right)+1$ と設定した単純な隣接行列を作成した上で，クラスタリングを行なうのに対し, Xing ら， Bar-Hillel らの方法では，特徵空間を適切に変換する手法が用いられている。後者の二つの手法では，この変換手法が有効に作用しているものと考えられる。しかし，これらの距離を学習する手法と比較しても，重心の変動を抑えたクラスタリングを行なう我々の提案手法が，最も良いクラスタリング精度を示した。これは，あるクラスタを seed ペー ジを含むクラスタにマージするたびに，その seed ページを含むクラスタの重心を局所的に調整できることによる効果であると考えられる。

さらに， seed ページについては，Wikipedia における各人物の記事を用いたほうが，Web 検索結果の上位に順位付けされた Webページを用いるよりも良い精度が得られた。これは, クラスタリングのための seed ページとして, Wikipedia の記述内容を用いることが有効であることを示す事例であると考えられる。

また，文書を部分的に用いた場合には，以下に述べるような傾向が観察される．まず，WePS コーパスの訓練集合において, 3.3.3節 (i)で述べたように, seedページ, および検索結果の Web ページ中の人名前後の単語数または文数を変化させた場合, 図 5 から, 検索結果の Web ペー ジに関して，単語よりも文を用いることで，より良いクラスタリング精度が得られることが観察される。これは，人名前後の数語のみでは，人物の実体を識別することは難しいが，人名前後の数文を用いることで，その人物を特徴付ける情報を獲得でき，人物の実体を識別しやすくなったことによる効果であると考えられる。また, 図 5 からは, seed ページ，検索結果の Web ページについて，それぞれ，人名前後の 2 文， 3 文を用いた場合に最も良い $F$ 値 $\left(F_{0.5}=0.79\right.$, $\left.F_{0.2}=0.80\right)$ が得られることがわかった. これらの文数を WePSコーパスのテスト集合に適用した場合, [purity:0.80, inverse purity:0.83, $F_{0.5}=0.81, F_{0.2}=0.82$ ] の結果が得られた. 特に $F$ 値は， $\alpha=0.5$ のとき，表 7 に示した “Web People Search Task" (Artiles et al. 2007)の第 1 位のチーム (CU_COMSEM) の結果を 0.03 上回り，提案手法が有効であることが確認される. なお，3.3.2 節 (2) で述べたように, Wikipedia に記事のある 16 人名のうち, Wikipedia から取得した人名数は 10 (表 1 参照, 以下 $(\mathrm{A})$ とする), $\mathrm{ACL} 06$ 参加者リスト，アメリカ合衆国・国勢調査の人名のうち, Wikipedia にも記事のある人名数は 6 （表 1 参照, 以下 (B) とする）である.これらの人名について, Wikipediaを seed ページとしてクラスタリングした場合に，その精度に差があるか否かを検証した。その結果を表 8 に示す. (A)の方が (B)よりも，0.02〜0.04 上回る結果が得られているが，それほど大きな差ではない。このことから， seed ぺージとして Wikipediaの記述内容を用いることは，(B)のように他分野から取得した人物の Web ページに対しても有効であり, Wikipediaの記述内容の汎用性が特徴付けられる結果であると考えられる.

また, クラスタ数については, seed ページを導入したことで, この seed ページを中心に, Web ページのグループが形成され，実際の正解クラス夕数よりも少ない数のクラスタが生成される傾向が観察された。これは, 表 7 において, inverse purityの値が高いことからも裏付けられる. なお, “Web People Search Task”の上位 3 チームは，凝集型クラスタリングの手法を採用しているが，これらの手法は素性を工夫することで，比較的高い精度を得ている。一方，我々の提案する半教師有りクラスタリングでは, seed ページを含むクラスタの重心の変動を抑えることで,表 5 に示した凝集型クラスタリングよりも精度が改善されている。我々が導入した素性は, 2 章で述べたように，gainによって単語を重み付けする簡単なものであるが，“Web People Search Task"の上位 3 チームが使用した素性を我々の手法に適用すれば, さらなる精度の向上が期待される。そこで，これらの 3 チームの素性を，我々の手法で用いた結果を表 9 に示す. なお，表 7 に示した我々の提案手法で得られた最良の結果と比較するため, seedページとしてWikipediaにおける各人物の記事を 5 つ導入した場合についての比較を行った。まず，CU_COMSEM について, 表 7 に示した凝集型クラスタリングの $F$ 值 $\left(F_{0.5}=0.78, F_{0.2}=0.83\right)$ と比較して, 半教師有りクラスタリングの $F$ 值も高め $\left(F_{0.5}=0.81, F_{0.2}=0.84\right)$ となっている. しかし, $F_{0.5}$ で 0.03 , $F_{0.2}$ で 0.01 程度の改善に過ぎない. これは, 文中の単語, URLのトークン, 名詞句など, すでに多くの素性を導入しているため, 半教師有りクラスタリングを適用しても, それほど効果は得られないことによると考えられる．IRST-BP については，表 7 に示した凝集型クラスタリングの $F$ 値 $\left(F_{0.5}=0.75, F_{0.2}=0.77\right)$ と比較しても, 半教師有りクラスタリングの精度は $\left(F_{0.5}=0.76\right.$, $\left.F_{0.2}=0.81\right)$ であり, 改善の程度は $F_{0.5}$ で $0.01, F_{0.2}$ で 0.04 であった. このチームが使用している固有名詞, 時制表現, 人名のある段落で最も良く出現する単語といった素性は, あまり有効

表 8 Wikipediaを seed ページとした場合,(A) Wikipedia から取得した 10 人名と, (B) Wikipediaに記事はあるが，ACL'06 参加者リスト，アメリカ合衆国・国勢調査から取得した 6 人名のクラスタリング精度の比較

表 9 “Web People Search Task”の上位 3 チームが使用した素性を, 提案する半教師有りクラスタリングに適用して得られたクラスタリング精度

な素性ではないと考えられる．PSNUSについては，NE 素性をTF-IDFで重み付けしたのみの単純な素性であるが，表 7 に示した凝集型クラスタリングの $F$ 值 $\left(F_{0.5}=0.75, \quad F_{0.2}=0.78\right)$ と比較して, 半教師有りクラスタリングで得られた $F$ 值は $F_{0.5}=0.78, \quad F_{0.2}=0.82$ であり, $F_{0.5}$ で $0.03, F_{0.2}$ で 0.04 の改善が観察される。一方，我々の手法では素性として gainを用い，表 7 に示したとおり， $F_{0.5}=0.81 ， F_{0.2}=0.82$ の $F$ 値を得ている. これは, CU_COMSEM で使用されている多数の素性で得られた $F$ 值とほぼ同じ值が得られていることから, gainによって単純に Web ページ中の単語を重み付けした素性だけでも，我々の提案する半教師有りクラスタリングを適用することで，高い精度が得られることが確認された。また，表 5 に示した凝集型クラスタリングによる $F$ 值 $\left(F_{0.5}=0.52, F_{0.2}=0.49\right)$ と比較しても， $F_{0.5}$ で $0.29, F_{0.2}$ で 0.33 の改善が観察されたことから, 我々の提案する半教師有りクラスタリングの有効性が確認される.次に, WePS コーパスの訓練集合において, 3.3.3 節 (ii)で述べたように, 検索結果のスニペッ卜を用い, seed ページ中の人名前後の単語数または文数を変化させた場合, 図 6 から, seed ペー ジ中の人名前後の単語ではなく, 同様に文を用いたときに，より良いクラスタリング精度が得られることが観察される。この場合も同様に, 人名前後の数語の情報よりも, 人名前後の数文を用いることで，その人物を特徴付ける情報が獲得でき，人物の実体が識別しやすくなった効果によるものと考えられる。また, 図 6 からは, seed ページについて, 人名前後の 3 文を用いた場合に最も良い $F$ 值 $\left(F_{0.5}=0.64, F_{0.2}=0.67\right)$ が得られることがわかった. この文数を WePSコー パスのテスト集合に適用した場合, [purity:0.70, inverse purity:0.62, $F_{0.5}=0.66, \quad F_{0.2}=0.68$ ] の結果が得られた。この結果は, Web People Search Taskの上位 3 チームの結果, および本研究における他の実験結果と比較して，かなり劣っている。これは，スニペットのような数語程度の情報だけでは, seed ページで人名前後の 3 文という情報を用いたとしても，該当する人物について述べた適切な Web ページが，その seed ページには集まらず，結果として，クラス夕リング精度が悪くなったことによるためであると考えられる。

以上から，提案手法では Wikipedia の記事を seed ページとして利用し，人名前後の 2 文を， また, 検索結果の Webぺージについては人名前後の 3 文を用いた場合に, 良好な検索結果が得られることがわかった。

さらに，処理時間に関して，最良なクラスタリング精度が得られた適応的マハラノビス距離の式 (22) における分散共分散行列の計算には, 単語数の 2 乗の計算量が必要となるが, 1 人名について 100 件の Web ページのクラスタリングを行なうのに，最も多い 5 つ seed ページを用い, seed ページと検索結果の Web ページの双方ともに文書全体を用いた場合でも， 0.8 秒余りで処理できることが図 7 から観察され，妥当な応答性を実現できていると考えられる.

## 4 むすび

本論文では，Web 検索結果における人名の曖昧性を解消するため, seed ページを含むクラス夕の重心の変動を抑える半教師有りクラスタリングの手法を提案した．実験の結果，最良な場合において, [purity:0.80, inverse purity:0.83, $\left.F_{0.5}: 0.81, F_{0.2}: 0.82\right]$ の評価値が得られた. 今回は，上位に順位付けされる検索エンジンの出力結果が異なることを想定して実験を行った。すなわち，同一人物の seedページ間にも“cannot-link”の制約が導入されている可能性がある. しかし, クラスタが生成される過程で, seed ページ以外の人物のページがクラス夕内の要素として支配的になり，最終的には比較的正確なクラスタが生成されることが観察された．同一人物の seedページ間でも，その人物を正確に表現しているぺージ，そうでないページがあることによるためであると考えられる。したがって，その人物についてより正確に記述された Webぺー ジを seed ページとして選択することが, 今後の課題の一つとして挙げられる。また, Web 検索結果における人名の曖昧性解消の精度を高めるには，その人物を特徴付ける単語の重みが大きくなるように，Webぺージの特徴ベクトルを作成して，クラスタリングを行なうことが重要である。そのために，特に， seed ページの内容に適合する人物のページが集まるように，より的確な seed ページの特徴ベクトルを作成するための手法を開発してクラスタリングを行なうことも，今後の課題として挙げられる.

## 参考文献

Artiles, J., Gonzalo, J., and Sekine, S. (2007). "The SemEval-2007 WePS Evaluation: Establishing a Benchmark for the Web People Search Task." In Proc. of the Semeval 2007, Association for Computational Linguistics (ACL), pp. 64-69.

Bar-Hillel, A., Hertz, T., and Shental, N. (2003). "Learning Distance Functions Using Equivalence Relations." In Proc. of the 20th International Conference on Machine Learning (ICML 2003), pp. 577-584.

Basu, S., Banerjee, A., and Mooney, R. (2002). "Semi-supervised Clustering by Seeding." In Proc. of the 19th International Conference on Machine Learning (ICML 2002), pp. 27-34.

Bekkerman, R., El-Yaniv, R., and McCallum, A. (2005). "Multi-way Distributional Clustering via Pairwise Interactions." In Proc. of the 22nd International Conference on Machine Learning (ICML2005), pp. 41-48.

Bollegala, D., Matsuo, Y., and Ishizuka, M. (2006). "Extracting Key Phrases to Disambiguate Personal Names on the Web." In Proc. of the 7th International Conference on Computational Linguistics and Intelligent Text Processing (CICLing 2006), pp. 223-234.

Bookstein, A. and Swanson, D. R. (1974). "Probabilistic Models for Automatic Indexing." Journal of the American Society for Information Science, 25 (5), pp. 312-318.

Bunescu, R. and Pasca, M. (2006). "Using Encyclopedic Knowledge for Named Entity Disambiguation." In Proc. of the 11th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2006), pp. 9-16.

Chen, Y. and Martin, J. (2007). "CU-COMSEM: Exploring Rich Features for Unsupervised Web Personal Name Disambiguation." In Proc. of the Semeval 2007, Association for Computational Linguistics (ACL), pp. 125-128.

Church, K. W. and Gale, W. A. (1995a). "Inverse Document Frequency (IDF): A Measure of Deviation from Poisson." In Proc. of the 3rd Workshop on Very Large Corpora, pp. 121-130.

Church, K. W. and Gale, W. A. (1995b). "Poisson Mixtures." Journal of Natural Language Engineering, 1 (2), pp. 163-190.

Diday, E. and Govaert, G. (1977). "Classification Automatique Avec Distances Adaptatives." R.A.I.R.O. Informatique Computer Science, 11 (4), pp. 329-349.

Elmacioglu, E., Tan, Y. F., Yan, S., Kan, M.-Y., and Lee, D. (2007). "PSNUS: Web People Name Disambiguation by Simple Clustering with Rich Features." In Proc. of the Semeval 2007, Association for Computational Linguistics (ACL), pp. 268-271.

Hotho, A., Nürnberger, A., and Paaß, G. (2005). "A Brief Survey of Text Mining." GLDV-Journal for Computational Linguistics and Language Technology, 20 (1), pp. 19-62.

Jones, K. S. (1973). "Index Term Weighting." Information Strage and Retrieval, 9 (11), pp. 619-633.

Klein, D., Kamvar, S. D., and Manning, C. D. (2002). "From Instance-level Constraints to Spacelevel Constraints: Making the Most of Prior Knowledge in Data Clustering." In Proc. of the 19th International Conference on Machine Learning (ICML 2002), pp. 307-314.

MacQueen, J. (1967). "Some Methods for Classification and Analysis of Multivariate Observations." In Proc. of the 5th Berkeley Symposium on Mathmatical Statistics and Probability, pp. 281-297.

Mann, G. S. and Yarowsky, D. (2003). "Unsupervised Personal Name Disambiguation." In Proc. of the 7th Conference on Natural Language Learning (CoNLL-2003), pp. 33-40.

Papineni, K. (2001). "Why Inverse Document Frequency?" In Proc. of the 2nd Meeting of the North American Chapter of the Association for Computational Linguistics (NAACL 2001), pp. 25-32.

Pedersen, T., Purandare, A., and Kulkarni, A. (2005). "Name Discrimination by Clustering Similar Contexts." In Proc. of the 6th International Conference on Computational Linguistics
and Intelligent Text Processing (CICLing 2005), pp. 226-237.

Popescu, O. and Magnini, B. (2007). "IRST-BP: Web People Search Using Name Entities." In Proc. of the Semeval 2007, Association for Computational Linguistics (ACL), pp. 195-198.

Porter, M. F. (1980). "An Algorithm for Suffix Stripping." Program, 14 (3), pp. 130-137.

Remy, M. (2002). "Wikipedia: The Free Encyclopedia." Online Information Review, 26 (6), p. 434.

Rocchio, J. (1971). "Relevance Feedback in Information Retrieval." In Salton, G. (Ed.), The Smart Retrieval System: Experiments in Automatic Document Processing, pp. 313-323. Prentice-Hall, Englewood Cliffs, NJ.

Salton, G. and McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill. Shental, N., Hertz, T., Weinshall, D., and Pavel, M. (2002). "Adjustment Learning and Relevant Component Analysis." In Proc. of the 7th European Conference on Computer Vision (ECCV 2002), pp. 776-792.

Wagstaff, K. and Cardie, C. (2000). "Clustering with Instance-level Constraints." In Proc. of the 17th International Conference on Machine Learning (ICML 2000), pp. 1103-1110.

Wagstaff, K., Rogers, S., and Schroedl, S. (2001). "Constrained K-means Clustering with Background Knowledge." In Proc. of the 18th International Conference on Machine Learning (ICML 2001), pp. 577-584.

Xing, E. P., Ng, A. Y., Jordan, M. I., and Russell, S. J. (2003). "Distance Metric Learning with Application to Clustering with Side-Information." Advances in Neural Information Processing Systems, 15, pp. 521-528.

## 略歴

杉山 - 成 : 1998 年横浜国立大学工学部電子情報工学科卒業. 2000 年同大学院工学研究科電子情報工学専攻博士前期課程修了. KDDI（株）勤務を経て, 2004 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了, 博士 (工学)。（株）日立製作所勤務を経て，2006 年東京工業大学精密工学研究所研究員, 2009 年シンガポール国立大学計算機科学科研究員, 現在に至る. 情報検索, 自然言語処理に関する研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, IEEE, ACM, AAAI 各会員.

奥村学: 1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了. 工学博士. 同年, 東京工業大学工学部情報工学科助手. 1992 年北陸先端科学技術大学院大学情報科学研究科助教授, 2000 年東京工業大学精密工学研究所助教授，2009 年同教授，現在に至る，自然言語処理，知的情報提
示技術, 語学学習支援, テキスト評価分析, テキストマイニングに関する研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会,認知科学会, 計量国語学会, AAAI, ACL 各会員.

(2009 年 2 月 6 日受付)

(2009 年 7 月 16 日再受付)

(2009 年 8 月 19 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 共起パターンの学習による事態間関係知識の獲得

大規模コーパスから事態表現間の意味的関係の知識の獲得を目的として, 実体間関係獲得手法として提案された Espressoを事態間関係に適用できるように拡張した。 この拡張は主に 2 つ点からなり, (1) 知識獲得のために事態表現を定義し, (2) 事態間関係に適合するように共起パターンのテンプレートを拡張した。 日本語 Webコー パスを用いて実験したところ, (a) 事態間関係獲得に有用な共起パターンが多数存在し，パターンの学習が有効であることがわかった。また行為一効果関係について は 5 億文 Web コーパスから少なくとも 5,000 種類の事態対を約 $66 \%$ の精度で獲得 することができた

キーワード：事態間関係，知識獲得，Espresso，共起パターン
## Acquiring Event Relation Knowledge by Learning Cooccurrence Patterns and Fertilizing Cooccurrence Samples

\author{
Shuya Abe ${ }^{\dagger}$, Kentaro Inui $^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

\begin{abstract}
Aiming at acquiring semantic relations between events from a large corpus, this paper proposes several extensions to a state-of-the-art method originally designed for entity relation extraction. First, expressions of events are defined to specify the class of the acquisition task. Second, the templates of co-occurrence patterns are extended so that they can capture semantic relations between event mentions. Experiments on a Japanese Web corpus show that (a) there are indeed specific co-occurrence patterns useful for event relation acquisition, and (b) For action-effect relation, at least five thousand relation instances are acquired from a 500M-sentence Web corpus with a precision of about $66 \%$.
\end{abstract}

Key Words: event relation, knowledge acquisition, Espresso, co-occurrence pattern

## 1 はじめに

テキスト中の含意関係や因果関係を理解することが, 質問応答, 情報抽出, 複数文章要約などの自然言語処理の応用に役立つと知られている。これを実現するためには，例えば，動詞「洗

う」と動詞句「きれいになる」が，何かを洗うという行為の結果としてその何かがきれいにな

るという因果関係である, といったような知識が必要である。本論文では, 事態と事態の間にある関係を大規模にかつ機械的に獲得するための手法について述べ，この手法を用いた実験結果を示す。

因果関係，時間関係，含意関係等の事態間関係を機械的に獲得するための研究が既に存在する (Lin and Pantel 2001; Inui, Inui, and Matsumoto 2003; Chklovski and Pantel 2005; Torisawa 2006; Pekar 2006; Zanzotto, Pennacchiotti, and Pazienza 2006, etc.) . これらの研究に共通する方法論は, 特定の事態間関係を表現する語彙統語的なパターンを人手で作成し, このパター ンと共起する事態対をテキストから抽出することで, 特定の関係を満たす事態対を獲得するという方法である。なお，このように共起関係を利用するパターンを共起パターンと言うことにする。例えば “to Verb-X and then Verb-Y” という時間的前後関係を表現する共起パターンを用いて，テキスト “to marry and then divorce”から動詞 “marry” と動詞 “divorce”が時間的前後関係にあるという知識を獲得できる (Chklovski and Pantel 2005).こうした手法では，大量の共起パターンを人手で作成することが困難であるため, 多くの事態対と共起する傾向を持つような一般的な共起パターンを用意することで, 少量の一般的な共起パターンを用いて特定の関係を満たす事態対を大量に獲得することが可能となる. しかし, このような一般的な共起パターンを用いて獲得した事態対には誤りが多いという傾向がある。この問題に対処するために, 一般的な共起パターンを利用して獲得した事態間関係に別の手法を適用して誤った事態間関係を取り除く手法があり，代表的なものとして発見的な統計情報を用いる手法 (Chklovski and Pantel 2005; Torisawa 2006; Zanzotto et al. 2006) と曖昧性の問題を解消するために学習を行う方法 (Inui et al. 2003) がある.

一方で，実体間関係を獲得する研究 (Ravichandran and Hovy 2002; Pantel and Pennacchiotti 2006, etc.) が共起パターンと獲得できる事例の性質を次のように報告している.
- 多くの事例と共起するパターン（一般的なパターン）を利用して実体間関係知識を獲得すると精度が低い傾向がある。そのため, 精度を向上させるためには誤った関係を除く別の手法が必要である.
- 逆に少数の事例のみと共起するパターン（特殊なパターン）を利用することで高い精度で実体間関係を獲得することが可能になる。しかし，大量に実体間関係知識を獲得するためには大量の共起パターンを用意する必要がある.
- 一般的な共起パターンと特殊な共起パターンを組み合わせて実体間関係を獲得することで高い精度で大量の実体間関係知識を獲得できる可能性がある。

これを受けて Pantel と Pennacchiotti (Pantel and Pennacchiotti 2006)は，実体間関係を表現する共起パターンと実体対をブートストラップ的に獲得する手法を開発した. しかし, これと同様の手法は事態間関係獲得でまだ試みられていないため, この手法を事態間関係獲得に適用した場合に実体間関係獲得のように良い成果を上げるのかという点が明かではない.

これらの実体間関係獲得の研究成果を事態間関係獲得に応用するために, Pantel と Pennacchiotti (Pantel and Pennacchiotti 2006)のブートストラップ的実体間関係獲得手法を事態間関係獲得に適用させるように拡張し（4.2４.3 節), 拡張した手法が事態間関係獲得においても有効であるかを確認するために，日本語 5 億文 Web コーパスから従来の手法と拡張した手法を用いて行為一結果関係にある事態間関係を獲得し，この結果を評価する（5.1節）.

## 2 事態間関係知識獲得の関連研究

1 節でいくつか関連研究を取り上げたが，そこで紹介できなかった関連研究を本節で紹介する。初期の共起パターンを用いた事態間関係獲得の手法は Chklovski と Pantel (Chklovski and Pantel 2005)の VerbOcean である. この手法は人手で作成した to Verb-X and then Verb- $Y$ のような少数の共起パターンを利用して, strength（例えば taint-poison）や happens-before（例えば marry-divorce）のような 6 種類の事態間関係を獲得し，約 29,000 の述語対を $65.6 \%$ の精度で獲得した。

多くの事例と共起するパターンを用いて獲得した事態間関係から誤りを除くために，Inui ら (Inui et al. 2003) は因果関係を表わす接続表現「ため」と教師付き分類学習を用いて，80\%の再現率と $95 \%$ 以上の精度で因果関係を 4 種類 cause, precondition, effect, means に分類した.

他に, Torisawa (Torisawa 2006) は接続パターン「Verb-Xて Verb-Y」を用いて獲得した述語対と，それぞれの述語と格の間の共起情報を組み合せて時間的制約にある事態対を獲得した。 たたし，この手法は時間的制約にある事態対以外の関係を獲得するために応用できるのかは明かではない.

また，共起パターンを用いた (Chklovski and Pantel 2005) 手法を元に Zanzotto ら (Zanzotto et al. 2006) は名詞化した動詞を利用して含意関係にある事態対を獲得した. 例えば，含意関係 $X$ wins $\rightarrow X$ plays を player wins のようなパターンから獲得した1. しかし, 動詞を名詞化するには様々な変形パターンを考えることができるが，この実験では限定的な変形パターンのみを対象としている。

## 3 Espresso

本節では Pantel と Pennacchiotti が実体間関係を獲得するために開発した Espresso アルゴリズム (Pantel and Pennacchiotti 2006) を紹介する.

共起パターンを用いた実体間関係獲得手法のひとつである Espresso は，特定の関係を満たす

実体対とよく共起するパターンが存在するという共起パターンを用いた手法に共通する仮定を置いている. Espresso は, この仮説に加えて，共起パターンまたは実体対が特定の関係を表わす程度を信頼度という指標で表わし，信頼度の高い共起パターンが支持する実体対の信頼度は高く，信頼度の高い事態対が支持する共起パターンの信頼度も高いという仮定を置いた22.

このとき, Espresso は人手で作成した信頼度の高い実体対を入力として, これと共起する信頼度の高い共起パターンを獲得する。次に信頼度の高い共起パターンを用いて，信頼度の高い実体対を獲得する.この操作をブートストラップ的に繰り返すことで, 信頼度の高い実体対を大量に獲得する。

## 3.1 共起パターンの信頼度

獲得したい関係にある実体対 $\langle x, y\rangle$ が与えられたとき, Espresso は $x$ と $y$ の両方が含まれた文をコーパスから探し出す. 例えば, is-a 関係の実体対〈Italy, country〉が与えられたとき, Espresso はテキスト countries such as Italy が含まれるような文を見つけ出し, 共起パターン Y such as $X$ を獲得する. Espresso は共起パターン $p$ の良さを測るために信頼度 $r_{\pi}(p)$ という尺度を用いる. 共起パターンの信頼度 $r_{\pi}(p)$ は, 共起パターン $p$ を支持する実体対 $i$ の信頼度 $r_{\iota}(i)$ から求められる．共起パターン $p$ を支持する実体対 $i$ の集合を $I$ とする.

$
r_{\pi}(p)=\frac{1}{|I|} \sum_{i \in I} \frac{p m i(i, p)}{\max _{p m i}} \times r_{\iota}(i)
$

$p m i(i, p)$ は式 $(2)$ で定義される $i$ と $p$ の pointwise mutual information (PMI) であり, $i$ と $p$ の関連度を表現する。 $\max _{p m i}$ は，共起パターンと実体対が共起した場合全ての PMI の中で最大となる PMI である.

$
p m i(x, y)=\log \frac{P(x, y)}{P(x) P(y)}
$

PMI は頻度が少ないときに不当に高い関連性を示すという問題が知られている。この問題を軽减するために, Espresso では式 (2)の代りに (Pantel and Ravichandran 2004) で定義された式 (3)を用いる.

$
p m i(x, y)=\log \frac{P(x, y)}{P(x) P(y)} \times \frac{C_{x y}}{C_{x y}+1} \times \frac{\min \left(\sum_{i=1}^{n} C_{x_{i}}, \sum_{j=1}^{m} C_{y_{j}}\right)}{\min \left(\sum_{i=1}^{n} C_{x_{i}}, \sum_{j=1}^{m} C_{y_{j}}\right)+1}
$

$C_{x y}$ は $x_{i}$ と $y_{j}$ が同時に出現した回数, $C_{x_{i}}$ は個々の $x_{i}$ の出現した回数， $C_{y_{j}}$ は個々の $y_{j}$ の出現した回数, $n$ は $x$ の異り数, $m$ は $y$ の異り数である.

## 3.2 実体対の信頼度

共起パターンの信頼度と同じように, 実体対 $i$ の信頼度 $r_{\iota}(i)$ を次のように定義する.

$
r_{\iota}(i)=\frac{1}{|P|} \sum_{p \in P} \frac{p m i(i, p)}{\max _{p m i}} \times r_{\pi}(p)
$

共起パターン $p$ の信頼度 $r_{\pi}(p)$ は, 前述の式 (1) で定義され, $\max _{p m i}$ は先の定義と同じであり，実体対 $i$ を支持する共起パターン $p$ の集合を $P$ とする．共起パターンの信頼度 $r_{\iota}(i)$ と実体対の信頼度 $r_{\pi}(p)$ は再帰的に定義され，人手で与えたシード $i$ の信頼度を $r_{\iota}(i)=1$ とする. なお, 我々の拡張では, 人手で与えた負例関係にある事態対の信頼度を $r_{\iota}(i)=-1$ とした.

## 4 事態間関係獲得

実体対関係を獲得するための手法である Espresso を，我々は事態間関係を獲得できるように拡張した。この拡張は Espresso が獲得する対象である「実体対」を「事態対」に置き換えたものではあるが，実体と事態は特徴が異なるため，様々な変更を施した，本稿では事態間関係獲得に拡張した Espresso を拡張 Espresso と言うことにする。本節では，拡張 Espresso について説明する。

事態の表現について 4.1４.2 で説明し, 共起パターンの表現について 4.3 4.6で説明し, その他の変更を $4.8 \sim 4.7$ で説明する.

## 4.1 事態の表現

事態は述語項構造を用いて表現する。述語項構造を用いて表現することで，動詞句の名詞句化や連体節化, 照応/省略などによって表層的な統語構造に生じる差異を吸収し, 標準的な表現に統一することができる．例えば，「夏目漱石によって発表された『坊ちゃん』」や「夏目漱石による『坊ちゃん』の発表」は統語構造では異なるが, 述語項構造では「夏目漱石ガ『坊ちゃん』ヲ発表する」に統一される.

また，テキスト中に出現した表記のままではなく，形態素の原形で事態を表現する，ただし事態が動詞として出現し, その後に, 受け身 (〜される), 使役（～させる）, 可能（られる）,希望（〜したい）を表わす表現が続く場合はこれらも事態の一部であるとみなす. 例えば，テキスト中で「走る」という表記で出現した場合も「走った」と出現した場合も事態「走る」であるとみなし，表現「走りたかった」は事態「走りたい」であるとみなす.

他に，テキスト中にサ変名詞とそれに後続する動詞「する」が表われ，これを事態とする場合はサ変名詞の原形と動詞「する」の組み合わせを事態の表現とする．例えば，テキスト中の 「研究したかった」は事態「研究したい」とみなす.

これとは別に，「ある」「なる」「する」のようなそれ自身が意味を持たない語句や非常に多義な語句からなる事態対の間には適切な事態間関係が成立し難い。そこで，このような語句は，単独では事態とみなさず，直前の格とその格要素を含めてひとつの事態とみなす. 例えば，テキスト中の「焦げ目が付く」の「付く」は単独では事態とみなさないが，「焦げ目が付く」はひとつ事態であるとみなす。

さらに, 直前の格がヲ格であり動詞が「する」の場合は, 格を省略して格要素と「する」を組み合わせてひとつの事態とみなす。例えばテキスト中の「研究をする」は尹格を省略して「研究する」という事態とみなす.

実験では次の語句を単独では事態とみなさないようにした。

「ある」「いく」「いる」「おこなう」「かる」「する」「ちる」「できる」「とめる」「なる」「みる」「やる」「付く」「伝える」「似る」「作る」「使う」「保つ」「入る」「入れる」「出す」「出る」「分かる」「加える」「取り戻す」「取る」「向ける」「含む」「呼ぶ」「因る」「増える」「変わる」「変化（する）」「寄る」「対処（する）」「居る」「建つ」「引く」「弱る」「影響（する)」「得る」「思う」「拡大（する）」「救う」「断つ」「書く」「止める」「残る」「決定（する）」「減る」「生じる」「知る」「立つ」「終る」「終わる」「終了」「経つ」「経る」「続ける」「縮小 (する)」「考え」「考える」「聞く」「行う」「見える」「見せる」「見る」「見失う」「言う」「言える」「話す」「語る」「読む」「踏み切る」「込める」「通る」「進む」「進める」「進展（する）」「開始（する）」「関係（する）」

このリストは，「付く」のようにほとんど意味を持たないために単独では事態と見なせない語句と，「開始する」や「影響する」のように多義であるために事態対を構成したときに事態間に適切な関係を成立さえることが難しい語句からなる.

## 4.2 格の選択

事態間関係知識をテキストから獲得する際には事態をどの程度一般化するかという問題がある。実体間関係獲得にも同様の問題はあるが, 固有名または 1 つの単語の間で関係が成り立つため, 獲得した実体表現を適切に一般化するという問題は事態間関係知識獲得と比較して重要ではない. しかし, 事態間関係獲得においてこの問題は重要であり, 実体間関係知識獲得との大きな違いである。例を用いてこの問題を説明する。(A)は「肉を焼く」と「焦げ目が付く」が行為一効果関係であることを示唆している.

(A) 焦げ目が付くくらい肉を焼く

このテキストから事態間関係知識を獲得する方法を考えるが，ここでは関係を決める方法には触れず，適切な事態対を獲得する方法だけを考慮する，最初に，入力文に形態素解析と係り受け解析を適用して動詞とその格を見付ける。ここから，このテキストに含まれる事態は「付く」 と「焼く」であることと，「付く」の格は「焦げ目が」で，「焼く」の格は「肉を」であることが

わかる.この結果，事態対「焦げ目が付く::肉を焼く」を機械的に獲得することができる。この事態対は，人間であれば「肉を焼いたら焦げ目が付く」という行為一効果関係であると解釈することができるため，事態間関係になりうる正しい事態対である。また，「焼く」の格「肉を」 を事態に含めない場合に獲得できる事態対は「焦げ目が付く::焼く」であり，この事態対も行為一効果関係と解釈することができるため正しい事態対である。しかし，動詞「付く」の格「焦げ目が」を事態に含めない場合に獲得できる事態対「付く::肉を焼く」と「付く::焼く」は行為一効果関係であると解釈することはできないため，事態間関係になりえない誤った事態対である。まとめると，事態対に含める格を変化させることで様々な事態対を獲得できるが，同時に誤った事態対を獲得する可能性が生じるため, 正しい事態対のみを選択することが必要である.

この問題に対して我々は，事態対に格を含めるか含めないかという全ての可能性を考慮し, 4.1 で述べた語句のリストと事態間関係獲得モデルの信頼度を用いて正しい事態対を選ぶ。例えば，テキスト $(\mathrm{A})$ から獲得できる事態対は $(\mathrm{B})$ に示すように 4 種類ある.

(B1) 焦げ目が付く::肉を焼く

(B2) 焦げ目が付く::焼く

(B3) 付く::肉を焼く

(B4) 付く::焼く

4.1の語句のリストに事態「付く」が含まれているため，事態「付く」を含む事態対「付く::肉を焼く」と「付く::焼く」を無効な事態対とみなすことができ, 事態対「焦げ目が付く::肉を焼く」と「焦げ目が付く::焼く」を事態対候補とすることができる。仮に「付く」が 4.1 の語句のリストに含まれていかったとしても，「焦げ目が付く::肉を焼く」と「焦げ目が付く::焼く」には高い信頼度が与えられ，「付く::肉を焼く」と「付く::焼く」には低い信頼度が与えられると期待できるため, 最終的に信頼度の高い事態対のみを選ぶことで, 適切な事態対を選ぶことができる. 実験（5.1 節）では計算コストの観点から事態の格の数を最大 1 個に制限した. 例えば，事態「肉に焦げ目が付く」の可能性として「肉に付く」「焦げ目が付く」「付く」だけを考える（「肉に焦げ目が付く」は考えない).

## 4.3 共起パターンの表現

Espresso は実体間関係を獲得するために「 $x$ は歴史のある $y\rfloor$ のような共起パターンを用いる.この共起パターンは is-a 関係を表現しており，テキスト「イタリアは歴史のある国」から 「イタリア」は「国」の is-a 関係であるという実体間関係知識を獲得する。また, Espresso で用いる共起パターンは実体を表現する語句の間にある単語列である.

一方で, 我々は事態間関係獲得における共起パターンを, 事態を表現する語句の間の係り受け関係から成る単語列とした。この理由は, 事態においては実体と比較して格を考慮することが重要であるという，実体と事態の性質の違いに基いている。我々は事態の格を考慮するために
係り受け関係を用いる。このとき，係り受け関係で構成された事態の間に存在する共起パター ンを認識するためにも係り受けを用いることは自然であると考えられる。そのため，我々は係り受け関係に基づく共起パターンを用いることにする。

事態間の関係を十分に表現しつつも事態対との共起が疎にならないような共起パターンを設計することが重要である。なぜならば，事態間の関係を十分に表現するために共起パターンに多くの情報を入れ過ぎると事態対との共起が疎となり，逆に共起パターンから過度に情報を除くと共起パターンは事態間の関係を適切に表現しなくなるためである。ここから，共起パター ンが含む最適な情報量を見付けることが重要な課題であることがわかるが，これは難しい問題である。この問題に対して, 本研究において予備実験から共起パターンを獲得するための規則を決定した．4.4でこの規則について述べる。

## 4.4 事態対の周辺語句からなる共起パターン

本研究で用いる共起パターンは, 事態対の間に存在する語句, 事態の後方にある特定の語句,事態の品詞, 事態が意志性を持つかという情報からなる。具体的には次の通りである.

事態表現を含む文節（事態文節）対が係り受け関係の木において先祖と子孫の関係にある場合のみ，次の規則で表わされる文字列から共起パターンを構成する.

規則 a前方の事態文節中で事態を表わす内容語より後方にある機能語列の文字列

規則b 係り受け関係の木において事態文節対の間に存在する文節中の単語列からなる文字列規則 $\mathrm{C}$ 後方の事態文節または係り先の文節中に次に示す表現が含まれている場合,

規則 $\mathrm{c} 1$ 文節中に否定表現「〜ない」「〜ません」「〜せず」「〜ぬ」が含まれる場合は，文字列「ない」

規則 $\mathrm{c} 2$ 文節中に可能表現「〜できる」「〜出来る」「〜することができる」「〜することが出来る」「〜することが可能た」が含まれる場合は，文字列「できる」

規則 $\mathrm{c} 3$ 文節中に否定表現と可能表現の両方が含まれる場合は，文字列「できない」

規則 d 事態の品詞を表わす文字列

規則 e事態の意志性の有無を表わす文字列

共起パターンの例を示す.「／」は文節の区切りを表わす.

(C)は，事態「リラックスする」を含む事態文節が事態「入る」を含む事態文節に係っており，事態文節が係り受け関係の木において先祖と子孫の関係にあるという制約を満すため, この事例から事態対と共起パターンを獲得することができる。このとき，前方の事態「リラックスする」を含む事態文節中で「リラックスする」よりも後方にある機能語「ので」を共起パター ンに加える（規則 a）。さらに，事態「リラックスする」と事態「入る」の品詞と意志性の有無も共起パターンに加える（規則 $\mathrm{d}$, 規則 e）. 結果, 共起パターンは「〈動詞; 意志性なし〉ので 〈動詞; 意志性あり〉」となる.

(C) リラックスするので／風呂に／入る

(D) は, 事態「リラックスする」を含む事態文節が文節「ために」に係り, 文節「ために」が事態「入る」を含む事態文節に係っており，事態文節が係り受け関係の制約を満すため，この事例から事態対と共起パターンを獲得することができる。このとき，係り受け木において事態文節間に存在する文節「ために」の単語列を共起パターンに加える（規則 b）.これに規則 $\mathrm{d}$, 規則 e を適用し，共起パターンは「〈動詞; 意志性なし〉ために〈動詞; 意志性あり〉」となる.

(D) リラックスする／ために／風呂に／入る

（E)は, 事態「退職する」を含む事態文節が文節「楽みに」に係り，文節「楽みに」が事態「始める」を含む事態文節に係っており，事態文節が係り受け関係の制約を満すため，この事例から事態対と共起パターンを獲得することができる。このとき，規則 a と規則 bより単語列「後の楽みに」を共起パターンに加え, これに規則 $\mathrm{d}$, 規則 e を適用し，共起パターンは「〈名詞; 意志性なし〉後の楽みに〈動詞; 意志性あり〉」となる.

(E) 退職後の／楽みに／PC を／始める

## 4.5 共起パターンの表記の統一

前述した方法で獲得した共起パターンの表現を統一するための規則を説明する。なお, Espresso においても同様の操作を行っている.

共起パターン中の機能表現の表記を揃えるために日本語機能語表現辞書 (Matsuyoshi, Sato, and Utsuro 2006)を利用し, 共起パターン中の日本語機能語表現辞書の機能表現レベル 9 の機能表現を対応する機能表現レベル 3 の機能表現に置き換える。これ以外に，「〜する」と「〜します」を同じ表現とみなすために機能表現「ます」を共起パターンから削除する. 同様に「〜 する」と「〜すると思う」を同じ表現とみなすために「と思う」を共起パターンから削除する。 また，句読点や記号，接尾辞の「達」「等」も共起パターンから削除する.

テキスト「待つこと 30 分で彼が来た」から「待つ」と「来る」の関係を獲得する場合の共起パターンの文字列部分は「こと 30 分で」である. しかし, この共起パターン中の「30 分」は 「40 分」でも「1時間」でもよく,「30分」の部分は時間を意味していればどのような文字列でも共起パターンが表現する関係は同じである。これらの共起パターンを同じものとみなすために共起パターン中の固有表現相当の文字列を，その固有表現の分類で置き換える．例えば，「30 分」は時間を表わす固有表現ため，共起パターン「こと 30 分で」を「こと固有表現一時間で」 と置き換える。

実験では CaboCha (Kudo and Matsumoto 2002)を用いて固有表現解析3を実施し，この結果を用いて共起パターンの表記を統一した。また, Cabochaで固有表現であると見なされなかっ
^{3}$ CaboCha による固有表現解析の結果は IREX の定義に基づいた次の 9 分類である. ARTIFACT, DATE, LOCATION, MONEY, OPTIONAL, ORGANIZATION, PERCENT, PERSON, TIME.
}

た語についても，固有表現である可能性が高い品詞を持つ語も固有表現であると見なした. 実験では, $\mathrm{MeCab}^{4}$ 用いて形態素解析を実施し，この結果を用いて共起パターンの表記を統一し $た^{5}$.

## 4.6 事態の意志性

Inui ら (Inui et al. 2003)は意味推論のための事態間の因果関係について議論を行い，事態に関係する意志性を基本とする 4 種類の因果関係—Effect, Means, Precondition, Cause—を定義した. 例えば，Effect 関係は意志性のある行為と意志性のない結果や状態や出来事や経験の間に成り立つ関係であり，Cause 関係は意志性のない状態や出来事や経験の間に成り立つ関係である.

これを受けて，12,000 以上の動詞に人手で意志性の有無を付与した辞書を構築し，これを実験に用いた。この辞書には, 8,968 の意志性のある動詞, 3,597の意志性のない動詞, 547 の意志性の有無が曖昧な動詞が含まれている。「食べる」や「研究する」に「意志性あり」とし，「温まる」や「壊れる」を「意志性なし」とした。実験では意志性が曖昧な動詞については共起事例から除いた。また，この動詞の意志性辞書を利用するとき，辞書に記述されていない動詞で 「される」が末尾にある事態を「意志性なし」とし, 形容詞も「意志性なし」とした.

## 4.7 信頼度の式への変更点

予備実験の結果から, 式 (1), 式 (4)をそれぞれ式 (5), 式 (6) に変更し, ブートストラップの各段階で信頼度を $-1 \sim 1$ の間に正規化するようにした。

$
\begin{aligned}
& r_{\pi}^{\prime}(p)=\sum_{i \in I} p m i(i, p) \times r_{\iota}^{\prime}(i) \\
& r_{\iota}^{\prime}(i)=\sum_{p \in P} p m i(i, p) \times r_{\pi}^{\prime}(p)
\end{aligned}
$

この変更は次の 2 つの理由から成っている.

式 (1) から $|I|$ で割る部分を, 式 (4) から $|P|$ で割る部分を削除した理由は, 信頼度の高い共起パターンから支持された事態対の信頼度は高く，信頼度の高い事態対から支持された共起パターンの信頼度は高いという, Espresso の仮定を実現するためである．変更前の式である式 (1) は $|I|$ で割ることで，共起パターンを支持する事態対の信頼度と PMI をかけた値（PMI 信頼度と呼ぶ）の平均を共起パターンの信頼度としている（同様に式 (4)は $|P|$ で割ることで, 事態対を支持する共起パターンの PMI 信頼度の平均を事態対の信頼度としている)．そのため, PMI
^{4} \mathrm{http}: / /$ mecab.sourceforge.net/

5 IPA 品詞体系において次の品詞を固有表現とみなした. 名詞一接尾一人名, 名詞一接尾一地域, 名詞一接尾一助数詞, 名詞一数, 名詞一固有名詞一一般, 名詞一固有名詞一人名, 名詞一固有名詞一組織, 名詞一固有名詞一地域. なお, CaboChaによる固有表現解析の結果とは独立して扱った.
}
信頼度の高い事態対（または共起パターン）と PMI 信頼度の低い事態対（または共起パターン） から支持を受けた共起パターン（または事態対）の信頼度は低くなりがちである。この傾向は，数多くの事態対（または共起パターン）から支持される共起パターン（または事態対）においては顕著である。なぜならば，こういった共起パターン（または事態対）は，PMI 信頼度の高い少数の事態対（または共起パターン）と PMI 信頼度の低い多数の事態対（または共起パター ン）から支持される傾向にあるためである。このような傾向を考慮し，PMI 信頼度の平均ではなく, PMI 信頼度を足し合わせた値を信頼度とする。

式 (1) と式 (4) から $\max _{p m i}$ で割る部分を削除した理由は， $\max _{p m i}$ で割ることは正規化を目的としていると考えられるが，この正規化では信頼度が $-1 \sim 1$ の範囲6におさまらないためである．我々の変更では， $\max _{p m i}$ で割らない代りにブートストラップの各段階において，信頼度の絶対値が最も大きな信頼度の絶対値で各信頼度を割ることで，全ての信頼度を $-1 \sim 1$ の間に正規化する.

## 4.8 事態含意名詞を用いた共起獲得

ここまでは Espresso を事態間関係獲得に適用させるために施した変更を説明したが, ここでは事態含意名詞という事態表現を考慮した場合の事態間関係獲得に与える影響を述べる。

述語または述語を含む句は典型的に事態を表現するため, 過去の事態間関係獲得手法は述語と述語の共起を利用して事態間の関係を獲得した。しかし，述語だけが事態を表現するわけではなく，名詞が事態を含意する場合もある，本論文では事態を含意する名詞を事態含意名詞と呼ぶ．例えば，名詞「研究」は事態「研究する」を含意する事態含意名詞である。このように動詞「する」を付与することで動詞のように働く名詞はサ変名詞を呼ばれる．例えば，(F1)のように動詞「する」を伴って動詞のように機能する場合がある。一方，(F2)のように格助詞「を」 を伴って名詞のように機能する場合がある。また，(F3)のようにサ変名詞は様々な接尾辞と共に名詞を構成する。

(F1) 健が言語を研究する

(F2) 健が言語の研究を止めた

(F3) - -者 : 研究者
- - 室 : 研究室
- - 後: 研究後

このようなサ変名詞を用いることで，事態間関係と共起パターンの候補を大幅に増やすことができる（どの程度増えたかという情報は節 5.2 を参照）。また，サ変名詞「研究」と動詞「実験する」は (G1)のような文脈でしばしば共起するため，(G2)の共起パターンは「実験する」が

「研究する」過程の一部で行われる行為であるという知識を獲得するための有力な証拠となる可能性がある.

(G1) 研究室で実験する

(G2) (Act-X) 室で (Act-Y)

他に,「(Act-X) 中に (Act-Y)」という共起パターンも行為間の部分全体関係を表わし，「会議中に意見を述べる」や「会議中に話を聞く」から「会議する」の部分関係が「意見を述べる」や 「話を聞く」ことであるという知識を獲得することができる。 さらに，「(Act-X) 後に (Act-Y)」 という共起パターンは行為間の前後関係を表わし，「会談後に会見を開いた」から「会談する」 の後には「会見を開く」という知識を獲得することができる.

このように事態含意名詞を利用することで事態間関係獲得手法を改善できる可能性もあるが,次のような欠点もある。それは, 名詞として用いられるときのサ変名詞は, 事態を表わしているのか実体を表わしているのか潜在的に曖昧であるという問題に依る．例えば，サ変名詞「電話」は「電話で」というコンテキストでは「電話をする」と事態を含意しているのか物体としての電話を表しているのか曖昧である 7 . そのため, テキストからサ変名詞を伴う共起事例を獲得するさいに，この曖昧性を解消して事態を含意するサ変名詞のみを共起事例として利用するべきであるが, この曖昧性解消は困難な問題であり, 我々の事態間関係獲得という問題の範囲を超えている，そのため，実験では曖昧性を解消せずに全てのサ変名詞は事態を含意していると見なすことで，事態含意名詞の利用による影響を確認する 8 . このように事態含意名詞の利用は利点と欠点があるため, 事態含意名詞を用いることが事態間関係知識獲得にとって効果的であるとは言うことができない. これを確認するために, 実験によって事態含意名詞の効果を測る.

実験では IPA 品詞体系で品詞「名詞一接尾」を接尾辞とみなし, 係助詞, ガ格, ヨ格, 二格を伴うサ変名詞は事態性が曖昧になりがちであるため, これらを事態含意名詞とはみなさないようにする。

## 5 実験

## 5.1 実験条件

人手で作成した行為一効果関係を表す共起パターンを用いて事態間関係を獲得した場合と拡張 Espresso を用いた場合を比較するために，それぞれの手法を用いて実験を行った。

実験では，河原ら (Kawahara and Kurohashi 2006) が Web から収集した約 5 億文の日本語

コーパスを用いた. これに対して MeCabで形態素解析, CaboCha (Kudo and Matsumoto 2002) で係り受け解析を行い，4節で述べた方法で事態対と共起パターンを抽出した. このとき，事態対と共起パターンの共起頻度が 20 回未満の事例, ガ格やヲ格の格要素が事態性名詞となる事例を除いた。

我々は事態間の意味を推論するために事態間関係知識を獲得しているので, Inui ら (Inui et al. 2003) が意味推論のために定義した事態間の因果関係を用いる。本実験では 4 つの因果関係のうち Effect の関係を獲得する実験を行う。ここでは Effect 関係を行為一効果関係と呼び, 「行為の結果事態がおうおうにして起こる。または行為をすることは事態を保つこと.」とその関係を定義した。

## 5.2 結果

行為一効果関係にある事態対を人手で少量作成し, これを正例シードとして拡張 Espresso を用いて事態対を獲得する ${ }^{9}$.ここで獲得した事態対を人手で見直し，行為一効果関係にある事態対を正例シードに, 行為一効果関係にないシードを負例シードに追加し, 再び拡張 Espresso を用いて事態対を獲得する。ここで獲得した事態対を人手で見直しシードに追加して拡張 Espresso を利用する, という操作を何度か試行し, 正例 971 事態対と負例 1,069 事態対のシードを作成した.

次に，これをシードとして拡張 Espresso を用いて事態対を獲得した（このとき事態含意名詞も利用する).このとき共起パターンの獲得と事態対の獲得を 20 回繰り返した結果, 共起パター ン 34,993 個, 事態対 173,806 個を得た. ここで獲得した共起パターンと共起した事態対の例を表 1 に示す 10.

拡張 Espresso と比較するために，行為一効果関係を表す接続表現「（～し）たため」「（～し) たから」「(〜し)て」を用いて事態対を獲得した。

## 5.3 評価

人手で作成した少数の共起パターンを用いて獲得した事態間関係の精度と拡張 Espresso で獲得した事態間関係の精度を比較する。

人手で作成した少数の共起パターンを用いて獲得した事態対を PMI の値の高い順に並べ，上位 $1 \sim 500$ 件，501～1,500 件，1,501～3,500 件，3,500～7,500 件からそれぞれ 100 件ずつランダムに事態対をサンプリングした。同様に，拡張 Espresso で獲得した事態対からシードに含まれている事態対を除き，これを信頼度の値の高い順に並べ，4つの区間からそれぞれ 100 件ずつ

表 1 共起パターンと事態対の例

 &  \\

ランダムにサンプリングした.

それぞれサンプリングした事態対が正しい関係にあるかを評価者 2 名で判断した. このとき次の 2 つの条件を両方とも満たす事態対を正しい関係とした。

（a）事態対が行為一効果関係である．ただしこの関係は必然的である必要はなく，しばしば関係が成立する場合も正解とする。

(b) 事態対の間で最低でもひとつの格要素が共有されていれば正解とする.

例えば「飲む $\rightarrow$ 二日酔いになる」は行為一効果関係である。行為「飲む」の結果として必然的に状態「二日酔いになる」とはならないが，しげしば状態「二日酔いになる」という結果になるため条件 (a)を満している。さらに，この場合は飲む人と二日酔いになる人が同じ人物であり，「 $X$ が飲む $\rightarrow X$ が二日酔いになる」（Xには，「部長」や「太郎」など同じ語が入る）と解釈できるため条件 $(\mathrm{b})$ を満している。よって，条件 (a) と (b)を満しているため「飲む $\rightarrow$ 二日酔いになる」は行為一効果関係にある。

条件 $(\mathrm{b})$ について補足する， $X$ が $V P_{1} \rightarrow X$ が $V P_{2}$ （前件と後件の間でガ格の要素が等しい）場合と $X$ を $V P_{1} \rightarrow X$ が $V P_{2}$ （前件のヲ格の要素と後件のガ格の要素が等しい）場合の両方とも正解とする。どの格の要素が共有しているのかを自動的に決定する手法の開発は将来の課題である.

評価者 2 人が共に正しいと判断した事態対のみを正解とした.

また， 2 人の評価結果の $\kappa$ 統計値は，人手で作成した共起パターンを用いた場合の結果では 0.55，拡張 Espresso を用いた結果では 0.53 であった。この値はどちらも「moderate」であると解釈できる。そのため, 2 人の評価結果は適度に一致しており, この精度は信頼できる。

図 1 共起パターンを用いた手法と拡張 Espresso の比較

## 5.4 拡張 Espresso の精度

図 1 は, 人手で作成した少数の共起パターンを用いた場合と拡張 Espresso を比較した結果であり，Espresso を拡張した手法の方が高い精度で事態間関係を獲得できている。ここから実体間関係知識の獲得で用いられた手法を事態間関係獲得に応用できること, 4 節で述べた拡張方法が適切であったことがわかる.

信頼度の高い 1 500 件の領域では高い精度で事態間関係を獲得しており，信頼度と精度の間に相関関係があり，信頼度という指標が事態間関係獲得に寄与しているように解釈することができる。一方で, これより信頼度の低い領域では信頼度と精度の間に相関関係がないように見える. 図 2 は事態対を信頼度の高い順に並べたときの信頼度の分布を表しており，この図から例えば 10 番目に信頼度が高い事態対の信頼度と 110 番目の事態対の信頼度の値の差は大きな違いであるが，1,000 番目と 2,000 番目の事態対の信頼度の値の差は小さいことがわかる. よって，信頼度の低い領域では信頼度と精度の間には相関関係があり，信頼度という指標が事態間関係獲得に寄与していることがわかる.

## 5.5 シードの数の影響

拡張 Espresso において, シードの数が事態間関係獲得の精度に与える影響を確認するために，行為一効果関係のシードを正例 500 事態対と負例 500 事態対にして実験を行った。精度を図 3

図 2 獲得した事態対を信頼度順に並べたときの信頼度

図 3 シードを半分だけ利用した場合の精度

に示す ${ }^{11}$.この結果は全てのシードを用いた場合と比較して低い精度であり，信頼度が高い領域でも低い領域でも精度が低下している。ここから拡張 Espresso は小さなシード集合で動くように設計されているが，その結果はシードの数に依存していることがわかる。 さらにシードを追加することでが精度向上の可能性があることがわかる.

## 5.6 事態性名詞を用いたときの効果

事態含意名詞が精度に与える効果を確認するために，事態含意名詞を用いた場合の精度と， そこから事態含意名詞の影響を除いた場合の精度を比較した. 図 4 は, 5.4 から事態含意名詞の影響を除いた結果である。この結果は，事態含意名詞の影響を除くために事態が事態含意名詞として出現したときの共起パターンの信頼度を 0 とみなし, 事態対の信頼度を再計算し, 再び信頼度の順番に並べ替えた結果である。事態含意名詞を用いた場合も事態含意名詞の影響を除いた場合もほぼ同じ精度であり, 事態含意名詞の利用はほとんど精度に影響していないことがわかる。

また，本実験で獲得した全ての事態対は，述語対と共起可能なパターンから支持されていた. つまり, 事態含意名詞と共起可能なパターンから支持されていた事態対は, 述語対と共起可能

図 4 事態含意名詞を用いない場合の精度

なパターンからも支持されていた。そのため，事態含意名詞を用いることで初めて獲得できるような事態対は出現しなかった ${ }^{12}$.

## 5.7 格の選択

図 5 は，(a) 格を含めて正しい事態間関係を正解した場合の精度と，（b) 誤った事態間関係であるが適切な格を追加することで正しい事態間関係になる事例も正解とした場合の精度を比較している，例えば，行為一効果の関係において $X$ が食べると $X$ が死ぬは誤りであるが，前件に 「毒茸を」があれば正解であるため, この事例は (a)の基準では不正解であるが，(b) の基準では正解とみなす。なお, ここまでの評価全て (a)の基準で行っている.

我々は Espresso を拡張する際に単純な手法で格の選択という問題に対処したが，この結果から,このような単純な手法では適切に格を選択することが難しいことがわかった. 他にこの結果から適切に格を選択することで最大 $26 \%$ 精度向上を期待することができるため, 事態間関係獲得において格の選択という問題が重要であることがわかる。

図 5 格を考慮しない場合の精度
$ 例えば, 事態間関係「検索する::見つかる」は, 事態含意名詞と共起するパターン「〈名詞; 意志性あり〉をして〈動詞; 意志性なし〉ない」や「〈名詞; 意志性あり〉をすれば〈動詞; 意志性なし〉」と共起したが, 動詞対と共起するパターン「〈動詞; 意志性あり〉ものの〈動詞; 意志性なし〉ない」とも共起していた.
}

## 6 結論と今後の課題

実体間関係を獲得するためにブートストラップ的に共起パターンを獲得する手法を拡張して事態間関係に適用した。事態間関係獲得にこの手法が適用できるという報告は過去になく，本実験の結果, この手法が事態間関係獲得にも有効であることがわかった. また, 事態の格を選択するということが重要な問題であることを明かにした。格の選択という問題は, 実体間関係では重要ではないが事態間関係では重要な問題である.

次に今後の課題を述べる.

今回の実験では, 前件と後件の間で任意の格の格要素が共有され, かつ任意の関係にある事態対を正解とした。しかし知識という視点からは前件と後件の間でどの格の格要素が共有されているのか明かになった方が利便性がある。例えば，行為一効果関係「〈A氏〉が〈花瓶〉を投げる」と「〈花瓶〉が壊れる」の間では, 前件のヲ格と後件のガ格の格要素が共有されており,正しい関係であれば前件のガ格と後件のガ格は共有されていない. このようにどの格の格要素が共有されているかで事態間関係の正解／不正解が変化する場合があるため, 今回の手法で獲得した知識では問題になる場合がある。 そのため, 我々は将来的には格要素がどの格で共有されているかを判断できるようにしたいと考えている。だが今回の手法では格要素がどの格で共有されているかを判断することは難しい，なぜならば，「水を冷して飲む」とは言うが「水を冷して水を飲む」のようにはあまり言わないように，同一文内で共起する述語対の格はしばしば省略される傾向にあるため, 同一文内で共起する述語対から関係を獲得している我々の手法では，どの格が省略されているのかをあてない限り，どの格が共有されているかを認識することは難しい，そのため, どの格が共有されていのかをあてるためには, 格の省略をあてるか, 別の手法を用いてどの格が共有されているのかを当てる必要がある. 今後はこの問題に取り込みたい.

今回の実験では, 前件と後件の間で任意の格の格要素が共有され, かつ任意の関係にある事態対を正解とした。しかし知識という視点からは前件と後件の間でどの格の格要素が共有されているのか明かになった方が利便性がある。例えば，行為一効果関係「〈A氏〉が〈花瓶〉を投げる」と「花瓶〉が壊れる」の間では, 前件のヲ格と後件のガ格の格要素が共有されており，正しい関係であれば前件のガ格と後件のガ格は共有されていない.このようにどの格の格要素が共有されているかで事態間関係の正解/不正解が変化する場合があるため, 今回の手法で獲得した知識では問題になる場合がある。 そのため, 我々は将来的には格要素がどの格で共有されているかを判断できるようにしたいと考えている．しかし，「水を冷して飲む」とは言うが「水を冷して水を飲む」とはあまり言わないように，同一文内で共起する述語対の格はしばしば省略される傾向にあるため, 同一文内で共起する述語対から関係を獲得している我々の手法では共有されている格を認識することが難しい. そのため, 共有されている格を認識するためには,
前処理として格の省略を認識した後で我々の手法を用いるか, 別の独立した手法を用いて共有されている項を認識する必要がある。今後はこの問題に取り込みたい.

実験では 5 億文から事態間関係知識を獲得したが，事態対とそれと共起するパターンの頻度が十分でないために正確な統計量を推定できないことがあった．今後，より多くの文から事態間関係知識を獲得することで精度が向上することを実験により確認したい.

本手法は原理的には様々な事態間関係を扱うことができるが, 今回の実験では行為一効果関係を満たす事態対を獲得できることのみを確認した，今後は，行為一効果関係以外の事態間関係獲得に本手法を利用できることを実験的に確認したい.

本稿では, アプリケーションへの応用を目指して事態間関係知識を獲得し，この知識の精度を直接的に評価した。次に，アプリケーションへ知識を適用した場合の性能を測るためにタスクベースの評価を検討しているが，これに必要な日本語のベンチマークが未だ存在しない。今後は, ベンチマークの作成と，これを用いた評価を予定している.

## 謝 辞

$\lceil$ Web 上の 5 億文の日本語テキスト」の使用許可を下さった情報通信研究機構の河原大輔氏と京都大学大学院の黒橋禎夫氏に感謝いたします.

## 参考文献

Chklovski, T. and Pantel, P. (2005). "Global Path-based Refinement of Noisy Graphs Applied to Verb Semantics." In Proceedings of Joint Conference on Natural Language Processing (IJCNLP-05), pp. 792-803.

Inui, T., Inui, K., and Matsumoto, Y. (2003). "What kinds and amounts of causal knowledge can be acquired from text by using connective markers as clues?" In Proceedings of the 6th International Conference on Discovery Science, pp. 180-193. An extended version: Inui T., Inui K., and Matsumoto Y. (2005). Acquiring causal knowledge from text using the connective marker tame. ACM Transactions on Asian Language Information Processing (TALIP), 4(4), pp. 435-474.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the 5th International Conference on Language Resources and Evaluation.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis using Cascaded Chunking." In CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002

(COLING 2002 Post-Conference Workshops), pp. 63-69.

Lin, D. and Pantel, P. (2001). "DIRT-Discovery of Inference Rules from Text." In Proceedings of ACM SIGKDD Conference on Knowledge Discovery and Data Mining 2001, pp. 323-328.

Matsuyoshi, S., Sato, S., and Utsuro, T. (2006). "Compilation of a Dictionary of Japanese Functional Expressions with Hierarchical Organization." In Proceedings of the 21st International Conference on Computer Processing of Oriental Languages, pp. 395-402.

Pantel, P. and Pennacchiotti, M. (2006). "Espresso: Leveraging Generic Patterns for Automatically Harvesting Semantic Relations." In the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, pp. 113-120.

Pantel, P. and Ravichandran, D. (2004). "Automatically Labeling Semantic Classes." In Proceedings of Human Language Technology / North American chapter of the Association for Computational Linguistics, pp. 321-328.

Pekar, V. (2006). "Acquisition of Verb Entailment from Text." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 49-56.

Ravichandran, D. and Hovy, E. (2002). "Learning surface text patterns for a Question Answering System." In Proceedings of the 21st International Conference on Computational Linguistics and 40th Annual Meeting of the Association for Computational Linguistics, pp. 41-47.

Torisawa, K. (2006). "Acquiring Inference Rules with Temporal Constraints by Using Japanese Coordinated Sentences and Noun-Verb Co-occurrences." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 57-64.

Zanzotto, F. M., Pennacchiotti, M., and Pazienza, M. T. (2006). "Discovering Asymmetric Entailment Relations between Verbs Using Selectional Preferences." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 849-856. Sydney, Australia. Association for Computational Linguistics.

## 略歴

阿部修也：2008 年奈良先端科学技術大学院大学後期課程単位取得満期退学.同年, 奈良先端科学技術大学院大学研究員, 現在に至る. 専門は自然言語処理. 情報処理学会員.

乾健太郎：1995 年東京工業大学大学院情報理工学研究科博士課程修了. 工学博士．同研究科助手，九州工業大学情報工学部助教授を経て，2002 年より奈良先端科学技術大学院大学情報科学研究科助教授. 現在同研究科准教授, 情報通信研究機構有期研究員を兼任. 自然言語処理の研究に従事. 情報処理学
会, 人工知能学会, ACL 各会員, Computational Linguistics 編集委員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 工学博士. 同年電子技術総合研究所入所. 1984～1985 年英国インペリアルカレッジ客員研究員. 1985～1987 年 (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る. 専門は自然言語処理. 情報処理学会, 人工知能学会, 日本ソフトウェア科学会, 認知科学会, AAAI, ACL, ACM 各会員.