# 優先順位型質問応答の解スコア分布に基づくリスト型質問応答
## 石下 円香 $\dagger \cdot$ 森 辰則 $\dagger \dagger$

\begin{abstract}
本論文では, リスト型質問応答に対する回答群の選択手法を提案する。リスト型質問応答とは，与えられた質問に対し決められた知識源の中から過不足なく解を見つけ列挙するタスクである。提案手法では, 既存の質問応答システムが解候補に付与するスコア分布を利用する．解候補を，そのスコアを基にいくつかのクラスタに分離することを考える。すなわち, それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメタを EM アルゴリズムにより推定する。そして，それぞれの分布を正解集合を形成するスコア分布と不正解集合を形成するスコア分布のどちらであるかを推定し, 正解集合のスコア分布に由来すると推定された解候補群を最終的な回答とする。質問応答システムには一般に不得意な質問が存在するが，提案手法では，複数の分布のパラメ夕を比較することにより，質問応答システムが正解を適切に見つけられているか否かを判定することも可能である。評価実験によれば，スコア分布を求め，それを利用することがリスト型質問応答に対して有効に働くことがわかった. キーワード：質問応答システム，リスト型質問応答，スコア分布
\end{abstract}

## A Method of List-type Question-answering Based on the Distribution of Anwer Score Generated by Ranking-type Q/A System

\author{
Ishioroshi, MAdokA ${ }^{\dagger}$ and Mori, TAtsunori ${ }^{\dagger \dagger}$
}

In this paper, we propose a method of the list-type question-answering. The listtype question-answering is the task in which a system is requested to enumerate all correct answers to given question. In the method, we utilize the distribution of the score that an existing question answering system gives to answer candidates. Answer candidates are separated into some clusters according to their scores. Here, we assume that each cluster results from a probabilistic model. Under the assumption, the parameters of these probabilistic distribution models are estimated by using the EM algorithm. Then, the method judges whether each distribution model is a source of correct answers or a source of incorrect answers. Answer candidates that originate from the distribution models corresponding to correct answers are regarded as final answers. Moreover, by comparing model parameters, we can also judge whether or not the question-answering system appropriately found correct answers. The experimental

results show that the use of the score distribution is effective in the list-type questionanswering.

Key Words: $Q / A$ system, list type $Q / A$, score distribution

## 1 はじめに

近年，文書情報に対するアクセス技術として，質問応答が注目されている。質問応答は，利用者が与えた自然言語の質問文に対し，その答を知識源となる大量の文書集合から見つける技術である．利用者が，ある疑問に対する解を知るために質問応答システムを単体で利用する場合には，各解候補のスコアに基づき，解候補群を順序づけて上位から提示することが多い．本稿では，この処理を優先順位型質問応答と呼ぶことにする。この場合は解答として採用するか否かは，利用者の判断に委ねられている.

一方，質問応答技術は他の文書処理技術の中で活用されることも期待されている．質問応答の出力を他の文書処理技術の入力として容易に利用可能とするためには, 優先順位型質問応答において利用者が行なっていた上記判断を自動的に行なう必要がある。また,「日本三景は何と何と何か」といったように複数の正解が存在する質問が存在することも考慮すべきである。これらのことより，決められた知識源の中から過不足なく与えられた質問の解を見つけ列挙する能力も重要であると考えられる。優先順位型質問応答の用件に加え, この能力を持つ仕組みをリスト型質問応答と呼ぶ (Fukumoto, Kato, and Masui 2002)(加藤, 桝井, 福本, 神門 2004).

本稿では, 上記の背景の下, リスト型質問応答を行なうための一手法を提案する。本手法では，優先順位型質問応答により得られた解候補の集合のスコアを基にいくつかのクラスタに分離することを考える。それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメ夕を $\mathrm{EM}$ アルゴリズムにより推定し，いくつかの分布に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し, 各解候補がいずれの分布に由来するものなのかを推定し, 最終的な正解集合を求める. 質問応答システムには一般に精度が低くなりがちな質問（以下，「不得意な質問」と記す）が質問の型等に依存して存在するが1, 本手法では, 複数の分布のパラメタを比較することにより, 優先順位型質問応答により正解が適切に見つけられているか否かを判断することも可能である。ここで, 正解が適切に見つけられているとは，優先順位型質問応答により正しい解が求められており，その解が上位にある（複数の場合は上位に集まっている）場合を指すこととする.

## 2 関連研究

リスト型質問応答については, 米国における大規模検索実験プロジェクトである, TREC (Text REtrieval Conference) における, Qusetion Answering Track（以下, TREC QA と記述）で議論されている.

TREC QA でリスト型質問応答のタスクが始まったのは, 2001 年からである. 2001 年 (M.Voorhees 2001) と 2002 年 (M.Voorhees 2002) のリスト型質問応答のタスクでは, 正解の個数は質問文中に示されており, システムは示された個数の解候補を出力し, その精度で評価された。2003 年 (M.Voorhees 2003) では, リスト型質問応答はメインタスクに含まれる質問のうちの一種類になった. 2003 年からは正解数が陽に示されることはなくなり, システムは正解の個数を判定しなければならなくなった. システムの評価は $\mathrm{F}$ 值で行なわれる。2004２006 年 (M.Voorhees 2004)(M.Voorhees and Dong 2005)(Dong, Lin, and Kelly 2006)の TREC QA のメインタスクの質問セットは, シリーズ型質問の集合になっている. シリーズ型質問には, 初めにそのシリーズの話題が示されており，その次に何問かの factoid 質問, list 質問があり, 最後に other 質問がある．factoid 質問と list 質問では，どちらも事実を問う質問であり，要求される解の種類は同じである. factoid 質問と list 質問の違いは正解の数で, 正解数が一つの質問は factoid 質問, 正解数が複数の質問は list 質問という様に分けられている． factoid 質問ではシステムはただ一つの回答を出力し, list 質問ではリスト形式で回答を出力する. other 質問は, 質問文は与えられておらず，そのシリーズの話題に関連することを出力することが要求される. ただし, factoid 質問と list 質問で問われていないことのみを出力しなければならない. 各質問が factoid, list, otherのどれであるかは質問文と共に与えられている.

list 質問では, システムは与えられた質問の正解を過不足無く出力することが要求される。正解の数は明記されておらず，システム自身が判定する必要がある。 2006 年の質問セットでは,全質問の正解の平均数は 10 個であり, 最小のものは 2 個, 最大のものでは 50 個ある.

factoid 質問と list 質問は要求される回答数が違うだけであるので，参加したほとんどのチー ムは，そのチーム自身の factoid 質問に対するシステムと同じものを用い，出力する回答数のみを変えていた，以下に，具体例を紹介する．F 值のみではリスト型処理の善し悪しが分からないため, factoid 質問に対する精度 (Accuracy) も併記する.

Harabagiu et al (Harabagiu, Moldovan, Clark, Bowden, Williams, and Mensly 2003)は, 一位の解候補と二位以下の各解候補の間の類似度を求め，類似度に閥値を設けて回答選択をする手法を提案している。閥値は一位の解候補と最下位の解候補の類似度を基に求められる。類似度が閾値以上になる解候補のうち, 最下位に順位づけされているものまでを回答リストに加えている.このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.433 であった. また, このシステムの基になった factoid 質問に対するシステムの精度は，0.578であった.

Bos (Bos 2006) は，質問文から正解の個数が推定できる場合には，上位からその個数を回答とし，それ以外の場合にはあらかじめ決められた個数の解候補を回答とする手法を用いていた. このシステムの list 型質問に対する精度は， F 值で 0.127 であった。また，このシステムの基になった factoid 質問に対するシステムの精度は，0.15であった。

Burger (Burger 2006)は，期待される F 値を求め，それを最大化するように回答の個数を決める手法を提案している。このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.208 であった. また，このシステムの基になった factoid 質問に対するシステムの精度は， 0.087 であった.

また，国立情報学研究所主催の質問応答に関する一連の評価型ワークショップである NTCIR QACにおいても同様にリスト型質問応答について議論されている.

NTCIR4 QAC2 の subtask1 では, システムは与えられた質問に対して, 順位付けされた 5 つの回答を出力することが求められる。システムの精度には MRR (Mean Reciprocal Rank. 正解順位の逆数の各質問平均）が用いられる。正解が複数存在する質問に対しては，システムはそのうちの一つを出力できれば良いとされている.

NTCIR4 QAC2の subtask2 (リスト型タスク) (Fukumoto, Kato, and Masui 2004a)でも TREC QAの list 質問と同様に, システムは与えられた質問の正解を過不足無く出力することが要求される，全質問の解の平均数は 3.2 個であり, 最小のものは 1 個, 最大のもので 15 個あり, TREC QA に比べると少なくなっている。各質問に対する正解の数が与えられていないことも TREC QA と同様であるが，TREC QA では正解数が 1 個の factoid 質問と 2 個以上の list 質問が分けられていたのに対し, NTCIR4 QAC2 のリスト型タスクでは分けられていないという違いがある。システムの精度には, 修正 $\mathrm{F}$ 值（MF 値）の全質問平均である, $\mathrm{MMF}$ 値が用いられる。修正 $\mathrm{F}$ 値の詳しい説明は，5 節で述べる.

NTCIR4 QAC2 に参加したシステムは TREC QA に参加したシステムと同様に, factoid 質問に対するシステムを基にしており，各解候補に付けられたスコアの値を基に上位何件を回答するかの線引きを行なっている。以下に具体例を説明する。 MMF 値のみでは順位付けの善し悪しが分からないため，QAC2 subtask1に対する精度 (MRR) も併記する。

秋葉ら (秋葉, 伊藤, 藤井 2004) は期待効用最大化原理に基づく回答群選択手法を提案している。これは, リスト型質問応答の評価指標である $\mathrm{F}$ 值に着目し, その期待値を求め, 期待值を最大化するように回答数を求める手法である。また，リスト内の解候補の重複を避けるために, 複数の解候補が同じ内容を指していると判断される時には, スコアの高いものを残して削除するということをしている。このシステムの， QAC2 subtask2のテストセットに対する精度は, MMF で 0.318 であった. また, このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで 0.495 であった.

福本ら (Fukumoto, Niwa, Itogawa, and Matsuda 2004b) は, スコアの差が最も開いているところよりも上位のものを回答とする手法を提案している. さらに, 質問文の表層表現から解の個
数を判別している（「誰と誰」なら二つ，など）. このシステムの QAC2 subtask2 のテストセットに対する精度は， MMF で 0.164 であった。また，このシステムの基になった factoid 質問に対するシステムの, QAC2 subtask1 のテストセットに対する精度は, MRR で 0.311 であった.

村田ら (Murata, Utiyama, and Isahara 2004) は最大スコアに対する比率に閾値を設けて回答を選択する手法を採用しており，QAC2 subtask2のテストセットに対する精度は，MMFで 0.321 であった。また, このシステムの基になった factoid 質問に対するシステムの， QAC2 subtask1 のテストセットに対する精度は，MRRで 0.566 であった。

高木ら (Takaki 2004) は $\mathrm{n}$ 番目の解候補のスコアと $\mathrm{n}+1$ 番目の解候補のスコアの比率を求め, それが閾値以上ならば $\mathrm{n}$ 番目までの解候補を回答とするという手法を用いている。このシステムの QAC2 subtask2 のテストセットに対する精度は，MMF で 0.229 であった。また，このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は, MRRで 0.335 であった。

上記の各手法と本論文で提案する手法でとでは，スコアの並びを見て動的に回答の数を変えるという点で類似している。しかし， スコアが複数の混合分布から生成されると仮定することにより，スコア分布のパラメ夕より解候補が適切に見つかっているかどうかを判定できるという付加機能を有する点において，我々の提案手法は新しい。また，精度についても他の単純な手法に対して比べて精度が高いという結果となった.

## 3 優先順位型質問応答システム

## 3.1 システムの概要

本節では, 本研究で使用している質問応答システム (Mori 2004)の概要を説明する。この質問応答システムでは, 利用者が自然言語で質問文を入力すると, 各解候補のスコアに基づき，解候補群を順序付けて上位から利用者が指定した数たけ提示する，各解候補のスコアは，知識源の文書中の，各解候補と質問文中に含まれるキーワードとの近さなどを基にしている。本稿ではこれを優先順位型質問応答システムと呼ぶことにする。本研究で使用している質問応答システムの全体の構成を図 1 に示す。本システムは主に四つのモジュール，すなわち，質問文解析モジュール，文書検索モジュール，パッセージ検索モジュール，そして解抽出モジュールから構成されている．解抽出モジュールの中には，解を整形するサブモジュールもある.

## 3.1.1 質問文解析モジュール

利用者が入力した質問文から質問応答に有用な情報を抽出するのが質問文解析モジュールの役割である。解析により得られる情報を次に示す.
- 形態素解析および構文解析の結果

図 1 質問応答システム概要
- キーワード（質問文中の内容語）
- 人名, 地名など質問の求める回答の種類を表す質問型
- 疑問詞に対応する数量表現（質問型が数量表現であった場合）

## 3.1 .2 文書検索モジュール

本モジュールは質問文解析により得られたキーワードを元に，文書検索を行う。検索エンジンには，TFIDFによる語の重みづけとべクトル空間法による類似度尺度を用いて，与えられたキーワード集合と各文書の類似度を求めるものを採用している.

## 3.1.3 パッセージ検索モジュール

文書検索で得られた関連文書の中でも，質問の解となる情報が書かれているのはその一部だけである。文書全体から解抽出を行なうことは計算量の面で非効率的なので，正解に関わる文脈を小さなコストで先に切り出しておいたほうがよい. これを行うのがパッセージ検索モジュー ルである。パッセージとは，文章における連続した一部分のことであり，パッセージ検索は文書集合から正解を含む可能性の高いパッセージを取り出すために行う。本システムのパッセー ジ検索では，一パッセージを三文として抽出を行なっている。パッセージを三文とした時の有効性は，村田ら (Murata, Utiyama, and Isahara 2005)により考察されている。それぞれのパッセージには，パッセージ中に出現するキーワードの異なり数などを基にしたスコアが付けられ， スコアが大きいパッセージが次の解抽出モジュールに渡される。

## 3.1.4 解抽出モジュール

解抽出は, パッセージ検索までの処理で得られたパッセージから, 質問の解を抜き出す処理である。パッセージを文単位に分割し，それぞれの文（これを検索文と呼ぶ）と質問文とを照合することにより，解となる形態素を決定する，スコアが高い形態素が得られたら，その形態素を中心にして最終的な解候補を生成する.

本システムの文照合は 2-gram 照合, キーワード照合, 係り受け照合, 質問型照合の四種の照合からなる。それぞれの照合において照合の一致の度合に応じて検索文の文字または形態素にスコアが与えられ，全てのスコアの和がその形態素のスコアとなる。そしてスコアの高い形態素から順に解候補が生成される。

2-gram 照合とキーワード照合では, 解を含む可能性の高い文の中で, ある形態素を解と仮定した時の質問文との照合の良さを，2-gram とキーワードの観点から測定する。一方，質問型照合は，質問型と一致する形態素にスコアを与えるために行なわれる，質問タイプには，人名，地名, 組織名, その他数量表現などがある。係り受け照合では, 質問文と検索文との構造の一致の度合を見る．本システムの係り受け照合では，一文対一文の照合を基本としているが，質問文の内容が検索文の二文以上にわかれて出現している場合もある。そこで，このような場合には前文の最後の文節を次文の提題の文節に仮想的に係り受けさせるという手法で複数文を連結し，仮想的に一文であるとみなして質問文との照合を行なっている.

形態素 mor の最終スコアは, 2 gram, キーワード, 係り受け, 質問型の各照合によって与えられたスコアの和 $S\left(m o r, L_{i}\right)$ で表され，スコアの和の高い形態素 $m o r$ から，解を整形するサブモジュールを用いて解が作成される。ここで， $L_{i}$ は検索文である.

$
\begin{aligned}
S\left(m o r, L_{i}\right)= & S b\left(m o r, L_{i}\right)+S k\left(\operatorname{mor}, L_{i}\right)+S d\left(\operatorname{mor}, L_{i}\right)+S t\left(m o r, L_{i}\right) \\
S b\left(m o r, L_{i}\right) & =2 g r a m \text { 照合でのスコア } \\
S k\left(m o r, L_{i}\right) & =\text { キーワード照合でのスコア } \\
S d\left(m o r, L_{i}\right) & =\text { 係り受け照合でのスコア } \\
S t\left(m o r, L_{i}\right) & =\text { 質問型照合でのスコア }
\end{aligned}
$

解を整形するモジュールで作られた解候補 $A C$ のスコア $S\left(A C, L_{i}\right)$ は, 解を形成している形態素のうち, スコア $S\left(m o r, L_{i}\right)$ が最大のものとなる.

複数の異なる検索文から見つかった同じ解候補に対してより高いスコアを付与する，疑似的な多数決方式がこのシステムでは採用されている。 さまざまな質問応答システムにおいて, 解候補の㔯長性を解の選定に役立てることが有効であることが示されている (Clarke, Cormack, and Lynam 2001)(Xu, Licuanan, and Weischendel 2003). 多数決方式はその一つである. 一方で，我々のシステムでは，探索制御が行なわれており指定される数の解が見つかった時点で残り

の解候補を調べることはせずに探索を打ち切る，そのため，探索の過程において，通常の多数決方式は採用できない. しかし, 指定された求める解の数は異なり数である，そのため，指定された数になるまでにすでに求められている解と同じものが改めて見つかる可能性がある。そこで，その時にはその解のスコアを出現回数に応じて高くしている，以下では，複数回同じ解が求められた場合，その解に複数投票が入った，と表現することにする。

多数決方式を用いたときのある解候補 $A C$ の最終スコア score $_{\text {raw }}(A C)$ は，以下の式で与えられる。

$
\operatorname{score}_{\text {raw }}(A C)=\left.\{1+\log _{10} \operatorname{frec}(A C, \text { AnsList })\right.\} \cdot \max _{L_{i}} S\left(A C, L_{i}\right)
$

ここで，AnsListは解候補のリストであり，frec $(x, L)$ は $L$ 中の $x$ の頻度である.

式 (2)に示される通り, 多数決方式のスコアは単純に頻度を最大のスコアに乗じるのではなく, 頻度の対数値を乗じることにより頻度に対するスコアの上がり具合が穏やかになるように調整されている。このような, 頻度に対するスコアの上がり具合を調整する多数決方式の有効性は, 村田ら (Murata et al. 2005) により考察がなされており, この手法は, 高精度の他の多数決手法と同等程度の性能を持つことが示されている。

## 4 解スコア分布に基づくリスト型質問応答

質問応答の基本的な仕組みは，先に述べたように，

段階 1 知識源となる文書集合の中から，与えられた質問に対する解候補群を見つけること，

段階 2 各解候補に対し，その質問に対する答としての「良さ」を与える数値，すなわち， スコアを付与すること

からなる。リスト型質問応答の基本は, 上記の二段階に加え,

段階 3 優先順位型質問応答システムの出力, すなわち, スコア付きの解候補群を正解（と思

しき）集合（最終的な回答群）と不正解（と思しき）集合の二つに分割する

ことである。これは，スコアの値に基づき，上位何件の解候補を正解と判断するかを決定することに等しい.

我々はその為の手法として，解候補の集合を，そのスコアを基にいくつかのクラスタに分離することを考える。そこで，本手法では，まず，確率密度分布に基づくクラスタリングで用いられる混合分布モデルと同様に

仮説 1 あるクラスタ中の解候補のスコアの値密度分布が，ある一つの確率分布に従っており，異なるクラスタは異なるパラメタの確率分布に由来すること，そして，

仮説 2 解候補群全体のスコアの密度分布はこの複数の確率分布の混合分布に従っていることを仮定する．次に，各確率分布のパラメ夕を EMアルゴリズムにより推定し，いくつかの分布

に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し，各解候補がいずれの分布に由来するものなのかを推定し，最終的な正解集合を求める。ここで，上記クラスタ数はいくつの群に分けて分析をするかを表す一種のパラメタであり，何らかの手法で決める必要がある．正解集合には何らかの共通点があり 1 2 程度の少数のクラスタから構成されることが期待されるが, 不正解集合にこのような性質があるとは限らない，しかし本論文では，手法の分析のしやすさから，2３程度のクラスタに分ける場合について検討を行なう。

一方, 基本となる優先順位型質問応答において, システムの求める解析精度が十分でないこともある。例えば，我々の利用しているシステム (Mori 2004) では, 順位づけにおいても未だ満足のいくものではない. 同システムでは, MRR 值が 0.5 程度であり, 平均すると 2 位に正解を見つけることができるという評価であるが，実際のところは $1 / 3$ 程度の問題について 1 位に正解を返し，2５位に正解を返すのが $1 / 3$ 程度，残りの問題については全く正解を得ることが出来ていない，つまり，システムにとって得意な問題と不得意な問題が存在している.

我々は，不得意な問題の場合は，各解候補に対するスコア付けがうまくいっておらず，上述の仮説 1 , 仮説 2 が成立していないと考えた. そこで，推定した確率分布のパラメ夕に基づき，複数に分割された分布それぞれが正解集合の分布であるか，不正解集合のそれかを判定し，正解集合の分布と不正解集合の分布とが明確に分割できるか否かを調べる。これにより，正解が適切に見つかっているか否かを判断することがある程度可能であると考える.

解候補のスコア分布が正解集合の分布と不正解集合の分布とに分けられるとしている本提案手法では, 全ての質問対し, 一つ以上の正解があることを前提としており, 最低でも一つの回答を出力する．正解が全くない質問については，正解が適切に見つかっていないと判定された質問の一部ととらえることができるが，現在対応できていない.

## 4.1 解候補スコアの分布の計算

優先順位型質問応答システムの出力は解候補とそのスコアの組のリストであり，スコアを数直線上に示すと, 図 2 （上）の様になる。それを視覚的に分かりやすくするために, 一定区間で区切ってヒストグラムにしたものが, 図 2 (中）である。これは説明の為に示した図であり,実際の処理ではヒストグラムは求めていない. 本研究では平滑化した確率密度関数を求めるための手法として, スコア分布をいくつかの正規分布の混合分布とみなし, 各分布のパラメタを求めるのに EM アルゴリズムを用いている.

本提案手法では, 複雑な要因（本手法では，3.1.4 節に示す, 解候補のスコア）が重なりあってできるばらつきは正規分布に近付くという，統計学における中心極限定理を基にして，仮定する分布を正規分布とした．解候補のスコアの分布が，正解集合が成すいくつかの分布と不正解集合のそれとの混合分布であること，並びにそれらの分布がいずれも正規分布であることを

図 2 スコア分布の計算

仮定すると, 混合分布は式 (3)で与えられる。なお, 本稿では, 各解候補のスコアは全て, 各問について各解候補のスコアを最大値で除し, $[0,1]$ の範囲となるように正規化したものを用いる.

$
p_{s}(x)=\sum_{i=1}^{n} \xi_{i} \phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)
$

ここで,$x$ はスコアの値に対応する確率変数, $n$ は仮定する分布数, $\phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)$ は平均値 $\mu_{i}$, 分散 $\sigma_{i}^{2}$ の正規分布, $\xi_{i}$ はそれぞれの確率分布の混合比を決めるパラメタである. 解のスコア付けが正しく行なわれ，スコア分布が混合分布であるという仮説が成り立つのであれば，スコアの平均値が大きい分布が正解集合がなす分布となる。降では，スコアの平均値の大きい方の分布から順に番号をつけ $\phi_{1}, \phi_{2} \ldots$ とする.

解候補スコアの観測値の集合が与えられた場合, 式 (3)における各パラメタの推定は, EMアルゴリズムにより行なうことができる。これらの分布のパラメタから次節で述べる手法により正解集合の分布と不正解集合の分布とが明確に分割できると判定できる場合には， スコアにより回答候補群を正解の群と不正解の群に分けられると判断する.

また, 使用している優先順位型質問応答システムには, 3.1.4 節に示すように, スコア付けに,多数決方式が採用されている。この多数決スコアがスコアの分布に大きな影響を及ぼしていると考えられる (図3). 複数回出現した解候補のスコアはその出現回数に応じて高くなり, 複数回出現した解候補のグループが，スコアの高い分布を形成しやすくなり, 分布が別れやすくなる.このことについては 5.1 節において実験，考察する。

（a）多数決方式を用いない場合（同じ表現の解候補はスコアが高いものだけを使用）

抽出された解候補群 (同じ表現の解候補は同じ記号を付与)

(b) 多数決方式を用いた場合（出現回数が 2 以上の解候補のスコアが多数決方式により上昇）

図 3 多数決方式によるスコアの変化

## 4.2 解候補スコアの分布の分割の明確さの判定

スコアの降順で解候補が並んでおり， $i$ 番目の解候補を $A C_{i}$, その最終スコア $\operatorname{score}_{\text {raw }}\left(A C_{i}\right)$ を正規化したスコアを $\operatorname{score}\left(A C_{i}\right)$ とする．解候補のスコアが明確に分割できるかどうかの判定は，隣接した正規分布の平均值の差の值の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$, 隣接解候補のスコアの差の最大値 $\left(\max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\}\right)$ に基づいて行なう. これは, 解候補を二群に分けるという観点において, 隣接した正規分布の平均値の差の値の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$ が大きいほど，スコア分布が大きく二つのグループに分離できると考えられるからである．また，解の分布の如何によらず，解候補をスコアにしたがって二群に分けることを考えると，最も素朴な手法は, 隣接する解候補のスコアの差が最も大きい箇所で分離するものであろう. この時, その差の最大値が大きい時ほどスコアの分布が明確に二つに分かれると考えられる.

本稿では，以上の二つの指標，すなわち

分離指標 $1 \max _{j} \mu_{j}-\mu_{j+1} \geq T h_{\mu_{\text {diff }}}$

分離指標 $2 \max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\} \geq T h_{\text {diff }}$

を採用することとし，上記分離指標のいずれかを満たす場合を，スコアの分布が明確に分かれていると判断した. ここで， $T h_{\mu_{\text {diff }}}, T h_{\text {diff }}$ はそれぞれスコア分布が明確に分離できると判断する閾値である。

図 4 は実際に質問応答システムが出力した解候補のスコア分布の例である。上位 30 件を採用

(a) 正解が上位に含まれているもの

(b) 正解が上位に含まれていないもの

図 4 実際のスコアの分布

した。 それぞれの質問文は, 図 4(a)では「サッカーのワールドカップフランス大会で日本が対戦した国はどこですか。」（QAC2subtask2のテストセット中の質問．ID は QAC2-20055-01）であり，知識源は毎日新聞，読売新聞それぞれの 98 年と 99 年の 2 年分の記事である。図 $4(\mathrm{~b})$ では「小沢征爾はいつからボストン交響楽団の音楽監督を務めていましたか。」（QAC1 のテストセット中の質問. ID は QAC1-1047-01）であり，知識源は毎日新聞の 98 年と 99 年の 2 年分の記事である．棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された複数の分布, 破線がその混合分布である。 図 4(a) は上位の解候補に正解が含まれている場合, 図 4(b) は上位の解候補に正解が含まれていない場合であり, 正解の位置はそれぞれの図に矢印で示してある。

上位に正解が含まれている場合（図 4(a)）では隣接した分布同士の平均値の差が，最大の所で 0.16 と大きく, いくつかの分布が独立しているように見え，スコアの大きい分布と小さい分
布とに明確に分けられそうである。それに対して，上位の解候補に正解が含まれていない場合 （図 4(b)）では隣接した分布同士の平均値の差が最大の所でも 0.05 と小さくなっており, 全体で大きな一つの分布であるかように観察される。このことから，大きく二つの分布に分けられるときには上位に正解があり，そうでないときには上位に正解が含まれていないということが期待される。

## 4.3 分割する分布の数の決定

分割する分布の数（以下，分布数と表記）は，スコアを正解集合と不正解集合に分けると言う観点では二つと考えられるが，二つの分布に分けた時にうまくいかない例が存在するため，二つ以上のクラスタに分けることを考える。

二つの分布で分離した時にうまくいかない例を図 5 に示す。棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された二つ，もしくは三つの分布である。図中の破線は，スコアが一番大きい分布を正解集合の分布と考えた場合の正解分布と不正解分布の境界となるスコアの值であり，これより大きいスコアを持つ解候補が回答として選ばれる。二つの分布で分離した場合（図5(a)）を見ると，スコアが小さいところで一つの大きな分布が計算されており，もう一つの分布はそれ以外の部分を被覆するように，分散が大きな分布が計算されている. 二つの分布で分離し, スコアの高い方の分布を正解分布として回答選択をすると，正解以外の解候補も多数回答に含まれてしまい，回答の精度が悪くなってしまう，一方，三つの分布で分離した場合（図 5(b)）を見ると，二つの場合と比べ，スコアが大きい分布が新たに計算されている。三つの分布で分離し，スコアの最も高い分布を正解分布として回答選択をすると，余計なものを含まずに正解を精度良く回答することが可能になる.

パラメタ調整用に用いた質問セット 200 問（QAC1の 1～50 問目と 101～150 問目及び $\mathrm{QAC} 2$ の $51 \sim 150$ 問目）では，実際に上位に正解があるかどうかに関わらず，分布の形として図 5 と同様の傾向を持つ質問が約 40 問あった。この様な例は, 最上位の解候補のスコアと, 最下位の解候補のスコアの差が大きい時によく見られた。最上位の解候補のスコアが，他の解候補よりも格段に高いスコアであった場合, それが正解である可能性が高いと考えられる．そのため, 図 5(a)の様に，二分布に分けた結果を用いて，多数の解候補を回答とするのは望ましくない. 図 5 の例だけでなく, パラメ夕調整用の質問セット中の同様の質問においても, 図 5(b) の様に分布数を三つにすることで, 回答の数が不適当に多くなってしまうことをある程度解消できることが分かった。

このため, 我々は二つに分けてうまくいかない例は三つにすればカバーできると考え, 混合分布の数は二つか三つに限定した.

あるスコア群を二つの分布に分けるのか, 三つの分布に分けるかの決定法には以下のものが考えられる。指標 2,3 は，EMアルゴリズムを用いて求められた分布と実際のスコアの並びを

(a) 二つの分布で分離した場合

(b) 三つの分布で分離した場合

図 5 分離する分布の数の違い

観察した結果得られたものである.

分布数決定指標 1 MDL (minimum description length)(Rissanen 1999)を用いて最適な分布数を決定する．MDL はパラメタで記述されたモデルのクラスからモデルを選択する基準である．MDLの値が小さくなる方の分布を適切な分布とする．MDLの値は以下のように計算する。

$
\begin{gathered}
M D L=-\log f i t_{m}+\frac{3 m-1}{2} \log N \\
f i t_{m}=\sum_{i=1}^{N} p_{s}\left(\operatorname{score}\left(A C_{i}\right)\right)
\end{gathered}
$

ここで， $m$ は仮定する分布の数, fit $_{m}$ は仮定した分布の数が $m$ 個のときの実際のスコア
分布との適合度の度合であり， $\mathrm{N}$ は優先順位型質問応答システムが出力した解候補の数である． 2 項目の $3 m-1$ は，パラメ夕数を表している。各分布には, 混合比, 平均値,分散という 3 つのパラメタがあるが，混合比は合計値が 1 と決まっているために，一つの分布については求める必要がない。そのため，パラメ夕数は $3 m-1$ となる． MDLの值が小さい方の分布数を採用する.

分布数決定指標 2 スコア分布を二つの分布の混合分布と仮定した時，スコアが大きい分布の分散と, 小さい分布の分散の比率が閾値 $T h_{q}$ 以上なら分布の数を三つに増やす。すなわち, スコア分布を二つの分布の混合分布とした時, $\sigma_{1}^{2} / \sigma_{2}^{2} \geq T h_{q}$ ならば, 分布の数を三つにする。

これは，図５の例にあるように，二分布で分離した時にスコアの大きな分布が回答を多くとりすぎてしまう場合，スコアの小さいところで一つの大きな分布ができ， スコアの大きい方の分布はその他の部分を被覆するために，分散が大きな分布になっているという観察結果を基にしている。

分布数決定指標 3 スコア分布を二つの分布の混合分布と仮定した時, 二分布の平均値の差が閥値 $T h_{\mu_{r}}$ 以上の時は，分布の数を三つにする。すなわち，スコア分布を二つの分布の混合分布とした時, $\mu_{1}-\mu_{2} \geq T h_{\mu_{r}}$ ならば，分布の数を三つにする.

これは二分布の平均値の差の値が極近い分布では, 全解候補中に正解があっても上位に位置していない場合が多いため, 回答数が多くなる傾向にある二分布で正解判定をすると言う考えである.

## 4.4 解候補の正解判定

解候補の正解判断では，まず，複数に分割した分布それぞれが正解集合の分布（以下，正解分布と呼ぶ）であるか，不正解集合のそれ（以下，不正解分布と呼ぶ）であるかを判定する。その後, 正解分布に含まれる解候補を回答とする。そのために，式 (5) で定義される間値 $T h_{s}$ を設け，閾値以上のスコアを持つ解候補を回答とする.

$
\begin{aligned}
& T h_{s}=\underset{t}{\operatorname{argmax}}\left.\{S_{\text {correct }}(t)-S_{\text {incorrect }}(t)\right.\} \\
& S_{\text {correct }}(t)=\sum_{i \in D_{\text {correct }}} \int_{t}^{\infty} \phi_{i}(x) d x \\
& S_{\text {incorrect }}(t)=\sum_{j \in D_{\text {incorrect }}} \int_{t}^{\infty} \phi_{j}(x) d x \\
& D_{\text {correct }}=\text { 正解分布と判定された分布の番号の集合 } \\
& D_{\text {incorrest }}=\text { 不正解分布と判定された分布の番号の集合 }
\end{aligned}
$

また, 正解分布は以下のように決める. 正解分布と判定されなかった分布は不正解分布とする.
分布数がニつの時スコアの大きい方の分布を正解分布とする.

分布数が三つの時以下のものが考えられる.

・ スコアの大きい方からいくつめの分布までを正解分布とするかあらかじめ決めておく
- 隣接分布間の距離が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする).

なお，この間値を設けて回答を決める手法は, Murata et al (Murata et al. 2004)などで用いられている，スコアの閥値に基づく手法に似ているが, 確率分布の上で閥値を設定している点が異なる。

## 5 実験及び評価

NTCIR3 QAC1(Fukumoto et al. 2002) 及びNTCIR4 QAC2 の task2 (リスト型タスク) (Fukumoto et al. 2004a)のテストコレクションを用いて実験を行なった. 知識源は，QAC1の質問に対しては, 毎日新聞の 98 年と 99 年の 2 年分の記事を用い, $\mathrm{QAC} 2$ の問いに対しては, 読売新聞と毎日新聞の 98 年と 99 年の 2 年分の記事を用いている。また, 優先順位型質問応答システムからの出力は上位 10 件を採用している。リスト型質問の評価は一問あたりの $\mathrm{F}$ 値の全質問平均の平均 MF 值（Mean Modified F-measure, MMF 值）を用いる。なお,ここでの F 值は加藤らが提案する修正 $\mathrm{F}$ 值である (加藤他 2004). すなわち, 同じ解答もしくは同じものを表現する異なる表現を複数リストに含めた場合は，そのうちひとつだけを正解とし，それ以外は誤答とする。また，正解のない質問には空リストを返した時にのみ 1.0 が与えられ，それ以外の場合はすべて 0.0 とする.

本節の構成は以下の通りである。5.1 節では正解が適切に見つかっている質問の判定に対する分離指標の有効性を調べる. 特に, 5.1.2 節では, 多数決方式の違いによる結果の違いを見る.多数決方式の有無やその方法により，スコアの分布が違ってくることが考えられ，それにより正解が適切に見つかっている質問の判定をしたときの結果が違ってくることが考えられる．多数決方式を変えて 5.1.1節と同様の実験をし, その結果の違いを調べた. 5.1.3 節では, 3.1.4 節に示したスコア付け手法以外の手法でも，分離指標が有効かどうかを調べた。 また, 多数決方式の有無による結果の違いが 5.1.2 節での結果と同様のものになるかどうかも実験した.

5.2 節では，用いた分離指標の妥当性を見るために，スコアの分布が二つに明確に分割できると判断するための各尺度と精度である $\mathrm{F}$ 値との相関関係を求めた.

5.3 節では, 4.4 節に示した正解判断のための間値決定法及び 4.3 節に示した分布数判定指標の有効性を調べるために実験を行なった.

5.1 節〜5.3 節では, スコアの分布として正規分布を仮定して実験を行なっているが, 5.4 節で

は, 正規分布以外の分布としてポアソン分布を仮定し, 5.1 節〜5.3 節の実験と同様の実験をし, その結果が正規分布を用いた時と同じような傾向になるかどうかを調べた.

## 5.1 正解が適切に見つかっている質問の判定

本節では, NTCIR3 QAC1 (Fukumoto et al. 2002) 及びNTCIR4 QAC2の task2（リスト型夕スク) (Fukumoto et al. 2004a) のテストコレクションを平均正解数が同じになるように, 二つの組に分け，一方をパラメ夕調整用，もう一方を評価用とした。パラメ夕調整用の質問は, $\mathrm{QAC} 1$ の 1〜50 問目と 101〜150 問目及び $\mathrm{QAC} 2$ の 51〜150 問目の計 200 問である. 評価用の質問は, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1～50 問目と 151～200 問目であり，うち一問が不適切な質問とされているため, 計 199 問である。 パラメ夕調整用のセットの平均正解数は 2.31 個, 評価用のセットの平均正解数は 2.33 個である.

## 5.1.1 分離指標の有効性

まず，分布の分割の明確さを判定することの有効性を見るために，スコアの分布の分離が明確な場合とそうでない場合とに分割し，それぞれの場合について 4.4 節の手法で解候補の正解判定を行なった. 回答選択の手法は, 分布数の判定を行なわない手法を用いた. 5.3 節において,分布数の推定を行なっているが, 推定が失敗する可能性を考慮にいれて, 分布数は固定とした. ここでは，分布数の判定を行なわない手法の中で最もMMF が高い，すべての質問において三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとした手法を用いている.

また, スコアの分布の分離が明確かどうかの判定には, 4.2 節で述べた分離指標を用い, 次のいずれかを満たすものをスコアの分布の分離が明確であると判断している．以下で示している各パラメ夕は予備実験の結果に基づきその値を決定した。予備実験ではパラメ夕調整用の質問セットを用い, それぞれの閾値を 0.01 単位で動かした時に, 正解が適切に求められている質問 （解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

評価用の質問セットについて上記閥値に基づき 4.2 節の分離指標により, スコアの分布の分離が明確な場合とそうでない場合とに分割した時の平均回答数と MMF を表 1 に示す.

表 1 によると，分布の分割が明確な場合と不明確な場合とで MMF に明確な差がでている. また, 分布の分割が明確な場合, 平均回答数を見ると正解の平均数よりも少ない傾向にあるが, MMF が高く，選んだ回答群の精度が良いことが窺える。分布の分割が不明確な場合には平均
回答数が多くなっており, 平均正解数に近い值ではあるが, MMF は低く, 回答の精度が低いことが分かる.

このことから，提案手法により正解が見つかっており，かつそれが上位に順位づけされている質問のみを抽出することがある程度可能であることが分かる.

## 5.1.2 多数決方式の違いによる精度の違い

多数決方式による解候補のスコア付けは，解候補のスコア分布に大きな影響を与えていると考えられる．多数決方式を用いた場合, 複数投票が入った解候補はスコアが高くなり, 回答として選ばれやすくなる。まず，複数投票が入った解候補の有無（多数決方式によるスコアの変化の有無）という観点で質問文を分けた時の精度の違いを求めた。結果を表 2 に示す.

表 2 より，複数投票が入った解候補がある場合と無い場合とで，精度に大きな差があるのが分かる.このことより, 解候補が適切に見つかっているかどうかの判定に, 複数投票が入った解候補のある，なしという情報も使えるということが分かる，表 1 と比べると， スコアの分布の分割が明確な場合と, 複数投票が入った解候補がある場合とではスコアの分布の分割が明確な場合の方が MMF が高く, より正解が適切に見つかっている質問を抽出できている．スコアの分布の分割が不明確な場合と，複数投票が入った解候補がない場合とでは複数投票が入った解候補がない場合の方が MMF が低く，より正解が見つかっていない質問を抽出できると考えられる。

また，多数決方式を利用したスコアの分布と多数決方式を利用しない場合のスコア分布の違いを見るために，分離指標を用いた以下の実験も行なった．多数決方式によってスコアが変化するのは，複数投票が入った質問のみであるので，表 2 において，複数投票が入った解候補があった 121 問に対して, 優先順位型質問応答システムの解スコアを利用してリスト型質問応答を実行した，3.1.4 節に示した頻度に対する上がり具合を調整する多数決方式（以後, 最大値乗

表 1 スコアの分布の分離の明確さの違いによる平均回答数と MMF の違い

表 2 複数投票が入った解候補がある質問と無い質問とでの平均回答数と MMF

算方式と呼ぶ）の他に, 複数投票があった場合, その解候補のスコアを単純に加算する多数決方式（以後，単純加算方式と呼ぶ）を用いた場合及び，多数決方式を用いない場合，それぞれについて，分布の分割が明確かどうかを分けたときの，平均回答数と MMF を求めた.

4.2 節で述べた, 分布が明確に分離できるかどうかの各分離指標のパラメ夕は, 5.1.1 節と同様の予備実験を行ない，以下のように決定した。この時に使用した質問は，質問セット中の，複数投票が入った質問のみである.
- 最大値乗算方式の多数決方式を用いた場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.3 \\
& T h_{\text {diff }}=0.25
\end{aligned}
$
- 単純加算方式の多数決方式を用いた場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.5 \\
T h_{\text {diff }} & =0.5
\end{aligned}
$
- 多数決方式を用いない場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.15 \\
T h_{\text {diff }} & =0.1
\end{aligned}
$

結果を表 3 に示す.

表 3 より, どの手法においても分布の分割が明確な場合と不明確な場合で, MMF に大きく差が出ている. このことから, 多数決方式の違いに関わらず, 分布の分割の明確さをみることで,正解が適切に見つかっている質問を抽出することが，ある程度可能であることが分かる.

また，表 3 での， 121 問全体の MMF の違いを見てみると，3.1.4 節に示した頻度に対する上がり具合を調整する最大値乗算方式を用いた場合で 0.446 と最も高い値となっている.

最大値乗算方式を用いた場合のMF 値と単純加算方式や多数決方式を用いない場合でのMF 値との間に統計的有意差があるか，表 3 で用いた 121 問でウィルコクソンの符合付順位和検定 （両側検定）によって求めた. その結果, 最大値乗算方式と単純加算方式との間で有意水準 $5 \%$ で統計的有意差があったが $(p=0.033<0.05)$, 最大値乗算方式と多数決方式を用いない場合との間では, 統計的有意差は認められない $(p=0.23)$ ということが分かった.

## 5.1.3 スコア付け手法の違いによる精度の違い

3.1.4節で示した以外の解候補のスコア付け手法でも分離指標が有効に働くかどうかを調べるために，質問文中のキーワードと解候補との距離に基づいた単純なスコア付け方法を用いて同様の実験を行なった．この距離に基づいたスコア付け手法は，構文解析を用いずに解候補のス
表 3 多数決方式の違いによる結果の違い

(a) 最大値乗算方式の多数決方式を用いた場合

(b) スコアを単純加算する多数決方式を用いた場合

(c) 多数決方式を用いない場合

コアを決定する素朴な手法である。この手法では，全てのキーワードからの距離が近い解候補ほど大きなスコアが与えられる。このスコア $S_{\text {dist }}(m o r)$ は, 式 (14)によって与えられる. ここで， $K_{n}$ は質問文中の $n$ 番目のキーワードである.

$
S_{d i s t}(m o r)=\sum_{n} \frac{1}{\log \operatorname{dist}\left(m o r, K_{n}\right)+1}
$

$\operatorname{dist}\left(\operatorname{mor}, K_{n}\right)$

= 解候補となる形態素 $m o r$ とキーワード $K_{n}$ との間の距離を形態素単位で計ったもの

この手法でも，探索制御において，同じ解が複数回求められた場合には 3.1.4節で示した多数決方式を用いて最終的なスコアを求めている．スコアの分布が明確に分離できるかどうかの各パラメタは， パラメタ調整用質問セットを用いた予備実験の結果以下のように決定した。

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

解候補のスコア分布は, 5.1.1 節と同じく三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

スコア分布が明確に分割できる質問とそうでない質問とに分けた時の平均回答数とMMFを
表 4, 複数投票が入った解候補がある場合とない場合とで分けた時の同様の結果を表 5 に示す.

表 4 , 表 5 より, 分布の分割が明確な場合とそうでない場合，また複数投票が入った解候補がある場合とない場合とで MMF に明確な差がでているのが分かり，3.1.4 節で示した解候補のスコア付け法を用いた場合と同様の結果が得られた。分布の分割が明確な場合は正解が適切に見つかっている質問を抽出でき，複数投票が入った解候補がない場合では正解が適切に見つかっていない質問を抽出できるという傾向も同じである.

距離に基づいたスコア付け方法でも 5.1.2 節と同様に, 多数決方式を利用したスコア分布と多数決方式を利用しない場合のスコア分布の違いを見るための，分離指標を用いた実験を行なった。表 5 において複数投票が入った解候補があった 125 問に対して, リスト型質問応答を実行した。 分布の分割が明確かどうかの判断のためのパラメ夕は，予備実験の結果，以下のように決定した。その結果を表 6 に示す.

表 4 距離に基づいたスコアを使った時の，スコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 5 距離に基づいたスコアを使った時の，複数投票が入った解候補がある質問とない質問との結果の違い

表 6 距離に基づいたスコアを使った時の，多数決方式のあるなしによる精度の違い

(a) 最大値乗算方式の多数決方式を使った場合

(b) 多数決方式を使わない場合

・ 最大値乗算方式の多数決方式を用いた場合

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$
- 多数決方式を用いない場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.1 \\
& T h_{\text {diff }}=0.1
\end{aligned}
$

表 6 より，いずれの場合でも，ある程度正解が適切に見つかっている質問を分けることができた。また多数決方式を用いた場合とそうでない場合とでは MF 値について， 125 問全体を対象にした時の MF 值にも差が出ているが, 統計的有意差は認められない（ウィルコクソンの符合付順位和検定（両側検定）で， $p=0.31$ ).

距離に基づいたスコア付け手法を利用した際にも分離指標が有効であること, 複数投票が入った解候補がある質問とない質問で精度に大きく差がでることなどから本論文で提案した解候補の分割の指標及び解候補の選択手法は解候補に対するスコア付け手法が単純なものであっても,有効であると考えられる。

## 5.2 スコアの分布がニつに分離できると判断するための各尺度の間の相関関係

分離指標としていた尺度の妥当性の検証のために，スコアの分布の分離指標として用いていた各尺度と回答精度である MF 値との相関関係を調べた。ここで用いた質問は，QAC1 の 51～100 問目と 151 200 問目及び $\mathrm{QAC} 2$ の 1～50 問目と 151～200 問目（うち一問が不適切な質問とされている）の計 199 問である。相関を求める際, MF 值は質問毎に, 優先順位型質問応答システムの出力のうち上位 $\mathrm{n}$ 件に対する解候補の $\mathrm{F}$ 値を $\mathrm{n}$ を変化させて求め, その最大値（以後最大 $\mathrm{F}$ 值と表す）を用いている，相関を求めた結果を表 7 に示す. 表中の値はピアソンの相関係数である. $\mu_{\text {diff }}(2)$ は, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均值の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している。以上の値に注目したのは， $\mu_{\text {diff }}$ と $\max _{\text {diff }}$ はその値が大きいほどスコア分布は

表 7 スコアの分布が二つに分離できると判断するための各尺度の相関関係

分布は明確に分離できると期待できるためである.

表 7 より，各尺度間には非常に強い相関があることがわかる。また，各尺度と最大 MF 値にも相関があることが示されている。最大 $\mathrm{F}$ 値が高い質問は上位に正解が集まっている質問といえる。各尺度と最大 MF 値との間に相関関係があるということから, 各尺度が, 正解が上位に順位付けされている質問を抽出するための分離指標として，利用可能である考えられる．

## 5.3 正解判断指標の有効性

4.4 節で提案した回答選択手法の有効性を調べるために，実験を行なった．提案手法では，「分布数の決定法」ならびに「分布数が三つの場合の正解分布の決め方」に各々数種類ずつ選択肢がある。また，比較対象であるべースラインとなる手法についても様々な観点からいくつかの候補がある。そのため， QAC1 及び $\mathrm{QAC} 2$ のテストコレクションをパラメタ調整セット，開発セット，評価用セットの三つに分けた。まず，パラメ夕調整セットにより各パラメタを調整する。そして, 開発セットによって, 有効なべースライン手法及び, 提案手法における各選択肢の有効な組合せを決定した後, テストセットによって, ベースライン手法と提案手法の精度の比較を行なう，パラメタ調整用の質問セットは，QAC1の $34 \sim 66$ 問目，167 200 問目及び $\mathrm{QAC} 2$ の $1 \sim 33$ 問目，134 166 問目（計 133 問，平均正解数 2.32 個）, 開発用の質問セットは, QAC1 の 67〜133 問目及び $\mathrm{QAC} 2$ の 34 66 問目，167 200 問目であり，うち一問が不適切な質問とされている（計 133 問，平均正解数 2.34 個)，評価用の質問セットは，QAC1 の 1～ 33 問目， 134 $\sim 166$ 問目及び $\mathrm{QAC} 2$ の $67 \sim 133$ 問目（計 133 問，平均正解数 2.29 個）である.

## 5.3.1 ベースライン手法の決定

ベースライン手法の候補として，先行研究を考慮し以下のものを検討する。
- スコアの値の上位から決まった個数の解候補を回答とする手法.
- スコアの値に単純な閾値を設ける手法. $\operatorname{score}\left(A C_{i}\right) \geq T h_{r}$ なる $A C_{i}$ のリストを回答とする。ただし, 提案手法が式 (5) で求める値と違い， $T h_{r}$ は全問に共通の一定の値である. また, $\operatorname{score}\left(A C_{i}\right)$ は最大値が 1 になるように正規化されていることに注意されたい.
- 秋葉ら (秋葉他 2004)の手法を用いて回答する手法.

質問の正解数の平均は約 2.3 個であるため, 決まった個数の解候補を回答とする手法では, 回答とする解候補の数を 1 ～個の場合それぞれについて結果を求めた.

スコアの値に単純な間値を設ける手法での閥値 $T h_{r}$ は，値を 0.5 から 0.99 まで 0.01 刻みで変えていき，パラメ夕調整用の質問セットで最も MMF が高かった以下の值を採用した.

$
T h_{r}=0.78
$

開発セットにおけるべースライン手法の各候補の精度を，表 8 に示す。表中の再現率，適合
表 8 開発セットにおけるベースライン手法の精度

率はそれぞれ，

再現率 $=$ 全質問に対する正答数 $/$ 全質問の正解数の合計,

適合率 $=$ 全質問に対する正答数 $/$ 全回答数,

と計算した。ここで, 正答数とは, 回答中に現れた正解の数であり, 全回答数は, 全質問に対する回答数である。表中の MMF は上記の再現率, 適合率から求めた値ではなく, それぞれの質問のMF 値の全質問平均であることに注意されたい.

表 8 より, MMF 值が最も高い秋葉らの手法を, 提案手法と比較するベースライン手法として採用する。

## 5.3.2 提案手法における,「分布数の決定法」及び, 「分布数が三つの場合の正解分布の決定法」 の組合せの決定

提案手法では回答は 4.4 節の式 (5) で求められる閥値以上のスコアを持つ解候補を回答とする.ここで，「分割する分布数の決定法」及び，「分割されたいくつかの分布のうち，どこまでを正解分布とするかの決定法」についてそれぞれいくつかの候補が存在する。本節では，開発セットを用いて,「分布数の決め方」と「分布数が三つの場合の正解分布の決め方」の最も良い組合せを選ぶ.

分布数が二つの時は，スコアの大きい方の分布が正解分布となる. 分布数が三つの時の正解分布の決め方として，以下の三種類を検討する.

固定 (1) 最もスコアが大きい分布を正解分布とする.

固定 (2) スコアが大きい方から二つ目の分布までを正解分布とする.

可変隣接分布の平均値の差が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする）).

また，分布数の決定法は以下の場合を検討する。

・ 分布数をあらかじめ決定しておく.
- 4.3 節の分布数決定指標 1 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 を用いて分布数を決定する.

・ 4.3 節の分布数決定指標 3 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 と 3 の両方を用いて分布数を決定する. 分布数決定指標 2 と同 3 の両方で分布数が三つと判定された質問だけを分布数が三であると仮定し，それ以外は分布数を二と仮定する。

各候補の組合せを表 9 に示す。表 9 では，それぞれの設定において，パラメ夕調整用のセットで調整する必要があるパラメ夕名を併せて示している.

分布数決定指標 2 のパラメタ $T h_{q}$ はパラメタ調整用の質問セットを用いて，値を 1 から 10 まで 0.5 刻みで変えて実験した結果，式 (22)の通りに決定した。また，分布数決定指標 3 のパラメタ $T h_{\mu_{r}}$ はパラメタ調整用の質問セットを用いて, 值を 0.01 から 0.2 まで 0.01 刻みで変えて実験した結果，式 (23)の通りに決定した.

$
\begin{gathered}
T h_{q}=2.5 \\
T h_{\mu_{r}}=0.15
\end{gathered}
$

「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度を表 10 に示す.

表 10 より, 最も MMF 值が高い, 「分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とする手法」を最終的な提案手法とする.

## 5.3.3 提案手法とベースライン手法の精度比較

評価用の質問セットを用いて，5.3.1 節及び5 5.3.2 節で選んだベースライン手法と提案手法の

表 9 提案手法の「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の

} & \multirow{2}{*}{ なし } & 固定 & なし \\

設定の組合せ
精度の比較を行なった. ベースライン手法は秋葉らの手法 (秋葉他 2004) である. 提案手法は, 4.3 節の分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とし， 4.4 節の式 (5) で求められる閾値以上のスコアを持つ解候補を回答とする手法である. 分布数決定指標 2 のパラメタ $T h_{q}$ の値は 2.5 である.

結果を表 11 に示す.

表 11 より，提案手法の MMF 值がベースライン手法を若干上回っていることが分かる。たたし, この差に統計的有意差は無く（ウィルコクソンの符合付順位和検定（両側検定）での $\mathrm{p}$ 值 $=0.453)$, 同等の精度であるといえる。一方で，再現率と適合率を見ると，再現率には大きな差がないのに対し，適合率は提案手法の方が大きく勝っている。再現率を下げずに平均回答数を少なくすることに成功していることが分かる.

表 10 開発セットにおける,「分布数の決定法」と「分布数が三つの時の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度

 & 再現率 & 適合率 & 平均回答数 & MMF \\

表 11 評価用セットにおける，提案手法とベースライン手法の精度比較

## 5.4 スコアの分布に正規分布以外の分布を使った時の求解精度

本研究では，スコアの分布として，正規分布を仮定して分布を求めていた。これは, 統計学における中心極限定理に根拠をおいている。しかしながら，正規分布による近似が最適であるという保証はない.

一方, 言語処理において, 単語の出現頻度の確率分布は, ポアソン分布に近似できるといわれている。ポアソン分布は, 一定の期間や一定の大きさの空間において, ごく稀に起こる現象の確率分布であるそこで本節では，スコアの確率分布をモデル化する正規分布以外の分布として, ポアソン分布を仮定し, 正規分布の場合と同様の求解手順により求められた解の精度を調べることとする.

ポアソン分布は二項分布の特殊例で, 二項分布の期待値と分散が等しい場合となる。ポアソン分布の式は以下のように表される.

$
p(x)=\frac{e^{-\lambda} \cdot \lambda^{x}}{x !} \quad x=0,1,2 \cdots
$

ここで， $\lambda$ は平均値で， 0 以上の値をとる．解候補スコアの分布をポアソン分布と仮定して，同じように EMアルゴリズムで分離した。ポアソン分布は離散分布であるので，解候補のスコアを非負の整数で表現する必要がある。そこで，最大值を 100 とするために正規化スコアを 100 倍し，小数点以下は四捨五入したものを用いた.

## 5.4.1 仮定する分布の違いによるスコア分布の違い

図 6(a) は優先順位型質問応答システムが出力した, 上位 30 件の正規化した解候補スコアのヒストグラム（ヒストグラムのデータ区間は 0.04 毎）であり，実線はハニング空関数を用いてスコアの密度分布を求めたものである（ハニング密関数の窓幅は 0.02 ). 図 6(b) は正規分布, ポアソン分布それぞれの混合分布でスコア分布を近似したものである。 ハニング窓関数を用いて求めた密度分布がだいたい三つの分布から成り立っているように観察できるため, 分布数は三つとしている. 正規分布の混合分布とポアソン分布の混合分布を比べると, ポアソン分布の混合分布の方が，なだらかに変化しており，分布の切れ目が判断しづらい. 図6(a)のハニング空関数を用いて平滑化したものと図 6(b) の各分布を比べてみると, 正規分布で近似したもののほうが類似しているのが見てとれる。このことから, 正規分布の方がより正確に近似できていると言えそうである。この違いは，ポアソン分布のパラメタ数と正規分布のパラメタ数の差から来ている。ポアソン分布ではパラメタが平均値 $\lambda$ のみであるのに対し, 正規分布では平均值 $\mu$ と分散 $\sigma^{2}$ があるため, 実際のスコア分布に対する近似はパラメ夕数の多い正規分布の方が優れていると考えられる。

(a) スコアのヒストグラム

解候補スコア (最大值100)

(b) 混合分布

図 6 仮定するスコアの分布による混合分布の違い

## 5.4.2 ポアソン分布を仮定した場合のリスト型質問応答

解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の違いを比較する。用いた質問の内訳は 5.1 節と同様で，パラメ夕調整用の質問は， QAC1の 1〜50 問目と 101 150 問目及び $\mathrm{QAC} 2$ の 51 150 問目の計 200 問（平均正解数 2.31 個）である。評価用の質問は, QAC1の 51〜100 問目と 151〜200 問目及び QAC2 の 1〜50 問目と $151 \sim 200$ 問目 （うち一問が不適切な質問とされている）の計 199 問（平均正解数 2.33 個）である.

まず， 4.2 節の分離指標を用いて，回答が適切に見つかっている質問の判定ができるかどうか
実験を行なった。分離指標に関する各パラメタは予備実験の結果，以下のように決定した。予備実験ではパラメ夕調整用の質問セットを用い，それぞれの閾値を 0.01 単位で動かした時に，正解が適切に求められている質問（解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.2 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

ここでは，すべての質問において，解候補のスコア分布は，三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている。結果を表 12 に示す.

表 12 より, 分布の分割が明確な場合と不明確な場合とでMMF に差がでており, ポアソン分布を仮定した場合にも，正解が適切に見つかっている質問を判定するのに分離指標は有効であるといえる。ただし，この結果は表 1 とは少し違い, 分布の分割が不明確な質問のMMFがかなり低く，どちらかといえば，正解が適切に見つかっていない質問の判定に適しているといえる.

次に, 解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の, リスト型質問応答としての精度の違いを比較する。ここでは，すべての質問において，解候補のスコア分布は, 三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

結果を表 13 に示す. 表中の再現率と適合率の値については 5.3 節でのものと計算法は同じである.

表 13 より，MMF にやや差がでており，正規分布を仮定した場合の方が精度が良くなっている。ただし，ポアソン分布を仮定した場合と正規分布を仮定した場合とでは，MF 值について， ウィルコクソンの符合付順位和検定（両側検定）を行った結果，統計的有意差は認められなかった $(p=0.089)$. また，ポアソン分布を仮定した場合と正規分布を仮定した場合の平均回答数は,

表 12 ポアソン分布を仮定した時のスコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 13 スコアの分布とリスト型質問応答の精度の違い

表 14 ポアソン分布を仮定した際の，スコアの分布が二つに分離できると判断するための各尺度の相関関係

ポアソンを仮定した場合の方が少なめである。再現率と適合率を見ても，平均回答数が少なめのポアソン分布の方は適合率が高くなっており, 平均回答数が多めの正規分布ではポアソン分布を仮定した場合と比べ, 再現率が高く, 適合率が低くなっており, 傾向が違っているのが観察される。

## 5.4.3 ポアソン分布を仮定した際のスコアの分布がニつに分離できると判断するための各尺度 の相関関係

5.2 節と同様に，ポアソン分布を仮定した際のスコアの分布が二つに分離できると判断するための各尺度と最大 $\mathrm{MF}$ 值の相関係数を求めた。用いた質問は, 5.2 節と同様, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1〜50 問目と 151～200 問目（うち一問が不適切な質問とされている) の計 199 問である.

その結果を表 14 に示す. 表中の値はピアソンの相関係数である。 $\mu_{\text {diff }}(2)$ は，スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している.

表 14 より, 5.2 節での結果と同様の傾向を持つ結果となっているのが分かる. この結果より, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差や, スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，という尺度は，ポアソン分布，正規分布のいずれの分布を仮定した時でも有効な指標であると考えられる.

## 6 考察

## 6.1 スコアの分布の分割の有効性

5.1 節から 5.3 節の結果より, 提案手法は, ベースライン手法の候補の中で最も優れていた秋葉らの手法 (秋葉他 2004) と同等以上の精度があることが分かった. さらに秋葉らの手法に対し，スコアの分布を求めることにより，正解が適切に見つかっている質問を判定できるという点で，本手法は優れている.

4.2 節で提案した分離指標を用いてスコアの分布が明確に分離できるかどうか判断し，正解が適切に見つかっているか否かの判断をすることは可能であるということが分かった. しかし，正解が適切に見つかっている質問を全て抽出できているわけではない. 例えば， 1 位に正解があるような例でも適切に判断できないこともある。これは，解候補のスコアの分布が明確だと判断する条件をある程度厳しくしている為だと考えられる。条件を厳しくしているのは確実な質問についてのみ求解を行なうためである。判断の基準を変えることによって，より確実な質問に重点をおくのか，正解を見つけられていない質問を見つけることに重点をおくのかなどの調整は可能である。

さらに， 4.3 節に示した分布数決定指標のうち, 経験則である分布数決定指標 2 を用いた手法が最も有効であることが分かった. しかし， MDL を用いた分布数決定法は有効でないことが分かった。この理由の一つとして，MDLの計算に用いるパラメタ数がある。一つの分布につきパラメ夕は, 混合比, 平均値, 分散と三つあるため, 分布が一つ増えただけでパラメ夕数の増大が大きく，MDL 值が大きくなりやすくなるため多くの質問のスコア分布が二つと判定されてしまったと考えられる。しかし，それ以外の，精度が良くない原因については現在調査中であり，今後の課題としたい.

## 6.2 スコアの分布として仮定した確率分布の違いによる結果

スコアの分布としてポアソン分布として仮定した場合，正規分布を仮定した場合と比べて 5.4 節の結果より以下のことが言える.

（1） 正規分布を仮定したときと同様に， 4.2 節で提案した分離指標を用いて，正解が適切に見つかっている質問を判定することが可能である.

（2）正解が適切に見つかっていると判断された質問については，正規分布を仮定した場合と同等の MMF である.

（3）正解が適切に見つかっていないと判断された質問については，MMFはとても低い.

（4）全体として，ポアソン分布を用いてリスト型質問応答を行ったときと，正規分布を用いた時では, ポアソン分布を仮定した時の方が平均回答数が少なく, MMFがやや悪くなっている.

## 7 おわりに

本稿では, リスト型質問応答処理にスコアの分布を用いる手法を提案した. リスト型の回答を作る際に, 解候補のスコアの分布を求めることにより正解が適切に見つかっている質問の判定をする手法も提案した。

我々は，優先順位型質問応答システムの出力する解候補群のスコアをまずいくつかのクラス
夕に分けることを考え，それぞれのクラスタを一つの確率分布と考えた．さらに，正解集合のスコア分布と不正解集合のスコア分布に明確に分割できる場合には，その質問の回答が適切に見つかっていると判断できると考えた。この考えを基に，正解集合に含まれる解候補を回答とするための正解判定法と，二つの分布が明確に分割できるかどうか判断するための分離指標を用いる手法を提案した。

これらの手法は解候補の頻度情報を用いた, 頻度によるスコアの上がり具合を調整する多数決方式を用いたスコアの分布に有効であることが分かった．また， スコアの分布を用いた正解判断指標は他の単純な指標に比べて精度が高かった。正解判断の指標をスコアの分布により使い分けることも有効であるということも分かったが，使い分けるための有効な手法を検討する必要がある。

今後は, 正解が存在しない質問への対応が課題である。また, 本手法で正解が適切に求められていないと判定された質問に対して，解候補の最順位づけなどを行なうことによって，精度の向上が期待できる. Parger et al (Prager, Duboue, and Chu-Carroll 2006)は, 解候補を用いて質問文中のキーワードを解答とする新たな質問文を作り，解候補の検証を行なうことによって，解候補候補の再順位づけ及び正解無しの判定を行なう手法を提案している. 本手法で正解が適切に求められていないと判定された質問に対して, このような手法が有効であるか検討したい.

## 参考文献

Bos, J. (2006). "The "La Sapienza" Question Answering system at TREC-2006." In The Fifteenth Text REtrieval Conference Proceedings.

Burger, J. D. (2006). "MITRE' s Qanda at TREC-15." In The Fifteenth Text REtrieval Conference Proceedings.

Clarke, C. L., Cormack, G. V., and Lynam, T. R. (2001). "Exploiting redundancy in question answering." Proceeding of SIGIR' 01: the 24th Annual International ACM SIGIR Confersnce on Reserch and Development in Information Retrival.

Dong, H. T., Lin, J., and Kelly, D. (2006). "Overview of the TREC 2006 Question Answering Track." In The Fifteenth Text REtrieval Conference Proceedings.

Fukumoto, J., Kato, T., and Masui, F. (2002). "Question Answering Challenge (QAC-1) — Question answering evaluation at NTCIR Workshop 3 -." In Proceedings of the Third NTCIR Workshop Meeting, pp. 1-6.

Fukumoto, J., Kato, T., and Masui, F. (2004a). "Question Answering Challenge for Five Ranked Answers and List Answers - Overview of NTCIR4 QAC2 Subtask 1 and 2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Fukumoto, J., Niwa, T., Itogawa, M., and Matsuda, M. (2004b). "Rits-QA: List Answer Detection and Context Task with Zero Anaphora Handling." In Proceedings of the Fourth NTCIR Workshop Meeting.

Harabagiu, S., Moldovan, D., Clark, C., Bowden, M., Williams, J., and Mensly, J. (2003). "Answer Mining by Combining Extraction Techniques with Abductive Reasoning." In The Tewlfth Text REtrieval Conference Proceedings.

Mori, T. (2004). "Japanese Q/A System using A* Search and Its Improvement: Yokohama National University at QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2004). "Japanese Question-Answering System Using Decreased Adding with Multiple Answers." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2005). "Use of Multiple Documents as Evidence with Dcreased Adding in a Japanese Qusetion Answering." In Journal of Natural Language Processing Volume 12 Number 2.

M.Voorhees, E. (2001). "Overview of the TREC 2001 Question Answering Track." In The Tenth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2002). "Overview of the TREC 2002 Question Answering Track." In The Eleventh Text REtrieval Conference Proceedings.

M.Voorhees, E. (2003). "Overview of the TREC 2003 Question Answering Track." In The Tewlfth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2004). "Overview of the TREC 2004 Question Answering Track." In The Thirteenth Text REtrieval Conference Proceedings.

M.Voorhees, E. and Dong, H. T. (2005). "Overview of the TREC 2005 Question Answering Track." In The Fourteenth Text REtrieval Conference Proceedings.

Prager, J., Duboue, P., and Chu-Carroll, J. (2006). "Improving QA Accuracy by Question Inversion." In Proceeding of the 21st International Conference on Comoutational Linguistics and 44th Annual Meeting of the ACL.

Rissanen, J. (1999). "MDL Denoising." In IEEE Trans. Information Theory.

Takaki, T. (2004). "NTT DATA Question-Answering Experiment at the NTCIR-4 QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Xu, J., Licuanan, A., and Weischendel, R. (2003). "TREC2003 QA at BBN:Answering definitional questions." In The Tewlfth Text REtrieval Conference Proceedings.

加藤恒昭, 桝井文人, 福本淳一, 神門典子 (2004). “リスト型質問応答の特徵付けと評価指標."自然言語処理研究会報告 2004-NL-163, 情報処理学会.
秋葉友良, 伊藤克亘, 藤井敦 (2004). “質問応答における常識的な解の選択と期待効用に基づく回答群の決定." 自然言語処理研究会報告 2004-NL-163, 情報処理学会.

## 略歴

石下円香：2006 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 同年同専攻博士課程後期進学, 現在に至る. 自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師、同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACM 各会員.


# コーパスに基づくがん用語集合の作成と評価

がん患者に対する情報提供の適正化のため，がん情報処理を可能にする言語基盤で あるがん用語辞書を，医師による人手で作成した。権威あるコーパスとして国立が んセンターのウェブ文書を用い, 延べ約 2 万 6 千語を収集し, 用語候補の集合 Cc (Cancer Terms Candidate : 語彙数 10199 語)を得た. 10 種のがん説明用コンテンツ を対象とした Ccの用語の再現率はそれぞれ約 $95 \%$ 以上であった。次に一般語やが ん医学用語との関係と用語集としての整合性から用語選択基準（ $\mathrm{T} 1:$ がんそのもの を指す，T2：がんを想起させる用語， T3：T2の関連語， T4：がんに関連しない語の うち， T3までを採用する）を作成し，Ccに対して適用，93.7\%が基準に合致し 690 語を削除，9509 語をがん用語 C として選択した。選択基準に従って作成した試験用 ワードセットを医師に示すことで, 用語選択基準を評価した。その結果， T1と (T2， $\mathrm{T} 3, \mathrm{~T} 4)$ の 2 つに分割した場合と (T1, T2), (T3, T4) 分割した場合で一致係数 $\kappa$ が 約 0.6, $\mathrm{T} 1, \mathrm{~T} 2,(\mathrm{~T} 3, \mathrm{~T} 4)$ の 3 つに分割した場合は約 0.5 であり, 選択基準を明示せ ずに単に用語選択を行った場合の $\kappa$ 值 0.4 に比べて高値であったことから, 本研究 で提案するがんとの関連性に基づいた用語選択法の妥当性が示された。さらに，既存の専門用語選択アルゴリズムにより得られた用語集合 (HN) と本研究で得られた 用語集合 (C) を比較したところ，HNでの再現性は $80 \%$ 以上と高値だが，精度は約 $60 \%$ であり, 本研究のような人手による用語選択の必要性が示された. 以上のこと から, 専門性の高い, がんに関するような用語集合を作成する場合, 本研究で行っ た, 信頼性の高いコーパスを用い, 専門家の語感を信用して, 中心的概念からの距離感を考慮した用語選択を行うことにより，少人数でも妥当性の高い専門用語集合 の作成が可能であることが示された。

キーワード: がん用語, 専門用語辞書, 医学用語
## Establishment of Corpus-based Cancer Specific Term Set and its Characteristics

 \\ AKira Shimazu ${ }^{\dagger \dagger}$ and Yoshinori SaKa $I^{\dagger \dagger \dagger}$
}

For providing the appropriate cancer information to patients, we made the Corpusbased Cancer Term Set as the basic linguistic infrastructure for analyzing cancer contents. The specific terms of cancer was carried out by the qualified medical doctors by cutting out each word using the whole web contents of the National Cancer Center

as the authorized corpus. Out of over 26,000 words that were carried out, 10,199 terms were finally collected as the Cancer Terms Candidate (Cc.) This term set covers $96.5-99.5 \%$ of 10 different kinds of cancer content, which is enough for analysis. Considering the contrast between this cancer word set and other word set, such as general words, general medical words and proper nouns, the $\mathrm{Cc}$ was investigated based on selection standards. As a result, 93.7\% terms of Cc was selected into the new word set "C." Secondly, based on the relationship between general terms and cancer/medical terminology, as well as on the consistency of the glossary, the selection criteria (T1: Cancer itself, T2: Terms directly related to cancer, T3: Terms related to both T1 and T2, and T4: Terms of unclear relations to cancer) were proposed. As they were adapted to Cc, $93.7 \%$ met the criteria, 690 words were removed, and 9,509 were selected as the $\mathrm{C}$ word in terms of cancer. These terms were selected according to the criteria to create the word set for doctors to test, which indicates that the criteria for selection were indirectly evaluated. As a result, in two cases where the word set was split into $\mathrm{T} 1$ and (T2, T3, T4,) and where it was split into $(\mathrm{T} 1, \mathrm{~T} 2)$ and $(\mathrm{T} 3, \mathrm{~T} 4)$, coefficient of contingency, " $\kappa$," was 0.6 . And in case where into the word set was split into T1, T2, (T3, T4) was 0.5 . And in case where into the word set was split into $\mathrm{T} 1, \mathrm{~T} 2,(\mathrm{~T} 3, \mathrm{~T} 4)$ was 0.5 . These " $\kappa$ " values were higher than in the different test; making the simple question "Cancer word or not." Thus, the selection and classification of T1 and T2 terminology is plausible. Furthermore, the comparison analysis of detected words were performed for original several cancer corpus using HN : (auto-specific-word-selecting algorithm (Gen-Sen-Web)) and C. As the result, the recall rate of $\mathrm{HN}$ for $\mathrm{C}$ was around $80 \%$, however the precision rate of $\mathrm{HN}$ for $\mathrm{C}$ was around $60 \%$. Thus, these automatic word selecting methods are useful for evaluation of consistency for $\mathrm{C}$. However, the reducing the ignore words selection must be required for those systems. Therefore, it was suggested that this method enabled us to create a low-cost, feasible cancer-specific term set. Thus, the selection and classification of T1 and T2 terminology is plausible. Therefore, it was suggested that this method enabled us to create a low-cost, feasible cancer-specific term set.

Key Words: Cancer Words, Special Word dictionary, Medical Words

## 1 はじめに

がんの患者や家族にとって，がんに関する情報（以下，「がん情報」と呼ぶ）を知ることは非常に重要である。そのための情報源として，専門的で高価な医学書に比べて，ウェブ上で提供されているがん情報は, 容易に入手可能であり, 広く用いられるようになってきている (山室 2000; 野口 2000). これら Webで公開されているがん情報は, 良質で根拠に基づいたものばかりではなく, 悪質な商用誘導まで存在する (Wendy A. Weiger, 坪野 2004; Humphrey and Miller 1987).このような多量のがんに関する文書の中からその文書が何を述べているかの情報を抽出

し，良質ながん情報を選別し取得されるがん情報の質を向上させることが求められている。このように，がんに関する文章について，自然言語処理を適用することにより，がんに関して有用な結果を得るための情報処理を，本稿では，がん情報処理と呼ぶ。

がん情報処理のためには，がんに関する用語（以下，がん用語と呼ぶ）の網羅的なりスト，すなわち，網羅的ながん用語集合が必要である。なぜなら，もし，網羅的ながん用語集合が存在すれば，それを利用することにより，がんに関する文書の形態素解析や情報検索等のがん情報処理の精度が向上することが期待できるからである。しかし，現状では，内科学や循環器学等の分野の用語集合は，それぞれの関連学会により作成されているが，がん用語集合は存在しない. そのため, 本研究では, がん用語集合を作成するとともに, がんだけでなく, がんとは別の分野における用語集合の作成にも適用できるような, 用語集合作成法を提案することを目標とする。

高度ながん情報処理の例としては,「胃がん」や「肺がん」などの単純な検索語から検索エンジンを用いて得られたコンテンツが，一体，どのような意味を含んでいるのかを推定することなどが想定できる。そのような処理のためには，「胃がん」や「肺がん」などのがんの病名だけをがん用語としていたのでは不十分である。少なくとも，「肝転移」や「進行度」のようながんに限定的に用いられる語から，「レントゲン写真」や「検診」のように，がんだけに用いられるわけではないが関連すると思われる語もがん用語とする必要がある。なぜなら，「胃がん」や「肺がん」で検索した文書は，既に，「胃がん」や「肺がん」に関係することは明らかであるから， そこから更に詳細な情報を獲得するには，「胃がん」や「肺がん」よりも，もっと詳細な用語を利用する必要があるからである.

このように，がん情報処理のためには，「胃がん」や「肺がん」等のがんに関する中核的な用語だけでなく，がんに関連する用語や周辺的な用語も網羅的に採用すべきである。ただし，「網羅的」といっても，がんとの関連度が低すぎる語をがん用語集合に加えるのは， 望ましくない， そこで，病名などの中核的意味を示す用語から一定以内の関連の強さにある用語のみから，が几用語集合を作成し，それ以外の語に関してはがんとの関連性が低いと考える。

このような関連の強さに基づくがん用語集合を作成するためには，まず，「がん」という疾患の性質を考慮する必要がある。「がん」は図 1 のように，胃がん，肺がんをはじめとする複数の疾患群（50 個以上の疾患）の総称であると同時に，他の疾患とも関わりがある。例えば，図 1 の下部分に示したタバコは，肺がんの直接のリスク要因であることが知られているが，それだけでなく, 動脈硬化を引き起こし, 心筋梗塞や脳梗塞などの成人病を起こす危険因子としても知られている。ただし，夕バコによって引き起こされる動脈硬化が原因で起こる心筋梗塞や脳梗塞は，直接肺がんとは関係しない，そのため，「夕バコ」はがんに関連するが，「心筋梗塞」や 「脳梗塞」はがんに関連しない。

また，図 1 の上部分に示した肝障害に関連する疾患と密接に関係する「肝がん（肝臟がん）」

図 1 がんとがんに関する疾患の関係の例

は，肝硬変やウィルス性肝炎から直接発病する場合もある。そのため, 肝硬変やウィルス性肝炎は，がんではないが，がんに関連する疾患であり，これらの内容が記述されているコンテンツは，がん関連用語を含む可能性が高い，そのため，肝がんに関連する用語候補を得るためには, 図 1 の上の斜線で示した部分である「がん関連用語」を収集する必要がある。つまり，肝がんに直接関係する用語だけではなく, 肝硬変やウィルス性肝炎などの関連する疾患に関係する用語であっても，肝がんに間接的に関係する用語は含める必要がある。（「がんに関係する」ということの定義については， 3 節で詳述する.）さらに，がんにおける用語の範囲は，それぞれのがんにより異なるためアプリオリな定義を行うことは困難である。そのため，内省により用語集合を作成するのではなく，実際に存在するコーパスから用語を収集することが望ましい.

がん用語の一部は，例えば「リンパ節」や「転移」のように，一般用語辞書（例えば ChaSen 用の ipadic ver. 2.7.0) や, 医学用シソーラスである MeSH(National Library of Medicine 2006) にも含まれている。しかし，これらに含まれるがん用語には，がんに関する用語であるとの説明がないため，これらの用語からがん用語を自動的に選択することはできない．また，がんに関するテキストから，専門用語抽出アルゴリズム (Nakagawa 2000; 佐藤, 佐々木 2003) を利用

して, がん用語の候補を抽出することも考えられるが, 我々の予備実験および 4.5 節の実験によると，このような候補には，がん用語以外のものも大量に含まれる，そのため，既存の一般用語辞書や専門用語抽出アルゴリズムを利用して用語候補を抽出したとしても，妥当な用語集合にするためには，人手によるがん用語の選別が不可欠である。この選別における問題は，選別の妥当性を確保することである。 さらに，選別の対象であるがん用語の候補集合が，なるべく多くのがん用語を網羅していることを保証する必要もある。

がんに限らず，ある分野の用語集合の網羅性と妥当性を保証するためには，内科学や循環器学等の医学の各分野における用語集合について 2 節で示すように，学会単位で多大な人手と時間を費やして作成することが考えられる。しかし，これには多大なコストがかかる，そこで本研究では，相対的に低コストで，網羅的で妥当ながん用語集合を作成するために，まず，国立がんセンターの Webサイト (国立がんセンター http://www.ncc.go.jp/index.html) のコンテンツをコーパスとして，がん用語の語感を持つ医師に候補語彙を切り出させ，がん用語候補集合 (Cc: Cancer Term Candidates)を網羅的に作成する。この国立がんセンターのコンテンツは,同センターががんに関するわが国の最高権威の診療機関であること，50 種類以上のわが国の国民の罹患する可能性のあるほぼ全てのがんに関する記述があることから，がん用語に関する信頼性と網羅性が確保できると考える。な押, 国立がんセンターの Webサイトのコンテンツの信頼性に関して 3.1 節，がん用語の切り出しの一貫性に関して 3.2 節でそれぞれ検討する.

このように本研究では, 用語集合の切り出し元とするコーパスの医学的内容の信頼性と, 記述されている内容の網羅性は十分と仮定して, 用語候補集合 ( $\mathrm{Cc}$ ：Cancer Term Candidates) を作成する，最初の切り出しの段階では，医師の語感に基づいて，用語候補をできるだけ網羅的に広く収集することによって, 初期段階における用語の漏れを防ぐ、次に，これら用語候補の特徵から，がん用語の選択基準を作成し，この基準に基づいて，Cc からがん用語集合 (C: Cancer Terms) を抽出する．最後に，他の医師に選択基準を説明し，評価用の用語候補を分類してもらうことにより，選択基準の妥当性を評価する。ここで，この選択基準は，上で述べたように，病名などの中核的意味を示す用語から一定以内の関連の強さにある用語のみを選ぶための基準である。

なお, 2 節で示すが, わが国では医学のうち内科学や循環器学に関する用語集は存在するが, がん用語集はなく, 本研究で作成するがん用語集は, それ自体が新規である。 さらに, 本研究では, がんだけでなく，他の分野の用語集合の作成にも適用できるような用語集合作成法を提案することを目標とする。な㧍，関連して，コーパスに基づいて辞書を作成したものとして COBUILD の辞書等があるが，医学用語をコーパスに基づいて収集し評価した例はない。

## 2 従来研究

まず，既存の公開されている医学用語集を分類し，本研究で作成するがん用語集合との相違点について述べる. 次に, 内科学と循環器学を例として, これらの用語選択について述べ, がん用語集合の要件について検討する.

## 2.1 既存の医学用語集

表 1 に現在公開されている医学用語集の例を示す.これら用語集を, 公開されている内容に基づいて, 作成者, 対象領域, 公開方法, 見出し語数, 各用語に対する説明の有無, 用語選択の基準公開の別，主な用途の 7 つの観点から分類した. これより，これらの用語集は和英の用語の統一を目的とした対訳辞書（対訳共有）と, 概念の共有を目的とした事典の形式（知識共有）をとるものがあることが分かる.

これらのうち最大のものは, 1 の日本内科学会が編集した用語集だが, この用語集は学会誌などでの学術用語としての用語を統一するために編纂されたものであり, 英語一日本語の対訳辞書である。内科学は医学全般の疾患を網羅的に扱う分野であり，がん用語もこの用語に含まれると考えられるが, 各用語の用例と用語別の出典が明示されておらず，がん用語かどうかを機械的に判定することはできない. 同様に $2,4,5,6,7,8,9,10,11,12$ の用語集には用語の説明と出典がないため, 収録されている用語の選択基準が不明である. 13 の国立がんセンターの公開する「がんに関する用語集」は, 患者や家族に対して, 医療関係者が行う用語の理解を助けることを目的にまとめられたものであるが, 項目数は約 220 であり, 本研究の目的とする, 網

表 1 公開されている医学用語集の例

 & なし & 公開 & 対訳共有 \\

羅的な用語集ではない.

これらの用語集と比べ，表 1 の 3 の合衆国の NCI: National Cancer Instituteの公開している “Dictionary of Cancer Terms"は，項目数が約 5200 であること，それぞれの用語に対する説明が行われており, 説明内容に基づいて用語が選択されていると考えると, 本研究の目的とする,網羅性が高くかつ選択基準が明確な用語集に最も近い。しかし，合衆国とわが国では，疾患分布が異なる（例えば，胃がんは合衆国では稀な疾患である）こと，医学的技術（内視鏡技術はわが国が開発した技術である），社会制度（社会保険の制度が全く異なる）など，様々な相違がある。そのため，必要ながん用語集合が異なる可能性が高い，以上のことから，本研究では，わが国のがん情報処理を可能にするがん用語集合を，実際の用例に基づいて作成する。本研究で作成する用語集合の特徴は，表 1 の 7 つの観点からは，（1）作成者は本研究の著者ら，（2）対象領域はがん，（3）公開方法は未定，（4）見出し語数は日本語約 1 万語，（5）用語説明はなし, （6）用語選択基準は公開，（7）用途はがん情報処理である.

## 2.2 用語選択基準の例について

表 1 で示した医学用語集の中で, 用語選択基準の例として, 日本内科学会と日本循環器学会の基準を図 2 に示す. 内科学や循環器学は, 医学において歴史も古く, 膨大な知識の整理の行われた結果教科書として長年にわたって出版され，それぞれ数千語以上の索引が掲載されており，これらが，用語集を作成する上での言語資源として活用されている．以下，内科学，循環器学を例としてそれぞれの選択基準について述べ，がんに関する用語選択基準について述べる。

内科学会用語集は, 初版（ドイツ語見出しで約 9400 語）に始まり，平成 5 年に出版された第 4 版（英語見出しで約 27,000 語）を改訂した第 5 版（英語見出しで約 35,000 語）のものである.内科学は全ての医学の基礎的領域であり, 約 100 年近い歴史もあることから, 歴史的経過で基礎となる前版の用語に学会の選任した委員（第 5 版の場合, 平成 6 年に各専門分野を代表する計 14 名の理事・評議員）で組織された内科学用語集改訂委員会が約 5 年をかけて, 第 4 版に約 10000 語を追加する形で平成 10 年に第 5 版を出版した。なお, 今回の改訂などでの用語の出典は明示されていない。また, 用語選択の基準に関しては, 「内科学の分野において使用される用語および関係の深い用語」として，専門委員会が選択したものである.

循環器学用語集は平成 20 年 3 月に改訂第 3 版が出版された。この用語集は, 第 2 版（5,638 語）に，数冊の教科書の索引語（合計 19,037 語）を加えて基本用語リスト（24,675 語）を実務委員会が作成し，これに採用の可否を延べ 59 人の委員が判定し， 14,858 語を選択し, 最終案 14,476 語まで合計 3 回の選択を行ったと記述されている.このように循環器学は心筋梗塞から高血圧までの分野があり，それぞれの細分化された領域に専門家が存在するため，学会としてコンセンサスを形成するために，長い時間と多大な労力を必要としたと考えられる。これも内科学同様,「循環器学の分野において使用される用語およびこれに関連の深い用語を採録」とし

## 日本内科学会の内科学用語集での採録基準 (用語採録の原則)

1. 内科学の分野において使用される用語およびこれと関係の深い用語を収録

2. 訳語はできるだけ各関連学会の用語集に従うようにしたが、一部内科学会独自の見解によった。

3. 固有名詞、人名のついた用語は内科学の教科書にみられるものだけを採録した。

4. 解剖学用語、薬品名の採録は前版にならい最小限度にとどめた。

5. 形容詞の採録は最小限にした。動詞は採録しなかった。

6. 新たに「内科で用いられる略語」を収録した。略語の選択にあたっては乱用を避け，国際的に通用することを基準とした。

## 循環器学用語集の採録基準

1. 循環器学の分野において使用される用語およびこれに関連の深い用語を採録することを原則とした。使用頻度が多くても，一般的日常用語, 一般的医学用語は除外した。

2. 他の関連学会の用語集を出来るだけ尊重したが, 循環器学の立場から若干修正を加えたものもあった。

3. 欧語としては, 英語(米式綴りを原則としたが，日常慣用されるラテン語, フランス語なども加えた。

4. 英和編，略語編，和英編とし，見出し語各々，5,631語, 525語, 5,885語とした。

5. 名詞を主としたが, 形容詞, 分詞, 過去分詞, 動名詞等の形容語も最小限に採録した。

6. 旧称, 古語は, 原則として採録しなかった。

7. 英語の用語に対して, 和訳はなるべく一語にするように努めたが，広く使われているものは止むを得ず複数語を採用した。

図 2 網羅的医学用語集の選択基準

ており，採録の用語範囲に関する明確な選択基準は示されていない.

## 2.3 がん用語集合の要件

これら内科学や循環器学などに比べ, がんは医学の比較的新しい領域である。この疾患群は,他の医学領域においても重要な疾患であり，各科別に専門家がそれぞれの専門領域のがんを診断治療してきた。そのため,「がん」という専門領域が認識されだしたのは新しい。日本臨床腫瘍学会が専門医試験を開始したのは平成 17 年からである。 さらに基準となる索引を含む教科書も数少ない. そのため内科学や循環器学のように, 教科書の索引をもとに, 基本的な用語集合を作成するなどの方法で作成することは困難である.

さらに, これら他の疾患の用語集の用語選択の基準から以下のことがわかる.

$\cdot$ 用語集の特徴として
- 主に研究者間での知識共有が目的である

－ 各用語の説明は与えられていない
- 用語選択の基準として

－ それぞれの学問分野に関係が深いと考えられる用語が収集されている
- 用語の選定方法は, 内科学や循環器学という大きな学問領域の中で, 細分化され専門化された各領域の専門家が素案を作成し，全体をまとめている

一人体の部位を示す解剖学用語など，たとえその分野で多用される用語であっても，他の医学領域の用語や一般語は削除されている

これらに対して，本研究で作成するがん用語集合（C）は，がん情報処理を可能にするために，がんに関連する用語であれば，他の医学領域や一般語であっても，実際のコーパスに従って採用する必要がある。例えば，「大動脈周囲リンパ節」の場合，「大動脈」は解剖学用語，「周囲」は一般語, 「リンパ節」も解剖学用語であり, この「大動脈周囲リンパ節」は解剖学用語である。ところが，「大動脈周囲リンパ節への転移」は，がん患者の状態を知るために重要ながん用語である。このような例に対応するために「大動脈周囲リンパ節」もがん関連用語として採用する必要がある。 そこで, 本研究では, 従来研究とは異なり, 解剖学用語や一般用語など範囲を限定せず，コーパスに出現するがん関連用語を網羅的に採用する。

また，従来の用語集では，用語の選定にあたって，専門家が素案となる用語候補集合を作成している，この部分は，本研究では，国立がんセンターのテキストから専門家ががんに関する用語を切り出すことに相当する．国立がんセンターのテキストを利用することにより，本研究においても，従来の用語集と同様に，がんに関係の深い用語の収集が可能になると思われる。なお，本研究で作成する用語集も，用語の説明は行わない.

以上のことから本研究では，国立がんセンターのテキストに出現し，かつ，専門家が，「がんに関係する」という語感によって選択した用語（名詞句）をがん用語の候補とする。その上で，各候補について，実際の用例を検討し，用語選択の基準を作成し，がん用語集合を求める.

## 3 がん用語候補集合 $(\mathrm{Cc)$ の作成}

本研究では，図 3 に示すように，がん情報に関する質の高いコーパスを選定し，これを対象として, 網羅的ながん用語候補集合 Cc を作成する。得られた用語候補の意味と整合性から, 用語選択基準 (SC：Selection Criteria）を作成する。このとき， Cc の抽出の一貫性が十分であるかどうかを元のコーパスを用いて調べる。 Cc（がん用語候補集合）を C（がん用語集合）と Dc （削除用語集合）に分ける。 $\mathrm{C}$ と $\mathrm{Dc}$ から Wt（評価用ワードセット）を作成，これを第三者に

図 3 本研究でのがん用語の収集と評価の過程

提示し，SCの妥当性を検討する，以上により，一貫性をもって抽出された妥当ながん用語集合を作成できると考える。以下，元コーパスの選定，がん用語候補集合 $(\mathrm{Cc})$ の作成， Cc に含まれた用語の実コーパス中での特徴，がん用語の選択基準について述べる.

## 3.1 コンテンツの選定

1 節で述べたように，本研究では，国立がんセンターの Web サイトのコンテンツを対象として, 網羅的な用語候補集合 Cc を作成する。同センターは，わが国の医療情報提供に関しては,最も歴史が長く(Nakagawa, Kimura, Itokawa, Kasahara, Sato, and Kimura 1995), その医療レベルは国内最高であるといわれている。同センターの「各種がんの説明のページ」には，患者や家族を対象として（1）病名，（2）概説，（3）症状，（4）診断，（5）病期分類，（6）治療方法, （7）期待される予後,（8）その他の説明, などの内容が記述されており, 病名別に患者や家族がそれぞれの疾患の知識を系統的に得られるように工夫されている。また，当コンテンツは同センターが情報提供を開始した当初から, 複数の専門家からなる Peer-reviewを導入し, コンテンツ内容に関する検討を行っている。データ量はテキストデータとして約 15 メガバイト, コンテンツ総量は 150 メガバイト（2006 年 10 月に大幅改訂後, 疾患数が 53 から 59 に増加）であり, わが国で最大の情報提供を行っている.

この他に, がんに関する情報源として, 世界的に有名なものとして, 合衆国の National Cancer Institute (NCI) の PDQ(National Cancer Institute (NCI) 2007)がある.しかし, PDQは白人などの欧米人に対しての記述であり，わが国の状況について記述したものではないので，わが国におけるがんの状況に対応した用語辞書を作成したいという目的には適さない。わが国でも

これを和訳し提供しているサイトも存在する ((財) 先端医療振興財団 2009). 本サイトはがん情報としては有用だが，NCI の全てを翻訳しているわけではないので，量の点で国立がんセンターに及ばない。

また，医師に対する専門知識を提供する民間の有料コンテンツ (山口，北原 2004) は，標準的な医療の指針を与える知識べースとして広く医師に使われている。しかし，医師をはじめとする医療関係者に対して，専門用語のみで，診断方法や治療方針を説明するものであり， ウェブ上で提供されているような一般人を対象とした情報提供内容をも対象としたい今回の目的には適さない，以上のことから，国立がんセンター (www.ncc.go.jp) を信頼性の高いコンテンツとして選択する。

## 3.2 がん用語候補集合の作成

がん用語候補集合の作成について述べる。まず，2006 年 6 月に同センターが情報提供を行っているコンテンツのうち，各種がんに関して説明を行っている 53 疾患分「各種がんの説明のページ」（約 1.5 メガバイト）を，それぞれの疾患の説明別にテキストファイルを作成した。それぞれの疾患別のテキストファイルに対して, 医師免許を持ち, 臨床経験のある専門家である本稿の第一著者が用語の切り出しを行った. なお, わが国の医師は 6 年間の専門教育を受け, 内科や外科を問わず全分野から出題される数百問からなる国家試験に合格していることから，一定の語感を共有しており，その用語選択はある程度の代表性を持っていると考える。ここで，用語切り出しは，「がんに関連する用語」として認識する語を幅広く網羅するように，名詞句を中心として網羅的に切り出し，がん用語候補集合 Cc1 を作成した．得られた Cc1 の異なり語数は 3313 語であった. なお，これらコンテンツは，1ページあたり約 2000 字から 15000 文字，ファイルサイズとして $10 \mathrm{~K}$ (5000 文字) から $30 \mathrm{~K}$ バイト（15000 文字）であり，切り出しに要した時間は $10 \mathrm{~K}$ バイトあたり約 $30 \sim 45$ 分であった。また，切り出し語数は 1 疾患あたり $150 \sim 350$語であった。

Cc1 作成時の異なり語数の成長曲線 (growth curve) を図 4 に示す. 図 4 の横軸が, 抽出を行った「肺がん」「胃がん」などの疾患の数，縦軸がそれぞれの疾患のコンテンツから抽出した用語を足し合わせた時の異なり語数である。これによると疾患数の増加により，その疾患における固有の用語が増加分となるが，疾患数 30 個前後で増加率は鈍化しており，50 個前後でゆるやかになっている。これは，がんに関する共通語彙の存在によると思われる。例えば，「CT 検査」 や「手術」「化学療法」などは, 多くのがんで使用される語である。これに比べて疾患固有のものは多くないため新規語の増加率が鈍化すると考えられる。本図からも, 53 疾患の約半数の 30 疾患前後で約 $80 \%$ の用語が出現している。これにより, 用語の切り出しの対象とするコーパスの網羅性（本研究の場合、コーパスの説明しているがん情報の内容）を大きくすることによって，がんに関連する用語を十分網羅的に収集することができると考えた。

図 $4 \mathrm{Cc} 1$ 作成時の疾患数別 Growth Curve

なお,この国立がんセンターのコンテンツは, 2006 年 10 月に行われた大幅改訂に伴い, 疾患数も追加され, 53 から 59 となった。そのため, より網羅性を高くすることと関連用語も含めた用語収集を目的とし, 疾患別だけではなく全ぺージ（データ量は合計約 250 メガバイト，テキストとして容量約 15 メガバイト）から，延べ 29,500 語を切り出し，用語候補集合 Cc2（9,451 語）を得た.このようにして得られた用語候補集合 $\mathrm{Cc} 1, \mathrm{Cc} 2$ の和をとり，がん用語候補集合 Cc (Cancer term Candidates, 10199 語) を得た。

## $3.3 \mathrm{Cc$ に含まれた用語の実コーパス中での特徴}

ここでは，Cc に含まれる用語の特徴や性質を明らかにするために，実際のコーパスからどのような用語が収集されたか，それらはどのような特徴を持ち，どのようにがんと関連性があるのかについて述べる.

## 3.3.1実コーパスからの Ccへの用語収集の例

本研究で用いた実コーパスの例（図 5 の文例 1 ）から, 専門家（本稿の第一著者）が, がんに関連すると思われる用語候補（Ccに含まれる語）を，網羅的に選んだ例を図５の下線により示す.

文例 1 の文章全体は膨大であり，肺がんの（1）病名，（2）概説，（3）症状，（4）診断， (5)病期分類，（6）治療方法，（7）期待される予後，（8）その他の説明が含まれる。ここでは，以下の文例 1-1, 1-2, 1-3 の 3 つの部分を用いて説明する.

文例 1-1：（1）病名と（2）概説を行っている部分

## 文例1

## $=\underline{\text { http://ganjoho.noc.go.jp/pub/med info/cancer/010202.html }$}

文例 $1-1$

肺がんはいがん掲載日:1995/11/06 更新日:2006/10/01

1. 肺がんとは 1）肺の構造と働き肺は呼吸器系の重要な臓器であり、藏、気管、食道などからなる絎隔（じゅうかく）という部分を挟んて胸の中に左右 2 つあり、左肺、右肺と呼ばれています。右肺は葉と呼ばれる 3 つ部分からなり (上葉、中葉、下葉)、左肺は右肺よりわずかり小さく上葉と下葉に分か: れています。肺は身体の中に酸素を取り入れ、酉酸炭素を排出します。空気は口と鼻から頤・喉頭を経て気管を通り、気管支と呼ばれる左右の管に分か氺左右の肺に入ります。気管支は肺の中で細気管支と呼ばれるより細管に分枝し、木の枝のように肺内に広がり、末端酸素と三酸化炭素を交換する肺胞と呼ばれる部屋となっています。

## (中略)

文例 $1-2$

4）肺がんの組織分類肺がんは、小細胞がんと非細胞がんの２つの型に大きく分類されます。非小細胞肺がんは、さらに腺がん、扁平上皮がん、大細胞がん、腺扁平上皮がんなどの組織型に分類されます。肺がんの発生しやすい部位、倠行形式と速度、症状などの臨床像は多彩ですが、これも多くの異なる組織型があるためです。腺がんは、我が国で最も発生頻度が高く、男性の肺がんの $40 \%$ 、女性の肺がんの $70 \%$以上を占めています。通常の胸部のレントゲン写真で発見されやすい「肺野型」と呼ざれる肺の末梢に発生するのがほとんどです。肺がんの中でも他の組織型に比一臨床像は多彩で、進行の速いものから進行の遅いものまでいろいろあります。次に多、扁平上皮がんは、男性の肺がんの $40 \%$ 、女性の肺がんの $15 \%$ 。占めています。気管支が肺に入った近くに発生する肺門型と呼ばれるがんの頻度が、腺がんに比べて高くなります。大細胞がんは、一般に堌殖が速く、肺がんと診断された時には大きながんであることが多くみられます。小細胞がんは肺がんの約 $15 \sim 20 \%$ 占め、壃殖が速く、脳・リンハ節・肝蔵・副腎・骨などに転移しやすい悪性度の高いがんです。

## (中略)

文例 $1-3$

また、受動契煙によって、肺がんのリスクが高くなるという科学的根拠は十分あると評価され、受動咖垔がない者に対し、20～30\%程度高くなると推十されています。その他、アスベスト、シリカ、砒素（ひそ)、クロム、コールタール、放射線、ディーゼル排ガスなどの職業や一般環境での曝露 (ばくろ)、さらに、石炭ストーブの然尭や不純物の混ざった植物油の高温調理により生じる煙 (中国の一部地域)、ラドンなどによる室内環境污染も、肺がんのリスク要因とする根拠は十分とされています。

## (後略)

図 5 がん情報提供コンテンツからの用語候補切り出し例（肺がん）

## 文例 1-2: 肺がんの組織分類（種類による分類）

文例 1-3: 肺がんの原因に関して説明している部分

本例では，網羅的用語収集のため，「肺がん」などの明らかにがんに関係する名詞句だけではなく,「肺がんのリスク」などの名詞句や，「空気」「ラドン」などの一般名詞, 内科学会の選択基準では除外されている「肺」「気管」など解剖学用語も選んでいる。結果, 文例 1-1 から 25 語, 1-2 から 33 語, 1-3 から 21 語の合計 79 語が切り出された.

## 3.3.2 Ccに含まれた用語候補の種類

得られた用語を理解しやすくするために，表 2 に各用語候補の重複を除き，どのような医学上の概念に関連するかを（医師免許をもつ第 1 著者が）想起したものを「種別」として付記したものを示す.これら用語の「種別」を付加することは，理解を助けるためや，用語間の整合

表 2 文例 1 からがん用語候補として切り出された語と種別

性を調整する場合に有用である。例えば，「病名」に分類される語はがん用語の中心的な概念を示すことが多い。これに対して「一般語」は，がんに関係する用語ばかりとは限らないなどである。これらの種別を $\mathrm{Cc}$ の用語全てに付加することは，膨大な労力を必要とし，異なる専門家間のコンセンサスを得ることが困難であるため今後の課題とするが，用語が一般的な医学的知識の中でどのような範疇に入るかを大まかに理解することが可能になること，各種別内での用語の比較が可能になり，整合性をとりやすくなることから利便性が高い.

表 2 に出現した語では，「肺がん」は病名（病名）であり，「肺」，「肺の構造」、「気管支」は人体の特定の場所を示す解剖学用語（解剖）である。また,「呼吸器系」「肺内」は臨床医学で使用される用語（臨床）であり，「酸素」，「空気」は一般語（一般）である。これらから，表 2 の $\mathrm{Cc}$ に含まれる語は, これら 5 つの種別の想起が可能であり, 9 個の病名, 25 個の解剖用語, 22 個の臨床用語, 3 つの検査用語, 16 個の一般語に分類された.

## 3.3.3Ccに含まれる各語のがんとの関連性分類の必要性

Cc に含まれる語とがんとの関連性に関して検討する。前節で述べたように，表 2 中の「病名」 は一様にがんを示すと考えられるのに対し, 「一般語」はがんに関係する用語ばかりとは限らない.このように Ccは，がんと関連性が明確な「肺がん」のような語から，「空気」，「酸素」などのがんとの関連性を想起することが難しい語までを含んでいる.

このように Ccに含まれる各語は，それぞれ，がんとの固有の関連性を示す。「関連性」とは， その語が，がんを起点として考えた時，「がんそのものを示す強い関連性を持つ用語」（表 2 の語では「肺がん」「扁平上皮がん」）を起点として，「転移」や「悪性度」などの「がんを想起させる用語」から，「末端」「推計」「酸素」など関連を想起しにくい語を「関連しない語」とする場合における関連の強さを示す順序尺度である。この尺度を用いることによって, 本研究では, がん用語集合を，従来研究のように各語が集合に「含まれる」か「含まれない」かの二者択一ではなく，各語に想起される関連性の強弱を示すタグを付加しておくことによって，より広い範井の用語を含めることが可能になる。また, このような「関連性の強弱」という主観評価で用語を分類する場合，つけられたタグを第三者による評価などで客観化する必要があるため，本研究では, 4.3 節で複数医師により, 関連性の強弱の一致の度合いを確かめる。

以下では，この関連性の強弱を表現するために，「ホップ」という概念を導入する。本稿では，がんに関連する語が，後掲図 7 のようなネットワーク構造となっていると想定する。そして，このネットワーク上において「がんそのものをさし示す用語」から離れるほど，がんとの関連性が弱くなると考えている。このとき，このネットワークにおけるリンクを，「がんそのものをさし示す用語」から 1 段階離れるごとに, 関連性が 1 段階弱くなると想定し，その「がんそのものをさし示す用語」からのネットワーク上における距離を，インターネットとの類推から 「ホップ」と呼ぶことにする。つまり，0 ホップ目が，「がんそのものを示す用語」であり，そこ

からリンクを 1 つたどるごとに， 1 ホップずつがんとの関連性が弱くなると考える.

## 3.4 がんとの関連性による用語分類と選択基準

前節で述べた「がんとの関連性」(ホップ) によって用語を分類することにより，各用語の中心用語から関連用語という概念的な距離感が表現可能になる。ただし, これら関連性の分類には医学的知識が必要だが，医学的知識のみでは，一貫性を保っての用語分類は困難である。そこで，以下で述べる「がん用語の選択基準」に基づいて Cc の各語を分類する。

まず， $\mathrm{Cc}$ の各語を，がんとの関連性の強いもの（T1）から弱いもの（T4）までの 4 段階に分類する。これらは, $\mathrm{T} 1$ （０ホップ目）：がんそのものをさし示す語, $\mathrm{T} 2$ （1ホップ目）：がんを想起させる語, T3（2 ホップ目）：がんを想起させる語に関連する語，T4（3 ホップ以上）：がんとの直接の関連を説明しにくい語である。これらに基づいて, 用語選択基準を図 6 のように

## がん用語の選択基準

がん用語としては、「がんの辞典」を考えた時に、単独の項目が構成可能な名詞句を、以下の「がんとの関連性」によって選択する。

がんとの関連性について

次のように規定するCcに含まれる語のがんとの関連性の分類の中で、 $T 3(2$ ホップ目)までを、がん用語とする。(2ホップ目までのルール)

T1(0ホップの目):がんそのものをさし示す語

T2(1ホップ目):がんを想起させる語

T3(2ホップ目):がんを想起させる語に関連する語

T4(3ホップ以上):がんとの直接の関連を説明しにくい語

注:なお、本用語集合は、学術目的の用語の統一を目的としたものではなく、言語資源としての用語集合の作成を目的として作成するため、他の用語集で採用されなかった、解剖学用語、複合語等も網羅的に含める。ただし、変化することも予想される固有名詞などは病名や検査名などに含まれる場合を除き含めない。また、〜内、〜外などの連体詞的な用例は採用しない。

図 6 がん用語の選択基準
決める。そして, T1, T2, T3, T4 の用語候補の中で, 「2 ホップ目までのルール」（単に「2 ホップルール」とも呼ぶ）により， T1， T2，T3をがん用語とする。

本基準によって表 2 を $\mathrm{T} 1$ から $\mathrm{T} 4$ に分類した結果を表 3 に示す. 文例 1 に出現した病名はすべてがんの病名であったため $\mathrm{T} 1$ に，また，解剖学用語は 3.4 .3 節で示すように $\mathrm{T} 3$ に，臨床用語のうち「がん」という語句を含む語は $\mathrm{T} 1$, がんを想起させる「転移」や「進行」は $\mathrm{T} 2$ に, さらに，一般語の「空気」や「二酸化炭素」は $\mathrm{T} 4$ に分類できることがわかる．以下， $\mathrm{T} 1$ から $\mathrm{T} 4$ の各分類について説明する。

## 3.4.1 T1（0 ホップ目）：がんそのものをさし示す語

表 2 の用語のうち，「肺がん」「扁平上皮がん」など「がん」を含む「病名」は，文脈なしにがんに関することが明らかな語である。また, 臨床用語である「肺がんのリスク」や「肺がんの

表 3 文例 1 から得た $\mathrm{Cc}$ 各用語のがんとの関連性による分類

リスク要因」のように明示的に「がん」という句を含む複合語も，単なる一般語である「リスク」に「肺がんの」と限定されることによって,「病名」と同程度に，文脈なしにがんに関することが明らかな語となる。これらの, 病名を含み, 文脈なしにがんに関することが明らかな用語のことを本研究では,「T1：がんそのものをさし示す語」と呼ぶ.

このほかに，文例 1 には出現していないが，Ccに含まれる語である「白血病」，「リンパ腫」,「ボーエン病」,「リヒター症候群」のように「がん」を含まないがんの病名もある。また,「ATLL 細胞」,「骨髄腫細胞」,「経尿道的膀胱腫瘍切除術」等の語は, それぞれ「ATLL（急性 $\mathrm{T}$ 細胞性白血病) 」,「髄膜腫」,「膀胱腫瘍」というがんの病名を含んでおり,これらも「がんそのものをさし示す語」である.

## 3.4.2T2（1 ホップ目）：がんを想起させる語

肺がんの悪性度や性質を示す「転移」「悪性度」「進行形式」や, 肺がんの最も古い診断方法の一つである「レントゲン写真」は, 文中にこれらの用語が出現した場合, その文の意味が肺がんに関係することを連想させる語である。同様に，「肺門型」や「肺野型」はレントゲン写真に関する所見の記述で，肺がんの形状を示す語である。「受動喫煙」や「アスベスト」も肺がんの原因として重要であることが知られている。これら用語は $\mathrm{T} 1$ の，がんそのものをさし示す語ではないが，文中に出現した場合，その文脈ががんの意味を含むことが多い語である。このような語のことを,「T2：がんを想起させる語」と呼ぶ.

このほかに,「寛解」「寛解導入不応」「急性転化」「自家造血幹細胞移植」は, 白血病にしか用いられない. また, 「周囲臟器浸潤」,「遠隔転移」,「全身再発」などの, がんの状態を示す語も他の疾患で用いられることはほとんどない. 抗がん剤として使用される「ブレオマイシン」 $\lceil 5-\mathrm{FU}\rfloor$ などの薬剤名，がん特有の治療法である「自家骨移植」「ミニ移植」「温熱療法」も同様である.これらも「がんを想起させる語」である.

## 3.4.3 T3（2 ホップ目）：がんを想起させる語に関連する語

表 2 の「肺」, 「咽頭」などの解剖学用語は, 人体の特定の場所を示す語であり, 解剖学者によって一義に定義されている名詞句である，2 章で述べたように，従来研究において，これらの解剖学用語は, 用語の重複を避けるために, 内科学や循環器病学の用語集には含まれなかった.しかし, がん情報処理の場合, 2.3 で述べたように, 解剖学用語の一部も網羅的にがん用語に含める必要がある.

これら解剖学用語は, 例えば図 7 のように, 「肺がん」から「転移」という 1 ホップ目の関連語を介して，「肺」や「リンパ節」を連想することが可能である。また，これらの連想関係は方向性を持つ。つまり，「肺がん」から「転移」という 1 ホップ目の関連語を介して，「肺」や「リンパ節」を連想することは可能であるが，これと逆方向の連想，すなわち，「肺」から「肺がん」

図 7 肺がんを起点とした場合の各種用語の関係例

あるいは「リンパ節」から「肺がん」を連想することは難しい.

このように，「肺がん」と「肺」の連想関係は，「発生」「進展」「転移」など，がんの性状を示す語の仲介によって可能であり，このような解剖学用語の一部はがん用語とすべきである。このように，何らかの中間的用語を介してがんに関連する用語も，がん用語と考えることができる。そこで，これらを「T3（2 ホップ目）：がんを想起させる語に関連する語」と呼ぶ.

なお，肺がんから見る場合，胃や腸は，「肺がんの胃や腸に対する転移はきわめてまれである」 という医学的知識により，「転移」を仲介しても連想できない，そのため，「肺がん」を起点とした場合には，「胃」や「腸」は T3ではなく，次節の $\mathrm{T} 4 （$ がんとの関連を想起しにくい語）に分類される。しかし, 胃や腸は, 肺がんとの直接の関係はないが, 胃がんや大腸がんでは, 胃がん一発生一胃, 大腸がん一発生一大腸のような想起順で $\mathrm{T} 3$ に分類される. このように, 解剖学用語は, 図 8 に示すように起点とするがんによって, T3 になる場合もあれば, $\mathrm{T} 4$ になる場合もある.

胃がんや大腸がんから見た場合，明らかに胃や腸は発生部位である。このように，図 8 に示

図 8 肺がんと胃がんを起点とした場合の「胃」の分類例

すように，(1)の肺がん一転移一胃が連想しにくいため, 胃や腸は, 肺がんからは $\mathrm{T} 4$ に分類されるが，(2)のように胃がんを起点とした場合，胃がん一発生一胃という想起順になるため， T3に分類できる。この場合には，「胃」の分類は，肺がんを起点とした $\mathrm{T} 4$ ではなく，胃がんを起点とした場合の $\mathrm{T} 3$ に分類することとする。一般に，ある用語候補に対して， T1， T2， T3， T4のうち，複数の分類が考えられるときには，最も関連性の強いものに分類する。

このように用語選択を行った場合, 図8の(3)示すように，元コーパスに出現した肺や胃以外の解剖学用語のうちで, 例えば手, 足, 睫毛などは, 本研究の元コーパスの対象とする 59 個のがんとの 2 ホップ以内として分類されないので, $\mathrm{T} 4$ となり，がん用語集合からは除外することが可能となる.このように, 解剖学用語は基礎医学用語であるため, 大きく医学用語という範疇でがんと無関係とは言えないが，すべての解剖学用語ががんと関係があるとは言えないため，それを適切に反映するために，なんらかのがんと 2 ホップ以内に関係する解剖学用語のみを T3として分類することが有効であると考えた.

## 3.4.4 T4（3 ホップ目）：がんとの関連を想起しにくい語

以上の用語に対して, 一般語である「酸素」や「二酸化炭素」は, 肺の機能である呼吸機能に関連する語であって，肺がんには直接関係しない。これらは文例 1 の，「肺は身体の中に酸素を取り入れ, 二酸化炭素を排出します.」という文で出現している. これは図 7 の解剖学用語である「肺」の機能を，肺がんと独立して説明している文章である．以上より，文例 1 を根拠とする限り, これらの「酸素」や「二酸化炭素」は, 肺がんを起点とする場合, T3である「肺」 の関連語となり，「肺がん」の関連語とはいえない，以上より，これらの用語を「T4：がんとの関連を想起しにくい語」とする。

## 3.5 本研究で行った用語分類と用語選択基準について

以上のように, 本研究では, まず, 信頼できるがん情報が記述されているコーパスから, 専門家の語感に基づいてがん用語の候補 Cc を抽出した。つぎに, 得られた Cc の各語を理解しやすくすることや用語間の整合性を調整するために, 各語の用例から「病名」「解剖学用語」「臨床用語」「一般語」「検査用語」などの種別を作成した。また，各語をがんとの関連性を想起しつつ分類した結果, T1（がんそのものをさし示す語），T2（がんを想起させる語），T3（がんを想起させる語に関連する語), T4（がんとの関連性を想起しにくい語）の4つに分類できた.これら「種別」とがんとの関連性を参考に，がん用語として， T1 から $\mathrm{T} 3$ までをがん用語 $\mathrm{C}$ として選択するという選択基準を規定した。これにより，各がん用語には， T1 から $\mathrm{T} 3$ までの分類がつけられているので, その語ががんとの関連性が強い語かどうかの情報を得ることができるので有用である.

ただし, 3.4.3 節であげた肺がんと胃がんに対する胃の例のように, 起点とする（0 ホップ目として）想起する語が異なれば, その語の分類が $\mathrm{T} 3$ か $\mathrm{T} 4$ かという摇らぎが必然的に生じることが予想される。そのため，本研究ではこれら用語については，がん用語集合の網羅性を確保するために，最も強い連関を示す分類に分類した。なお, それぞれの用語に対して, 例えば胃なら，肺がんからは T4, 胃がんからは T3のような情報を付加することも有用であると思われるが, これについては今後の課題である.

## 4 がん用語集合の特性評価

本節では, 用語候補集合 Cc（10,199 語）を対象として, がん用語抽出の一貫性とがん用語選択基準の妥当性を検討する。

## $4.1 \mathrm{Cc$ の用語抽出の一貫性の検討}

本節では，作成した用語候補集合 Cc が，抽出対象のテキスト中のがん用語候補を一貫性をもって抽出されたかを検討する。そのために， 3 節で人手により用語候補抽出をした人と同一の人物（本稿の第一著者, 抽出者と呼ぶ）が, 約 1 年後に, 3 節と同一のコーパスから, 主要ながんのうち 10 疾患（ALL（急性リンパ急性白血病），腎細胞がん，膵がん，卵巣がん，肺がん, 肝臓がん, グリオーマ, 胃がん, 大腸がん, 乳がん) を対象として, 3 節と同様に人手で用語候補を抽出した。次に，得られた用語候補と Cc を比較し，Ccが，2 回目に抽出した用語候補を（後で定義する）再現率高く抽出しているかを調べた。もし，この再現率が高ければ， Cc は, 抽出対象のテキストから, 抽出したい用語候補を一貫して抽出していると考えることができる。なお, 用語候補抽出の一貫性を調べるためには, 同一人物ではなく, 他の人物による用語候補抽出の結果と比較することが望ましい. しかし, 本稿の第一著者と同様に医師免許を持ち, 臨床経験のある専門家で， かつ, 用語候補の抽出に協力してくれる専門家を見つけることが我々にはできなかったため，同一人物による抽出の一貫性を調べた.

## 4.1.1 用語抽出の一貫性に関する数量的な検討

結果を表 4 に示す. 表 4 の(1) そ, それぞれの疾患別に抽出された用語候補集合の語数である. (2)は，それぞれの疾患別の用語候補集合で，Ccに含まれている用語候補の数である。これらより, (3に示したように, 見かけの再現率が算出される.「見かけ」とは, 今回新たに人手で切り出した結果も，がん用語の網羅性を高くすることを意図していたため, 今回抽出した用語候補すべてが，がん用語として適切かどうかは不明である。そのため，Ccにカバーされていない用

表 $4 \mathrm{Cc}(10,199$ 語）の用語抽出の一貫性に関する集計結果

 &  &  &  &  &  &  &  \\

ALL: 急性リンパ球性白血病, Renalcell Cancer: 腎細胞がん, Panceras Cancer: すい臟がん, Ovaryan Cancer: 卵巣がん, Lung Cancer: 肺がん, Liver Cancer: 肝がん, Glioma: グリオーマ (神経膠重), Colon Cancer: 大腸がん, Breast Cancer: 乳がん
語候補は，実際には，がん用語でない可能性もある.

そこで，用語の検討のため, 抽出者に自然言語処理の研究者 1 名（第 2 著者）を加え，計 2 名で，抽出された用語候補の中で Ccに含まれていない用語候補を選別した (4)）それら用語候補の中で 3.4 節の基準に相当するかどうかによって真に必要な用語数(5)と，選択されたが不必要であった用語候補数(6を求めた。これより，それぞれのテキストから抽出されるべきだった用語数(7)を求め，(2)を分子として求めた真の再現率が(8)である。 Cc の再現率(8)は 0.94 から 0.995 であった. これらのことから，Ccは，元コーパス中の用語を十分に網羅していると考えられた。すなわち，Cc と本節での抽出結果とを比較した結果，Ccは，本節で抽出された用語候補を十分に網羅しているといえる。これより，Ccは，抽出対象のテキストから，抽出したい用語候補を一貫して抽出していると考えることができる。なお，表５には，表４の(5)として，Cc に含まれてはいなかったが, 本検討によって採用すべきと判断した用語の例を示した。

## 4.1.2再検討を必要とした各語に関する検討

表 4 の(5)（Ccに含まれなかったが，再度抽出時に採用すべきと判断した語）は， 10 疾患全体で 98 語（1疾患あたり約 10 語）であった.これらの例を表 5 に示す.また,これら 98 語を採用すべきと判断した 4 つの理由（R1 から R4）について以下に説明する.

## 4.1.2.1 R1（2 ホップルール）

3.4 節図 6 の「がん用語の選択基準」は, Cc の用語候補を整理する過程で確立されたものである。一方, 3.2 節で述べた $\mathrm{Cc}$ の抽出時には, この選択基準は存在しなかったため, 専門家が 「がんに関連する用語」として認識する語を幅広く網羅するように Cc を作成した。つまり，「Cc の抽出基準」と「がん用語の選択基準」は異なるものである.

そのため, $\mathrm{Cc}$ の抽出時には, がんに関連しないと判断されたため切り出されなかった用語候

表 5 表 4 の(5)（Ccになかったが再検討時採用すべきと思われた）語数と例

 \\

$\mathrm{R} 1$ : 用語範囲, R2: 複合語, R3: 見落とし, R4: 表記のゆれ
補が, がん用語の選択基準に基づいて再検討をした結果として, 用語として採用した方が良いと判断されるものがありうる。それらが表 5 の R1として示されている.

例えば，「焼灼」の意味は「焼くこと」であるため, Cc 抽出時には一般医学用語と考えて切り出さなかったが, これは, 肝臟がんや転移性の肝臟がんに限定して用いられるため, 肝藏がんに対して T2である。また,「橋」は, 単に脳の一部を示す解剖学用語であると思われたため, $\mathrm{Cc}$ 抽出時には切り出されなかったが, 神経膠腫が多発する部分であるため $\mathrm{T} 3$ と考えられる. また，「日系移民」も Cc 抽出時には一般名詞と考えたが，大腸がんの発症原因である食生活の欧米化と関係するので $\mathrm{T} 3$ に入れるべき語である.

このように, $\mathrm{Cc}$ の作成段階では「がんに関係するかどうか」という基準で切り出したため, がん用語選択基準である 2 ホップルールに照らすと用語であっても，Ccには採用されないものがあった. ただ，このような用語は 25 語と少数であるため, 本研究のアプローチ, すなわち, まず専門家が「がんに関連する用語」として認識する語を幅広く網羅するように Cc を作成し,次に，そこから，がん用語選択基準に従って，がん用語を選択するというアプローチは有効であるといえる。

## 4.1.2.2 R2 (文法) : 切り出し時のゆれ

$\mathrm{Cc}$ 作成における用語候補の切り出し時において, 一つの名詞句に対して複数の用語候補が考えられるときには, 一つの用語候補のみを選択して切り出したが，その選択に摇れが生じた場合である。例えば，「1 年生存率」は，Ccの抽出段階では「生存率」を用語候補として選択したが, これは,「がんを発症後 1 年生存する率」の意味であり重症のがんで多用される用語であるため，本節では採用した．「ステージ1」についても，Cc 抽出時には，がんの病期を示す「ステージ」を選択していたが，これは，「軽症のがん」の意味を示す用語であるため，本節では採用した.「消化管の再建」も, Cc 抽出時には「消化管」と「再建」に分かれて抽出されていたが， これは,「消化管の再建」という一つの単位で, 胃がんの主な手術である胃切除術に関連する用語として利用されるものであるので，本節では採用した。このように， Ccの抽出において，一つの名詞句に対して複数の用語候補があるときに， どの名詞句を切り出すのかについては，後の見直しで採用すべき語もあることが分かった. このような用語は 69 語であった.

## 4.1.2.3 その他：R3（見落とし）, R4（表記のゆれ）

以上の語の他に, 明らかにがんに関連する語である「lymphoblastic lymphoma」(病名),「卵巣がん検診」「噴門部がん」（これら２語は文節中にがんを含んでいる）が Cc に含まれていなかった.これらは切り出し時の見落としによるものであると思われた.また，「上皮がん」は，通常「上皮内がん」や,「移行上皮がん」などが一般的であり, 医学的には一般的ではないため $\mathrm{Cc}$ 抽出時には採用しなかったが，本例はコーパス側における「上皮内がん」の表記のゆれであ

ると思われるため, 本節では採用すべきと考えた。

## 4.2 用語の削除と, がん用語集合 $\mathrm{C$ の作成}

3.2 節で得た用語候補の集合 Cc から妥当ながん用語集合 $\mathrm{C}$ を得るために，前節同様，医師免許を保有する有資格者 1 名と自然言語処理の研究者 1 名（第 1 著者と第 2 著者）が，がん用語の選択基準に基づき，がん用語とすべき用語の範井と選択基準の整合性を整理しつつ， 1 語 1 語を音読し，必要に応じて用例を参照して，がん用語かどうかを判断した。

この判断の結果, Ccのうち 9509 語をがん用語として採用し， 690 語を除外した. 表 6 には,除外した理由別の語数を示す。表 6 における「誤用」とは，元コーパス中で，「全脳照射」とすべきところを「全能照射」としていたなど，明らかに用語の使用が間違っている場合であり，「ミス」とは, 用語候補の切り出しにあたって, 用語の一部のみしか抽出しないなど，切り出しに失敗した例である。以下では，その他の理由である「固有名詞」「文法」「2 ホップ」について説明する。

## 4.2.1「固有名詞」: 固有名詞の削除例

3.4 節の「がん用語の選択基準」では,「固有名詞」はがん用語に含めないと述べた。固有名詞として削除例に挙げた「LSG」は Lymphoma Study Group（悪性リンパ腫研究会：わが国の悪性リンパ腫の治療法を共同研究として行っている団体),「ASCO」は “American Society of Clinical Oncology" (アメリカ臨床がん学会) ならびに「アメリカがん協会」は, がんの学会や研究会である。これらは，がんに関連する文書の中でも頻繁に出現する。しかし，「LSG」など研究会名称は，今後変更されることも予想される。また，「ASCO」や「アメリカがん協会」の呼称については, ASCO, American Society of Clinical Oncology, ASCO (American Society of Clinical Oncology), ASCO (アメリカ臨床がん学会), アメリカ臨床がん学会（協会）など, 表記のゆれもある. このような, 団体や研究グループなどの固有名詞は, 「がんの辞典」を考える場合に項目を作成可能ではあるが，同じ用語であることの同定が専門家でも困難であることも多いため， がん用語とすることは難しい.

表 6 選択基準により Cc から除外した用語例と理由

人名であるベンス・ジョーンズは多発性骨髄腫という血液のがんに特有なべンス・ジョーンズ蛋白という物質を発見したことで有名な医師だが，がん用語としては，物質名である「べンス・ジョーンズ蛋白」は採用するが，単独の人名では採用しない.

「薬物療法部長」などの病院の役職名も，がんに関する記述の中で比較的良く用いられる呼称である。薬物療法部長が薬物治療を行う疾患はほとんどの場合, がんであり, 「薬物療法部長の ○○氏と面談」などの文が患者のブログなどでも出現することも予想できる．しかし，医師，看護師, 薬剤師, 患者などの呼称とは異なり，統一された資格者を示すものではない，また，「がん治療の 3 本柱」は, 主に国立がんセンターで患者に対して, がんの治療法である手術・抗が几剤を用いる化学療法・放射線療法の3つをまとめて言う場合に用いられる語である。これらも，一般的用語ではないと考えられるため，ここでは「固有名詞」として扱う。

これらの，普遍的な名詞句となっていない固有名詞，単純な人名（手術法等に含まれるものはそのつど採用)，呼称の一定しない役職名など 122 語を「固有名詞」として削除するのが妥当と考えられる。

## 4.2.2「文法」: 文法による削除例

$\mathrm{Cc}$ 作成では網羅的に複合語を積極的に収集したが，3.4の「がん用語選択の基準」の文法上の理由（「〜内」，「〜外」などの連体詞的な用例は採用しない）によって，「転移を認めない」「生理以外」,「放射線治療単独」, 「同種造血幹細胞移植前」,「寛解導入療法中」などの複合語を削除語とする。

本研究ではこれらを削除語とするが，これらはがん情報処理に有用な場合もある。たとえば，「生理以外」は，婦人科がんの不正性器出血と呼ばれる症候に関連する語で，「生理以外の出血はありますか？」などの用例がある。この場合，「生理以外」を単独のがんに関係する句として認識することによって，この文が，がんに関するものであることを予測することができる。また，「放射線治療単独」は，化学療法や手術を複合して用いていない「単独」という限定を強調する用例で，「放射線治療だけで治療する」という意味を明示する。この場合も，「放射線治療」と 「単独」に分割しては「放射線治療だけで治療する」という意味が弱くなる可能性もある. このように, 一つ一つの複合語を用例に従って吟味すると, 実際の用例で出現した文脈が，がんの意味を含むことを限定できる可能性もあるため, 本研究では一旦削除語とするが, 今後の検討を可能とするために，削除語の中でも「文法」という理由で削除したことを明記（305 語）し，本研究で公開するがん用語集合の付録として公開する予定である.

## 4.2.3「2 ホップ」: 2 ホップ目までのルールでの削除例

2 ホップ目までのルールとは，2 ホップよりも関連性の弱い語（T4）を削除する規則である. たとえば，表 6 の「うがい」は，白血病治療などで感染症の危険が増加することを予防する方
法のひとつである。「白血病治療」を起点として用語の連関を想起する場合，「白血病治療」は 「白血球減少」を起こし, 「感染予防」や「感染症の危険」を高めるから, 予防方法として「うがい」を行う，そのため，「白血病治療」（0 ホップ目 $)$-「白血球減少」（1 ホップ目 $)$-「感染予防」（2 ホップ目）一「うがい」（3 ホップ目）という想起順となる。すなわち，「うがい」は $\mathrm{T} 4$ に分類される。

しかし, 「白血病治療」一「感染予防」が, 「白血球減少」のような, 橋渡しを行う用語を介さずに，例えば，「白血病治療は感染症予防を行うことが肝要であり，うがいは最も重要だ.」のような用例を想起するのであれば,「白血病治療」（0 ホップ目）「感染予防」（1 ホップ目）「うがい」（2 ホップ目）という想起順になり，この「うがい」は除外語ではなく採用語 $\mathrm{T} 3$ となる.

さらに，「白血病」を起点（0 ホップ目）とした場合は,「白血病」（0 ホップ目）－「化学療

ホップ目）という想起順が考えられ，この場合の「うがい」は白血病から考えて 4 ホップ目となる。すなわち， T4である.

このように，作成した選択基準の「2 ホップ目まで」のルールは，0 ホップ目にどのような用語を選択するか，あるいは仲介する用語として何を想起するかによって変化する。このような $\lceil 2$ ホップ」よりも関連性が低い単語については, 4.3 の第三者医師による評価の項で述べるが, がんとの関連性の判断が人により異なる。そのため, 本研究では, 「文法」により削除された語と同様に，がん用語集合の付録として T4に分類された語も公開する予定である.

## 4.2.4 削除語に関するまとめ

以上より, Cc から抽出した T1, T2, T3 の 9509 語をがん用語集合 $\mathrm{C}$ として採用し, 残りの 690 語を削除語とした. これらの語数を表 7 に示す. なお, 本研究により作成したがん用語集合を公開するにあたって，我々は，がん用語集合 $\mathrm{C}$ に加えて，削除語のなかで「文法」と「2 ホップ」に相当する語については，付録として公開する予定である。その理由は，前述のように, これらの削除語については, 本研究においては削除語と判断されたが, 場合によっては, がん情報処理に有用な場合があると考えるからである.

表 7 選択基準による Cc（10119 語）の分類結果

## 4.3 複数医師による評価

これまでに作成し分類した用語集合は，専門家が作成したものであるが，その人数が 1 人であるので，必ずしも，他の専門家が同意する用語集合であるとは限らない．そのため，本節では，複数医師により，上述の $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3, \mathrm{~T} 4$ の分類の妥当性を確認する。

評価用データとして， T1, T2, T3, T4のそれぞれから無作為に約 50 語（合計 197 語）を選んた.この評価語デー夕を付録 1 に示す説明文書とともに, 臨床経験 15 年以上の医師 4 名（大学院講師以上の腫瘍内科医 2 名, 脳神経外科指導医 1 名, 循環器内科認定医 1 名：以下, $\mathrm{C} 1-\mathrm{C} 4$ と呼ぶ）に提示し，各人のそれぞれの用語に対する $\mathrm{T} 1$ から $\mathrm{T} 4$ の評価値を得た.

本研究が付加した $\mathrm{T} 1$ から $\mathrm{T} 4$ の分類と, 各医師による分類の比較結果を表 8 に示す. 左の力ラムにある 1から4のカラム (Cat) は, 本研究で各用語に付与した分類值であり, T1 から T4 の分類を示す. これに対して, それぞれの医師 $\mathrm{C} 1$ から $\mathrm{C} 4$ の別に, 各人による分類を $\mathrm{T} 1$ から T4で示し，それぞれの要素をクロス集計した頻度を示した. また頻度の合計をTotal として示した.

これより, 対角線に近い部分の頻度が高いことがわかる. たとえば, 医師 $\mathrm{C} 1$ については, 本研究で付与した T1 (Cat1) は, T1もしくは T2にほとんどが分類されている。また, 22 については，Cat1は， 46 例中の 38 例が T1に分類されている。このことより，本研究で付与した分類が，他の医師の判定と一致することが多いことがわかる.

さらに，表 8 たおる分類の一致の度合いを，Cohen's Kappa(Landis and Koch 1977)を用いて, 数値化することにより, 本研究による分類と各医師による分類との一致の度合いを調べる.

表 8 医師 4 名（C1 から C4）から得た分類結果（単語数 197）

そのために, 表 8 から複数のクロス集計を得て, それらにおける Kappa を調べる. 複数のクロス集計を得るときには， T1 と T2など，隣接するカテゴリを一つのカテゴリとすることを，次に示す分割例 1 から 7 の全ての場合について試した，たとえば，被験者 $\mathrm{C} 1$ の分割例 2 と分割例 6 について, 本研究の想定に対する Kappa の算出対象とするクロス表について図 9 に示す.

分割例 $1: 1,2,3,4 \quad \cdots \quad$ 表 8 と同分類

分割例 $2: 1,(2,3,4) \quad \cdots \quad 1$ と， $(2,3,4) 2$ つに分割

分割例 $3: 1,(2,3), 4 \quad \cdots \quad 1,(2,3), 4$ の 3 つに分割

分割例 $4:(1,2), 3,4 \quad \cdots \quad(1,2), 3,4$ の 3 つに分割

分割例 $5: 1,2,(3,4) \quad \cdots \quad 1,2,(3,4)$ の 3 つに分割

分割例 $6:(1,2),(3,4) \quad \cdots \quad(1,2)$ と $(3,4)$ の 2 つに分割

分割例 $7:(1,2,3), 4 \quad \cdots \quad(1,2,3)$ と 4 の 2 つに分割

Cohen's Kappa は， $0.4 \sim 0.6$ が中等度， 0.6 以上で生起反応において強い連関を示すと言われている (青木 2002)，それぞれの分割例別の本值を検討することによって，どの分割が実際の医師の持つ語感に合致するかを調べることができる．結果を表 9 に示す．左カラムにそれぞれの分割例を示し，この分割例別に $\mathrm{C} 1, \mathrm{C} 2$ など各人と，本研究で行った分類をそれぞれの分割例に割り付けなおし, 各人の反応との間の Kappaを求め, 最右カラムに平均値を示した. これより,

## $1,(2,3,4)$ の場合

$(1,2),(3,4)$ の場合

$\kappa=0.58$

図 9 被験者医師 $\mathrm{C} 1$ での分割例 2 と分割例 6 における $\kappa$ 值の算出対象
表 9 各分割例別の Cohen's Kappa 値

分割例 $1,3,4,7$ では, Kappa 值がいずれも 0.4 以下であり, 有意な一致とはみなせないが, 分割例 2（ $\mathrm{T} 1$ とそれ以外の 2 分割）と分割例 6（T1,2 とそれ以外の 2 分割）では 0.6 前後の高い一致であった. また, 分割例 5 ( $\mathrm{T} 1, \mathrm{~T} 2$ とそれ以外の 3 分割) でも 0.5 の比較的高值であった.

これらのことから, 本研究で想定した, $\mathrm{T} 1$ （0 ホップ目）：がんそのものを示す語, $\mathrm{T} 2$ (1ホップ目）：がんを想起させる語までは，実際の被験者医師の語感に近いことが示された。これにより, 本研究で行った一人の医師による用語の切り出しとがんとの関連性を想起した分類であっても，概念の中核となる「がんそのものをさし示す語」から，「がんを想起させる語」として感じるような距離感は, 第三者医師にとっても共通する語感であることが示された.

これは，国家資格を持つ専門職である医師は，一旦国家試験の段階で用語の統一が行われていること, 臨床の現場では患者の診断や治療などの相談を頻繁に書面でやりとりする機会が多いこと，ほとんどの医師ががん患者を診断治療した経験を持つことなどが主な理由と思われる。 これに対し, 本研究で $\mathrm{T} 3$ （2 ホップ目）「がんを想起させる語の関連語」より関連性が低いと想定した語（T4 も含む）に関する分類が医師によって異なるのは，4.2.3で述べたように $\mathrm{T} 3$ や $\mathrm{T} 4$ の語は $\mathrm{T} 2$ や T1に対して何らかの関連語を連想できるかどうかによって, 距離感に差が生じやすいことなどが理由と思われる。 $\mathrm{T} 3, \mathrm{~T} 4$ の分類について, 複数医師間で一致の高いような基準を研究するのは，今後の検討課題である.

これらの結果は, 本研究が 3.4 で規定した, 「Cc（10199 語）の用語をがんとの関連性によって T1, T2, T3, T4 と分類し, T1 から T3 までをがん用語 C とする」という選択基準に対して, $\mathrm{T} 1$ から T2までは複数医師間で一致がとれていることを示している。そのため, $\mathrm{T} 1$ と $\mathrm{T} 2$ については，中心的で妥当ながん用語といえると考える。一方, $\mathrm{T} 3$ と $\mathrm{T} 4$ については，かならずしも複数医師間での一致はないが, これらの用語候補は，まず，（1）国立がんセンターのテキストに含まれているということ，（2）専門家が吟味した語であることから，がん用語集合 C（T1 から T3）およびその付録としての削除語のリスト（T4）として公開する価値があると考えた.

## 4.4 がん用語の選択基準の必要性に関する検討

4.3 節の実験により, 3.4 節のがん用語の選択基準に従って行った $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3, \mathrm{~T} 4$ への分類は,第 3 者医師が行った分類と有意に相関することが示された. このことから，本研究がこれまでに行った, 網羅的収集による $\mathrm{Cc}$ の作成 (3.2 節), 収集された用語の分類と用語選択基準の設定 （3.4 節）と削除語の選別（4.2 節）に関しては, 妥当性が示されたと考える。しかし，これたけではがん用語の選択基準として 3.4 節で提案した 2 ホップルールの必要性は示していない可能性がある。すなわち, 従来の用語選択基準である，単に，「がんに関係する用語か，そうでない用語か」（以下，「がん用語か否か」と表記する.）による選択でも十分である可能性がある.

この問題について検討するため, 用語候補集合 Cc から無作為に 100 語を選択し用語候補集合を作成した. そして， 4.3 節の医師 4 名とは別の医師 6 名（D1 から D6：国立がんセンター研究者 2 名, 大学医学部教授 2 名, ならびに内科医師 2 名. 順不同. ）を被験者として，付録 2 に示した依頼文と共に示した用語 100 語を「がん用語か否か」に分類を依頼した。なお， 100 語の内訳は, $\mathrm{T} 1$ が 9 語, $\mathrm{T} 2$ が 24 語, $\mathrm{T} 3$ が 39 語, $\mathrm{T} 4$ が 28 語である.また, 各医師毎に, がん用語として選択した語数は, D1 が 61 語, D2 が 18 語, D3 が 53 語, D4 が 48 語, D 5 が 33 語, D6 が 6 語である.なお, 被験者 D6 は他の医師 5 名に比べ，がん用語とした語数が顕著に少ないが，除外せずに評価結果とすることとした。

本節での目的は, 従来の「がん用語か否か」という選択基準と, 提案手法である「図 6 のがん用語選択基準」とを比較することであるので, まず,「がん用語か否か」という選択基準によりがん用語を選択した場合における，6名の医師（D1-D6）間での $\kappa$ 值を表 10 に示す.

表 10 より, D1 と D4, D $5, \mathrm{D} 2$ と D $5, \mathrm{D} 3$ と D $4, \mathrm{D} 5, \mathrm{D} 4$ と D5 はそれぞれ中等度以上の一致を示しており，医師間では相関する場合もあるが，D6 のように，他の医師と有意な相関を示さない例もある。また，D1 から D6 全体としての $\kappa$ 値の平均値は 0.32 であり，がん用語を極端に少なく選択したD6 を除きD1 から D5までとした場合の $\kappa$ 値の平均值は 0.39 であった.

これに対して，提案する選択基準による医師間の一致の度合いをみるために，表 11 に， 4.3 節の医師 4 名（C1～C4）による 197 語の分類結果に対して， T1 から T4の4つを仮に 2 つに分類すると仮定し, $\mathrm{P} 1 （ \mathrm{~T} 1$ と $\mathrm{T} 2, \mathrm{~T} 3, \mathrm{~T} 4), \mathrm{P} 2 （ \mathrm{~T} 1, \mathrm{~T} 2$ と $\mathrm{T} 3, \mathrm{~T} 4), \mathrm{P} 3$ （T1, T2, T3 と $\mathrm{T} 4$ ）

表 10 従来法（がん用語か否か）による用語選択の被験者間の $\kappa$ 値

の各分割例について， 4 名の医師間の $\kappa$ 値を算出した結果を示す. 表 10 に比べ，分割例 $\mathrm{P} 1, \mathrm{P} 2$ において各医師間で高い一致を示し, $\mathrm{P} 1, \mathrm{P} 2, \mathrm{P} 3$ におけるこれら $\kappa$ 値の平均值はそれぞれ 0.67 , 0.69, 0.19 であった.

以上のことから，提示した用語集合を表 10 のように「がん用語か否か」で分類する場合よりも, 表 11 に示した本研究の提案する「2 ホップルール」により分類する場合のほうが, 医師間の用語選択の一致性が高く，得られた用語集合のコンセンサスを得やすいことが示された.

## 4.5 専門用語抽出アルゴリズムでの抽出語例とがん用語集合 $\mathrm{C$ の比較}

4.2 節で得られたがん用語集合 $\mathrm{C}$ は, 信頼できるコーパスから専門家が抽出し, その妥当性が複数の医師により確認されたものである. そのため, このがん用語集合 $\mathrm{C}$ を用いて, 従来開発されてきた専門用語抽出アルゴリズムの性能を評価することが可能である. つまり, 用語集合 $\mathrm{C}$ は，専門用語抽出アルゴリズムの正解データとして有用であると考える.

そこで, 専門用語抽出アルゴリズムの評価の一例として, 中川らによって実装されている「言選 Web」(http://gensen.dl.itc.u-tokyo.ac.jp/gensenweb.html) を用いて得られた用語とがん用語集合 C とを比較することにより，用語集合 C の正解データとしての有用性を検討する.

比較の方法としては, 3 節と同一のコーパスから, 表 12 に示す各疾患を対象として, 言選 Web を利用して用語を抽出した。これを $\mathrm{HN}$ とする。つぎに，同じコーパスについて，用語集合 $\mathrm{C}$ に含まれる用語を抽出し, これを用語集合 Cd とした。なお, このとき, 形態素解析器 Mecab を利用し, Mecabの辞書に用語集合 $\mathrm{C}$ を加えることにより, $\mathrm{C}$ 中の用語が自動的に同定できるようにした。（Mecabの辞書に用語を加えるときには，その品詞とコストを試行錯誤により決定し, C 中の用語がテキストにあるときには，それが解析結果に優先的に出力されるようにした.） これを元コーパスである国立がんセンターのWeb データの中で, 肺がん, 胃がん, 食道がん,

表 11 提案法（2 ホップルール）による用語選択の各被験者間の $\kappa$ 値

P1: 1 and $(2,3,4), \mathrm{P} 2:(1,2)$ and $(3,4), \mathrm{P} 3:(1,2,3)$ and 4
大腸がん，および乳がんに適用し， HN と Cd に関する諸量を表 12 に示した．表 12 では，それぞれの疾患のコーパスにおける，(1) $|\mathrm{Cd}|$ ：Cによって得られた語数，(2) $|\mathrm{HN}|$ : $\mathrm{HN}$ によって検出された数, (3) $|\mathrm{Cd} \cap \mathrm{HN}|: \mathrm{Cd} \cap \mathrm{HN}$ の語数, (4) $|\mathrm{Cd}-\mathrm{HN}|: \mathrm{Cd}$ と $\mathrm{HN}$ に含まれた語を比較して $\mathrm{Cd}$ にのみ含まれた語数，(5) $\mathrm{HN}-\mathrm{Cd} \mid: \mathrm{HN}$ と $\mathrm{Cd}$ を比較して $\mathrm{HN}$ にのみ含まれた語数，(6) $\mathrm{HN}-\mathrm{Cd}$ の再採用語：表 13 に詳細を示すが(5)の語で，Cdに含まれなかったが用語とすべきと思われた語数，(7) $|\mathrm{Cd} \cap \mathrm{HN}| /|\mathrm{HN}|: \mathrm{HN}$ に対する $\mathrm{HN} \cap \mathrm{C}$ の語数の比，（3)/(2)， $\mathrm{C}$ を正答とした場合の $\mathrm{HN}$ の精度)，(8) $\mathrm{Cd} \cap \mathrm{HN}|/| \mathrm{Cd} \mid$ ：C を正答とした場合の再現率（3)/1)）を示す.

これより，これら疾患での $\mathrm{HN}$ の再現率（8）は平均値 0.86 であり，HN の Cに対する網羅性は高いと思われる。しかし, 精度（7）は平均値で 0.52 であり, HN で得られた用語の約半数は人手で選択しなおす必要があることがわかる．また，HN で検出でき，Cで検出できなかった語数(6)は数語であり，少数であることも分かる。すなわち，Cの網羅性は高いといえる．以上により, HN は用語切り出しに関しては本研究で専門家が行った用語抽出を高い再現率で実現する可能性を示すが，約半数の削除語とすべき語を含んでいることから，用語選択を追加して行う必要のあることを示している。

さらに，HNで得られた語と $\mathrm{C}$ の比較を行い, HN で検出されたが $\mathrm{C}$ に含まれなかった語を 「除外語」として，4.2 節表 6 と同様に分類した結果を表 13 に示す.

表 13 より, HN では切り出しミス, 文法（複合語など）は少数であり, 大多数は, 本研究で規定した 2 ホップルールによる除外理由である。 2 ホップルールによる除外例は, 肺がんのコー パスでは, 扁平, 率, 利用, 要素, 要因, 葉, 用量, 有無, ハイリスク, つけ根, タイプなどで

表 12 従来法 $(\mathrm{HN})$ とがん用語辞書で得られた用語 $(\mathrm{Cd})$ の比較

 & $\mid(\mathrm{Cd} \cap \mathrm{HN} \mid$ & (4) $\mathrm{Cd}-\mathrm{HN} \mid$ &  &  & $\mid(7)$ & $|8 \mathrm{Cd} \cap \mathrm{HN}| /|\mathrm{Cd}|$ \\

表 13 従来法 (HN) によって得られた語の除外理由

あった，また，胃がんのコーパスでは，老化度, 輪切り, 量, 両方, 流れ, 率, 利用, 陽性, 有無, 役割, 門, 目的, 膜, 麻酔, 本国在住者, 方法, 変更, 変化, 壁, 分泌, 物質, 部分, 負担，不十分，病院，評価，表面，標準，範囲，髪の毛，発生，白人，年齢別，年単位などであった. ここで, 2 ホップルールによる除外というのは，専門家により，意味的に判断した結果としての除外である。すなわち，HNは，意味的な理由により除外された語を用語候補として抽出したといえるため, この点において, HN には改善の余地があるといえる. これより, 今後 $\mathrm{HN}$法などの自動抽出アルゴリズムの教師データとして，今回作成した C を教師データとすることが有用であると考えられた.

## 5 考察

本研究で行った，がん用語集合の作成方法についてまとめる. まず，(1) がん用語集合は，がんに関連する用語をできるだけ網羅することが望ましい。ただし，あまりに関連性の小さい用語も含めると，それらが，がん情報処理に悪影響を与えることが考えられるので，好ましくない.（2）そのため，がんとの関連性が一定以上の強さの用語のみを，がん用語集合に含めるべきである。（3）そこで, 本研究では, 関連性の強さの指標としてホップ数を導入し, 「がん用語の選択基準」としての「2 ホップルール」に基づき，がん用語集合を選定した.

次に，本研究と従来の用語集の作成法を比較する。まず，医学領域での多くの用語集の妥当性は, 2.2 節で示したように, 長い時間と多数の用語選定委員によって担保されている. たたし, これらの用語の選択基準は，それぞれの分野において「使用される用語およびこれに関連の深い用語」というものであり，ある用語について，それがその分野で使用されるかどうかや関連が深いかどうかの判断の基準については， 2.2 節で示した用語集においては明示されていない.

一方，本研究では，まず，国立がんセンターのWebテキストに出現した用語候補を Cc 抽出の対象とすることにより, 抽出された用語が, 医学的内容の信頼性および網羅性を持つことを仮定した．次に，専門家が，このテキストから「がんに関係する」と判断した用語候補を網羅的に抽出することにより, Cc を作成した. この段階までにおける本研究と従来の用語集との違いは, 従来の用語集の用語の採取元は明示されていないが, Cc に採用された用語の採取元は明らかである点である。また，本研究においても，従来の用語集と同様「がんに関係する」という主観により，用語候補を選定している。ただし，従来の用語集においては，多くの選定委員が用語選択に関与することにより，用語の妥当性を保証しているのであるが，本研究においては，一人の専門家の語感のみによるものであるため, 用語選択の妥当性は, それほど保証されていないと考えられる。（ただし， 3.2 節で述べたように，このような語感は，国家試験などにより基本的知識を共有する専門家間では共有されていると考えた。）

そこで，本研究では，がん用語候補集合 Cc から，妥当ながん用語を選定するために，3.4 節で
「がん用語の選択基準」を設定し，それに基づいて，がん用語を選定した。これは，「がんに関係する」という曖昧な判断基準から，Cc の整理を通して，相対的に明確な判断基準である「がん用語の選択基準」としての 2 ホップルールを構築し，それに基づいて，がん用語を選定したといえる.

この 2 ホップルールの概略は以下のものである。まず，がん用語候補を $\mathrm{T} 1$ （０ホップ目）：がんそのものをさし示す語，T2（1 ホップ目）：がんを想起させる語， T3（2 ホップ目）：がんを想起させる語に関連する語，T4（3 ホップ目以上）：がんとの関連を想起しにくい語，の4つに分類した。そして，2 ホップ目までである， T1，T2，T3をがん用語として選定するというものである.

この 2 ホップルールに基づいて一人の専門家により選定されたがん用語集合の妥当性を検討するために， 4.3 節では, 本研究で行った $\mathrm{T} 1$ から $\mathrm{T} 4$ までの分類と, 複数医師の行った分類の一致性を評価し, T1 から $\mathrm{T} 4$ の間で $\mathrm{T} 2$ までの用語選択の一致性（ $\kappa$ 値 0.5 から 0.6 ）が示された. これにより，がん用語選択基準である 2 ホップルールの妥当性を示すことができたと考える.

さらに，4.4節で検討したように，専門知識を有する医師であっても，ある用語が「がん用語か否か」で分類する場合の各人の一致率は，2 ホップルールを明示して段階的に用語分類を行った場合に比べ低値（ $\kappa$ 値 $0.3 \sim 0.4$ ) であった。これより，本研究の提案する用語分類法である 「2 ホップルール」を与えたほうが，従来の「がん用語か否か」という分類を行う場合よりも，適切に専門用語を選択することが可能であることが示された。

また，4.5節で示したように，本研究で作成した用語集合（C）を正解データとした場合，自動抽出アルゴリズムによって得られた用語集合（HN）の再現率は約 0.86 を示したが，精度は 0.52 であった.これは，HNのアルゴリズムに改善の余地があることを示すと考える。このことから, 本研究で作成した用語集合は, 自動抽出アルゴリズムの評価に有用であると考える。

次に，1節で目標としたように，本研究におけるがん用語の作成方法が，他の分野の用語集合の作成にも適用可能かについて考察する。まず，本研究におけるがん用語の選定方法を一般化すると次のようになる。（1）まず，医学的内容の信頼性と網羅性が高いコーパスを選定する。 (2) 次に，そのコーパスから，専門家が，対象の病気に関連すると考える用語候補を網羅的に収集する。（3）最後に，2 ホップルールに基づいて，対象の病気に関係する用語を選定する。なお, 2 ホップルールは，より一般的には，中心的な用語から関連語までについて， T1, T2, T3, T4, , のような関連度の段階を定め，そのある段階までを，用語として認定するというものである。

このような用語集合の作成法の一般化が，他の病気に対しても適用可能かを実証することは今後の課題であるが，がんという，多数の疾患からなり肺がんや胃がんのような固型がんから，白血病のような肉腫と呼ばれる疾患群までを総称する複雑な概念からなる用語集合の作成が可能であったことから，少なくとも「パーキンソン病」や「アルツハイマー病」などの難病，「糖尿病」や「高血圧」のような生活習慣病など，ほぼ医学の全分野に応用可能と思われる。また，
本作成法の医学以外の分野での応用可能性（例えば,「不安」や「抑圧」などの心理学分野の症候を示す語群）に関しても，今後検討する予定である.

以上, 本研究における用語集作成法と従来の用語集の作成法とを比べて, 本研究における新規な点は, 用語選択の基準について, 「がんに関係する」という曖昧な判断基準から, 2 ホップルールという相対的に明確な判断基準を構築し, それに基づいて, がん用語を選定したことであると述べた。

次に，本研究で作成したがん用語集を実際のがん情報処理に適用するために必要と考えられる 2 つ拡張について述べる.これらは今後の課題である.

まず，本研究においては，国立がんセンターのWebテキストから抽出した用語のみをがん用語集に採用しているが, その他のテキストから抽出した用語もがん情報処理に有効な場合が考えられる。たとえば，「がんに効果がある」と宣伝している悪質な商品誘導へのページをフィルタリングして，良質ながん情報のページを推薦するためには，本研究で作成した用語集に加えて，悪質なぺージに特徴的な単語を利用すると効果的と考えられる。また，ブログの検索などの応用においては, 検索ユーザが頻繁に入力する単語も追加すると効果的と考えられる。また, 4.2.2 節で検討した,「生理以外」等の文法的理由による削除語についても，検索等には有用であると考えられるので, 本研究で提案したがん用語集合に加えて使用すると有効であると考える.

次に，本研究においては，がん用語を $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3$ に分類した。これは，がんとの関連性により, 用語をランキングしたと考えることもできる。このランキングは，がん用語集合を選定するためには有効であるが，その他の目的に対して最適とは限らない．たとえば，がんに関係するページを Web 検索するときに，「レントゲン写真」と「急性転化」とは，どちらも T2であるが，前者ががん以外のページも上位の検索結果に含むのに対して，後者はがん（白血病）のページがほとんどである。つまり, 検索結果の適合率という観点からは,「急性転化」の方が良い用語である.

このように, T1, T2, T3 は関連性をべースにした用語の分類であるが, 目的が明確な場合には, この分類は最適とはいえない. しかし, 本研究により作成したがん用語集合があれば, それを検索のためにランキングする等, 目的に応じてがん用語をランキングすることも考えられる. これは, 全語彙にランキングを行うよりはるかに容易である。 すなわち, 本研究で作成した用語集合のランキングを目的別に整備することにより，目的対応の用語集合ができる。したがって, 本研究により作成したがん用語集合は有用であると考える.

## 6 まとめと今後の方針

がん情報処理を補助することを目的として，その言語基盤であるがん用語辞書を，医師免許を持つ専門家が人手で作成した。わが国で生じる可能性のあるほぼ全てである 59 個のがんの説
明用コンテンツを含む国立がんセンターの Web 文書全体（テキストファイルとして約 15 メガバイト）を，がんの情報に関して十分な網羅性を持つ権威あるコーパスとして選択した。これから直接人手で，がん用語として理解可能な用語を網羅的に収集し， 10199 語の用語候補集合 Cc (Cancer term Candidates) を得た.

得られた $\mathrm{Cc}$ の各語を理解しやすくすることや用語間の整合性を調整するために，各語の用例から「病名」「解剖学用語」「臨床用語」「一般語」「検査用語」などの種別を作成した。また,各語をがんとの関連性を想起しつつ分類した結果， $\mathrm{T} 1$ (がんそのものをさし示す語）， T2（がんを想起させる語），T3（がんを想起させる語に関連する語），T4（がんとの関連性を想起しにくい語）の 4 つに分類できた。これら「種別」とがんとの関連性を参考に，がん用語として， T1 から T3 までをがん用語 Cとして選択するという選択基準を規定した。

元コーパスに対する $\mathrm{Cc}$ の用語候補抽出の一貫性を調べるために, コーパスから 10 個の疾患の説明用ページのテキストファイルを対象として，再度網羅的な用語収集を行い，得られた用語のうち Ccに含まれた語の比率を調べた。その結果, これら 10 個の対象における $\mathrm{Cc}$ の再現率は $94 \%$ から $99.5 \%$ であり，元コーパスに対する Cc の再現性は十分であることが示された.

さらに，選択基準をもとに， T1， T2， T3，T4の分類を，Cc（10199 語）の全用語に対して人手で行い， T1，T2，T3に分類される用語を，がん用語集合 Cとした.

選択基準の妥当性を検討するために， $\mathrm{T} 1$ （1637 語）， T2（4167 語）, T3（3705 語）, T4（221 語）の中から約 50 語ずつを無作為に選び，評価用ワードセット（用語数 197 語）を作成し，これを選択基準の説明文とともに医師 4 名に示し, 本研究で想定した $\mathrm{T} 1$ から $\mathrm{T} 4$ の分類と各医師の分類の比較を行った。その結果, T1, T2 までの分割に対する Cohen's Kappa 值は約 0.6 であり, さらに $\mathrm{T} 1, \mathrm{~T} 2$ とそれ以外の 3 分割の場合でも 0.5 を示したことから, $\mathrm{T} 1$ と $\mathrm{T} 2$ までの語彙選択の妥当性が示された.

以上より, 本研究で行ったコーパスからの網羅的用語収集と用語選択基準の組み合わせによって，少人数で妥当性のあるがん用語集合を作成することができた.

本研究のような用語集合の作成は, 目的とする分野での質の高いコーパスが存在することが重要だが, 今後他の医学分野においても同様の手法で, 妥当性のある用語集合を作成していくことが可能と思われる。

また，2.1 節であげた National Cancer Institute の Dictionary of Cancer Terms の語彙数 5236 語と, $\mathrm{Cc}$ の $\mathrm{T} 1$ と $\mathrm{T} 2$ の合計語彙数 5804 語が，対象とするがんの種類や社会制度などが異なる 2 つの地域で同規模であることも興味深い.これら語彙の相互比較も今後の検討課題である.

今後, このがん用語集合を用いたがん情報処理の実現にむけて研究を行うことが課題である. なお，本研究で収集したがん情報コーパスならびに，分類夕グつきのがん用語集合は，国立がんセンターとの協議の上で公開する予定である.

## 謝 辞

本研究を行うに当たり用語辞書作成に御協力いただいた, 元北陸先端科学技術大学院大学学生木村俊也氏, 国立がんセンター中央病院若尾文彦医長, 同がん対策情報センター石川ベンジャミン光一室長, 滋賀医科大学藤山佳秀教授, 程原佳子教授, 八尾武憲博士, 近畿大学医学部西尾和人教授, 鹿児島大学大学院医歯学総合研究科秋葉澄伯教授, 高岡医院高岡篤博士, 野洲病院木築裕彦医師に謝意を表する。論文作成に御協力いただいた, 情報通信研究機構主任研究員門林理恵子博士ならびに村松亜左子氏に謝意を表する。なお, 本研究は NICT 運営費交付金 (新世代ネットワーク研究センター), 平成 19 年度, 20 年度厚生労働省がん研究助成金研究総合研究「がん情報ネットワークを利用した総合的がん対策支援の具体的方法に関する研究 」若尾班等の支援を得て行った. 関係各位に深謝する.

## 注

1) 日本内科学会編, 内科学用語集（第 5 版）(1998). 医学書院. ISBN: 978-4-2601-3641-9 (42601-3641-0).

2) 循環器学用語合同委員会, 循環器学用語集 (第 3 版) (2008). 丹水社. ISBN: 978-4-9313-4722-9 (4-9313-4722-3).

3) National Cancer Institute (NCI). http://www.cancer.gov/dictionary/

4) 日本糖尿病学会 (編集) (2005). 糖尿病学用語集. 文光堂. ISBN: 978-4-8306-1363-0 (4-83061363-7).

## 参考文献

青木繁伸 (2002). http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html

Humphrey, S. M. and Miller, N. E. (1987). "Knowledge-based indexing of the medical literature: the Indexing Aid Project." J Am Soc Inf Sci, 38(3), pp. 184-196

国立がんセンター。http://www.ncc.go.jp/index.html

Landis, J. R. and Koch, G. G. (1977). "The measurement of observer agreement for categorical data" in Biometrics. 33, pp. 159-174.

Nakagawa, H. (2000). "Automatic Term Recognition based on Statistics of Compound Nouns." Terminology, 6(2), pp. 195-210.

Nakagawa, S., Kimura, M., Itokawa, Y., Kasahara, Y., Sato, T., and Kimura, I. (1995). "Development of Internet-Based Total Health Care Management System with Electronic Mail."

Journal of Epidemiology, 5(3), pp. 131-140.

National Cancer Institute (NCI) (2007). PDQ (Cancer Information Physician Data Query from

National Cancer Institute). http://www.cancer.gov/cancerinfo/pdq/

National Library of Medicine (2006). Medical Subject Headings (MeSH) fact sheet.

野口迪子 (2000). 医学書を探す: 基本図書を主として。情報の科学と技術, 50(11), pp. 542-552.佐藤理史, 佐々木靖広 (2003). ウェブを利用した関連用語の自動収集. 情報処理学会研究報告, 2003-NL-153, pp. 57-64.

(財) 先端医療振興財団 (2009), PDQ 日本語版, http://cancerinfo.tri-kobe.org/

Wendy A. Weiger（原著），坪野吉孝（翻訳）(2004)。がんの代替療法一有効性と安全性がわかる本. 法研.

山口徹, 北原光夫（編集）(2004). 今日の治療指針. 医学書院.

山室真知子 (2000). 医学情報の患者へのバリアフリー. 情報の科学と技術, 50(3), pp. 138-142.

## 略歴

中川晋一（正会員）：1988 年滋賀医科大学卒, 医師。1996 年京大院（医）終

了, 博士 (医学)。同年国立がんセンター研究所, 1998 年郵政省通信総合研究

所 (現情報通信研究機構), 現在, 同主任研究員, 次世代インターネット技術開発に従事, IT 技術の実社会への応用（情報通信医学）に興味がある。言語処理学会, 情報処理学会, 日本内科学会等会員

内山将夫（正会員）：1992 年筑波大学卒業. 1997 年同大学院工学研究科修了.博士 (工学). 現在, 情報通信研究機構主任研究員. 言語処理の実際的で学際的な応用に興味がある。言語処理学会, 情報処理学会, ACL 等会員.

三角真（非会員）：2004 年北陸先端科学技術大学院大学博士前期課程修了.

修士 (情報科学)。同年, JST 重点支援協力員に採用。2006 年 NICT 技術員に

採用. 2008 年から東京工業大学博士後期課程在学. 情報通信の研究に従事.

島津明（正会員）：1973 年九州大学大学院理学研究科修士課程修了. 同年,

日本電信電話公社武蔵野電気通信研究所入所. 1985 年日本電信電話株式会社基礎研究所. 1997 年北陸先端科学技術大学院大学情報科学研究科教授. 工学博士.

酒井善則（非会員）：1969 年東京大学工学部電気工学科卒業 1974 年同大学院博士課程修了. 工学博士. 同年電電公社電気通信研究所入社 1987 年東京工業大学助教授 1990 年同教授，画像情報処理，情報ネットワークの研究に従事 1994 年テレビジョン学会著述賞, 1998 年画像電子学会論文賞, 2001 電子情報通信学会業績賞

## 付録 1

以下に示す「各評価担当医師への依頼文」は，4.3節で述べた評価語データについて，各医師に各語を 4 分類してもらうための説明文である。ここで，本文中で説明した $\mathrm{T} 1, \mathrm{~T} 2, \mathrm{~T} 3, \mathrm{~T} 4$ の各分類は，依頼文においては，それぞれ，1，2，3，4に対応する．なお，本文中における $\mathrm{T} 1, \mathrm{~T} 2$ ， $\mathrm{T} 3, \mathrm{~T} 4$ の説明と依頼文中における $1,2,3,4$ の説明とは, 言葉遣いや用例等が若干異なるが, 同一の分類内容を説明している。言葉遣いや用例等が若干異なる理由は，論文執筆時に，下記依頼文の分類内容が，より明確に伝わるように努めたためである.

各評価担当医師への依頼文

用語集合分類のお願い

現在，がんの用語集を作成中ですが，評価を必要としています。全部で約 1 万語あります.用語は全て国立がんセンターの Web から手で抽出したものですが，これを，がんを直接さす用語から関連用語までに分類することを考えています。この用語集合が完成すればWebから直接がんの概念を含むぺージを選択することなどが可能になると思います.

次の 4 つに分類することを考えています.

1. がんそのものをさす語（用語の中にがんの概念を含む語）

2. がんを想起させる用語（その用語ががんを想起させる語）

3. 関連用語（がんの関連用語と思われる語）

4. 除外すべき語（がんとは関係がないと思われる語）

つきましては，添付のエクセルのファイルに示しました約 200 語それぞれについて，上の 4 つの番号を振っていただて返信していただけると大変助かります. 分類は, 厳密に行っていただくのではなく, このメイルをお読みいただき, 用語をごらんになり, 第一印象で分類して下さい.
用語分類の説明

1. がんそのものを指す用語

例えば，胃がん，肺がん，乳がん手術のように，がんという用語そのものを含む用語をはじめとして，進行期中悪性度，ATLL 細胞，骨髄腫細胞のようながん自体の病名や病態，あるいは経尿道的膀胱腫瘍切除術のように，がんを用語の中に含んでいるもの．脳腫瘍のような総称や，髄膜腫のような鑑別を要するものも含めてください.

2. がんを想起させる用語

1. に比べて用語の中にがんの概念を含んでいるものではないけれども, 文中にその用語が出現することによって内容ががんの意味を表していると思われるような用語です.

例えば，化学療法という用語の場合は，感染症に対する抗生物質を用いると言う意味もありますが，「患者に対して化学療法を行った.」という用例の場合，がんに対する抗がん剤を用いた化学療法という意味に用いられます。放射線療法の場合は殆ど全ての場合，がんに対する治療をさします。腔内照射装置, 内視鏡的逆行性胆管造影, 乳腺 X 線検查, 病理生検組織などの，その用語から，がんを想起させることのできる用語．また，「住民検診」のように， がんの検出を目的としている用語も含めてください.

3. がん用語の関連用語

上の 1,2 ほど，がんの概念に近くはないが関連していると思われる用語です.

例えば，眼底検査という用語の場合，さまざまな腫瘍で脳圧方進の診断などで用いられますが，次のように考えます。

・脳腫瘍一脳圧光進一眼底検査

このように考えて，関連する語と考えられる用語を含めてください。

また，「石綿金網」は胸膜中皮腫の原因物質であるアスベストを含有しています。これは，想起順から連想すると，次のように考えられます。

・胸膜中皮腫一アスベスト一石綿金網一金網

このように直接の原因物質に比べ, 関係が少し遠いと思われる関連語をこの分類とし, 金網は関連語には入れないが, 石綿金網までは胸膜中皮腫の関連語として分類します。それに比べて，金網は原因物質を含まないので，関連語ではないと判断します。

4. 関係ない用語

上のどの範疇にも入らない，がんとは関係ない用語と思われる用語. また, 意味不明と思われる用語もこの範疇に入れていただいて結構です。

## 付録 2

各評価担当医師への依頼文

用語集合分類のお願い

2 ページ目から 4 ページ目までの表に，単語が合計 100 個書いてあります。これを，「がんに関係する用語か，そうでない用語か」の2つに分けてください。

単語を見ていたたいて,

がんに関係する語なら○，がんに関係ない語なら×

を右側のカラムに書き入れてください.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/