# 共変量シフトの問題としての語義曖昧性解消の領域適応

新納 浩幸 $\cdot$ 佐々木 稔 $\dagger$
}

本稿では語義曖昧性解消 (Word Sense Disambiguation, WSD) の領域適応が共変量シ フトの問題と見なせることを示し, 共変量シフトの解法である確率密度比を重みにし たパラメータ学習により，WSD の領域適応の解決を図る。共変量シフトの解法では 確率密度比の算出が鍵となるが, ここでは Naive Bayes で利用されるモデルを利用し た簡易な算出法を試みた。そして素性空間拡張法により拡張されたデータに対して，共変量シフトの解法を行う．この手法を本稿の提案手法とする．BCCWJ コーパス の 3 つ領域 OC（Yahoo! 知恵袋），PB（書籍）及び PN（新聞）を選び，SemEval-2 の日本語 WSD タスクのデータを利用して, 多義語 16 種類を対象に, WSD の領域適応の実験を行った. 実験の結果, 提案手法は Daumé の手法と同等以上の正解率 を出した. 本稿で用いた簡易な確率密度比の算出法であっても共変量シフトの解法 を利用する効果が高いことが示された。より正確な確率密度比の推定法を利用した り, 最大エントロピー法の代わりにSVM を利用するなどの工夫で更なる改善が可能である。また教師なし領域適応へも応用可能である. WSD の領域適応に共変量 シフトの解法を利用することは有望であると考えられる。

キーワード：語義曖昧性解消, 領域適応, 共変量シフト, Daumé の手法, BCCWJコーパス
## Domain Adaptations for Word Sense Disambiguation under the Problem of Covariate Shift

\author{
Hiroyuki ShinNou $^{\dagger}$ and Minoru Sasaki ${ }^{\dagger}$
}

In this report, we show that the problem of domain adaptation for word sense disambiguation (WSD) can be treated as a covariate shift problem, and we try to solve it by maximizing the log-likelihood by weighting the probability density ratio, which is the standard solution of covariate shift. The key to solving this problem lies in the estimation of the probability density ratio. We estimate the probability density ratio using simple method employing the Naive Bayes model. In our proposed method, we apply the covariate shift method to the training data expanded by the Daumé's feature augmentation method. In the experiment, we solve six types of domain adaptations for WSD using three domains, viz., OC (Yahoo! Chiebukuro), PB (Book), and PN (Newspaper) in the BCCWJ corpus. The results show that our proposed method outperforms the Daumé's method. This report shows that even our simple method of estimating the probability density ratio is effective for use in the covariate shift method. In future, we intend to investigate and find a method of estimating the probability density ratio more accurately. Further, we intend to use the SVM instead

of the maximum entropy method. Moreover, the method of covariate shift is also effective for unsupervised domain adaptations and is a promising approach for WSD domain adaptations.

Key Words: word sense disambiguation, domain adaptation, covariate shift, Daumé's method, BCCWJ corpus

## 1 はじめに

本稿では語義曖昧性解消 (Word Sense Disambiguation, WSD) をタスクとした領域適応の問題が共変量シフトの問題と見なせることを示す. そして共変量シフトの解法である確率密度比を重みにしたパラメータ学習により，WSD の領域適応の解決を図る。共変量シフトの解法では確率密度比の算出が鍵となるが，ここでは Naive Bayes で利用されるモデルを利用した簡易な算出法を試みた。そして素性空間拡張法により拡張されたデータに対して，共変量シフトの解法を行う。この手法を本稿の提案手法とする.

自然言語処理の多くのタスクにおいて帰納学習手法が利用される。そこではコーパス $S$ からタスクに応じた訓練データを作成し, その訓練データから分類器を学習する。 そしてこの分類器を利用することで当初のタスクを解決する。このとき実際のタスクとなるデータはコーパス $S$ とは領域が異なるコーパス $T$ のものであることがしばしば起こる。この場合，コーパス $S$ (ソー ス領域）から学習された分類器では，コーパス $T$ （ターゲット領域）のデータを精度良く解析することができない問題が生じる。これが領域適応の問題であり 1 , 近年活発に研究が行われている (Sogaard 2013).

WSD は文 $\boldsymbol{x}$ 内の多義語 $w$ の語義 $c \in C$ を識別する問題である. $P(c \mid \boldsymbol{x})$ を文 $\boldsymbol{x}$ 内の単語 $w$ の語義が $c$ である確率とすると, 確率統計的には $\arg \max _{c \in C} P(c \mid \boldsymbol{x})$ を解く問題といえる. 例えば単語 $w=$ 「ボタン」には少なくとも $c_{1}$ : 服のボタン, $c_{2}$ : スイッチのボタン, $c_{3}$ : 花のボタン (牡丹), の 3 つの語義がある。そして文 $\boldsymbol{x}=$ 「シャツのボタンが取れた」が与えられたときに，文中の「ボタン」が $C=\left.\{c_{1}, c_{2}, c_{3}\right.\}$ 内のどれかを識別する. 直接的には教師付き学習手法を用いて $P(c \mid \boldsymbol{x})$ を推定して解くことになる. WSD の領域適応の問題は, 前述したように, 教師付き学習手法を利用する際に学習もとのソース領域のコーパス $S$ と, 分類器の適用先であるター ゲット領域のコーパス $T$ が異なる問題である。領域適応ではソース領域 $S$ から $S$ 上の条件付き分布 $P_{S}(c \mid \boldsymbol{x})$ は学習できるという設定なので, $P_{S}(c \mid \boldsymbol{x})$ やその他の情報を利用して, ターゲット領域 $T$ 上の条件付き分布 $P_{T}(c \mid \boldsymbol{x})$ を推定できれば良い. ここで「シャツのボタンが取れた」という文中の「ボタン」の語義は, この文がどのような領域のコーパスに現れても変化するとは考えづらい。つまり $P_{T}(c \mid \boldsymbol{x})$ は領域に依存していないため, $P_{S}(c \mid \boldsymbol{x})=P_{T}(c \mid \boldsymbol{x})$ が成立していると

考えられる。今 $P_{S}(c \mid \boldsymbol{x})$ は推定できるので, $P_{S}(c \mid \boldsymbol{x})=P_{T}(c \mid \boldsymbol{x})$ が成立していれば, $P_{T}(c \mid \boldsymbol{x})$ を推定する必要はないように見える。ただしソース領域だけを使って推定した $P_{S}(c \mid \boldsymbol{x})$ では，実際の識別精度は低い場合が多い。それは $P_{S}(\boldsymbol{x}) \neq P_{T}(\boldsymbol{x})$ から生じている. $P_{S}(c \mid \boldsymbol{x})=P_{T}(c \mid \boldsymbol{x})$ だが $P_{S}(\boldsymbol{x}) \neq P_{T}(\boldsymbol{x})$ という仮定の下で, $P_{T}(c \mid \boldsymbol{x})$ を推定する問題は共変量シフトの問題 (Shimodaira 2000; 杉山 2006; Sugiyama and Kawanabe 2011)である。本稿では WSD の領域適応の問題を共変量シフトの問題として捉え，共変量シフトの解法を利用してWSD の領域適応を解決することを試みる。

訓練データを $D=\left.\{\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}\right)\right.\}_{i=1}^{N}$ とする。共変量シフトの標準的な解法では $P_{T}(c \mid \boldsymbol{x})$ に確率モデル $P(c \mid \boldsymbol{x} ; \boldsymbol{\theta})$ を設定し, 次に確率密度比 $r\left(\boldsymbol{x}_{\boldsymbol{i}}\right)=P_{T}\left(\boldsymbol{x}_{\boldsymbol{i}}\right) / P_{S}\left(\boldsymbol{x}_{\boldsymbol{i}}\right)$ を重みにした以下の対数尤度を最大にする $\boldsymbol{\theta}$ を求めることで， $P_{T}(c \mid \boldsymbol{x})$ を構築する.

$
\sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) \log P\left(c_{i} \mid \boldsymbol{x}_{\boldsymbol{i}} ; \boldsymbol{\theta}\right)
$

また領域適応に対しては Daumé の手法 (Daumé 2007) が非常に簡易でありながら，効果が高い手法として知られている。 Daumé の手法は, データの表現を領域適応に効果が出るように拡張し, 拡張されたデータを用いて SVM 等の学習手法を利用する手法である。ここでは拡張する手法を「素性空間拡張法 (Feature Augmentation)」と呼び，拡張されたデータを用いて SVM などで識別までを行う手法を「Daumé の手法」と呼ぶことにする。拡張されたデータに対しては任意の学習手法が利用できる。つまり素性空間拡張法により拡張されたデー夕に対して, 共変量シフトによる解法を利用することも可能である. 本稿ではこの手法を提案手法とする.

実験では現代日本語書き言葉均衡コーパス（BCCWJ コーパス (Maekawa 2007)）における 3 つの領域 OC（Yahoo! 知恵袋), PB（書籍）及び PN（新聞）を利用する．SemEval-2 の日本語 WSD タスク (Okumura, Shirai, Komiya, and Yokono 2010) ではこれらのコーパスの一部に語義夕グを付けたデータを公開しており，そのデータを利用する。すべての領域である程度の頻度が存在する多義語 16 単語を対象にして，WSD の領域適応の実験を行う．領域適応としては $\mathrm{OC} \rightarrow \mathrm{PB}, \mathrm{PB} \rightarrow \mathrm{PN}, \mathrm{PN} \rightarrow \mathrm{OC}, \mathrm{OC} \rightarrow \mathrm{PN}, \mathrm{PN} \rightarrow \mathrm{PB}, \mathrm{PB} \rightarrow \mathrm{OC}$ の計 6 通りが存在する. 結果 $16 \times 6=96$ 通りの WSD の領域適応の問題に対して実験を行った. その結果，提案手法は Daumé の手法と同等以上の正解率を出した.

本稿で用いた簡易な確率密度比の算出法であっても共変量シフトの解法を利用する効果が高いことが示された。より正確な確率密度比の推定法を利用したり，SVM を利用するなどの工夫で更なる改善が可能である。また教師なし領域適応へも応用可能である．WSD の領域適応に共変量シフトの解法を利用することは有望であると考えられる.

## 2 関連研究

自然言語処理における領域適応は, 帰納学習手法を利用する全てのタスクで生じる問題であるために，その研究は多岐にわたる。利用手法をおおまかに分類すると， ターゲット領域のラベル付きデータを利用するかしないかで分類できる. 利用する場合を教師付き領域適応手法,利用しない場合を教師なし領域適応手法と呼ぶ. 本稿における手法は教師付き領域適応手法の範疇に入るので，ここでは提案手法に関連する教師付き領域適応手法の従来研究を述べる.

教師付き領域適応手法においては, 一般に，ターゲット領域の知識は使えるだけ使えばよいはずなので，ポイントはソース領域の知識の利用方法にある。ソース領域とターゲット領域間の距離が離れすぎている場合, ソース領域の知識を使いすぎると分類器の精度が悪化する現象がおこる。これは負の転移 (Rosenstein, Marx, Kaelbling, and Dietterich 2005) と呼ばれている.負の転移を避けるには, 本質的に, ソース領域とターゲット領域間の距離を測り，その距離を利用してソース領域の知識の利用を制御する形となる.

Asch は品詞タグ付けをタスクとして領域間の類似性を測り，その類似度から領域適応を行った際に精度がどの程度悪くなるかを予測できることを示した (Van Asch and Daelemans 2010).張本は構文解析をタスクとしてターゲット領域を変化させたときの精度低下の要因を調査し, そこから新たな領域間の類似性の尺度を提案している (張本, 宮尾, 辻井 2010). Plank は構文解析をタスクとして領域間の類似性を測ることで，ターゲット領域を解析するのに最も適したソース領域を選んでいる (Plank and van Noord 2011). Ponomareva (Ponomareva and Thelwall 2012) や Remus (Remus 2012) は感情極性分類をタスクとして領域間の類似度を学習中のパラメータに利用した。これらの研究はタスク毎に類似性を測るが, WSD がタスクの場合, 領域間の類似性は WSD の対象単語に依存していると考えられる。古宮は対象単語每に領域間の距離

古宮, 奥村 2012).

上記した古宮の一連の研究は広い意味でアンサンブル学習の一種である。 そこでアンサンブルされる各要素となる学習手法をみるとソース領域のデータとターゲット領域のデータへの各重みが異なるだけである。つまり領域適応においてはソース領域のデータとターゲット領域のデー タへの各重みを調整して，学習手法を適用するというアプローチが有力である. Jiang (Jiang and Zhai 2007) は $P_{S}(c \mid \boldsymbol{x})$ と $P_{T}(c \mid \boldsymbol{x})$ との差が極端に大きいデータを “misleading”データとして訓練データから取り除いて学習することを試みた。これは “misleading”データの重みを 0 にした学習と見なせるため, この手法も重み付けの手法と見なせる. 本稿で利用する共変量シフト下での学習もこの範疇の手法といえる.

素性空間拡張法 (Daumé 2007) も重み付け手法である. ただしデータではなくデータ中の素性に重みをつける。そこではソース領域の訓練データのベクトル $x_{s}$ を $\left(x_{s}, x_{s}, 0\right)$ と連結した 3 倍の長さのベクトルに直し， ターゲット領域の訓練データのベクトル $x_{t}$ を $\left(0, x_{t}, x_{t}\right)$ と連結した 3 倍の長さのべクトルに直す。ここで 0 は $\boldsymbol{x}_{s}$ や $\boldsymbol{x}_{\boldsymbol{t}}$ と同じ次元数であり，しかもすべての次元の值が 0 であるようなべクトルである.

この 3 倍にしたべクトルを用いて，通常の分類問題として解く.この手法は非常に簡易でありながら，効果が高い手法として知られている。この拡張手法はソース領域とターゲット領域に共通している特徴が重なることで，結果として共通している特徴の重みがつくことで領域適応に効果が出ると考えられる。

また領域適応の問題を共変量シフト下の学習を用いて解決する研究としては, Jiang の研究 (Jiang and Zhai 2007) と齋木の研究 (齋木, 高村, 奥村 2008) がある. Jiang は確率密度比を手動で調整し，モデルにはロジステック回帰を用いている。また齋木は $P(\boldsymbol{x})$ を unigram でモデル化することで確率密度比を推定し, モデルには最大エントロピー法のモデルを用いている。 たたしどちらの研究もタスクは WSDではない.

また共変量シフト下では $P_{S}(c \mid \boldsymbol{x})=P_{T}(c \mid \boldsymbol{x})$ を仮定するが, $P_{S}(\boldsymbol{x} \mid c)=P_{T}(\boldsymbol{x} \mid c)$ を仮定するアプローチもある。この場合, ベイズの定理から

$
\begin{aligned}
\arg \max _{c \in C} P_{T}(c \mid \boldsymbol{x}) & =\arg \max _{c \in C} P_{T}(c) P_{T}(\boldsymbol{x} \mid c) \\
& =\arg \max _{c \in C} P_{T}(c) P_{S}(\boldsymbol{x} \mid c)
\end{aligned}
$

となるので領域適応の問題は $P_{T}(c)$ の推定に帰着できる. 実際, Chan らは $P_{S}(\boldsymbol{x} \mid c)$ と $P_{T}(\boldsymbol{x} \mid c)$ の違いの影響は非常に小さいと考え, $P_{S}(\boldsymbol{x} \mid c)=P_{T}(\boldsymbol{x} \mid c)$ を仮定し, $P_{T}(c)$ を $\mathrm{EM}$ アルゴリズムで推定することで WSD の領域適応を行っている (Chan and Ng 2005, 2006). 更に新納らは $P_{S}(\boldsymbol{x} \mid c)=P_{T}(\boldsymbol{x} \mid c)$ の仮定があったとしても，コーパスのスパース性から単純に $P_{T}(\boldsymbol{x} \mid c)$ を $P_{S}(\boldsymbol{x} \mid c)$ で置き換えることはできないと考え, $P_{T}(c)$ の推定の問題と $P_{T}(\boldsymbol{x} \mid c)$ の推定の問題を個別に対処することを提案している (新納, 佐々木 2013).

## 3 期待損失最小化からみた共変量シフト

対象単語 $w$ の語義の集合を $C$, また $w$ の用例 $\boldsymbol{x}$ 内の $w$ の語義を $c$ と識別したときの損失関数を $l(\boldsymbol{x}, c, d)$ で表す. $d$ は $w$ 語義を識別する分類器である. $P_{T}(\boldsymbol{x}, c)$ をターゲット領域上の分布とすれば，領域適応の問題における期待損失 $L_{0}$ は以下で表せる.

$
L_{0}=\sum_{\boldsymbol{x}, c} l(\boldsymbol{x}, c, d) P_{T}(\boldsymbol{x}, c)
$

また $P_{S}(\boldsymbol{x}, c)$ をソース領域上の分布とすると以下が成立する.

$
L_{0}=\sum_{\boldsymbol{x}, c} l(\boldsymbol{x}, c) \frac{P_{T}(\boldsymbol{x}, c)}{P_{S}(\boldsymbol{x}, c)} P_{S}(\boldsymbol{x}, c)
$

ここで共変量シフトの仮定から

$
\frac{P_{T}(\boldsymbol{x}, c)}{P_{S}(\boldsymbol{x}, c)}=\frac{P_{T}(\boldsymbol{x}) P_{T}(c \mid \boldsymbol{x})}{P_{S}(\boldsymbol{x}) P_{S}(c \mid \boldsymbol{x})}=\frac{P_{T}(\boldsymbol{x})}{P_{S}(\boldsymbol{x})}
$

となり, $r(\boldsymbol{x})=P_{T}(\boldsymbol{x}) / P_{S}(\boldsymbol{x})$ とおくと以下が成立する.

$
L_{0}=\sum_{\boldsymbol{x}, c} r(\boldsymbol{x}) l(\boldsymbol{x}, c, d) P_{S}(\boldsymbol{x}, c)
$

訓練データを $D=\left.\{\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}\right)\right.\}_{i=1}^{N}$ とし, $P_{S}(\boldsymbol{x}, c)$ を経験分布で近似すれば,

$
L_{0} \approx \frac{1}{N} \sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) l\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}, d\right)
$

となるので, 期待損失最小化の観点から考えると, 共変量シフトの問題は以下の式 $L_{1}$ を最小にする $d$ を求めればよいことがわかる.

$
L_{1}=\sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) l\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}, d\right)
$

## 4 重み付き対数尤度の最大化

分類器 $d$ として以下の事後確率最大化推定に基づく識別を考える.

$
d(\boldsymbol{x})=\arg \max _{c} P_{T}(c \mid \boldsymbol{x})
$

また損失関数として対数損失 $-\log P_{T}(c \mid \boldsymbol{x})$ を用いれば，式 (1) は以下となる.

$
L_{1}=-\sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) \log P_{T}\left(c \mid \boldsymbol{x}_{\boldsymbol{i}}\right)
$

つまり, 分類問題の解決に $P_{T}(c \mid \boldsymbol{x}, \boldsymbol{\lambda})$ のモデルを導入するアプローチを取る場合, 共変量シフト下での学習では, 確率密度比を重みとした以下に示す重み付き対数尤度 $L(\boldsymbol{\lambda})$ を最大化するパ

$
L(\boldsymbol{\lambda})=\sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) \log P\left(c_{i} \mid \boldsymbol{x}_{\boldsymbol{i}}, \boldsymbol{\lambda}\right)
$

ここではモデルとして以下の式で示される最大エントロピー法を用いる.

$
P_{T}(c \mid \boldsymbol{x}, \boldsymbol{\lambda})=\frac{1}{Z(\boldsymbol{x}, \boldsymbol{\lambda})} \exp \left(\sum_{j=1}^{M} \lambda_{j} f_{j}(\boldsymbol{x}, c)\right)
$

$\boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{M}\right)$ が入力で $c$ がクラスである. 関数 $f_{j}(\boldsymbol{x}, c)$ は素性関数であり, 実質 $\boldsymbol{x}$ の真のクラスが $c$ のときに $x_{j}$ を返し，そうでないとき 0 を返す関数に設定される， $Z(\boldsymbol{x}, \boldsymbol{\lambda})$ は正規化項であり，以下で表せる.

$
Z(\boldsymbol{x}, \boldsymbol{\lambda})=\sum_{c \in C} \exp \left(\sum_{j=1}^{M} \lambda_{j} f_{j}(\boldsymbol{x}, c)\right)
$

そして $\boldsymbol{\lambda}=\left(\lambda_{1}, \lambda_{2}, \cdots, \lambda_{M}\right)$ が素性に対応する重みパラメータとなる.

共変量シフト下ではない通常のケースでは, 重みパラメータは最尤法から求める。 つまり, 訓練データ $D=\left.\{\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}\right)\right.\}_{i=1}^{N}$ とすると，以下の式 $F(\boldsymbol{\lambda})$ を最大にする $\boldsymbol{\lambda}$ を求める.

$
F(\boldsymbol{\lambda})=\sum_{i=1}^{N} \log P\left(c_{i} \mid \boldsymbol{x}_{\boldsymbol{i}}\right)
$

これを各 $\lambda_{j}$ で偏微分し極値問題に直すと以下が成立する.

$
\frac{\partial F(\boldsymbol{\lambda})}{\partial \lambda_{j}}=\sum_{i=1}^{N} f_{j}\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}\right)-\sum_{i=1}^{N} \sum_{c \in C} P_{T}\left(c \mid \boldsymbol{x}_{\boldsymbol{i}}, \boldsymbol{\lambda}\right) f_{j}\left(\boldsymbol{x}_{\boldsymbol{i}}, c\right)=0
$

これを勾配法などで解くことにより $\boldsymbol{\lambda}$ が求まる.

共変量シフト下の学習では式 $(2)$ の $L(\boldsymbol{\lambda})$ を最大にする $\boldsymbol{\lambda}$ を求める. 上記と全く同じ手順で,

$
\frac{\partial L(\boldsymbol{\lambda})}{\partial \lambda_{j}}=\sum_{i=1}^{N} r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) f_{j}\left(\boldsymbol{x}_{\boldsymbol{i}}, c_{i}\right)-\sum_{i=1}^{N} \sum_{c \in C} P\left(c \mid \boldsymbol{x}_{\boldsymbol{i}}, \boldsymbol{\lambda}\right) r\left(\boldsymbol{x}_{\boldsymbol{i}}\right) f_{j}\left(\boldsymbol{x}_{\boldsymbol{i}}, c\right)=0
$

が得られる.これを勾配法などで解くことにより $\boldsymbol{\lambda}$ が求まる.

今, 事例 $\boldsymbol{x}_{\boldsymbol{i}}$ の頻度を $h_{i}$ とすると，尤度は以下となる。

$
\prod_{i=1}^{N} P\left(c_{i} \mid \boldsymbol{x}_{\boldsymbol{i}}\right)^{h_{i}}
$

対数を取れば以下が得られる.

$
\sum_{i=1}^{N} h_{i} \log P\left(c_{i} \mid \boldsymbol{x}_{\boldsymbol{i}}\right)
$

この式は重み付き対数尤度の式 $(2)$ と同じ形なので, 実際に $\boldsymbol{\lambda}$ を求めるためには, 事例 $\boldsymbol{x}_{\boldsymbol{i}}$ の
頻度 $h_{i}$ を $r\left(\boldsymbol{x}_{\boldsymbol{i}}\right)$ と考えて, 最大エントロピー法のツールなどを用いればよい ${ }^{3}$.

## 5 確率密度比の算出

共変量シフト下の学習では確率密度比の算出が鍵である. 直接的には $P_{S}(\boldsymbol{x})$ と $P_{T}(\boldsymbol{x})$ を推定し，その比を取ればよいが， $P_{S}(\boldsymbol{x})$ や $P_{T}(\boldsymbol{x})$ を正確に推定することは困難であり，その比をとれば更に誤差が大きくなると予想できる。そのため確率密度比を直接モデル化して求める手法が活発に研究されている (杉山 2010).

ただし本稿では簡易な手法を利用して確率密度比を算出することにした。本稿の目的はこのような簡易な手法による確率密度比の算出法であっても, WSD の領域適応の有力な解法になることを示すことである.

対象単語 $w$ の用例 $\boldsymbol{x}$ の素性リストを $\left.\{f_{1}, f_{2}, \cdots, f_{n}\right.\}$ とする. 求めるのは領域 $R \in\{S, T\}$ 上の $\boldsymbol{x}$ の分布 $P_{R}(\boldsymbol{x})$ である. ここでは Naive Bayes で使われるモデルを用いて算出する. Naive Bayes のモデルでは以下を仮定する.

$
P_{R}(\boldsymbol{x})=\prod_{i=1}^{n} P_{R}\left(f_{i}\right)
$

領域 $R$ のコーパス内の $w$ の全ての用例について素性リストを作成しておく. ここで用例の数を $N(R)$ とおく.また $N(R)$ 個の用例の中で，素性 $f$ が現れた用例数を $n(R, f)$ とおく. MAP 推定でスムージングを行い， $P_{R}(f)$ を以下で定義する (高村 2010).

$
P_{R}(f)=\frac{n(R, f)+1}{N(R)+2}
$

以上より, ソース領域 $S$ の用例 $\boldsymbol{x}$ に対して, 確率密度比 $r(\boldsymbol{x})=\frac{P_{T}(\boldsymbol{x})}{P_{S}(\boldsymbol{x})}$ が計算できる。 ター ゲット領域 $T$ の用例 $\boldsymbol{x}$ に対しては $r(\boldsymbol{x})=1$ とする。また $r_{x}<0.01$ となる用例 $\boldsymbol{x}$ は訓練データから削除した ${ }^{4}$.

## 6 提案手法

「関連手法」の節で素性空間拡張法を紹介した。素性空間拡張法はデータの表現を領域適応で効果が出るように拡張する手法である。そして拡張されたデータに対しては任意の学習手法

が利用できる。つまり拡張されたデータに対して，共変量シフト下の学習も可能である．本稿では，素性空間拡張法により拡張されたデー夕に対して，4 章で説明した共変量シフト下の学習を行うことを提案手法する。

具体的に示す. 素性空間拡張法により, ソース領域の訓練データ $x_{s}$ は $u_{s}=\left(x_{s}, x_{s}, 0\right)$ という 3 倍の長さのベクトルに拡張され, ターゲット領域の訓練データ $\boldsymbol{x}_{\boldsymbol{t}}$ は $\boldsymbol{u}_{\boldsymbol{t}}=\left(\boldsymbol{0}, \boldsymbol{x}_{\boldsymbol{t}}, \boldsymbol{x}_{\boldsymbol{t}}\right)$ という 3 倍の長さのべクトルに拡張される. ここで $\boldsymbol{u}_{\boldsymbol{s}}$ に対しては確率密度比 $r\left(\boldsymbol{x}_{\boldsymbol{s}}\right)=P_{T}\left(\boldsymbol{x}_{\boldsymbol{s}}\right) / P_{S}\left(\boldsymbol{x}_{\boldsymbol{s}}\right)$ の重みをつけ， $\boldsymbol{u}_{\boldsymbol{t}}$ に対しては重み 1 をつける。また $P_{T}(c \mid \boldsymbol{u})$ のモデルに最大エントロピー法を用い，重み付き対数尤度を最大化するパラメータを求めることで， $P(c \mid \boldsymbol{u})$ を推定する.

上記の重み付き対数尤度の式（目的関数）を示しておく。今, ソース領域の訓練データを $D_{s}=\left.\{\left(\boldsymbol{x}_{\boldsymbol{s}}^{(\boldsymbol{i})}, c_{s}^{(i)}\right)\right.\}_{i=1}^{n}$, ターゲット領域の訓練データを $D_{t}=\left.\{\left(\boldsymbol{x}_{\boldsymbol{t}}^{(\boldsymbol{i})}, c_{t}^{(i)}\right)\right.\}_{i=1}^{m}$ とおく. また $\boldsymbol{x}_{\boldsymbol{s}}^{(\boldsymbol{i})}$ と $x_{t}^{(i)}$ を素性空間拡張法により拡張したデー夕をそれぞれ $u_{s}^{(i)}$ と $u_{t}^{(i)}$ とおく. ここで $x_{s}^{(i)}$ と $x_{t}^{(i)}$ は $M$ 次元, $\boldsymbol{u}_{s}^{(i)}$ と $\boldsymbol{u}_{t}^{(i)}$ は $3 M$ 次元のべクトルであることに注意する. 提案手法の重み付き対数尤度の式は以下となる。

$
\begin{gathered}
L(\boldsymbol{\lambda})=\sum_{i=1}^{n} r\left(\boldsymbol{x}_{\boldsymbol{s}}^{(\boldsymbol{i})}\right) \log P\left(c_{s}^{(i)} \mid \boldsymbol{u}_{\boldsymbol{s}}^{(\boldsymbol{i})}, \boldsymbol{\lambda}\right)+\sum_{i=1}^{m} \log P\left(c_{t}^{(i)} \mid \boldsymbol{u}_{\boldsymbol{t}}^{(\boldsymbol{i})}, \boldsymbol{\lambda}\right) \\
P(c \mid \boldsymbol{u}, \boldsymbol{\lambda})=\frac{1}{Z(\boldsymbol{u}, \boldsymbol{\lambda})} \exp \left(\sum_{j=1}^{3 M} \lambda_{j} f_{j}(\boldsymbol{u}, c)\right) \\
Z(\boldsymbol{u}, \boldsymbol{\lambda})=\sum_{c \in C} \exp \left(\sum_{j=1}^{3 M} \lambda_{j} f_{j}(\boldsymbol{u}, c)\right)
\end{gathered}
$

## 7 実験

BCCWJ コーパスの PB（書籍）, OC（Yahoo！知恵袋）及び PN（新聞）を異なった領域として実験を行う． SemEval-2 の日本語 WSD タスク (Okumura et al. 2010)ではこれら領域のコーパスの一部に語義タグを付けたデータを公開しており，そのデータを利用する。この 3 つの領域からある程度頻度のある多義語 16 単語を WSD の対象単語とする.これら単語と辞書上での語義数及び各コーパスでの頻度と語義数を表 1 に示す ${ }^{5}$. 領域適応の方向としては $\mathrm{OC} \rightarrow$ $\mathrm{PB}, \mathrm{PB} \rightarrow \mathrm{PN}, \mathrm{PN} \rightarrow \mathrm{OC}, \mathrm{OC} \rightarrow \mathrm{PN}, \mathrm{PN} \rightarrow \mathrm{PB}, \mathrm{PB} \rightarrow \mathrm{OC}$ の計 6 通りの方向が存在する.

本稿で利用した素性は以下の 8 種類である. (e0) $w$ の表記, (e1) $w$ の品詞, (e2) $w_{-1}$ の表記, (e3) $w_{-1}$ の品詞, (e4) $w_{1}$ の表記, (e5) $w_{1}$ の品詞, (e6) $w$ の前後 3 単語までの自立語の表

表 1 対象単語

 &  &  &  &  &  &  \\

入れる & 3 & 73 & 2 & 56 & 3 & 32 & 2 \\
書く & 2 & 99 & 2 & 62 & 2 & 27 & 2 \\
聞く & 3 & 124 & 2 & 123 & 2 & 52 & 2 \\
子供 & 2 & 77 & 2 & 93 & 2 & 29 & 2 \\
時間 & 4 & 53 & 2 & 74 & 2 & 59 & 2 \\
自分 & 2 & 128 & 2 & 308 & 2 & 71 & 2 \\
出る & 3 & 131 & 3 & 152 & 3 & 89 & 3 \\
取る & 8 & 61 & 7 & 81 & 7 & 43 & 7 \\
場合 & 2 & 126 & 2 & 137 & 2 & 73 & 2 \\
入る & 3 & 68 & 4 & 118 & 4 & 65 & 3 \\
前 & 3 & 105 & 3 & 160 & 2 & 106 & 4 \\
見る & 6 & 262 & 5 & 273 & 6 & 87 & 3 \\
持つ & 4 & 62 & 4 & 153 & 3 & 59 & 3 \\
やる & 5 & 117 & 3 & 156 & 4 & 27 & 2 \\
ゆく & 2 & 219 & 2 & 133 & 2 & 27 & 2 \\

記, (e7) e6 の分類語彙表の番号の 4 桁と 5 桁. なお対象単語の直前の単語を $w_{-1}$, 直後の単語を $w_{1}$ としている.

単語 $w_{i}$ についてソース領域 $S$ からターゲット領域 $T$ の領域適応の実験について説明する. まずターゲット領域 $T$ のラベル付きデータをランダムに 15 個取り出し, 残りを評価データとする。つまり利用できる訓練データはソース領域 $S$ のラベル付きデータとターゲット領域 $T$ からランダムに取り出した 15 個のラベル付きデータとなる。この訓練データを用いて手法 A により分類器を作成し, 先の評価デー夕の語義識別の正解率 $P_{i, k}$ を測る。この実験を 5 回行い $P_{i, 1}, P_{i, 2}, \cdots, P_{i, 5}$ を得る. それらの平均 $P_{i}$ を「単語 $w_{i}$ の $S$ から $T$ への領域適応における手法 A の平均正解率」とする。上記の単語 $w_{i}$ を 16 種類の各対象単語 $w_{1}, w_{2}, \cdots, w_{16}$ に変えることで， 16 個の平均正解率 $P_{1}, P_{2}, \cdots, P_{16}$ が得られる. それらの平均 $P$ を $S$ から $T$ へ領域適応における手法 A の平均正解率」とする (図 1参照).

上記の手法 A としては，以下の 6 種類を試す。(1)ソース領域のラベル付きデータのみを用いる手法 (ターゲット領域の 15 個のラベル付きデータの重みを 0 とする手法) (S-Only), (2) ター ゲット領域からランダムに取り出した 15 個のラベル付きデータのみを用いる手法 (ソース領域のラベル付きデータの重みを 0 とする手法) (T-Only), (3) ソース領域のラベル付きデータとター ゲット領域の 15 個のラベル付きデータを用いる手法 (S+T), (4) Daumé の手法 (Daumé), (5)
本稿で示した簡易手法により算出した確率密度比を用いた共変量シフトによる手法 (Cov-Shift), (6) 素性空間拡張法から得られた訓練データに対して, 本稿で示した簡易手法により算出した確率密度比を用いた共変量シフトによる手法（提案手法）の計 6 種類である。またすべての手法において学習アルゴリズムとしては最大エントロピー法を用いた。 またその実行にはツールの Classias を用いた (Okazaki 2009).

$S$ から $T$ への領域適応における各手法の平均正解率を表 2 に示す. Daumé と Cov-Shift を比

図 1 手法の評価値（平均正解率）の算出

表 2 各手法の平均正解率

較すると Daumé の方がわずかに高い正解率を示している。この点は考察で議論する。たたしし提案手法は Daumé よりも高い正解率であり，共変量シフトによる解法の効果が確認できる.

## 8 考察

## 8.1 負の転移の有無

WSD の領域適応では, 対象単語毎に領域適応の問題が生じている. 実験では領域の組み合わせで 6 通り, 対象単語が 16 単語あるので, 合計 $96(=6 \times 16)$ 通りの領域適応の問題を扱つたことになる.ここでは各領域適応の問題に対して負の転移が生じているかどうかを調べ，それぞれのケースに分けて，各手法の正解率を調べた。

まず負の転移が生じているかどうかの判定には, 先の実験でより得られた T-Only, S-Only 及び $\mathrm{S}+\mathrm{T}$ の正解率を利用する。もしも正解率で以下の関係が成立しているなら, 負の転移が生じていないと考えられる。

$
\mathrm{T}-0 n l y, \mathrm{~S}-0 \mathrm{nly}<\mathrm{S}+\mathrm{T}
$

結果を表 3 に示す.チェックがつけられた箇所が負の転移が生じていない領域適応の問題である. 96 種類の領域適応の問題の中で 44 種類において負の転移が生じていない.

次に負の転移が生じているかいないかのケースに分けて，各手法の平均正解率を調べた。結果を表 4 に示す.

表 3 負の転移が生じていない領域適応

表 4 負の転移と各手法の平均正解率

表 4 において領域適応に対処する 3 手法（Daumé，Cov-Shift，提案手法）を見ると，提案手法は負の転移の有無に関わらず Cov-Shift よりも高い正解率であり，提案手法は Cov-Shift の改良になっていることがわかる。更に負の転移が生じていないケースでは Cov-Shift は Daumé よりも正解率が高く，このケースでは素性に重みをつけるよりも事例に重みをつける方が効果があることがわかる．ただし負の転移が生じるケースでは，提案手法は Daumé よりも正解率が若干低い。つまり提案手法を Daumé の手法の改良と見た場合，負の転移が生じるケースでは正解率の低下を抑え，その代わりに負の転移が生じないケースで正解率を高めることで，全体的な正解率を改善する手法と見なせる.

また領域適応に対処しない 3 手法 (S-Only, T-Only, S+T) も含めて比較すると, 負の転移が生じるケースでは領域適応に対処する 3 手法（Daumé，Cov-Shift，提案手法）の正解率はかなり悪い。つまり WSD の領域適応では負の転移を検出することで大きな改善が期待できる。共変量シフト下の学習では，負の転移が生じているケースに対しては, ソース領域のデー夕に 0 に近い重みを与えられればよいはずである。より正確な確率密度比の推定法を利用することで， このような重み付けが可能だと考える。この点は今後の課題である。

## 8.2 確率密度比の調整

確率密度比を精度良く推定することは困難な問題である。そのために求まった確率密度比を調整することも行われている．杉山は確率密度比 $r$ に $p(0<p<1)$ 乗した $r^{p}$ 重みにすることを提案している (杉山 2006)。また Yamada は relative density ratio として確率密度比を以下の形で求めることを提案してる (Yamada, Suzuki, Kanamori, Hachiya, and Sugiyama 2011).

$
\frac{P_{T}(\boldsymbol{x})}{\alpha P_{T}(\boldsymbol{x})+(1-\alpha) P_{S}(\boldsymbol{x})}
$

ここでは $r^{0.5}$ の重みと $\alpha=0.5$ の relative density ratio を試した。結果を表 5 に示す。表 5 における提案手法と Cov-Shift は表 2 における提案手法と Cov-Shift と同じものである。 $r^{0.5}$ が Cov-Shift の重み $r$ を 0.5 乗したものであり，RDR が $\alpha=0.5$ の relative density ratio である.

表 5 をみると, $r^{0.5}$ や relative density ratio の調整は一部有効な問題もあったが, 全体として見ると, 効果はあまりない. これも本来の確率密度値 $P_{S}(\boldsymbol{x})$ や $P_{T}(\boldsymbol{x})$ の推定が簡易すぎるために生じていると考える。
確率密度比を確率統計的により精緻に求めていくことは重要である。たたし確率密度比は事例の重み，つまり事例の重要度を意味している。事例の重要度という自然言語処理的な観点から WSD の領域適応に特化した重みの設定も可能である.

## $8.3 \mathrm{SVM$ の利用}

本稿では学習アルゴリズムとして最大エントロピー法を用いた。共変量シフトの解法として,重み付き対数尤度を最大化する形では， $P_{T}(c \mid x)$ をモデル化するアプローチに限られる。しかし共変量シフト下の学習では確率密度比を重みにして期待損失を最小化すれば良いので，損失関数ベースの学習手法が利用できる。例えばヒンジ損失関数に密度比で重みづけすることで共変量シフト下の学習にSVM を利用できる (Sugiyama and Kawanabe 2011). ただしSVM 自体の実装が容易ではないために簡単に試すことはできない.

ここでは共変量シフト下の学習にSVM を用いるのではなく, 素性空間拡張法により拡張されたデータに対して，SVM を利用してみる。実行にはツールの libsvm²を用いた。またそこで利用したカーネルは線形カーネルである。実験結果を表 6 に示す.

提案手法が本稿での提案手法での平均正解率であり, D3-ME が素性空間拡張法と最大エント

表 5 確率密度比の調整による平均正解率

表 $6 \mathrm{SVM}$ による平均正解率

^{6}$ http://www.csie.ntu.edu.tw/ cjlin/libsvm/
}

ロピー法を利用した場合の平均正解率である。つまり提案手法と D3-ME は, 表 2 での提案手法と Daumé に対応する。そして D3-SVM が素性空間拡張法とSVM を利用した場合の平均正解率である。 提案手法は D3-SVM よりもわずかに高い正解率となっているが，その差は小さく識別能力については, 提案手法と D3-SVM は同程度と言える。また D3-SVM は D3-ME よりも正解率が高い。つまり最大エントロピー法ではなく，SVM を利用する方が正解率が高くなると予想できる。このことから共変量シフト下の学習に SVM を利用すれば，改善が可能であると考えられる。これは今後の課題である.

## 8.4 教師なし手法への適用

共変量シフト下での学習では訓練データの中にターゲット領域のデータが含まれる必要はない. ターゲット領域の訓練データを含めなければ，教師なし領域適応手法となるはずである. この点を確認した実験を行った．実験結果を表 7 に示す。表の S-Only の列はソース領域の訓練データだけで学習した結果である。これは表 2 の S-Only に対応する。W-S-Only はソース領域の訓練データのみを使った共変量シフト下での学習手法である。また参考までに提案手法の結果も記している.

確率密度比を用いる W-S-Only ではソース領域のデータへの重みが小さくなりがちである. ここでの実験では重みが 0.01 未満の場合はそのデータを省いて学習させている。そのために W-S-Only では極端にラベル付きデータが減少するケースがあった．結果として精度が低くなってしまったと考えられる。また多くの単語で正解率の低下が起こっていた.この原因としては,重みのあるデータの欠如だと考える。例えば，語義 $c_{1}$ のデータ $x_{1}$ の重みが 0.01 , 語義 $c_{2}$ のデータ $x_{2}$ の重みが 0.02 である場合, どちらの重みも「小さく」, その差はほぼ等しいと見なして $P\left(c_{1}\right)=P\left(c_{2}\right)=0.5$ と考えるのが妥当であるが, 「小さい」という点を考えないと $P\left(c_{1}\right)=1 / 3$, $P\left(c_{2}\right)=2 / 3$ となってしまう.「小さい」という点を考えるためには比較となるある程度「大きな」データが必要である。例えば，上記の設定の上で語義 $c_{1}$ のデータ $x_{3}$ の重みが 1 などとい

表 7 重み付き教師なし学習による平均正解率

 &  &  \\

$\mathrm{~PB} \rightarrow \mathrm{PN}$ & 0.7861 & 0.7678 & $\mathbf{0 . 7 7 2 5}$ \\
$\mathrm{PN} \rightarrow \mathrm{OC}$ & 0.7702 & $\mathbf{0 . 6 9 2 6}$ & 0.6718 \\
$\mathrm{OC} \rightarrow \mathrm{PN}$ & 0.7447 & 0.6829 & $\mathbf{0 . 6 8 4 6}$ \\
$\mathrm{PN} \rightarrow \mathrm{PB}$ & 0.7874 & $\mathbf{0 . 7 5 4 3}$ & 0.6667 \\
$\mathrm{~PB} \rightarrow \mathrm{OC}$ & 0.7750 & $\mathbf{0 . 6 9 8 8}$ & 0.6799 \\

うデータが存在すれば， $P\left(c_{1}\right)=101 / 103, P\left(c_{2}\right)=2 / 103$ となり，これは妥当である.つまり重みが低いデータが多数を占めるような場合, 信頼性のある推定が行えない. ある程度, 重みのあるデータが必要だと思われる。このため共変量シフト下での学習を教師なしの朹組みに単純に利用することは難しい．教師なしの枠組みへの利用方法の検討は今後の課題である.

## 9 おわりに

本稿では WSD の領域適応の問題が共変量シフトの問題と見なせることを示した。そして，共変量シフトの標準的な解法である確率密度比を重みにしたパラメータ学習により，WSDの領域適応の解決が図れることを示した。また素性空間拡張法により拡張されたデー夕に対して，共変量シフトの解法を行う手法を提案した.

BCCWJ コーパスの 3 つ領域 OC（Yahoo! 知恵袋), PB（書籍）及び PN（新聞）を選び, SemEval-2 の日本語 WSD タスクのデータを利用して，上記領域にある程度の頻度がある多義語 16 単語を対象に，WSD の領域適応の実験を行った. 実験の結果，提案手法は Daumé の手法と同等以上の正解率を出した。

共変量シフトの解法では確率密度比の算出が鍵となるが, ここでは Naive Bayes で利用されるモデルを利用した簡易な算出法を試みた。このような簡易な算出法であってもWSD の領域適応に共変量シフトの解法を利用する効果が高いことが示された。

より正確な確率密度比の推定法を利用したり, 最大エントロピー法に代えてSVM を利用するなどの工夫で更なる改善が可能である。また教師なし領域適応へも応用可能である. WSD の領域適応に共変量シフトの解法を利用することは有望であると考えられる.

## 謝 辞

Classias の作者である岡崎直観氏に，Classias の事例の重み付け方法について教えていただきました。また本稿の査読者殿には有益なコメントいたたきました。感謝いたします.

## 参考文献

Chan, Y. S. and Ng, H. T. (2005). "Word Sense Disambiguation with Distribution Estimation." In Proceedings of IJCAI-2005, pp. 1010-1015.

Chan, Y. S. and Ng, H. T. (2006). "Estimating class priors in domain adaptation for word sense disambiguation." In Proceedings of COLING-ACL-2006, pp. 89-96.

Daumé, H. I. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of $A C L-2007$, pp. 256-263.

張本佳子, 宮尾祐介, 辻井潤一 (2010). 構文解析の分野適応における精度低下要因の分析及び分野間距離の測定手法. 言語処理学会第 16 回年次大会, pp. 27-30.

Jiang, J. and Zhai, C. (2007). "Instance weighting for domain adaptation in NLP." In Proceedings of $A C L-2007$, pp. 264-271.

神嶌敏弘 (2010). 転移学習. 人工知能学会誌, 25 (4), pp. 572-580.

古宮嘉那子, 奥村学 (2012). 語義曖昧性解消のための領域適応手法の決定木学習による自動選択. 自然言語処理, 19 (3), pp. 143-166.

Komiya, K. and Okumura, M. (2011). "Automatic Determination of a Domain Adaptation Method for Word Sense Disambiguation using Decision Tree Learning." In Proceedings of IJCNLP-2011, pp. 1107-1115.

Komiya, K. and Okumura, M. (2012). "Automatic Domain Adaptation for Word Sense Disambiguation Based on Comparison of Multiple Classifiers." In Proceedings of PACLIC-2012, pp. $75-85$.

Maekawa, K. (2007). "Design of a Balanced Corpus of Contemporary Written Japanese." In Symposium on Large-Scale Knowledge Resources (LKR2007), pp. 55-58.

Okazaki, N. (2009). "Classias: a collection of machine-learning algorithms for classification." http://www.chokkan.org/software/classias/.

Okumura, M., Shirai, K., Komiya, K., and Yokono, H. (2010). "SemEval-2010 Task: Japanese WSD." In Proceedings of the 5th International Workshop on Semantic Evaluation, pp. 69-74.

Plank, B. and van Noord, G. (2011). "Effective measures of domain similarity for parsing." In Proceedings of ACL-2011, pp. 1566-1576.

Ponomareva, N. and Thelwall, M. (2012). "Which resource is best for cross-domain sentiment analysis?" In Proceedings of CICLing-2012, pp. 488-499.

Remus, R. (2012). "Domain Adaptation Using Domain Similarity- and Domain Complexitybased Instance Selection for Cross-domain Sentiment Analysis." In Proceedings of the 2012 IEEE 12th International Conference on Data Mining Workshops (ICDMW 2012) Workshop on Sentiment Elicitation from Natural Text for Information Retrieval and Extraction (SENTIRE), pp. 717-723.

Rosenstein, M. T., Marx, Z., Kaelbling, L. P., and Dietterich, T. G. (2005). "To transfer or not to transfer." In Proceedings of the NIPS 2005 Workshop on Inductive Transfer: 10 Years Later.

齋木陽介，高村大也，奥村学 (2008). 文の感情極性判定における事例重み付けによるドメイン
適応. 情報処理学会第 184 回自然言語処理研究会, pp. 61-67.

Shimodaira, H. (2000). "Improving predictive inference under covariate shift by weighting the

log-likelihood function." Journal of statistical planning and inference, 90 (2), pp. 227-244.

新納浩幸, 佐々木稔 (2013). $\mathrm{k}$ 近傍法とトピックモデルを利用した語義曖昧性解消の領域適応.

自然言語処理, 20 (5), pp. 707-726.

Sogaard, A. (2013). Semi-Supervised Learning and Domain Adaptation in Natural Language

Processing. Morgan \& Claypool.

杉山将 (2006). 共変量シフト下での教師付き学習. 日本神経回路学会誌, 13 (3), pp. 111-118.

杉山将 (2010). 密度比に基づく機械学習の新たなアプローチ. 統計数理, 58 (2), pp. 141-155.

Sugiyama, M. and Kawanabe, M. (2011). Machine Learning in Non-Stationary Environments:

Introduction to Covariate Shift Adaptation. MIT Press.

高村大也 (2010). 言語処理のための機械学習入門. コロナ社.

Van Asch, V. and Daelemans, W. (2010). "Using domain similarity for performance estima-

tion." In Proceedings of the 2010 Workshop on Domain Adaptation for Natural Language Processing, pp. 31-36.

Yamada, M., Suzuki, T., Kanamori, T., Hachiya, H., and Sugiyama, M. (2011). "Relative density-ratio estimation for robust distribution comparison." Neural Computation, 25 (5), pp. 1370-1370.

## 略歴

新納浩幸：1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了．同年富士ゼロックス，翌年松下電器を経て, 1993 年 4 月茨城大学工学部システム工学科助手. 1997 年 10 月同学科講師, 2001 年 4 月同学科助教授, 現在, 茨城大学工学部情報工学科准教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.

佐々木稔：1996 年徳島大学工学部知能情報工学科卒業. 2001 年同大学大学院博士後期課程修了. 博士 (工学). 2001 年 12 月茨城大学工学部情報工学科助手. 現在, 茨城大学工学部情報工学科講師. 機械学習や統計的手法による情報検索, 自然言語処理等に関する研究に従事. 言語処理学会, 情報処理学会各会員.

\author{
(2013 年 9 月 16 日受付) \\ (2013 年 11 月 5 日再受付) \\ (2013 年 12 月 10 日再々受付) \\ (2013 年 12 月 27 日採録)
}


# 既存のツールと結合した話し言葉コーパス利用環境
## 伝康晴 $\dagger,+\dagger$ ・ 小磯 花絵 $\dagger \dagger$

近年，コーパスアノテーションは多様化し, 多層アノテーションを統合利用する仕組みが欠かせない，とくに話し言葉コーパスでは，言語・非言語に関する 10 種類以上もの単位とそれらの相互関係を統合し, 複数の単位を組み合わせた複雑な検索を可能にする必要がある。本研究では, このような要請に応えるため, (1) マルチモー ダル・マルチチャネルの話し言葉コーパスを表現できる，汎用的なデータベーススキーマを設計し，(2) 既存のアノテーションツールで作成された, 種々の書式を持つアノテーションを入力とし, 汎用的なデータベーススキーマから具現化されたデー タベースを構築するツールを開発する。話し言葉の分野では, 広く使われている既存のアノテーションツールを有効に利用することが不可欠であり, 本研究は, 既存のアノテーションツールやコーパス検索ツールを用いたコーパス利用環境を構築する手法を提案する。提案手法は, 開発主体の異なる複数の話し言葉コーパスに適用され，運用に供されている。

キーワード：話し言葉コーパス, 多層アノテーション, 既存のツールの利用

## An Environment for the Usage of Spoken Discourse Corpora that Effectively Utilizes Existing Tools

\author{
Yasuharu Den ${ }^{\dagger, \dagger \dagger}$ and Hanae KoIso $^{\dagger \dagger}$
}

In this paper, we (i) propose a general-purpose database schema that can represent multichannel and multimodal spoken discourse corpora, and (ii) develop tools to construct a database, instantiating this schema with reference to configuration files, from annotations in various formats that have been created with existing annotation tools. Spoken discourse corpora involve more than 10 different annotations including both verbal and nonverbal information. They require the integration of a large number of linguistic/nonlinguistic units and relations among them and the function to search them with complex queries referring to multiple units. In spoken discourse corpora, it is essential to utilize existing annotation tools, which are widely used in the community. We propose a method to construct an environment for the usage of spoken discourse corpora that effectively utilizes existing annotation and search tools. The method has been applied to spoken discourse corpora developed by different organizations, and has been used effectively for corpus-linguistic research.

Key Words: spoken discourse corpora, multi-level annotation, utilization of existing tools

## 1 はじめに

近年, コーパスアノテーションはますます多様化し, 多層アノテーションを統合的に利用する仕組みが欠かせない. たとえば, 話し言葉の言語学的・工学的研究で広く用いられている『日本語話し言葉コーパス』(前川 2004)のコアデータでは, 音韻・単語・韻律単位・文節・節を含む 10 種類あまりの単位に関してさまざまなアノテーションがなされている。また，最近では視線・領きやジェスチャーなどの非言語情報を含むマルチモーダルコーパスの開発が進んでおり(たとえば Carletta 2007; Chen, Rose, Qiao, Kimbara, Parrill, Welji, Han, Tu, Huang, Harper, Quek, Xiong, McNeill, Tuttle, and Huang 2006; Den and Enomoto 2007; 角, 矢野, 西田 2011; Waibel and Stiefelhagen 2009), これらのコーパスでは複数のモダリティに関して多種のアノテーションがなされている.コーパスアノテーションに基づく研究では, このような多層的なアノテー ションを統合し，「文末形式を持つ節の先頭の文節の末尾の語が係助詞「は」であるものを抽出し, その語の継続長を算出する」といった, 複数の単位を組み合わせた複雑な検索を可能にする必要がある.

これまで, 多層アノテーションを表現するさまざまなスキーマが提案され, それらに基づくアノテーションツールやコーパス検索ツールが開発されている (Bird, Day, Garofolo, Henderson, Laprun, and Liberman 2000; Bird and Liberman 2001; Calhoun, Carletta, Brenier, Mayo, Jurafsky, Steedman, and Beaver 2010; Carletta, Evert, Heid, and Kilgour 2005; Kaplan, Iida, Nishina, and Tokunaga 2012; Kaplan, Iida, and Tokunaga 2010; Matsumoto, Asahara, Hashimoto, Tono, Ohtani, and Morita 2006; Müller and Strube 2001, 2006; Noguchi, Miyoshi, Tokunaga, Iida, Komachi, and Inui 2008). しかし, これらのツールは開発主体内部での利用にとどまっている場合がほとんどであり，外部にはあまり普及していない.

これらの統合開発環境では提案スキーマに基づいて種々のツール群を提供することを目指しているが，実際に提供されているのは一部のツールのみであり，個別のアノテーションツールのほうが広く使われている場合が多い. とくに話し言葉においては, Praat (Boersma and Weenink 2013) や ELAN (Brugman and Russel 2004) といった音声や映像を扱う高機能なアノテーションツールが広く普及しており，これらのツールと同等の機能を持つツールを自前で開発するのはコストが高くつくうえ，コーパス開発者の側でも使い慣れたツールにとどまって新たなツールに乗り換えたくないという者が多い.

本研究の目的は, 話し言葉で広く使われている既存のアノテーションツールを有効に利用しつつ，種々のアノテーションを統合利用できる環境を構築することである（図 1）。具体的には以下のことを行なう.

（1）マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる汎用的なデータベー ススキーマを設計する。

図 1 本研究の枠組み

（2）以下の入出力を持つデータベース構築ツールを開発する.

入力既存のアノテーションツールで作成された, 種々の書式を持つアノテーション

出力設定ファイルを基にして，汎用的なデータベーススキーマから具現化されたデー タベース

（3）サーバを必要としないスタンドアロンのデータベースソフトとして広く用いられている SQLiteによって実装し, 既存のコーパス検索ツールと接続可能にする.

本研究は, 既存のアノテーションツールやコーパス検索ツールと結合したコーパス利用環境を構築することに主眼があり，アノテーションツールやコーパス検索ツールの開発そのものを目的とするものではない.

以下，2 節では話し言葉を表現できる汎用的なデータベーススキーマの設計について述べ， 3 節ではデータベース構築ツールの開発について述べる。 4 節では提案するコーパス利用環境を用いて実際に運用している 2 つの事例について述べる．5 節では関連研究やアノテーション管理・実用性に関する議論を行ない, 6 節ではまとめと今後の課題について述べる.

## 2 話し言葉を表現できる汎用的なデータベーススキーマの設計

本節では，マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる汎用的なデータベーススキーマを提案する。本スキーマは, 基本的には, Noguchi et al. (2008) と Kaplan et al. (2010) が提案したセグメントとリンクに基づくスキーマに依拠している. しかし, 彼らのスキー マは書き言葉を想定しており，話し言葉に適用するためにはいくつかの拡張が必要である．以下，拡張・改良点について順に述べ，我々のスキーマを提案する.

## 2.1 セグメントとリンクに基づくスキーマ

セグメントとリンクに基づくスキーマでは以下の 2 種類のオブジェクトを用いる.

図 2 セグメントとリンクに基づくスキーマ（(Kaplan et al. 2010）の Figure 3 を改変)

セグメント (Segment) 文書中の特定の開始位置 (start) と終了位置 (end) で指定される区間に存在する, 特定の型 (type) の要素. 単語・句・節など.

リンク (Link) 参照元セグメント (source) と参照先セグメント (destination) の間に設定され

る, 特定の型 (type) の依存関係. 係り受け関係・照応関係など.

いずれのオブジェクトも型ごとに定まった属性 (name) と值 (value) の対の集合を持つ. たとえば，単語型セグメントは品詞・活用型・活用形などの属性を持ちうるし, 係り受け関係型リンクは係り受けの種類（従属と並列の区別）などの属性を持ちうる。これらの属性值が付随したセグメントとリンクの集合によって文書を表現する。 セグメントとリンクに基づくスキーマのクラス図を図 2 に示す 1 .

## 2.2 話し言葉への拡張

セグメントとリンクに基づくスキーマはもともと書き言葉を想定して作られており，話し言葉に適用するためにはいくつかの拡張が必要である.

開始・終了位置：開始・終了位置としては文書中での文字位置（文書の先頭から数えて何文字目か）が想定されている。しかし, 話し言葉で対象となる要素（アクセント・音調や視線・領きなど）は必ずしもテキスト情報に基づいていない，そこで，開始・終了位置として文書（音声・映像ファイル）中での時刻（文書の先頭からの経過時間）を用いる.

単位の融合：話し言葉ではしばしば隣接する単位間での融合が生じる。たとえば，「私は」が融合して「ワタシャ」のように発音されたりする。この場合,「私」と「は」の境界は実際の音声中
^{1}$ Document と Tag をつなぐ線は 1 つの文書が 0 個以上の夕グの集合からなることを示し, Segment や Link と Tag をつなぐ線はセグメントやリンクがタグの一種であることを示す. また, 矢印は, リンクが 2 つのセグメント (source と destination) に依存することや，各属性・値対が ref で示されたセグメントやリンクに付随することを表す.
}

時刻 $1.0 \quad 1.4 \quad 1.8 \quad 1.9 \quad 2.0$

図 3 非整列セグメントの例

には存在しないので，個々の単語を時刻に依拠したセグメントとしては表せない。そこで，セグメントとしては融合した「わたしゃ」全体を一つの単位とし，個々の形態論情報を担う単位を「時間的に整列されないセグメント」（非整列セグメント）として別途表現する（図 3$)^{2}$.これらのセグメントと非整列セグメントの間の依存関係は後述する階層関係を用いて表現し，各非整列セグメントが「何個の非整列セグメントからなる（長さ lenの）セグメント中の何番目の要素であるか (nth)」という情報を与える（図 3では nth/len で表記).

マルチチャネルへの対応：書き言葉の文書は通常, 単一のストリームからなる. しかし, 話し言葉の対話データでは, 複数話者によるマルチチャネルのストリームに対応しなければならない.これはチャネルごとに時刻を相対化することで解決できる。そのために，セグメントの表現にチャネル識別子（話者ラベルなど）を追加する.

マルチモーダルへの対応 : 書き言葉の文書にはテキストという単一のモダリティしかない. しかし, 話し言葉のマルチモーダルデータでは, 音声言語に加えて, 視線・頡きやジェスチャーなどのモダリティに対応しなければならない。 セグメントとリンクに基づくスキーマはスタンドオフ形式 3 のため, このような単一の根ノードにまとまらない単位階層にも自然に対応できる.

一方で，区間の包含関係で階層関係を表すスタンドオフ形式では，不適切な階層関係が認定されることがある，たとえば，「うん，そうだね」という発話が領きを伴ってなされた場合，「うん」という単語はこの発話の適切な下位単位であるが，領きは発話の適切な下位単位とは言えない. どの型のセグメント間に階層関係が設定されるかは, 各セグメント型の認識論的な位置づけによってアプリオリに定まっているべきである。そこで，本スキーマでは， セグメント間の階層関係を明示的に表現する。これは，下位セグメントを参照元，上位セグメントを参照先とした特別な型のリンクととらえることができる.

## 2.3 スキーマの具体化

セグメントとリンクに基づくスキーマは，さまざまな属性集合を持ちうるさまざまな型のセグメントやリンクを扱うために，極めて抽象度の高いスキーマになっている（セグメントとリンクという 2 種類のオブジェクトしかない). Noguchi et al. (2008) や Kaplan et al. (2010)は,「述語」や「項」といったより具体性の高いオブジェクトを操作できるアノテーションツールやコーパス検索ツールをインターフェースとして提供することで，ユーザの利便性を図っている。 しかし, 既存のアノテーションツールやコーパス検索ツールを用いてコーパス利用環境を実現しようという本研究においては，このような利便を図ることはできず，スキーマ中のオブジェクトがそのままユーザが操作する対象となる。そこでは, 語やアクセント句や節といったオブジェクトがそのまま操作できたほうがユーザの了解度は高いと思われる.

そこで，（非整列）セグメントや（階層関係を含む）リンクを型ごとに別々のオブジェクトとして表現し，属性は各オブジェクトに直接表現する，属性集合は型ごとに定まるため，型ごとにオブジェクトを別にすれば，このような表現が可能となる.

また，階層関係については，「何個の下位セグメントからなる（長さ len の）上位セグメント中の何番目の要素であるか (nth)」という情報を付与する。この情報は時刻の情報から導出できるため, 表現としては冗長である。しかし, 話し言葉では, 隣接するセグメント間で先行要素の終了位置と後続要素の開始位置が一致するという制約が必ずしも成り立たない（間に休止が介在しうる）ため，SQL 言語を用いると，たとえば隣接語対を抽出するのに煩雑な検索を行なわなければならない。上述の情報があれば, この検索は簡単に行なえる（付録 $\mathrm{A}$ 参照）。

## 2.4 提案するデータベーススキーマ

2.2 と 2.3 の議論を踏まえ, 図 4 のスキーマを設計した. 本スキーマでは以下の 4 種類のオブ

図 4 本研究で提案するスキーマ

ジェクトを用いる ${ }^{4}$.

セグメント $\left(\operatorname{seg}\right.$ Type $\left._{i}\right)$ 文書中の特定のチャネル (channel) 上の特定の開始位置 (start) と終了位置 $(\mathrm{end})$ で指定される区間に存在する要素. 型 $\left(\right.$ Type $\left._{i}\right)$ ごとに別のオブジェクトとして表現され，それぞれ特定の属性集合 $\left(\operatorname{attr}_{1}, \ldots, \operatorname{attr}_{n_{i}}\right)$ を持つ.

非整列セグメント $\left(\right.$ useg Type $\left._{i}\right)$ 時間的に分節化されない, セグメントの下位要素. 型 $\left(\right.$ Type $\left._{i}\right)$ ごとに別のオブジェクトとして表現され，特定の属性集合 $\left(\operatorname{attr}_{1}, \ldots, \operatorname{attr}_{n_{i}}\right)$ を持つ.

リンク $\left(\operatorname{link}\right.$ Type $\left._{i}\right)$ 参照元セグメント (source) と参照先セグメント (destination) の間に設定される依存関係。型 $\left(\right.$ Type $\left._{i}\right)$ ごとに別のオブジェクトとして表現され，それぞれ特定の属性集合 $\left(\operatorname{attr}_{1}, \ldots, \operatorname{attr}_{n_{i}}\right)$ を持つ。

階層関係 (rel Type $i_{i} \mathbf{2}$ Type $_{j}$ ) 下位セグメント (descendant) と上位セグメント (ancestor) の間に設定される階層関係．上位・下位セグメントの型の組み合わせ $\left(\right.$ Type $_{j}$ と Type $\left.i_{i}\right)$ ごとに別のオブジェクトとして表現され, 同一の上位セグメントに帰属する下位セグメントの総数 (len) とそれらのうち何番目の要素であるか (nth) を属性として持つ.

オブジェクトの種類としては限られているが，型ごとに別々のオブジェクトとして表現されるため，実際のオブジェクトの数はしばしば十数個にもなる.

元のセグメントとリンクに基づくスキーマ（図 2）と比べると，以下の違いがある.

(1) 非整列セグメントが導入された.

(2) 階層関係が陽に表現された。

（3）（非整列）七グメントやリンクが型ごとに別々のオブジェクトとして表現され，属性を内包するようになった。

## 3 データベース構築ツールの開発

本節では, 既存のアノテーションツールで作成された種々の書式を持つアノテーションから, 2 節で提案したスキーマに基づくデータベースを自動的に構築するツールについて述べる.

## 3.1 ツールの概要

本ツールは現在のところ, CSV ベースのツール, Praat (Boersma and Weenink 2013), ELAN (Brugman and Russel 2004), Anvil (Kipp 2001)の 4 種類のアノテーションツールに対応している.これらのアノテーションファイルから提案スキーマに基づくデータベースを生成することが本ツールの目的である。構築するデータベースは可搬性に優れた SQLiteを採用した. SQLite
$ ), (2) あいづち表現など, あるセグメントの一部のインスタンスに対して追加的に与えられた属性を表現するオブジェクト $\left(\operatorname{add}^{2}\right.$ Type $\left._{i}\right), \quad(3)$ 話者情報などのメ夕情報を記述するオブジェクト (info Type $\left.i_{i}\right)$ の 3 種類のオブジェクトがある.
}

は，すべてのテーブルやインデックスを単一のファイルで実装するスタンドアローンの関係デー タベースであり，『茶器』(Matsumoto et al. 2006) などのコーパス管理環境でも利用されている. 4 種類のアノテーションの書式は大きく異なるが，ある一定の規約を設けることにより，デー タベースに直接インポートできる表形式ファイルに容易に変換できる。この規約に従ったアノテーションを「正規形」と呼ぶ. ELAN や Anvil は本研究と類似のスキーマを用いており，はじめからこの規約に従っている。一方，CSV やPraatでは前もって正規形に変換する必要がある.したがって，データベースの構築過程は以下のようになる.

$($ アノテーションファイル $\Rightarrow$ ) 正規形ファイル $\Rightarrow$ 表形式ファイル $\Rightarrow$ データベース

## 3.2 利用できるアノテーションツール

本ツールでは以下の 4 種類のアノテーションツールを利用できる.

CSV ベースのツール：形態論情報や談話行為など，テキスト情報に基づくアノテーションには， コンマで区切られた CSV 形式の入出力を持つツールを用いることが多い. たとえば, Microsoft Excel は人文系・理工系を問わず，広く用いられている CSVベースのツールであり，形態素解析システムなどの言語処理ツールの出力も CSV 形式にできるものが多い.

Praat : Praat は高機能な音声アノテーションツールであり, 話し言葉の音声学的アノテーションで標準的なツールとなっている。分節音・単語境界や韻律情報のアノテーションで広く利用されている．出力書式は独自のものであるが，基本的にスタンドオフ形式である.

ELAN：ELAN は高機能な映像アノテーションツールであり, ジェスチャー研究などで広く利用されている。本研究と類似のスキーマを用いており, 出力書式はスタンドオフ形式の XMLである.

Anvil : Anvil も映像アノテーションツールである. ELANにはないリンクアノテーションの機能があり, 発話間の関係づけやあいづち表現の反応先などのアノテーションで利用できる. Anvil の出力書式もスタンドオフ形式の XML である.

## 3.3 正規形ファイル

以上のアノテーションからデータベースを構築するためには，スキーマを具現化する上で必須の情報がアノテーションファイルから取得できないといけない. これらは，セグメントでは開始・終了位置であり, リンクでは参照元・参照先セグメント（を一意に同定する情報）である.これらの情報の取得を保証するアノテーションを「正規形」と呼ぶ. 以下，アノテーションファイルの書式ごとに順に述べる.

CSV：CSV 形式の正規形ファイルの例として, 形態論情報アノテーションの例を図 5 に示す. CSV 形式の正規形では, 各行に開始・終了時刻が記されているものとする. たとえば, 形態論情報アノテーションでは, Praat などを用いて別途ラベリングした単語境界の情報から単語ご

図 $5 \mathrm{CSV}$ 形式の正規形ファイルの例

との開始・終了時刻が転写されているものとする。ただし， 2.2 で述べた単位の融合などにより時刻を定められない箇所は「不定」(“NA”で示す) としてよい55.「不定」でない開始・終了時刻を持つ最小の範囲（図 5 の冒頭の例では「第一」）がセグメントとして認定され，各行はその下位に位置する非整列セグメントとして認定される.

1 つの CSV ファイルで複数の単位をアノテーションする場合がしばしばある。たとえば，図 5 では, 短単位 (SUW) と長単位 (LUW) という複数の粒度で語が認定されている（「第一母音」 は長単位では 1 つの語であり，短単位では「第」「一」「母音」という 3 つの語である)。このような場合には, IOB2 ラベル (Tjong Kim Sang and Veenstra 1999)によって上位単位の区間を示す (図 5 の luwLabel 列) 6 .

CSV 形式でリンクを表すには，ローカルに定義された id（文内での文節の通し番号など）を用いて参照元と参照先を示す。たとえば，係り受け解析器 CaboCha (Kudo and Matsumoto 2002) の出力はこのような情報を含んでいる。データベース構築ツールはこれらの id をデータベース内で利用するグローバルな id に自動的に変換する.

Praat : Praat の正規形ファイルの例として, 韻律情報アノテーションの例を図 6 に示す. Praat は多層アノテーションッールであり，複数階層のセグメントを同時に表すことができる。図 6 では上段の 3 層, 単語 (Word)・アクセント句 (AP)・イントネーション句 (IP) がそれらに対応する。韻律情報のアノテーションスキーマとして広く用いられている X-JToBI (五十嵐, 菊池, 前川 2006) では, アクセント句やイントネーション句など単語より上位のセグメントを直接認定することはなく, これらは単語に対する Break Index の情報を用いて派生される。しかし, X-JToBI 自体はこれらの上位セグメントの定義を与えておらず，上位セグメントをどのように派生するかはコーパス開発機関ごとに微妙に異なりうる。データベース構築ツールがこれらの

図 6 Praat の正規形ファイルの例（層は上から順に, Word, AP, IP, break, fbt, tone, pronLabel）

上位セグメントを取得するためには，上位セグメントが陽に表現されている必要があり，そのため, Praatの正規形ファイルでは, すべての上位セグメントが陽に表現されていることを規約とした.

ELAN/Anvil : ELAN や Anvil を用いたアノテーションでは, 複数階層のセグメントを陽に表すのが通常である。たとえば，ジェスチャーのアノテーションでは，ジェスチャー句とジェスチャーフェーズという複数の階層が用いられるが (細馬 2009), それらは異なる層に明示的に表される。よって, これらのアノテーションははじめから正規形と考えてよい. なお, Anvilのリンクアノテーションはツール内部で生成された id を用いて表現されているが, データベース構築ツールはこれらの id をデータベース内で利用するグローバルな id に自動的に変換する.

## 3.4 正規形ファイルから表形式ファイルへの変換

3.3 のように正規形ファイルを規約化することにより，データベースに直接インポートできる表形式ファイルへの変換を汎用のツールによって実行できる。このツールは, 変換時に用いる諸設定を記述した設定ファイルを読み込み，各書式の正規形ファイルから表形式ファイルに変換する。ツールは，シェルスクリプトと Perl, Praatスクリプト，XSLTによって実装した。

設定ファイルでは， どの正規形ファイルからどの属性を抽出し， どのオブジェクト（セグメントやリンク）の表形式ファイルに変換するかを記述する。おもな設定項目を表 1 に示す.たとえば, 図 5 のような形態論情報の CSV 形式正規形ファイルから長単位型セグメントの表形式ファイルを生成するための設定は図 7 (左) のようになる。ここでは, 入出力ファイル名がワイルドカードを用いて記述され，文書 id (doc-id) がそこからどのように作られるかが指定され
表 1 正規形ファイルから表形式ファイルへの変換で用いる設定項目（抜粋）

$\mathrm{CSV} \Rightarrow$ セグメント

BEGIN segLUW

input-file $=\$($ MORPH) $/ \%$.csv

output-file $=\%$-luw.csv

table-type $=$ seg

annotation-type $=$ csv

doc-id-name=TalkID

doc-id=\%10input-file

id-name=LUUID

channel-name $=$ Channel

start-name=StartTime

end-name=EndTime

unit-tag-column=luwLabel

label-names=LUWPOS

label-position=first

END
Praat $\Rightarrow$ セグメント

BEGIN segAP
input-file=\$(TEXTGRID) $/ \%-\%$.textgrid
output-file=\%-\%-ap.csv
table-type=seg
annotation-type=textgrid
doc-id-name=DialogID
doc-id=\%1@input-file
id-name=APID
channel-name=Channel
channel=\%2@input-file
start-name=StartTime
end-name=EndTime
label-names=break,fbt
primary-tier=AP
skip-label=\#
END

Anvil $\Rightarrow$ リンク

BEGIN linkRTTarget
input-file=\$(ANVIL) /\%.anvil
output-file=\%-rtTarget.csv
table-type=link
annotation-type=anvil
doc-id-name=DialogID
doc-id=\%10input-file
source-name=LUUID
destination-name=TargetID
channel-name-type=prefix
channel-name-delimiter=.
label-names=targetType
source-track=rt
destination-track=word
link-attribute=refTarget
END

図 7 正規形ファイルから表形式ファイルに変換するための設定の例

る7. オブジェクトに含める属性集合は label-names にコンマ区切りで指定する。長単位のように正規形ファイル中で上位階層に相当するセグメントの場合は，セグメント区間を示す IOB2 ラベルが記された列名を unit-tag-column で指定する。 さらに，属性集合の値が正規形ファイル中のセグメント区間の先頭行 (first) に記述されているか, 最終行 (last) に記述されているかを label-position で指定する.

図 6 のような韻律情報の Praat 形式正規形ファイルからアクセント句型セグメントの表形式ファイルを生成するための設定を図 7 (中央）に示す. CSV 形式の場合とほぼ同様であるが，七

グメント区間は特定の層に陽に表現されているため, その層の名前を primary-tier で指定する.また, Praatではセグメント外の要素（休止区間）も含めてラベルが付与されているため, セグメント外要素であることを示すラベル值を skip-label で指定する.

最後に, Anvil ファイルからあいづち反応先型リンクの表形式ファイルを生成するための設定を図 7 (右) に示す. Anvilのリンクアノテーションは，あるトラックの要素（たとえばあいづち表現) からあるトラックの要素 (たとえば単語) への参照を, 参照先要素の内部 id を用いて属性値として表現している。そこで，参照元・参照先トラックの名前をそれぞれ source-track, destination-trackに指定し, 参照先を記述した属性の名前をlink-attribute で指定する ${ }^{8}$.

## 3.5 表形式ファイルからデータベースへの変換

3.4 で得られた表形式ファイルからデータベースを構築するには，まずオブジェクトごとにテーブルスキーマ（CREATE TABLE文）を定義しなければならない. これには，各テーブルの名前や, 持っている属性の一覧およびそれらの型などが含まれる。この過程には，テーブルスキー マを簡易表現で定義した設定ファイルを利用する，汎用のツールによって，設定ファイルからテーブルスキーマを定義し, 表形式ファイルからデータをインポートする.

設定ファイル中では，(1) テーブルの名前, (2) インポートする表形式ファイルの名前（ワイルドカードで複数指定可能), (3) 主キーの名前と型, (4) 属性の名前と型（のリスト）などを指定する。属性の型としては, テキスト型 $(t) \cdot$ 整数型 $(i) \cdot$ 実数型 $(\mathrm{r})$ が利用できる.

テーブルスキーマの定義は一般に以下の形式である.

テーブル名=表形式ファイル一覧/主キーの名前:型/属性 1 の名前:型, 属性 2 の名前: 型, ...

たとえば, 図 7 (中央）の設定を用いて生成したアクセント句型セグメント用の表形式ファイルからデータベースのテーブルを生成するための設定は図 8 の segAP のようになる. 同様に,図 7 (右) の設定を用いて生成したあいづち反応先型リンク用の表形式ファイルからデータベー スのテーブルを生成するための設定は図 8 の linkRTTarget のようになる.

セグメント間の階層関係は, 階層をなしうるセグメント型の名前を下位のものから順に並べて指定する，たとえば，図 6 の単語・アクセント句・イントネーション句間の階層関係を表現するには, 図 8 の groupProsodicのように指定する. データベース構築ツールは, 階層関係にあるセグメント対を自動的に導出し, テーブルを作成する. 階層関係は隣接する型の間（relWord2AP や relAP2IP) だけでなく, 離れた型の間 (relWord2IP) でも導出される.

図 8 表形式ファイルからデータベースを生成するための設定の例

## 4 適用事例

『日本語話し言葉コーパス』と『千葉大学 3 人会話コーパス』を対象に, 本稿で提案した手法によりデータベースを構築し運用している。本節ではその概要について紹介する。

## 4.1 『日本語話し言葉コーパス』

『日本語話し言葉コーパス』(CSJ) は，2004 年に一般公開された 661 時間の日本語自発音声からなるデータベースである (前川 2004).このうち「コア」と呼ばれるデータ範囲 (44 時間) には，おもに表 2 に示す研究用付加情報が付与されており (国立国語研究所 2006), これらを対象に本手法によりデータベースを構築した（以下 CSJ-RDB）(小磯, 伝, 前川 2012)9.

各研究用付加情報はそれぞれ, 表 2 の「ツール」欄に示す書式（CSJ 構築時（1999～2003 年） とは異なる）で記述されており，ここから各種中間ファイルを経てデータベースに変換した。

CSJ-RDBの（非整列）セグメントとリンクを図 9 に示す. 談話中の要素を記述したセグメントは, 次の 3 種類の階層関係からなる系列に分類される.
- 形態統語論系列 : 短単位 $<$ 長単位 $<$ 文節 $<$ 節単位
- 音声系列 : 分節音 $<$ 音素 $<$ モーラ $<$ 短単位 $<$ 間休止単位
- 韻律系列：短単位くアクセント句くイントネーション句

このうち短単位と長単位については, 時間的に分節化できる部分をセグメントで表し, 時間的
^{9} \mathrm{CSJ}$ では，各種情報を統合して階層的に表現した XML 文書が提供されている。しかし，この階層から逸脱する情報を無理やり特定の単位に埋め込んだり，別の階層で記述したXML 文書が別途提供され，両者にまたがった検索が困難であったりして使いづらかった。本手法ではスタンドオフ形式でデータを表現するため, これらの問題は解消される。
}
表 2 CSJ の研究用付加情報

図 9 CSJ-RDB の（非整列）セグメントとリンク

に分節化できない部分は非整列セグメントとして表している。韻律情報のうちアクセント核や句末音調などのトーン情報は，どのアクセント句に帰属するかがリンク (linkTone2AP) によって表される。また文節係り受け関係は，係り元と係り先の依存関係がリンク (linkDepBunsetsu) によって表される。

## 4.2 『千葉大学 3 人会話コーパス』

『千葉大学 3 人会話コーパス』は，大学キャンパスにおける 3 人の友達同士の会話を集めた約 6 時間からなる対話コーパスである (Den and Enomoto 2007). このうち 12 会話約 2 時間のデータには，表 3 に示す研究用付加情報が付与されており (Den and Enomoto 2007; Den, Koiso， Maruyama, Maekawa, Takanashi, Enomoto, and Yoshida 2010; Den, Yoshida, Takanashi, and Koiso 2011; Den, Koiso, Takanashi, and Yoshida 2012), これらを対象にデータベースを構築した (以下 Chiba-RDB).
各研究用付加情報はそれぞれ表 3 の「ツール」欄に示す書式のアノテーションファイルで記述されており，ここから各種中間ファイルを経てデータベースに変換した。

Chiba-RDBの（非整列）セグメントとリンクを図 10 に示す。セグメントは，次の 4 種類の階層関係からなる系列に分類される.
- 形態統語語用論系列：短単位 $<$ 文節 $<$ 節 $<$ 長い発話単位
- 韻律系列：短単位<アクセント句<イントネーション句
- 視線系列：視線フェーズ $<$ 視線句
- 頭部動作系列：頭部動作フェーズ＜頭部動作句

CSJ-RDB と異なる部分を中心に見る。まず，長い発話単位間の連接関係（話者交替）を表す話者移行関係がリンク (linkLUUTrans) によって表される。また長い発話単位のうち，あいづち表現については，あいづちが打たれるきっかけとなった表現（反応先）との関係がリンク

表 3 『千葉大学 3 人会話コーパス』の研究用付加情報

 \\

図 10 Chiba-RDB の（非整列）セグメントとリンク

(linkRTTarget)によって表される. 領きについても同様に, そのきっかけとなった表現（反応先）との関係がリンク (linkNodTarget)によって表される.

## 5 議論

## 5.1 関連研究

本節では関連研究との違いについて述べる。1 節で述べたように, 本研究は, 既存のアノテー ションツールやコーパス検索ツールを用いてコーパス利用環境を実現することに主眼があり，アノテーションツールやコーパス検索ツールの開発そのものを目的とするものではない. Noguchi et al. (2008) や Kaplan et al. (2010) をはじめとする関連研究とは, この点がまず大きく異なる. さまざまなアノテーションを統合開発環境で行なうアプローチは魅力的ではあるが, マルチモー ダルデータを含む話し言葉コーパスではその実現に多くの困難が伴い，本研究のアプローチのほうがより現実的な解を提示している.

他のツールで作成されたアノテーションを統合し利用するという点では, Matsumoto et al. (2006) や Calhoun et al. (2010) がむしろ本研究に近い. Matsumoto et al. (2006) は, 形態素解析・係り受け解析済みのテキストを読み込んで，コーパス検索・修正などをGUIで行なうための汎用的なツール『茶器』を開発している。 もともと書き言葉を想定していたが, 最近, 話し言葉も扱えるよう拡張がなされている (浅原, 森田 2013). しかし, 『茶器』にインポートできるデータは決められた書式のものに限られており，3節で示したような柔軟性はない。また, 扱える単位も単語・文節あたりに限られており，4節で見た事例のような多岐にわたる単位を扱うことはできない.

Calhoun et al. (2010)は，長年にわたってさまざまな研究機関でなされてきた, Switchboard コーパス (Godfrey, Holliman, and McDaniel 1992) に対するさまざまな種類のアノテーションを統合し, 多層にわたる検索を可能にした。電話会話のためマルチモーダル情報は含まないが,音素から統語構造・韻律情報, さらには非流暢性・情報構造・共参照に至るまで， 15 種類以上ものアノテーションを含み， 4 節で見た本研究の事例に十分匹敵する．彼らはさまざまな書式を持つ既存のアノテーションを変換してこの統合をなしているが，本研究のようにそのための汎用的なツールを開発したわけではない.

## 5.2 アノテーション管理について

本研究では, 話し言葉コーパスの統合利用に焦点を当てて述べてきたが，アノテーション過程の管理もまたコーパスアノテーションの重要な課題である. Kaplan et al. (2010) は, 作業者管理, 並行・分散アノテーション, バージョン管理, バージョンの併合といったマクロレべルの要件を考慮した統合開発環境を提案している。これに対して, 本研究では, 話し言葉で広く使

われている既存のアノテーションツールを有効に利用することを最大の要件としてきた。そのため, 統合開発環境に基づいて種々のツール群を開発するという方向性とは異なる立場に立ってきた。このことのデメリットについて検討する必要があろう.

統合開発環境に基づくアノテーションッールを使わないことの最大のデメリットは，異なるツール間で共有される部分（たとえば『日本語話し言葉コーパス』の短単位）をあるアノテー ションで修正したときに，その影響を他のアノテーションに簡単に波及できないという点である。統合開発環境に基づくツール群では，アノテーションデータ自身を共有しているため, このような波及は作業者が意識しなくても暗黙的になされる。しかし，個別のアノテーションツー ルを用いる本手法では，波及的な修正は自動的には行なえない．

本手法においても，構築したデータベースから各種アノテーションを再生成することは可能であり，4節で紹介した事例では，実際にそのようなツールを作成し運用している。このようなツールによって，あるアノテーションで生じた修正を別のアノテーションに波及すること自体は可能である。しかし，現状では，この種の波及的修正は，作業者が能動的に実行しない限り，行なえない，今後，アノテーションファイルへのアクセス方法などを工夫する（たとえば常にデータベースから再生成するなど）ことで，より効果的にアノテーション過程を管理する方策を考える必要がある.

また, バージョン管理の問題についても, 本研究では, 汎用のバージョン管理システム Subversion を用いてアノテーションファイルを管理しているが，これで十分というわけではない. アノテー ション過程の管理については, 既存のアノテーションツールやバージョン管理システムを含むシステム全体の中で，よりよい手段を模索する必要があろう.

## 5.3 実用性について

2 節で述べたように，提案スキーマでは，語やアクセント句や節といった言語学的な概念とスキーマ内のオブジェクトとが直接対応しており，ユーザの了解度は高いと思われる。しかし，検索速度の面ではどうであろうか.

この点を調べるために，コーパス言語学でよく用いられる，以下のような標準的なクエリに対する検索速度を計測した（付録 B 参照）。

クエリ 1 イントネーション句の末尾のアクセント句の先頭のモーラの継続長を算出

クエリ 2 イントネーション句の次末（末尾から 2 番目）のアクセント句の末尾のモーラの継続長を算出

クエリ 3 文末形式を持つ節単位の先頭の文節の末尾の短単位が係助詞「は」であるものを抽出し, その短単位の継続長を算出

(1) セグメントとリンクに基づくスキーマのように抽象度の高い単一のセグメントを用いる場合と (2) 本手法のように型ごとに個別化されたセグメントを用いる場合とで比較を行なった.
表 4 検索速度の比較 (5 回の平均. 単位は秒)

なお, これ以外の条件を対等にするため, いずれも階層関係を陽に表現した. 実験は, 人文系研究者がよく用いている, SQLiteの GUIである Navicat for SQLite (ver. 11.0.10) を用いてノー ト PC (Sony VPCZ22AJ, Core i7-2640M $2.80 \mathrm{GHz}$ ) 上で行ない, CSJ-RDBを検索対象とした.結果を表 4 に示す.「個別」は総じて「単一」の倍程度の速さであり, 個別化されたセグメン卜を用いることで検索速度も若干改善されることがわかる. この程度の違いがどれだけの意味を持つかはわからないが, 少なくとも提案スキーマが実用性で劣るということはない.

## 6 おわりに

本研究では, (1) マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる, 汎用的なデータベーススキーマを設計し, (2) 既存のアノテーションツールで作成された, 種々の書式を持つアノテーションを入力とし, 汎用的なデータベーススキーマから具現化されたデータベースを構築するツールを開発した。また, 『日本語話し言葉コーパス』と『千葉大学 3 人会話コーパス』を対象に，本手法によりデータベースを構築した事例を紹介した．構築したデータベースは，コーパス言語学的な研究に有効に利用されている.

今後の課題としてまず, 使いやすいユーザインターフェースを備えた, 本研究のスキーマに対応したコーパス検索ツールの開発が挙げられる. 本研究では, SQL 言語やその GUIのような既存のツールを用いた検索を想定していた。実際，人文系研究者をおもな対象として，CSJ-RDB をSQL 言語や GUI で検索する技法に関する講習会を何度か開いている。しかし, 本スキーマに特化したより使いやすい検索ツールがあれば，利用者はますます広がると期待できる．

さらに, 本研究のデータベース構築ツールは Linux 環境で実装されており, この点も人文系研究者が利用するうえで障害となるであろう． Praat や ELAN などの既存のアノテーションツー ルを用いたコーパス開発は，むしろ人文系研究者の間で広く行なわれており，それらのアノテー ションを統合利用する必要性もまた人文系研究者において高いかもしれない. 今後, より身近な環境で使えるようなツールに変更していきたい.

## 謝 辞

CSJ-RDB の構築に際し西川賢哉氏（理化学研究所）の協力を得た. 記して感謝する．本研究は, 科研費補助金基盤研究 (B)「発話単位アノテーションに基づく対話の認知・伝達融合モデルの構築」(課題番号：23320081, 研究代表者 : 伝康晴), 国立国語研究所独創・発展型共同研究「多様な様式を網羅した会話コーパスの共有化」(リーダー：伝康晴), 萌芽・発掘型共同研究「会話の韻律機能に関する実証的研究」(リーダー：小磯花絵）による成果である.

## 参考文献

浅原正幸, 森田敏生 (2013). コーパスコンコーダンサ『ChaKi.NET』の連続值データ型. 第 4 回コーパス日本語学ワークショップ, pp. 249-256.

Bird, S., Day, D., Garofolo, J., Henderson, J., Laprun, C., and Liberman, M. (2000). "ATLAS: A Flexible and Extensible Architecture for Linguistic Annotation." In Proceedings of the 2nd International Conference on Language Resources and Evaluation (LREC 2000), pp. 1699-1706. Athens, Greece.

Bird, S. and Liberman, M. (2001). "A Formal Framework for Linguistic Annotation." Speech Communication, 33, pp. 23-60.

Boersma, P. and Weenink, D. (2013). "Praat: Doing Phonetics by Computer." Computer Program, Version 5.3.56, retrieved 15 September 2013 from http://www.praat.org/.

Brugman, H. and Russel, A. (2004). "Annotating Multi-media/Multi-modal Resources with ELAN." In Proceedings of the 4th International Conference on Language Resources and Evaluation (LREC 2004), pp. 2065-2068. Lisbon, Portugal. http://tla.mpi.nl/tools/ tla-tools/elan/.

Calhoun, S., Carletta, J., Brenier, J., Mayo, N., Jurafsky, D., Steedman, M., and Beaver, D. (2010). "The NXT-format Switchboard Corpus: A Rich Resource for Investigating the Syntax, Semantics, Pragmatics and Prosody of Dialogue." Language Resources and Evaluation Journal, 44, pp. 387-419.

Carletta, J. (2007). "Unleashing the Killer Corpus: Experiences in Creating the Multi-everything AMI Meeting Corpus." Language Resources and Evaluation Journal, 41, pp. 181-190.

Carletta, J., Evert, S., Heid, U., and Kilgour, J. (2005). "The NITE XML Toolkit: Data Model and Query." Language Resources and Evaluation Journal, 39, pp. 313-334.

Chen, L., Rose, R. T., Qiao, Y., Kimbara, I., Parrill, F., Welji, H., Han, T. X., Tu, J., Huang, Z., Harper, M., Quek, F., Xiong, Y., McNeill, D., Tuttle, R., and Huang, T. (2006). "VACE

Multimodal Meeting Corpus." In Renals, S. and Bengio, S. (Eds.), Machine Learning for Multimodal Interaction, Vol. 3869 of Lecture Notes in Computer Science, pp. 40-51. Springer, Berlin/Heidelberg.

Den, Y. and Enomoto, M. (2007). "A Scientific Approach to Conversational Informatics: Description, Analysis, and Modeling of Human Conversation." In Nishida, T. (Ed.), Conversational Informatics: An Engineering Approach, pp. 307-330. John Wiley \& Sons, Hoboken, NJ.

Den, Y., Koiso, H., Maruyama, T., Maekawa, K., Takanashi, K., Enomoto, M., and Yoshida, N. (2010). "Two-level Annotation of Utterance-units in Japanese Dialogs: An Empirically Emerged Scheme." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC 2010), pp. 1483-1486. Valletta, Malta.

Den, Y., Koiso, H., Takanashi, K., and Yoshida, N. (2012). "Annotation of Response Tokens and their Triggering Expressions in Japanese Multi-party Conversations." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC 2012), pp. 1332-1337. Istanbul, Turkey.

Den, Y., Yoshida, N., Takanashi, K., and Koiso, H. (2011). "Annotation of Japanese Response Tokens and Preliminary Analysis on their Distribution in Three-party Conversations." In Proceedings of the 14th Oriental COCOSDA (O-COCOSDA 2011), pp. 168-173. Hsinchu, Taiwan.

Godfrey, J. J., Holliman, E. C., and McDaniel, J. (1992). "SWITCHBOARD: Telephone Speech Corpus for Research and Development." In Proceedings of the 17th International Conference on Acoustics, Speech, and Signal Processing (ICASSP-92), pp. 517-520. San Francisco, CA.細馬宏通 (2009). ジェスチャー単位. 坊農真弓, 高梨克也 (編), 多人数インタラクションの分析手法, pp. 119-137. オーム社.

五十嵐陽介, 菊池英明, 前川喜久雄 (2006). 韻律情報. 国立国語研究所報告 124 : 日本語話し言葉コーパスの構築法, pp. 347-453.

Kaplan, D., Iida, R., Nishina, K., and Tokunaga, T. (2012). "Slate-A Tool for Creating and Maintaining Annotated Corpora." Journal for Lanuage Technology and Computational Linguistics, 26 (2), pp. 91-103.

Kaplan, D., Iida, R., and Tokunaga, T. (2010). "Annotation Process Management Revisited." In Proceedings of the 7th International Language Resources and Evaluation Conference (LREC 2010), pp. 3654-3661. Valletta, Malta.

Kipp, M. (2001). "Anvil-A Generic Annotation Tool for Multimodal Dialogue." In Proceedings of the 7th European Conference on Speech Communication and Technology (Eurospeech 2001), pp. 1367-1370. Aalborg, Denmark. http://www.anvil-software.org/.
小磯花絵, 伝康晴, 前川喜久雄 (2012). 『日本語話し言葉コーパス』RDB の構築. 第 1 回コー パス日本語学ワークショップ, pp. 393-400.

国立国語研究所 (2006). 国立国語研究所報告 124 ：日本語話し言葉コーパスの構築法.

Kudo, T. and Matsumoto, Y. (2002). "Japanese Dependency Analysis using Cascaded Chunking." In Proceedings of the 6th Conference on Computational Natural Language Learning (CoNLL2002), pp. 63-69. Taipei, Taiwan. https://code.google.com/p/cabocha/.

前川喜久雄 (2004). 『日本語話し言葉コーパス』の概要. 日本語科学, 15, pp. 111-133.

Matsumoto, Y., Asahara, M., Hashimoto, K., Tono, Y., Ohtani, A., and Morita, T. (2006).

"An Annotated Corpus Management Tool: ChaKi." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC 2006), pp. 1418-1421. Genoa, Italy.

Müller, C. and Strube, M. (2001). "MMAX: A Tool for the Annotation of Multi-modal Corpora." In Proceedings of the 2nd IJCAI Workshop on Knowledge and Reasoning in Practical Dialogue Systems, pp. 45-50. Seattle, WA.

Müller, C. and Strube, M. (2006). "Multi-level Annotation of Linguistic Data with MMAX2." In Braun, S., Kohn, K., and Mukherjee, J. (Eds.), Corpus Technology and Language Pedagogy: New Resources, New Tools, New Methods, pp. 197-214. Peter Lang, Frankfurt am Main, Germany.

Noguchi, M., Miyoshi, K., Tokunaga, T., Iida, R., Komachi, M., and Inui, K. (2008). "Multiple Purpose Annotation using SLAT-Segment and Link-based Annotation Tool-." In Proceedings of the 2nd Linguistic Annotation Workshop, pp. 61-64. Marrakech, Morocco.角康之, 矢野正治, 西田豊明 (2011). マルチモーダルデータに基づいた多人数会話の構造理解.社会言語科学, 14 (1), pp. 82-96.

Tjong Kim Sang, E. F. and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the 9th Conference of the European Chapter of the Association for Computational Linguistics (EACL'99), pp. 173-179. Bergen, Norway.

Waibel, A. and Stiefelhagen, R. (2009). Computers in the Human Interaction Loop. Springer, Berlin/Heidelberg.

## A隣接語対を抽出するクエリ

同一節 (segClause) 内で隣接する単語 (segWord) の対を抽出するクエリ。階層関係テーブル (relWord2Clause) を用いない場合は，サブクエリを用いた煩雑なクエリとなる.

-- 階層関係を用いた場合

SELECT W1.id AS current, W2.id AS next FROM segWord AS W1

INNER JOIN relWord2Clause AS R1 ON R1.descendant = W1.id INNER JOIN relWord2Clause AS R2 ON R2.ancestor $=\mathrm{R} 1$.ancestor INNER JOIN segWord AS W2 ON W2.id = R2.descendant WHERE R2.nth $=$ R1.nth +1 ;

## B実用性評価で用いたクエリ

## クエリ 1 ：イントネーション句の末尾のアクセント句の先頭のモーラの継続長を算出

-- 抽象度の高い単一のセグメントを用いた場合

SELECT I.id, MATTR.value AS MoraEntity, M.end - M.start AS Duration

FROM seg AS I

INNER JOIN rel AS AI ON AI.ancestor = I.id

INNER JOIN seg AS A ON A.id = AI.descendant

INNER JOIN rel AS MA ON MA.ancestor $=$ A.id

INNER JOIN seg AS M ON M.id = MA.descendant

INNER JOIN attr AS MATTR ON MATTR.ref $=$ M.id

WHERE AI.nth $=$ AI.len AND MA.nth $=1$

AND I.type $=$ "IP" AND AI.type $=$ "AP2IP"

AND A.type $=$ "AP" AND MA.type $=$ "Mora2AP"

AND M.type = "Mora" AND MATTR.name = "MoraEntity";

-- 型ごとに個別化されたセグメントを用いた場合

SELECT I.id, M.MoraEntity, M.end - M.start AS Duration

FROM segIP AS I

INNER JOIN relAP2IP AS AI ON AI.ancestor $=$ I.id

INNER JOIN segAP AS A ON A.id = AI.descendant

INNER JOIN relMora2AP AS MA ON MA.ancestor $=$ A.id

INNER JOIN segMora AS M ON M.id = MA.descendant

WHERE AI.nth $=$ AI.len AND MA.nth $=1$;

クエリ 2 : イントネーション句の次末のアクセント句の末尾のモーラの継続長を算出

-- 抽象度の高い単一のセグメントを用いた場合

SELECT I.id, MATTR.value AS MoraEntity, M.end - M.start AS Duration

FROM seg AS I

INNER JOIN rel AS AI ON AI.ancestor = I.id

INNER JOIN seg AS A ON A.id = AI.descendant

INNER JOIN rel AS MA ON MA.ancestor $=$ A.id

INNER JOIN seg AS M ON M.id = MA.descendant

INNER JOIN attr AS MATTR ON MATTR.ref $=$ M.id

WHERE AI.nth = AI.len - 1 AND MA.nth = MA.len

AND I.type $=$ "IP" AND AI.type $=$ "AP2IP"

AND A.type $=$ "AP" AND MA.type $=$ "Mora2AP"

AND M.type $=$ "Mora" AND MATTR.name $=$ "MoraEntity";

-- 型ごとに個別化されたセグメントを用いた場合

SELECT I.id, M.MoraEntity, M.end - M.start AS Duration

FROM segIP AS I

INNER JOIN relAP2IP AS AI ON AI.ancestor $=$ I. id

INNER JOIN segAP AS A ON A.id = AI.descendant

INNER JOIN relMora2AP AS MA ON MA.ancestor $=$ A.id

INNER JOIN segMora AS M ON M.id = MA.descendant

WHERE AI.nth = AI.len - 1 AND MA.nth = MA.len;

クエリ 3 : 文末形式を持つ節単位の先頭の文節の末尾の短単位が係助詞「は」であるものを抽出し, その短単位の継続長を算出

-- 抽象度の高い単一のセグメントを用いた場合

SELECT C.id, S.end - S.start AS Duration

FROM seg AS $C$

INNER JOIN rel AS BC ON BC.ancestor $=$ C.id

INNER JOIN seg AS B ON B.id = BC.descendant

INNER JOIN rel AS SB ON SB.ancestor $=$ B.id

INNER JOIN seg AS S ON S.id = SB.descendant

INNER JOIN rel AS SMS ON SMS.ancestor = S.id

INNER JOIN useg AS SM ON SM.id = SMS.descendant

INNER JOIN attr AS CATTR ON CATTR.ref $=$ C.id

INNER JOIN attr AS SMATTR1 ON SMATTR1.ref = SM.id

INNER JOIN attr AS SMATTR2 ON SMATTR2.ref $=$ SM.id

WHERE BC.nth $=1$ AND SB.nth = SB.len AND SMS.nth = SMS.len

AND C.type $=$ "Clause" AND BC.type $=$ "Bunsetsu2Clause"

AND B.type = "Bunsetsu" AND SB.type = "SUW2Bunsetsu"

AND S.type $=$ "SUW" AND SMS.type $=$ "SUWMorph2SUW"

AND SM.type = "SUWMorph"

AND CATTR.name = "ClauseBoundaryLabel" AND CATTR.value LIKE "[\%]"

AND SMATTR1.name = "SUWLemma" AND SMATTR1.value $="$ は"

AND SMATTR2.name $=$ "SUWMiscPOSInfo1" AND SMATTR2.value = "係助詞";

-- 型ごとに個別化されたセグメントを用いた場合

SELECT C.id, S.end - S.start AS Duration

FROM segClause AS C

INNER JOIN relBunsetsu2Clause AS BC ON BC.ancestor $=$ C.id

INNER JOIN segBunsetsu AS B ON B.id = BC.descendant

INNER JOIN relSUW2Bunsetsu AS SB ON SB.ancestor $=$ B.id

INNER JOIN segSUW AS S ON S.id = SB.descendant

INNER JOIN relSUWMorph2SUW AS SMS ON SMS.ancestor $=$ S.id

INNER JOIN usegSUWMorph AS SM ON SM.id = SMS.descendant

WHERE BC.nth $=1$ AND SB.nth = SB.len AND SMS.nth = SMS.len

AND C.ClauseBoundaryLabel LIKE "[\%]"

AND SM.SUWLemma = "は"

AND SM.SUWMiscPOSInfo1= "係助詞";

## 略歴

伝康晴：1993 年京都大学大学院工学研究科博士後期課程研究指導認定退学.

博士 (工学). ATR 音声翻訳通信研究所研究員, 奈良先端科学技術大学院大学情報科学研究科助教授, 千葉大学文学部助教授・准教授を経て, 現在, 千葉大学文学部教授. 国立国語研究所客員教授. 専門はコーパス言語学・心理言語学・計算言語学. とくに日常的な会話の分析・モデル化. 社会言語科学会・日本認知科学会 - 人工知能学会 $\cdot$ 日本心理学会 - 日本認知心理学会各会員.
小磯花絵：1998 年 10 月奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学).ATR 知能映像通信研究所研修研究員, 国立国語研究所研究員を経て, 現在, 人間文化研究機構国立国語研究所准教授. 専門は談話分析・コーパス言語学・音声科学. 言語処理学会・社会言語科学会 $\cdot$日本認知科学会 $\cdot$ 日本音声学会 $\cdot$ 人工知能学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# レシピ用語の定義とその自動認識のための タグ付与コーパスの構築

笹田 鉄郎 $\cdot$ 森 信介 ${ }^{\dagger} \cdot$ 山肩 洋子计・前田 浩邦 $^{+\dagger \dagger}$ ・河原 達也 ${ }^{\dagger}$

自然言語処理において, 単語認識 (形態素解析や品詞推定など) の次に実用化可能な 課題は，ある課題において重要な用語の認識であろう。この際の重要な用語は，一般に単語列であり, 多くの応用においてそれらに種別がある。一般的な例は, 新聞記事における情報抽出を主たる目的とした固有表現であり，人名や組織名，金額な どの 7 つか 8 つの種別（固有表現クラス）が定義されている.この重要な用語の定義 は, 自然言語処理の課題に大きく依存する．我々はこの課題をレシピ（調理手順の 文章）に対する用語抽出として，レシピ中に出現する重要な用語を定義し, 実際に コーパスに対してアノテーションし, 実用的な精度の自動認識器を構築する過程に ついて述べる。 その応用として, 単純なキーワード照合を超える知的な検索や, 映像と言語表現のマッチングによるシンボルグラウンディングを想定している。この ような背景の下, 本論文では, レシピ用語タグセットの定義と, 実際に行ったアノ テーションについて議論する。また, レシピ用語の自動認識の結果を提示し, 必要 となるアノテーション量の見通しを示す.

キーワード：固有表現認識，用語抽出，レシピ，コーパス，アノテーション
## Definition of Recipe Terms and Corpus Annotation for their Automatic Recognition

\author{
Tetsuro Sasada ${ }^{\dagger}$, Shinsuke Mori ${ }^{\dagger}$, Yoko Yamakata ${ }^{\dagger \dagger}$, Hirokuni Maeta ${ }^{\dagger \dagger \dagger}$ \\ and Tatsuya Kawahara ${ }^{\dagger}$
}

In natural language processing (NLP), recognizing important terms after word recognition (word segmentation, part-of-speech tagging, etc.) is practical. In general, terms are word sequences and are classified into different types in many applications. A famous example is the named entity that aims to extract information from newspaper articles. This has seven or eight types (named entity classes) such as person name, organization name and amount of money. The definition of important terms depends heavily on the NLP task. We chose term extraction from recipes (cooking procedure texts) as our task. We discuss a process to define terms and types, annotate corpus, and construct a practically accurate automatic recognizer of recipe terms. The recognizer can potentially be applied to search functions that are more intelligent than simple keyword match and symbol grounding researches, wherein we can match videos

and language expressions. Based on these backgrounds, in this study, we discuss the definition of a tag set for recipe terms and real annotation work. Furthermore, we present the experimental results of automatic recognition of recipe terms and provide an insight into the number of annotations required for realizing a certain degree of accuracy.

Key Words: Named Entity Recognition, Term Extraction, Recipe, Corpus, Annotation

## 1 はじめに

自然言語処理において, 単語認識（形態素解析や品詞推定など）の次に実用化可能な課題は,用語の抽出であろう。この用語の定義としてよく知られているのは, 人名や組織名，あるいは金額などを含む固有表現である。固有表現は，単語列とその種類の組であり，新聞等に記述される内容に対する検索等のために 7 種類（後に 8 種類となる）が定義されている (Chinchor 1998; Sekine and Isahara 2000). 固有表現認識はある程度の量の夕グ付与コーパスがあるとの条件の下，90\%程度の精度が実現できたとの報告が多数ある (Borthwick 1999; Lafferty, McCallum, and Pereira 2001; Sang and Meulder 2003).

しかしながら，自然言語処理によって自動認識したい用語は目的に依存する。実際, IREXにおいて固有表現の定義を確定する際もそのような議論があった (江里口 1999). 例えば，ある企業がテキストマイニングを実施するときには，単に商品名というだけでなく，自社の商品と他社の商品を区別したいであろう。このように，自動認識したい用語の定義は目的に依存し，新聞からの情報抽出を想定した一般的な固有表現の定義は有用ではない。したがって，ある固有表現の定義に対して，夕グ付与コーパスがない状態から $90 \%$ 程度の精度をいかに手早く実現するかが重要である.

昨今の言語処理は，機械学習に基づく手法が主流であり，様々な機械学習の手法が研究されている。他方で, 学習データの構築も課題であり, その方法論やツールが研究されている (自然言語処理特集号編集委員会 2014). 特に, 新しい課題を解決する初期は学習データがほとんどなく, 学習データの増量による精度向上が, 機械学習の手法の改善による精度向上を大きく上回ることが多い. さらに，目的の固有表現の定義が最初から明確になっていることは稀で，夕グ付与コーパスの作成を通して実例を観察することにより定義が明確になっていくのが現実的であろう。本論文では, この過程の実例を示し, ある固有表現の定義の下である程度高い精度の自動認識器を手早く構築するための知見について述べる.

本論文で述べる固有表現は，以下の条件を満たすとする。

条件 1 単語の一部だけが固有表現に含まれることはない.

一般分野の固有表現では, 「訪米」などのように, 場所が単語内に含まれるとすることも
考えられるが，本論文ではこのような例は，辞書の項目にそのことが書かれていると仮定する。

条件 2 各単語は高々唯一の固有表現に含まれる.

一般分野の固有表現では，入れ子を許容することも考えられる (Finkel and Manning 2009;

Tateisi, Kim, and Ohta 2002) 例えば,「アメリカ大統領」という表現は, 全体が人物を表し「アメリカ」の箇所は組織名を表すと考えられる。自動認識を考えて広い方を採ることとする.

以上の条件は, 品詞タグ付けに代表される単語を単位としたタグ付けの手法を容易に適用させるためのものである。その一方で，日本語や中国語のように単語分かち書きの必要な言語に対しては，あらかじめ単語分割のプロセスを経る必要があるという問題も生じるが，本論文では単語分割を議論の対象としないものとする.

本論文では，題材を料理のレシピとし，さまざまな応用に重要と考えられる単語列を定義し， ある程度実用的な精度の自動認識を実現する方法について述べる。例えば，「フライ返し」という単語列には「フライ」という食材を表す単語が含まれるが，一般的に「フライ返し」は道具であり,「フライ返し」という単語列全体を道具として自動認識する必要がある. 本論文ではこれらの単語列をレシピ用語と定義してタグ付与コーパスの構築を行い, 上述した固有表現認識の手法に基づく自動認識を目指す.レシピ用語の想定する応用は以下の 2 つであり, 関連研究（2.3 節）で詳細を述べる。

## 応用 1 フローグラフによる意味表現

自然言語処理の大きな目標の一つは意味理解であると考えられる。一般の文書に対して意味を定義することは未だ試行すらほとんどない状況である。しかしながら，手続き文書に限れば， 80 年代にフローチャートで表現することが提案され，ルールベースの手法によるフローチャートへの自動変換が試みられている (Momouchi 1980)。同様の取り組みをレシピに対してより重点的に行った研究もある (浜田, 井手, 坂井, 田中 2002). 本論文で述べるレシピ用語の自動認識は，手順書のフローグラフ表現におけるノードの自動推定として用いることが可能である.

応用 2 映像とのアラインメント

近年，大量の写真や映像が一般のインターネットユーザーによって投稿されるようになり，その内容を自然言語で自動的に表現するという研究が行われている．その基礎研究と

して，映像と自然言語の自動対応付けの取り組みがある (Rohrbach, Qiu, Titov, Thater, Pinkal, and Schiele 2013; Naim, Song, Liu, Kautz, Luo, and Gildea 2014). これらの研究における自然言語処理部分は，主辞となっている名詞を抽出するなどの素朴なものである. 本論文で述べるレシピ用語の自動認識器により, 単語列として表現される様々な物体や動作を自動認識することができる.

これらの応用の先には, レシピの手順書としての構造を考慮し, 調理時に適切な箇所を検索して提示を行う，より柔軟なレシピ検索 (Yamakata, Imahori, Sugiyama, Mori, and Tanaka 2013) や, レシピの意味表現と進行中の調理動作の認識結果を用いた調理作業の教示 (Hashimoto, Mori, Funatomi, Yamakata, Kakusho, and Minoh 2008) がより高い精度で実現できるであろう.

本論文では，まずレシピ用語のアノテーション基準の策定の経緯について述べる。次に，実際のレシピテキストへのアノテーションの作業体制や環境, および作業者間の一致・不一致について述べる. 最後に, 作成したコーパスを用いて自動認識実験を行った結果を提示し, 学習コーパスの大きさによる精度の変化や，一般固有表現認識に対して指摘されるカバレージの重要性を考慮したアノテーション戦略の可能性について議論する。本論文で対象とするレシピテキストはユーザ生成コンテンツ (User Generated Contents; UGC) であり，そのようなデータを対象とした実際のタグ定義ならびにアノテーション作業についての知見やレシピ用語の自動認識実験から得られた知見は，ネット上への書き込みに対する分析など様々な今日的な課題の解決の際に参考になると考えられる。

## 2 関連研究

1 節で述べたとおり，我々の提案するレシピ用語夕グ付与コーパスは，レシピテキストが単語に分割されていることを前提としている。本節では，まずレシピテキストに対する自動単語分割の現状について述べる。次に，系列ラベリングによるレシピ用語の自動認識手法として用いる，一般的な固有表現認識手法について説明する。最後に，レシピ用語の自動認識結果の応用について述べる.

## 2.1 レシピテキストに対する自動単語分割

本論文で提案するレシピ用語夕グ付与コーパスは, 各文のレシピ用語の箇所が適切に単語に分割されていることを前提としている。したがって, コーパス作成に際しては, 自動単語分割 (森, Neubig, 坪井 2011) や形態素解析 (松本 1996; 工藤, 山本, 松本 2004; 松本, 黒橋, 山地, 妙木, 長尾 1997) などを前処理として行い, レシピ用語の箇所のみを人手で修正することが必要となる. 自動単語分割器や形態素解析器をレシピテキストに適用する際に問題となるのは, 分野の特殊性に起因する解析精度の低下である。実際, 文献 (森 2012)では, 『現代日本語書き言葉均衡コーパス』(Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka,

り，学習コーパスと同じ分野のテストコーパスに対する精度 $(99.32 \%)$ よりも大きく低下することを報告している。この文献ではさらに， 10 時間の分野適応作業を行い，精度が $97.05 \%$ に向上したことを報告している。
本論文で詳述するレシピ用語タグ付与コーパスの構築に際しては, レシピ用語となる箇所の単語境界付与も行うことになる 1 . この作業を実際に行う際には，まず前処理としてレシピテキストに対する自動単語分割を行い，その後人手でレシピ用語となる箇所を確認しながら夕グ付与を行っている。しかしながら，レシピ用語とならない箇所への単語境界情報付与はアノテー ションコストの増加を避けるため行っていない。したがって, 自動単語分割の学習コーパスとしては，文の一部（レシピ用語となる箇所）にのみ信頼できる単語境界情報が付与されており， レシピ用語以外の箇所においては信頼性の低い単語境界情報を持つ部分的単語分割コーパスとみなすことができる．部分的単語分割コーパスも学習コーパスとすることが可能な自動単語分割器 (森他 2011) を用いる場合は, 我々のコーパスにより, 自動単語分割の精度も向上すると考えられる。

## 2.2 固有表現認識

一般分野の固有表現タグ付与コーパスとして，新聞等に人名や組織名などの夕グを付与したコーパスがすでに構築されている (Grishman and Sundheim 1996; Sekine and Isahara 2000). 1 節で述べたように，本論文で述べる固有表現は単語列であり，コーパスに対するアノテーションでは, 以下の例が示すように IOB2 方式 (Tjong, Sang, and Veenstra 1999) を用いて各単語にタグが付与される.

99 /Dat-B 年/Dat-I 3 /Dat-I 月/Dat-I カルロス/Per-B ゴーン/Per-I 氏/O が日産/Org$\mathrm{B}$ の $/ \mathrm{O}$ 社長 $/ \mathrm{O}$ に $\mathrm{O}$ 就任 $/ \mathrm{O}$

ここで, Dat は日付, Per は人名, Org は組織名を意味し, それぞれに最初の単語であることを意味する B (Begin) や同一種の固有表現の継続を意味する I (Intermediate) が付与されている. さらに, O (Other) はいずれの固有表現でもないことを意味する. 本論文では, 各単語に付与されるタグをIOB2 タグと呼ぶ。また，単語列に与えられる固有表現クラスを固有表現夕グ（上の例では Dat や Per など）と呼ぶこととする. したがって, IOB2 タグの種類数は固有表現夕グの 2 倍より 1 多い。これは本論文で取り扱うレシピ用語に関しても同様であり，それぞれを IOB2 タグ・レシピ用語タグと記述する。

自動固有表現認識は, 系列ラベリングの問題として解かれることが多い (Borthwick 1999; Lafferty et al. 2001; Sang and Meulder 2003) . 一般分野の固有表現認識に対しては, 1 万文程度の学習コーパスが利用可能な状況では， $80 \% \sim 90 \%$ の精度が得られると報告されている。

レシピの自然言語処理においては, これら一般的分野の固有表現タグセットは有用ではない.出現する人はほぼ調理者のみであり, 人名や組織名は出現することはない. 人工物のほとんどは，食材と道具であり，これらを区別する必要がある，数量表現としては，継続時間と割合を

含む量の表現が重要である。 さらに，一般分野における固有表現タグセットとの重要な差異として，調理者の行動や食材の挙動・変化を示す用言を区別・認識する必要 (Hamada, Ide, Sakai, and Tanaka 2000) が挙げられる. このような分析から，我々はレシピ用語のタグセットを新たに設計した。レシピ用語の定義については，次節以降で詳述する。ただ，多くの固有表現抽出の研究を踏襲し, レシピ用語は互いに重複しないこととし, レシピ用語の自動認識の課題に対しては，一般的分野の固有表現認識と同様の手法を用いることが可能となるようにした.

## 2.3 レシピ用語の自動認識の応用

レシピを対象とした自然言語処理の研究は多岐にわたる。ここでは，我々のコーパスが貢献できるであろう取り組みに限定して述べる。

山本ら (山本, 中岡, 佐藤 2013) は, 大量のレシピに対して食材と調理動作の対を抽出し, 調理動作の習得を考慮したレシピ推薦を提案している。この論文では，レシピテキストを形態素解析し，動詞を調理動作とし，予め用意した食材リストにマッチする名詞を食材としている.食材に対しては，複合語が考慮されており，直前が名詞の場合にはこれを連結する。この論文での食材と調理動作の表現の認識は非常に素朴であり，未知語の食材名に対応することができないことや，食材が主語となる動詞（レシピテキストに頻出）を調理動作と誤認するなどの問題点が指摘される。

Hamada ら (Hamada et al. 2000) は, レシピを木構造に自動変換することを提案している。変換処理の第一段階として, 食材や調理動作の認識を行っている。しかしながら，認識手法は予め作成された辞書との照合であり，頑健性に乏しい.

以上の先行研究では，いずれも，食材や調理動作等をあらかじめリストとして用意することで問題が生じていると考えられる。我々の提案するレシピ用語夕グ付与コーパス，およびそれ

である。加えて，レシピ用語の自動認識には，これを実際に行っている調理映像とのマッチングなどの興味深い応用がある ${ }^{3}$ (三浦, 高野, 浜田, 井手, 坂井, 田中 2003). 映像処理の観点からは，調理は制御された比較的狭い空間で行われるので，カメラなどの機材の設置が容易であり，作業者が 1 人であるため重要な事態はほぼ 1 箇所で進行し，比較的扱いやすいという利点がある．実際，映像処理の分野では，実際に調理を行っている映像を収録しアノテーションを行っている (橋本, 大岩, 舩冨, 上田，角所，美濃 2009)。あるレシピのレシピ用語の自動認識結果と当該レシピを実施している映像の認識結果とを合わせることで，映像中の食材や動作の名称の推定や, テキスト中の単語列に対応する映像中の領域の推定（図 1 参照）を含む自然言語

図 1 レシピテキストと調理映像のマッチング例

処理以外の分野にも波及する研究課題を実施する題材となる。 さらに, 本論文で詳述するコー パス作成に関する知見は，レシピ以外の分野の手順文章においても，映像との統合的処理や新たな機能を持つ検索などの実現の参考になると考えられる。

## 3 レシピ用語タグセットの定義

2.2 節で述べたとおり, レシピテキストのように，新聞とは異なる利用目的をもつ言語資源を取り扱う場合, 一般的な固有表現の定義は有用ではない。そこで我々はレシピを用いて調理を行う際に必要となるレシピ用語を分類, 定義した。本節で述べるレシピ用語の一部は先行研究 (Hamada et al. 2000) で用いられていた表現分類を踏襲しているが，コーパス構築を行う過程で，先行研究における分類だけではカバーできないと判断したレシピ中の重要表現を新しく定義し, 追加した. レシピ用語タグの一覧を表 1 に示す. 実際のコーパス構築においては各単語にIOB2 タグ（2.2 節参照）を付与するという形で COOKPAD先公開しているレシピの中から無作為抽出で選択した 436 レシピにアノテーションを行った。構築したコーパスの詳細を表 2 に示す。なお, 後述する評価実験ではコーパスを学習・テストに分割して実験を行うため, 表 2 には分割後の詳細を示している。また，アノテーションを行ったコーパス中のレシピ用語タグ付与数の分布, ならびにタグごとの平均単語長と最大単語長を表 3 に示す. 以下では, 8 種類のレシピ用語タグについて個別に例を挙げながら述べる。なお, 本節以降では簡単の為 IOB2 夕グ形式を用いた表記ではなく，「例）/パイ生地/Fを/焼/Acく」のように，「/単語列/レシピ用語タグ名」の形式でレシピ用語タグの範囲を示し，例文を記述する.
^{4}$ http://cookpad.com
}
表 1 レシピ用語タグ一覧

表 2 レシピ用語タグ付与コーパス

表 3 付与したレシピ用語タグの統計

## 3.1 F: 食材

レシピテキストにおいては調理対象である食材，ならびに調理を行うための道具が主な人工物として記述される。中でも食材は調理における動作の目的語, 食材の変化や状態の遷移の主語となるため, レシピに記述された手続きの要素として過不足無く抽出されることが望ましい. また，レシピにおいては，中間食材や食材の集合を番号や記号・代名詞によって表現する事例が多い，以上を踏まえ，以下に挙げる単語列を『F: 食材』と定義した。

食材

例）/チーズ/F

例）/ごま油/F

## 中間食材

例） $/$ 生地/F

例）/サルサソース/F

## 食材の一部

例）/じやがいも/F の/皮/F

例）/水分/F を/切/Ac る

## 調理の完成品

例）/卵焼き/F

例）/チーズケーキ/F

## 記号 ・代名詞

例） $/ 1 / \mathrm{F} /$ フライパン/T に/流し入れ/Ac る

例）お/鍋/Tの/中身/Fが/ぐつぐつ/Afしてきたら

商品名

例）/とろけるチーズ/F

例）/薄切りベーコン/F

## $3.2 \mathrm{~T$ : 道具}

鍋, 蓋, 包丁、コンロなど，調理道具や器等を道具表現とする。手や指などの体の一部も道具表現になる場合がある，食せない，量が変化しない点以外は『F: 食材』のルールを踏襲する.

例） $/ 3$ 分/D /レンジ/Tを/L/Acてから

ただし,「『T: 道具』(する)」という表現は，後述する『Ac: 調理者の動作』となりうる。この場合には, 『Ac: 調理者の動作』のアノテーションを優先する.

例） $/ 3$ 分/D /レンジ/Acする

以下に示す「弱火」の例では「コンロ」「鍋」といった調理に必要な道具が明示されていないが，実際の調理ではそのような道具を用いて調理する意味を含んでいるため，道具とする。

例）/弱火/Tで/煮/Ac る

以下の「水」や「手」も道具とする。

例）/水/T で/洗/Acって

例）/手/Tで/洗/Acって

## 3.3 Ac: 調理者の動作 / Af: 食材の変化

『Ac: 調理者の動作』は調理者を主語にとって調理者が行う動作を示す用言であり, 『Af: 食材の変化』は『F: 食材』を主語として食材の変化を示す用言である. 『Ac: 調理者の動作』と 『Af: 食材の変化』は異なるレシピ用語として定義されるが, アノテーションの際には両者を混
同しやすい事例が頻出するため，本項でまとめて例を述べる。いずれも，同一性判定を容易にするために，活用語尾を含めない．動作を修飾する，「よく」「ざっくり」などの副詞表現も，同様の理由によりレシピ用語としない.

調理者が行う動作を示す用言を『Ac: 調理者の動作』とする.

例）/フライパン/T を/温め/Ac る

『F: 食材』を主語としてその変化を示す用言を『Af: 食材の変化』とする.

例） /沸騰/Afし始めたら

使役・否定の助動詞を伴う場合のみ,これらの助動詞語幹までを含めて『Ac: 調理者の動作』 とする．受動の助動詞を伴う場合，主語が『F: 食材』であれば実際には調理者を主語として『F:食材』を対象とした調理行動を行っているとし, 『使役, 否定』の場合と同様に助動詞語幹までを含め『Ac: 調理者の動作』とする。なお，本論文でタグ付与の対象としたレシピテキストにおいて『F: 食材』を主語とした受動態の事例は確認されなかったため, 以下では使役・否定の事例のみを挙げる。

例） / 沸騰させ/Ac たら

例）/沸騰しな/Afいように

目的語など格助詞で示される「項」を含めない.

例）/皮/Fを/む/Acいて

複合動詞は全体を調理動作とする。

例）/ふる/Acっておいた/薄力粉/Fを/振るいいれ/Ac

開始や完了などをあらわす補助的な動詞は含まない.

例）/惹込/Acんでいく

例）/惹た/Afってくる

動詞派生名詞やサ変名詞などの事態性名詞も動作とする.

例）/ねぎ/Fを/みじん切り/Acする。

例）/ねぎ/Fを/みじん切り/Sfに/する/Ac.

『F: 食材』で述べたように，商品名など，実際に行わない用言は『F: 食材』に含める.

例）/とろけるチーズ/F

例）/水溶き/Ac /片栗粉 $/ \mathrm{F}$

## $3.4 \mathrm{Sf:$ 食材の様態}

レシピテキストでは, 調理の進行度合いや食材の変化を伝えるために個々の時点における食材の様態が記述される. 『Ac: 調理者の動作』や『Af: 食材の変化』の影響によって食材が変化する（した）状態を表す表現を『Sf: 食材の様態』とする.

例）/柔らか/Sfく/な/Afるまで/者/Acる
例）/色/Sf が/変わ/Afる

以下の例に示すように, 『Sf: 食材の様態』は, 見た目, 大きさ, 分量などの様々な単語を含んでおり，一つのレシピ用語を構成する単語数が多くなりやすい。このため,

・ アノテーションを行う際に作業内容の一貫性を担保しにくい
- 未知の『Sf: 食材の様態』が多く出現する

という問題が発生する。この問題の詳細については 3.8 節で後述する.

例）/やっと手を入れられるくらい/Sf のお/湯/F

例）/にんじん/Fを/だいたい薄さ $5 \mathrm{~mm} / \mathrm{Sf}$ に/切/Ac る

## 3.5 St: 道具の様態

用意された道具様態の初期状態を表す表現，並びに Ac や Afの影響で遷移する（した）状態を表す表現を St とする。

例）/弱火/St の/フライパン/T で/炒め/Ac る

例）/オーブン/T を/150 度/St に/予熱/Ac する

『St: 道具の様態』は, 『 $\mathrm{T}$ : 道具』の例

例）/弱火/T で/煮/Ac る

と混同しやすいが，文中で調理過程における道具が明示され，その道具の状態を示している表現を『St: 道具の様態』と定義する.

## 3.6 D: 継続時間

加熱時間や冷却時間など，加工の継続時間を示す。数字と単位のほか，それらに対する修飾語句も含める.

例） $/ 12 \sim 15$ 分間/D / 煮込/Ac みます

例） $/ 5$ 分 <らい/D

例） $/ 2$ 日後くらい/Dが/食べ時/Afです!

## $3.7 \mathrm{Q$ : 分量}

食材の一部を用いた調理動作を行う場合，その一部が量として表される場合にその表現を『Q:分量』とする．数字と単位のほか, それらに対する修飾語句も含める.

例） $/$ 人参 $/ \mathrm{F} / 3 \sim 4 \mathrm{~cm}$ くらい/Q を/鍋/Tに/入れ/Ac

例） $/$ 酒/F /大さじ $2 / \mathrm{Q}$ を/加え/Ac

## 3.8 レシピ用語タグの付与が困難な事例

1 節で述べたように，本論文においてアノテーションの対象とするレシピテキストは推敲が乏しく，レシピとは関係のない内容も多く含まれる。このため, 本節で述べたレシピ用語の定義を用いて実際にアノテーションを行うと，レシピ用語タグを付与するべきか否かの判断に迷う部分が出現する．とくに，夕グ付与数の多いレシピ用語タグほど，レシピ用語となる表現のバリエーションも多く，その分アノテーション作業に時間を要すると考えられる（夕グ付与数の分布は表 3 を参照）．以下では，レシピ用語夕グを付与する際にアノテーションの困難であった事例を列挙し，現状でのアノテーション処理を述べる.
- 入れ子：表 3 の平均単語数と最大単語数からわかるとおり, 『Sf: 食材の様態』, 『D: 継続時間』, 『St: 道具の様態』, 『Q: 分量』は他のレシピ用語タグと比較して長い単語列となりやすく, 以下の例のように入れ子構造が発生することがある.

例）/やっと/手/Tを入れられるくらい/Sfのお/湯/F このような場合は, より長い単語列のレシピ用語タグ（上述した例では『Sf: 食材の様態』）を優先し，アノテーションを行う.
- 調理と関係のない記述：食事の感想など, 調理とは直接関係の無い記述に調理に関連する表現が出現することがある．例えば，レシピ中に出現する用言のほとんどは『Ac: 調理者の動作』もしくは『Af: 食材の変化』であるが，上述した理由によりそれ以外の用言も存在する.これらの表現にはレシピの検索や構造の把握といった応用においては優先度が低く，また作業者への負担が大きくなるため，すべてＯ夕グを付与する．また人名や地域名といった, 調理とは直接関係のない固有名詞に関しては, 本節で述べた各レシピ用語タグの付与対象となる単語列の一部となっていない限り O タグを付与する.
- 他のレシピ ID の参照：まれに他のレシピIDを参照して調理手順や材料を示す事例が見られるが，これらのレシピ IDには $\mathrm{O}$ タグを付与し，1つのレシピのみでアノテーション作業を完結させる.
- 記述内容の一部だけが実際の調理に対応付けられる：「〜ならば, 〜する」,「〜する（または〜する)」といった仮定表現や括弧表現などには, 実際に行われない調理行動を含めた表現が複数レシピに記述されることがある。この場合は，実際に行われる調理行動は不明であり，また，一般的な固有表現認識の手法ではそれらを区別することはできない. このような事例では，すべての表現にレシピ用語夕グを付与する.

例）/フライパン/Tに/グレープシードル/F（または/オリーブオイル/F）をひいて

## 4 レシピ用語の自動認識

固有表現認識タスクは，各単語に対してIOB2 タグを推定する, 系列ラベリング問題として解くことが一般的であり, SVM や点予測などを用いた手法が提案されている (山田, 工藤, 松本 2002; Mori, Sasada, Yamakata, and Yoshino 2012).

本節では, 点予測による IOB2 タグ推定と動的計画法による経路探索による手法 (Mori et al. 2012）を用いてレシピ用語の自動認識実験を行い, 作成したコーパスの精度を評価する。また,学習コーパスに現れない未知のレシピ用語の推定事例についての事例を示し, 議論する。本実験のための学習コーパスならびにテストコーパスとして， 3 節で述べたレシピ用語夕グ付与コー パスを用いる（表 2 参照）.

## 4.1 レシピ用語の自動認識と精度評価

本節では点予測によるレシピ用語の自動認識手法 (Mori et al. 2012) について概説し, 自動認識実験の結果と考察を述べる。まず，IOB2 タグの付与された学習コーパスを用いてロジスティック回帰に基づく識別器 (Fan, Chang, Hsieh, Wang, and Lin 2008) を構築し，テストコー パスの各単語 $w_{i}$ に対応する IOB2 タグ $t_{j}$ ごとの確率 $s_{i, j}$ を以下の式により推定する.

$
s_{i, j}=P_{L R}\left(t_{j} \mid \boldsymbol{x}^{-}, w_{i}, \boldsymbol{x}^{+}\right)
$

$\boldsymbol{x}^{-}=\cdots x^{-2} x^{-1}, \boldsymbol{x}^{+}=x^{+1} x^{+2} \cdots$ はそれぞれ単語 $w_{i}$ の前後の文字列を示す. 本論文で用いるロジスティック回帰識別器の素性の一覧を表 4 に示す. 表中の $c(x)$ は $x$ に対応する文字種（漢字, 平仮名, 片仮名, 数字, アルファベット，記号）を得る関数である.

次に，IOB2 タグを用いた固有表現はI夕グから始まらない等のタグ制約を適用しながら，各単語までの経路の中で確率最大となるようにIOB2 タグを順に選んでいくことで最適経路を決定し, 自動認識器の最終的な出力とする (図 2 参照).

学習コーパスの量を 5 段階に調節して自動認識実験を行った結果を表 5 に示す.また, レシ

表 4 ロジスティック回帰に基づく識別器の素性一覧

ピ用語タグ別の評価として, 各タグごとのカバレージを図 3 に，自動認識精度（ $\mathrm{F}$ 値）を図 4 に示す. ここで, 表 5 , 図 3 , 図 4 におけるカバレージは, テストコーパスに出現する IOB2 夕グあるいはレシピ用語タグのうち，学習コーパスにも出現したタグの割合（頻度を加味する.） である。また，表 5 における IOB2 夕グ推定精度は，テストコーパス中のIOB2 タグに対する，自動認識システムが出力した IOB2 タグの一致率を示し, レシピ用語タグの自動認識精度は F 値を示している.

表 5 から，一般分野の固有表現認識と同様に，学習コーパスの増加に伴い自動認識精度が向上していることが分かる. また, 学習コーパスの分量が少量の状態で, 学習コーパスのテストセットカバレージが $50 \%$ 程度の場合であっても，自動認識精度は $70 \%$ 以上の水準を達成しており，レシピ用語タグ付与コーパスを用いた固有表現認識手法が有効に機能していることがわかる. 特に, 『D: 継続時間』に関しては, 図 3 と図 4 の該当夕グ部分より, $10 \%$ 程度の低いカバー 率しか達成できていない学習コーパスを利用した場合においても $70 \%$ 以上の自動認識精度を達成可能であることがわかる。この要因として，『D: 継続時間』が数詞と単位からなる単語列に付与されるレシピ用語タグであるために，文字並びに文字種を素性とした固有表現認識が効果的に機能していることが考えられる.

次に, 図 4 から, 『F: 食材』, 『T: 道具』, 『Ac: 調理者の動作』, 『Af: 食材の変化』, の 4 種類のタグについては，一般分野の固有表現認識精度（1万文程度の学習コーパスで $80 \% \sim 90 \% ）$ と同

図 2 ロジスティック回帰による夕グ確率付与と最適経路（太字部分）の探索図

表 5 IOB2 タグ推定精度とレシピ用語タグの自動認識精度とカバレージ

図 3 レシピ用語タグごとのカバレージ

図 4 レシピ用語タグごとの自動認識精度

程度であり，すでに比較的高い精度が達成されていることがわかる. 『Sf: 食材の様態』に関しては, 『T: 道具』と同程度のアノテーション数があるにも関わらず精度は $70 \%$ 程度にとどまっている。この要因として, 『Sf: 食材の様態』には機能語や別のレシピ用語タグの一部がしばしば含まれており, 長い単語列となっている（3.8 節を参照）ことが自動認識を困難にしているということが考えられる。『St: 道具の様態』,『D: 継続時間』,『Q: 分量』については, 『D: 継続時間』のみ $90 \%$ 超えているが，他の 2 種類に関しては $60 \% \sim 70 \%$ の精度である．また，表 1 か

ら，上述した 3 種類のタグは他のタグに比較して学習コーパス中のアノテーション数が不十分であることがわかる，今後は，これらの夕グに対するアノテーションを増加させることで容易に精度を向上させることが可能であろう．また，レシピ以外の分野における固有表現認識タスクにおいても，本実験で示したようにタグごとの検討を行って優先的にアノテーションするべきタグを選択し, 効率的に固有表現認識器を構築することが可能である.

## 4.2 未知のレシピ用語タグの推定事例

本節では, 上述のレシピ用語の自動認識実験において，テストセットにおける未知のレシピ用語に対し，正しくタグが推定されているかどうかについて，その事例を示し，議論する．以下に示す自動推定結果の例では, 学習セットに現れなかった未知のレシピ用語を太字で示す.
- 未知の『Sf: 食材の様態』が出現する場合, 二格を伴う場合や食材の切り方を示す場合には, 識別器によって適切にタグ推定が行われている。

例）/サイコロ切り/Sfにする/Ac.

その一方で, 3.8 節で述べた『Sf: 食材の様態』のような長い単語列となるレシピ用語夕グの自動推定精度は下がる傾向にある. 以下の例において, 正しい『Sf: 食材の様態』の範囲は「1 2 $\mathrm{mm}$ 位」であるが, 自動推定では「1２」と誤って推定されている.

例） $/ 1 \sim 2 /$ Sf $\mathrm{mm}$ 位で.

テストセットでは現れなかったが, 3.8 節に示したようにさらに長い単語列を『Sf: 食材の様態』とする場合もあるため, 『Sf: 食材の様態』の自動推定は他のレシピ用語夕グに比較して困難になると考えられる。
- 『Ac: 調理者の動作』に関しては, 以下の例のように 1 文中において複数の単語が連続でAc と推定される事例（「所々」はAcではないため，誤り）が見られた.

例）皮/Fを/所々/Ac/剥/Ac きレシピテキストにおいては,「『F: 食材』を『Ac: 調理者の動作』」という表現が多く出現することが原因であると考えられるが，レシピの構造を把握するなどの応用を考えると, 誤った『Ac: 調理者の動作』が増加することは応用全体の精度低下につながるため,品詞情報を識別器の素性に加えるなどの対策が必要になると考えられる.

## 5 実際のアノテーション作業とその考察

本節では，実際にコーパスを作成した過程で得られた知見として，まずコーパスのアノテー ション手順について述べる。次に，レシピ用語の自動認識器の精度を効率的に向上させるためのアノテーション戦略のシミュレーションについて述べる.

## 5.1 アノテーション手順

大量のレシピテキストに対して研究者がレシピ用語タグを付与することは事実上不可能であるため，まずアノテーション基準を決めた上で作業者にアノテーションを行ってもらうことが一般的である。しかしながら， 3.8 節で述べた通り，レシピ用語夕グによっては付与が困難な事例が存在するため, 適切な手順を用いて効率的に作業を行う必要がある。本節では， 3 節で述ベたレシピ用語タグの基準に従い，作業者を含めた全体として効率的なアノテーションを行うための手順を述べる。また，管理者と作業者の作業一致率を測ることによりその有効性を評価する。

本研究におけるレシピ用語アノテーションの作業にあたっては, 図 5 のような固有表現アノ

の「熱」という動詞に, 『Ac: 調理者の動作』の開始タグである「Ac-B」を割り当てている. アノテーション作業の管理手順は以下のとおりである.

図 5 固有表現アノテーションツール
^{5}$ http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/PNAT/にて公開している.

6 なお, 図 5 に示したツールは, 品詞・係り受け情報を付与する機能も備えているが, 本論文におけるコーパス作成では用いておらず，図 5 中の品詞・係り受け情報は自動推定による結果をそのまま表示している.
}

（1）管理者がレシピ用語の定義（3節参照）を作成する．本研究においては，管理者 1 名（筆者）と研究者 3 人を合わせた 4 人で議論を行い，レシピ用語の定義を作成した.

（2）管理者が実際にレシピ用語の定義に従ってアノテーションを行い，サンプルデータを作成する。

(3) 作業者にレシピ用語の定義とサンプルを渡し，一定時間7のアノテーション作業を行ってもらう。

（4）管理者は作業者のアノテーション結果に対するチェックを行う. この際, 作業者の作業結果と管理者がさらに修正を加えたアノテーション結果の間で作業一致率を測る。管理者は必要に応じて作業者にアノテーション基準に関するコメントを返し，レシピ用語の定義並びにサンプルの修正・更新を行う.

(5) (3), (4) を繰り返す.

本論文を執筆するにあたり，作業者にアノテーションを依頼したコーパスの一部（3 節の表 2 で示した 436 レシピのうち, 初めにアノテーションを行った 40 レシピ) を対象として, 上述した手順に従って 4 日間（1回 $\times 4$ 日）のアノテーション作業管理を行い，管理者 1 名（筆者）と作業者 1 名との作業一致率を測った。この際, 作業者は管理者と同様に，全ての種類のタグに関するアノテーションを担当した。作業一致率 [\%] は，

$
\frac{\text { 作業者と管理者の付与した IOB2 タグの一致数 }}{\text { 単語数 }} \times 100
$

で求められる.

結果を表 6 に示す.また, 表 6 のうち， 4 日目の作業における IOB2 夕グごとの作業一致率を表 7 に示す. 表 6 より, 上述した手順に従うことで管理者・作業者間の作業一致率が向上し, 最終的にIOB2 タグの自動認識精度（表 5 参照）を有意に上回ることがわかる。また，表 7 より， 4 日目には事例の少ない St-B, St-I を除く全ての IOB2 タグにおいて作業一致率が $91 \%$ 以上となっていることがわかる．以上の結果より，作業者にアノテーションを任せることで自動認識の精度向上を図ることが可能であることを確認した.

表 6 IOB2 夕グ付与の作業一致率

表 7 IOB2 タグごとの作業一致率（4日目）

## 5.2 効率的な精度向上を目的としたアノテーション作業のシミュレーション

前項で述べたアノテーション基準の確定の過程の結果, 少量ながらレシピ用語のアノテーションがなされたコーパスが得られる．1 節で述べたような応用を考えると, 短期間での自動認識精度の向上が重要である。一般分野の固有表現の自動認識においては, 人名・組織名・地名のような固有表現のカバレージを上げることで高い精度を達成することが可能である (Sekine and Eriguchi 2000)．これは，レシピ用語の自動認識においても同様であろうと推測される。本節では，カバレージを重視した簡単なアノテーション戦略について，シミュレーションの結果とともに議論する。なお，レシピテキストを対象とした実際のアノテーションでは，単語分割境界ならびにレシピ用語となる単語列の範囲を決定してから夕グを付与する必要があるが, 本節で述べるシミュレーションには上述の 2 種類の情報があらかじめ付与されている状態のコーパスを用いているため，実際のアノテーション作業にそのまま適用できるものではない.

カバレージを重視すると，新しいレシピ用語に集中的にアノテーションすることになる．結果として, 文中の一部のレシピ用語にのみアノテーションされた部分的アノテーションコーパス (Neubig and Mori 2010)が得られる。逆に，アノテーション基準の確定の過程で得られるコー パスは，文中の全てのレシピ用語にアノテーションされたフルアノテーションコーパスである. カバレージを重視した簡単なアノテーション戦略と通常のアノテーション方法を比較するた

めに, 次のようなシミュレーションを行った。まず, 我々の作成したレシピ用語夕グ付与コー パス (表 2 参照) のうち, 学習コーパスを $C_{f}$ と $C_{a}$ に 2 等分し， $C_{f}$ を既に作成済みのフルアノテーションコーパス, $C_{a}$ をこれからアノテーションを行う単語分割済みコーパスとみなす.ここで， $C_{f}$ はレシピ用語タグの定義を確定する際に得られる少量のフルアノテーションコーパスを， $C_{a}$ はカバレージを優先してアノテーションを行う追加用コーパスを想定している．本実験では $C_{a}$ に対して, 以下に示す 2 種類の方法でコーパスアノテーションのシミュレーションを行う. $C_{f}$ と $C_{a}$ の一部を合わせたものを学習コーパスとしてレシピ用語の自動認識精度を測った.

Full: $C_{a}$ に対して先頭から順に全ての単語に対してIOB2 タグのアノテーションを行うと想定する. 具体的には， $C_{a}$ を 10 分割し， $C_{f}$ に $C_{a}$ の $k / 10(k=0,1, \cdots, 10)$ を追加したものを学習コーパスとする。

Part: カバレージを重視したアノテーション戦略として, 各レシピ用語が $C_{f}$ と $C_{a}$ の合計において $A_{\text {max }} \in\{0,1,2,5,10,20,50, \infty\}$ 回アノテーションされるように $C_{a}$ を先頭から部分的にアノテーションする。ただし出現頻度が $A_{\max }$ 未満のレシピ用語に対しては，すべての出現箇所に対してアノテーションする。この結果得られる $C_{a}$ を $C_{f}$ に追加したものを学習コーパスとする. $A_{\max }=1$ であれば, 最少のアノテーション数で, 手法 Full で $C_{a}$ をすべてアノテーションした場合 $(k=10)$ とレシピ用語のカバレージが等しくなる. なお, 手法 Part における $A_{\max }=0$ と手法 Full の追加コーパスが $0 / 10$ の状態は同じものであり，どちらも追加コーパスの無い状態である（つまり $C_{f}$ のみ）。また，手法 Partにおける $A_{\text {max }}=\infty$ のときは手法 Full において追加コーパスが 10/10の状態と同じであり, どちらも $C_{a}$ の全ての単語にアノテーションを行ったものを追加コーパスとする状態である. ここでのシミュレーションでは， $C_{a}$ が人手によりフルアノテーションされているので非常に少量であるが, 実際にアノテーションを行う状況では $C_{a}$ は利用可能な全ての生のレシピテキストであり,非常に大きい，つまり，手法 Fullにおける 10/10の追加コーパスを作成することは現実的ではないことに留意されたい.

本実験の結果を図 6 に示す. 図 6 における横軸は各手法におけるIOB2 タグのアノテーション回数を示しており，これはアノテーションにおける作業時間を想定したものである。しかしながら，実際のアノテーションにおいては，アノテーション箇所ごとの判断の難しさの違い, 5.1 節で示した各アノテーション手順ごとの所要時間, などの要因により, 必ずしも正確な作業時間を反映しているものではないことに留意されたい. 図 6 から, 手法 Full の $1 / 10$ と $2 / 10$ は不安定（1/10 から $2 / 10$ に増量すると精度が低下している）ではあるが，全体の傾向からカバレージを最重要に考えて, 各レシピ用語について 1 回のアノテーションを行う場合は, Part の $A_{\text {max }}=1$ と大差はない. しかし, 手法 Part において $A_{\text {max }} \geq 2$ とした場合に, 手法 Full において同じ単語数のアノテーションをする場合に比較してより高い精度が得られることがわかる。 つまり, 数回の出現に対してアノテーションすることで多様な出現文脈が学習できるようにし

図 6 カバレージを重視したアノテーションのシミュレーション

つつ，高いカバレージを確保するアノテーション戦略が自動認識の精度向上には有効であると期待される。

実際のアノテーションにおいては，上述の通り $C_{a}$ のサイズは非常に大きいため，この差はより顕著になるであろう。さらに，上述の「簡単な戦略」はアノテーション戦略のシミュレー ションに過ぎない。本論文でのスコープ外ではあるが，能動学習等に基づくより効率的なアノテーション戦略が存在すると考えられる。基準が確定した後の精度向上においては，アノテー ション作業を考慮に入れた効率的なアノテーション戦略の研究が重要である.

## 6 おわりに

本論文では，レシピテキストを対象としたレシピ用語タグの定義について述べた。この定義にしたがって，実際にアノテーションを行い，定義が十分であることを確かめた。また，作成したコーパスを用いてレシピ用語の自動認識実験を行い，認識精度を測定した。自動認識の精度は十分高く, 作成したコーパスは (Hamada et al. 2000) や (Rohrbach et al. 2013; Naim et al. 2014) などのレシピテキストを対象とする応用の精度向上に有用であると考えられる.

さらに，人手によるアノテーションの過程で出現した判断の難しい事例や，自動認識の結果得られる学習デー夕に含まれない事例を観察し, 提案するレシピ用語の定義についての議論を行った.

加えて, 実際のアノテーション作業についても説明し，カバレージを重視した単純な戦略で部分的アノテーションコーパスのシミュレーションを行った. 今後の課題として, 能動学習等に基づくより効率的なアノテーションを行うことが挙げられる.

## 謝 辞

本研究の一部は JSPS 科研費 $26280084 ， 24240030 ， 26280039$ の助成を受けて実施した. ここに謝意を表する。

## 参考文献

Borthwick, A. (1999). A Maximum Entropy Approach to Named Entity Recognition. Ph.D. thesis, New York University.

Chinchor, N. A. (1998). "Overview of MUC-7/MET-2." In Proceedings of the 7th Message Understanding Conference.

江里口善生 (1999). 固有表現定義の問題点. IREX ワークショップ予稿集, pp. 125-128.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR: A Library for Large Linear Classification." Journal of Machine Learning Research, 9, pp. 1871-1874.

Finkel, J. R. and Manning, C. D. (2009). "Nested Named Entity Recognition." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 141-150.

Grishman, R. and Sundheim, B. (1996). "Message Understanding Conference - 6: A Brief History." In Proceedings of the 16th International Conference on Computational Linguistics.

Hamada, R., Ide, I., Sakai, S., and Tanaka, H. (2000). "Structural Analysis of Cooking Preparation Steps in Japanese." In Proceedings of the 5th International Workshop on Information Retrieval with Asian Languages, pp. 157-164.

浜田玲子, 井手一郎, 坂井修一, 田中英彦 (2002). 料理テキスト教材における調理手順の構造化. 電子情報通信学会論文誌, J85-DII (1), pp. 79-89.

Hashimoto, A., Mori, N., Funatomi, T., Yamakata, Y., Kakusho, K., and Minoh, M. (2008). "Smart Kitchen: A User Centric Cooking Support System." In Proceedings of the 12th Information Processing and Management of Uncertainty in Knowledge-Based Systems, pp. 848-854.

橋本敦史, 大岩美野, 舩冨卓哉, 上田真由美, 角所考, 美濃導彦 (2009). 調理行動モデル化のための調理観測映像へのアノテーション. 第 1 回データ工学と情報マネジメントに関するフォーラム。

工藤拓, 山本薰, 松本裕治 (2004). Conditional Random Fields を用いた日本語形態素解析. 情報処理学会研究報告, NL161.

Lafferty, J., McCallum, A., and Pereira, F. (2001). "Conditional Random Fields: Probabilistic

Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th ICML. Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.松本裕治 (1996). 形態素解析システム「茶鉒」. 情報処理, 41 (11), pp. 1208-1214.松本裕治, 黒橋禎夫, 山地治, 妙木裕, 長尾真 (1997). 日本語形態素解析システム JUMAN 使

用説明書 version 3.2. 京都大学工学部長尾研究室.

三浦宏一, 高野求, 浜田玲子, 井手一郎, 坂井修一, 田中英彦 (2003). 料理映像の構造解析に

よる調理手順との対応付け. 電子情報通信学会論文誌, J86-DII (11), pp. 1647-1656.

Momouchi, Y. (1980). "Control Structures for Actions in Procedural Texts and PT-Chart." In Proceedings of the 8th International Conference on Computational Linguistics, pp. 108-114.森信介, Neubig, G., 坪井祐太 (2011). 点予測による単語分割. 情報処理学会論文誌, 52 (10), pp. 2944-2952.

森信介 (2012). 自然言語処理における分野適応. 人工知能学会誌, 27 (4).

Mori, S., Sasada, T., Yamakata, Y., and Yoshino, K. (2012). "A Machine Learning Approach to Recipe Text Processing." In Proceedings of the 1st Cooking with Computer Workshop, pp. 29-34.

Naim, I., Song, Y. C., Liu, Q., Kautz, H., Luo, J., and Gildea, D. (2014). "Unsupervised Alignment of Natural Language Instructions with Video Segments." In Proceedings of the 28th National Conference on Artificial Intelligence.

Neubig, G. and Mori, S. (2010). "Word-based Partial Annotation for Efficient Corpus Construction." In Proceedings of the 7th International Conference on Language Resources and Evaluation.

Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M., and Schiele, B. (2013). "Translating Video Content to Natural Language Descriptions." In Proceedings of the 14th International Conference on Computer Vision.

Sang, E. F. T. K. and Meulder, F. D. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition." In Proceedings of the 7th Conference on Computational Natural Language Learning, pp. 142-147.

Sekine, S. and Eriguchi, Y. (2000). "Japanese Named Entity Extraction Evaluation - Analysis of Results -." In Proceedings of the 18th International Conference on Computational Linguistics.

Sekine, S. and Isahara, H. (2000). "IREX: IR and IE Evaluation Project in Japanese." In Proceedings of the 2nd International Conference on Language Resources and Evaluation, pp. 1977-1980.
自然言語処理特集号編集委員会（編）(2014). 自然言語処理, 21 (2).

Tateisi, Y., Kim, J.-D., and Ohta, T. (2002). "The GENIA Corpus: An Annotated Research Abstract Corpus in Molecular Biology Domain." In Proceedings of the HLT, pp. 73-77.

Tjong, E. F., Sang, K., and Veenstra, J. (1999). "Representing Text Chunks." In Proceedings of the 9th European Chapter of the Association for Computational Linguistics, pp. 173-179.

山田寞康, 工藤拓，松本裕治 (2002). Support Vector Machineを用いた日本語固有表現抽出. 情報処理学会論文誌, 43 (1), pp. 44-53.

Yamakata, Y., Imahori, S., Sugiyama, Y., Mori, S., and Tanaka, K. (2013). "Feature Extraction and Summarization of Recipes using Flow Graph." In Proceedings of the 5th International Conference on Social Informatics, LNCS 8238, pp. 241-254.

山本修平, 中岡義貴, 佐藤哲司 (2013). 食材調理法の習得順に関する一検討. 電子情報通信学会技術研究会報告, 113 (214), pp. 31-36.

## 略歴

笹田鉄郎：2007 年京都大学工学部電気電子工学科卒業. 2009 年同大学院情報学研究科修士課程修了. 同年同大学院博士後期課程に進学. 2012 年同大学院情報学研究科博士後期課程単位取得認定退学. 京都大学学術情報メディアセンター教務補佐員．現在に至る．自然言語処理に関する研究に従事．言語処理学会, 情報処理学会各会員.

森信介：1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 同年日本アイ・ビー・エム株式会社入社. 2007 年より京都大学学術情報メディアセンター准教授．京都大学博士（工学）．音声言語処理および自然言語処理に関する研究に従事. 1997 年情報処理学会山下記念研究賞受賞. 2010 年，2013 年情報処理学会論文賞受賞. 2010 年第 58 回電気科学技術奨励賞. 情報処理学会, 言語処理学会各会員.

山肩洋子：2000 年京都大学工学部情報学科卒業. 2002 年同大学大学院情報学研究科修士課程修了. 2005 年同大学院博士後期課程単位認定退学, 2005 2006 年京都大学学術情報メディアセンター研究員, 2006 2010 年情報通信研究機構専攻研究員, $2010 \sim 2011$ 年京都大学特定講師, 2011 年京都大学准教授, 2014 年同大学特定准教授. 博士 (情報学). マルチメディア情報処理の研究に従事. 電子情報通信学会, 人工知能学会会員.

前田浩邦：2012 年京都大学理学部卒業. 2014 年同大学院情報学研究科修士課程修了。サイボウズ株式会社勤務。現在に至る.
河原達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 1990 年同博士後期課程退学. 同年京都大学工学部助手. 1995 年同助教授. 1998 年同大学情報学研究科助教授. 2003 年同大学学術情報メディアセンター教授。現在に至る。音声言語処理，特に音声認識及び対話システムに関する研究に従事．京大博士 (工学)．科学技術分野の文部科学大臣表彰 (2012 年度), 日本音響学会から粟屋潔学術奨励賞（1997 年度), 情報処理学会から坂井記念特別賞 (2000 年度), 喜安記念業績賞（2011 年度）, 論文賞（2012 年度）を受賞. IEEE SPS Speech TC 委員, IEEE ASRU 2007 General Chair, INTERSPEECH 2010 Tutorial Chair, IEEE ICASSP 2012 Local Arrangement Chair, 言語処理学会理事, 情報処理学会音声言語情報処理研究会主査, APSIPA 理事, 情報処理学会理事を歴任. 情報処理学会, 日本音響学会, 電子情報通信学会, 人工知能学会, 言語処理学会, IEEE, ISCA, APSIPA 各会員.

(2014 年 11 月 3 日受付)

(2015 年 2 月 6 日再受付)

(2015 年 4 月 7 日採録)