# 中国語への翻字における関連語抽出の応用

黄 $\quad$ 海湘 $\dagger$ ・藤井 敦 ${ }^{\dagger}$

外国語を翻字するときに，日本語や韓国語ではカタカナやハングルなどの表音文字 を用いるのに対して，中国語では漢字を用いる。しかし，漢字は表意文字であるた め，発音が同じでも漢字によって意味や印象は異なる可能性がある。この問題を解消するために，ユーザが与えた関連語に基づいて翻字に使用する漢字を選択する手法がある。しかしユーザの負担が大きいため, 本研究は, 翻字対象の関連語を World Wide Webから自動的に抽出し，中国語への翻字に使用する手法を提案する。評価実験によって提案手法の有効性を示す。

キーワード：翻字，意味，印象，表意文字，関連語
## An Application of Related Term Extraction to Transliteration into Chinese

\author{
HaiXiang $\operatorname{Huang}^{\dagger}$ and Atsushi Fujii ${ }^{\dagger \dagger}$
}

To transliterate foreign words, in Japanese and Korean, phonograms such as Katakana and Hangul are used. In Chinese, the pronunciation of a source word is spelled out with Kanji characters. However, because Kanji comprises ideograms, different characters are associated with the same pronunciation but can potentially convey different meanings and impressions. To select appropriate Kanji characters, an existing method requests a user to provide one or more related terms, but it is expensive. In this paper, we propose a method to select characters in transliteration into Chinese using related terms automatically extracted from the World Wide Web. We show the effectiveness of our method experimentally.

Key Words: Transliteration, Meaning, Impression, Ideograms, Related terms

## 1 はじめに

科学技術や文化の発展に伴い, 新しい用語が次々と作られインターネットによって世界中に発信される。外国の技術や文化を取り入れるために，これらの用語を迅速に母国語へ翻訳する必要性が高まっている，外国語を翻訳する方法には「意味訳」と「翻字」がある，意味訳は原言語の意味を翻訳先の言語で表記し，翻字は原言語の発音を翻訳先の言語における音韻体系で

表記する。専門用語や固有名詞は翻字されることが多い.

日本語や韓国語はカタカナやハングルなどの表音文字を用いて外国語を翻字する。それに対して，中国語は漢字を用いて翻字する。しかし, 漢字は表意文字であるため, 同じ発音に複数の文字が対応し，文字によって意味や印象が異なる。その結果, 同音異義の問題が発生する。すなわち，翻字に使用する漢字によって，翻字された用語に対する意味や印象が変わってしまう。

例えば，飲料水の名称である「コカコーラ（Coca-Cola）」に対して様々な漢字列で発音を表記することができる. 公式の表記は「可口可乐 /ke-ko-ke-le/」であり, 原言語と発音が近い. さらに，「可口」には「美味しい」，「可乐」には「楽しい」という意味があり，飲料水として良い印象を与える.「Coca-Cola」の発音に近い漢字列として「口卡口拉 $/ \mathrm{ko}-\mathrm{ka}-\mathrm{ko}-\mathrm{la} / 」 もある$. しかし，「口卡」には「喉に詰まる」という意味があり，飲料水の名称として不適切である.

また,「人名」や「地名」といった翻字対象の種別によっても使用される漢字の傾向が異なる.例えば，「宝」と「堡」の発音はどちらも/bao/である。「宝」には「貴重」や「宝物」などの意味があり中国語で人名や商品名によく使われるのに対して，「堡」には「些」や「小さい城」などの意味があり中国語で地名によく使われる.

以上の例より，中国語への翻字においては，発音だけではなく，漢字が持つ意味や印象，さらに翻字対象の種別も考慮して漢字を選択する必要がある。この点は, 企業名や商品名を中国に普及させてブランドイメージを高めたい企業にとって特に重要である.

翻字に関する既存の手法は，「狭義の翻字」と「逆翻字」に大別することができる.「狭義の翻字」 は，外国語を移入して新しい用語を生成する処理である (Li, Zhang, and Su 2004; Li, Sim, Kuo， and Dong 2007; Virga and Khudanpur 2003; Wan and Verspoor 1998).「逆翻字」は既に翻字された用語に対する元の用語を特定する処理である (Al-Onaizan and Knight 2002; Chen, Hueng， Ding, and Tsai 1998; Fujii and Ishikawa 2001; Jeong, Myaeng, Lee, and Choi 1999; Knight and Graehl 1998; Kwok and Deng 2002; Kwok, Deng, Dinstl, Sun, Xu, Peng, and Doyon 2005; Lee and Chang 2003; Qu and Grefenstette 2004; Stalls and Knight 1998)。逆翻字は主に言語横断検索や機械翻訳に応用されている。どちらの翻字も発音をモデル化して音訳を行う点は共通している. しかし, 逆翻字は新しい用語を生成しないため, 本研究とは目的が異なる. 本研究の目的は狭義の翻字であり，以降，本論文では「翻字」を「狭義の翻字」の意味で使う.

中国語を対象とした翻字の研究において, (Li et al. 2004; Virga and Khudanpur 2003; Wan and Verspoor 1998)は人名や地名などの外来語に対して，発音モデルと言語モデルを単独または組み合わせて使用した。それに対して, (Li et al. 2007; Xu, Fujii, and Ishikawa 2006; 黄, 藤井, 石川 2007) は翻字対象語の意味や印象も使用した.

(Li et al. 2007)は，外国人名を翻字する際に，対象人名の言語（日本語や韓国語など）, 性別,姓名を考慮した。しかし, この手法は人名のみを対象としているので企業名や商品名などには利用できない. (Xu et al. 2006) は翻字対象語の発音と印象を考慮し, (黄他 2007) は翻字対象
語の種別も考慮した. (Xu et al. 2006) と (黄他 2007) では，翻字対象の印象を表す「印象キー ワード」に基づいて，翻字に使用する漢字を選択する。しかし，印象キーワードはユーザが中国語で与える必要がある。

本研究は, (Xu et al. 2006) と (黄他 2007)の手法に基づいて, さらに印象キーワードを人手で与える代わりに World Wide Web から自動的に抽出して中国語への翻字に使用する手法を提案する. 以下, 2 で本研究で提案する手法について説明し, 3 で提案手法を評価する.

## 2 提案する翻字手法

## 2.1 概要

本研究で提案する翻字手法の概要を図 1 に示す. 図 1 は, (黄他 2007) と同様に左から「発音モデル」，「印象モデル」，「言語モデル」に大別される。図 1 において，太い破線で囲まれた部分が本研究の特長である．以下，図 1 に基づいて翻字手法について説明する。本手法への入力は 2 つある. 1 つ目は, 翻字対象となる外国語の用語である. 2 つ目は, 翻字対象の種別として「人名」,「企業名」,「商品名」などのカテゴリを入力する．本手法はこれらの入力に対して, 1 つ以上の漢字列を翻字の候補として出力する。(黄他 2007) では，3つ目の入力として翻字対象の意味や印象を表す「印象キーワード」を人手で入力する必要がある。しかし, 本手法では

図 1 提案する翻字手法の概要

Webから関連語を自動抽出する「「発音モデル」，「印象モデル」，「言語モデル」に基づく翻字手法や関連語抽出手法そのものに新規性はない. 本研究の貢献は, (黄他 2007)の翻字手法に関連語抽出手法を統合して，ユーザが印象キーワードを与える負担を削減する点にある。

図 1 の最左では，「発音モデル」によって翻字対象と発音が似ている漢字列とそれぞれの確率が得られており，これらの漢字列が翻字候補となる。現在, 翻字対象となる外国語として日本語のカタカナ語を対象としている．カタカナ語は発音表記であるローマ字に変換することが容易だからである．ただし，ローマ字表記に変換することができれば，他の言語を入力することも可能である.

図 1 の中央では, 「印象モデル」によって, 自動抽出した翻字対象の関連語に関連する漢字とそれぞれの確率が得られている。図 1 では, 「喜爱」,「普及」,「普通」,「好」といった関連語の集合を用いて，「爱」，「普」「好」といった漢字とそれぞれの確率が得られている.

(Xu et al. 2006) と (黄他 2007)では, 関連語（印象キーワード）はユーザが中国語で与える必要がある。したがって，ユーザは翻字対象が指す実体や概念について知っていなければならず，また，中国語も知っていなければならない，その結果，システムを利用できるユーザが制限されてしまう。本研究は関連語を自動抽出して, この問題を解消する。なお,「印象キーワー ド」という用語は (黄他 2007) に従っており, 実際には人手で与えた関連語である.

図 1 の最右では，入力された種別に対応する言語モデルとして「企業名言語モデル」が選ばれている.

発音モデルで得られた翻字候補は複数になる場合があるため，それぞれに順位を付ける。具体的には, 発音モデルで得られた確率を印象モデルおよび言語モデルで得られた漢字の確率と統合して，翻字対象に順位を付ける.

以下，2.2で確率的な漢字選択手法の全体像について説明する．2.3～2.5で「発音」,「印象」,「言語」のモデル化について個別に説明し，2.6で関連語の抽出について説明する．2.2２.5は (黄他 2007) に基づいている.

## 2.2 漢字選択ための確率モデル

本研究における翻字の目的は, 「翻字対象のローマ字表記 $R\rfloor$, 「関連語 $W 」$, 「翻字対象の種別 $C\rfloor$ が与えられた条件のもとで， $P(K \mid R, W, C)$ が最大になる漢字列 $K$ 選択することである. 式 (1)を用いて $P(K \mid R, W, C)$ を計算する.

$
\begin{aligned}
P(K \mid R, W, C) & =\frac{P(R, W, C \mid K) \times P(K)}{P(R, W, C)} \\
& \approx \frac{P(R \mid K) \times P(W \mid K) \times P(C \mid K) \times P(K)}{P(R, W, C)} \\
& \propto P(R \mid K) \times P(W \mid K) \times P(C \mid K) \times P(K) \\
& =P(R \mid K) \times P(W \mid K) \times P(C, K)
\end{aligned}
$

式 (1)の 1 行目はベイズの定理を用いた変形であり， 2 行目では $R, W, C$ が互いに独立であると仮定している。 $P(R, W, C)$ は $K$ に依存しないため無視する. 最終的に， $P(K \mid R, W, C)$ は $P(R \mid K), P(W \mid K), P(C, K)$ の積として近似され, それぞれ「発音モデル」,「印象モデル」,「言語モデル」と呼ばれる.

## 2.3 発音モデル

発音モデルは，中国語の漢字列 $K$ が与えられた条件のもとで，ローマ字表記 $R$ が生成される条件付き確率 $P(R \mid K)$ であり，式 (2) を用いて計算する。 ローマ字表記はへボン式を使用し,中国語のピンイン $Y$ を中間言語として，中国語の漢字に変換する.

$
\begin{aligned}
P(R \mid K) & \approx P(R \mid Y) \times P(Y \mid K) \\
& \approx \prod_{i=1}^{N} P\left(r_{i} \mid y_{i}\right) \times \prod_{i=1}^{N} P\left(y_{i} \mid k_{i}\right)
\end{aligned}
$

$r_{i}, y_{i}, k_{i}$ はそれぞれローマ字の音節，ピンインの音節，漢字 1 文字である. 例えば，漢字列「爱普生」が与えられた条件のもとで, ローマ字の音節「e pu son」が生成される確率を計算する場合は，ピンインの音節「ai pu sheng」を中継して，式 (3)のように計算する.

$
\begin{aligned}
& P(\text { e pu son } \mid \text { 爱普生 }) \\
& =P(\text { e pu son } \mid \text { ai pu sheng }) \times P(\text { ai pu sheng } \mid \text { 爱普生 }) \\
& =P(\mathrm{e} \mid \mathrm{ai}) \times P(\mathrm{pu} \mid \mathrm{pu}) \times P(\text { son } \mid \text { sheng }) \times P(\text { ai } \mid \text { 爱 }) \times P(\mathrm{pu} \mid \text { 普 }) \times P(\text { sheng } \mid \text { 生 })
\end{aligned}
$

式 $(2)$ 中の $P\left(r_{i} \mid y_{i}\right)$ と $P\left(y_{i} \mid k_{i}\right)$ は式 (4)を用いて計算する.

$
\begin{aligned}
P\left(r_{i} \mid y_{i}\right) & =\frac{F\left(r_{i}, y_{i}\right)}{\sum_{j} F\left(r_{j}, y_{i}\right)} \\
P\left(y_{i} \mid k_{i}\right) & =\frac{F\left(y_{i}, k_{i}\right)}{\sum_{j} F\left(y_{j}, k_{i}\right)}
\end{aligned}
$

$F\left(r_{i}, y_{i}\right)$ はローマ字の音節 $r_{i}$ とピンインの音節 $y_{i}$ が対応する頻度であり, $F\left(y_{i}, k_{i}\right)$ はピンイン

の音節 $y_{i}$ と漢字 $k_{i}$ が対応する頻度である。これらの頻度を計算するために, 日中対訳辞書 (鈴木, 王 2002)のピンイン付き中国語と対応するカタカナ語 1,136 対を参考にして，ローマ字とピンインの音節，ピンインの音節と漢字を人手で対応付けた。これらの一部をそれぞれ表 1 と 2 に示す. 表 1 と 2 において, 中国語のピンインには, 発音の四声に基づいて $1 \sim 4$ の識別子が付けられている. 表 1 では, 1 つのローマ字音節 $r_{i}$ に複数のピンインの音節 $y_{i}$ が対応している.例えば，ローマ字の「a」に対して， 3 種類のピンイン音節「a1」，「ai4」，「an1」が対応している. 表 2 では, 確率 $P\left(y_{i} \mid k_{i}\right)$ は 1.00 になる場合が多く, 一般的には 1 つの漢字は 1 つのピンインと対応することが分かる。しかし, 「佛」と「伽」はそれぞれ 2 つのピンインと対応している.

翻字を行う際に，ローマ字表記 $R$ の分割が複数ある場合は，すべての可能な分割を考慮する.例えば，「epuson（エプソン）」は，二つのピンイン列と一致して次のように分割される.
- e pu son: ai pu sheng
- e pu so n: ai pu sou an

表 1 ローマ字音節とピンイン音節の対応頻度と確率

表 2 ピンイン音節と漢字の対応頻度と確率

## 2.4 印象モデル

印象モデルは，漢字列 $K$ が与えられた条件のもとで，関連語列 $W$ が生成される条件付き確率 $P(W \mid K)$ である. $W$ と $K$ をそれぞれ単語 $w_{i}$ と漢字 1 文字 $k_{j}$ の単位で分割して, $P(W \mid K)$ を $P\left(w_{i} \mid k_{j}\right)$ に基づいて近似する。しかし， $w_{i}$ と $k_{j}$ の数が常に同じであるとは限らないため,式 $(5)$ を用いて $P(W \mid K)$ を計算する。 すなわち, 各 $k_{j}$ について $P\left(w_{i} \mid k_{j}\right)$ が最大となる $w_{i}$ だけを考慮する。

$
P(W \mid K) \approx \prod_{j} \max _{i} P\left(w_{i} \mid k_{j}\right)
$

表 3 に漢字 3 つと関連語 4 つに関する $P\left(w_{i} \mid k_{j}\right)$ を示す。表中の「-」は， $w_{i}$ と $k_{j}$ が対応しないことを示している。表 3 の例において， $P(W \mid K)$ は式 (6)のように計算される.

$
\begin{aligned}
& P(\text { 喜爱普及普通生动 } \mid \text { 爱普生 }) \\
& =P(\text { 喜爱 } \mid \text { 爱 }) \times P(\text { 普及 } \mid \text { 普 }) \times P(\text { 生动 } \mid \text { 生 })=0.02 \times 0.03 \times 0.03 \\
& =0.000018
\end{aligned}
$

$P\left(w_{i} \mid k_{j}\right)$ は式 (7) を用いて計算する.

$
P\left(w_{i} \mid k_{j}\right)=\frac{F\left(w_{i}, k_{j}\right)}{\sum_{w} F\left(w, k_{j}\right)}
$

$F\left(w_{i}, k_{j}\right)$ は $w_{i}$ と $k_{j}$ の共起頻度であり, 本研究では漢字字典を用いて計算する. すなわち, 漢字字典の見出し漢字を $k_{j}$ として， $k_{j}$ の意味記述に使用されている単語を $w_{i}$ とする．中国語の漢字字典 ${ }^{1}$ から外来語の表記に良く使われる見出し漢字 599 文字を人手で選択し，見出し漢字の意味記述をSuperMorphoで形態素解析して，単語と見出し漢字の共起頻度を計算した。表 4 に $F\left(w_{i}, k_{j}\right)$ の例を示す. 表 4 では, $P\left(w_{i} \mid k_{j}\right)$ が高いほど，漢字と単語の関係が強いことを示

表 $3 \quad P\left(w_{i} \mid k_{j}\right)$ の例

表 4 漢字辞典における漢字と単語との共起頻度と確率

$P\left(w_{i} \mid k_{j}\right)$ が最も高い単語 $w_{i}$ は, それぞれ「加高（高くする）」,「好吃（おいしい）」,「乐于（喜び)」である。ここで括弧内は各中国語に対する日本語訳を示す.

## 2.5 言語モデル

言語モデル $P(C, K)$ は, 用語の種別 $C$ に関するコーパスを用いてモデル化する. 具体的には,式 (8)を用いて計算する.

$
P(C, K)=P(C) \times P(K \mid C) \propto P(K \mid C)
$

$P(C)$ は $K$ に依存しないので無視する。原理的には, 種別 $C$ のコーパスが与えられた条件のもとで，漢字列 $K$ が生成される条件付き確率を計算する。実際は，種別 $C$ に関するコーパスを用いて漢字の $\mathrm{N}$ グラム確率を計算する。現在は， $N=1$ としている。本研究では，以下に示す 3 種類の言語モデルを構築し，実験に使用した.
- 標準言語モデル：中国北京大学計算語言学研究所 ${ }^{3}$ が富士通 $^{4}$ と共同で作成した「PFR 人民日报注语料库（人民日報夕グ付きコーパス）」1998 年 1 月の新聞記事一ヶ月分から構築したモデルであり，異なり 4,540 （延べ $12,229,563$ ）の漢字を含む.
- 企業名言語モデル：中国科学院計算技術研究所が主催している「中文自然语言处理开放平台（中国語自然言語処理オープンソース）」5が提供している 22,569 社を含む「公司名录库（企業名リスト）」から構築したモデルであり，異なり 2,167 （延べ $78,432 ）$ の漢字を含む。
^{3}$ http://icl.pky.edu.cn/

${ }^{4}$ http://www.frdc-fujitsu.com.cn/

5 http://www.nlp.org.cn/
}
- 人名言語モデル：上記「中文自然语言处理开放平台」が提供している「带词性词频的扩展词典 (品詞および出現頻度付き拡張辞典)」から 38,406 件の人名を抽出して構築したモデルであり，異なり 2,318（延べ 104,443）の漢字を含む.

また，上記のモデルを構築する際に，SuperMorpho を用いてコーパスの形態素解析を行い，句読点, 記号, 機能語を事前に削除した.

## 2.6 関連語の自動抽出

本研究では，翻字対象が指す実体や概念に対して，その意味や印象を中国語で表記した関連語をWeb から自動的に抽出し，翻字に利用する。図 2 に「エプソン」の関連語を自動抽出する過程を示す。図 2 の上部では翻字対象に関連する関連語候補を抽出し，下部では抽出する関連語を選択している。以下，それぞれについて説明する。

翻字対象の関連語を抽出するためには，翻字対象に関する文書が必要である．例えば，翻字対象が商品名であれば，その商品を紹介する文書であり，翻字対象が企業名であれば，企業の理念などに関する文書である。このような文書として，フリー百科事典「ウィキペディア (Wikipedia)」日本語版 6 の記事を利用した。 2009 年 6 月 15 日の時点では約 150 万の項目があり，一般名詞,人名, 地名, 企業名, 商品名などが登録されている。図 3 は地名「カラチ」をWikipedia で検索して得られた記事ページの抜粋である。図 3 において, 最上部の「カラチ」は記事の名称（記事名）であり，その下は本文である。図 3 の「目次」に示されているように，本文は「1 歴史」, $\lceil 2$ 気候」,「3 人口統計」などの「セクション (節)」によって構造化されることがある.

関連語候補の抽出は以下の手順に従って行う.

図 2 関連語自動抽出の概要
^{6}$ http://ja.wikipedia.org/wiki/
}

(1) 翻字対象語を Wikipedia で検索して記事ページを取得する．現在の手法では，記事ぺー ジがない用語に対しては関連語を抽出することができない.

（2） 取得した記事ぺージから HTML タグを削除し，茶鉒7で形態素解析を行う.

（3）形態素解析の結果から，名詞と形容詞を翻字対象の関連語候補として抽出する。たたし，「名詞」のうち「名詞一数」,「名詞一接尾一助数詞」,「名詞一副詞可能」,「名詞一非自立」,「名詞一代名詞」は抽出しない，図 2 では，「普及」や「普通」などの名詞と「好き」や 「良い」などの形容詞が関連語の候補として抽出されている.

ここで，図 3 に示した記事ぺージの本文は構造化されているため，上記の手順（2）において, 関連語抽出に有効な特定のセクション内だけを解析対象とする手法が考えられる。しかし, Wikipedia のガイドブックによる記事ページの編集方針8では，記事は「記事名（項目名）」と「本文」で構成され，本文の基本構成は概要から次第に詳細内容になり，段落の数が多くなるようなら，「見出し」を付けて「セクション（節）」に分けるとしか規定していない. 見出しの付け方やセクションの分け方は記事の著者によって方針が異なる.

例えば，図 3 で示した「カラチ」の記事ページは，「歴史」，「気候」，「人口統計」，「交通」,

歴史源集

## 概要 [编集]

バローチスタン州やen:Makranに住んでけバローチ人が漁村を作ったのがカラチの始まりである。 バローチ人の多くが今も尚、カラチに居住してお以、バローチ語ではこの都市のことをKolachiと呼ぶ [1]。しかしながら、カラチが現在の姿に発展するようになったのは19世紀から始まるイギリス植民地時代に起因する。1947年、パキスタンクが独立を達成すると、力ラチはバキスタンの首都となり、インドからムスリムが多く移住した。独立直後の人口移動によ以、カラチは、急速に人口が拡大するととも

図 3 Wikipedia における「カラチ」の記事ページの抜粋

「姉妹都市」,「脚注」,「ギャラリー」の 7 セクションで構成されている. 一方,「ハワイ」の記事ページは, 「歴史」,「地理」,「人口動勢」,「政治と法律」,「経済」,「教育」,「芸術・文化」,「日本との関わり」,「その他」,「注」,「関連項目」,「外部リンク」の 12 セクションで構成されている.同じ地名に関する記述であるにも拘らず，「カラチ」と「ハワイ」の記事に共通するセクションは「歴史」だけである，さらに，同じ見出しのセクションでも，著者によって記述の方針が異なる可能性がある。このような状況では関連語抽出に有効なセクションを事前に定義することが困難である。そこで，今回の実験では本文全体を対象として関連語の候補を抽出した。

Wikipedia から抽出した名詞と形容詞の中には，翻字対象との関連が低い語も含まれているため，翻字に使用する関連語を選択する必要がある。単語間の関連度を計算する手法 (Bollegala， Matsuo, and Ishizuka 2007; 佐々木, 佐藤, 宇津呂 2006) が複数提案されている. 本研究では,翻字対象と関連語候補間の相互情報量 (Church and Hanks 1989; Turney 2001)を計算して, その値が高い語を関連語として抽出する。ここでいう相互情報量とは，正確には pointwise mutual information であり，式 (9)を用いて計算する.

$
I(X, Y)=\log \frac{P(X, Y)}{P(X) \times P(Y)}
$

$P(X)$ と $P(Y)$ は単語 $X$ と $Y$ それぞれの出現確率であり, $P(X, Y)$ は $X$ とが同時に出現する確率である．ここでは便宜上， $X$ を翻字対象， $Y$ を 1 の関連語候補とする。図 2 の例では, $X$ は「エプソン」であり，Yは「好き，普及，普遍，良い」のいずれかである。

関連語の選択は以下の手順に従って行う.

(1) $P(X), P(Y), P(X, Y)$ を計算するために, 「X」,「Y」,「X and $Y\rfloor$ を検索キーワードとして Yahoo! JAPAN ${ }^{9}$ で検索し, 検索結果の総数でそれぞれの確率を近似する。

（2）式 (9) の值が高い候補を関連語として選択する。図 2 では,「エプソン」の関連語として 「好き」，「普及」，「普通」，「良い」が選ばれている。選択する関連語の件数は実験的に決めるパラメタである．３の評価実験では，関連語の件数を段階的に変化させて翻字への影響について考察する。

（3）（2）で選択した関連語を中国語に翻訳する。原理的には，この作業は機械翻訳システムを利用することで自動化することができる。しかし, 現在は Yahoo! JAPAN ${ }^{10}$ 利用して人手で翻訳している。ただし，Yahoo! JAPANで翻訳できずに原言語がそのまま返される関連語は削除する。図 2 では，「喜爱」，「普及」，「普通」，「好」はそれぞれ「好き」，「普及」,「普通」,「良い」に対する訳語であり, 翻字対象の関連語として使用される.

## 3 評価実験

## 3.1 実験方法

本手法で提案した関連語抽出手法の翻字における有効性を評価するために，人手で関連語を与えた場合の結果と比較した。具体的には, 以下に示すモデルの組み合わせについて翻字精度を比較した。

・ 発音モデル + 言語モデル

・ 発音モデル＋印象モデル＋言語モデル：関連語を自動抽出する

・ 発音モデル + 印象モデル + 言語モデル：関連語を人手で与える

各手法を順番に「音+言」,「自動」,「人手」と呼ぶ.「自動」は本研究の提案手法であり,「音 +言」と「人手」は，それぞれ期待される翻字精度の下限と上限を推定するための手法である。本研究では 2.5 で説明したように 3 種類の言語モデルを構築したため, 翻字対象の種別に言語モデルを適応させた。すなわち, 翻字対象の種別が企業名であれば「企業名言語モデル」を使用し, 人名であれば「人名言語モデル」を使用し，それ以外の翻字対象には「標準言語モデル」を使用した。

実験に使う翻字対象として, 日中対訳辞書 (鈴木, 王 2002) に登録されているカタカナ語 1,136 語から (黄他 2007) が使用した 210 語を選んだ. しかし, Wikipedia で記事ページが検索されなかった用語は関連語を抽出できないため，翻字対象語から削除した。また、Wikipediaで「曖昧さ回避のためのページ」が検索された用語も翻字対象語から削除した。例えば，「アポロ」で検索すると「アポロ (小惑星)」や「アポロ（曲)」といった異なる語義について書かれた記事へのリンクが表示される。本手法を実際に運用する場合, 現状では複数のリンクから対象の語義に関する記事ページを自動的に特定することができない。そこで，今回の実験では多義語を翻字対象語から削除した。最終的に翻字対象として残った 128 語の内訳を表 5 に示す.

各翻字対象語について, 日本語が分かる中国人判定者 2 名に関連語を与えてもらった。具体的には, 翻字対象の 128 語に対して, 日中対訳辞書 (鈴木, 王 2002 ) に記載された解説を 2 名の

表 5 翻字対象 128 語の内訳

判定者に示し, 意味を理解させた上で, 中国語で 1 つ以上の関連語を与えてもらった。ただし,判定者は Wikipediaの記事を見ずに作業を行ったので，判定者が与えた関連語が全て Wikipedia の記事に載っているとは限らない。各翻字対象語に対して，判定者は自分が与えた関連語に関わっていると判断した語を正解訳語として 1 つ以上選んだ。判定者が翻字対象に与えた関連語および選んだ正解訳語と不正解訳語の例を表 6 に示す。表 6 において， 2 列目の「中国語の関連語（日本語）」は，翻字対象に対して判定者が与えた関連語であり，括弧の中は筆者が付けた日本語訳である。 3 列目の「正解」は判定者が正解と判断した訳語の全てであり，4列目の「不正解」は判定者が不正解と判断した訳語の一部である。なお，翻字結果を公平に比較するために，「自動」と「人手」では翻字対象ごとに翻字に使用する関連語の数を揃えた。具体的には，「自動」では式 (9) の値が高い関連語候補のうち,「人手」で使用された関連語と同じ件数だけを使用した。

評価尺度として「正解訳語の平均順位」を用いた。「人手」では，各翻字対象について判定者 2 名に対する正解訳語の順位を平均し，さらに全翻字対象を横断して順位を平均した。「自動」 では, 各翻字対象について各判定者が与えた関連語数に合わせて実験を行い, 各判定者に対応する正解訳語の順位を平均し，さらに全翻字対象を横断して正解訳語の順位を平均した。「音十言」では，翻字結果が関連語に依存しないため判定者による正解訳語の順位には違いがなく, 全

表 6 判定者が選んだ正解訳語と不正解訳語および関連語の例

 &  &  \\

翻字対象を横断して順位を平均した。

ここで，各翻字対象の「正解訳語」として，以下に示す 3 種類の解釈がある.

(a) 日中対訳辞書 (鈴木, 王 2002) に定義された訳語

(b) 判定者 2 名の両方が適切と判定した訳語

(c) 判定者のうち最低 1 名が適切と判定した訳語

(a) は評価の客観性が最も高い. しかし, 辞書に定義されていない用語でも訳語として適切な場合があるため, 正解訳語の網羅性は最も低い。(c) は正解訳語の網羅性が最も高い. しかし, 判定者の主観に依存するため，評価の客観性は最も低い，(b) は正解訳語の網羅性と評価の客観性ともに (a)と (c)の中間である。本実験では，客観性が一番低い (c)を省略して， (a) と (b)について評価を行った。

## 3.2 実験結果

正解の種類 (a) と (b) に対する翻字の実験結果をそれぞれ表 7 と 8 に示す. 表 7 と 8 において， 2 列目の「語数」は，正解訳語が少なくとも一つ存在する翻字対象の総数である．表 7 の 「語数」は, 日中対訳辞書の訳語を正解訳語としているため, すべての翻字対象語には正解訳語が存在し, 128 語になる. それに対して, 表 8 の「語数」は, 判定者 2 名の両方が適切と判断した訳語だけを正解訳語としているため，共通の正解訳語が存在しない翻字対象語を除いて，76 語になる。 3 列目の「関連語数の平均」と 4 列目の「正解訳語数の平均」は, 各判定者が翻字対象一つにつき与えた関連語数と正解と判定した正解訳語数の平均である.「正解訳語の平均順位」は 3.1 に示した 3 通りの手法に対する結果をそれぞれ示している.

表 7 と 8 では,「音+言」の結果は関連語に依存しないため, 判定者によらず必ず一致する.

表 7 正解の種類 (a)に対する正解訳語の平均順位

表 8 正解の種類 (b) に対する正解訳語の平均順位

表 7 と 8 の結果より, 正解の種類に関係なく,「自動」と「人手」の平均順位は「音＋言」より高く,「人手」の平均順位が一番高かった。

図 4 と 5 は, 表 7 と 8 の結果に対して「正解訳語の順位に関する分布」を分析した結果である. 図 4 の正解訳語が上位 10 位以内に存在した語数を見ると，「自動」は「人手」より少なく，「音+言」より多かった. この傾向は図 5 でも同様であった.

図 4 正解の種類 (a)における正解訳語の順位分布図

図 5 正解の種類 (b) における正解訳語の順位分布図

図 6 関連語の数と正解訳語の平均順位

以上をまとめると，正解の種類と関係なく，自動抽出した関連語を利用して翻字を行う手法は，印象モデルを利用しない手法よりも有効であった。また，翻字精度を多少犠牲にして，人手で関連語を与えるコストを削減することができた。

自動抽出する関連語を上位から 1 つずつ増やして, 正解訳語の平均順位が変化する様子を調べた結果を図 6 に示す. 図 6 より, 関連語を 1 つしか使用しない場合でも正解の種類 (a) と (b) における正解訳語の平均順位はそれぞれ 219 と 78 であり，表 7 と 8 にそれぞれ示した「音+言」 の平均順位 (229 と 102）よりも高かった。また, 正解訳語の平均順位は関連語数が増えるにつれ高くなり, 関連語数が 7 を超えたところでほぼ一定になった.

## 3.3 考察

表 9 と 10 は, 用語の種別ごとに翻字対象を 1 つずつ選んで, 翻字に使用した関連語と正解の種類 (a)における正解訳語の平均順位を示している。表 9 は自動抽出した関連語が有効だった翻字対象の例を示し，表 10 は自動抽出した関連語が有効でなかった翻字対象の例を示している. 表 9 の「順位」では「自動」における正解訳語の平均順位は「人手」より高く, 逆に表 10 では「自動」の順位は「人手」より低い。表 9 と 10 の「中国語の関連語」において，「自動」では中国語に翻訳する前の日本語を括弧内に示す。ただし，「人手」の関連語は判定者が直接中国語で入力したため，筆者が日本語訳を与えた。「中国語の関連語」を見ると，自動的に抽出した関連語は人手で与えた関連語とあまり一致していない. 以下，この点について具体例を挙げながら考察する.

表 9 を見ると,「カネボウ」では, 企業名を付ける際には使用されないであろう「破产 (破産)」
表 9 自動抽出した関連語が有効だった翻字対象の例

 \\

と「傲慢 (傲慢)」が関連語として使用されていた。判定者が不適切な関連語を与えたことで評価実験の妥当性が損なわれていないか調べるために, 全ての翻字対象について著者が関連語を吟味した。その結果,「カネボウ」の「破产 (破産)」と「傲慢 (傲慢)」以外の関連語には問題がなかった。さらに，「カネボウ」の関連語から「破产 (破産)」と「傲慢 (傲慢)」を削除し，自動抽出した関連語数を人手の関連語数に揃えて再度実験を行った。その結果，正解の種類や「人手」 と「自動」といった手法の違いによらず，上記 2 つ関連語を削除する前と比べて実験結果は
表 10 自動抽出した関連語が有効でなかった翻字対象の例

 \\

変わらなかった。以上より，人手による不適切な関連語によって評価実験の妥当性が損なわれていないことを確認した。

別の例として,「カラチ」では, 自動抽出した関連語の中に, Wikipedia の記事ページにある 「カラチ」と関連が強いと考えられるいくつかの語が含まれていない．例えば，「ムスリム」や 「パキスタン」である。「ムスリム」と「パキスタン」は関連語候補として抽出されたものの「カラチ」との相互情報量は関連語候補中それぞれ 11 位と 12 位だった。他方において, 判定者 A

と Bが「カラチ」に与えた関連語の数はそれぞれ 8 語と 10 語だった. 人手と自動と関連語の数を揃えたため,「ムスリム」と「パキスタン」は最終的に関連語として選択されなかった. 本来関連が強い語を自動的に関連語として選択するためには，関連語候補を抽出する段階と抽出した候補を一定の基準で順位付ける段階のそれぞれにおいて改善の余地がある。

まず，関連語候補を抽出する段階では，記事ページ本文全体が抽出対象となっている点に問題がある．表 9 において「カラチ」の関連語を見ると，「外部リンク」というセクションから抽出された「リンク」が関連語として選択されている。しかし, Wikipediaでは「外部リンク」に見出し語に関する説明が書かれることは稀である。「カラチ」の例に関して言えば，「外部リンク」のセクションを関連語抽出の対象から削除すれば,「リンク」は関連語候補として抽出されず，その結果「ムスリム」や「パキスタン」の順位が相対的に上がる．しかし，「ハワイ」の記事ページにおけ「外部リンク」のセクションには,「カウアイ観光局」や「オアフ島観光局」などのアンカーテキスト（リンクをはるためのテキスト）が記述されており，「カウアイ」や「オアフ島」などの「ハワイ」に関連する語を含んでいる。すなわち, 関連語抽出の対象から「外部リンク」を一律削除すればよいとは限らない。また, 2.6 節で議論したように，セクションの分け方, 見出しの付け方, セクション内の記述内容に関する方針は記事の著者によって異なる.以上より，関連語抽出において対象にすべきセクションとそれ以外を正確に区別することは難しい.これは今後も検討して解決すべき課題である.

関連語の候補に順位を付ける段階では, 式 (9) で用いた相互情報量以外の計算方法を試し, 本研究の目的にとって最適な手法について今後検討する必要がある.

表 10 を見ると，「シャネル」では，自動抽出した関連語のうちいくつかが人手で与えた関連語と一致した，例えば，「香水（香水)」や「名牌（ブランド）」などである。しかし，人手で与えられた「华丽（華やか）」や「耐久（耐久）」などのように翻字対象の印象を表す関連語がなく，翻字に有効でなかった。「インテル」では, 自動抽出した関連語に「インテル」に関する印象を表す語がなかった.「カタール」では, 自動抽出した関連語は全てカタール周辺国の国名であり,「カタール」自体を表す語として適切ではなかった。「モナリザ」と「ディスコ」では, 自動抽出した関連語の中に，翻字対象と関係のない語がいくつかあった，例えば，「モナリザ」の $\lceil$ 自己 (自分) $)$, 「手 (手) 」,「没有 $($ 無く)」や,「ディスコ」の「好 (良い)」,「回来 (帰り) ,「制 (製)」である。また, Yahoo! JAPANの翻訳システムによる誤訳もあった。例えば，「ディスコ」に対する日本語の関連語「非常」は「とても」という意味なので, 中国語の「大」ではなく「非常」と訳されるべきであった.

## 4 おわりに

中国語では表意文字である漢字を翻字に使用するため，発音が同じでも使用する漢字によって翻字結果の意味や印象は異なる。そこで, 中国語への翻字では漢字の選択が重要である。(黄他 2007)は適切な漢字を選ぶために，発音だけでなく翻字対象の印象や種別を使用した。しかし, 彼らの手法では翻字対象の関連語をユーザが与えるため高価である。本研究の貢献は, 翻字対象の関連語を Webから自動的に抽出してユーザの負担を削減した点にある.

評価実験の結果, 本手法は人手で関連語を与える手法よりも翻字精度が低かった. しかし, 漢字の意味や印象を考慮しない翻字手法よりは翻字精度が高かった。しかし, 自動抽出した関連語には翻字対象の特徴を適切に表現していない用語もあったため, 今後の課題として関連語抽出のさらなる精緻化が必要である. また, Wikipedia で説明を得ることができない用語や多義語への対応も今後の課題である.

## 参考文献

Al-Onaizan, Y. and Knight, K. (2002). "Translating Named Entities Using Monolingual and Bilingual Resources." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 400-408.

Bollegala, D., Matsuo, Y., and Ishizuka, M. (2007). "Measuring Semantic Similarity between Words Using Web Search Engines." In Proceedings of the 16th International World Wide Web Conference, pp. 757-766.

Chen, H. H., Hueng, S. J., Ding, Y. W., and Tsai, S. C. (1998). "Proper Name Translation in Cross-Language Information Retrieval." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics, pp. 232-236.

Church, K. W. and Hanks, P. (1989). "Word Association Norms, Mutual Information, and Lexicography." In Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics, pp. 76-83.

Fujii, A. and Ishikawa, T. (2001). "Japanese/English Cross-Language Information Retrieval: Exploration of Query Translation and Transliteration." Computers and the Humanities, 35 (4), pp. 389-420.

黄海湘, 藤井敦, 石川徹也 (2007). 中国語への翻字における確率的な漢字選択手法. 電子情報通信学会論文誌, J90-D (10), pp. 2914-2923.

Jeong, K. S., Myaeng, S. H., Lee, J. S., and Choi, K. S. (1999). "Automatic Identification and

Back-Transliteration of Foreign Words for Information Retrieval." Information Processing \& Management, 35, pp. 523-540.

Knight, K. and Graehl, J. (1998). "Machine Transliteration." Computational Linguistics, 24 (4), pp. 599-612.

Kwok, K. L., Deng, P., Dinstl, N., Sun, H. L., Xu, W., Peng, P., and Doyon, J. (2005). "CHINET: a Chinese Name Finder System for Document Triage." In Proceedings of 2005 International Conference on Intelligence Analysis.

Kwok, K. L. and Deng, P. (2002). "Corpus-based Pinyin Name Resolution." In Proceeding of the First SIGHAN Workshop on Chinese Language Processing, pp. 41-47.

Lee, C. J. and Chang, J. S. (2003). "Acquisition of English-Chinese Transliterated Word Pairs from Parallel-Aligned Texts Using a Statistical Machine Transliteration Model." In Proceedings of the HLT-NAACL 2003 Workshop on Building and Using Parallel Texts: Data Driven Machine Translation and Beyond, pp. 96-103.

Li, H. Z., Sim, K. C., Kuo, J. S., and Dong, M. (2007). "Semantic Transliteration of Personal Names." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 120-127.

Li, H. Z., Zhang, M., and Su, J. (2004). "A Joint Source-Channel Model for Machine Transliteration." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 159-166.

Qu, Y. and Grefenstette, G. (2004). "Finding Ideographic Representations of Japanese Names Written in Latin Script via Identification and Corpus Validation." In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, pp. 183-190.

佐々木靖弘, 佐藤理史, 宇津呂武仁 (2006). 関連用語収集問題とその解法. 自然言語処理, 13 (3), pp. 151-175.

Stalls, B. G. and Knight, K. (1998). "Translating Names and Technical Terms in Arabic Text." In Proceedings of the COLING/ACL Workshop on Computational Approaches to Semitic Languages, pp. 34-41.

鈴木義昭, 王文 (2002). 日本語から引ける中国語の外来語辞典. 東京堂出版.

Turney, P. D. (2001). "Mining the Web for Synonyms: PMI-IR versus LSA on TOEFL." In Proceedings of the Twelfth European Conference on Machine Learning, pp. 419-502.

Virga, P. and Khudanpur, S. (2003). "Transliteration of Proper Names in Cross-Lingual Information Retrieval." In Proceedings of the ACL 2003 Workshop on Multilingual and Mixedlanguage Named Entity Recognition, pp. 57-64.

Wan, S. and Verspoor, C. M. (1998). "Automatic English-Chinese Name Transliteration for

Development of Multilingual Resources." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics, pp. 1352-1356.

Xu, L. L., Fujii, A., and Ishikawa, T. (2006). "Modeling Impression in Probabilistic Transliteration into Chinese." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 242-249.

## 略歴

黄海湘：2002 年 3 月獨協大学大学院博士前期課程（経済・経営情報専攻）修了. 同年 4 月図書館情報大学大学院博士後期課程に入学. 現在, 大学統合にともない筑波大学大学院図書館情報メディア研究科に在籍中.

藤井敦：1993 年 3 月東京工業大学工学部情報工学科卒業. 1998 年 3 月同大学大学院博士課程修了. 現在, 東京工業大学大学院情報理工学研究科准教授,博士 (工学). 自然言語処理, 情報検索, 音声言語処理, Web マイニングの研究に従事. 情報処理学会, 人工知能学会, 電子情報通信学会, 日本デー夕ベース学会, Association for Computational Linguistics 各会員.

$
\begin{aligned}
& (2009 \text { 年 } 7 \text { 月 } 1 \text { 日 } \quad \text { 受付 }) \\
& (2009 \text { 年 } 10 \text { 月 } 1 \text { 日 } \quad \text { 再受付 }) \\
& (2009 \text { 年 } 10 \text { 月 } 23 \text { 日 } \quad \text { 再々受付) } \\
& (2010 \text { 年 } 2 \text { 月 } 22 \text { 日 } \quad \text { 採録) }
\end{aligned}
$


# 作文履歴をトレース可能な子供コーパスの構築

自然言語処理や言語学においてコーパスは重要な役割を果たすが，従来のコーパス は大人の文章を集めたコーパスが中心であり，子供の文章を集めたコーパスは非常 に少ない．その理由として，子供のコーパスに特有の様々な難しさが挙げられる。 そこで，本論文では，子供のコーパスを構築する際に生じる難しさを整理，分類し，効率良く子供のコーパスを構築する方法を提案する。また，提案方法で実際に構築 した「こどもコーパス」についても述べる。提案方法により， 81 人分 $(39,269$ 形態素）のコーパスを構築することができ，提案方法の有効性を確認した。この規模は，公開されている日本語書き言葉子供コーパスとしては最大規模である。また，規模 に加えて,「こどもコーパス」は作文履歷がトレース可能であるという特徴も有する. キーワード：コーパス，子供，書き言葉，作文履歷，言語デー夕
## A Written Child Corpus with Editing History Tags

\author{
Ryo Nagata ${ }^{\dagger}$, Ayako Kawai ${ }^{\dagger}$, Koji Suda ${ }^{\dagger \dagger \dagger}$, \\ Junichi KaKegaWa ${ }^{\dagger \dagger \dagger}$ and Koichiro Morihiro ${ }^{\dagger \dagger \dagger}$
}

Corpora have played a crucial role in natural language processing and linguistics. However, there have been very few corpora consisting of the writing of children because of difficulties peculiar to child corpus creation. In this paper, we propose a method for avoiding the difficulties and efficiently creating a child corpus. We have used the proposed method to create a child corpus to show its effectiveness. As a result, we have obtained a child corpus called Kodomo Corpus containing 39,269 morphemes, which is the largest written child corpus. Kodomo Corpus has a feature that the editing histories such as addition and deletion are traceable through its data tags.

Key Words: corpus, children, written language, editing histories, language data

## 1 はじめに

自然言語処理や言語学においてコーパスは重要な役割を果たすが, 従来のコーパスは大人の文章を集めたものが中心で子供の文章を集めたコーパスは少ない. 特に, 著者らが知る限り, 書き言葉を収録した大規模な子供のコーパスは存在しない. 2 節で詳細に議論するように, 子供のコーパ

スの構築には, 子供のコーパス特有の様々な難しさがある。 そのため, 大規模な子供のコーパスの構築は容易でない。例えば, Child Language Data Exchange System (CHILDES) (MacWhinney 2000a, 2000b)の日本語サブコーパスである Hamasaki コーパス (Hamasaki 2002), Ishii コーパス (MacWhinney 2000a, 2000b), Aki コーパス (Miyata 1995), Ryo コーパス (Miyata 1992), Tai コーパス (Miyata 2000), Noji コーパス (MacWhinney 2000a, 2000b) は, 全て話し言葉コーパスである。また, 対象となる子供の数は 1 人である（表 1 に, 従来のコーパスの概要を示す.英語コーパスについては, 文献 (中條，内山，中村，山崎 2006)に詳しい)。言語獲得に関する研究や自然言語処理での利用を考えた場合，コーパスは，子供の人数，文章数，収集期間の全ての面で大規模であることが望ましい.

一方で，様々な分野の研究で子供の作文が収集，分析されており，子供のコーパスに対する需要の高さがうかがえる. 例えば, 国立国語研究所 (国立国語研究所 1989)により, 小学生の作文が収集され，使用語彙に関する調査が行われている。同様に，子供の作文を対象とした，文章表現の発達的変化に関する分析 (石田, 森 1985), 自己認識の発達に関する分析 (守屋, 森,平崎, 坂上 1972) なども行われている. 更に, 最近では, 子供のコーパスの新しい利用も試みられている。石川 (石川 2005) は, 英語コーパスと子供のコーパス（日本語）を組み合わせて,小学校英語向けの基本語彙表を作成する手法を提案している. 掛川ら（掛川, 永田, 森田, 須田, 森広 2008) は, 子供のコーパスから, 特徴的な表現を自動抽出する手法を提案している. 坂本 (坂本 2009) は, 小学生の作文の分析に基づき, 共感覚比喻一方向性仮説に関する興味深い考察を行っている.

これらの研究は，いずれも子供のコーパスを利用しているものの，言語データの収集とコー パスの構築は独自に行っている。そのため，コーパスは一般には公開されておらず，研究や教育に自由に利用できる状態にはない。したがって，大規模な子供のコーパスの一般公開は関連分野の研究の促進に大きく貢献すると期待できる。また, 研究者間で共通のコーパスが利用できるため, 研究成果の比較も容易となる.

表 1 従来の子供のコーパス

そこで本論文では，子供のコーパス構築の難しさ解消し，効率良く子供のコーパスを構築する方法を提案する。そのため，まず，子供のコーパスを構築する際に生じる難しさを整理，分類する。その整理，分類に基づき子供のコーパスの構築方法を提案する。また，提案方法を用いて実際に構築した「こどもコーパス」についても述べる（表 2 にこどもコーパス」の概要と特徴を示す)。「こどもコーパス」は，小学 5 年生 81 人を対象にして， 8 カ月間言語データを収集したコーパスである。その規模は 39,269 形態素であり，形態素数と人数において公開されている書き言葉の子供コーパスとして最大である ${ }^{1}$. 規模以外に，「こどもコーパス」には，作文履歴がトレース可能という特徴がある。作文履歴がトレース可能とは, いつ誰が何を書いたか, および，どのように書き直したかの履歴が参照可能であることを意味する。なお，本論文では，特に断らない限り，子供とは小学生のことを指すこととする。したがって，以下では，小学生のコーパス構築を念頭に置いて議論を進める.

以下， 2 節では，子供のコーパスを構築する際に生じる難しさを整理，分類する． 3 節では， 2 節の議論に基づき，効率良く子供のコーパスを構築する方法を提案する． 4 節では，「こどもコーパス」の詳細を述べる。

## 2 子供コーパス構築の難しさ

子供のコーパスの構築には，通常のコーパスを構築する際に生じる難しさに加えて，子供のコーパス特有の難しさが多く存在する。 子供のコーパス特有の難しさは，大きく (a) 書き手の確保の難しさ，(b) データ収集に関する難しさ，(c) データの記録と管理に関する難しさ，(d) 著作権に関する難しさ, (e) データ整備の難しさに分類される.

（a）書き手の確保の難しさとは，どのように書き手となる子供を集めるかという難しさである。大人の文章を対象としたコーパス構築では, 新聞記事や小説など出版された文章を利用で

きる。一方で, 出版された子供の文章は一般には存在しない，そのため，まず，書き手となる子供を確保する必要がある．書き手が小学生であるため，学習者コーパス (Izumi, Saiga, Supnithi, Uchimoto, and Isahara 2003; Granger 1993)の構築などでよく利用される，謝金支払いによる書き手の募集という方法をとることも困難である.

授業中に言語データを収集できれば，一度に多くの書き手を確保できる。しかしながら，授業は，カリキュラムに従う必要があり，自由に言語デー夕を収集できるわけではない．したがって，カリキュラムに沿いながら，言語デー夕を収集できる方法を考案する必要がある。

（b）データ収集に関する難しさは，実際に子供に文章を書いてもらう際に生じる．継続的に文章を書くという活動は子供にとって難しいものである。興味を持って継続的に書けるよう，書くこと以外の負担が減るような収集方法を取るべきである．例えば，書くための手順や書き方 （コンピュータを使用する場合は入力方法）は可能な限り簡便にするべきである．また，ある程度，書き易い内容に制限してデータ収集を行う必要があるかもしれない。

(c) データの記録と管理の難しさとは, どのように多数の子供, 且つ, 大量の言語デー夕を記録し，管理するかという難しさである．本論文が目指すトレース可能なコーパスでは，誰がいつ何を書いたかを正確に記録しなければならない。また，誰がいつどのように書き換えたかという履歴も記録しなければならない。このことは，授業中での言語デー夕収集など多人数同時の収集では特に問題となる。紙べースの収集方法では，多人数同時に編集履歴を記録，管理することは，ほぼ不可能である。

以上の (a)〜 (c) は，言語データ収集に直接関連する難しさである。間接的な難しさとして， (d) 著作権に関する難しさがある。子供の書いた文章にも著作権は発生する。そのため，単に言語データを収集しただけでは，コーパスとして研究に自由に利用することはできない，研究に自由に利用するためには，著作物の利用に関する同意を得る必要がある。ただし，子供は未成年であるため，実際には，保護者から同意を得なければならない．著作物の利用に関する同意書などを保護者一人一人に配布し, 署名してもらう必要がある。この配布, 回収にかかる労力が多大であることは想像に難くない.

（e）デー夕整備の難しさは，言語データの収集後に生じる難しさである. 収集した言語デー夕には，一般のコーパスでは稀であるような言語現象やノイズが含まれる。具体的には，判読不能な文字，意味不明な文字列，句点の抜け，表記の誤り，文法誤りなどがある，コーパス構築の際に，これらの言語現象やノイズをどのように扱うか決定しなければならない．例えば，コー パス中の文章は文に分割されていることが一般的であるが, 子供の言語デー夕の場合, 句点の抜けのため，単純に文の同定ができない場合がある。このような言語現象やノイズの扱いを定めたガイドラインが必要となる.

上述の通り，子供コーパスの構築には様々な難しさがある。次節では，これらの難しさを解消し, 子供のコーパスを構築する方法を提案する.

## 3 提案する構築方法

## 3.1 言語データの収集方法

（a）書き手の確保の難しさを解決する方法として，われわれは，総合学習の時間などで行われる情報発信の活動に着目した，現在では，小学校でも，Webページやブログを利用して情報を発信する学習活動が盛んに行われている (安藤, 高比良, 坂元 2004; 須田, 永田, 掛川, 森広 2007). 子供が発信する情報（文章）を収集することで, 一度に多くの子供を対象にして言語データの収集ができる。また，収集のためにカリキュラムから外れることもない．更に，後述するように，(c) データの記録と管理の難しさも解消できる.

具体的には, 図書をテーマとしたブログを利用した言語データの収集方法を提案する。ブログは情報発信ツールとして子供にとって操作が容易であることが報告されている (須田他 2007). また，(i) 身近なメディアである図書をテーマとすること，(ii) 読書は小学校において日常的な活動であること(須田，永田，掛川，森広 2008) も，活発な情報発信に繋がると期待できる。実際，提案する方法で，小学 5 年生（3学級 98 名）を対象にして，約 2 年間の予備的な言語デー 夕の収集を行ったところ，子供たちは興味を持って積極的に情報を発信し，効率良く言語デー タが収集できることが明らかとなった。

提案する収集方法では，まず，子供は図書室などで本を借りて，その本を読む。読書後, ブログ上で本に関する情報（例えば，本の推薦，感想文，あらましなど）をアイテムとして発信する。この情報がコーパスの基本データとなる，必要があれば，子供は，書き达んた情報を修正し, 再度, 書き込みを行う。書き込みの度に, 書き込み日時と書き込んだ内容がブログシステムに保存される。この繰り返しによりシステム上に言語データが蓄積される.

この際に子供にかかる余分な負担を減らすために，通常のブログシステムに次のような機能を実装する。ブログのアイテムの登録は，ブログシステムが半自動的に行う，具体的には，子供を識別するユーザID と本の ISBNをバーコードリーダーなどによりブログシステムへ入力すると，ブログシステムは本のタイトル，著者名，表紙画像などの情報をアイテムに記入する。 その結果, 図1に示すようなアイテムが登録される。このとき, アイテムのタイトルは, 本のタイトルとする。書誌情報は，ネットワークを通じて市立図書館などから得る。読書後，子供は本に関する情報を登録されたアイテムに書き达む（図1では，「メッセージ」の右側のテキストエリアに書き达む)，発信された文章がコーパスの元データとなる．アイテムが半自動的に登録される機能により，子供は文章の作成に集中することができる。また，表紙画像や履歷が
^{3} 4$ 節で利用したブログシステムでは, 本のタイトル, 著者, 出版社, 表紙画像, ISBN, 十進分類, 出版年, 巻号, シリーズ名，本の大きさ，出版国の情報が利用可能である。このうち，アイテム上に表示されるのは，本のタイトル，著者，出版社，表紙画像，出版年，シリーズ名，本の大きさ，出版国とした.
}

図 1 アイテム入力画面

ブログ上で閲覧できることは情報発信の活動の促進につながると期待できる (Reuter and Druin 2005; 須田他 2008). すなわち，(b) デー夕収集に関する難しさの解消が期待できる。 なお, 図書以外に，映画や音楽などをテーマとしても同様な収集が可能である.

このブログシステムの利用による言語データの収集方法は, (c) デー夕の記録と管理の難しさの解消にも有効である。ブログにはユーザ管理機能が備わっているため子供の識別は容易である.また，ブログのログ機能を利用することで，いつ誰が何を書いたかを記録できる．同様に， いつ誰が何をどのように書き換えたかも記録できる.

著作権に関する同意を得るための簡便な方法を検討したところ，現状では，保護者一人一人に同意書を配布する従来からの方法しか解決策がないという結論に達した。しかしながら，同意書の回収率と同意率を上げるため, 法律の専門家, 小学校教員, 研究者（著者ら）の三者で協力し, 子供のコーパス構築向けの同意書を作成した ${ }^{4}$. 作成にあたって次の 3 点について注意した. 第一に, 法律の専門家でなくとも理解が容易な同意書となるように, 可能な限り平易, 且つ, 一般的な表現を用いることとした。第二に，学習目的が明らかになるよう，言語データの収集が学習活動の一環であることを明記した。第三に，コーパス構築の教育的，学術的意義が明らかになるよう，コーパス構築の目的と意義を同意書に盛り込んだ.このような同意書を作成し，保護者の同意を得るまでに，約 1 年の年月を要した。このことからも分かるように，著作権に関する同意を得ることは，子供のコーパスを構築する上で大きな問題となる．今後は，より簡便に同意を得るための手順を確立していく必要がある。簡便な手順の確立は今後の課題としたい.

## 3.2 コーパス構築のためのガイドライン

一貫した方針でコーパスを構築するためには，コーパス構築のためのガイドラインが必要不可欠である．特に，提案する手法で収集した言語データはブログの文章であるため，ブログ特有の課題に対処するためのガイドラインが重要となる. 橋本ら (橋本, 黒橋, 河原, 新里, 永田 2009)によると, ブログ特有の課題として, (I) 不明瞭な文区切りへの対処, (II) 括弧表現への対処, (III) 誤字, 方言, 顔文字などの多様な形態素への対処がある. このうち, 子供のコーパスでは (I) と (III) が問題となる (II) は構文構造を括弧でアノテーションする場合の課題であるので, 本論文で対象とする子供のコーパスでは問題とならない). また, 個人情報の保護の観点からは個人名に対するガイドラインも必要となる。本節では, これらの課題への対処方法を規定したガイドラインについて説明する。なお, 本ガイドラインは「こどもコーパス」と共に公開している.

【基本方針】基本方針として, 収集した言語デー夕は, 可能な限りそのままの形でコーパスに収録することとした. したがって, (III) 誤字, 方言, 顔文字などの多様な形態素は, そのままの形でコー パスに含める。また，一見不要と思われるような意味不明な文字列 (例 : “jhshsxsainvtquoicab”) も消去せずコーパスに含める。この理由として, 一見不要と思われるものでも, 目的に応じて重要な情報となる可能性があることが挙げられる，例えば，意味不明な文字列は，学習意欲を失った子供を自動的に発見する手法の考案へ繋がる可能性がある. 意味不明な文字列を頻繁に書き込むということは, 子供が学習意欲を失い, 目的としている学習が行われてないことを示唆する. 理想的には, このような状態に至る前に, その子供を見つけ出し, 適切な指導を行うべきである. したがって, 書き込み履歴から, 学習意欲を失いつつある子供を自動発見できることは有益である。そのような手法の開発には, 意味不明な文字列が書き込まれた時間情報, 意味不明な文字列自身, それ以前の書き込み履歴が重要となる。以上のような理由から収集した言語データは可能な限りそのままの形でコーパスに収録することとした。例外として, 個人名に対する処理, 文分割処理, 文字の処理がある。なお，データ形式は XML 形式とする.

【個人名の処理】個人情報の保護の観点から，子供の名前や個人が特定できるあだ名などは削除されるべきである。そこで，個人が特定される名前などが言語デー夕に含まれていた場合，別の文字列（例： $<\mathrm{NE}>$ 人名 $</ \mathrm{NE}>$ など）に置き換える. 固有表現抽出ツール (桝井, 鈴木,福本 2002) などを利用した半自動の処理も検討したが，対象文章が子供の文章ということを考慮し, 全て人手で作業することとした。

【文分割処理】ブログの文章では文境界が不明確なことがある。言語の分析や自然言語処理では，文を単位として分析や処理を行うことが多いため，コーパス中の文章は文に分割されていることが好ましい，そこで，言語デー夕中の文を同定するためのガイドラインを 28 項目策定した. なお, 分割された文については一文一行形式とする.

基本的には，文末記号で改行することとする. 文末記号は“。”, “!", “!”, “?”, “?”, “. ”,

“."とする.

しかしながら，ブログの文章では，文境界に文末記号がない場合がある。この現象に対処するために例外処理をガイドラインとして策定した. 文末記号がない場合, 文同定のための客観的かつ明確なルールを定めることが困難であることが多い. その結果, 文同定を主観判断に基づいて行うことが多くなる。このことを踏まえ, 本ガイドラインでは, 文末記号がない場合は,文の同定を主観判断で行うこととした。もし，判断に迷う場合は，複数人で相談し決定する。複数人で相談しても解決できない場合は, 文境界とはしない.

主観判断による文同定で重要となることは，いかに，コーパスを通して一貫した主観判断で文の同定を行うかということである。本ガイドラインでは，一貫した主観判断を行えるよう各項目に分かり易い見出しをつけ，辞書的にガイドラインを使えるようにした. 更に，判断規則を言語化することが難しい場合が多いことを考慮し, 主観判断の結果を可能な限り例示した.例示により，作業者は類似したケースに対して一貫した文同定が行える．以下，文同定に関するガイドラインの代表的なものを紹介する（下記では，文境界を_kaigyo_で示す）.

(1) 文末記号がない場合

説明 : 文と文の間に文末記号がない場合

処理：作業者の主観により文末であると判断された箇所で改行する

例:

処理前：あんまリおもしろくないよでもよんでね

処理後：あんまリおもしろくないよ_kaigyo_

でもよんでね

（2）読点を用いた文末表現

説明 : 文末記号の代わりに「、」「,」等の読点が用いられている場合

処理 : 作業者の主観により文末であると判断された場合は読点の直後で改行する.

文末か文の途中か判断がつかない場合は文中とし, 改行しない.

例:

処理前：「助けて」という声がした、そしてどろまるはおそるおそるちかずいた

処理後：「助けて」という声がした、_kaigyo_

そしてどろまるはおそるおそるちかずいた

(3) 文末記号＋顔文字の場合

説明 : 文末記号の直後に顔文字がある場合

処理 : 顔文字の直前に文末記号があるときのみ顔文字の後で改行する．顔文字は直前の文の気持ちを表すことが多いため.

例:
処理前：おもしろいよ。( - ^)／夏休み中に、読んで見てね。

処理後：おもしろいよ。( - - ) ／_kaigyo_

夏休み中に、読んで見てね。

(4) 引用符中の文末記号

説明 : 文の途中に引用符があり, 引用符の中に文末記号がある場合. ただし, 引用符は $\lceil 」, 『 』, 【 】,(), 〔],[],\{\},\langle\rangle, 《 》, “ ”, "$ とする.

処理 : 引用符の中では改行しない

例:

処理前：「バンパイアって、こんなことが出来るんだ。って思いましたね。処理後：「バンパイアって、こんなことが出来るんだ。」って思いましたね。 (改行せず)

（5）文の途中に改行が入っている場合

説明：文の途中に改行が入っている

処理：改行を消す

例:

処理前：にせもののお金をソフトクリームやさん_kaigyo_で、使った。

処理後：にせもののお金をソフトクリームやさんで、使った。

【文字の処理】文字の処理とは，言語データ中の“>”や“\&”などの文字をエスケープする処理のことである。これは，「こどもコーパス」がXML 形式を採択しているためである．XML でエスケープする必要がある全ての文字に対してエスケープを行う。

## 3.3 収録情報

3.1 節で説明した言語デー夕収集方法では, 子供の書いた文章以外に様々な情報が収集できる. これらの情報の中には，言語獲得や言語処理の研究に有益な情報も含まれる。そこで, コーパスに含める情報の選定を行った，以下，収録情報と対応するXML タグについて説明する（具体例は，図 2 を参照のこと).

【ユーザタグ：＜USR>】子供 1 人分の言語データを表すタグである．子供の文章を含む全ての情報がこのタグの間に含まれる。 子供に関する情報としては，各子供を識別するユーザ ID ( <USR_ID $>$ ) とブログシステム開始時の学年情報 ( $<$ USR_GRADE $>$ ) が含まれる.

【アイテムタグ：<ITEM $>$ 】ブログの1アイテムに対応するデータである. したがって, 子供が登録したアイテム数と同じ数のアイテムタグが含まれることになる. アイテムには, アイテムを識別するアイテム ID ( $<$ ITEM_ID $>)$, タイトル $(<$ TITLE $>)$, 著者 $(<$ AUTHOR $>)$, ISBN $(<\mathrm{ISBN}>)$, 十進分類 $(<\mathrm{NDC}>)$, 書き込み履歴 $(<\mathrm{EDTN}>)$ が含まれる.

【書き込み履歴タグ： $<\mathrm{EDTN}>$ 】文章の書き込み履歴である。＜EDIT_NO>タグは，何番目

図 2 こどもコーパスのサンプル

に書き込まれた（編集された）文章かを表す。また，＜DATE>タグは，書き込み（編集）日時 （秒まで）を表す。この二つの夕グ情報から，いつ何を書き込んだかがわかる。すなわち，作文履歴をトレースすることが可能となる。供の文章自体は，＜TEXT>タグに含まれる。一文一行に，文分割した形式とした。

以上が，選定した収録情報である。供の言語データだけでなく，関連する様々な情報を提供できることがわかる。これらの情報により, 多様な分析への応用が期待できる．例えば，書き込み時間と編集履歴から, 子供はどのように文章の推敲や修正を行うかということが分析できる。また, 本のタイトルや十進分類の情報が得られるので, 読んだ本のジャンルが子供の語彙の使用に及ぼす影響の分析などにも利用できる.

## 4 こどもコーパス

提案方法により実際に子供のコーパスを構築した。言語データの収集期間は，2008 年 6 月 9 日 2009 年 2 月 15 日である。収集対象は, 小学校 5 年生 3 学級 81 人とした ${ }^{5}$. 言語デー夕の収集は, 総合的な学習の時間中に情報発信の学習活動の一環として行った. 情報発信の学習ということを踏まえ，書き込む内容は本の推薦とした（以下，「おすすめメッセージ」と表記する）.基本的に週一回授業時間を設け, その中で書き込みをしてもらうこととした。加えて, 休み時間や放課後にも書き込みが行えるようシステムを開放した。 なお, 他の子供のブログの内容を検索，閲覧できる環境とした。

上述の条件で 1,256 の文章を収集することができた（アイテム数 592 , 総書き込み数 1,256 ）.形態素数にすると 39,269 形態素分の文章を収集することができた（形態素の計数には茶筌 (松本 2000）を利用した）このことから 1 つの「おすすめメッセージ」は，平均 66.3 形態素から成ることがわかる。また， 1 人の子供は平均約 16 回の書き込みを行っていることがわかる ${ }^{6}$. また, 約半分の「おすすめメッセージ」について，何らかの編集を行っていることもわかる（ただし, 編集時に「おすすめメッセージ」に何の修正も加えず，そのまま登録したものも含む).

このように，「こどもコーパス」には，人数，期間，形態素数の面で大規模な言語データが収録されており様々な応用が期待される。例えば，年齢と語彙数の関係を推定する重要な資料になると考えられる。また，子供間の語彙の伝搬に関する知見も得られるのではないかと期待している，子供は，他者のブログを検索，閲覧できる環境で，各自の「おすすめメッセージ」を書き达む．したがって，他者のブログから影響を受けることは容易に推測できる．例えば，他者の「おすすめメッセージ」中の単語や表現を利用して，自分の「おすすめメッセージ」を作成することなどが予想される。「こどもコーパス」には，書き込みおよび編集履歴が記録されているため，ある程度，語彙の伝搬の情報を得ることができる。

現在, より詳細な情報として, 検索と閲覧に関する情報もコーパスに収録することを検討している，収集に利用したブログシステムには，どのようなキーワードで検索を行い，検索された「おすすめメッセージ」のうちどれを閲覧したかという情報も記録する機能を実装した. 将来的には，この検索に関する情報もコーパスに含めたいと考えている. 更に，形態素情報をコー パスに付与することも計画している。 そのためには，子供が書いた文章に対応できるよう，既存の形態素に関するガイドラインを拡張する必要がある. 形態素情報が付与されたコーパスがあれば，子供の書いた文章専用の形態素解析が開発できる。供の書いた文章専用の形態素解析は，更に詳細な，子供の文章の分析に繋がると期待できる。

一方で，「こどもコーパス」の利用には，注意しなければならない点もある．以下，この点について議論する。

第一に，デー夕の偏りが挙げられる。「おすすめメッセージ」は，本の推薦文であるため，内容は本に関するものに偏っている，実際，“本”や“話” など本に関する単語が多く出現する傾向にある。また，推薦文であるため勧誘表現が多い。そのため，「こどもコーパス」から得られた語句の頻度と他のコーパスから得られた語句の頻度とを単純に比較することは意味を持たない場合があるということに注意しなければならない.

第二に，入力方法の問題がある。 子供たちは, キーボードもしくはソフトウエアキーボードを用いて，「おすすめメッセージ」を入力する，漢字入力は，コンピュータの漢字変換機能を利用する。したがって，子供たちは，自分では書けない漢字を「おすすめメッセージ」に使用している可能性が高い，このことは，「こどもコーパス」を利用して，漢字の習得に関する分析などを行う際には注意が必要であることを意味する。

最後に，ブログを利用して収集された言語データであることにも注意しなければならない。 ブログ上の文章であるため，紙と鉛筆で書く通常の作文とは，語用や文体が異なる可能性がある.このことも，「こどもコーパス」を利用して何らかの分析を行う際に，念頭においておく必要がある.

## 5 おわりに

本論文では，子供のコーパスを構築する際に生じる難しさを整理，分類し，効率良く子供のコーパスを構築する方法を提案した。本論文の新規性として，子供のコーパスを効率よく構築する新たな方法を提案した点が挙げられる。実際に「こどもコーパス」を構築し，提案した方法の有効性を確認した．また，「こどもコーパス」自体も，著者らが知る限り，公開されている日本語書き言葉子供コーパスとしては最大規模であり，新規性，有用性共に高いといえる。更に，「こどもコーパス」は，作文履歷がトレース可能という特徴も有する，今後は，言語デー夕の収集を続けると共に，検索に関する情報の収録や形態素情報の付与などを行っていく予定である.

## 謝 辞

言語データの収集にあたり，多大な協力をいただいた神戸市立南落合小学校の皆様に感謝いたします。本研究に対して貴重な助言をいただいた（株）ホンダ・リサーチインスティチュー ト・ジャパンの船越孝太郎氏に感謝いたします。著作権に関する情報を提供していたたいた甲南大学フロンティア推進機構のスタッフの方々に感謝いたします。本研究の一部は，（株）ホンダ・リサーチインスティチュート・ジャパンからの助成金により実施した.

## 参考文献

安藤玲子, 高比良美詠子, 坂元章 (2004). 小学校のインターネット使用量と情報活用の実践力

との因果関係. 日本教育工学会論文誌, 28 Suppl., pp. 65-68.

中條清美, 内山将夫, 中村隆宏, 山崎谆史 (2006). 子供話し言葉コーパスの特徴抽出に関する研究. 日本大学生産工学部研究報告 B, 39 .

Granger, S. (1993). "The International Corpus of Learner English." In Aarts, J., de Haan, P., and Oostdijk, N. (Eds.), English Language Corpora: Design, Analysis and Exploitation, pp. 57-69. Rodopi.

Hamasaki, N. (2002). "The Timing Shift of Two-year-old's Responses to Caretakers' Yes/No Questions." In Studies in Language Sciences, pp. 193-206.

橋本力，黒橋禎夫，河原大輔，新里圭司，永田昌明 (2009). 構文・照応・評判情報つきブログコーパスの構築. 言語処理学会第 15 回年次大会発表論文集, pp. 614-617.

石田潤, 森敏昭 (1985). 児童の自己認識の発達 : 児童の作文の分析を通して. 広島大学教育学部紀要, 1 (33), pp. 125-131.

石川慎一郎 (2005). 日本人児童用英語基本語彙表開発における頻度と認知度の問題：母語コー パスと対象語コーパスの頻度融合の手法. 信学技報 TL2005-25, pp. 43-48.

Izumi, E., Saiga, T., Supnithi, T., Uchimoto, K., and Isahara, H. (2003). "The Development of the Spoken Corpus of Japanese Learner English and the Applications in Collaboration with NLP Techniques." In Proceedings of the Corpus Linguistics 2003 conference, pp. 359-366.掛川淳一, 永田亮, 森田千寿, 須田幸次, 森広浩一郎 (2008). 自由記述メッセージからの学習者の特徴表現抽出. 電子情報通信学会論文誌 D, J91-D (12), pp. 2939-2949.

国立国語研究所 (1989). 児童の作文使用語彙, 98 巻. 国立国語研究所報告.

MacWhinney, B. (2000a). The Childes Project: Tools for Analyzing Talk, Volume I: Transcription format and Programs. Lawrence Erlbaum.

MacWhinney, B. (2000b). The Childes Project: Tools for Analyzing Talk, Volume II: The Database. Lawrence Erlbaum.

桝井文人，鈴木伸哉，福本淳一 (2002). テキスト処理のための固有表現抽出ツール NExT の開発. 言語処理学会第 8 回年次大会発表論文集, pp. 176-179.

松本裕治 (2000). 形態素解析システム「茶鉒」. 情報処理, 41 (11), pp. 1208-1214.

Miyata, S. (1992).「パパワ？」—子どもの「ワ」を含む質問について一. 愛知淑徳短期大学研究紀要, 31, pp. 151-155.

Miyata, S. (1995). アキ・コーパス—日本語を獲得する男児の 1 歳 5 カ月から 3 歳までの縦断観察による発話データ集一. 愛知淑徳短期大学研究紀要, 34, pp. 183-191.

Miyata, S. (2000). "The TAI corpus: Longitudinal Speech Data of a Japanese Boy Aged 1;5.203;1." Bulletin of Shukutoku Junior College, 39, pp. 77-85.

守屋慶子, 森万岐子, 平崎慶明, 坂上典子 (1972). 北童の自己認識の発達 : 背童の作文の分析

を通して. 教育心理学研究, 20 (4), pp. 205-215.

Reuter, K. and Druin, A. (2005). "Bringing Together Children and Books: An Initial Descriptive Study of Children's Book Searching and Selection Behavior in a Digital Library." In Proceedings of the American Society for Information Science and Technology, Vol. 41, pp. 339-348.坂本真樹 (2009). 小学生の作文にみられるオノマトぺ分析による共感覚比喻一方向性仮説再考.

日本認知言語学会第 10 回大会発表論文集, pp. 155-158.

須田幸次, 永田亮, 掛川淳一, 森広浩一郎 (2008). 図書を話題としたブログでの背童が発信するメッセージにおける語彙の広がり. 日本教育工学会研究報告集, pp. 59-62.

須田幸次, 永田亮, 掛川淳一, 森広浩一郎 (2007). 児童が共同構築するブログにおける検索が情報発信能力に及ぼす効果. 日本教育工学会研究報告集, pp. 11-16.

## 略歴

永田亮：平 11 明大 - 理工 - 電気卒. 平 14 三重大大学院博士前期課程了.

平 17 同大学院博士後期課程了. 同年兵庫教育大助手. 平 19 同大学院学校教育研究科助教. 平 20 より甲南大知能情報学部講師. 博士 (工学). 冠詞の振る舞いのモデル化, 英文誤り検出, Edu-mining などの研究に従事. 電子情報通信学会会員.

河合綾子：平 21 甲南大・理工・情報システム工学科卒. 同年株式会社インテックに入社. 在学中は, 子供のコーパス構築の研究に従事.

須田幸次：昭 58 和歌山大・教育卒. 同年神戸市立菅の台小学校教諭. 平 17 兵庫教育大大学院学校教育研究科修士課程入学. 平 19 同大学院学校教育研究科修士課程了. 現在神戸市立南落合小学校教諭. 情報活用能力育成のための学校図書館蔵書データベースの開発とその利用法の研究に従事. 日本教育工学会会員.

掛川淳一: 平 11 東京理科大 - 基礎工 - 電子応用工学卒. 平 13 同大学院修士課程了. 平 16 同大学院博士後期課程了. 同年同学ポストドクトラル研究員を経て, 平 16 兵庫教育大学助手. 平 19 同大学院学校教育研究科助教. 平 21 年より, 山口東京理科大助教. 博士 (工学). 学習支援システム, 第二言語学習支援, Edu-mining の研究に従事. 人工知能学会, 日本教育工学会, 教育システム情報学会, 電子情報通信学会各会員.
森広浩一郎: 平元東京学芸大. 教育. 数学卒. 平 3 同大大学院修士課程了. 平 5 大阪大大学院工学研究科博士後期課程中退. 同年兵庫教育大助手. 同大講師・助教授を経て, 現在同大大学院学校教育研究科准教授. 博士 (工学). 学習支援システムの開発と，それを用いた教育実践に関する研究に従事．日本教育工学会, 人工知能学会各会員.

(2009 年 10 月 5 日受付)

(2009 年 12 月 5 日再受付)

(2010 年 1 月 8 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 音声合成のための韻律制御コマンド作成方法の検討
## 水野 理 $\dagger \cdot$ 阿部 匡伸††

音声合成をより使いやすくかつ表現力豊かにするために，我々は階層型音声合成記述言語 MSCL を開発した．MSCL は記述という方法によりニュアンスや心情, 感情などを合成音声に付加することが可能である， MSCL は $\mathrm{S}$ 層, I 層, $\mathrm{P}$ 層の 3 つの階層を有し, 初学者から音声学的知識を有する者まで対応可能にする。一方，MSCL の $\mathrm{S}$ 層が提供する新たなコマンドの作成手法そして I 層に備わる韻律制御コマンドによって生じる聴感上の効果（印象）の検討は MSCL における課題となっていた。 そこで，本研究は MSCL の課題である韻律制御と印象の関係について実験を通じて見出した，8つの制御規則を提案し，それぞれの主な印象について連想法を通じて分析した。また, 制御規則を組み合わせて得られる印象の変化についても分析を行った。さらに，韻律制御コマンドを利用する上での留意点について言及する。音声合成での韻律制御を行うための 1 つのアプローチを提案する.

キーワード：音声合成，階層型記述言語，韻律制御

## Study for Prosodic Control Command Generation of Synthetic Speech

\author{
Osamu Mizuno ${ }^{\dagger}$ and Masanobu $\mathrm{Abe}^{\dagger \dagger}$
}

The Multi-layered Speech/Sound Synthesis Control Language (MSCL) proposed herein facilitates the synthesizing of several speech modes such as nuance, mental state and emotion, and allows speech to be synchronized to other media easily. MSCL is a multi-layered linguistic system and encompasses three layers: and semantic level layer (The S-layer), interpretation level layer (The I-layer), and parameter level layer (The P-layer). This multi-level description system is convenient for both laymen and professional users. Furthermore, research was conducted into mental state tendencies using a test that examined the perceptions of the subject's sensibility to the control of synthetic speech prosody. The results showed the relationships between prosodic control rules and non-verbal expressions. These relationships are of use for constructing semantic prosody control. This paper describes these functions and the effective prosodic feature controls possible with MSCL.

Key Words: Speech Synthesis, Multi-layered Linguistic System, Prosodic Feature Control, Control Language

## 1 はじめに

近年の音声合成技術の進歩により合成音声によるカーナビのガイダンスやパソコンによるテキストの読み上げなど様々な場面で合成音声が聞かれるようになった. また, Webを読み上げるための取り組みが進められており, Webコンテンツを音声に変換するための議論がなされている (総務省報告資料 2007; 翠, 河原他 2007; Sasajima, Yano, and Kono 1999). 音声合成の分野においては従来から TTS (Text-to-Speech) (Allen, Hunnicutt, and Klatt 1987; Klatt 1987)により電子化されたテキストを音声に変換する試みがなされてきた. メール, 電子図書, Webペー ジに至るまで様々なテキストを合成音声によって流暢に朗読する仕組みが検討されている．そして近年では，テキストに制御タグを挿入して音声合成の韻律パラメータを制御するアプロー チ (VoiceXML; Raman and Gries 1997; SSML) がなされている. 韻律パラメータの制御により,従来の朗読調をべースとした合成音声をより表情豊かな音声に変えられることが分かっている.合成音声を音声対話など様々な分野で利用するためには音声に含まれる表現力を高めることが重要であり，そのために韻律パラメータの制御を行うための仕組みづくりが重要になってきている. 我々は，韻律パラメータの制御を行うための記述言語 MSCL (Multi-layered Speech/Sound Synthesis Control Language) (Mizuno and Nakajima 1998)を開発し，記述による柔軟な韻律制御を実現した．読み上げ用の電子テキストに直接韻律制御コマンドを記述することで韻律制御が可能となった．本研究では，MSCL をより効果的に利用するための韻律制御コマンドの作成方法について述べ，専門的な知識がなくとも新たな韻律制御規則を作成可能にするアプローチについて1つの方向性を提案する.

## 1.1 記述言語による韻律制御

PML (Ramming 1998) から発展した VoiceXML (VoiceXML) は記述というスタイルにより,音声対話システムの制御を行うフレームワークであり，音声合成から音声認識に至るまでの制御を一元的に行うことで, 電話の音声ガイダンスや自動応答を可能にしている. VoiceXML のように制御タグにより音声合成の制御を行うことの利点は, テキスト処理の範疇で編集作業や情報の伝送が可能になることである。また, Webコンテンツなどの豊富な電子テキスト情報に制御コマンドを付与し読み上げを行うことが容易になる．インターネット上の豊富なテキスト情報を取り込み，テキスト処理と制御タグの挿入により柔軟な音声ガイダンスシステムが可能になる。しかし, 従来の音声合成の記述言語では音声合成で用いる韻律パラメータの制御（以下，韻律制御）をするための制御夕グを新たに定義することはできず，利用できる夕グの数も限られている。例えば，SSMLなどでは

<voice gender="female">天気は晴れですく/voice>

<prosody rate="-10\%">そうです</prosody>

のように, 声質の変更 (gender) や話速 (rate) などのパラメータの変更を行うことは可能であるが，複数のパラメータを同時に変更する場合は，夕グの記述が膨大になり可読性が損なわれる可能性もある．韻律パラメータを直接指定する制御タグが主体であるために夕グの名称から韻律制御によって期待しうる効果（印象）を予測することができない。このように，従来法ではきめ細かな韻律制御や直感的な制御ができないといった問題があった．MSCL はきめ細かな韻律制御を行うコマンド群の層と直感的な韻律制御が可能になるコマンド群の層に分離し，韻律制御の自由度や使いやすさを高めている。次節において MSCL について述べる。

## 1.2 MSCL によるアプローチ

利用者が簡単に制作を行えるインタフェースの原則として以下の 3 点 (西本, 志田, 小林, 白井 1996)にまとめられている.

ア. 初心者保護の原則：レポートとは何か

イ. 熟練者優遇の原則：レポートの必要十分条件

ウ. 上級利用移行支援の原則：利用者に対して特化手段を用意し利用を促進する枠組み

MSCL は, 音声合成で必要となるピッチやパワーなどの韻律パラメータ群である P 層と, その韻律パラメータを制御するためのコマンド群である I層と韻律パラメータに 1 つの解釈を与えるコマンド群である $\mathrm{S}$ 層の 3 つの階層（図 1）がある．I層のコマンドは韻律パラメータを直接指定可能であるため, 熟練者はより詳細な音声合成の韻律制御が可能になる． $\mathrm{S}$ 層のコマンドは効果を直感的に理解した上での韻律制御が可能になり，初学者でも利用可能になる.

MSCLの利点をまとめると以下の通りである.
- 記述というスタイルで合成音声に様々な表現力を与える
- 階層構造の記述体系を持つことで, 初学者から専門的知識を持つ利用者までの様々なレベルへの対応が可能になる

図 1 MSCL の階層構造

・ 新たなコマンドを定義し，利用者独自の韻律制御方法を生み出せる

図 1 中の韻律制御のための記述がそのまま制御コマンド名になっている. 特に $\mathrm{S}$ 層コマンドであれば直感的な利用が可能となり, I 層のコマンドの組み合わせにより利用者が定義した新たな制御コマンドを作成することが可能になる。例えば，以下のように記述できる。

1 行目は, I 層コマンド“〜 \”により最終母音「い」のピッチを $20 \mathrm{~Hz}$ 降下させており, さらに，“duration”より継続時間長を 0.8 倍して話速を上げている。この韻律制御をまとめて，「相槌」という $\mathrm{S}$ 層のコマンド名に置き換えているのが 2 行目である。そして， 3 行目からは「相槌」 というコマンド名を使うことで韻律制御可能となる。これらの利点により，MSCL はロボットを使った対話システム (Yamato, Shinozawa, Naya, and Kogure 2001), メール読み上げシステム (中山, 町野, 北岸, 岩城, 奥平 2005), など多種多様な音声表現が必要な場面で利用されている.

## 1.3 MSCL における課題

これらの利点に対し MSCL の課題は, 新たな韻律制御コマンドの作成が容易ではないことにある。韻律制御という営みは, Sesign (阿部他 2001) が示すように韻律パラメータの操作により合成音声の音程を上げたり，継続時間長を伸縮させたりすることである．例えば “疑問”であれば，最終母音のイントネーションを上昇パターンにさせることは良く知られている。また，文中のある単語について“目立たせる” 合成音声を生成するためには, 対象となる単語のピッチパターンのダイナミックレンジを広くすることが1つの方法 (白井, 岩田 1987) とされる. このように Sesign では合成音声から目的とする印象を想起できるようになるまで韻律パラメータの操作を繰り返した後に韻律制御方法が決定されるため, 利用者が効率的に編集作業を行うには韻律制御による効果を習熟する必要がある．MSCLにおいても韻律制御を行うには，韻律パラメータをどのように制御すれば良いか予め知る必要がある。韻律制御と印象の変化に関する知識を容易に獲得できれば編集の時間を短縮することが可能になる．特に制御コマンド名として効果が表現されていれば便利である。これまで韻律制御と印象の関連性については，感情音声と呼ばれる喜怒哀楽をイメージしながらサンプルテキストを読み上げた音声と平常時に読み上げた音声との韻律パラメータの違いを比較するものが多い (広瀬, 高橋, 藤崎, 大野 1994; 有本, 大野, 飯田 2007). しかし, 韻律制御を行った合成音声に対しどのような印象が得られるかを検討した報告はあまりない。そこで，合成音声の韻律制御によって音声の印象がどのように変化するかを調べ，MSCLのS 層のコマンドとして利用者に提供する。本研究では，韻律制御方法の提案と韻律制御と印象との関係を明らかにするとともに，効果的に韻律制御を行うための方法について述べる.

## 1.4 本研究のアプローチ

本研究は, 韻律制御と印象との関係について明らかにすることで, 音声学的な知識をあまり有さない利用者でも MSCL のコマンド作成が可能になるための 1 つの方向性を与えるものである。音声合成のための韻律制御という観点で言えば，大きく 2 つアプローチが考えられる.

ア.コーパスベースのアプローチ：コーパス毎に韻律パターンを保持し，適切なパターンを選択する (水野 2005)

イ. 韻律生成規則ベースのアプローチ：朗読調の韻律生成規則をべースに，新たな規則を加えることで物理パラメータを制御する

ア.はプリミティブな韻律制御規則を組み合わせて新たな制御コマンドを作るという MSCL のアプローチに適用することが困難である。イ.は物理パラメータの制御規則を制御コマンドとして置き換えることで，値の変更や組み合わせが可能になる，従って，ここではイ.のアプロー チで進めていくことにする。まず，従来の音声合成の韻律生成規則によって生成された韻律パラメータに対し，一定の変化を与える制御規則を規定することで新たな韻律制御規則を作成する. 次に韻律制御と印象の関係について聴取実験を行う．韻律パラメータを変化させることによって, 聴取者が合成音声に対しどのような印象を持つかを連想法により分析する。また，韻律制御と言葉の意味の影響により印象がどのように変化するかを調べる.

## 2 韻律制御に基づく印象の抽出

## 2.1 韻律制御規則

音声合成の韻律生成規則をべースにしてさらに韻律制御を行うための制御規則を決める。ベー スとなる合成音声の韻律生成規則は Fluet (箱田, 佐藤 1980; 箱田, 塚田, 吉田, 広川, 水野 1996) で利用されているものである。このモデルでは, 話調成分, アクセント情報, 音調結合情報などが考慮されており, 藤崎モデル (成澤, 峯松, 広瀬, 藤崎 2007) などのモデルとの共通点がある.これに対し, 図 2 に示す 8 つの韻律制御規則を提案する.
- Pattern1：最終母音のピッチパターンを上昇
- Pattern2：最終母音のピッチパターンを降下
- Pattern3：音声全体の継続時間長を一律に伸長
- Pattern4：音声全体の継続時間長を一律に縮小
- Pattern5：ピッチパターンの振幅値を収縮
- Pattern6：ピッチパターンの振幅値を拡大
- Pattern7：ピークまでのピッチパターンを下に凸に変形
- Pattern8：ピークまでのピッチパターンを上に凸に変形

図 28 つ韻律制御規則

ここでは，文節を制御範囲（スコープ）とした制御方法を検討した。対話ロボットの音声や電話での応答を合成音声によって実現する場合, 「そうです!」「本当？」などのワンフレーズで返す場面が多いことと, このようなワンフレーズでの音声の韻律パターンは多様に変化することによるためである。そこで，文節を制御単位とした韻律制御を行うこととした．対象とする韻律パラメータはピッチと継続時間長のみである。 パワーについては, 合成方式が音声素片接続型を用いているため, 大声小声のための制御というよりは制御結果が音量の大小として聴取されることから用いていない. ピッチパターンの韻律制御については, ピッチパターンのピー ク位置から最終母音の始点までの変形を行うとアクセント位置がずれたように聞こえることがあり，異なった言語情報として聴取される可能性が高い。つまり，「雨」が「飴」として聞こえてしまうようにアクセント型が変化したように聴取されることがある。そこで，この区間を除いて適用できる制御規則を用いた。始端からピーク位置の区間，最終母音の区間，全体の抑揚の強さ，の制御についてはパターンを変化させてもアクセント型が変化しないことから，この区間を対象とした 6 つの韻律制御規則を選択した。特に Pattern1 は疑問文，Pattern5 は単語の強調に関係するといわれており，Patetern7，8について印象になんらかの変化を与える(川上 1956) との報告がある。継続時間長については音韻毎の伸縮も考えられるが, ここでは話速に関係する Pattern3，4 を用いている。この 8 つのパターンは MSCL のI 層のコマンドに相当する.これらのコマンドを用いて合成音声を作成し，その音声から感じ取れる印象を抽出する.

## 2.2 連想法による印象の抽出

韻律制御と印象の関係を調べるには，事前に対象にしたい言葉を選択しておき，その中から適切なものを被験者に選択させる方法がよく使われている。例えば，感性工学においては SD 法

(Semantic Differential Method) が多く利用されている。相対する意味の言葉の対（明るい一暗い，暑い一寒い，等）を事前に用意しておき，被験者が印象に近いものを選択するという方法であり，効率的に統計的なデータを導くことができる。しかし，まず事前の知識（タスク，対象分野，条件などの情報）に基づき言葉の対がどの種類の言葉であるかを予測しておく必要があり，さらにはいくつかの言葉の候補から統計的に絞り込むという作業を繰り返さなくてはならない．本研究では事前の知識が用意されないため, SD 法で調査を実施するには無数の実験を繰り返さなくてはならない。そこで，最初に連想法を用いて韻律制御と印象の関係を導くことにした。連想法を使えば被験者が自由に想起した印象を述べることができる。その想起された言葉の傾向を分析し，事前の知識とすることで，どのような印象が最も適するかを調べることが可能である．今回の実験では，提案した 8 つのパターンにより韻律制御した合成音声を刺激音とし，被験者に想起する印象（連想表現）を全て述べさせた。そこから得られた連想表現の頻度を求めクラスター分析によりパターンを最も要約する印象を求めた.

## 2.3 連想法による実験

Fluet の生成する韻律パラメータをべースに 8 つのパターンにより韻律制御したものを音声資料とした．被験者はへッドフォンによって音声資料を聴取した．合成音声はサンプリング周波数 $12 \mathrm{kHz}$, 男性音声を用いている。被験者は関東圈内に在住する 25 歳から 35 歳までの男性 3 名, 女性 2 名の計 5 名である。音声資料が数百 $\mathrm{msec}$ といった短いものでありこれを聞き取り判断しなくてはならないため, 音声ラベリング作業などに従事し合成音声に慣れた者を被験者とした．音声合成を行う際の入力テキストは“本当（1 型アクセント）”“大丈夫（0 型アクセント)”“分からない (2 型アクセント)”の 3 単語を用いた。

最初に Fluet により生成された朗読調の合成音声を基準音として被験者に聴取させた上で，韻律パラメータを変化させた音声資料を聴取し，連想する言葉やシチユエーションなどを述べさせた．実験中，音声資料は何度聞いても良く，回答のための制限時間も設けなかった．実験中の様子は録音され，試験終了後に被験者の回答を全て書き起こした．被験者あたりの実験の平均時間は約 61 分となった. 書き起こした被験者の回答の中には, 名詞句, 形容詞句, 擬態語,固有名詞（○○さん風など）, 長文などがあった. これらの回答から韻律制御を最もよく表す連想表現を調べるために次の処理を行った。
- 長文など複数の印象を示す表現が含まれる回答は, 印象を的確に表すと考えられる表現ごとに分割を行う

・同義語などは，国語辞典などを参考に 1 つの単語に統一する

この処理の結果，各被験者が 1 つの音声資料を聴取した場合に回答された連想表現の数は,異なり語数として平均で約 6.5 語となった. 8 つのパターンから想起される印象の傾向については，上記の連想表現の出現頻度を求めることで可能である。しかし，3つの単語に共通に得ら

れる印象を調べるためにクラスター分析 (Hartigan 1983) を用いた. クラスター分析を行うにあたり，3つの単語“本当”“大丈夫”“分からない”のそれぞれの単語に出現した連想表現の出現頻度を用い，分析の項目として実験で現れた連想表現を用いた. クラスター間の距離計算はウォード法を用いた。

Pattern1 の実験結果を図 3 に示す。樹状図の下の葉の部分が連想表現とその出現頻度である.実験では 5 名が 3 つの単語に対しそれぞれ印象を述べるため，連想表現の出現頻度の最大値は 15 となる。また，分析対象とする最小頻度は 3 とした。例えば，連想表現「問いかけ」については 14 回の回答があったことになり最大值に近い結果が得られた.「意外」については，被験者が連想した回数が少なく 3 回となっている。葉から延びた線の高さがクラスター分析による連想表現間の距離を示しており，仮に出現頻度が同じでも出現する単語に偏りがあれば，連想表現間の距離は遠くなるため, 高さが異なったり枝分かれすることがある. さらに，高い位置で分岐している連想表現がそのクラスターを要約するものであるといえる．図 3 では，「問いかけ」が連想表現としての出現頻度が高く，3つの単語に共通に現れた連想表現であった。樹状図においても最も高い位置で分岐しており, これらのことから Pattern1 の与える印象の 1 つであるといえる．図の右側「驚き」「意外」「疑問」「確認」については，“本当”の連想表現として多く出現した。“本当”という真実を表す言葉と共に情報がうまく処理できていないことを表していると考えられる。「気遣う」は“大丈夫”の連想表現として多く出現した。“大丈夫”という状態がしっかりしている様を表す言葉と共に状態が安定していないということを表していると考えられる。「軽い」も“大丈夫”の連想表現として現れたが，落ち着いた状態でないこと

Pattern1

図 3 Pattern1 の連想表現のクラスター分析結果
Pattern2

図 4 Pattern2 の連想表現のクラスター分析結果

を表していることに関係していると考えられる。そして頻度の高かった「問いかけ」により， Pattern1 の韻律制御によって, 情報の信頼性やシチュエーションに対して不安定な状況にあることを伝える効果を持つことが分かる.

Pattern2 の結果を図 4 に示す.「了解」が連想表現としての出現頻度も高く, Pattern2 の与える印象の 1 つであるといえる。中央「相槌」「冷静」は“本当” の連想表現として多く出現しており，落ち着いた状態を示していることが分かる．「答える」は“大丈夫”の連想表現として多く出現し，右側の「納得」は“分からない”の連想表現として多く出現したが，何れも落ち着いている状態を示しているといえる。そして頻度の高かった「了解」により，Pattern2 の韻律制御によって，真意をみとめた落ち着いた状態を示す効果を持つことが分かる.

Pattern3の結果を図 5 に示す.「ゆっくり」が連想表現としての出現頻度も高く, Pattern3の与える印象の1つであるといえる. 右側の「考えている」「内容を整理する」は出現頻度が少ないが 3 つの単語に対して共通に得られた印象であった。中央の「思い返す」「確かめる」は“本当”の連想表現として多く出現した。左側「念を押す」は“大丈夫”“本当”の連想表現として多く出現した。そして頻度の高かった「ゆっくり」により, Pattern3 の韻律制御によって，情報処理や動作について時間を要すること・要していることを示す効果を持つことが分かる.

Pattern4の結果を図 6 に示す。「せかす」そして「早口」が連想表現としての出現頻度が高く， Pattern4の与える印象の1つであるといえる。右側の「軽い」「テンポ良く」「遮る」は“本当” の連想表現として多く出現した。左側「大丈夫」は“大丈夫”の意味そのままに連想表現として出現した。そして頻度の高かった「せかす」により, Pattern4 の韻律制御によって, 情報処

## Pattern3

図 5 Pattern3 の連想表現のクラスター分析結果
Pattern4

図 6 Pattern4 の連想表現のクラスター分析結果
理や動作について短い時間で対応することを示す効果を持つことが分かる.

Pattern5 の結果を図 7 に示す.「消極的」「沈んでいる」が連想表現としての出現頻度も高く,

Pattern5 の与える印象の 1 つであるといえる. 右側「冷静」は出現頻度が少ないが 3 つの単語に対して共通に得られた印象であった．中央「我慢」は“大丈夫” の連想表現として多く出現した. 左側「考え込む」「困る」は“分からない”の連想表現として多く出現した。そして頻度の高かった「消極的」「沈んでいる」により, Pattern5 の韻律制御によって，興奮を抑えた状態 (沈静) を示す効果を持つことが分かる.

Pattern6 の結果を図 8 に示す.「テンションの高い」が連想表現としての出現頻度も高く, Pattern6 の与える印象の1つであるといえる。中央の「驚き」は“本当”の連想表現として多く出現した. 左側「怒り」「いらいら」は“大丈夫”“分からない”の連想表現として多く出現した。右側「うれしそう」は“本当”の連想表現として多く出現した。そして頻度の高かった 「テンションの高い」により, Pattern6の韻律制御によって, 気持ちの高ぶっている様子を示す効果を持つことが分かる.

Pattern7 の結果を図 9 に示す.「様子を伺う」が連想表現としての出現頻度も高く, Pattern7 の与える印象の1つであるといえる。右側「低く構える」「心のこもらない」は“本当”の連想表現として多く出現した．中央の「冷静」は “本当” “大丈夫”の連想表現として多く出現した. 左側の「威圧的」「困惑」は“分からない”の連想表現として多く出現した。そして頻度の高かった「様子を伺う」により，Pattern7 の韻律制御によって相手に慎重な態度を示す効果を持つことが分かる.

## Pattern5

図 7 Pattern5 の連想表現のクラスター分析結果

## Pattern6

図 8 Pattern6 の連想表現のクラスター分析結果

Pattern7

図 9 Pattern7 の連想表現のクラスター分析結果

## Pattern8

図 10 Pattern8 の連想表現のクラスター分析結果

表 1 制御パターン毎の主要な連想表現とその頻度

Pattern8 の結果を図 10 に示す.「あきれる」と「緊張感の無い」が連想表現として出現頻度が高く, Pattern8の与える印象の1つであるといえる。左側の「なだめる」は“大丈夫”に多く出現した。右側の「弱々しい」は“分からない”に多く出現した。そして頻度の高かった「あきれる」と「緊張感の無い」により，Pattern8の韻律制御によって相手に対し緊張感が無いことを示す効果を持つことが分かる。

以上より，単語の意味の影響を受けながらも韻律制御によって与える印象について傾向があることがわかった，表 1 には，最も頻度の高かった印象（連想表現）をまとめている．各印象を MSCL の S 層のコマンド名として付与することで韻律制御の結果のイメージがつき易くなり作業が格段に早くなるものと考えられる。但し，Pattern6の「うれしそう」と「怒り」（図 8）のように同一の韻律制御規則の中でも対照的な印象が現れる場合もある.「うれしそう」と
「怒り」は共に興奮している状態に起因していると考えられるが，様々な情報をそぎ落として1 つの印象でコマンド名を表現する場合には十分な注意が必要であることが分かる。さらには， Pattern6 と Pattern1 においては異なる制御方法であるにも関わらず「驚き」という連想表現が表れている． 3 章でも述べるが韻律制御と印象の関係が多対多の関係になる場合がある。しかし, 記述言語というフレームワークにおいて 1 つのコマンド名に対し複数の効果のうちどれかを選択する方法を提供することは記述をより複雑にする可能性があり， $\mathrm{S}$ 層のコマンドの持つ容易さを失うことになる．多対多の関係ではなく，一対多の関係であることが望ましい。このため，MSCLでは「驚き」に対して，「驚愕」や「びっくり」等の同義語や「驚き $1 」 「$ 驚き 2$\rfloor$ などの番号を付与し, その中で利用者が適した「驚き」を選択する，という方法で一対多の関係を維持することとした．コマンド名は，韻律制御のための1つのヒントを与えるものであるといえる.しかし，本実験により平易な言葉でコマンド名を付与していくということについては限界があることが分かった。より専門的な表現を使ったり，ユニークな番号を付与したりすることで対応可能であるが，初学者に対してはコマンドが持つ効果を解説する必要がある．今回の実験のように概念を構造化する手法などを用いて, 利用者に分かりやすく説明する仕組みが必要であると考える。さらには，韻律制御において音声合成をしたいテキストに含まれる意味なども考慮しなくてはならないことがわかる.

## 3 韻律制御に基づく印象の変化の実験

次に表 1 の連想表現を印象語として用いて多数の被験者を対象に聴取評価実験を行う。被験者は前回と同様に 8 パターンによる韻律制御を行った合成音声を聴取し， 8 種類の印象語すべてに対して ““1. あてはまらない”, “2. どちらでもない”, “3. あてはまる”\} の 3 件法で回答を行う．被験者は関東圈内に在住する 25 歳から 35 歳までの男性 6 名, 女性 9 名の計 15 名である. 最初に基準音として朗読調の合成音声を聞き, 次に韻律制御を行った合成音声を一定間隔で 6 回提示する。その間に8つの項目全てを対象に印象として適切であるか回答を行う。前回と同様に音声合成には“本当”“大丈夫”“分からない”の 3 つの単語を用いている.

表 2 は評価結果の平均値を混同対照表 (Confusion Matrix)によって表したものである. 左側に表1の8パターンの韻律制御によって期待される連想表現を列記しており，それぞれがコマンド名に相当すると考えられる．上段には評価に用いた全ての印象語を記している．高い値を示している連想表現がより適切な合成音声に対する印象を表していることになる。例えば Pattern1 によって生成された「問いかけ」の合成音声については, 印象語「問いかけ」の評価が 2.9 となっており最も高い値となっている. その他の印象語については 2 を下回る値となっている. このことから, Pattern1によって生成された音声は「問いかけ」以外の 7 つの印象とは混同しにくいことが分かる．表の左上から右下にかけての値が全て高い值を示していることから，表
表 2 聴取実験結果の混同対照表

 &  &  & あきれた \\

&$\quad($ Pattern 3$)\end{aligned}$ & 2.5 & 2.2 & 2.8 & 1.0 & 2.7 & 1.2 & 2.6 & 1.5 \\

1 で得られた結果が概ね良好であることが分かる，但し，Pattern7によって生成された「様子を伺う」の合成音声については，「問いかけ」の印象が最も強く，その次に「様子を伺う」についての評価が高いという結果となった. Pattern7によって相手に慎重な態度を表すことを示したが，単一の言葉で表したときは「様子を伺う」に加えてさらに「問いかけ」という表現が受け入れやすいことが分かった.

次に表 2 の結果を箱ヒゲ図で用いて表したのが図 11 である。図の下に書かれた印象語に対し，評価値の分布がどのようになるかを示したものである．箱の中の太実線が平均値であり， コマンドに対する全印象語の評価平均を示す。例えば, 「問いかけ」については, 約 1.6 が平均値となっている。また, 箱の両端が標準偏差を示している。図中の黒丸はコマンドが表す印象語の評価值であり, 表 2 より 2.9 であることが分かる. 各評価値の分布に対し, 黒丸の位置は箱の上端より外に位置していることが分かる。この結果から, MSCL で表 1 の 8 つのコマンドを設定した場合, 他の 7 つのコマンドに対して生成される合成音声の印象の違いを利用者が受け入れやすいものと考えられる。但し, 表 2 の結果にもあるように Pattern7 が「問いかけ」と 「様子を伺う」の両方の印象として感じられる可能性が高いと考えられる．また，黒丸の平均値が 2 付近にあることから，コマンド名としてさらに適切なものも存在する可能性があると考えられる。

図 11 箱ヒゲ図による回答の分布 (3単語)

## 4 言葉の意味による影響

2 章で述べたように, 音声合成を行う単語などの持つ意味によって印象が変わる可能性がある。そこで，単語の意味による印象の変化について調べた。ここでは，“問いかけ”に着目し，問いかけ時に使われる単語 “もしもし”“どうする”を用いて 3 章と同様の実験を行った. 被験者は 3 章と同じ 15 名であり，2つの単語について 8 パターンの韻律制御を行った合成音声を生成し聴取させた。但し, 問いかけ時に使う言葉ではあるが，デフォルトの韻律生成規則に対し最終母音が上昇パターンになる指定は行っていない. 図 12 が実験結果である。黒丸の位置は全て分布の上端に来ていることから，8つの連想表現の中でそれぞれ韻律規則と関連の深いものが「あてはまる」と回答されやすいことを示している.

図 11 とは異なり，“問いかけ” の平均値が 2 を超えている。“了解”全体の分布は 1.5 を下回っている。また，“様子を伺う”の平均値が 2 を超えている，つまり，“問いかけ”“様子を伺う” は全ての制御規則において当該の印象を感じやすくなっており，逆に“了解” の印象を感じにくくしていることが分かる。この結果から, 韻律制御がもたらす印象の傾向はあるものの, 言葉の意味が印象に影響を与えることも分かった．MSCLにおける韻律制御においては，韻律制御規則とその主な印象，そして音声合成する言葉の意味の 3 つを考慮して行うことが必要であることがわかった。

図 12 単語の意味による評価結果の変化

## 5 制御規則の組み合わせによる印象の強調

これまでの結果から，“様子を伺う”は連想法では強い傾向が得られたものの，聴取実験ではコンテクストなどを排除した単体の言葉による被験者の解釈によって, 傾向として弱められた結果となった。つまり，2 章の連想法での被験者の回答は，緊張した面持ちで相手を注視するようなイメージに基づいた “様子を伺う”であった。しかし，連想表現としてまとめあげた段階で“様子を伺う”に関する語幹に多様性が生まれ, 例えば“問いかけ”よりもスコアが低くなってしまったものと考えられる。そこで, 連想法で得られた結果のように, “様子を伺う”について評価値を上げる方法を検討した. これまでの先行研究（白井, 岩田 1987 ; 有本, 大野, 飯田 2007）では，1つの印象を表現するためにいくつかの韻律制御を組み合わせることを行っている．継続時間長，抑揚，文末最終母音のピッチパターンなどのそれぞれの特徴的な傾向を複合的に用いることで，1つの印象を表現している。言い換えれば，韻律制御を因子とした線形結合で表されていると考えることができる。そこで我々は，“様子を伺う”について印象を補い合う（因子負荷が正となる）韻律制御を組み合わせて，評価値を上げることができるか実験を行った. 図 13 は， 3 章で得られた評価値と各項目の関係についてクラスター分析を行った結果である。図に示すように8つの韻律制御をパラメータとして用いた場合“様子を伺う”は“問いかけ”と近いクラスに属することが分かった。そこで，“問いかけ”で最も高い評価値を持つ Pattern1を用いて, Pattern7 と Pattern1を組み合わせた時の“様子を伺う”の評価値を調べる.評価は, より詳細に印象の強さを調べるために「非常に含んでいる $(+3) 」$ から「非常に含んでいない $(-3)$ までの 7 件法 (大山他 1973) を用いた. 被験者は関東圈内に在住する 25 歳から 35 歳までの女性 6 名である。音声は “本当”の合成音声を用いている。“本当”の音声を選択し

表 3 制御規則の組み合わせによる“様子を伺う”の評価結果

図 13 クラスター分析による類似度の分析

た理由は 3 章の実験を行った際に，例えば Pattern7 の評価値が “様子を伺う”で 2.5 ，“問いかけ”で 2.3 と連想表現と韻律制御が 2 章で行った連想法の実験に比較的似ていることが分かったためである。表 2 に結果を示す.

Pattern7 のみの場合では評価の平均値が 1.67 (「やや含んでいる」と「かなり含んでいる」の中間）であった。これに対し 2 つの規則を組み合わせることで被験者の平均が 3.0 (「非常に含んでいる」）になった。この結果, Pattern7+Pattern1という組み合わせにより， $\mathrm{S}$ 層の新たなコマンドである，“（より強い印象を与える）様子を伺う”が定義できることが分かった．本実験は組み合わせることの効果の一例ではあるが，このようにいくつかの組み合わせの手法を導き，それらを記述によって表現できる仕組みを検討していく予定である.

## 6 まとめ

本研究は MSCL を様々な利用者が利用するための韻律制御の 1 つの考え方やコマンドの作成方法について述べた。文節という制御単位ではあるが韻律制御規則の規定を行い，韻律制御規則と印象の関係を導くことで利用者がより直感的に編集可能になった。また, 留意点としては,制御規則と印象が 1 対 1 の関係ではなく 1 対多の関係にあり，1つの制御規則に対して得られる印象をいくつか知っておく必要がある．MSCL で編集作業を行う際は, 制御規則, 印象, 言葉の意味をセットで考慮することで，より高い効果での韻律制御が可能であることが分かった。 さらには，MSCLの特徵である制御規則を組み合わせることで印象を強めることが可能であることが分かった．MSCLを利用する上で重要な要素のいくつかを確認できたが，より便利に使うためには，文節単位以上に，文単位あるいは文章単位での制御を可能にする制御規則が必要になってくると考えられる。また，8つの時系列変化パターンだけでなく, 韻律制御規則を増や

し, 様々な印象が表現できるコマンドを用意していく必要がある. さらには, 利用者が MSCL で編集作業を行うためのノウハウを体系的にまとめていきたいと考えている。その1つとして，韻律制御による効果をクラスター分析などにより構造化し，効果的に説明することを課題としている，今回は，物理パラメータの制御と印象の関係について分析を行ったが，被験者の所在地や年齢の範囲が限定的であるため，地域差や年齢差等による影響についても検討が必要であると考える。また，このレベルの検討を行いながら新たな制御規則を創出することは一般の利用者が行うことは難しいと考える，その労力を軽减するために，今回の韻律制御規則をテンプレートとして, 実音声の韻律パターンを抽象化し, 新しい制御規則の手がかりにする方法などがあり，これらが今後の課題であるといえる。

## 参考文献

阿部匡伸他 (2001). 音声デザインツール Sesign. 信学会論文誌 D-II, J84-D-II (6), pp. 927-935. Allen, J., Hunnicutt, M., and Klatt, D. (1987). From text to speech: The MITalk system. Cambridge University Press.

有本, 大野, 飯田 (2007).「怒り」の発話を対象とした話者の感情の程度推定法. 自然言語処理, 14 (3), pp. 149-163.

箱田, 佐藤 (1980). 文音声合成における音調規則. 信学会論文誌 D-II, J63-D (9), pp. 715-722.箱田, 塚田, 吉田, 広川, 水野 (1996). 波形合成法を用いたテキスト音声合成ソフトウェア (FLUET). 信学会 IS ソサイエティ大会.

Hartigan, J. A. (1983). クラスター分析. マイクロソフトウェア株式会社.

広瀬, 高橋, 藤崎, 大野 (1994). 音声の基本周波数パターンにおける話者の意図・感情の表現.

テクニカル・レポート, 信学技法 HC94-41, pp. 33-40.

川上秦 (1956). 文頭のイントネーション.テクニカル・レポート, 国語学, 24, pp. 21-30.

Klatt, D. (1987). "Reaview of text-to-speech conversion for English." J. Acoust. Soc. Am, 82 (3), pp. 737-793.

水野秀之 (2005). コーパスベース音声合成における音声合成単位とコーパスの設計方法. 信学技報, SP2005 (10), pp. 25-30.

Mizuno, O. and Nakajima, S. (1998). "Synthetic Speech/Sound Control Language: MSCL." In Third ESCA/COCOSDA Workshop on Speech Synthesis, pp. 21-26.

中山, 町野, 北岸, 岩城, 奥平 (2005). 音を用いたモーションメディアコンテンツ流通方式の提案とそのネットワークコミュニケーションサービスへの応用. 日本ロボット学会誌, $2 \mathbf{2 3}(5)$, pp. 602-611.

成澤, 峯松, 広瀬, 藤崎 (2007). 音声の基本周波数パターン生成過程モデルのパラメータ自動
抽出法の評価. テクニカル・レポート, 信学技法, SP2002-27.

西本, 志田, 小林, 白井 (1996). マルチモーダル入力環境下における音声の協調的利用一音声

作図システム S-tgif の設計と評価. 信学会論文誌 D-II, J79-D-II (12), pp. 2176-2183.

大山他 (1973). 心理学研究法 4 実験 III. 東京大学出版.

Raman, T. V. and Gries, D. (1997). "Audio formatting? Making spoken text and math comprehensible." International Journal of Speech Technology, 2 (1), pp. 21-31.

Ramming, J. C. (1998). "PML: A Language Interface to Networked Voice Response Units." In Workshop on Internet Programming Languages, ICCL '98.

Sasajima, M., Yano, T., and Kono, Y. (1999). "EUROPA: A Generic Framework for Developing Spoken Dialogue Systems." In EUROSPEECH99, pp. 1163-1166.

白井克彦, 岩田和彦 (1987). 音声合成のための単語の強調表現の規則化. 信学論文誌, J70-A (5), pp. 816-821.

総務省報告資料 (2007). 電気通信アクセシビリティガイドラインの国際標準化. テクニカル・レポート, 総務省.

SSML. "SSML." http://www.w3.org/TR/2007/WD-speech-synthesis11-20070110/.

翠, 河原他 (2007). 質問応答・情報推薦機能を備えた音声による情報案内システム. 情報処理学会, 48 (12), pp. 3602-3611.

VoiceXML. "VoiceXML." http://www.voicexml.org/.

Yamato, J., Shinozawa, K., Naya, F., and Kogure, K. (2001). "Effects of Conversational Agent and Robot on User Decision." Tech. rep., IJCAI-01 Workshop.

## 略歴

水野理：1994 年早大理工電気工学科大学院修了. 同年日本電信電話株式会社入社. NTT サイバースペース研究所勤務. 言語処理学会, 日本音響学会各会員.

阿部匡伸：1982 年早大 - 理工・電気卒. 1984 年同大大学院修了. 博士 (工学).同年日本電信電話公社入社. 1987 年から 1991 年まで ATR 自動翻訳電話研究所出向. 1989 年 MIT 滞在研究員. 1991 年日本音響学会第 8 回粟屋潔学術奨励賞, 1996 年日本音響学会第 36 回佐藤論文賞各章受賞. 現在, NTT サイバー ソリューション研究所勤務主幹研究員. 著書「Recent progress in Japanese Speech Syn thesis」.日本音響学会, 電子情報通信学会, IEEE 各会員.
水野, 阿部音声合成のための韻律制御コマンド作成方法の検討

(2009 年 2 月 17 日受付)

(2009 年 5 月 12 日再受付)

(2010 年 2 月 15 日再々受付)

(2010 年 3 月 15 日採録)


# 自動獲得した未知語の読み・文脈情報による仮名漢字変換

笹田 鉄郎 $\cdot$ 森 信介方,
}

未知語の問題は，仮名漢字変換における重要な課題の 1 つである。本論文では，内容の類似したテキストと音声から未知語の読み・文脈情報をコーパスとして自動獲得し, 仮名漢字変換の精度向上に利用する手法を提案する。まず, 確率的な単語分割によって未知語の候補となる単語をテキストから抽出する。次に, 各未知語候補 の読みを複数推定して列挙する。その後, テキストに類似した内容の音声を認識さ せることによって正しい読みを選択する。最後に, 音声認識結果を学習コーパスと みなして仮名漢字変換のモデルを構築する。自動収集されたニュース記事とニュー ス音声を用いた実験では，獲得した未知語の読み・文脈情報を仮名漢字変換のため の学習コーパスとして用いることで，精度が向上することを確認した.

キーワード : 未知語, 音声認識, 仮名漢字変換
## Kana-Kanji Conversion by Using Unknown Word-Pronunciation Pairs with Contexts

\author{
Tetsuro Sasada ${ }^{\dagger}$, Shinsuke Mori ${ }^{\dagger, \dagger \dagger}$ and Tatsuya Kawahara ${ }^{\dagger, \dagger \dagger}$
}

One of the significant problems of kana-kanji conversion (KKC) systems is unknown words. In this paper, for the purpose of improvement in KKC accuracy, we propose a method for extracting unknown words, their pronunciations and their contexts from similar sets of Japanese text data and speech data. Unknown word candidates are extracted from text data with a stochastic segmentation model, and their possible pronunciation entries are hypothesized. These entries are verified by conducting automatic speech recognition (ASR) on audio data on similar topics. As a result of ASR, we obtain a corpus for training a stochastic model for KKC. In the experiment, we use automatically-collected news articles and broadcast TV news covering similar topics. We made experimental evaluations with our KKC back-end enhanced with these corpora on other web news articles and observed an improvement in the accuracy.

Key Words: unknown word, automatic speech recognition, kana-kanji conversion

## 1 はじめに

計算機の急速な普及に伴い, 様々な自然言語処理システムが一般に用いられるようになっている。中でも，日本語の仮名漢字変換は最も多く利用されるシステムの 1 つである. 仮名漢字変換の使いやすさは変換精度に大きく依存するため, 常に高精度で変換を行うことが求められる. 近年では, 変換精度の向上とシステム保守の効率化を両立させるために, 確率的言語モデルに基づく変換方式である統計的仮名漢字変換 (森, 土屋, 山地, 長尾 1999) が広まりつつある.

変換精度を向上させる上で問題となるのは, 多くの言語処理システムと同様, 未知語の取り扱いである．統計的仮名漢字変換では, 文脈情報を反映するための単語 $n$-gram モデル, 入力である読みと出力である単語表記の対応を取るための仮名漢字モデルの 2 つのモデルによって出力文候補の生成確率を計算し, 候補を確率の降順に提示するが, 未知語（単語 $n$-gram モデルの語彙に含まれない単語）を含む候補の生成はできない.この問題に対処して変換精度を向上させる一般的な方法は, 仮名漢字変換の利用対象分野における未知語の読み・文脈情報を用いたモデルの改善である.

仮名漢字変換の利用対象となる分野は多岐に渡っており, 未知語の読み・文脈情報を含む対象分野の学習コーパスがあらかじめ利用可能であるという状況は少ない. このため, 情報の付与されていない対象分野のテキストに必要な情報を付与して学習コーパスを新たに作成するということが行われる。しかしながら，未知語の中には，読みや単語境界をテキストの表層情報から推定することが困難な単語が少なからず存在する。このような場合には, 対象分野の学習コーパスを作成するためにその分野についての知識を有する作業者が必要となるなど，コストの面で問題が多い.

上記の問題を解決するために，本論文では，テキストと内容の類似した音声を認識することで未知語の読み・文脈情報を単語とその読みの組として自動獲得し, 統計的仮名漢字変換の精度を向上させる手法を提案する，以下に手法の概略を述べる。まず，情報の付与されていない対象分野のテキストから, 未知語の出現を考慮した単語分割コーパスである疑似確率的単語分割コーパスを作成し, 未知語候補の抽出を行う. 次に, 疑似確率的単語分割コーパスから音声認識のための言語モデルを構築するとともに, 未知語候補の読みを複数推定・列挙し, 発音辞書を作成する. その後, 言語モデルと発音辞書を用いて対象分野の音声を認識し, 音声認識結果から単語と読みの組の列を獲得する。最後に, 獲得した単語と読みの組の列を統計的仮名漢字変換の学習コーパスに追加して言語モデルと仮名漢字モデルを更新する.

実験では, 統計的仮名漢字変換のモデル構築に用いる一般分野のコーパスに, 獲得した未知語の読み・文脈情報を追加し，モデルを再構築することで変換精度が向上することを確認した。本論文で提案する枠組みは，対象分野のテキストと音声の自動収集が可能であるという前提のもとで，未知語に対して頑健なモデルを構築することができるため, 統計的仮名漢字変換の効
率的かつ継続的な精度向上に有効である.

## 2 単語 $n$-gram モデルとその応用

確率を計算する枠組みを与えるためのモデルである (北 1999). 本節では, 最も一般的な確率的言語モデルの 1 つである単語 $n$-gram モデルとその応用について述べる.

## 2.1 単語 $n$-gram モデル

本項では, 確率的言語モデルとして広く用いられる単語 $n$-gram モデルならびにモデルパラメータの推定について述べる.

単語 $n$-gram モデルは, 文を単語列 $\boldsymbol{w}=w_{1} w_{2} \cdots w_{h}$ とみなし, 単語の生起を $(n-1)$ 重マルコフ過程で近似したモデルである。 すなわち, 単語 $n$-gram モデルにおいて, ある時点での単語 $w_{i}$ の生起は直前の $(n-1)$ 単語に依存する. ここで, 単語列 $\boldsymbol{w}$ の生成確率 $M_{w, n}(\boldsymbol{w})$ は以下の式で与えられる。

$
M_{w, n}(\boldsymbol{w})=\prod_{i=1}^{h+1} P\left(w_{i} \mid \boldsymbol{w}_{i-n+1}^{i-1}\right)
$

この式で, $w_{i}(i \leq 0)$ と $w_{h+1}$ はそれぞれ文頭と文末を表す特別な記号である.

言語モデル構築の際には，学習コーパス内で観測されたデータの生じる確率を最大にするように最尤推定法でモデルパラメータを決定することが一般的である．最尤推定で単語 $n$-gram モデルのパラメータ推定を行う場合は，あらかじめ単語分割されているコーパス内に出現する単語 $n$-gram の頻度を計数し, 以下の式によって単語 $n$-gram の確率を求める.

$
\begin{aligned}
& P\left(w_{i}\right)=\frac{f\left(w_{i}\right)}{f(\cdot)} \quad(\text { if } \quad n=1) \\
& P\left(w_{i} \mid \boldsymbol{w}_{i-n+1}^{i-1}\right)=\frac{f\left(\boldsymbol{w}_{i-n+1}^{i}\right)}{f\left(\boldsymbol{w}_{i-n+1}^{i-1}\right)} \quad(\text { if } \quad n>1)
\end{aligned}
$

式 (1)において, $f\left(w_{i}\right)$ はコーパス内の単語 $w_{i}$ の出現頻度（1-gram 頻度）を表し, $f(\cdot)$ はコー パス内における全ての単語の出現頻度（0-gram 頻度）を表す。式 (2)において, $f\left(\boldsymbol{w}_{i-n+1}^{i}\right)$ はコーパス内における連続する $n$ 単語の組の出現頻度（ $n$-gram 頻度）を表す.

ここで，未知語を含む単語列の生成確率を単語 $n$-gram モデルで計算する場合を考える，未知語を含む単語列の生成確率が 0 となることを防ぐため, 未知語を表す特別な記号 $U W$ を用意

して，モデル構築の際に他の語彙エントリと同様に 0 より大きい確率を与えておく．未知語を予測するには，まず単語 $n$-gram モデルにより $U W$ を予測し，さらにその表記（文字列） $\boldsymbol{x}$以下の文字 $n$-gram モデルにより予測する。

$
M_{x, n}(\boldsymbol{x})=\prod_{i=1}^{h^{\prime}+1} P\left(x_{i} \mid \boldsymbol{x}_{i-n+1}^{i-1}\right)
$

ここで $x_{i}(i \leq 0)$ と $x_{h^{\prime}+1}$ は，それぞれ語頭と語末を表す特別な記号である.

本項で述べた $n$-gram モデルの応用として, 文献 (永田 1999a) では日本語や中国語のように分かち書きされない言語に対する形態素解析器を提案している. また, 文献 (長野, 森, 西村 2006) では, 文献 (永田 1999a) で提案された手法の拡張として, 式 (1)(2) における $w_{i}$ を単語,読み, アクセント, 品詞の 4 つ組に置き換えた $n$-gram モデルによってテキストの読みとアクセントの推定を行うシステムを提案している.

## 2.2 統計的仮名漢字変換

本項では, (森他 1999) で提案されている確率的モデルを用いた統計的仮名漢字変換について述べる。

日本語の仮名漢字変換システムは, 計算機のキーボードからの入力記号列 $2 \boldsymbol{z}$ を仮名漢字混じり文である文字列 $\boldsymbol{x}$ に変換する。ここでは，出力を文字列 $\boldsymbol{x}$ とする代わりに単語列 $\boldsymbol{w}$ とし， 入力記号列 $\boldsymbol{z}$ に対応する候補 $\boldsymbol{w}$ を以下に示す事後確率 $P(\boldsymbol{w} \mid \boldsymbol{z})$ が大きいものから順に列挙する.

$
P(\boldsymbol{w} \mid \boldsymbol{z})=\frac{P(\boldsymbol{z} \mid \boldsymbol{w}) P(\boldsymbol{w})}{P(\boldsymbol{z})}
$

最尤の変換結果 $\hat{\boldsymbol{w}}$ は, $P(\boldsymbol{w} \mid \boldsymbol{z})$ をべイズの定理により以下のように変形することで求めることができる.

$
\hat{\boldsymbol{w}}=\underset{\boldsymbol{w}}{\operatorname{argmax}} P(\boldsymbol{z} \mid \boldsymbol{w}) P(\boldsymbol{w})
$

式 (4)において, 後半の $P(\boldsymbol{w})$ は言語モデルであり, 2.1 節で述べた単語 $n$-gram モデルを用いることができる. 前半の $P(\boldsymbol{z} \mid \boldsymbol{w})$ は確率的仮名漢字モデルと呼ばれ, 単語列 $\boldsymbol{w}$ が与えられた際の入力記号列の生成確率を表す。ここで述べている変換モデルでは出力を文字列 $\boldsymbol{x}$ ではなく単語列 $\boldsymbol{w}$ とみしているため, 単語と入力記号列との対応関係がそれぞれ独立であると仮定することで $P(\boldsymbol{z} \mid \boldsymbol{w})$ は以下の式で表される.

$
P(\boldsymbol{z} \mid \boldsymbol{w})=\prod_{i=1}^{h} P\left(z_{i} \mid w_{i}\right)
$

ここで, 部分入力記号列 $z_{i}$ は単語 $w_{i}$ に対応する入力記号列であり, 全体の入力記号列は $\boldsymbol{z}=$ $z_{1} z_{2} \cdots z_{h}$ となる.

仮名漢字モデルのパラメータ推定には, 単語ごとに入力記号列が付与されたコーパスを用い,式 (5) における確率 $P\left(z_{i} \mid w_{i}\right)$ の値は，以下の式によって計算される.

$
P\left(z_{i} \mid w_{i}\right)=\frac{f\left(z_{i}, w_{i}\right)}{f\left(w_{i}\right)}
$

ここで $f\left(z_{i}, w_{i}\right)$ は単語と読みの組の出現頻度であり, $f\left(w_{i}\right)$ は単語出現頻度である.

## 2.3 確率的単語分割コーパス

$n$-gram モデルの性能はパラメータ学習のためのコーパスに大きく依存する。しかし, 決定的な単語分割を行うコーパスを単語 $n$-gram モデルのパラメータ推定に用いる場合, 分割誤りによって未知語の出現頻度が 0 となっている可能性がある. このようなコーパスから構築される単語 $n$-gram モデルは未知語に対する頑健性に欠けるため, 本項では, 確率的単語分割コーパス並びにその近似である疑似確率的単語分割コーパス (森, 小田 2009)の枠組みを用いてこの問題に対処する方法を述べる。

## 2.3.1 確率的単語分割コーパスを用いた $n$-gram 確率の推定

日本語の単語分割は, 入力文における各文字間に単語境界があるかどうかを決定する問題とみなせる. 入力となるコーパスを長さ $n_{r}$ の文字列 $\boldsymbol{x}_{1}^{n_{r}}=x_{1} x_{2} \cdots x_{n_{r}}$ としたとき, 確率的単語分割コーパスは隣接する 2 文字 $x_{i}$ と $x_{i+1}$ の間に単語境界確率 $P_{i}$ を与えたものとして定義される。ここでは，確率的単語分割コーパスを作成するために最大エントロピーモデルを用いて単語境界確率の推定を行う (森, 小田 2009). 単語境界をある文字列境界が単語境界であるか否かを決めるための素性として, 単語境界の周辺 $x_{i-2}^{i+2}$ の範囲の文字 $n$-gram $(n=1,2,3)$ と文字種の情報を用いる。

ここで, 確率的単語分割コーパス内での単語の扱いについて述べる。決定的に単語分割されたコーパスにおいて，単語 0-gram 頻度はコーパス中の全単語数, 単語 1-gram 頻度はそれぞれの単語の出現頻度である。確率的単語分割コーパスにおいては, 単語 0-gram 頻度 $f(\cdot)$ はコー パス中に現れる全ての部分文字列の期待頻度として, 以下の式で定義される.

$
f(\cdot)=1+\sum_{i=1}^{n_{r}-1} P_{i}
$

また, 確率的単語分割コーパス中のある 1 箇所に現れる単語 $w$ の期待頻度 $f(w)$ は, 文字列

図 1 確率的単語分割コーパスにおける期待頻度

$x_{i+1} x_{i+2} \cdots x_{i+k}$ が単語 $w$ である確率を以下に示す式から計算することで得られる.

$
f(w)=P_{i}\left[\prod_{j=1}^{k-1}\left(1-P_{i+j}\right)\right] P_{i+k}
$

これは $x_{i+1}$ の左側 ( $i$ 番目の文字列境界）が単語境界， $x_{i+1} x_{i+2} \cdots x_{i+k}$ の間にある文字列境界が単語境界ではない， $x_{i+k}$ の右側が単語境界である，というときに文字列 $x_{i+1} x_{i+2} \cdots x_{i+k}$ が単語 $w$ である確率を示している。確率的単語分割コーパス中における単語 $w$ とその期待頻度の扱いを図 1 に示す. $f(w)$ は 1 箇所の $w$ に対する期待頻度なので, 単語 1-gram 期待頻度はコー パス中の全ての出現にわたる期待頻度の合計となる. 単語 $n$-gram 期待頻度 $(n \geq 2)$ についても, 単語境界である確率 $P_{i}$ と単語境界ではない確率 $\left(1-P_{i}\right)$ から同様に期待頻度の計算を行う.単語 $n$-gram 確率は, 式 (1)(2) における $n$-gram 頻度を $n$-gram 期待頻度として推定する.

以上に述べた確率的単語分割コーパスから構築される単語 $n$-gram モデルは, テキスト中に出現する全ての部分文字列が語彙となるため, 未知語に対して頑健なモデルとなる.

## 2.3.2 疑似確率的単語分割コーパス

上述の確率的単語分割コーパスを用いて $n$-gram 確率の推定を行う場合, 単語の出現頻度を計算するために多くの計算時間が必要となる.

本節では, この問題に対処するために提案されている疑似確率的単語分割コーパス (森, 小田 2009)の枠組みについて述べる。これにより，決定的に単語分割されたコーパスを用いて確率的単語分割コーパスに近い $n$-gram 確率を推定することができ，かつ未知語に対する頑健性を保持することができる.

疑似確率的単語分割コーパスは, 確率的単語分割コーパスに対して以下の処理を最初の文字から最後の文字まで $\left(1 \leq i \leq n_{r}\right)$ 行うことで得られる.

(1) 文字 $x_{i}$ を出力する.

(2) 乱数 $r_{i}\left(0 \leq r_{i}<1\right)$ を発生させ $P_{i}$ と比較する. $r_{i}<P_{i}$ の場合には単語境界記号（空白） を出力し, そうでない場合には何も出力しない.

これにより, 確率的単語分割コーパスの特徴をある程度反映し，かつ決定的に単語分割されたコーパスを得ることができる。この処理を 1 回行って得られるコーパスにおいて，文字列としての出現頻度が低い単語 $n$-gram の頻度は, 確率的単語分割コーパスから期待頻度を計算した場合と大きく異なる可能性がある。近似による誤差を減らすためには，上記の手続きを $M$ 回行って得られる単語分割コーパス全てを単語 $n$-gram 頻度の計数の対象とすればよい. このコーパスを疑似確率的単語分割コーパスと呼び， $M$ をその倍率と呼ぶ.

## 3 未知語とその読み・文脈情報の自動獲得

本節では, 仮名漢字変換の対象となる分野のテキストと音声を用いて未知語の読み・文脈情報を自動獲得し，統計的仮名漢字変換で用いられる言語モデルならびに仮名漢字モデルの性能を改善させる手法について述べる。

## 3.1 提案手法の概略

本項では提案手法の概略について述べる。図 2 に提案手法全体の概要を示す。本研究では,人手によって読みと単語境界が付与されている一般分野のコーパス $C_{b}$ があらかじめ用意されているものとする。また，以下では一般分野のコーパスから読みを取り除いたコーパスを一般分野の単語分割コーパスと記述し, その中に存在する単語を既知語, それ以外の単語を未知語

図 2 提案手法の概要図

## と定義する.

提案手法では, 以下に示す 4 段階の処理により, 未知語の読み・文脈情報を未知語を含む単語と読みの組の列として音声認識結果から獲得 3 し， 統計的仮名漢字変換のモデルを更新する.

（1） 情報の付与されていない対象分野のテキストから疑似確率的単語分割コーパスを作成し,未知語の候補となる単語 (以下，未知語候補と記述する）の抽出を行う（3.2 項を参照）.

(2) 疑似確率的単語分割コーパスを用いて音声認識のための言語モデルを構築する。また,未知語候補の読みを複数推定し, 音声認識のための発音辞書を作成する (3.3 項参照).

（3）準備した言語モデル，発音辞書，音響モデルを用いて対象分野の音声を認識し，音声認識結果から単語と読みの組の列を獲得する（3.4 項を参照）.

(4) 獲得した単語と読みの組の列を統計的仮名漢字変換の学習コーパスに追加して言語モデルと仮名漢字モデルを更新する（3.5 項を参照）.

以下では, これらの処理について詳細を述べる.

## 3.2 疑似確率的単語分割コーパスを用いた未知語候補の抽出

まず，獲得対象となる未知語候補を単語境界の付与されていない対象分野のテキストから抽出する。本項では, 2.3 項で述べた疑似確率的単語分割コーパスを用いた未知語候補の抽出について述べる。

疑似確率的単語分割コーパスは決定的に単語分割されたコーパスの集合であるが，全く同様の文であっても単語境界に摇れが存在するため，未知語の分割誤りを抑制可能である。しかしながら，テキスト中に出現する全ての部分文字列が単語になり得るという疑似確率的単語分割コーパスの性質上, 低頻度の文字列は単語として適切ではないものが多い.このため, 出現頻度閾値を設定して適切な未知語候補を抽出する。

以下では，未知語候補「守屋」を抽出する場合を例にとり，その手続きを示す。

(1) 一般分野の単語分割コーパスから単語境界確率を推定するためのモデル（2.3.2 項を参照） を構築し，対象分野のテキストに単語境界確率を付与する。

$

$

(2) 単語境界確率と乱数の比較を行い, 倍率 $M$ の疑似確率的単語分割コーパスを作成する.

(3) 作成した疑似確率的単語分割コーパス内に出現する単語のうち, 頻度 $F_{t h}$ 以上の未知語 （一般分野のコーパスに出現しない単語）を未知語候補として抽出する.

次項では，未知語候補の音声認識を行うための言語モデルと発音辞書について述べる。

## 3.3 未知語候補を含む言語モデルと発音辞書の作成

音声認識システムを用いて未知語候補を正しい読みとともに認識するためには，未知語候補が語彙に含まれる言語モデルと発音辞書が必要である。本項では，未知語候補を考慮した言語モデルならびに発音辞書の作成方法について述べる.

まず，音声認識のための言語モデルを構築する。大語彙連続音声認識システムを用いる場合には，対象分野のコーパスと一般分野のコーパスを用いて対象分野に適合した言語モデルの構築を行うことが一般的である (Matsunaga, Yamada, and Shikano 1992) (伊藤, 好田 2000). 本研究では, 3.2 項で作成した疑似確率的単語分割コーパスを一般分野の単語分割コーパスに追加し，言語モデルを構築する。

次に, 未知語候補の読みを複数推定し, 既知語から作成された発音辞書に追加する。読みの推定は, 2.1 項の $n$-gram モデルにおける単語 $w$ を文字とその読みの組に置き換えた $n$-gram モデルによって行う，以下では，未知語候補「守屋」を例にとって説明する。

(1) 単語を 1 文字ごとに分割し，それぞれの文字について単漢字辞書から得られる読みを列挙する.

（2）各文字の読みを組み合わせ，可能性のある単語の読みを列挙する.

$
\text { マモヤ, マモオク, シュヤ, シュオク, モリヤ, モリオク }
$

（3）文字と読みの組を単位とする $n$-gram モデルにより，単語表記からの読みの生成確率を計算する.

（4）読みが付与されている一般分野のコーパスから発音辞書を作成し, (3) で推定した未知語候補と読みの組の中から, 確率の上位 $L$ 個を追加する。この際, $L$ 個の未知語候補と読みの組の生成確率を反映させるため，単語の読みごとの確率を発音辞書に記述する 4.

上記の例における「守屋」の正しい読みは「モリヤ」であるが, (3) で述べた $n$-gram モデルによって与えられる確率 $P$ (モリヤ|守屋) は最大とならないため, 確率の比較による正しい読みの選択は難しい，次項では，本項で作成した言語モデルと発音辞書を用いた音声認識によって未知語候補の正しい読みを選択する方法について述べる。

## 3.4 未知語の読み・文脈情報の獲得

前項の処理で発音辞書中に列挙される未知語候補の読みの中に正しい読みが含まれている場合には，音声認識によって未知語候補を含む単語と読みの組の列が得られる. しかし, 前項の処理で推定した読みの多くは誤った読みであるため, 音声認識の際に似た発音の単語を取り違え, 誤った読みの未知語候補を出力する可能性がある。この問題に対処するため, ここでは言語モデルならびに音響モデルの尤度を反映した事後確率から計算される信頼度 (Wessel, Schlüter, and Ney 2001）5を用いて，認識結果における単語の文脈上の妥当性を判定する．ある単語の信頼度 $C M$ は 0 から 1 の間の値で与えられ，大きい值であるほど信頼性が高いとみなされる。

以下では，音声認識を用いて未知語の読み・文脈情報を単語とその読みの列として獲得する手順を示す.

(1) 対象分野のテキストと同様の話題を扱った音声と, その音声に適合した音声認識用の音響モデルを用意する。

（2）（1）の音響モデルと， 3.3 項の処理によって得られた言語モデルならびに発音辞書を用いて (1)の音声に対し音声認識を行い, 単語, 読み, 単語信頼度の 3 つ組の列を出力する.

(3) 音声認識結果のうち, 単語信頼度が $C M_{t h}$ 以上の単語を抽出し, 連続する単語とその読みの組の列を作成する。なお，単語信頼度が $C M_{t h}$ より小さい単語は抽出せず，それまでに抽出された単語とその読みの列を独立した文とみなす.

## 3.5 統計的仮名漢字変換のためのモデル構築

仮名漢字変換のモデル性能を改善するには，対象分野の学習コーパスを大量に用意することが重要である。人手によって十分な量のコーパスを作成することはコストの面で実用的ではないため，まずテキストの読み推定を行うことによって対象分野のテキストに単語境界と読みを自動的に付与する. ここでは, 2.1 項の式 (1)(2)において単語 $w$ を単語と読みの組に置き換え, 読み推定のための $n$-gram モデルを一般分野のコーパス $C_{b}$ から構築する。この結果得られるコー パスを $C_{n}$ とする. 一般的には，情報の付与されていない対象分野のテキストのみを大量に入手可能である, という状況が多いため, 上述の読み推定システムや形態素解析器の利用によって大規模なコーパス $C_{n}$ を作成し， $C_{b}$ と $C_{n}$ からモデルを構築することによって変換精度を向上させることが可能である。しかしながら $C_{n}$ は一般分野のコーパス $C_{b}$ から構築されるモデルを用いたシステムによって単語境界や読みを付与されるため， $C_{b}$ の内部に出現しない未知語の情報をモデルに反映させることは難しい。この問題を解決するため, 提案手法では 3.4 項の処理によって獲得される, 未知語を含む単語と読みの列をコーパス $C_{r}$ とみなし, $C_{r}$ によって未知語の読み・文脈情報をモデルに反映させ，未知語の変換精度の向上を図る。

## 4 評価

本節では， 3 節で述べた提案手法の評価実験について述べる。まず， 3.2 項～ 3.4 項で述べた手法に従って，未知語の読み・文脈情報を単語とその読みの組の列として獲得した. その後, 3.5
項で示した学習コーパスから統計的仮名漢字変換の言語モデルならびに仮名漢字モデルを構築して精度評価を行い，提案手法の有効性を検証した。

## 4.1 実験で利用するテキストと音声

本項では，実験を行う際にあらかじめ準備するデータ，ならびに実験の過程で利用するデー 夕について述べる。

## 4.1.1 テキスト

本実験において利用するテキストコーパスを以下に示す.

一般分野のコーパス $C_{b}$ には現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese; BCCWJ) (小椋, 小磯, 冨士池, 原 2008) を用いた. BCCWJはあらかじめ単語分割がされており, 各単語に読みが付与されている6. ここで, BCCWJ の内部に出現する全ての単語が既知語となる.

対象分野のテキストとして，2007 年 11 月 2 日から 2008 年 1 月 8 日のうち 68 日間のウェブニュースを自動収集したものを用いた。このウェブニューステキストには情報が付与されていないため, このテキストに対して 3.5 項で示した手法を適用することで, 単語分割と読みの付与を自動的に行い，コーパス $C_{n}$ を作成した。また, ウェブニュースのテキストは 3.2 項で述べた疑似確率的単語分割コーパスの作成に用いた.

後述する 4.2 項の実験により, 音声認識結果 $C_{r}$ として単語と読みの組の列が獲得される. $C_{r}$ は， $C_{n}$ と同様に仮名漢字変換のためのモデル構築に用いた.

テストセット $C_{t}$ として, 2008 年 1 月 9 日, 2008 年 1 月 10 日の 2 日間のウェブニュースを単語分割し，読みを付与したものを用いた。

以上に述べたテキストコーパスの文数, 単語数, 文字数を表 1 に示す. なお, 表 1 において,

表 1 コーパスの一覧

仮名漢字変換の精度評価では， $C_{b}, C_{n}, C_{r}$ をモデル学習に， $C_{t}$ をテストに用いた.
* 自動読み推定ならびに音声認識システムの出力から単語数を計数した.

表 2 テストセット $C_{t}$ の未知 $n$-gram 率 (\%)

対象分野のテキストに対する自動読み推定結果, ならびに音声認識結果の単語数は, 各システムの出力結果から単語数を計数したものである。また, 音声認識結果の出力から文境界を同定することは困難であるため，単語数と文字数のみを示す.

表 2 に，テストセットにおける未知の 1-gram 率 (未知語率), 未知の 2-gram 率を, 単語を単位とする場合と単語と読みの組を単位とする場合のそれぞれについて示す.

## 4.1.2 音声

読みを選択するために用いる音声として, 収集したウェブニュース記事と同時期に当たる 2007 年 12 月 5 日から 2008 年 1 月 8 日の間に放送された 30 分のニュース番組の合計 17 時間の音声を用いた。ここで，対象分野のテキストと音声の類似度として，音声の一部の書き起こし（2008 年 1 月 7 日， 8 日の 2 日分）に対するパープレキシティを示す。後述する対象分野の疑似確率的単語分割コーパスから単語 3-gram モデルを構築し, 書き起こしに対するパープレキシティを求めたところ，58.5となった。これは, 本実験で用いる疑似確率的単語分割コーパスから構築される音声認識用言語モデルは認識対象となる音声に対して十分な単語予測性能を持っている （対象分野の音声と対象分野のテキストが十分に似ている）ことを示している.

## 4.2 未知語とその読み・文脈情報の自動獲得

本項では，対象分野のテキストと対象分野の音声を用いた未知語とその読み・文脈情報の自動獲得について述べる。また, 処理の途中段階で獲得した未知語とテストセット中の未知語を比較し, 各処理における未知語の検出精度を示す。

## 4.2.1 未知語候補の抽出

まず， 3.2 項で述べた手法に従って対象分野のテキストから疑似確率的単語分割コーパスを作成し, 未知語候補の抽出を行った。ここで, 疑似確率的単語分割コーパスの倍率は $M=10$ とした。また，未知語候補を決定する際の閾値は， $F_{t h}=50$ とした。

また, 対象分野のテキストの規模と最終的に獲得可能な未知語の数との関係として, 表 3 に,未知語候補のテストセット $C_{t}$ 中の未知語に対する再現率を示す. 表 3 では, 利用するウェブ
表 3 対象分野のテキストから抽出した未知語候補の再現率 (\%)

$M$ は疑似確率的単語分割コーパスの倍率を示す.

ニュースの日数と疑似確率的単語分割コーパスの倍率 $M$ を変えることでテキストの規模を調節し，それぞれについて再現率を示した。また，確率的単語分割コーパスを作成せず，決定的に単語分割を行った場合の再現率についても, 併せて表 3 に示した. $C_{t}$ 内の未知語の集合を $U W_{t}$,疑似確率的単語分割コーパス内の未知語候補の集合を $U W_{c}$ とし，コーパス $C$ における単語 $w$ の出現頻度を $f(C, w)$ とすると, 再現率は

$
\frac{\sum_{w \in U W_{t} \cap U W_{c}} f\left(C_{t}, w\right)}{\sum_{w \in U W_{t}} f\left(C_{t}, w\right)}
$

で表される.ここで, $\sum_{w \in U W_{t}} f\left(C_{t}, w\right)=2,772$ である（表 2 参照）.

表 3 から，未知語の抽出を行う場合には，決定的な単語分割を行ったコーパスではなく，疑似確率的単語分割コーパスを利用することが有効であることがわかる.

## 4.2.2 未知語候補を含む言語モデルと発音辞書の作成

3.3 項で述べた手法を用いて音声認識用の言語モデルと発音辞書を作成した. 本実験で用いる音声認識システム Julius は言語モデルとして順向き 2 -gram モデル, 逆向き 3 -gram モデルを必要とする。ここでは，一般分野の単語分割コーパス (BCCWJ) と対象分野の疑似確率的単語分割コーパス (ウェブニュース) から単語表記を単位とする順向き2-gram モデルならびに逆向き 3-gram モデルを構築した.

次に，抽出した未知語候補の読みを，文字と読みの組を単位とする 2-gram モデルによって推定し, 生成確率の上位 $L$ 個の単語と読みの組を既知語から作成される発音辞書に追加した。本実験では $L=5$ とした.

作成した発音辞書の詳細を表 4 に示す7．言語モデルにおける語彙の総数は表 4 における既知語と未知語候補の単語数を合計した数である 20,712 , 発音辞書のエントリ（単語と読みの組）の

表 4 音声認識用の発音辞書

表 5 発音辞書に列挙された未知語候補と読みの組の再現率 $(\%)$

総数は 26,880 となった.

ここで， $L$ の値の妥当性を検証するため，L $L$ を変えた場合に得られる未知語候補と読みの組の, テストセット $C_{t}$ 内の未知語と読みの組に対する再現率を表 5 に示す. コーパス $C$ における単語と読みの組 $u$ の出現頻度を $f(C, u)$, 未知語候補と推定された読みの組の集合を $U U_{e}$, テストセット $C_{t}$ 内の未知語と読みの組の集合を $U U_{t}$ とすると, 再現率は

$
\frac{\sum_{u \in U U_{t} \cap U U_{e}} f\left(C_{t}, u\right)}{\sum_{u \in U U_{t}} f\left(C_{t}, u\right)}
$

で表される.ここで， $\sum_{u \in U U_{t}} f\left(C_{t}, u\right)=2,925$ である（表 2 参照）. 表 5 より， $L \geq 5$ では再現率に大きな変化が見られないことから，Lの值を単純に大きくしても最終的に獲得可能な未知語と読みの組の量は変わらないことが予想される。また， $L$ を大きくするに従って，誤った読みを持つエントリがより多く発音辞書に登録され，認識誤りが増加する。本実験では以上の 2 点を考慮し, $L=5$ とした。

## 4.2.3 未知語の読み・文脈情報の獲得

作成した言語モデルと発音辞書を利用し, 音声認識によって読みを選択し，音声認識結果から未知語を含む単語と読みの組の列を獲得した。音声認識システムには, Julius 3.5 .3 を用いた. なお, Julius の動作に必要となる音響モデルは, 連続音声認識コンソーシアム 2003 年度版ソフトウェア8 に同梱されている，新聞記事読み上げ音声コーパス (JNAS) から学習された 3,000 状態, 64 混合の PTM triphone モデル (李, 河原, 武田, 鹿野 2000)を用いた.

音声認識結果のうち, 単語信頼度が $C M_{t h}$ を超えている単語のみを抽出し, 単語と読みの組の列を単語境界と読みの付与されたコーパス $\left(C_{r}\right)$ の形で獲得した. この際, 単語信頼度の閥値

表 6 音声認識結果 $C_{r}$ の未知 $n$-gram 率 $(\%)$

表 7 音声認識結果内の未知語候補と読みの組の再現率 (\%)

は $C M_{t h}=0.1$ とした. また, 獲得頻度の少ない未知語候補には音声認識誤りと考えられるものが多かったため，上記の閥値による制限に加えて 2 回以上認識した未知語候補のみを獲得し $た^{9}$.

$C_{r}$ の単語数ならびに文字数は表 1 で示した通りである. また, 表 6 に音声認識結果 $C_{r}$ の未知語率を示す.ここでは, テストセット $C_{t}$ の未知語率（表 2 参照）と同様に，単語ならびに単語と読みの組を単位とした場合の未知 $n$-gram 率を示す. なお, 最終的に獲得された未知語候補と読みの組（異なり数）は 872 となった.

最後に, 対象分野の音声の規模と獲得した未知語と読みの組の数との関係を調べるため, 使用するニュースの日数を変更した場合の $C_{t}$ に対する再現率を表 7 に示す. $C_{r}$ 内の未知語と読みの組の集合を $U U_{r}$ とすると，再現率は

$
\frac{\sum_{u \in U U_{t} \cap U U_{r}} f\left(C_{t}, u\right)}{\sum_{u \in U U_{t}} f\left(C_{t}, u\right)}
$

で表される.

## 4.2.4獲得した未知語と読み・文脈情報の再現率と適合率

本実験の目的は, 後述する仮名漢字変換の精度評価において, 音声認識結果 $C_{r}$ から獲得した未知語とその読み・文脈情報を利用してテストセット $C_{t}$ を対象とした仮名漢字変換の変換精度を向上させることにある. $C_{r}$ を用いて仮名漢字変換のモデルを構築する場合， $C_{t}$ と $C_{r}$ に共通して出現する未知語と読みの組，または単語を単位とする未知の 2-gram が多いほど仮名漢字変

換の精度が向上する ${ }^{10}$. 以下では，それぞれの再現率ならびに適合率を示す。

まず， $C_{r}$ から獲得した未知語と読みの組の再現率，適合率を示す。再現率ならびに適合率はそれぞれ

$
\text { 再現率 }=\frac{\sum_{u \in U U_{t} \cap U_{r}} f\left(C_{t}, u\right)}{\sum_{u \in U U_{t}} f\left(C_{t}, u\right)}, \quad \text { 適合率 }=\frac{\sum_{u \in U U_{t} \cap U U_{r}} f\left(C_{r}, u\right)}{\sum_{u \in U U_{t}} f\left(C_{r}, u\right)}
$

で表される。計算の結果, 再現率は $31.6 \%$, 適合率は $38.2 \%$ となった.

次に, 未知の 2-gram の再現率, 適合率を示す.コーパス $C$ における単語 2 -gram $\left(w_{i-1}^{i}\right)$ の出現頻度を $f\left(C, w_{i-1}^{i}\right)$, テストセット $C_{t}$ 内の未知の単語 2 -gram の集合を $U B_{t}$, 音声認識結果 $C_{r}$ 内の未知の単語 2 -gram $の$ 集合を $U B_{r}$ とすると, 再現率ならびに適合率は

$
\text { 再現率 }=\frac{\sum_{w_{i-1}^{i} \in U B_{t} \cap U B_{r}} f\left(C_{t}, w_{i-1}^{i}\right)}{\sum_{w_{i-1}^{i} \in U B_{t}} f\left(C_{t}, w_{i-1}^{i}\right)}, \quad \text { 適合率 }=\frac{\sum_{w_{i-1}^{i} \in U B_{t} \cap U B_{r}} f\left(C_{r}, w_{i-1}^{i}\right)}{\sum_{w_{i-1}^{i} \in U B_{t}} f\left(C_{r}, w_{i-1}^{i}\right)}
$

で表される。計算の結果, 再現率は $31.9 \%$, 適合率は $25.5 \%$ となった.

## 4.3 統計的仮名漢字変換による精度評価

本項では, 3.5 項で挙げた学習コーパスを用いて統計的仮名漢字変換の精度評価を行い, 提案手法の有効性を検証する。

## 4.3.1 実験の条件

本実験では, 一般分野のコーパス $C_{b}$, 対象分野のテキストの自動読み推定結果 $C_{n}$, 音声認識結果 $C_{r}$ を用いて統計的仮名漢字変換のためのモデルを構築した. 各コーパスの規模は 4.1 の表 1 に示した通りである.

本実験では， 3 種類のコーパスを以下のように組み合わせて学習コーパスとし，言語モデル （単語 2-gram モデル）ならびに仮名漢字モデルを構築した。

(1) $C_{b}:$ ベースライン

(2) $C_{b}+C_{n}$ : テキストのみを用いた手法（既存手法）

(3) $C_{b}+C_{n}+C_{r}$ : テキストと音声に共通して現れる未知語の読み・単語文脈を反映させる手法 (提案手法)

統計的仮名漢字変換システム全体の精度を評価する基準として, 文字単位の再現率と適合率を計算し，(1)-(3)について比較を行った。また，提案手法において未知語の読みと単語文脈を共

に利用することの有効性を検証するため, (2) を基準として， $C_{r}$ から言語モデル (LM) のみを更新した場合 ${ }^{11}$ と, 仮名漢字モデル $(\mathrm{PM})$ のみを更新した場合 12 についても変換精度の評価を行った.

本実験における評価指標として，文字単位の再現率と適合率を用いる。それぞれの定義を以下に示す.

$
\begin{aligned}
& \text { 再現率 }=\frac{\text { 正解文字数 }}{\text { テストセット中の文字数 }} \\
& \text { 適合率 }=\frac{\text { 正解文字数 }}{\text { システムの出力した文字数 }}
\end{aligned}
$

## 4.3.2 実験結果と考察

(1)-(3) で示した学習コーパスから構築されるモデルによる再現率, 適合率を表 8 に示す.

$C_{b}$ を用いる場合（ベースライン）の変換精度と $C_{b}, C_{n}$ を用いる場合（既存手法）の変換精度を比較した結果, 再現率で $8.94 \%$, 適合率で $11.68 \%$ の精度向上が確認された. ここで $C_{n}$ と $C_{t}$ は同分野のコーパスであり， $C_{b}$ は $C_{n}$ に比較すると小規模なコーパスであるため, この精度向上は単純に学習データの量を増やしたことに起因すると考えられる。

次に， $C_{b}, C_{n}$ を用いる場合（既存手法）の変換精度と $C_{b}, C_{n}, C_{r}$ を用いる場合（提案手法）の変換精度を比較した結果, 仮名漢字変換の精度は再現率で $0.36 \%$, 適合率で $0.48 \%$ の改善が見られた。既存手法において，コーパス $C_{n}$ は対象分野の未知語を考慮しない手法で読みを付与され

 &  \\

表 8 統計的仮名漢字変換による評価 $(\%)$
^{11} C_{b}+C_{n}+C_{r}$ から言語モデルを構築し, $C_{b}+C_{n}$ から仮名漢字モデルを構築する.

$12 C_{b}+C_{n}$ から言語モデルを構築し, $C_{b}+C_{n}+C_{r}$ から仮名漢字モデルを構築する.
}

ているため, 未知語の正しい分割と読みの付与が行われず， $C_{b}$ と $C_{n}$ のみを用いて構築されるモデルでは未知語の誤変換が発生する。しかし, 提案手法では 4.2 項の実験で得られた $C_{r}$ を用いて未知語の読み・文脈情報をモデルに反映させることが可能である。上記の精度増加は, 4.2 項で示した未知語の読み・文脈情報の獲得の実験で獲得した未知語と読みの組, 未知の 2-gram の量に対応しており，より多くの未知語を獲得するほど変換精度が向上すると考えられる。

また， $C_{r}$ を追加することによる精度向上の要因を明らかにするため， $C_{b}$ と $C_{n}$ から構築したモデルによる変換精度を基準に， $C_{r}$ を利用して言語モデルと仮名漢字モデルを独立に更新して精度を比較した。言語モデルのみを更新した場合は, 再現率, 適合率ともに $0.03 \%$ の改善となり, 仮名漢字モデルのみを更新した場合は, 再現率で $0.17 \%$, 適合率で $0.27 \%$ の改善となった.

言語モデルのみを更新する場合, 未知語と読み（仮名漢字変換における入力記号列）との対応付けを行うことが不可能であるため, 未知語周辺の文脈が変換精度の向上にほとんど寄与しない.この際, 変換精度の向上に寄与する要素は $C_{r}$ に現れる既知語周辺の文脈情報のみであり, かつ $C_{n}$ に比較して $C_{r}$ の規模は非常に小さいために, 精度がほぼ変化していないと考えられる.

仮名漢字モデルのみを更新する場合については，一定の精度向上が観察された。しかしながら, ある読みを持つ未知語に対し, 同じ読みを持つ既知語, もしくは結合の結果同じ読みとなる既知語の連続が存在するという状況では, 未知語を含む変換候補の言語モデル確率は既知語を含む変換候補の確率に比較して小さくなる。言語モデルと仮名漢字モデルの両方を更新する場合（提案手法）との精度の差は, 上述の言語モデル確率の差に起因する.

最後に，提案手法を用いることで未知語の変換誤りが改善した例を示す.

\begin{aligned} &$C_{b}+C_{n}:$ 前事務次官の森やタケマサ \\ &$C_{b}+C_{n}+C_{r}:$ 前事務次官の守屋武昌 \\ & \hline\end{aligned}

3.2 3.4 項において例として示した未知語（守屋）は, 本実験において実際に獲得された未知語の例であり, 音声認識結果 $C_{r}$ を用いることによって未知語の誤変換が改善されることを確認した.

以上の結果より, テキストと音声から獲得される未知語の読み・文脈情報は統計的仮名漢字変換システムの精度向上に有効であることが確認された。

## 5 関連研究

第 1 節で述べた通り，人手によって任意の分野における未知語の情報を収集することはコストの面で現実的ではない.このため, 未知語に関する情報を自動獲得する研究が多く行われている.

まず，形態素解析など，自動単語分割を行うシステムにおいて単語辞書に未知語を追加する

ことを目的とした研究について述べる.

文献 (永田 1999b) では，ある文の自動単語分割候補における $N$-best の相対確率を，それぞれの候補において出現する未知語の出現頻度の期待値として与える. その後, 出現した未知語の中から一定の閾値より大きい出現頻度の期待値を持つ未知語を獲得している。また, 単語分割の際には，未知語を構成する字種によって 9 種類の未知語タイプを定義し，それぞれのタイプにおける単語長の分布を考慮した未知語モデルを用いることで, 未知語モデルの性能向上を図っている。

形態素解析のため, 品詞を考慮して未知語を獲得する研究として, 文献 (Mori and Nagao 1996) では，コーパス中に出現する任意の部分文字列 $\alpha$ に注目し， $\alpha$ の前後の文字から， $\alpha$ が未知語として出現する可能性の高い品詞に属する確率を推定している. その後, 出現頻度が一定値以上かつ 2 文字以上の文字列 $\alpha$ を単語として抽出しておき，形態素解析器にかけた結果に辞書未登録語が含まれている文字列 $\alpha$ を未知語として獲得している。

日本語は分かち書きを行わない言語であるため, 自動単語分割器や形態素解析器において必須となる未知語の情報は正しい単語単位である. このため, 形態素解析器のための未知語獲得を行う研究では未知語の読みには言及しないことが多い. しかしながら, 本研究では統計的仮名漢字変換の精度向上を目的としているため, 未知語の表記ならびにその読みに関する情報を同時に獲得することが望ましい。

文献 (森, 小田 2007) では, 仮名漢字変換を用いる際の入力とその変換結果から未知語の獲得と言語モデルの更新を行う手法を提案している。また，言語モデルの更新を繰り返すことで，仮名漢字変換システムの精度が徐々に向上すると報告している。ただし，ここで行われている実験はユーザによるシステムの利用を想定したシミュレーションであり，本論文で扱う自動獲得とは性質が異なる.

音声認識の分野においては，未知語を原因とする認識誤りの影響を抑制するため，単語より小さい単位の語彙であるサブワードを擬似的な単語とし, 未知語をサブワードの連続として認識する手法が提案されている (甲斐, 廣瀬, 中川 1999) (Bisani and Ney 2005) (Choueiter, Seneff, and Glass 2007). しかしながら, 日本語の音声認識においてサブワードは基本的に仮名文字列から構成されるため, サブワードをそのまま未知語獲得に用いても仮名漢字変換への寄与は低いと考えられる。

文献 (倉田, 森, 伊東, 西村 2008) では, 規則を用いてテキストから未知語の候補を抽出, 音声認識を用いて読みを自動的に獲得し, 発音辞書に追加する手法が提案されている. この手法は, テキストと音声から未知語と読みの情報を獲得する点で本研究と共通しているが, 未知語候補の抽出方法と獲得する情報の粒度が本研究と異なる. 本研究では, 疑似確率的単語分割コー パスを用いることにより，一貫した単語単位で言語モデルと発音辞書を作成する。また，音声認識結果から未知語の読みだけではなく文脈情報を獲得し, 統計的仮名漢字変換で利用する確
率的言語モデル全体の性能向上を図っている.

## 6 結論

本論文では，類似した話題を扱っているテキストと音声から未知語の読み・文脈情報を単語と読みの組の列として自動獲得し, 統計的仮名漢字変換の精度向上に利用する手法を提案した。

自動的に収集可能なニュース記事とニュース音声を用いた実験の結果, 音声認識結果から得られる単語と読みの組の列を学習コーパスとして統計的仮名漢字変換のモデルを学習することにより，システム全体の精度が向上することを確認した。

以上の結果から，テキストと音声を用いることにより，仮名漢字変換システムの効率的かつ継続的な精度向上を行うことが可能であることが示された.

## 参考文献

Bisani, M. and Ney, H. (2005). "Open Vocabulary Speech Recognition with Flat Hybrid Models." In Proceedings of the Interspeech 2005, pp. 725-728.

Choueiter, F. G., Seneff, S., and Glass, J. (2007). "New Word Acquisition Using Subword Modeling." In Proceedings of the Interspeech 2007, pp. 1765-1768.

伊藤彰則, 好田正紀 (2000). N-gram 出現回数の混合によるタスク適応の性能解析. 電子情報通信学会論文誌, J83-D-II (11), pp. 2418-2427.

甲斐充彦, 廣瀬良文, 中川聖一 (1999). 単語 N-gram 言語モデルを用いた音声認識システムにお

ける未知語$\cdot$宇長語の処理. 情報処理学会論文誌, 40 (4), pp. 1383-1394.

北研二 (1999). 確率的言語モデル. 言語と計算 4 巻. 東京大学出版会.

倉田岳人, 森信介, 伊東伸泰, 西村雅史 (2008). 音声とテキストを用いた認識単語辞書の自動

構築. 情報処理学会論文誌, 49 (8), pp. 2900-2909.

Lee, A., Kawahara, T., and Shikano, K. (2001). "Julius - an open source real-time large vocabulary recognition engine." In Proceedings of the Eurospeech 2001, pp. 1691-1694.

李晃伸, 河原達也, 武田一哉, 鹿野清宏 (2000). Phonetic Tied-Mixture モデルを用いた大語彙連続音声認識. 電子情報通信学会論文誌, J83-D-II (12), pp. 2517-2525.

李晃伸, 河原達也, 鹿野清宏 (2003). 2 パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法. 情報処理学会研究報告, 2003-SLP-49-48, pp. 281-286.

Matsunaga, S., Yamada, T., and Shikano, K. (1992). "Task adaptation in stochastic language models for continuous speech recognition." In Proceedings of the ICASSP 1992, Vol. 1, pp. 165-168.
森信介, 土屋雅稔, 山地治, 長尾真 (1999). 確率的モデルによる仮名漢字変換. 情報処理学会論文誌, $40(7)$, pp. 2946-2953.

森信介, 小田裕樹 (2007). 自動未知語獲得による仮名漢字変換システムの精度向上. 言語処理学会第 13 回年次大会発表論文集, pp. 340-343.

森信介, 小田裕樹 (2009). 擬似確率的単語分割コーパスによる言語モデルの改良. 自然言語処理, 16 (5), pp. 7-21.

Mori, S. and Nagao, M. (1996). "Word Extraction from Corpora and Its Part-of-Speech Estimation Using Distributional Analysis." In Proceedings of the COLING 1996, pp. 1119-1122.長野徹, 森信介, 西村雅史 (2006). N-gram モデルを用いた音声合成のための読み及びアクセントの同時推定. 情報処理学会論文誌, 47 (6), pp. 1793-1801.

永田昌明 (1999a). 統計的言語モデルと N-best 探索を用いた日本語形態素解析法. 情報処理学会論文誌, $40(9)$, pp. 3420-3431.

永田昌明 (1999b). 未知語の確率モデルと単語の出現頻度の期待値に基づくテキストからの語彙獲得. 情報処理学会論文誌, 40 (9), pp. 3373-3386.

小椋秀樹, 小磯花絵, 冨士池優美, 原裕 (2008). 『現代日本語書き言葉均衡コーパス』形態論情報規程集.

Wessel, F., Schlüter, R., and Ney, H. (2001). "Confidence Measures for Large Vocabulary Continuous Speech Recognition." IEEE Transactions on Speech and Audio Processing, 9 (3), pp. 288-298.

## 略歴

笹田鉄郎：2007 年京都大学工学部電気電子工学科卒業. 2009 年同大学院情報学研究科修士課程修了. 同年, 同大学院博士後期課程に入学, 現在に至る.

森信介：1993 年京都大学工学部電気工学第二学科卒業. 1995 年京都大学大学院工学研究科電気工学第二専攻修士課程修了. 1998 年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了. 工学博士. 同年日本アイ・ビー・ エム（株）入社. 2007 年日本アイ・ビー・エム（株）退社. 同年より京都大学学術情報メディアセンター准教授. 現在に至る. 自然言語処理ならびに音声言語処理, 特に確率的言語モデルに関する研究に従事. 1997 年情報処理学会山下記念研究賞受賞. 2010 年情報処理学会論文賞受賞.

河原達也：1987 年京都大学工学部情報工学科卒業. 1989 年同大学院修士課程修了. 1990 年同博士後期課程退学. 博士 (工学). 同年京都大学工学部助手. 1995 年同助教授. 1998 年同大学情報学研究科助教授. 2003 年同大学学術情報メディアセンター教授. 現在に至る. この間, 1995 年から 1996 年まで
米国・ベル研究所客員研究員. 1998 年から 2006 年まで ATR 客員研究員. 1999 年から 2004 年まで国立国語研究所非常勤研究員. 2001 年から 2005 年まで科学技術振興事業団さきがけ研究 21 研究者. 2006 年から情報通信研究機構短時間研究員. 音声言語処理, 特に音声認識及び対話システムに関する研究に従事. 1997 年度日本音響学会粟屋潔学術奨励賞受賞. 2000 年度情報処理学会坂井記念特別賞受賞. 情報処理学会連続音声認識コンソーシアム代表, IEEE SPS Speech TC 委員, IEEE ASRU 2007 General Chair, 言語処理学会理事, を歴任. 情報処理学会音声言語情報処理研究会主査. 日本音響学会, 情報処理学会各代議員. 電子情報通信学会, 人工知能学会, 言語処理学会, IEEE 各会員.