# 文書間類似度について
## 浅原 正幸 $十$ 加藤 祥 $\dagger$

文書間類似度は, 内容の類似度と表現の類似度の二つの側面を持っている。自動要約や機械翻訳ではシステム出力の内容評価を行うために参照要約（翻訳）との類似度を評価する尺度が提案されている。一方，表現を対照比較するための手段として，形態素（列）を特徴量とする空間上の計量が用いられる。本稿では，さまざまな文書間類似度について, 距離・類似度・カーネル・順序尺度・相関係数の観点から, 計量間の関係や同値性を論じた。さらに内容の同一性保持を目標として構築したコー パスを用いて, 内容の差異と表現の差異それぞれに対する各計量のふるまいを調査し，文書間類似度に基づく自動評価の不安定さを明らかにした。

キーワード：文書間類似度，距離空間，カーネル，順序尺度，文体

## On Document Similarity Measures

\author{
MASAYUKI Asahara $^{\dagger}$ and SACHI $\mathrm{KATO}^{\dagger}$
}

Document similarity measuring techniques are used to evaluate both content and writing style. Evaluation measures for comparing the summary or translation of a system-generated source text with that of human-generated text have been proposed in text summarization and machine translation fields. The distance metrics are measures in terms of morphemes or morpheme sequences to evaluate or register different writing styles. In this study, we discuss the relations among the equivalence properties of mathematical metrics, similarities, kernels, ordinal scales, and correlations. In addition, we investigate the behavior of techniques for measuring content and style similarities for several corpora having similar content. The analysis results obtained using different document similarity measurement techniques indicate the instability of the evaluate system.

Key Words: Document Similarity Measures, Distance Metrics, Kernels, Ordinal Scale, Writing Style

## 1 はじめに

文書間類似度がはかるものとして「伝える内容の一致」（内容一致）だけでなく「伝える表現の一致」(表現一致) がある。文書間類似度は自動要約や機械翻訳ではシステム出力の内容評価を行うために参照要約（翻訳）との差異を評価する指標として用いられる。一方，文書間類似度は表現の差異を評価することを目的としてテキストの文体の計量比較にも用いられる。

本稿では, 文書間類似度の数理的構造の説明し, 様々な内容もしくは文体が同じであることが想定されるテキストを用いて, 各計量の特性について検討する. (難波, 平尾 2008) は 2008 年時点での自動要約の評価指標についての評価をまとめている。2008 年以降に提案された語順を考慮した内容評価のための指標を含めて，語順に対する順序尺度を含めた距離空間・類似度・ カーネル・相関係数などの尺度を用いて，数理的構造について整理する。

具体的には，一致部分文字列による尺度・一致部分列による尺度・ベクトル型順序尺度・編集型順序尺度の四つに分類し議論する。これらの四つの尺度に基づき，内容一致（内容の同一性）と表現一致（文体の類似性）の観点から，言語生産過程の多様性を評価する。複数人が同一課題を実施した場合の各評価尺度の分散や，同一人が同一課題を繰り返し実施した場合の各評価尺度の分散などを検討する。生産過程においては口述・筆術・タイプ入力の三種類について評価し, 課題においては要約・語釈・再話について評価する。要約は長い文書を同等の内容で短く言い換えることを目的とする言語生産過程であるが，語䣋は短い単語が指し示す意味と同等の内容を長く言い換えることを目的とする言語生産過程であることから，要約は語积の逆写像の一般化ととらえることができる，また，再話は長い文書を再度同等の内容でそのまま提示することを目的とする言語生産過程であることから，要約の一般化であるととらえることができる.

この評価を通して，四つの指標における差異がどのような生産過程の差異に現れるのかを調查する。また同一言語生産課題に対する生成物の多様性についても議論する.

表現一致をつかさどるものとして, 情報の提示順序を含む修辞法 (rhetoric) ・使用域 (register) や位相 (phase) ${ }^{1}$ に内在する文体・個人に内在する文体などが考えられる。要約を評価するにあたり，内容一致は重要であると考えるが，表現一致はどの程度重要であるのだろうか．さらにこれらはどの評価尺度に表出するのだろうか，対照比較を介して，各言語生産過程に共通のふるまいを示す評価尺度と課題に特有のふるまいを示す評価尺度について調查する。

自動要約評価のための参照文書は一般に口述筆記の専門家や記者経験者などにより作成され，統制された少数のものが提供される。自動翻訳評価においても職業翻訳家等により限られた数の参照文書が作成される. 統制は距離空間上の凸問題として課題を設定し, その課題設定の枠組内で評価したい工学研究者の都合で行われているものである. さらに, 工学研究者は参照文書の差異がユークリッド距離空間上に規定され，文書間類似度で比較可能なレベルで統制できうるものだと考えているきらいがある。一方，文書を介したコミュニケーションにおいて，言語生産者ではない者による受容過程は統制されるものではなく, 複数の受容者間で共有されるものではない。一人の受容者においても時間的経過などで統制できるものでもない．本稿では，

人間の要約作成時の不安定な言語受容過程 2 において文書の重要箇所選択がどの程度ゆれるものなのかを評価するとともに，そのゆれは評価指標を構成するどの尺度に表れるのかを調査する。 この調査を通して，本来誤りでないものが課題設定の時点で誤りになっている可能性があるという実態を明らかにする。

本稿の貢献は以下のとおりである：
- 既存の文書要約や機械翻訳の自動評価に利用される評価指標と, 距離空間・類似度・カー ネル空間・順序尺度・相関係数などの尺度との関係を整理した

・ 同一課題について複数人の言語生産者間で生成される文書のゆれを定量的に評価した
- 課題ごとに同一人の言語生産者の課題試行間で生成される文書のゆれを定量的に評価した

-上に述べたゆれの評価に基づき, 内容評価と表現評価の尺度上のふるまいの不安定さを明らかにした

尚, 本稿では,「評価指標」と「尺度」を区別して用いる．自動要約や機械翻訳ではシステム出力の内容評価を行うための ROUGE や BLEU など広く知られているものを表す際に「評価指標」と呼び，「評価指標」を構成する距離空間・類似度・カーネル・相関係数などを「尺度」 と呼ぶ.「評価指標」が単一の「尺度」から構成されることもあり，「評価指標」=「尺度」である場合もある。

以下，2 節では既存の自動評価指標を距離・類似度・カーネル・順序尺度・相関係数により説明することで，文書間類似度を四つに分類し整理する． 3 節では尺度を適用して比較するさまざまな言語生成過程を記録した言語資源について説明する．4 節では評価尺度の定性的な評価について示す. 5 節にまとめと今後の研究の方向性について示す.

## 2 評価指標と距離・類似度・カーネル・順序尺度・相関係数

## 2.1 本節の趣旨

本節では，過去に提案されている自動要約と機械翻訳の評価指標を距離・類似度・カーネル・順序尺度・相関係数などの尺度により説明することを試みる。この説明の過程で，いくつかの評価指標が擬距離の公理の対称性，三角不等式や，距離の公理の非退化性を満たさないことに言及する。

まず，部分文字列 (substring) と部分列 (subsequence)の違いを明確にするため，2.2 節で部分文字列と部分列に基づく類似度について解説する． 2.3 節で先行研究で言及されている評価指標について解説する．2.4 節で関連するカーネル・順序尺度について示す. 2.5 節で指標の一般化について述べる.

評価指標においては，二つのデー夕比較という観点から，単一の参照テキストと単一のシステム出力テキストの対の文書間類似度に限定して議論する。複数の参照テキストを考慮する場合には退化性等を考慮する必要がある。尚, 本節で用いる用語や記号の定義は $\mathrm{A}$ 節にまとめてある。

## 2.2 LCSubstr と LCS

## 2.2.1記号列と文字列と部分文字列と部分列

評価指標の議論を始める前に, 記号列, 文字列, 部分文字列, 部分列の違いについて確認する.何らかの全順序が付与されている記号集合のことを記号列と呼ぶ. 本稿では記号列べクトル $s=\left.\langle s_{1}, \ldots, s_{m}\right.\rangle, t=\left.\langle t_{1}, \ldots, t_{m}\right.\rangle$ などで表現する. 参照テキスト，システム出力テキストは， ともに文字 (character) ベースの記号列もしくは形態素解析後の形態素 (morpheme) ベースの記号列とみなすことができる.

評価する記号列上の連続列のことを文字列 (string) と呼ぶ．記号列の要素が文字 (character) である場合を「文字べースの文字列 (character-based string)」, 記号列の要素が形態素 (morpheme) である場合を「形態素べースの文字列 (morpheme-based)」と呼ぶこととする.

記号列に対して隣接性と順序を保持した部分的記号列のことを部分文字列 (substring) と呼ぶ. 長さ $n$ の部分文字列を特に n-gram 部分文字列と呼ぶ. 記号列 $s$ の $i$ 番目の要素からはじまる n-gram 部分文字列を $s_{i \ldots i+n-1}$ で表現する.

記号列に対して順序を保持した部分的記号列のことを部分列 (subsequence) と呼ぶ. 隣接性は保持しなくてよい. 長さ $p$ の部分列を特に p-mer 部分列と呼ぶ. 記号列 $s$ の p-mer 部分列を，インデックスベクトル $\vec{i}=\left.\langle i_{1}, \ldots, i_{p}\right.\rangle\left(1 \leq i_{1}<i_{2}<\cdots<i_{p} \leq|s|\right)$ を用いて， $s[\vec{i}]$ と表す.

## 2.2.2 最長共通部分文字列 (Longest Common Substring: LCSubstr) 長

最長共通部分文字列 (Longest Common Substring) の略称は LCS だが，一般には 2.2 .3 節に示す最長共通部分列 (Longest Common Subsequence)のことを LCS と呼ぶことが多い. 本稿では前者を LCSubstr, 後者を LCS と呼び，区別する.

記号列 $s, t$ を与えた際の最長共通部分文字列を次式で定義する：

$
\operatorname{LCSubstr}(s, t)=\underset{s_{i \ldots i+n-1} \mid \exists j, s_{i \ldots i+n-1}=t_{j \ldots j+n-1}}{\arg \max } n
$

記号列 $s, t$ を与えた際の最長共通部分文字列長（LCSubstr 長）を次式で定義する：

$
|\operatorname{LCSubstr}(s, t)|=\max _{\forall i, \forall j, s_{i \ldots i+n-1}=t_{j \ldots j+n-1}} n
$

これを $[0,1]$ 区間に正規化すると以下のようになる：

$
\operatorname{Score}_{\mathrm{LCSubstr}}(s, t)=\frac{2 \cdot|\operatorname{LCSubstr}(s, t)|}{|s|+|t|}
$

## 2.2.3 最長共通部分列 (Longest Common Subsequence: LCS) 長と Levenshtein 距離

記号列 $s, t$ を与えた際の最長共通部分列 (Longest Common Subsequence: LCS) を次式で定義する：

$
\operatorname{LCS}(s, t)=\underset{s[\vec{i}] \exists \vec{j}, s[\vec{i}]=t[\vec{j}]}{\arg \max }|\vec{i}|
$

記号列 $s, t$ を与えた際の最長共通部分列長（LCS 長）を次式で定義する：

$
|\operatorname{LCS}(s, t)|=\max _{\forall \vec{i}, \forall \vec{j}: s[\vec{i}]=t[\vec{j}]}|\vec{i}|
$

$[0,1]$ 区間に正規化すると，以下のようになる：

$
\operatorname{Score}_{\mathrm{LCS}}(s, t)=\frac{2 \cdot|\operatorname{LCS}(s, t)|}{|s|+|t|}
$

た場合の Levenshtein 距離（編集型距離）と LCS 長の関係は以下のようになる：

$
\mathrm{d}_{\text {Levenshtein }}(s, t)=|s|+|t|-2 \cdot|\operatorname{LCS}(s, t)|
$

さらに LCS は2.4.2 節で示すとおり, 対称群上の編集型距離のうちの Ulam 距離と深く関連し，一種の順序尺度であるとも考えられる。

## 2.2.4 ギャップ加重最長共通部分列長による指標

部分列 LCS は部分文字列 LCSubstr と異なり，ギャップを伴う．ギャップが多い LCS に減衰させた值を割り当てるために，「LCS の記号列上の長さ」に対して加重を行うことができる. $\left.\lceil\mathrm{LCS}\right.$ の記号列上の長さ」は参照テキスト ${ }^{3}$ 側 $\left(|\operatorname{LCS}(C, R)|_{R}\right.$ で表す) とシステム出力テキスト 4 側 $\left(|\operatorname{LCS}(C, R)|_{C}\right.$ で表す) とで異なるために，それぞれ計算する必要がある.

$
\begin{aligned}
|\operatorname{LCS}(C, R)|_{R} & =\underset{\left(j_{|\vec{j}|}-j_{1}\right) \mid \forall \vec{i}, \forall \vec{j}, C[\vec{i}]=R[\vec{j}]}{\arg \max }|\vec{j}| \\
|\operatorname{LCS}(C, R)|_{C} & =\underset{\left(i_{|\vec{i}|}-i_{1}\right) \mid \forall \vec{i}, \forall \vec{j}, C[\vec{i}]=R[\vec{j}]}{\arg \max }|\vec{i}|
\end{aligned}
$

参照テキスト側で重みを付けて正規化する再現率的な指標を $\mathrm{R}_{\mathrm{WLCS}}(C, R)$ とし，システム出力テキスト側で重みを付けて正規化する精度的な指標を $\mathrm{P}_{\mathrm{WLCS}}(C, R)$ とすると以下のようになる。

$
\begin{aligned}
\mathrm{R}_{\mathrm{WLCS}}(C, R) & =\frac{\alpha^{|\operatorname{LCS}(C, R)|_{R}-|\operatorname{LCS}(C, R)|} \cdot|\operatorname{LCS}(C, R)|}{|R|} \\
\mathrm{P}_{\mathrm{WLCS}}(C, R) & =\frac{\alpha^{|\operatorname{LCS}(C, R)|_{C}-|\operatorname{LCS}(C, R)|} \cdot|\operatorname{LCS}(C, R)|}{|C|}
\end{aligned}
$

全体を正規化すると以下のようになる.

$
\operatorname{Score}_{\mathrm{WLCS}}^{(\gamma)}(C, R)=\frac{\left(1+\gamma^{2}\right) R_{\mathrm{WLCS}}(C, R) P_{\mathrm{WLCS}}(C, R)}{R_{\mathrm{WLCS}}(C, R)+\gamma^{2} P_{\mathrm{WLCS}}(C, R)}
$

ここで $\gamma$ は $\mathrm{R}_{\mathrm{WLCS}}$ と $\mathrm{P}_{\mathrm{WLCS}}$ のどちらを重視するかの混ぜ合わせ係数である.

## 2.3 自動評価指標

次に自動要約と機械翻訳の自動評価指標を確認するが，基本的には文単位の評価かつ参照テキストが一つであるという仮定をおく。

## 2.3.1 要約の評価指標

ROUGE-L (Lin 2004) は, システム出力テキストと参照テキストの最長共通部分列 (LCS) 長を指標として正規化したものである.

$
\operatorname{Score}_{\mathrm{ROUGE}-\mathrm{L}}^{(\gamma)}(C, R)=\frac{\left(1+\gamma^{2}\right) \cdot R_{\mathrm{LCS}}(C, R) \cdot P_{\mathrm{LCS}}(C, R)}{R_{\mathrm{LCS}}(C, R)+\gamma^{2} P_{\mathrm{LCS}}(C, R)}
$

ここで再現率に相当する $R_{\mathrm{LCS}}(C, R)$ と精度に相当する $P_{\mathrm{LCS}}(C, R)$ は以下のように定義する：

$
\begin{aligned}
& R_{\mathrm{LCS}}(C, R)=\frac{|\mathrm{LCS}(\mathrm{C}, \mathrm{R})|}{|R|} \\
& P_{\mathrm{LCS}}(C, R)=\frac{|\mathrm{LCS}(\mathrm{C}, \mathrm{R})|}{|C|}
\end{aligned}
$

上記指標は文単位のものであり, 文書レベルに拡張するために，システム出力テキスト中の文 $c_{i} \in C$ と参照テキスト中の文 $r_{j} \in R$ の $\mathrm{LCS}$ 記号列中の記号の集合和を用いて評価する. 同様の議論が他の指標においても行われているが，以下本稿ではこの議論を省略する。

ROUGE-W ROUGE-W (Lin 2004) は, ギャップ加重最長共通部分列長に似た概念である。違いとしては「LCS の記号列上の長さ」を参照テキスト側とシステム出力テキスト側 $|\operatorname{LCS}(C, R)|_{R}+$ $|\operatorname{LCS}(C, R)|_{C}$ でとった上で, 加重関数 $f(x): f(x+y)>f(x)+f(y), x>0, y>0, x \in N, y \in N$ （ $N$ は自然数）を別に定義して「LCS の記号列上の長さ」に対して加重を行う． ROUGE-W の実
装では $f(x)=x^{\alpha}$ という多項式を用いており, ギャップ加重最長共通部分列長 $\operatorname{Score}_{\mathrm{WLCS}}^{(\gamma)}(C, R)$ の変種と考えることができる.

ROUGE-NROUGE-N (Lin and Hovy 2003; Lin 2004)は n-gram の一致度を指標として用いるものである.

$
\operatorname{Score}_{\text {ROUGE-N }}^{(R)}(C, R)=\frac{\sum_{e \in(\mathrm{n}-\operatorname{gram}(C) \cap \mathrm{n}-\operatorname{gram}(R))} \min \left(|e|_{C},|e|_{R}\right)}{\sum_{e \in \mathrm{n}-\operatorname{gram}(R)}|e|_{R}}
$

但し, $\mathrm{n}-\operatorname{gram}(C)$ はシステム出力テキスト $\mathrm{C}$ 中の $\mathrm{n}-\operatorname{gram}$ 集合, $\mathrm{n}-\operatorname{gram}(R)$ は参照テキスト $\mathrm{R}$ 中の n-gram 集合, $|e|_{C}$ は $\mathrm{C}$ に含まれる $e$ の要素数 (のべ出現数), $|e|_{R}$ は $\mathrm{R}$ に含まれる $e$ の要素数とする.

ROUGE-S(U) ROUGE-S (Lin 2004) は， 2-mer の部分列の一致度を指標として用いるものである。

$
\operatorname{Score}_{\text {ROUGE-S }}^{(\gamma)}(C, R)=\frac{\left(1+\gamma^{2}\right) P_{S}(C, R) R_{S}(C, R)}{R_{S}(C, R)+\gamma^{2} P_{S}(C, R)}
$

ここで精度に相当する $P_{S}(C, R)$ と再現率に相当する $R_{S}(C, R)$ は以下のように定義する：

$
\begin{aligned}
P_{S}(C, R) & =\frac{\sum_{e \in\left(2-\operatorname{mer}_{C} \cap 2-\operatorname{mer}_{R}\right)} \min \left(|e|_{C},|e|_{R}\right)}{\sum_{e \in 2-\operatorname{mer}(C)}|e|_{C}} \\
R_{S}(C, R) & =\frac{\sum_{e \in\left(2-\operatorname{mer}_{C} \cap 2-\operatorname{mer}_{R}\right)}^{\sum_{e \in 2-\operatorname{mer}(R)}}|e|_{R}}{\min \left(|e|_{C},|e|_{R}\right)}
\end{aligned}
$

但し, $\mathrm{p}-\operatorname{mer}(C)$ は $\mathrm{C}$ 中の $\mathrm{p}-\mathrm{mer}$ 集合, $\mathrm{p}-\operatorname{mer}(R)$ は参照テキスト $\mathrm{R}$ 中の $\mathrm{p}-\mathrm{mer}$ 集合とする. ROUGE-SU は上の ROUGE-S の $p=2$ を $p \leq 2$ に拡張したものである.

ESK ESK (平尾, 奥村, 磯崎 2006) は畳み込みカーネルの一つである拡張文字列カーネルのうち, ギャップ加重 p-mer 部分列カーネルを評価指標として定義したものである.

$
\begin{aligned}
& \text { Score }{ }_{\text {ESK }}^{\text {p-mer }}(C, R)
\end{aligned}
$

(平尾他 2006) では 2-mer の部分列に制限するほか, 文単位に比較し精度重視の指標と再現度重視の指標の二つの重みつき調和平均 $(0 \leq \lambda \leq 1)$ を定義している.

ESK は他に各形態素に付与される意味ラベルを考慮した評価指標を提案しているが，本稿で用いる ESKは意味ラベルを考慮しない形態素基本形に基づくものとする.

## 2.3.2 翻訳の評価指標

BLEU BLEU (Papineni, Roukos, Ward, and Zhu 2001) は機械翻訳評価のための指標で, $n$ の值を変えた n-gram の精度系指標の重み $\left(\omega_{n}\right)$ 付き相乗平均により指標を定義する.

$
\begin{aligned}
P_{\mathrm{BLEU}}^{\mathrm{n}-\operatorname{gram}}(C, R) & =\frac{\sum_{e \in(\mathrm{n}-\operatorname{gram}(C) \cap \mathrm{n}-\operatorname{gram}(R))} \min \left(|e|_{C},|e|_{R}\right)}{\sum_{e \in \mathrm{n}-\operatorname{gram}(C)}|e|} \\
\operatorname{Score}_{\mathrm{BLEU}}(C, R) & =B P(C, R) \cdot \exp \left(\sum_{n=1}^{N} \omega_{n} \log P_{\mathrm{BLEU}}^{\mathrm{n}-\operatorname{gram}}(C, R)\right)
\end{aligned}
$

ここで相乗平均の計算を簡単にするために $\sum_{n=1}^{N} \omega_{n}=1$ という制約がある.

短いシステム出力テキストに対して高い精度が出やすいこの精度系の指標に対し, 精度と再現率の重み付き調和平均という方法を取らず, Brevity Penalty (BP)という項を入れて補正している.

$
\mathrm{BP}(C, R)= \begin{cases}1 & \text { if }|C|>|R| \\ \exp \left(1-\frac{|R|}{|C|}\right) & \text { if }|C| \leq|R|\end{cases}
$

IMPACTIMPACT(Echizen-ya and Araki 2007)は LCS に基づく指標ではなく, LCSubstrの再帰的な取得による指標である.

$
\begin{aligned}
R_{I P}(C, R)= & \left(\frac{\sum_{r=0}^{\mathrm{RN}}\left(\alpha^{r} \sum_{e \in \operatorname{LCSubstr}\left(C^{(r)}, R^{(r)}\right)}|e|^{\beta}\right)}{|R|^{\beta}}\right)^{\frac{1}{\beta}} \\
P_{I P}(C, R)= & \left(\frac{\sum_{r=0}^{\mathrm{RN}}\left(\alpha^{r} \sum_{e \in \operatorname{LCSubstr}\left(C^{(r)}, R^{(r)}\right)}|e|^{\beta}\right)}{|C|^{\beta}}\right)^{\frac{1}{\beta}}
\end{aligned}
$

ここで $\alpha$ はイテレート回数 $r(r \leq \mathrm{RN})$ に対する重み $(\alpha<1.0), \beta$ は LCSubstr 長に対する重み $(\beta>1.0), C^{(1)}=C, R^{(1)}=R, C^{(r)}=C^{(r-1)} \backslash\left.\{\operatorname{LCSubstr}\left(C^{(r-1)}, R^{(r-1)}\right)\right.\}, \quad R^{(r)}=$ $R^{(r-1)} \backslash\left.\{\operatorname{LCSubstr}\left(C^{(r-1)}, R^{(r-1)}\right)\right.\}$ とする.

$
\text { Score }_{\mathrm{IP}}=\frac{\left(1+\gamma^{2}\right) R_{\mathrm{IP}} P_{\mathrm{IP}}}{R_{\mathrm{IP}}+\gamma^{2} P_{\mathrm{IP}}}
$

この指標は 2.4.1 節に示す文字列長加重全部分文字列カーネルに関連がある。文字列長加重全部分文字列カーネルに対して，再帰的に LCSubstr を選択する際に既選択の LCSubstr を排除し，再帰の回数を RN で制限するという制約を入れたものである.

RIBES RIBES (平尾, 磯崎, 須藤, Duh, 塚田, 永田 2014) は, システム出力テキストと参照テキストのアラインメントをとったうえで，語順の編集型順序尺度を考慮したものである。

$
\begin{aligned}
\operatorname{Score}_{\mathrm{RIBES}}= & \left(d_{\operatorname{Kendall}}\left(1-\operatorname{gram}_{\text {align }}(C, R)\right)\right) \\
& \left(P_{\operatorname{RIBES}}(C, R)\right)^{\alpha} \cdot(\operatorname{BP}(C, R))^{\beta}
\end{aligned}
$

ここで $d_{\text {Kendall }}(\mu, \nu)$ は 2.4.2 節で定義する順位べクトル $\mu, \nu$ に対する Kendall 距離, 1-gram align $(\mu, \nu)$ は元論文(平尾他 2014)の worder で出力されるアラインメントされた二つの順序べクトルの対を表す. 右辺 2 項目は 1-gram (単語ベースのもの) 精度とよび $P_{\mathrm{RIBES}}(C, R)=\frac{\left|1-\operatorname{gram}_{\text {align }}(C, R)\right|}{|C|}$ とする。|1-gramalign $(\mu, \nu) \mid$ は worder で出力されるアラインメントされた順序べクトルの長さ (二つ出力されるが等しい) である.

$\alpha$ は 1-gram 精度に対する重み， $\beta$ は BLEU で用いられた BP に対する重みである。

なお, $P_{\mathrm{RIBES}}(C, R)$ は, それぞれの記号列に重複する記号がない場合, 以下が成り立つ：

$
\begin{aligned}
& P_{\text {RIBES }}(C, R)=\operatorname{Score}_{\text {ROUGE-1 }}^{(P)}(C, R) \\
& =\frac{\sum_{e \in(1-\operatorname{gram}(C) \cap 1-\operatorname{gram}(R))} \min \left(|e|_{C},|e|_{R}\right)}{\sum_{e \in 1-\operatorname{gram}(R)}|e|}
\end{aligned}
$

LRscore LRscore (Birch and Osborne 2010) も同様に，アラインメントをとったうえで，語順の順序尺度を考慮したものである。順序尺度としてべクトル型である Hamming 距離と編集型である Kendall 距離を用いている.

$
\operatorname{Score}_{\text {LRscore }}^{\operatorname{Hamming}}(C, R)=\alpha \cdot B P(C, R) \cdot d_{\text {Hamming }}(C, R)+(1-\alpha) \operatorname{Score}_{\operatorname{BLEU}(C, R)}
$

$
\operatorname{Score}_{\text {LRscore }}^{\operatorname{Kendall}}(C, R)=\alpha \cdot B P(C, R) \cdot d_{\text {Kendall }}(C, R)+(1-\alpha) \operatorname{Score}_{\mathrm{BLEU}(C, R)}
$

$\alpha$ は語順をどの程度考慮するかの重みつけ係数.

## 2.4 関連するカーネル・順序尺度

上に述べた指標は，基本的には以下のカーネルおよび順序尺度の組み合わせで構成することができる。以下では，各種指標に関連するカーネルおよび順序尺度について確認する。

## 2.4.1 カーネル・距離（文字列の共有）

畳み込みカーネルのうち系列データに対するカーネルは, 共通する部分文字列・部分列を数え上げる。いずれも効率よく計数する方法が提案されている (Shawe-Taylor and Cristianini, 大北訳 2010). また，適切に正規化することにより部分文字列・部分列の共有についての距離や指標を規定することができる.

様々なカーネルの説明に入る前に, $[0,1]$ 区間正規化について示す. カーネルの $[0,1]$ 区間正規化はカーネルの研究分野でよく用いられており以下の式により行われる：

$
\operatorname{Score}_{K_{-}}(s, t)=\frac{K_{-}(s, t)}{\left.\|K_{-}(s, s)\right.\| \cdot\left.\|K_{-}(t, t)\right.\|}
$

各種指標のように，再現率-精度間の重み $\gamma$ をれたい場合には以下のようにする：

$
\operatorname{Score}_{K_{-}}^{(\gamma)}(s, t)=\frac{\left(1+\gamma^{2}\right) K_{-}(s, t)}{\sqrt{\left(K_{-}(s, s)\right)^{2}+\gamma^{2}\left(K_{-}(t, t)\right)^{2}}}
$

全部分文字列カーネルと文字列長加重全部分文字列カーネル全部分文字列カーネル (All String Kernel or Exact Matching Kernel) は共通する全ての部分文字列の数を数える.

任意の長さの部分文字列 $u$ の出現数を座標軸とする特徴量空間 $F_{\text {all_str }}$ を考える.

$
\begin{aligned}
\Phi_{\text {Str }}^{*}: \sigma^{*} & \rightarrow F_{\text {all_str }} \sim R^{|\sigma|^{*}} \\
\Phi_{\text {Str }}^{*}(s) & =\left(\phi_{u}^{*}(s)\right)_{u \in \sigma^{*}} \\
\phi_{u}^{*}(s) & =\left|\left.\{i \mid s_{i \ldots *}=u\right.\}\right| \\
K_{\text {all_str }}(s, t) & =\left.\langle\Phi_{\text {Str }}^{*}(s), \Phi_{\text {Str }}^{*}(t)\right.\rangle_{F_{\text {all_str }}} \\
& =\sum_{u \in \sigma^{*}} \phi_{u}^{*}(s) \phi_{u}^{*}(t)
\end{aligned}
$

カーネル関数を直接計算すると以下のようになる：

$
K_{\text {all_str }}(s, t)=\sum_{n=1}^{\min (|s|,|t|)} \sum_{i=1}^{|s|-n+1} \sum_{j=1}^{|t|-n+1} \delta\left(s_{i \ldots i+n-1}, t_{j \ldots j+n-1}\right)
$

ここで $\delta$ はクロネッカーのデルタとする. 言語処理の場合, 得られる n-gram に対して加重をかけることが一般に行われている。文字列長に対して加重をかけたものを文字列長加重全部分文
字列カーネル (Length Weighted All String Kernel or Length Weighted Exact Matching Kernel) と呼ぶ.

$
\begin{aligned}
& K_{\text {W_all_str }}(s, t) \\
& \quad=\sum_{n=1}^{\min (|s|,|t|)} \sum_{i=1}^{|s|} \sum_{j=1}^{-n+1} \omega_{|s|} \delta\left(s_{i \ldots i+n-1}, t_{j \ldots j+n-1}\right)
\end{aligned}
$

ここで $\omega_{n}$ は長さ $n$ に対する重みを表す.

2.3.2 節で述べた IMPACT はこのカーネルの特殊形とみなすことができる.

このカーネルと次の $\mathrm{n}$-スペクトラムカーネルは Suffix Tree を用いて効率よく計算する方法が提案されている.

$\mathbf{n}$-スペクトラムカーネル $\mathrm{n}$-スペクトラムカーネル (Spectrum Kernel) は共通する長さ $n$ の部分文字列 (n-gram) の数を数える.

長さ $n$ の部分文字列 $u$ の出現数を座標軸とする特徴量空間 $F_{\mathrm{n} \text {-gram }}$ を考える.

$
\begin{aligned}
\Phi_{\mathrm{str}}^{n}: \sigma^{n} & \rightarrow F_{\mathrm{n}-\mathrm{gram}} \sim R^{|\sigma|^{n}} \\
\Phi_{\mathrm{str}}^{n}(s) & =\left(\phi_{u}^{n}(s)\right)_{u \in \sigma^{n}} \\
\phi_{u}^{n}(s) & =\left|\left.\{i \mid s_{i \ldots i+n-1}=u\right.\}\right| \\
K_{\text {n-gram }}(s, t) & =\left.\langle\Phi_{\mathrm{str}}^{n}(s), \Phi_{\mathrm{str}}^{n}(t)\right.\rangle_{F_{\text {n-gram }}} \\
& =\sum_{u \in \sigma^{n}} \phi_{u}^{n}(s) \phi_{t}^{n}(t)
\end{aligned}
$

直接計算すると以下のようになる：

$
K_{\mathrm{n}-\operatorname{gram}}(s, t)=\sum_{i=1}^{|s|-n+1} \sum_{j=1}^{|t|-n+1} \delta\left(s_{i \ldots i+n-1}, t_{j \ldots j+n-1}\right)
$

ROUGE-N は, 分子に $K_{\mathrm{n}-\operatorname{gram}}(C, R)$ より小さい値を持ち, 分母に参照テキストののべ出力 n-gram 数を持つことから, 再現率として正規化したものに相当する. 通常の正規化した $K_{\mathrm{n}-\operatorname{gram}}(s, t)$ は再現率と精度の調和平均と解釈できる.

また 1-gram スペクトラムカーネルは 1-mer 部分列カーネルと同值で, これらは近似的に BLEU などで利用されている BP 相当の値を計算すると考える.

全部分列カーネル全部分列カーネルは共通するすべての部分列の数を数える.

任意の長さの部分列 $v$ の出現数を座標軸とする特徴量空間 $F_{\text {all_seq }}$ を考える.

$
\begin{gathered}
\Psi_{\text {Seq }}^{*}: \sigma^{*} \rightarrow F_{\text {all_seq }} \sim R^{|\sigma|^{\infty}} \\
\Psi_{\text {Seq }}^{*}(s)=\left(\psi_{v}^{*}(s)\right)_{v \in \sigma^{*}}
\end{gathered}
$

$
\begin{aligned}
\psi_{v}^{*}(s) & =|\{\vec{i} \mid s[\vec{i}]=v\}| \\
K_{\text {all_seq }}(s, t) & =\left.\langle\Psi_{\text {Seq }}^{*}(s), \Psi_{\text {Seq }}^{*}(t)\right.\rangle_{\text {all_seq }} \\
& =\sum_{v \in \sigma^{*}} \psi_{v}^{*}(s) \cdot \psi_{v}^{*}(t)
\end{aligned}
$

$K_{\text {all_seq }}(s, t)$ は以下のように再帰的に計算することにより $O(|s| t \mid)$ で計算することができる. $\epsilon$ を空記号列とすると $K_{\text {all_seq }}(s, \epsilon)=K_{\text {all_seq }}(t, \epsilon)=1$ とし， $K_{\text {all_seq }}(s, t)$ が求まると $K_{\text {all_seq }}(s \cdot a, t)=K_{\text {all_seq }}(s, t)+\sum_{1 \leq i \leq|t|, j: t_{j}=a} K_{\text {all_seq }}\left(s, t_{i \ldots j-1}\right)$ と $s$ 再帰的に定義できる. さらに $\tilde{K}_{\text {all_seq }}(s \cdot a, t)=K_{\text {all_seq }}\left(s, t_{i \ldots j-1}\right)$ とすると, $\tilde{K}_{\text {all_seq }}(s \cdot a, t \cdot b)=\tilde{K}_{\text {all_seq }}(s \cdot a, t)+$ $\delta(a, b) K_{\text {all_seq }}(s, t)$ と $t$ 再㷌的に定義できる.

固定長部分列カーネル固定長部分列カーネルは共通する長さ $p$ の部分列 (p-mer) の数を数えあげる。

長さ $p$ の部分文字列 $v$ の出現数を座標軸とする特徴量空間 $F_{\mathrm{p}-\mathrm{mer}}$ を考える.

$
\begin{aligned}
\Psi_{\text {Seq }}^{p}: \sigma^{p} & \rightarrow F_{\mathrm{p}-\text { mer }} \sim R^{|\sigma|^{p}} \\
\Psi_{\text {Seq }}^{p}(s) & =\left(\psi_{v}^{p}(s)\right)_{v \in \sigma^{p}} \\
\psi_{v}^{p}(s) & =|\{\vec{i} \mid s[\vec{i}]=v\}| \\
K_{\mathrm{p}-\operatorname{mer}}(s, t) & =\left.\langle\Psi_{\mathrm{Seq}}^{p}(s), \Psi_{\mathrm{Seq}}^{p}(t)\right.\rangle_{\mathrm{p}-\mathrm{mer}} \\
& =\sum_{v \in \sigma^{p}} \psi_{v}^{p}(s) \cdot \psi_{v}^{p}(t)
\end{aligned}
$

ROUGE-S は, 分子に $K_{2-\operatorname{mer}}(C, R)$ より小さい值を持ち, 分母に参照テキストののべ出力 2-mer 数を持つことから, 再現率として正規化したものに相当する. ROUGE-SU は, 分子に $K_{1-m e r, 2-m e r}(C, R)$ より小さい値を持ち, 分母に参照テキストののべ出力 1-mer, 2-mer 数を持つことから, 再現率として正規化する。通常の正規化した $K_{\mathrm{p}-\operatorname{mer}}(s, t)$ は再現率と精度の調和平均と解釈できる.

ギャップ加重部分列カーネルギャップ加重部分列カーネルは p-mer の部分列の数え上げの際に隣接性を考慮して重み $\lambda$ を加重する。ESK (平尾他 2006)は, このカーネルを用いた尺度である。

長さ $p$ の部分列 $v$ を座標とする特徴量空間 $F_{\mathrm{p}-\mathrm{mer}}$ を考える.

$
\begin{aligned}
& K_{\text {gap_p-mer }}(s, t)=\left.\langle\Psi_{\text {Seq }}^{\text {gap_p }}(s), \Psi_{\text {Seq }}^{\text {gap_p }}(t)\right.\rangle_{F_{\mathrm{p}-\mathrm{mer}}} \\
&=\sum_{v \in \sigma^{p}} \psi_{v}^{g a p_{-} p}(s) \cdot \psi_{v}^{\text {gap_p }}(t) \\
& \text { ここで } \psi_{v}^{\text {gap_p }}(s)=\sum_{\vec{i}: v=s[\vec{i}]} \lambda^{l(\vec{i})} \text { とし, } l(\vec{i})=\left|s_{i_{1} \ldots i_{|v|}}\right|\left(\vec{i}=\left.\langle i_{1}, \ldots, i_{|v|}\right.\rangle\right) \text { とする. }
\end{aligned}
$

## 2.4.2 順序尺度

以下では順序尺度について考えるが，文献 (神嶌 2009)に詳しい解説がある．基本的には同じ長さ $m$ の二つの順位ベクトル $\mu, \nu \in S_{m}$ に対する 2 種類の距離を考える.

順位ベクトル型距離一つ目の距離は「順位ベクトル型」の距離で順位ベクトルを $m$ 次元空間中の点を表すべクトルとみなし, ベクトル空間上の距離を定義する. ベクトル空間上の $\theta$-ノルムを用いると以下のようになる：

$
d_{\|\operatorname{Rank}\|_{\theta}}(\mu, \nu)=\left(\sum_{i=1}^{m}|\mu(i)-\nu(i)|^{\theta}\right)^{1 / \theta}
$

ここで $\theta=1$ の場合, 特に Spearman footrule と呼ぶ.

$
d_{\text {Footrule }}(\mu, \nu)=\left(\sum_{i=1}^{m}|\mu(i)-\nu(i)|\right)
$

$\theta=2$ の場合は通常の Euclid 距離だが，この Euclid 距離を 2 乗したものを特に Spearman 距離と呼ぶ.

$
d_{\text {Spearman }}(\mu, \nu)=\left(\sum_{i=1}^{m}|\mu(i)-\nu(i)|^{2}\right)
$

Spearman 距離は, 距離の公理のうち対称性と正定值性を満たす. しかし, Euclid 距離を 2 乗したものなので三角不等式を満たさないが，慣習的に距離として扱われる。さらに $[-1,1]$ 区間に正規化したものは Spearman の順位相関係数 $\rho$ として知られている.

$
\text { Spearman's } \rho=1-\frac{6 \cdot d_{\text {Spearman }}(\mu, \nu)}{m^{3}-m}
$

この値は順序尺度に基づく二つの順位ベクトル $\mu, \nu$ の Pearson 相関係数と等しい5.

その他, 順位べクトルの同一順位のものが同じ要素である要素数を数えた Hamming 距離がある。

$
d_{\text {Hamming }}(\mu, \nu)=\sum_{i=1}^{m} \delta(\mu(i), \nu(i))
$

Hamming 距離は文字列上で代入（コスト 1）のみを許した編集距離としても解釈できる.

また, 距離 $\mathrm{d}_{\| \text {|rank } \|_{\theta}}, d_{\text {Footrule, }} d_{\text {Spearman }}, d_{\text {Hamming }}$ に対応するスコア Score $\|_{\| \text {rank } \|_{\theta}}$, Score $_{\text {Footrule, Score }}^{\text {Spearman, }}$, Score Hamming を次のように規定することができる.

$
\text { Score }_{-}=\frac{1}{1+d_{-}}
$

対称群上の編集型距離二つ目の距離は「編集型」の距離である.

順序べクトルを記号列とみなした場合，順位べクトル $\mu$ をもうひとの順位ベクトル $\nu$ に変換するために必要な最小操作数を意味する Levenshtein 距離について述べた．以下では，順序ベクトルを対称群とみなした場合の編集型距離について述べる。編集に許される操作によっていくつかの距離のバリエーションがある.
- Kendall 距離 :

Kendall 距離 $d_{\text {Kendall }}(\mu, \nu)$ は順序べクトルを対称群とみなした際に隣接互換で置換する最小回数によって定義される。言い換えると隣接する対象対を交換 (Swap) する操作の最小回数を用いたものである. Kendall 距離は, 二つの順位ベクトル中の $\frac{m(m-1)}{2}$ 個の対象対のうち逆順になっている対の数に等しい.

$
\begin{gathered}
d_{\text {Kendall }}(\mu, \nu)=\min (\arg \max \\
\bar{q} \\
\left.\left.\left.d_{\text {Kendall }}(\mu, \nu)=\sum_{i=1}^{m} \sum_{j=i+1}^{\bar{q}} \pi_{2=1}^{m}\left(k_{q}, k_{q}+1\right)\right) \cdot \mu, \nu\right)\right)
\end{gathered}
$

ここで， $k_{q}$ は順位ベクトル $\mu$ のインデックス. また， $\chi$ は対象対 $\langle i, j\rangle$ が同順のとき 0 ,逆順のとき 1 を返す指示関数：

$
\chi= \begin{cases}1 & \text { if }(\mu(i)-\mu(j))(\nu(i)-\nu(j))<0 \\ 0 & \text { if }(\mu(i)-\mu(j))(\nu(i)-\nu(j)) \geq 0\end{cases}
$

$\pi_{2}=(i, i+1)$ は隣接する二つの元のみを入れ替えて他の元は変えない操作である隣接互換を意味する。

これを指標として使いやすくするために $[0,1]$ 区間の範囲に正規化すると以下のようになる：

$
\operatorname{Score}_{\text {Kendall }}(\mu, \nu)=1-\frac{2 \cdot d_{\text {Kendall }}(\mu, \nu)}{m^{2}-m}
$

これを $[-1,1]$ 区間の範囲に正規化したものは Kendall の順位相関係数 $\tau$ として知られている.

$
\text { Kendall's } \tau=1-\frac{4 \cdot d_{\text {Kendall }}(\mu, \nu)}{m^{2}-m}
$
- Cayley 距離 :

Cayley 距離 $d_{\text {Caylay }}$ は順序べクトルを対称群とみなした際に互換で置換する最小回数によって定義される。言い換えると隣接していなくても良い対象対を交換 (Swap) する最小回数を用いたものである.

$
d_{\text {Caylay }}(\mu, \nu)=\min \left(\arg \max \delta\left(\left(\Pi_{q=1}^{\bar{q}} \pi_{2}\left(k_{q}, l_{q}\right)\right) \cdot \mu, \nu\right)\right)
$

ここで $, k_{q}, l_{q}$ は順位ベクトル $\mu$ のインデックス. $\pi_{2}=(i, j)$ は二つの元のみを入れ替えて他の元は変えない操作である互換を意味する.
- Ulam 距離 :

Ulam 距離 $d_{\text {Ulam }}$ は順序ベクトルを対称群とみなした際に連続した順序べクトル部分列 $\langle i, i+1, \ldots, j-1, j\rangle$ の巡回置換の操作のみで置換する最小回数によって定義される. これは「本棚の本の入れ換え」で例えられる。順位べクトル $\mu$ で並んでいる本棚の本を順位ベクトル $\nu$ に並べ替えるために，ある要素を抜いて別の場所に插才するということを行う.

Ulam 距離は同じ要素が記号列に存在しないという前提のもと, 最長一致部分列長と以下の関係にあることが知られている.

$
d_{\operatorname{Ulam}}(\mu, \nu)=m-|\operatorname{LCS}(\mu, \nu)|
$

これを $[0,1]$ 区間の範囲に正規化すると以下のように正規化最大共通部分列と同じになる：

$
\begin{aligned}
\operatorname{Score}_{\operatorname{Ulam}}(\mu, \nu) & =1-\frac{d_{\mathrm{Ulam}}(\mu, \nu)}{m} \\
& =\frac{|\operatorname{LCS}(\mu, \nu)|}{m} \\
& =\operatorname{Score}_{\mathrm{LCS}}(\mu, \nu)
\end{aligned}
$

図 1 に順序べクトルによる置換により表現した編集型距離の例を示す。編集型距離の定義で許される編集の回数を数えると, 順序べクトル $(1,4,3,2)$ と $(1,2,3,4)$ の Kendall 距離は 3 , Caylay 距離は 1, Ulam 距離は 2 となる。また, 順序べクトル $(2,3,1,4)$ と $(1,2,3,4)$ の Kendall 距離は 2, Caylay 距離は 2, Ulam 距離は 1 となる.

以下は，我々の意見だが，言語生産時の編集作業の工数を評価する場合には，(Nivre 2009)の swap に代表されるような Kendall 距離のような編集よりもUlam 距離のような編集を考慮すべきであると考える。言語生産時に, Kendall 距離で考慮される列内絶対位置よりも，Ulam 距離で考慮される列内相対位置を考えながら編集を行う方が人にとって自然な処理であると考える.順序尺度間の関係ベクトル型の Spearman's $\rho$ と Kendall's $\tau$ との間には以下の Daniels の不等式が成立する：

$
-1 \leq \frac{3(m+2)}{m-2} \tau-\frac{2(m+1)}{m-2} \rho \leq 1
$

$m \rightarrow \infty$ の極限をとると $-1 \leq 3 \tau-2 \rho \leq 1$ が成り立つ. このことから二つの相関係数の間の

図 1 対称群上の編集型距離

相関が高いことが示される.

距離の観点からは, $d_{\text {Caylay }} \leq d_{\text {Kendall }}$ が成り立つ. さらに Footrule 距離と Kendall 距離と Cayley 距離の間に以下の不等式が成り立つ (Diaconis-Graham inequality):

$
d_{\text {Kendall }}+d_{\text {Caylay }} \leq d_{\text {Footrule }} \leq 2 \cdot d_{\text {Kendall }}
$

また Spearman 距離と Kendall の距離の間には以下の不等式が成り立つ (Durbin-Stuart inequality):

$
\frac{4}{3} d_{\text {Kendall }}\left(1+\frac{d_{\text {Kendall }}}{m}\right) \leq d_{\text {Spearman }}
$

つまり，評価指標のデザインにおける順序尺度の選択による差異は，これらの不等式の範囲によって制限される.

## 2.5 指標の一般化

以上, 評価指標・距離・カーネル・相関係数を議論してきた。まとめると付記 B 表 2 のようになる。

各指標と人手の評価結果をできるかぎり合わせるという観点からすると, (平尾, 奥村, 安田,磯崎 2007) のように，表 2 にあげたすべての尺度 Score_ $\in\left.\{\right.$ Score $\left._{*}\right.\}$ の加重相乗平均（下式）を考え, 加重 $\omega_{-}$と各指標に付随するパラメータを，各指標の従属性や相関に注意しながら人手の評価結果との回帰により求めれば良い.

$
\begin{gathered}
\overline{\text { Score }_{*}}=\sum \omega_{-} \sqrt{\text { ПScore }_{-}^{\omega_{-}}} \\
\log \overline{\text { Score }_{*}}=\frac{1}{\sum \omega_{-}}\left(\sum w_{-} \cdot \log \text { Score }_{-}\right)
\end{gathered}
$

この指標のあり方については注意すべき点がいくつかある.
- substring（部分文字列：n-gram 系）と subsequence（部分列：p-mer 系）との違いを踏まえる。

・ 最長一致部分長は対称群上の編集型距離である Ulam 距離と深く関連する.
- 順序に対する順位ベクトル型距離と編集型距離の間には 2.4 .2 節に示される関係が成り立つ.

本稿では，先に述べた四つの尺度がそれぞれどのような特性があるかを明らかにすることを目的としており，最適な指標の組み合わせについては検討を行わない. 次節以降，各尺度がさまざまな言語資源上でどのようなふるまいをするのかについてみていきたい.

## 3 評価に用いる言語資源

ここでは様々な言語生成過程を記録した言語資源におけるテキスト対の尺度の差異を検証することにより，各尺度がとらえようとしているものが何なのかを分析する。

表 1 に，利用する言語資源について示す. まず言語生産過程として，要約 (BCCWJ-SUMM) と語釈 (GLOSS) と再話 (RETELLING) の 3 種類の言語資源を用いる。要約は長い元文書を短くする情報提示手法である。語釈は短い単語を長い文書で説明する情報提示手法である．再話は長い元文書をできるだけその内容を保存したまま示す情報提示手法である．情報提示手法を比較することで，各尺度が何を評価しているのかを明らかにすることを試みる。

要約と語釈については, クラウドソーシングにより安価で大量にデータを得る手法（タイプ
表 1 指標評価に使う言語資源

入力）と実験室にて被験者に繰り返し同一課題を依頼してデータを得る手法（筆述）の 2 種類の方法を用いた。再話のデータについては既存のデータを用い，筆述による形態と口述による形態のデータを準備した。言語生産形態として，タイプ入力・筆術・述の 3 種類のデータを対照比較する。これは評価尺度が, 要約の内容の類似度だけでなく, 個人の文体の類似度を評価してしまう部分を分析するために準備した，それぞれ文体の統制が可能なレベルが異なっており，評価尺度に影響を与えるものだと考え，これを評価することを試みる，さらに，大勢の実験協力者に同じタスクを行わせる場合の協力者間の尺度のふるまいと，同一の実験協力者に同じタスクを複数回行わせる場合の尺度のふるまいを検証し，どの尺度にゆれが生じるかを明らかにする。

以下各言語資源について解説する。

## 3.1 BCCWJ-SUMM_C

BCCWJ-SUMM_Cは『現代日本語書き言葉均衡コーパス』(Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)(BCCWJ)の新聞記事（PNサンプル）の要約を Yahoo! クラウドソーシング（15 歳以上の男女）により被験者実験的に作成したもの (浅原，杉，柳野 2015) である.

BCCWJ の1サンプルには複数の記事が含まれており，それを記事単位に分割したうえで元文書集合 19 文書を構築した。元文書集合は BCCWJ コアデータ PN サンプル (優先順位 A) から選択した. 40 文字毎に改行した元文書を画像として提供し, 実験協力者に 50-100 文字に要約せよという指示で収集した。自動要約の本来のあり方としては, 文字数の削減ではなく,読み手の読み時間の削減が本質であると考えるが，実験の都合上，文字数による制限を課した．実験協力者の環境は PCに限定した. 元文書毎に約 100-200人の実駼協力者が要約に従事した.実験実施時期は 2014 年 9 月である.

得られたデータには，文字数制限を守っていないもの・実験の趣旨を理解していないもの・既に実験を行った実験協力者から同一回答を提供されたと考えられるものなどが含まれており，

これらを排除したものを有効要約とする。統計分析においてこの有効要約のみを用いる.

## 3.2 BCCWJ-SUMM_L

BCCWJ-SUMM_Lは BCCWJ の新聞記事の要約を実験室環境で筆述により作成したもの (浅原他 2015) である．BCCWJ-SUMM_C で用いた元文書を印刷紙面で提供し，実験協力者に 50-100 文字に要約せよという指示で収集した。一つの元文書に対して，3回まで繰り返して要約文作成を行った．実験協力者は 1 回の要約文作成に 10 分間の時間制限を設定した．各回の間には休㦝時間をおかず，早く要約課題が完成した場合には，ただちに次の回の要約作成を行った. 尚,各実験協力者は要約対象文書を含む文書群の読文時間を評価する実験を，本実験の前に行っており，要約文作成前に元新聞記事を 1 回読んでいる。今後，読文時間と要約抽出箇所との評価を進める予定である。繰り返しに際しては，特別に「前と同じ要約文を作成してくたささい」などといった指示は行わず，質問された場合にも「自由に要約文を作成してください」と教示した. 実験協力者は原稿用紙上で筆述（鉛筆と消しゴム利用）で要約を行い，そのデー夕を電子化した。

本実験の実験参加者は要約作業前に要約元文書の読み時間のデータも取得した. さらに被験者の特性（最終学歴・語彙数・言語形成地・記憶力）などのデー夕についても取得した. 実験実施時期は 2014 年 8 月-10 月であるが，今後このデータは引き続き拡充していく予定である.

統計分析においては, 同一課題について, 異なる被験者間のスコア (1回目のみを評価：BCCWJSUMM_L(P)）と, 同一被験者の回数間のスコア (BCCWJ-SUMM_L(T)) の両方を評価する.

## 3.3 GLOSS_C

GLOSS_C は語釈文を Yahoo! クラウドソーシング（15歳以上の男女）により被験者実験的に作成したものである。実験実施時期は 2014 年 2 月である.

「その動物を全く知らない人がどのようなものかわかるように説明してくたさい」と教示し，同意した実験協力者は鬼（単語親密度 6.6）・鶏（同 6.4）・象（同 6.0）の 3 種類から対象物を選択回答した. 単語親密度は (天野, 近藤 1999) による. 150 文字以上 250 文字以内で 3 文字以上の同文字連続は認めない設定とした．実験協力者 300 名を募集したところ得られた解答数は，鶏：71・鬼：111・象： $113(295 / 300)$ であった.

尚, このデータの質的分析は (加藤 2015b) を参照されたい.

## 3.4 GLOSS_L

GLOSS_L は語釈文を実験室環境で筆述により収集したものである。実験実施時期は 2013 年 5 月-6月である.

実験協力者 8 名（20 代-50 代の男女）に，GLOSS_C と同様に「その動物を全く知らない人

がどのようなものかわかるように説明してくたさいいと教示した．実験協力者は， 10 分間で鬼 （単語親密度 6.6）・鵎（同 6.4）・象（同 6.0）の 3 種類から 2 種類の対象物を選択回答した。目安として 5 分経過時にブザー音を鳴らした。選択した対象物について同様に記述を繰り返すことを 4 回行った。得られた解答数は，兔 7 人分 $\times 4$ 回，鶏 6 人分 $\times 4$ 回，象 3 人分 $\times 4$ 回である。平均 145 文字 ( $\max 227$ 文字, $\min 85$ 文字）を得た。

統計分析においては, 同一課題について, 異なる被験者間のスコア（1 回目のみを評価：

GLOSS_L(P)）と，同一被験者の回数間のスコア (GLOSS_L(T))の両方を評価する.

尚, このデータを用いた認知的な分析は (加藤 $2015 \mathrm{a}$; 加藤, 浅原 2015) を参照されたい.

## 3.5 RETELLING_I

最初の再話のデータは「独話 Retelling コーパス」(保田, 田中, 荒牧 2013a, 2013b)である. このコーパスは (宮部, 四方, 久保, 荒牧 2014)でも用いられている.

実験協力者は 5 名で, 同一人が同内容をそれぞれ 10 回独話を繰り返した. 就職活動を前提とした模擬面接の設定で，実験協力者は自ら予め用意した「学生生活で力を入れてきたこと（3 分間程度)」についての独話を行った. 同内容を繰り返すことや何回依頼するかは知らせていない. 5 人分 $\times 10$ 回（50 話分）の独話を取得した. 面接官（聴衆）は有無を交互とした．奇数回 $(1 \cdot 3 \cdot 5 \cdot 7 \cdot 9$ 回）は聴衆なしの独話, 偶数回 $(2 \cdot 4 \cdot 6 \cdot 8 \cdot 10$ 回 $)$ は聴衆に対する独話である。聴衆には，聴いていることを表すために領くことのみを許可しており，話者への質問や意見など，発話は一切行わなかった，収録は録音と録画を行い，音声デー夕を書き起こした.

被験者によってインタビュー内容が異なるために，統計分析においては同一被験者の回数間のスコア (RETELLING_I(T))のみを評価する.

## 3.6 RETELLING_K

次の再話のデータは怪談を繰り返し口述したものであり, 先行研究 (保田, 荒牧 2012)によるものである.

実験協力者は 3 名6で, 実験は 1 名ずつ個別に行った. 実験協力者は怪談を聞いたのち，その怪談について 3 回の再話を行った. 怪談は 3 種類を用意したため, 各人 9 回の語りを行った.語りに関しては,「怪談として他の人に伝えるよう話す」との指示をした. 既存の物語では, 個人の記憶による先入観の影響が予測されたため, 4 分間程度の新規な怪談を 3 本作成した.

実験環境は図 2 のように，ビデオカメラと録音機により，録音と録画を行った。聴衆の影響を除去するために, 聴衆は設置しなかった. 実験協力者は以下の配置で録音機に向かって話した.本稿では音声データを書き起こしたものを用いる.

図 2 RETELLING_Kデータの収録環境

統計分析においては, 同一課題について, 異なる被験者間のスコア（1 回目のみを評価： RETELLING_K $(\mathrm{P})$ ) と, 同一被験者の回数間のスコア (RETELLING_K(T)) の両方を評価する.

## 3.7 RETELLING_M

最後の再話のデータは桃太郎の物語を筆述で繰り返し記述したものであり, 先行研究 (保田 2014)によるものである.

実験協力者 10 名（20 代-50 代の男女）に，「桃太郎の物語を全く知らない人に向けて記述してください」と教示し，実験協力者は 10 分間で記述（筆述）した. 同様に記述を繰り返すことを 4 回行った。平均のべ 284 語（min: 150 語・max: 451 語），異なり語 107 語（min: 74 語・max: 152 語）の「桃太郎」 10 人分 $\times 4$ 回（40 話分）を取得した.

統計分析においては, 同一課題について, 異なる被験者間のスコア（1 回目のみを評価： RETELLING_M $(\mathrm{P})$ ) と, 同一被験者の回数間のスコア (RETELLING_M $(\mathrm{T})$ ) の両方を評価する.

## 4 尺度の定性的な分析

## 4.1 尺度の分析方法

本節では前節で述べたコーパスを用いて各尺度がどのように振る舞うかを観察する。利用する尺度は以下の 30 種類である。
- n-gram スペクトラム $(1,2,3,4)(\mathrm{char} / \mathrm{mrph})$
- n-gram 以下スペクトラム $(\leq 2, \leq 3, \leq 4)($ char $/ \mathrm{mrph})$
- p-mer 部分列 $(2,3,4)$ (char/mrph)
- p-mer 以下部分列 $(\leq 2, \leq 3, \leq 4)$ (char/mrph)
- 1-gram スペクトラム+Footrule (char/mrph) (=Spearman)
- 1-gram スペクトラム+Kendall (char/mrph)

付記 $\mathrm{C}$ 表 4,5 に各コーパス中の 2 サンプル間の尺度の平均値 (Mean) と標準偏差 (SD) 7 を示す.スコアについて (char)“_c”は文字単位の記号列として評価したもの，(mrph)“_m”は形態
)$ と, 被験者を固定した場合 $(\mathrm{P})$ と部分集合群を規定し, 各部分集合中で全組み合わせに対する算術平均を得た。標準偏差も同様.
}
素単位の記号列 (MeCab-0.98+IPADIC-2.7.0による) として評価したものである. 括弧内の数字は部分文字列長（n-gram における n）もしくは部分列長（p-mer における p）を示す.シャピロ・ウィルク検定の結果, ほとんどの場合 $\mathrm{p}$ 値が 0.05 未満であり, 正規分布とはいえない傾向が見られた。

## 4.2 尺度のグラフ

図 3 に形態素単位に評価した, n-gram(1), n-gram(2), p-mer(2), Kendall の尺度のタスク毎の平均値グラフを示す. エラーバーは標準誤差を表す.

unigram(n-gram(1))を用いた場合, 要約と語釈は中程度, 再話はかなり高い值である. GLOSS_ L(T) がほぼ再話と同程度の值である一方, BCCWJ-SUMM_L(T) が低いことから, 要約を繰り返す際の言語生産の特殊性が見られる。要約を繰り返す際には, 回数毎に文章中の重要箇所を変更するサンプル・被験者が存在し, 標準偏差も高くなっている.

bigram(n-gram(2)), skip-bigram(p-mer(2))を用いた場合, 異なる被験者間と繰り返し間との間に差が見られるようになる。これは何らかの個人の文体差が形態素の連接に影響を与えているのではないかと考える。

bigram(n-gram(2))と skip-bigram(p-mer(2))の間の差として, 語釈の場合のみ bigram の値が下がった。語釈という課題の性質上, 物語や要約と異なり, 情報の提示順が変わることも考え

p-mer(2) mrph

Kendall mrph

図 3 課題と評価尺度 (n-gram(1), n-gram(2), p-mer(2), Kendall: 形態素単位平均値と標準誤差)

られる。しかし, 順序尺度である Kendall の値では bigram の值ほど顕著な差が見られなかった。単語の隣接性が語釈のみ下がるという値のふるまいについては今後検討していきたい.

クラウドソーシングと研究室内被験者実験との差 (BCCWJ-SUMM_C $\Leftrightarrow$ BCCWJ-SUMM_L(P), GLOSS_C $\Leftrightarrow$ GLOSS_L $(\mathrm{P})$ )については, 各尺度・各課題（要約・語釈）で差が見られなかった.

## 4.3 課題間の評価

以下，課題間を比較するために， 6 種類の評価軸を分析する．ほとんどの場合，正規分布であることも等分散であること（F 検定による）も仮定できない. ここではウィルコクソンの順位和検定（0.05 未満で 2 群の代表値が左右にずれている）を行う ${ }^{8}$. 多重比較に対応するために Bonferroni 法を用いた。付記 C 表 3 に結果のまとめを示す.
- 実験室における複数人の課題間の違いの評価

BCCWJ-SUMM_L $(\mathrm{P}) \Leftrightarrow$ GLOSS_L $(\mathrm{P}) \Leftrightarrow$ RETELLING_K(P) $\Leftrightarrow$ RETELLING_M(P)
- BCCWJ-SUMM_L(P) $\Leftrightarrow$ GLOSS_L(P)

文字単位の評価の場合 n-gram(2,3,4)_char に有意差が見られた.

形態素単位の評価の場合 n-gram $(2,3,4) \_m r p h$ に有意差が見られた.
- BCCWJ-SUMM_L(P) $\Leftrightarrow$ RETELLING_K(P)

n-gram(4)_char, n-gram(3,4)_mrph 以外で有意差が見られた.
- BCCWJ-SUMM_L(P) $\Leftrightarrow$ RETELLING_K(M)

n-gram(4)_mrph 以外で有意差が見られた。
- $\quad$ GLOSS_L $(\mathrm{P}) \Leftrightarrow$ RETELLING_ $_{-}\{\mathrm{K}, \mathrm{M}\}(\mathrm{P})$

全ての尺度について，有意差が見られた。
- RETELLING_K(P) $\Leftrightarrow$ RETELLING_M(P)

全ての尺度について, 有意差が見られなかった。

要約 $\Leftrightarrow$ 語釈間は n-gram(1) で有意差が見られなかった。同じ文字・同じ形態素を使うという観点では一致度のレベルが等しいが，語の連接が入ると有意差が見られることがわかった。グラフからは語釈の方が語の連接や順序尺度の一致度が低い。これは語釈の目的としては情報の提示順に重要性のないことが伺える。

要約 $\Leftrightarrow$ 再話, 語釈 $\Leftrightarrow$ 再話の間においては有意差が見られた。再話は同じ話をするという特性から一致度が高くなる一方，要約・語釈は目的を達成するがために同じ表現を用いなければならないという制約がなく, 一致度が低くなる傾向にある。また同一課題の語釈間では有意差はなかった.

- 実験室における単一人の回数間距離の課題間の違いの評価

BCCWJ-SUMM_L(T) $\Leftrightarrow$ GLOSS_L(T) $\Leftrightarrow$ RETELLING_I(T) $\Leftrightarrow$ RETELLING_K(T) $\Leftrightarrow$ RETELLING_M(T)
- BCCWJ-SUMM_L(T) $\Leftrightarrow$ GLOSS_L(T)

文字単位の評価の場合 n-gram $(1, \leq 2, \leq 3, \leq 4) \_c h a r, p-m e r(2,3,4, \leq 2, \leq 3, \leq 4) \_c h a r$ に有意差があった。

形態素単位の評価の場合 n-gram $(1, \leq 2, \leq 3) \_m r p h$, Kendall_mrph に有意差があった.
- BCCWJ-SUMM_L $(\mathrm{T}) \Leftrightarrow$ RETELLING_$_{-}$I,K,M $\}(\mathrm{T})$

n-gram(4)_char (BCCWJ-SUMM_L(T) $\Leftrightarrow$ RETELLING_\{K\}(T)), n-gram(4)_mrph (BCCWJ-SUMM_L $(\mathrm{T}) \Leftrightarrow$ RETELLING_$_{-}\{\mathrm{K}, \mathrm{M}\}(\mathrm{T})$ ) 以外の全ての尺度について，有意差が見られた。
- $\quad$ GLOSS_L $(\mathrm{T}) \Leftrightarrow$ RETELLING_\{I,K,M $\}(\mathrm{T})$

全ての尺度について, 有意差があった。
- RETELLING_I(T) $\Leftrightarrow$ RETELLING_K(T)

n-gram(1)_mrphについてのみ有意差があった.
- RETELLING_I(T) $\Leftrightarrow$ RETELLING_M(T)

文字単位の評価の場合 n-gram(4)_char, footrule_char, kendall_char 以外に有意差があった．形態素単位の評価の場合, kendall_mrph 以外に有意差があった.
- RETELLING_ $\mathrm{I}(\mathrm{T}) \Leftrightarrow$ RETELLING_M( $\mathrm{T})$

文字単位の評価の場合全ての尺度に有意差がなかった。形態素単位の評価の場合, n-gram( $\leq 2, \leq 3, \leq 4) \_m r p h$, footrule_mrph,kendall_mrph 以外に有意差があった.

複数人間の評価ではなく, 複数回間の評価でも同じ傾向が見られる.

再話課題間については, 形態素単位の評価において, 三課題のうちどの二つ組においても有意差が出る傾向にある. 口述による再話 (RETELLING_\{I,K\}) の方が筆述による再話 (RETELLING_M) より一致度が高くなる。また口述による再話においては, 自身の体験に基づく再話 (RETELLING_I)の方が，他者から聞いた話の再話 (RETELLING_K)よりも一致度の高くなることが認められた。

・クラウドソーシングにおける課題間の違いの評価 BCCWJ-SUMM_C $\Leftrightarrow$ GLOSS_C について，全ての尺度について，有意差があった. クラウドソーシングにおける課題間の違いについても, 前項と同じ傾向が見られる.
- 要約課題においてクラウドソーシングと実験室との違いの評価（複数人間） BCCWJ-SUMM_C $\Leftrightarrow$ BCCWJ-SUMM_L(P) について, n-gram(2)_char, n-gram(3)_char, n-gram(4)_charにのみ有意差があった.

これは, タイプ入力 (BCCWJ-SUMM_C) と筆述 (BCCWJ-SUMM_L(P))とで, 表記ゆれ統制の差の影響が考えられる。

・ 語釈課題においてクラウドソーシングと実験室との違いの評価（複数人間）

GLOSS_C $\Leftrightarrow$ GLOSS_L(P) について, n-gram(2,3,4)_char, n-gram(2,3,4)_mrph, Footrule_mrph, Kendall_mrph 以外について有意差があった.

語釈においては, クラウドソーシングの場合 wikipedia や辞書サイトからのコピーが行われる傾向にある一方，実験室の場合は特にリファレンスもなく筆述で行うために差が出たのではないかと考える。

$\cdot$ 複数人間距離と単一人の回数間距離の違いの評価

BCCWJ-SUMM_L(P) $\Leftrightarrow$ BCCWJ-SUMM_L(T), GLOSS_L(P) $\quad \Leftrightarrow \quad$ GLOSS_L(T), RETELLING_K $(\mathrm{P}) \Leftrightarrow$ RETELLING_K(T), RETELLING_M(P) $\Leftrightarrow$ RETELLING_M(T) について, 全ての尺度について有意差があった。

基本的に単一人が実施したほうが一致度が高いと考えられるが，統計分析の結果からもそれが確認できる。

## 4.4 各評価尺度の特性

課題間の議論から考えられる各尺度の特性について論じる。

まず, 文字 n-gram はタイプ入力と筆述入力の差として認められることから, 表記ゆれレベルで一致度の下がる特性があると考える。形態素 n-gram は再話と繰り返しで顕著に高くなったことから，個人の文体などを反映していると考える。

p-mer, Footrule, Kendall などは語順の一致を反映していると考えられるが, ストーリー性がある要約・再話で一致度が高い一方，語釈などにおいては低い傾向にあることがわかった．語順に対して，ストーリーの一致を評価するのか，説明の順序を評価するのかについて深く検討する必要があると考える，ストーリーの一致については (加藤, 富田, 浅原 2016)において, 被験者実験的に人が何を同一の物語とみなすかについて検討されている。また，語釈などにおいても情報提示順序により伝わりやすさが変わること (加藤, 浅原 2015) が報告されている. 自動要約の評価尺度で導入された語順の尺度については，ストーリーの一致（内容一致）を目的とするのか，伝わりやすさの一致（表現一致）を目的とするのかについては言及されていない.今回の調査では，夕スクの設定によりこれらを切り分けることを試みたが，夕スク間の差異は確認できなかった。

n-gram, p-mer ともに $n, p$ の值が高くなるにつれて尺度の値が低くなる.このために有意差が出にくくなる傾向にある. n-gram, p-mer ともに $n$ (or p) 以下の尺度として設定した場合に， より低い $n$ (or $p$ ) の方が一致が多くなる傾向にあるために, より高い $n$ (or $p$ ) の差異が見られなくなる傾向がある。これは尺度の自然な解釈であると考えられるが，何らかの用途で長い
n-gram, p-mer を重要視する場合には部分（文字）列長に対して加重を行う必要があるだろう. n-gram(1)_* と Kendall_* と比較した場合, n-gram(1)_*では有意差が出るが, 順序尺度を入れた Kendall_*では有意差が出ない尺度の組み合わせがいくつかあった。これは文字順・語順の一致度が低い場合に，順序尺度を掛けあわせたがために全体の一致度の差がなくなったことが考えられる。

## 5 おわりに

本稿では，まず自動要約・機械翻訳で用いられている評価指標の数理的構造を説明した。評価指標がどのカーネル・距離・相関係数などの尺度と対応しているのかを説明し, n-gram 系, p-mer 系, ベクトル型順序尺度，編集型順序尺度の四つに抽象化した.

次に様々な言語資源を用いて各指標を構成する尺度の特性を明らかにした。要約・語釈・再話からなる 7 種類の言語資源を用いて, 課題 - 多人数産出・複数回産出 ・産出手段（口述・筆述・タイプ）の軸を用いて，どのような分散が観察されるかを確認した。結果, 各評価尺度において, 表現一致と内容一致の識別は困難であり, 評価の識別限界としての分散があることを示した.

今後の展開として以下の五つを考えている.

一つ目は要約評価に求められる尺度とは何かを明らかにすることである。 尺度が捉える言語の特性については明らかにしたが，自動要約に必要な内容評価と読みやすさの観点については何も言っていないに等しい. 現在, 収集した要約に対して, 以下の五つの軸で人手による評価を付与している (浅原他 2015).
- 文法性 (Grammaticality): 誤字・文法的でない文が含まれていないか
- 非㔯長性 (Non-redundancy): 全く同じ情報が繰り返されていないか
- 指示詞の明解さ (Referential clarity): 先行詞のない指示詞 (代名詞) が含まれていないか
- 焦点 (Focus): 要約全体と無関係な情報が含まれていないか
- 構造と一貫性 (Structure and Coherence): 接続詞を補ったり削除したりする必要のある箇所はないか

人手による評価を悉皆的に付与したうえで，各評価軸がどの尺度に表れるのかを引き続き分析していきたい.

二つ目は情報構造アノテーションとの重ね合わせである，尺度において，語順の評価を入れるかどうかが一つの論点であった。日本語において語順を決める一つの要素として情報構造がある. 情報構造は言語生産者側の観点である情報状態 \{speaker-new, speaker-old\} と言語受容者側の観点である共有性 $\{$ hearer-new, hearer-old $\}$ の区別を行い，後者については被験者実験的にアノテーションを行う。これらのアノテーション結果を用いて，なぜ要約文はその順序で情報

を提示する必要があるのかについて検討する。

三つ目は要約文の言語受容者側の観点からの認知的な評価である。今回は元文書の言語受容者であり要約文の言語生産者側の観点からの認知的な評価を主に扱った. 生産された要約文が他の言語受容者にとって同じ話として認定されるか (加藤他 2016; 加藤, 浅原 2015) を検討していきたい。一方, 日本語複数文書要約についての拡張も考えられるが, 元文書側の言語生産者が複数人になるという問題がある. 複数の言語生産者側が考慮している情報構造が, 要約作成者と要約受容者にどのように受容されるか追跡可能な認知実験手法を検討する.

四つ目は人文系の研究者が評価する文体についての尺度を明らかにすることである．文体の研究は使用域 (register) や位相 (phase) などに着目して行われるが, 現在のところ役割語など単一の語についての研究がほとんどである。語の連接や語の順序などの使用域や位相を, 先に述べた尺度で捉えることを目標とする.

五つ目は同じ話とは何かということを定量的に評価する手法の提案である. 内容を捉える尺度と表現を捉える尺度を分離することで, 人が内容が一致していると認知できる表現のゆれを捉えることを目標とする。既に同じ話を構成する要素について，様々な分析 (保田, 荒牧 2012;保田他 2013b; 保田 2014; 加藤 2015c; 加藤, 浅原 2016) を進めているが, これらの結果が尺度にどのように表れるのかについて分析を行う.

## 謝 辞

要約文の作成および評価については NTT CS 研の平尾努氏の助言を受けました。本研究の一部は, 国立国語研究所基幹型共同研究プロジェクト「コーパスアノテーションの基礎研究」 (2011-2015) および国立国語研究所「超大規模コーパス構築プロジェクト」(2011-2015)によるものです. 本研究は JSPS 科研費基盤研究 (B) 25284083, 若手研究 (B) 26770156 の助成を受けたものです.

## 参考文献

天野成昭, 近藤公久 (1999). 日本語の語彙特性第 1 期 CD-ROM 版. 三省堂.

浅原正幸, 杉真緒, 柳野祥子 (2015). BCCWJ-SUMM: 『現代日本語書き言葉均衡コーパス』を元文書とした要約文書コーパス. 第 7 回コーパス日本語学ワークショップ予稿集, pp. 285-292.

Birch, A. and Osborne, M. (2010). "LRscore for Evaluation Lexical and Reordering Quality in MT." In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR, pp. 327-332.

Echizen-ya, H. and Araki, K. (2007). "Automatic Evaluation of Machine Translation based on Recursive Acquisition of an Intuitive Common Parts Continuum." In Proceedings of the MT Summit XI Workshop on Patent Translation, pp. 151-158.

平尾努, 磯崎秀樹, 須藤克仁, K. Duh, 塚田元, 永田昌明 (2014). 語順の相関に基づく機械翻訳の自動評価法. 自然言語処理, 21 (3), pp. 411-444.

平尾努，奥村学，磯崎秀樹 (2006). 拡張ストリングカーネルを用いた要約システムの自動評価

法. 情報処理学会論文誌, 47 (6), pp. 1753-1765.

平尾努, 奥村学, 安田宣仁, 磯崎秀樹 (2007). 投票型回帰モデルによる要約自動評価法. 人工知

能学会論文誌, $22(2)$, pp. 115-126.

神嶌敏弘 (2009). 順序の距離と確率モデル. 人工知能学会研究会資料 SIG-DMSM-A902-07.

加藤祥 $(2015 \mathrm{a})$. テキストから対象物認識に有用な記述内容一動物を例に一. 国立国語研究所論

集, 9, pp. 23-50.

加藤祥 $(2015 b)$. 象は鼻が長いか—テキストから取得される対象物情報. 第 7 回コーパス日本語学ワークショップ, pp. 35-44.

加藤祥 $(2015 \mathrm{c})$. 同じ話における共通語彙. 社会言語科学会第 36 回大会.

加藤祥, 浅原正幸 (2015). テキストからの対象物認識における情報提示順序の影響. 2015 年度

日本認知科学会第 32 回大会, pp. 362-369.

加藤祥, 浅原正幸 (2016). 恋愛小説において物語を特徴づける表現一タイトルと帯に見られる

表現分析の試み一. 社会言語科学会第 38 回大会, pp. 128-131.

加藤祥, 富田あかね, 浅原正幸 $(2016)$. 物語がその物語であるための要素一何が同じであれば

同じで何が違えば違うのか一. 言語処理学会第 22 回発表論文集, pp. 266-269.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of Workshop on Summarization Branches Out, Post Conference Workshop of ACL 2004, pp. 74-81.

Lin, C.-Y. and Hovy, E. (2003). "Automatic Evaluation of Summaries Using N-gram Cooccurrence Statistics." In Proceedings of the 4th Meeting of the North American Chapter of the Association for Computational Linguistics and Human Language Technology, pp. 150-157.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced corpus of contemporary written Japanese." Language Resources and Evaluation, 48, pp. 345-371.

宮部真衣, 四方朱子, 久保圭, 荒牧英治 (2014). 音声認識による認知症・発達障害スクリーニングは可能か? 一言語能力測定システム “言秤” の提案一. グループウェアとネットワー クサービスワークショップ 2014.
難波英嗣, 平尾努 (2008). テキスト要約の自動評価. 人工知能学会誌, 23 (1), pp. 10-16.

Nivre, J. (2009). "Non-Projective Dependency Parsing in Expected Linear Time." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 351-359.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2001). "Bleu: a Method for Automatic Evaluation of Machine Translation." Tech. rep., IBM Research Report RC22176 (W0109022).

Shawe-Taylor, J., Cristianini N., 大北剛（訳） (2010). カーネル法によるパターン解析 (Kernel Methods for Pattern Analysis), 第 11 章構造化データに対するカーネル：文字列, 木など.共立出版.

保田祥 (2014). 同じ話を成立させる語一「桃太郎」を「桃太郎」として成立させる語彙一. 社会言語科学会第 33 回大会発表論文集, pp. 138-141.

保田祥, 荒牧英治 (2012). 人が同じ話を何度もするとどうなるか？：繰り返しによって生じる物語独話の変化. 日本認知科学会第 29 回大会, pp. 217-223.

保田祥, 田中弥生, 荒牧英治 (2013a). 繰り返しにおける独話の変化. 社会言語科学会第 31 回大会発表論文集, pp. 190-193.

保田祥, 田中弥生, 荒牧英治 (2013b). 同じ話であるとはどういうことか. 社会言語科学会第 32 回大会発表論文集, pp. 30-33.

## 付録

## A 2 節で用いる用語定義

以下 2 節で用いる用語を定義する：
- 記号集合：本稿では記号の集合を $\sigma$ で表す.
- 記号列：何らかの全順序が付与されている記号集合.本稿では記号列ベクトル $s=\left.\langle s_{1}, \ldots, s_{m}\right.\rangle, t=\left.\langle t_{1}, \ldots, t_{m}\right.\rangle$ などで表現する.
- 文字 (character), 文字ベース (character-based): 記号集合 $\sigma$ の要素の記号 $s_{i} \in \sigma$ としての文字. 記号集合 $\sigma$ の要素が文字であること.
- 形態素 (morpheme), 形態素ベース (morpheme-based): 記号集合 $\sigma$ の要素の記号 $s_{i} \in \sigma$ としての形態素. 記号集合 $\sigma$ の要素が形態素であること.
- 文字列 (string): 評価する記号列上の連続列. 記号列の要素が文字 (character)である場合を「文字ベースの文字列 (character-based string)」，記号列の要素が形態素 (morpheme)

である場合を「形態素べースの文字列 (morpheme-based string)」と呼ぶこととする.
- 部分文字列 (substring): 記号列に対して隣接性と順序を保持した部分的記号列. 長さ $n$ の部分文字列を特に n-gram 部分文字列と呼ぶ.

記号列 $s$ の $i$ 番目の要素からはじまる n-gram 部分文字列を $s_{i \ldots i+n-1}$ で表現する.
- 部分列 (subsequence): 記号列に対して順序を保持した部分的記号列. 隣接性は保持しなくてよい. 長さ $p$ の部分列を特に p-mer 部分列と呼ぶ. 記号列 $s$ の p-mer 部分列を，インデックスベクトル $\vec{i}=\left.\langle i_{1}, \ldots, i_{p}\right.\rangle\left(1 \leq i_{1}<i_{2}<\cdots<i_{p} \leq|s|\right)$ を用いて， $s[\vec{i}]$ と表す.
- 参照テキスト (reference): 人間が作成した正解要約／翻訳. 本稿では記号列 $R$ で表す.
- システム出力テキスト (candidate): 要約作成器／機械翻訳器が出力した要約／翻訳. 本稿では記号列 $C$ で表す。
- 距離 (distance): 集合 $X$ 上で定義された 2 変数の実数値関数で, 本稿では $d: X \times X \rightarrow R$ などの記号を使う。 正定値性 $(d(x, y) \geq 0)$, 非退化性 $(x=y \Rightarrow d(x, y)=0)$, 対称性 $(d(x, y)=d(y, x))$, 三角不等式 $(d(x, y)+d(y, z) \geq d(x, z))$ を満たす.
- 絶対値 (absolute value): 大きさの一般化概念. 実数については 0 からの距離, 集合については要素数を表すのに用い $|x|$ で表す.また, テキスト C 中の単語/n-gram/p-mer の要素数（のべ出現数）を $|e|_{C}$ で表す.
- $\theta$-ノルム (norm): ベクトル空間上に距離を規定する長さの一般化概念. ベクトル $x=$ $\left.\langle x_{1}, \ldots, x_{n}\right.\rangle$ の $\theta$-ノルムを $\|x\|_{\theta}=\left(\sum_{i=1}^{n}\left|x_{i}\right|^{\theta}\right)^{1 / \theta}$ により定義する. 特に $\theta$ を定義しない場合 $(\|x\|)$ は 2-ノルムを用いる.
- 内積記号 $\cdot$ : 文字列に対しては連結, 整数・実数については積, ベクトルなどについては内積, 対称群については写像の合成（積）を扱うために用いる.
- 類似度 (similarity): 二つの元の距離は遠さを表すのに対し, 類似度は近さを表す. 距離の逆数は類似度として扱える.
- 相関係数 (correlation): 二つの確率変数の間の相関を表す指標で, 類似度として扱える. $[-1,1]$ 区間の値をとり，1に近い場合は正の相関があると呼び, -1 に近い場合には負の相関があると呼ぶ. 0 に近い場合には相関が弱いという意味がある.
- カーネル関数 (kernel function): 特徴空間中の座標の明示的な計算を経由せずに特徴量空間における内積 (正定值性と非退化性をもち, 実数べクトル空間では対称性ももつ)を定義するもの. 本稿では $K(s, t)$ と表記する. 内積を正規化することにより cosine 類似度 $\left(\frac{K(s, t)}{\|K(s, s)\| \cdot\|K(t, t)\|}\right)$ を定義することができる.
- スコア (score): 類似度などを $[0,1]$ 区間に正規化したもの. 本稿では score などの記号で示す.
- 接頭辞 (prefix): 記号列の先頭要素を含む連続文字列.
- 接尾辞 (suffix): 記号列の末尾要素を含む連続文字列.
- 部分集合 (subset): 記号列を集合とみなした場合の部分集合. 隣接性と順序は保持しなくてよい．要素数 $k$ の部分集合を特に $k$-element 部分集合と呼ぶ.
- 順位ベクトル (rank vector): インデックス $i$ 要素が対象 $i$ の順位を表すベクトル. 本稿では $m$ 次元の順位ベクトル空間を $S_{m}$ で表し, 順位べクトル空間の要素である順位べクトルを $\mu=\langle\mu(1), \ldots, \mu(m)\rangle$ で表す. $\mu(i)$ には対象 $i$ の順位を表す自然数が入る.
- 順序ベクトル (order vector): 順位が $i$ 番目である要素がインデックス $i$ の位置に格納されているべクトル．本稿では $m$ 次元の順序べクトル空間を $T_{m}$ で表し，順位べクトル $\mu(i)$ に対応する順序べクトルを $\mu^{-1}=\left.\langle\mu^{-1}(1), \ldots, \mu^{-1}(m)\right.\rangle$ で表す. $\mu^{-1}(i)$ には順位が $i$ である要素（の順位べクトル上でのインデックス）が入る.
- 同順 (concordant): 二つの順位ベクトル中で対象対 $i$ と $j$ が以下を満たすとき, その対象対が同順であるという。

$(\mu(i)-\mu(j))(\nu(i)-\nu(j)) \geq 0$
- 逆順 (discordant): 二つの順位べクトル中で対象対が同順でないことを逆順という.
- 文字列上の編集 : 插入 (insertion), 削除 (deletion), 代入 (substitution)の三つを規定する.
- 順序べクトル上の編集：順序べクトルを対称群 (symmetric group) と考えて編集する際の操作を規定する。
- 対称群 : 並び替えの編集操作（置換：permutation）を元とする群. 順序ベクトル $\mu^{-1}=$ $\left.\langle\mu^{-1}(1), \ldots, \mu^{-1}(m)\right.\rangle$ のうち, $\mu^{-1}\left(k_{1}\right), \mu^{-1}\left(k_{2}\right), \ldots, \mu^{-1}\left(k_{r}\right)$ 以外は動かさず, $\mu^{-1}\left(k_{1}\right) \rightarrow$ $\mu^{-1}\left(k_{2}\right), \mu^{-1}\left(k_{2}\right) \rightarrow \mu^{-1}\left(k_{3}\right), \ldots$ のように順にずらす置換

$\left(\begin{array}{cccc}\mu^{-1}\left(k_{1}\right) & \mu^{-1}\left(k_{2}\right) & \ldots & \mu^{-1}\left(k_{r}\right) \\ \mu^{-1}\left(k_{2}\right) & \mu^{-1}\left(k_{3}\right) & \ldots & \mu^{-1}\left(k_{1}\right)\end{array}\right)$

のことを巡回置換と呼び, $\pi_{r}=\left(k_{1}, k_{2}, \ldots, k_{r}\right)$ で表す. 二つの元のみを入れ替えて他の元は変えないもの（2元の巡回置換）を互換 (transposition) と呼び, $\pi_{2}=(i, j)$ で表す. 隣接する二つの元のみを入れ替えて他の元は変えないものを隣接互換 (adjacent transposition) と呼び, $\pi_{2}=(i, i+1)$ で表す.
- クロネッカーのデルタ $\delta: \delta(i, j)= \begin{cases}1 & (i=j) \\ 0 & (i \neq j)\end{cases}$
- $s$ 再帰 ( $s$-recursive), $t$ 再帰 ( $t$-recursive): それぞれ変数 $s, t$ に対して再帰的に定義すること. 本稿では $s, t$ は文字列を想定し, 1 文字増やした際の文字列を定義する差分方程式の説明に用いる.

B 指標・スコア・距離・カーネル・相関係数の関係まとめ

## C言語生成過程と尺度

表 3 に 4.3 節で行った検定の結果のまとめを示す. 表 4 に要約課題・語釈課題と各尺度の比較を表 5 に再話課題と各尺度の比較を示す。標準偏差は BCCWJ-SUMM_L(T) が最も大きい.これは繰り返し要約する際に全く同じ要約文を再生産する被験者と全く異なる要約文を再生産する被験者とが存在するからだと考えられる。しかし, 他の再話 (RETELLING_K(T),RETELLING_M(T)) でも被験者間の標準偏差と比して高いことから要約文特有の現象ではないと考える.

表 34.3 節で行った検定の結果のまとめ（有意差があったもの一覧）

 \\

## 略歴

浅原正幸：2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2004 年より同大学助教. 2012 年より国立国語研究所コーパス開発センター特任准教授. 国立国語研究所言語資源研究系准教授を経て, 現在国立国語研究所コーパス開発センター准教授. 博士 (工学).

加藤祥 : 2011 年神戸大学人文学研究科博士後期課程修了. 2012 年より国立国語研究所コーパス開発センタープロジェクト PDフェロー. 現在国立国語研究所コーパス開発センタープロジェクト非常勤研究員. 博士 (文学).

(2016 年 5 月 12 日受付)

(2016 年 8 月 17 日再受付)

(2016 年 10 月 4 日採録)


# 中間言語情報を記憶するピボット翻訳手法

統計的機械翻訳において, 特定の言語対で十分な文量の対訳コーパスが得られない 場合，中間言語を用いたピボット翻訳が有効な手法の一つである。複数のピボット 翻訳手法が考案されている中でも, 特に中間言語を介して 2 つの翻訳モデルを合成 するテーブル合成手法で高い翻訳精度を達成可能と報告されている。ところが，従来のテーブル合成手法では，フレーズ対応推定時に用いた中間言語の情報は消失し，翻訳時には利用できない問題が発生する。本論文では，合成時に用いた中間言語の 情報も記憶し, 中間言語モデルを追加の情報源として翻訳に利用する新たなテーブ ル合成手法を提案する。また，国連文書による多言語コーパスを用いた実験により，本手法で評価を行ったすべての言語の組み合わせで従来手法よりも有意に高い翻訳精度が得られた。

キーワード：統計的機械翻訳，多言語翻訳，ピボット翻訳，同期文脈自由文法，言語モデル，対訳コーパス
## Improving Pivot Translation by Remembering the Pivot

\author{
Akiva Miura $^{\dagger}$, Graham Neubig ${ }^{\dagger, \dagger \dagger}$, Sakriani Sakti ${ }^{\dagger}$, Tomoki Toda ${ }^{\dagger \dagger \dagger}$ and \\ SATOShi NAKAMURA ${ }^{\dagger}$
}

In statistical machine translation, the pivot translation approach allows for translation of language pairs with little or no parallel data by introducing a third language for which data exists. In particular, the triangulation method, which translates by combining source-pivot and pivot-target translation models into a source-target model is known for its high translation accuracy. However, in the conventional triangulation method, information of pivot phrases is forgotten, and not used in the translation process. In this research, we propose a novel approach to remember the pivot phrases in the triangulation stage, and use a pivot language model as an additional information source at translation phase. Experimental results on the united nations parallel corpus showed significant improvements in all tested combinations of languages.

Key Words: Statistical Machine Translation, Multilinguality, Pivot Translation, Synchronous Context-Free Grammars, Language Models, Parallel Corpora

## 1 はじめに

## 1.1 研究背景

言語は，人間にとって主要なコミュニケーションの道具であると同時に，話者集団にとっては社会的背景に根付いたアイデンティティーでもある。母国語の異なる相手と意思踈通を取るためには，翻訳は必要不可欠な技術であるが，専門の知識が必要となるため，ソフトウェア的に代行できる機械翻訳の技術に期待が高まっている。英語と任意の言語間での翻訳で機械翻訳の実用化を目指す例が多いが，英語を含まない言語対においては翻訳精度がまだ実用的なレべルに達していないことが多く, 英語を熟知していない利用者にとって様々な言語間で機械翻訳を支障なく利用できる状況とは言えない。

人手で翻訳規則を記述するルールベース機械翻訳 (Rule-Based Machine Translation; RBMT (Nirenburg 1989)) では，対象の 2 言語に精通した専門家の知識が必要であり，多くの言語対において，多彩な表現を広くカバーすることも困難である。 そのため，近年主流の機械翻訳方式であり，機械学習技術を用いて対訳コーパスから自動的に翻訳規則を獲得する統計的機械翻訳 (Statistical Machine Translation; SMT (Brown, Pietra, Pietra, and Mercer 1993))について本論文では議論を行う，対訳コーパスとは， 2 言語間で意味の対応する文や句を集めたデータのことを指すが，SMTでは学習に使用する対訳コーパスが大規模になるほど，翻訳結果の精度が向上すると報告されている (Dyer, Cordova, Mont, and Lin 2008). しかし, 英語を含まない言語対などを考慮すれば，多くの言語対において，大規模な対訳コーパスを直ちに取得することは困難と言える。このような，容易に対訳コーパスを取得できないような言語対においても，既存の言語資源を有効に用いて高精度な機械翻訳を実現できれば，機械翻訳の実用の幅が大きく広がることになる。

特定の言語対で十分な文量の対訳コーパスが得られない場合, 中間言語 $(P v t)$ を用いたピボッ卜翻訳が有効な手法の一つである (de Gispert and Mariño 2006; Cohn and Lapata 2007; Zhu， $\mathrm{He}, \mathrm{Wu}, \mathrm{Zhu}$, Wang, and Zhao 2014). 中間言語を用いる方法も様々であるが, 一方の目的言語と他方の原言語が一致するような 2 つの機械翻訳システムを利用できる場合，それらをパイプライン処理する逐次的ピボット翻訳 (Cascade Translation (de Gispert and Marino 2006)) 手法が容易に実現可能である。より高度なピボット翻訳の手法としては, 原言語・中間言語 $(S r c-P v t)$ と中間言語・目的言語 (Pvt-Trg)の 2 組の言語対のためにそれぞれ学習された SMT システムのモデルを合成し，新しく得られた原言語・目的言語 $(S r c-T r g)$ の SMT システムを用いて翻訳を行うテーブル合成手法 (Triangulation (Cohn and Lapata 2007)) も提案されており, この手法で特に高い翻訳精度が得られたと報告されている (Utiyama and Isahara 2007).

これらの手法は特に，今日広く用いられているSMT の枠組の一つであるフレーズべース機械翻訳 (Phrase-Based Machine Translation; PBMT (Koehn, Och, and Marcu 2003)) について数

(a) 日-英単語対応 $(S r c-P v t$ 対訳から学習)

(c) 日-伊単語対応推定時の全候補

(b) 英-伊単語対応 (Pvt- $T r g$ 対訳から学習)

(d) 正しく推定された日-伊単語対応

図 12 組の単語対応から新しい単語対応を推定

多く提案され，検証されてきた。しかし，PBMTにおいて有効性が検証されたピボット翻訳手法が，異なるSMT の枠組でも同様に有効であるかどうかは明らかにされていない. 例えば英語と日本語, 英語と中国語といった語順の大きく異なる言語間の翻訳では, 同期文脈自由文法 (Synchronous Context-Free Grammar; SCFG (Chiang 2007))のような木構造べースのSMT によって高度な単語並び替えに対応可能であり，PBMTよりも高い翻訳精度を達成できると報告されている。そのため, PBMT において有効性の知られているピボット翻訳手法が, SCFGによる翻訳でも有効であるとすれば, 並び替えの問題に高度に対応しつつ直接 $S r c-T r g$ の対訳コー パスを得られない状況にも対処可能となる.

また，テーブル合成手法では， $S r c-P v t$ フレーズ対応と $P v t-T r g$ フレーズ対応から, 正しい $S r c-T r g$ フレーズ対応と確率スコアを推定する必要がある. 図 1 に示す例では, 個別に学習された (a)の日英翻訳および (b) の英伊翻訳における単語対応から，日伊翻訳における単語対応を推定したい場合，(c)のように単語対応を推定する候補は非常に多く，(d)のように正しい推定結果を得ることは困難である。その上, 図 1(c)のように推定された $S r c-T r g$ の単語対応からは,原言語と目的言語の橋渡しをしていた中間言語の単語情報が分からないため，翻訳を行う上で重要な手がかりとなり得る情報を失ってしまうことになる。このように語義曖昧性や言語間の用語法の差異により，ピボット翻訳は通常の翻訳よりも本質的に多くの曖昧性の問題を抱えており, さらなる翻訳精度の向上には課題がある.

## 1.2 研究目的

本研究では，多言語機械翻訳，とりわけ対訳コーパスの取得が困難である少資源言語対における機械翻訳の高精度化を目指し, 従来のピボット翻訳手法を調査, 問題点を改善して翻訳精
度を向上させることを目的とする，ピボット翻訳の精度向上に向けて，本論文では 2 段階の議論を行う。

第 1 段階目では, 従来の PBMT で有効性の知られているピボット翻訳手法が異なる枠組の SMT でも有効であるかどうかを調査する．1.1 節で述べたように，PBMT によるピボット翻訳手法においては, テーブル合成手法で高い翻訳精度が確認されているため, 木構造ベースの SMT であるSCFGによる翻訳で同等の処理を行うための応用手法を提案する. SCFG とテーブル合成手法によるピボット翻訳が，逐次的ピボット翻訳や，PBMT におけるピボット翻訳手法よりも高い精度を得られるどうかを比較評価することで，次の段階への予備実験とする¹.

第 2 段階目では，テーブル合成手法において発生する曖昧性の問題を解消し，翻訳精度を向上させるための新たな手法を提案する。従来のテーブル合成手法では, 図 1(c) に示したように, フレーズ対応の推定後には中間言語フレーズの情報が失われてしまうことを 1.1 節で述べた。この問題を克服するため, 本論文では原言語と目的言語を結び付けていた中間言語フレーズの情報も翻訳モデル中に保存し，原言語から目的言語と中間言語へ同時に翻訳を行うための確率スコアを推定することによって翻訳を行う新しいテーブル合成手法を提案する。通常の SMT システムでは，入力された原言語文から，目的言語における訳出候補を選出する際，文の自然性を評価し，適切な語彙選択を促すために目的言語の言語モデル（目的言語モデル）を利用する.一方，本手法で提案する翻訳モデルと SMT システムでは，原言語文に対して目的言語文と中間言語文の翻訳を同時に行うため, 目的言語モデルのみではなく, 中間言語の言語モデル（中間言語モデル）も同時に考慮して訳出候補の探索を行う. 本手法の利点は, 英語のように中間言語として選ばれる言語は豊富な単言語資源を得られる傾向が強いため, このような追加の言語情報を翻訳システムに組み込み，精度向上に役立てられることにある1.

## 2 統計的機械翻訳

本節では, SMT の基本的な動作原理となる対数線形モデル（2.1 節）, SMT の中でも特に代表的な翻訳方式であるフレーズベース機械翻訳（PBMT, 2.2 節）と木構造に基づく翻訳方式である同期文脈自由文法 (SCFG, 2.3 節), SCFG 3 言語以上に対応できるよう一般化して拡張された複数同期文脈自由文法（Multi-Synchronous Context-Free Grammar; MSCFG, 2.4 節）について説明する。

## 2.1 対数線形モデル

SMT の基本的なアイディアは，雑音のある通信路モデル (Shannon 1948) に基いている．ある原言語の文 $\boldsymbol{f}$ に対して，訳出候補となり得るすべての目的言語文の集合を $\mathcal{E}(\boldsymbol{f})$ とする. $\boldsymbol{f}$ が目的言語文 $\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})$ へと翻訳される確率 $\operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f})$ をすべての $\boldsymbol{e}$ について計算可能とする. $\mathrm{SMT}$ では, $\operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f})$ を最大化する $\hat{\boldsymbol{e}} \in \mathcal{E}(\boldsymbol{f})$ を求める.

$
\begin{aligned}
\hat{\boldsymbol{e}} & =\underset{\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})}{\arg \max } \operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f}) \\
& =\underset{\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})}{\arg \max } \frac{\operatorname{Pr}(\boldsymbol{f} \mid \boldsymbol{e}) \operatorname{Pr}(\boldsymbol{e})}{\operatorname{Pr}(\boldsymbol{f})} \\
& =\underset{\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})}{\arg \max } \operatorname{Pr}(\boldsymbol{f} \mid \boldsymbol{e}) P(\boldsymbol{e})
\end{aligned}
$

しかし，このままでは様々な素性を取り入れたモデルの構築が困難であるため，近年では以下のような対数線形モデルに基づく定式化を行うことが一般的である (Och 2003).

$
\begin{aligned}
\hat{\boldsymbol{e}} & =\underset{\boldsymbol{e} \in \mathcal{E}(f)}{\arg \max } \operatorname{Pr}(\boldsymbol{e} \mid \boldsymbol{f}) \\
& \approx \underset{\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})}{\arg \max } \frac{\exp \left(\boldsymbol{w}^{\mathrm{T}} \boldsymbol{h}(\boldsymbol{f}, \boldsymbol{e})\right.}{\sum_{e^{\prime}} \exp \left(\boldsymbol{w}^{\mathrm{T}} \boldsymbol{h}\left(\boldsymbol{f}, \boldsymbol{e}^{\prime}\right)\right)} \\
& =\underset{\boldsymbol{e} \in \mathcal{E}(\boldsymbol{f})}{\arg \max } \boldsymbol{w}^{\mathrm{T}} \boldsymbol{h}(\boldsymbol{f}, \boldsymbol{e})
\end{aligned}
$

ここで, $h$ は素性べクトルであり, 翻訳の枠組毎に定められた次元数を持ち, 推定された対数確率スコア, 導出に伴う単語並び替え, 各種ペナルティなどを与える。素性ベクトル中のとりわけ重要な要素として，言語モデルと翻訳モデルが挙げられる。言語モデル $\operatorname{Pr}(\boldsymbol{e})$ は, 与えられた文の単語の並びが目的言語においてどの程度自然で流暢であるかを評価するために用いられる．翻訳モデル $\operatorname{Pr}(\boldsymbol{f} \mid \boldsymbol{e})$ は，翻訳文の尤もらしさを規定するための統計モデルであり，対訳コーパスから学習を行う。翻訳モデルは SMT の枠組によって学習・推定方法が異なっており，次節以降で詳細を述べる。 $\boldsymbol{w}$ は $\boldsymbol{h}$ と同じ次元を持っており, 素性べクトルの各要素に対する重み付けを行う， $w$ の各要素を最適な値に調整するためには，対訳コーパスを学習用データや評価用データとは別に切り分けた, 開発用データを利用し, 原言語文の訳出と参照訳（目的言語側の正解訳）との類似度を評価するための自動評価尺度 BLEU(Papineni, Roukos, Ward, and Zhu 2002) などが最大となるようパラメータを求める (Och 2003). 2.2 節以降で説明する各種翻訳枠組も，この対数線形モデルに基いているが，用いる素性はそれぞれで異なる.

## 2.2 フレーズベース機械翻訳

Koehn らによるフレーズベース機械翻訳 (PBMT (Koehn et al. 2003)) は SMT で最も代表的な翻訳枠組である．PBMTの翻訳モデルを学習する際には, 先ず対訳コーパスから単語アラインメント (Brown et al. 1993) を学習し，アラインメント結果をもとに複数の単語からなるフレーズを抽出し，各フレーズ対応にスコア付けを行う。

例えば，学習用対訳データから図 2 のような単語対応が得られたとする ${ }^{2}$. 得られた単語対応からフレーズの対応を見つけ出して抽出を行う例を図 3 に示す. 図のように，与えられた単語対応から抽出されるフレーズ対応の長さは一意に定まらず, 複数の長さのフレーズ対応が抽出される。ただし, 抽出されるフレーズ対応には, フレーズの内外を横断するような単語対応が存在しないという制約が課され，フレーズの最大長なども制限される。このようにして抽出されたフレーズ対の一覧を元に，フレーズ対や各フレーズの頻度を計算し，PBMT の翻訳モデルが学習される.

PBMT の翻訳モデルは抽出されたフレーズを翻訳の基本単位とし, これによって効率的に慣用句のような連続する単語列の翻訳規則を学習し，質の高い翻訳が可能である．フレーズの区切り方によって，与えられた原言語文から，ある目的言語文へ翻訳されるための導出も複数の候補があり，それぞれの導出で用いられるフレーズ対の確率スコアや並び替えも考慮して最終的な翻訳確率を推定する。式 (6) の対数線形モデルによって確率スコア最大の翻訳候補を探索するが，素性関数として用いられるものには，双方向のフレーズ翻訳確率，双方向の語彙翻訳確率, 単語ペナルティ, フレーズペナルティ, 言語モデル, 並び替えモデルなどがある.

PBMT は，翻訳対象である 2 言語間の対訳コーパスさえ用意すれば，容易に学習し，高速な翻訳を行うことが可能であるため, 多くの研究や実用システムで利用されている. しかし, 文の構造を考慮しない手法であるため，単語の並び替えが効果的に行えない傾向にある。高度な並び替えモデルを導入することは可能であるが (Goto, Utiyama, Sumita, Tamura, and Kurohashi 2013)，長距離の並び替えは未だ困難であり，ピボット翻訳で用いることは容易ではない.

図 2 英-日単語アラインメント

図 3 英-日フレーズ抽出

## 2.3 同期文脈自由文法

本節では，木構造に基づくSMT の枠組である同期文脈自由文法 (SCFG (Chiang 2007))について説明する．SCFGは，階層的フレーズベース翻訳 (Hierarchical Phrase-Based Translation; Hiero (Chiang 2007))を代表とする様々な翻訳方式で用いられている．SCFGは，以下のような同期導出規則によって構成される.

$
X \longrightarrow\langle\bar{s}, \bar{t}\rangle
$

ここで，Xは同期導出規則の親記号であり， $\bar{s}$ とはそれぞれ原言語と目的言語における終端記号と非終端記号からなる記号列である。 $\bar{s}$ とにはそれぞれ同じ数の非終端記号が含まれ, 対応する記号に対して同じインデックスが付与される．以下に日英翻訳における導出規則の例を示す.

$
X \longrightarrow\left.\langle X_{0} \text { of } X_{1}, X_{1} \text { の } X_{0}\right.\rangle
$

Hiero 翻訳モデルのための SCFG の学習手法では, 先ず PBMT と同等のアイディアで, 対訳コーパスから学習された単語アラインメントを元にフレーズを抽出する。そしてフレーズ対応中の部分フレーズ対応に対しては, 非終端記号 $X_{i}$ で置き換えてよいというヒューリスティックを用いて，多くのSCFGルールが自動抽出される。例えば，図 2 の単語アラインメントを用いて，以下のような同期導出規則を得ることができる。

$
\begin{aligned}
& X \longrightarrow\left.\langle X_{0} \text { hit } X_{1} \text {., } X_{0} \text { は } X_{1} \text { を打った。 }\right.\rangle \\
& X \longrightarrow\langle\text { John, ジョン }\rangle \\
& X \longrightarrow\langle\text { a ball, ボール }\rangle
\end{aligned}
$

また, 初期非終端記号 $S$ と初期導出規則 $S \longrightarrow\left.\langle X_{0}, X_{0}\right.\rangle$, 抽出された上記の導出規則を用いて，以下のような導出が可能である.

$
\begin{aligned}
S & \Longrightarrow\left.\langle X_{0}, X_{0}\right.\rangle \\
& \Longrightarrow\left.\langle X_{1} \text { hit } X_{2} ., X_{1} \text { は } X_{2} \text { を打った。 }\right.\rangle \\
& \Longrightarrow\left.\langle\text { John hit } X_{2} ., \text { ジョンは } X_{2} \text { を打った。 }\right.\rangle \\
& \Longrightarrow\langle\text { John hit a ball ., ジョンはボールを打った。 }\rangle
\end{aligned}
$

対訳文と単語アラインメントを元に自動的にSCFG ルールが抽出される。抽出された各々のルールには, 双方向のフレーズ翻訳確率 $\phi(\bar{s} \mid \bar{t}), \phi(\bar{t} \mid \bar{s})$, 双方向の語彙翻訳確率 $\phi_{l e x}(\bar{s} \mid \bar{t}), \phi_{l e x}(\bar{t} \mid \bar{s})$, ワードペナルティ ( $\bar{t}$ の終端記号数), フレーズペナルティ（定数 1）の計 6 つのスコアが付与される。
翻訳時には，導出に用いられるルールのスコアと，生成される目的言語文の言語モデルスコアの和を導出確率として最大化するよう探索を行う。言語モデルを考慮しない場合, $\mathrm{CKY+ \text { 法 }}$ (Chappelier and Rajman 1998) によって効率的な探索を行ってスコア最大の導出を得ることが可能である。言語モデルを考慮する場合には, キューブ枝狩り (Chiang 2007) などの近似法により探索空間を抑えつつ, 目的言語モデルを考慮した探索が可能である.

## 2.4 複数同期文脈自由文法

SCFG を複数の目的言語文の同時生成に対応できるように拡張した手法として, 複数同期文脈自由文法 (MSCFG (Neubig, Arthur, and Duh 2015)) が提案されている. SCFG では導出規則中の目的言語記号列 $\bar{t}$ が単一であったが, MSCFG では以下のように $N$ 個の目的言語記号列を有する。

$
X \longrightarrow\left.\langle\bar{s}, \overline{t_{1}}, \cdots, \overline{t_{N}}\right.\rangle
$

通常のMSCFG 学習手法では, SCFG ルール抽出手法を一般化し, 3 言語以上の言語間で意味の対応する文を集めた多言語コーパスから多言語導出規則が抽出され, 複数の目的言語を考慮したスコアが付与される。本手法の利点として, 原言語に対して主要な目的言語が 1 つ存在する場合に, 他の $N-1$ 言語のフレーズを補助的な言語情報として利用し, 追加の目的言語モデルによって翻訳文の自然性評価を考慮した訳出を行うことで，結果的に主要な目的言語においても導出規則の選択が改善されて翻訳精度を向上可能なことが挙げられる。

SCFG は対応するフレーズ間で同一のインデックス付き非終端記号を同期して導出させることで，翻訳と単語並び替えを同時に行えるという単純な規則から成り立つために，多言語間の翻訳モデルへの拡張も容易であった．PBMT はフレーズの翻訳と単語並び替えを個別の問題としてモデル化しているため, MSCFG と同様の方法で 3 言語以上のフレーズ対応を学習して複数の目的言語へ同時に翻訳を行うには，並び替え候補をどのように翻訳スコアに反映させるかなどを新たに検討する必要がある。例えば日本語と朝鮮語のように語順が似通っており，ほとんど単語並び替えが発生しない言語の組み合わせでは，並び替えをまったく行わない場合でも高い並び替え精度となるため, 並び替え距離に応じたぺナルティを与える単純な手法でも高精度となるが, 例えば日本語・朝鮮語とは語順の大きく異なる英語を加えた 3 言語間で並び替えをモデル化することは容易ではなく, 第二の目的言語の存在が悪影響を与える可能性もある．そのため, 本稿では PBMT の多言語拡張を行うことはせず, MSCFGに着目して議論を行う.

## 3 ピボット翻訳手法

2節では, SMT は対訳コーパスから自動的に翻訳規則を獲得し, 統計に基づいたモデルによって翻訳確率スコアが最大となるような翻訳を行うことを述べてきた．統計モデルであるため，言語モデルの学習に用いる目的言語コーパスと翻訳モデルの学習に用いられる対訳コーパスが大規模になるほど確率推定の信頼性が向上し, 精度の高い訳出が期待できる. 言語モデルについては，目的言語の話者数やインターネット利用者数などの影響はあるものの, 比較的取得が容易であるため問題になることは少ない. 一方で対訳コーパスは SMT の要であり, 学習デー 夕にカバーされていない単語や表現の翻訳は不可能なため, 多くの対訳データ取得が望ましく,実用的な SMT システムの構築には数百万文以上の対訳が必要と言われている. ところが英語を含まない言語対，例えば日本語とフランス語のような言語対を考えると，それぞれの言語では単言語コーパスが豊富に取得可能であるにも関わらず，100万文を超えるような大規模な対訳データを短時間で獲得することは困難である. このように, SMT の大前提である対訳コーパスは多くの言語対において十分な文量を直ちに取得できず，任意の言語対で翻訳を行うには課題がある.

PBMT におけるピボット翻訳手法が数多く考案されており，本節では代表的なピボット翻訳手法について紹介する。また，4節では，PBMTで有効性の確認されたピボット翻訳手法であるテーブル合成手法を SCFG で応用するための手法を提案し, 実験による比較評価と考察を述べる. 本節では原言語を $S r c$, 目的言語を $T r g$, 中間言語を Pvt と表記し, これらの言語対を Src-Pvt, Src-Trg,Pvt-Trgのように表記して説明を行うこととする.

## 3.1 逐次的ピボット翻訳手法

逐次的ピボット翻訳手法 (Cascade) (de Gispert and Marino 2006)によって Src から $T r g$ いと翻訳を行う様子を図 4 に示す.この方式では先ず，Src-Pvt, Pvt-Trg それぞれの言語対で，対訳コーパスを用いて翻訳システムを構築する。そして Src の入力文を $P v t$ へ翻訳し， Pvt の訳文を $\operatorname{Trg}$ に翻訳することで, 結果的に $S r c$ から $\operatorname{Trg}$ の翻訳が可能となる.この手法は機械

図 4 逐次的ピボット翻訳
翻訳の入力と出力のみを利用するため, PBMT である必然性はなく, 任意の機械翻訳システムを組み合わせることができる。優れた 2 つの機械翻訳システムがあれば，そのまま高精度なピボット翻訳が期待できることや，既存のシステムを使い回せること，実現が非常に容易であることが利点と言える。逆に，最初の翻訳システムの翻訳誤りが次のシステムに伝播し，加法性誤差によって精度が落ちることは久点となる.Src-Pvt 翻訳システムで確率スコアの高い上位 $n$ 文の訳出候補を出力し， $P v t-T r g$ 翻訳における探索の幅を広げるマルチセンテンス方式も提案されている (Utiyama and Isahara 2007) が, 通常より $n$ 倍の探索時間が必要であり, 大きな精度向上も報告されていない.

## 3.2 擬似対訳コーパス手法

擬似的に $S r c-T r g$ 対訳コーパスを作成することで SMT システムを構築する擬似対訳コーパス手法 (Synthetic) (de Gispert and Mariño 2006)によって，Src-Trg 翻訳を行う様子を図 5 に示す. この手法では先ず, $S r c-P v t, P v t-T r g$ のうちの片側, 図の例では $P v t-T r g$ の対訳コーパスを用いて SMT システムを構築する。そして Src-Pvt 対訳コーパスの $P v t$ 側の全文を $P v t-T r g$翻訳にかけることで，Src-Trg 擬似対訳コーパスが得られる。これによって得られた $S r c-T r g$ 擬似対訳コーパスを用いて, SMTの翻訳モデルを学習することが可能となる。対訳コーパスの翻訳時に少しの翻訳誤りが含まれていても，統計モデルの学習に大きく影響しなければ，高精度な訳出が期待できる．既存のシステムから新しい学習データやシステムを作り直すことになるため, 一度擬似対訳コーパスを作ってしまえば，それ以降は通常のSMT と同じ学習手法を用いられることは利点となる。

De Gispert らは, スペイン語を中間言語としたカタルーニヤ語と英語のピボット翻訳で, 逐次的ピボット翻訳手法と擬似対訳コーパス手法によるピボット翻訳手法の比較実験 (de Gispert and Mariño 2006)を行った. その結果, これらの手法間で有意な差は示されなかった.

図 5 擬似対訳コーパス手法

## 3.3 テーブル合成手法

PBMT, SCFGでは，対訳コーパスによってフレーズ対応を学習してスコア付けした翻訳モデルを，それぞれフレーズテーブル，ルールテーブルと呼ばれる形式で格納する．フレーズテー ブルを合成することで Src-Trg のピボット翻訳を行う様子を図 6 に示す. Cohn らによるテーブル合成手法 (Triangulation) (Cohn and Lapata 2007) では, 先ず Src-Pvt および Pvt-Trg の翻訳モデルを対訳コーパスによって学習し, それぞれをフレーズテーブル $T_{S P}, T_{P T}$ として格納する。得られた $T_{S P}, T_{P T}$ から，Src-Trg の翻訳確率を推定してフレーズテーブル $T_{S T}$ を合成する． $T_{S T}$ を作成するには，フレーズ翻訳確率 $\phi(\cdot)$ と語彙翻訳確率 $\phi_{l e x}(\cdot)$ を用い, 以下の数式に従って翻訳確率の推定を行う.

$
\begin{aligned}
\phi(\bar{t} \mid \bar{s}) & =\sum_{\bar{p} \in T_{S P} \cap T_{P T}} \phi(\bar{t} \mid \bar{p}) \phi(\bar{p} \mid \bar{s}) \\
\phi(\bar{s} \mid \bar{t}) & =\sum_{\bar{p} \in T_{S P} \cap T_{P T}} \phi(\bar{s} \mid \bar{p}) \phi(\bar{p} \mid \bar{t}) \\
\phi_{\text {lex }}(\bar{t} \mid \bar{s}) & =\sum_{\bar{p} \in T_{S P} \cap T_{P T}} \phi_{\text {lex }}(\bar{t} \mid \bar{p}) \phi_{\text {lex }}(\bar{p} \mid \bar{s}) \\
\phi_{\text {lex }}(\bar{s} \mid \bar{t}) & =\sum_{\bar{p} \in T_{S P} \cap T_{P T}} \phi_{\text {lex }}(\bar{s} \mid \bar{p}) \phi_{\text {lex }}(\bar{p} \mid \bar{t})
\end{aligned}
$

ここで， $\bar{s}, \bar{p}, \bar{t}$ はそれぞれ $S r c, P v t, \operatorname{Trg}$ のフレーズであり, $\bar{p} \in T_{S P} \cap T_{P T}$ はフレーズ $\bar{p}$ が $T_{S P}, T_{P T}$ の双方に含まれていることを示す. 式 (17)-(20) は, 以下のような条件を満たす無記憶通信路モデルに基づいている。

$
\begin{aligned}
\phi(\bar{t} \mid \bar{p}, \bar{s}) & =\phi(\bar{t} \mid \bar{p}) \\
\phi(\bar{s} \mid \bar{p}, \bar{t}) & =\phi(\bar{s} \mid \bar{p})
\end{aligned}
$

図 6 テーブル合成手法

この手法では，翻訳確率の推定を行うために全フレーズ対応の組み合わせを求めて算出する必要があるため，大規模なテーブルの合成には長い時間を要するが, 既存のモデルデータから精度の高い翻訳を期待できる。

Utiyama らは, 英語を中間言語とした複数の言語対で, 逐次的ピボット翻訳手法とテーブル合成手法によるピボット翻訳で比較実験を行った (Utiyama and Isahara 2007). その結果, テー ブル合成手法では, $n=1$ の単純な逐次的ピボット翻訳や， $n=15$ のマルチセンテンス方式よりも高い BLEU スコアが得られたと報告している.

## 4 同期文脈自由文法におけるテーブル合成手法の応用

3 節で説明したピボット翻訳手法のうち, 逐次的ピボット翻訳および擬似対訳コーパス手法はSMT の朹組にとらわれない手法であるため, SCFG を用いるSMTでもそのまま適用可能であるが，テーブル合成手法は本来, PBMT のフレーズテーブルを合成するために提案されたものである. SCFG を用いる翻訳方式では, 式 (7)のように表現される同期導出規則をルールテー ブルという形式で格納する。次節以降では, SCFGルールテーブルを合成することで, PBMT におけるテーブル合成手法と同等のピボット翻訳を行うための手法について説明し，その後に PBMT およびSCFGにおける複数のピボット翻訳手法による翻訳精度の差を実験によって比較評価し, 考察を行う.

## 4.1 同期導出規則の合成

SCFG ルールテーブル合成手法では, 先ず Src-Pvt, Pvt-Trg それぞれの言語対について, 対訳コーパスを用いて同期導出規則を抽出し（2.3 節），各規則の確率スコアなどの素性を算出してルールテーブルに格納する。 その後, Src-Pvt, Pvt-Trg ルールテーブル双方に共通の Pvt 記号列を有する導出規則 $X \rightarrow\langle\bar{s}, \bar{p}\rangle, X \rightarrow\langle\bar{p}, \bar{t}\rangle$ をすべて見つけ出し，新しい導出規則 $X \rightarrow\langle\bar{s}, \bar{t}\rangle$ の翻訳確率を，式 (17)-(20) に従って推定する. PBMT においては $\bar{s}, \bar{p}, \bar{t}$ が各言語のフレーズ （単語列）を表しており，SCFGにおいては非終端記号を含む各言語の記号列を表す点で異なるが，計算式については同様である。また， $X \rightarrow\langle\bar{s}, \bar{t}\rangle$ のワードペナルティおよびフレーズペナルティは $X \rightarrow\langle\bar{p}, \bar{t}\rangle$ と同じ值に設定する.

本節で提案したルールテーブル合成手法によるピボット翻訳が, 他の手法や他の翻訳枠組と比較して有効であるかどうかを調査するため, 後述する手順によって比較実験を行った.

## 4.2 実験設定

3 節で紹介したピボット翻訳手法のうち, 実現が非常に容易で比較しやすい逐次的ピボット翻訳手法と, PBMT で高い実用性が示されたテーブル合成手法によるピボット翻訳を, PBMT

およびSCFGにおいて実施し, 翻訳精度の比較評価を行った。

本実験では，学習および評価に用いる対訳コーパスとして，国連文書を元にして作成された国連多言語コーパス (Ziemski, Junczys-Dowmunt, and Pouliquen 2016)を用いて翻訳精度の比較評価を行った，本コーパスには，英語 $(\mathrm{En})$, アラビア語 $(\mathrm{Ar})$, スペイン語 $(\mathrm{Es})$, フランス語 $(\mathrm{Fr})$, ロシア語 $(\mathrm{Ru})$, 中国語 $(\mathrm{Zh})$ の 6 言語間で意味の対応する約 1,100 万文の対訳文が含まれている。これら 6 言語は複数の語族をカバーしているため, 言語構造の違いにより複雑な単語並び替えが発生しやすく，SMTの枠組とピボット翻訳手法の組み合わせの影響を調査する目的に適している。現実的なピボット翻訳タスクを想定し，英語を中間言語として固定し，残りの 5 言語のすべての組み合わせでピボット翻訳を行った. ピボット翻訳では, Src-Pvt, Pvt-Trg のそれぞれの言語対の対訳を用いて Src-Trg の翻訳を行うが，ピボット翻訳が必要となる場面では直接的な対訳はほとんど存在しないものと想定し，それぞれの対訳の $P v t$ 側には共通の文が存在しない方が評価を行う上で望ましい。本コーパスのアーカイブには学習用データ (train)約 1,100 万文，評価用データ (test) 4,000 文，パラメータ調整用データ (dev) 4,000 文が予め用意されているが，前処理として，それぞれのデータに対して重複して出現する英文を含む対訳文を取り除き，また，長い文は学習・評価時の計算効率上の妨げとなるため train に対して 60 単語, test, dev に対して 80 単語を超える文はすべて取り除いたところ, train は約 800 万文, test, dev はそれぞれ約 3,800 文が残った。しかし，評価対象となる組み合わせ数が膨大であるため，前処理後のデータサイズに比較すると小規模であるが，前処理後の train から Src-Pvt の学習用に train1，Pvt-Trg の学習用に train2をそれぞれ 10 万文, 英文の重複がないように取り出し, test, devはそれぞれ 1,500 文ずつを実際の評価とパラメータ調整に用いた.

複数の言語の組み合わせで PBMT, SCFG のそれぞれについて以下のようにSMT の学習と評価を行い，ピボット翻訳手法の違いによる翻訳精度を比較した。

## Direct （直接翻訳）：

直接的な対訳を得られる理想的な状況下における翻訳精度を得て比較を行うため, $P v t$ を用いず $S r c-T r g$ の直接対訳コーパス train1， train2 を個別に用いて翻訳モデルを学習し評価. train1, train2による翻訳スコアをそれぞれ 「Direct 1$\rfloor$,「Direct 2$\rfloor$ とし，まとめて「Direct $1 / 2\rfloor$ と表記

## Cascade（逐次的ピボット翻訳）：

Src-Pvt, Pvt-Trg それぞれの対訳 train1, train2 で学習された翻訳モデルでパイプライン処理を行い, $S r c-T r g$ 翻訳を評価

## Triangulation (テーブル合成手法)：

Src-Pvt, Pvt-Trg それぞれの対訳 train1, train2 で学習された翻訳モデルから, 翻訳確率の推定により $S r c-T r g$ 翻訳モデルを合成し評価

コーパス中の中国語文は単語分割が行われていない状態であったため, KyTea (Neubig, Nakata,
and Mori 2011) の中国語モデルを用いて単語分割を行った. PBMT モデルの構築には Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007), SCFG 翻訳モデルの構築には Travatar (Neubig 2013)の Hiero 学習ツールを利用した. すべての翻訳システムでは KenLM (Heafield 2011)と train1+train2 の目的言語側 20 万文を用いて学習した 5-gram 言語モデルを訳出の自然性評価に用いている。また, 翻訳結果の評価には, 自動評価尺度 BLEU (Papineni et al. 2002) を用い, 各 SMT システムについて MERT (Och 2003)により, 開発用データセットに対して BLEU スコアが最大となるようにパラメータ調整を行った.

## 4.3 実験結果

様々な言語と機械翻訳方式の組み合わせについて Direct $1 / 2$, Triangulation, Cascade の各ピボット翻訳手法で翻訳を行い評価した結果を表 1 に示す。太字は言語と翻訳枠組の各組み合わせで精度の高いピボット翻訳手法を示す. 先行研究では, PBMT のピボット翻訳手法において Triangulation で Cascade よりも高い翻訳精度が示されており, このことは実験結果の表からも，すべての言語の組み合わせで確認できた. 同様に，4.1節で提案したSCFGルールテーブルの Triangulation によっても, Cascade より高い翻訳精度が示された.このことから, SMTの枠組によらず，Triangulation 手法を用いることで Cascade 手法よりも安定して高いピボット翻訳精度が得られるものと考えられる。また, Triangulation の翻訳精度を Direct と比較した場合,例えばスペイン語・フランス語の Hiero 翻訳における Direct の平均 BLEU スコアが 35.34 であるのに対し, Triangulation の BLEU スコアが 32.62 と, 2.72 ポイントの大きな差が開いており, Direct 翻訳で高い精度が出る言語対では Triangulation 手法でも依然として精度が大きく低下する傾向が見られた。逆に，Direct 翻訳の BLEU スコアが 15 を下回っていて翻訳が困難な言語対では, Triangulation 手法でも大きな差は見られず, フランス語・中国語の Hiero 翻訳のように, Triangulation のスコアが僅かながら Direct のスコアを上回る例も少数見られたが,誤差の範囲であろう.

一方, 翻訳精度を PBMT と Hiero で比較した場合, 言語対によって優劣が異なっているものの，傾向としては中国語を含む言語対において Hiero の翻訳精度が PBMT を大きく上回っており，ロシア語を含む言語対では僅かに下回り，それ以外の言語対では僅かに上回る例が多く見られた。 20 組の言語対のうち 14 組で Hiero における Triangulation のスコアが PBMT の場合を上回っており, 平均して 0.5 ポイント以上の BLEU スコアが向上しているため, Hiero をピボット翻訳に応用する手法は総じて有効であると考えられる.
表 1 ピボット翻訳手法毎の翻訳精度比較

## 4.4 異なるデータを用いた場合の翻訳精度

4.3 節までは，国連文書コーパスを用いた，複数の語族にまたがる言語間でのピボット翻訳を行った内容について説明し考察している。本研究の過程で, 国連文書コーパスの他, 欧州議会議事録を元にした Europarl コーパス (Koehn 2005) を用いて 4.2 節と同様の実験も実施している.このコーパスは, 欧州の諸言語を広くカバーしており, 多言語翻訳タスクに多用されるが,語族がほとんど共通しており比較的似通った言語間での翻訳となる。この実験では英語を中間言語として固定し, 欧州でも話者数の多いドイツ語, スペイン語, フランス語, イタリア語の 4 言語の組み合わせでピボット翻訳を行った. Europarl からも 10 万文の対訳で学習し, 1,500文ずつの評価とパラメータ調整を行ったが，Src-Pvt と Pvt-Trgそれぞれの翻訳モデルの学習にはすべて中間言語データが一致しているものを用い, 直接的な翻訳と比較してどの程度精度に影響があるかも調査した. この実験結果から， 4.3 節の実験結果と同様に, PBMT と Hiero の双方において, すべての言語対において Triangulation が Cascade よりも高精度となることが確認された。また，2つの翻訳モデルの学習で中間言語側が共通のデータを用いているにも関わらず， Triangulation の精度は Direct と比較して大きく減少しており, この精度差が中間言語側の曖昧性の影響を強く受けて発生したものであると考えられる。一方, PBMT と Hieroの精度を比較した場合には，精度差が言語対に依存するのも同様であり，大きな単語並び替えが発生しないような言語の組み合わせが多いため, 計算コストが低く, 標準設定でより長いフレーズ対応を学習できる PBMT の方が有利と考えられる点も多かった.

## 4.5 考察および関連研究

3 節では, PBMT で提案されてきた代表的なピボット翻訳手法について説明し, 本節ではテー ブル合成手法をSCFG のルールテーブルに適用するための手法について述べ，また言語対・機械翻訳方式・ピボット翻訳手法の組み合わせによって翻訳精度の影響を比較評価した. その結果，SCFGにおいてもテーブル合成手法によって高い翻訳精度を得られることが示され，また言語対や用いるデータによっては PBMT の場合よりも高い精度が得られることも分かった. ピボット翻訳におけるその他の関連研究は，PBMT のテーブル合成手法をべースに，さらに精度を上げるための議論が中心である。テーブル合成手法はピボット翻訳手法の中でも高い翻訳精度が報告されているが (Utiyama and Isahara 2007), 1節で述べたような中間言語側の表現力に起因する曖昧性の問題や, 異なる言語対やデータセット上で推定された単語アラインメントから抽出されるフレーズの不一致によって, 得られる翻訳規則数が減少する問題などがあり, 直接的な対訳が得られる理想的な状況と比較すると翻訳精度が大きく下回ってしまう。これらの問題に対処するための関連研究として, 翻訳確率推定の前にフレーズの共起頻度を推定することでサイズが不均衡なテーブルの合成を改善する手法 (Zhu et al. 2014), 単語の分散表現を用いて単語レベルの翻訳確率を補正する手法 (Levinboim and Chiang 2015), 複数の中間言語を用い

る手法 (Dabre, Cromieres, Kurohashi, and Bhattacharyya 2015) などが挙げられ，曖昧性の解消には中間表現の工夫と信頼度の高い言語資源の有効利用が必要と言える。

## 5 中間言語情報を記憶するピボット翻訳手法の提案

3 節では SMT で用いられているピボット翻訳手法について紹介し， 4 節では従来手法の中で高い翻訳精度が報告されているテーブル合成手法をSCFGで応用するための手順について説明した。また, 比較評価実験により, SCFGにおいても PBMT と同様, テーブル合成手法によって逐次的ピボット翻訳手法よりも高い精度が得られた。しかし, 直接の対訳を用いて学習した場合と比較すると, 翻訳精度の差は未だ大きいため, 精度が損なわれてしまう原因を特定し, 解消することができれば，さらなる翻訳精度の向上が期待できる。テーブル合成手法で翻訳精度が損なわれる原因の一つとして，翻訳時に重要な手がかりとなるはずの中間言語の情報はテー ブル合成後には失われてしまい, 不正確に推定された Src-Trg のフレーズ対応と翻訳確率のみが残る点が挙げられる。本節では, 従来では消失してしまう中間言語情報を記憶し, この追加の情報を翻訳時に用いることで精度向上に役立てる，新しいテーブル合成手法を提案する.

## 5.1 従来のテーブル合成手法の問題点

従来のテーブル合成手法の問題点について，1節中でも紹介したが，本節で改めて説明を行う. テーブル合成手法では， Src-Pvt，Pvt-Trgそれぞれの言語対におけるフレーズの対応と翻訳確率のスコアが与えられており，この情報を元に，Src-Trg 言語対におけるフレーズ対応と翻訳確率の推定を行う．ところが，語義曖昧性や言語間の用語法の差異により，Src-Trg のフレーズ対応を正確に推定することは困難である。

図 7 はテーブル合成手法によって対応を推定するフレーズの例を示しており, 図中では日本語とイタリア語それぞれにおける 3 つの単語が，語義曖昧性を持つ英単語「approach」に結び付いている。このような場合, Src-Trg のフレーズ対応を求め, 適切な翻訳確率推定を行うのは複雑な問題となってくる，その上, 図 8 に示すように, 従来のテーブル合成手法では, 合成時に Src と $\operatorname{Trg}$ の橋渡しをしていた Pvt フレーズの情報が, 合成後には保存されず失われてしまう．現実の人手翻訳の場合を考えても，現在着目しているフレーズに関する追加の言語情報が

図 7 モデル学習に用いるフレーズ対応（日-英-伊）
与えられているなら, その言語を知る者にとって重要な手がかりとなって曖昧性解消などに用いることができる。そのため, $S r c-T r g$ 結び付ける Pvt フレーズは重要な言語情報であると考えられ，本研究では，この情報を保存することで機械翻訳にも役立てるための手法を提案する.

## 5.2 中間言語情報を記憶するテーブル合成手法

前節で述べた問題を克服するため, 本研究では $S r c$ と $T r g$ を結び付けていた $P v t$ フレーズの情報も翻訳モデル中に保存し，Src から $T r g$ と Pvtへの同時翻訳確率を推定することによって翻訳を行う新しいテーブル合成手法を提案する。図 9 に，本提案手法によって得られるフレー ズ対応の例を示す. 本手法の利点は, 英語のように中間言語として選ばれる言語は豊富な単言語資源も得られる傾向が強いため, このような追加の言語情報を翻訳システムに組み込み, 翻訳文の導出時に利用できることにある.

中間言語フレーズの情報を翻訳時に役立てるため, SCFG（2.3 節）を複数の目的言語文の同時生成に対応できるよう拡張した MSCFG（2.4 節）を用いて翻訳モデルの合成を行う．MSCFG による翻訳モデルを構築するためには， Src-Pvt, Pvt-Trg の SCFG 翻訳規則が格納されたルー ルテーブルを元に, SCFG ルールテーブルとしてではなく, Src-Trg-Pvt の MSCFG ルールテー ブルとして合成し, これによって $P v t$ フレーズを記憶する。訳出候補の探索時には, 生成文の

図 8 従来手法によって得られるフレーズ対応

図 9 提案手法によって得られるフレーズ対応
自然性を評価し，適切な語彙選択を促すために言語モデルを用いるが，目的言語モデルのみでなく, 中間言語モデルも同時に用いた探索を行う。次節から, SCFG 翻訳モデルの同期導出規則から MSCFG 翻訳モデルの複数同期導出規則を合成するための手順について説明する。

## 5.3 同期導出規則から複数同期導出規則への合成

4.1 節では, SCFGの同期規則を合成するために，Src-Pvt, Pvt-Trg ルールテーブル双方に共通の $P v t$ 記号列を有する導出規則 $X \rightarrow\langle\bar{s}, \bar{p}\rangle, X \rightarrow\langle\bar{p}, \bar{t}\rangle$ を見つけ出し，新しい導出規則 $X \rightarrow\langle\bar{s}, \bar{t}\rangle$ の翻訳確率を，式 (17)-(20) に従って確率周辺化を行い推定することを述べた。一方, 中間言語情報を記憶するテーブル合成手法では $X \rightarrow\langle\bar{s}, \bar{p}\rangle, X \rightarrow\langle\bar{p}, \bar{t}\rangle$ を元に，以下のように複数同期規則を合成する.

$
X \longrightarrow\langle\bar{s}, \bar{t}, \bar{p}\rangle
$

このような規則を用いて翻訳を行うことによって, 同時生成される中間言語文を通じて中間言語モデルなどのような追加の素性を取り入れることが可能となる。式 (17)-(20)に加えて, $T r g$ と Pvt を同時に考慮した翻訳確率 $\phi(\bar{t}, \bar{p} \mid \bar{s}), \phi(\bar{s} \mid \bar{p}, \bar{t})$ を以下のように推定する.

$
\begin{aligned}
\phi(\bar{t}, \bar{p} \mid \bar{s}) & =\phi(\bar{t} \mid \bar{p}) \phi(\bar{p} \mid \bar{s}) \\
\phi(\bar{s} \mid \bar{p}, \bar{t}) & =\phi(\bar{s} \mid \bar{p})
\end{aligned}
$

Src-Pvt の翻訳確率 $\phi(\bar{p} \mid \bar{s}), \phi(\bar{s} \mid \bar{p}), \quad \phi_{\text {lex }}(\bar{p} \mid \bar{s}), \quad \phi_{\text {lex }}(\bar{s} \mid \bar{p})$ はルールテーブル $T_{S P}$ のスコアをそのまま用いることが可能である。これら 10 個の翻訳確率 $\phi(\bar{t} \mid \bar{s}), \phi(\bar{s} \mid \bar{t}), \phi(\bar{p} \mid \bar{s}), \phi(\bar{s} \mid \bar{p})$, $\phi_{\text {lex }}(\bar{t} \mid \bar{s}), \quad \phi_{\text {lex }}(\bar{s} \mid \bar{t}), \quad \phi_{\text {lex }}(\bar{p} \mid \bar{s}), \quad \phi_{\text {lex }}(\bar{s} \mid \bar{p}), \phi(\bar{t}, \bar{p} \mid \bar{s}) ， \phi(\bar{s} \mid \bar{p}, \bar{t})$ に加えて， $\bar{t}$ とに含まれる非終端記号数を 2 つのワードペナルティとし, 定数 1 のフレーズペナルティの, 合わせて 13 個のスコアがMSCFGルールにおける素性となる.

## 5.4 同期規則のフィルタリング

前節で説明した， 中間言語情報を記憶するテーブル合成手法は，このままでは $\langle\bar{s}, \bar{t}\rangle$ ではなく, $\langle\bar{s}, \bar{t}, \bar{p}\rangle$ の全組み合わせを記録するため，従来より大きなルールテーブルが合成されてしまう．計算資源を節約するためには，幾つかのフィルタリング手法が考えられる．Neubig らによると，主要な目的言語 $T_{1}$ と補助的な目的言語 $T_{2}$ で翻訳を行う際には， $T_{1}$-フィルタリング手法 (Neubig et al. 2015) が効果的である. このフィルタリング手法を，提案するテーブル合成手法に当てはめると， $T_{1}=\operatorname{Tr} g, T_{2}=P v t$ であり, 原言語フレーズ $\bar{s}$ に対して，先ず $T r g$ において $\phi(\bar{t} \mid \bar{s})$ が上位 $L$ 個までの $\bar{t}$ 残し，それぞれの $\bar{t} に$ 対して $\phi(\bar{t}, \bar{p} \mid \bar{s})$ が最大となるような $\bar{p}$ を残す.

## 6 実験的評価

前節で提案した中間言語情報を記憶するテーブル合成手法の有効性を検証するため，多言語コーパスを用いたピボット翻訳の比較評価実験を実施した。

## 6.1 実験設定

用いたデータやッールは，4.2 節の実験と大部分が共通しているため, 差分を明らかにしつつ説明を行う. 本実験では，4.2 節の実験で得られた同じ対訳データを用いて各翻訳モデルの学習に用いた。すなわち，国連多言語コーパスを用いて，英語 (En)を中間言語とするアラビア語 $(\mathrm{Ar})$ ，スペイン語 $(\mathrm{Es})$, フランス語 $(\mathrm{Fr})$, ロシア語 $(\mathrm{Ru})$, 中国語 $(\mathrm{Zh})$ の 5 言語の組み合わせでピボット翻訳の翻訳精度を比較し, それぞれの言語対について Src-Pvt 翻訳モデルの学習用 (train1) に 10 万文，Pvt-Trg 翻訳モデルの学習用 (train2) に 10 万文, 評価 (test) とパラメー 夕調整用 $(\mathrm{dev})$ にそれぞれ 1,500 文ずつを用いた。目的言語モデルの学習にも， 4.2 節と同様に train1+train2 の目的言語文 20 万文を用いている，また，多くの場合，英語に扔いては大規模な単言語資源が取得可能であるため, 最大 500 万文までのデータを用いて段階的に学習を行った複数の中間言語モデルを用意した. SCFG およびMSCFG を用いるデコーダとして Travatar (Neubig 2013)を用い, 付属の Hiero ルール抽出プログラムを用いて SCFG 翻訳モデルの学習を行った。翻訳結果の比較には，自動評価尺度 BLEU (Papineni et al. 2002)を用い，各翻訳モデルは MERT (Och 2003)により，開発用デー夕に対して BLEU スコアが最大となるようにパラメータ調整を行った. 提案手法のテーブル合成手法によって得られた MSCFG ルールテーブルは, $L=20$ の $T_{1}$-フィルタリング手法によって枝刈りを行った. 本実験では先ず，以下の 6 つの翻訳手法を比較評価する。

Cascade （逐次的ピボット翻訳）:

Src-Pvt および Pvt-Trgの SCFG 翻訳モデルで逐次的ピボット翻訳 (3.1節)。「w/ PvtLM $200 \mathrm{k} / 5 \mathrm{M}\rfloor$ は Src-Pvt 翻訳時にそれぞれ 20 万文，500万文で学習した中間言語モデルを用いることを示す

## Tri. SCFG（SCFG ルールテーブル合成手法）：

$S r c-P v t$ および Pvt-Trg の SCFG モデルを合成し, $S r c-T r g$ の SCFG モデルによって合成 (3.3節, ベースライン)

## Tri. MSCFG（MSCFGルールテーブル合成手法）：

$S r c-P v t$ および Pvt-Trg の SCFG モデルを合成し，Src-Trg-Pvt の MSCFG モデルによって翻訳（5 節）。「w/o PvtLM」は中間言語モデルを用いないことを示し，「w/ PvtLM $200 \mathrm{k} / 5 \mathrm{M}\rfloor$ はそれぞれ 20 万文, 500 万文で学習した中間言語モデルを用いることを示す

## 6.2 翻訳精度の比較

表 2 に，英語を介したすべての言語対におけるピボット翻訳の結果を示す。実験で得られた結果は，ブートストラップ・リサンプリング法 (Koehn 2004) により統計的有意差を検証した. それぞれの言語対において，太字は従来手法 Tri. SCFGよりもBLEU スコアが高いことを示し，下線は最高スコアを示す。短剣符は各ピボット翻訳手法の翻訳精度が Tri. SCFG よりも統計的有意に高いことを示す $(\dagger: p<0.05, \ddagger: p<0.01)$. 評価值から，提案したテーブル合成手法で中間言語モデルを考慮した翻訳を行った場合，すべての言語対において従来のテーブル合成手法よりも BLEU スコアの向上が確認できる。 すべての組み合わせにおいて，テーブル合成手法で中間言語情報を記憶し，500万文の言語モデルを考慮して翻訳を行った場合に最も高いスコアを達成しており, 従来法に比べ最大で 1.8 , 平均で 0.75 ほどの BLEU 值の向上が見られる。このことから，中間言語情報を記憶し，これを翻訳に利用することが曖昧性の解消に繋がり，安定して翻訳精度を改善できたと言えよう。

また，異なる要因による影響を切り分けて調査するため，MSCFGへ合成するが，中間言語モデルを用いずに翻訳を行った場合の比較も行った (Tri. MSCFG w/o PvtLM). この場合, 保

表 2 ピボット翻訳手法と中間言語モデル規模の組み合わせによる翻訳精度比較

 &  &  &  &  &  \\

存された中間言語情報が語彙選択に活用されないため, 本手法の優位性は特に現れないものと予想できたが，実際には，SCFGに合成する場合よりも多くの言語対で僅かに高い翻訳精度が見られた。これは, 追加の翻訳確率などのスコアが有効な素性として働き, パラメータ調整を行った上で，適切な語彙選択に繋がったことなどが原因として考えられる.

大規模な中間言語モデルを用いる手法は，本稿で提案するテーブル合成後のモデルのみならず，従来の逐次的ピボット翻訳手法でも可能であるため，500万文の大規模な中間言語モデルを用いた場合の精度評価も行った (Cascade w/ PvtLM 5M). Cascade w/ PvtLM 5M は 20 万文の中間言語モデルしか用いない逐次的ピボット翻訳手法 (Cascade w/ PvtLM 200k) と比較した場合に Zh-Ar，Zh-Ruを除いたすべての言語対で高精度であり，単純に大規模な言語モデルを用いることで精度向上に繋がることは確認された。しかし，従来のテーブル合成手法である Tri. SCFG と比較した場合の精度差は言語対依存であり, 安定した精度向上とはならなかった。また, 本稿の提案手法 Tri. MSCFG w/ PvtLM 5M と, Cascade w/ PvtLM 5M を比較すると, 同じ規模の中間言語モデルを用いていてもすべての言語対で提案手法の方が高精度であり，このことからもテーブル合成手法と大規模な中間言語モデルを用いることの有効性が高いと言えるだろう。

## 6.3 中間言語モデルの規模が翻訳精度に与える影響

中間言語モデルの規模がピボット翻訳精度に与える影響の大きさは言語対によって異なってはいるが, 中間言語モデルの学習データサイズが大きくなるほど精度が向上することも確認できる。図 10 は，中国語・スペイン語（左）およびアラビア語・ロシア語（右）のピボット翻訳において異なるデータサイズで学習した中間言語モデルが翻訳精度に与える影響を示す。図からも中間言語モデルが曖昧性を解消して翻訳精度向上に寄与している様子が確認できる。中間

図 10 中間言語モデル規模がピボット翻訳精度に与える影響
言語モデルの学習データサイズを増加させることによる翻訳精度への影響は対数的であることも見てとられるが, これは目的言語モデルサイズが翻訳精度へ与える影響と同様の傾向である (Brants, Popat, Xu, Och, and Dean 2007). 中国語・スペイン語の翻訳ではグラフの傾向から, さらに大規模な中間言語モデルを用いることで精度向上の見込みがあるが，一方でアラビア語・ ロシア語の場合には学習データサイズが 200 万文から 500 万文に増加しても精度にほとんど影響が見られないため, これ以上の精度向上には限界があると考えられる。

## 6.4 曖昧性が解消された例と未解決の問題

本提案手法によって中間言語側で曖昧性が解消されて翻訳精度向上に繋がったと考えられる訳出の例を示す.

入カ文 (フランス語)：

Le nom du candidat proposé est indiqué dans l'annexa à la présente note .

参照訳（スペイン語）：

El nombre del candidato propuesto se presenta en el anexo de la presente nota .

対応する英文：

The name of the candidate thus nominated is set out in the annex to the present note .

Tri. SCFG:

El nombre del proyecto de un candidato se indica en el anexo a la presente nota .

(BLEU+1: 34.99)

Tri. MSCFG w/ PvtLM 5M:

El nombre del candidato propuesto se indica en el anexo a la presente nota . (BLEU+1: 61.13)

The name of the candidate proposed indicated in the annex to the present note .

(同時生成された英文)

上記の例では，入力文中のフランス語の分詞「proposé（指名された）」には参照役中のスペイン語の分詞「propuesto」が対応しているが，従来のテーブル合成手法では，誤った対応である名詞「proyecto（計画，立案）」が結び付き翻訳に用いられた結果, 不正確な訳出となっている。一方で提案手法においては，入力文の「proposé」に対してスペイン語の「propuesto」と英語の「proposed」が同時に結び付いており, 生成される英文中の単語の前後関係から適切な語彙選択を促し，訳出の改善に繋がったものと考えられる。

逆に，提案手法では語彙選択がうまくいかず，直接対訳で学習した場合よりも精度が落ちた訳出の例を示す.

入カ文 (フランス語)：

J . Risques d'aspiration : citère de viscosité pour la classification des mélanges ;参照訳（スペイン語）：

J . Peligros por aspiración : criterio de viscosidad para la clasificación de mezclas ;対応する英文：

J . Aspiration hazards : viscosity criterion for classification of mixtures ;

## Direct 1:

J . Riesgos d'aspiration : criterio de viscosité para la clasificación de los mélanges ; (BLEU+1: 34.20)

## Direct 2:

J . Riesgos d'aspiration : criterio de viscosité para la clasificación de mezclas ; (BLEU+1: 49.16)

Tri. MSCFG w/ PvtLM 2M:

J . Riesgos d'aspiration : viscosité criterios para la clasificación de mélanges ; (BLEU+1: 27.61)

J . Risk d'aspiration : viscosité criteria for the categorization of mélanges ; (同時生成された英文)

この例では，フランス語の「d'aspiration（吸引）」や「mélanges（混合物）」といった専門用語は，コーパス中の出現頻度が少なく, 「d'aspiration」は train1 や train2にも一度も出現しないため, Direct $1 / 2$ の双方で翻訳不可能で未知語扱いとなっており,「mélanges」は train2 でのみ出現しており, Direct 1 では未知語扱いである.テーブル合成手法では, 2 つの翻訳モデルで共通して出現する中間言語フレーズのみしか学習できないため, 他方のみにしか含まれない専門用語は未知語となってしまう。この問題は, その他のピボット翻訳手法である逐次的ピボット翻訳手法や擬似コーパス手法でも当然解決不可能なため, 複数の対訳データでカバーできない表現は外部辞書などを用いて補う必要があるだろう。

また, この例では未知語の問題以外にもスペイン語の単数形の名詞「criterio（基準）」がテー ブル合成手法では複数形の「criterios」となっていたり語順が誤ったりしている問題も見られる. こういった問題は, 本提案手法である程度は改善されているものの, 活用形や語順の問題により正確に対処するためには，統語的情報を明示的に扱う手法の導入が必要であると考えられる。

## 6.5 Europarl を用いた評価および品詞毎の翻訳精度

提案手法の有効性を調査するための比較評価実験も, 国連文書コーパスのみでなく, 研究の過程で 4.4 節と同様に Europarl を用いた欧州の言語間でのピボット翻訳においても実施した. この実験においても 10 万文の対訳データを用いて学習した翻訳モデルを合成するが，中間言語モデルの学習には最大 200 万文までの英文を利用した。この実験からも，中間言語情報を記憶するテーブル合成手法と 200 万文で学習した中間言語モデルを用いた場合に, すべての言語対において従来のピボット翻訳手法である Tri. SCFG や Cascade を上回る精度が得られた. このことから，本提案手法は言語構造の類似度に関わらず有効に機能するものと考えられる。

また，英語は他の欧州諸言語と比較して，性・数・格に応じた活用などが簡略化された言語として有名であり，語形から統語情報が失われることで発生する曖昧性の問題もある。本節では, 英語を介したドイツ語・フランス語の両方向の翻訳において, 誤りの発生しやすい品詞について調査する，先ず，独仏・仏独翻訳における評価データの参照訳および各ピボット翻訳手法の翻訳結果に対して Stanford POS Tagger (Toutanova and Manning 2000; Toutanova, Klein, Manning, and Singer 2003) を用いて品詞付与を行い, 参照訳と翻訳結果を比較して, 語順は考慮せずに適合率と再現率の調和平均である $\mathrm{F}$ 値を算出した。
表 3 および表 4 は，各翻訳における高頻出品詞の正解率を表している，出現頻度は，参照訳中の各品詞の出現回数を意味し, 丸括弧内に示された数値は, 提案手法とベースライン手法の $\mathrm{F}$ 值の差分である。結果は言語対依存であるが, 特に目的言語に強く依存していることが明らかである.

表 3 の独仏翻訳の例では，提案手法によって， ベースライン手法よりも特に前置詞，定冠詞，動詞で $\mathrm{F}$ 値が大きく向上している。一般名詞, 形容詞, 動詞, 副詞は重要な内容語であり, 語彙選択の幅も広いため, どの手法でも全体的に $\mathrm{F}$ 値が低くなっている。一般名詞に関しては, 通常のテーブル合成手法でも Direct と大きな差は出ておらず，そのため提案手法でもほとんど改善されなかった。一方で，動詞の $\mathrm{F}$ 值は提案手法で大きく向上しており, 中間言語モデルによって語の並びを考慮して語彙選択を行うことで翻訳精度向上に繋がったと考えられる。しかし， それでも Direct には大きく及ばず，頻度が比較的低い内容語の語彙選択を適切に行うことは困難と言えるだ万う。一方で，機能語においては提案手法において Direct と近い $\mathrm{F}$ 值となった.

表 3 独仏翻訳における品詞毎の翻訳精度

 & Tri.SCFG \\

P (前置詞) & 6,553 & 92.58 & $92.46(+1.02)$ & 91.44 \\
DET（定冠詞） & 5,363 & 91.04 & $90.63(+1.50)$ & 89.13 \\
PUNC (区切り記号) & 4,258 & 93.89 & $93.77(+0.44)$ & 93.33 \\
ADJ (形容詞) & 3,725 & 71.36 & $69.85(+0.67)$ & 69.18 \\
V (動詞) & 3,324 & 69.52 & $63.86(+1.06)$ & 62.80 \\
ADV (副詞) & 2,238 & 81.98 & $77.81(+0.34)$ & 77.47 \\

表 4 仏独翻訳における品詞毎の翻訳精度

 & Tri.SCFG \\

ART（冠詞) & 4,502 & 90.38 & $87.21(+1.24)$ & 85.97 \\
CARD（数詞) & 3,849 & 94.56 & $94.38(-0.44)$ & 94.82 \\
APPR（前置詞) & 2,577 & 89.66 & $84.73(+1.50)$ & 83.23 \\
ADJA（形容詞） & 2,311 & 65.96 & $65.29(+0.47)$ & 64.82 \\
NE（固有名詞） & 2,005 & 77.52 & $75.34(+0.47)$ & 74.87 \\
ADV（副詞） & 1,848 & 74.32 & $70.13(+0.18)$ & 69.95 \\
PPEF (再帰代名詞) & 1,665 & 92.64 & $87.46(+1.67)$ & 85.79 \\

表 4 の仏独翻訳の例では, 表 3 の場合と少し変わっており, 冠詞, 前置詞, 再帰代名詞のような機能語で，提案手法によって $\mathrm{F}$ 値が大きく改善されているものの, Direct と比べると大きな差があり，ピボット翻訳で精度が大きく落ちる原因と考えられる。冠詞や前置詞は機能語であるものの，ドイツ語では男性系・女性系に加えて，英語にもフランス語にもない中性系の活用を持っているため, フランス語よりも活用の種類が多く, また冠詞や前置詞も格に応じた活用をすることが知られている。原言語を英語に翻訳した際には統語的情報が失われることが多いため，機能語にも活用幅があるような目的言語に対してはピボット翻訳が特に困難になることが多い.

本節では, 品詞毎の単語正解率の分析を行ったが，言語対毎に特定品詞の翻訳精度が落ちる現象が見られた，英語には同じ語形で多品詞の語が多いため，単語の対応だけで統語的な役割を判断するのは不可能な場合もある，統語的な情報を汲み取るには複数の単語からなるフレー ズを考慮する必要があるが，文頭と文末のような離れた位置での依存関係も存在するため，単語列としてではなく構文構造を考慮することも重要と考えられる。そこで，本研究の今後の課題として，構文構造を中間言語の表現として用いるピボット翻訳手法を検討している.

## 7 まとめ

本研究の目的は, 多言語機械翻訳におおる播訳精度の向上を目指し，従来のピボット翻訳手法を調查，問題点を改善して翻訳精度を図ることであった，そのために，PBMTで既に有効性が示されている，テーブル合成手法によるピボット翻訳をSCFG に適用し，どのような処理が有効であるかに着目した，さらに，従来のテーブル合成手法では中間言語情報が失われ，曖昧性により翻訳精度が減少する問題に対処するため, 中間言語情報を記憶し, 中間言語モデルを利用して自然な語順の語彙選択を促すことで精度を向上させるテーブル合成手法についても提案した。本論文で提案した手法を用いて，国連文書を元にした多言語コーパスの 6 言語のデー夕を用いてピボット翻訳の比較評価を行ったところ，英語を中間言語としたすべての言語の組み合わせで従来のテーブル合成手法よりも高い翻訳精度が示された．また，特に大規模な中間言語モデルを用いることで，より適切な語彙選択が促されて翻訳の質を高められることが分かった.しかし, 提案手法でも, 直接の対訳コーパスを用いて学習を行った理想的な状況と比較すると, 精度の開きが大きく, 中間言語モデルをさらに大きくするだけでは解決できないであろう点も示唆された. 本提案手法で解決できなかった曖昧性の問題を調査すべく, 特定の言語対で品詞毎の単語正解率を求めたところ, 語順を考慮するだけでは解消されない曖昧性の問題もあり，構文情報を用いてこの点を改善することが今後の課題として考えられる。

ピボット翻訳の曖昧性の問題は, 主として中間言語の表現力に起因しており, 中間言語の単語列だけでは原言語の情報が失われてしまい，目的言語側で確率的に正しく再現することは困
難である。そのため, 今後の課題として，中間言語を特定の言語の単語列としてではなく, より高い表現力を持った構文構造を中間表現とすることで, 中間言語側の多品詞語の問題に対処したり，原言語側の情報を保存して，より正確に目的言語側で情報を再現するための手法を検討する.

1つ目は，中間表現に統語情報を用いた翻訳規則テーブルの軽量化・高精度化である．本研究で提案した手法では，SCFGの翻訳モデルを学習するために，階層的フレーズベース翻訳という枠組の翻訳手法で翻訳規則を獲得している。これは，翻訳において重要な，単語並び替え問題を高精度に対処できる点で優れているが，統語情報を用いず，総当り的な手段で非終端記号を含んだ翻訳規則を学習するため，テーブルサイズが肥大化する傾向がある。その上，テーブル合成時には，中間表現の一致する組み合わせによってテーブルサイズはさらに増加する。これは，曖昧性により多くの誤ったフレーズ対応も保存されることを意味するため，不要な規則は除去してサイズを削減するべきである。このような, 中間表現が一致する組み合わせの中には，文法上の役割は異なるが表記上同じようなものも含まれるため，意味の対応しない組み合わせに対して高い翻訳確率が推定されてしまう場合もある。こういった問題は，中間言語の表現に統語情報を組み込むことで，品詞や句構造が異なればフレーズの対応も結び付かないという制約が働き，誤った句対応を容易に除外できるため，テーブルサイズは減少し，曖昧性が解消されて翻訳精度の向上が期待できる.

2 つ目は， 中間表現に原言語の統語情報を保存するピボット翻訳手法の提案である。ピボット翻訳においては，中間言語の表現力が悪影響を及ぼして，原言語の情報が失われてしまうことを述べてきたが，これは機械翻訳に限らず，人手による翻訳でも度々起こる問題である。例えば，英語には人称接尾辞のような活用体系がないため，英語に訳した際に性・数・格などの統語的情報が失われ，結果的に英語を元にした翻訳では原意と大きく異なってしまう現象などがある。本枠組では，前述の中間言語側の統語情報と組み合わせることで，より原意を汲んだ翻訳の実現を目指す.

## 謝 辞

本研究の一部は JSPS 科研費 $16 \mathrm{H} 05873,24240032$ および ATR-Trek 社共同研究の助成を受けて実施されました。

## 参考文献

Brants, T., Popat, A. C., Xu, P., Och, F. J., and Dean, J. (2007). "Large Language Models in Machine Translation." In Proceedings EMNLP, pp. 858-867.

Brown, P. F., Pietra, V. J., Pietra, S. A. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19, pp. 263-312.

Chappelier, J.-C. and Rajman, M. (1998). "A Generalized CYK Algorithm for Parsing Stochastic CFG." In Proceedings TAPD, Vol. 98, No. 5, pp. 133-137.

Chiang, D. (2007). "Hierarchical Phrase-based Translation." Computational Linguistics, 33 (2), pp. 201-228.

Cohn, T. and Lapata, M. (2007). "Machine Translation by Triangulation: Making Effective Use of Multi-Parallel Corpora." In Proceedings ACL, pp. 728-735.

Dabre, R., Cromieres, F., Kurohashi, S., and Bhattacharyya, P. (2015). "Leveraging Small Multilingual Corpora for SMT Using Many Pivot Languages." In Proceedings NAACL, pp. 1192-1202.

de Gispert, A. and Mariño, J. B. (2006). "Catalan-English Statistical Machine Translation without Parallel Corpus: Bridging through Spanish." In Proceedings of LREC 5th Workshop on Strategies for Developing Machine Translation for Minority Languages, pp. 65-68.

Dyer, C., Cordova, A., Mont, A., and Lin, J. (2008). "Fast, Easy, and Cheap: Construction of Statistical Machine Translation Models with MapReduce." In Proceedings WMT, pp. 199-207.

Goto, I., Utiyama, M., Sumita, E., Tamura, A., and Kurohashi, S. (2013). "Distortion Model Considering Rich Context for Statistical Machine Translation." In Proceedings ACL, pp. 155-165.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings, WMT, pp. 187-197.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Lin, D. and Wu, D. (Eds.), Proceedings EMNLP, pp. 388-395.

Koehn, P. (2005). "Europarl: A Parallel Corpus for Statistical Machine Translation." In MT Summit, Vol. 5, pp. 79-86.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings ACL, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings NAACL, pp. 48-54.

Levinboim, T. and Chiang, D. (2015). "Supervised Phrase Table Triangulation with Neural Word Embeddings for Low-Resource Languages." In Proceedings EMNLP, pp. 1079-1083.

三浦明波, Neubig Graham, Sakti Sakriani, 戸田智基, 中村哲 (2014). 階層的フレーズベース翻訳におけるピボット翻訳手法の応用. 情報処理学会第 219 回自然言語処理研究会 (SIG-NL),

20 号, pp. 1-7.

三浦明波，Neubig Graham，Sakti Sakriani，戸田智基，中村哲 (2015). 中間言語モデルを用いたピボット翻訳の精度向上. 情報処理学会第 222 回自然言語処理研究会 (SIG-NL), 2 号, pp. $1-5$.

Miura, A., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2015). "Improving Pivot Translation by Remembering the Pivot." In Proceedings ACL, pp. 573-577.

Neubig, G. (2013). "Travatar: A Forest-to-String Machine Translation Engine based on Tree Transducers." In Proceedings ACL Demo Track, pp. 91-96.

Neubig, G., Arthur, P., and Duh, K. (2015). "Multi-Target Machine Translation with MultiSynchronous Context-free Grammars." In Proceedings NAACL, pp. 484-491.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings ACL, pp. 529-533.

Nirenburg, S. (1989). "Knowledge-Based Machine Translation." Machine Translation, 4 (1), pp. 5-24.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings ACL, pp. 160-167.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings ACL, pp. 311-318.

Shannon, C. E. (1948). "A Mathematical Theory of Communication." Bell System Technical Journal, 27 (3), pp. 379-423.

Toutanova, K., Klein, D., Manning, C. D., and Singer, Y. (2003). "Feature-rich Part-of-speech Tagging with a Cyclic Dependency Network." In Proceedings NAACL, pp. 173-180.

Toutanova, K. and Manning, C. D. (2000). "Enriching the Knowledge Sources Used in a Maximum Entropy Part-of-Speech Tagger." In Proceedings EMNLP, pp. 63-70.

Utiyama, M. and Isahara, H. (2007). "A Comparison of Pivot Methods for Phrase-Based Statistical Machine Translation." In Proceedings NAACL, pp. 484-491.

Zhu, X., He, Z., Wu, H., Zhu, C., Wang, H., and Zhao, T. (2014). "Improving Pivot-Based Statistical Machine Translation by Pivoting the Co-occurrence Count of Phrase Pairs." In Proceedings EMNLP, pp. 1665-1675.

Ziemski, M., Junczys-Dowmunt, M., and Pouliquen, B. (2016). "The United Nations Parallel Corpus v1.0." In Proceedings LREC, pp. 3530-3534.

## 略歴

三浦明波：2013 年イスラエル国テクニオン・イスラエル工科大学コンピュー 夕・サイエンス専攻卒業. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同大学院博士後期課程在学. 機械翻訳, 自然言語処理に関する研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

Graham Neubig: 2005 年米国イリノイ大学アーバナ・シャンペーン校工学部コンピュータ・サイエンス専攻卒業. 2010 年京都大学大学院情報学研究科修士課程修了． 2012 年同大学院博士後期課程修了．2012～2016 年奈良先端科学技術大学院大学助教. 現在, カーネギーメロン大学言語技術研究所助教, 奈良先端科学技術大学院大学客員准教授. 機械翻訳, 自然言語処理に関する研究に従事.

Sakriani Sakti: 1999 年インドネシア・バンドン工科大学情報卒業. 2002 年ドイツ・ウルム大学修士，2008 年博士課程修了。2003 2011 年 ATR 音声言語コミュニケーション研究所研究員, 情報通信研究機構主任研究員. 現在, 奈良先端科学技術大学院大学情報科学研究科助教．2015～2016 年フランス INRIA 滞在研究員. 統計的パターン認識, 音声認識, 音声翻訳, 認知コミュニケー ション, グラフィカルモデルの研究に従事. JNS, SFN, ASJ, ISCA, IEICE, IEEE 各会員.

戸田智基：1999 年名古屋大学工学部電気電子・情報工学科卒業. 2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 同年日本学術振興会特別研究員-PD. 2005 年奈良先端科学技術大学院大学情報科学研究科助手. 2007 年同助教. 2011 年同准教授. 2015 年より名古屋大学情報基盤センター教授. 工学博士．音声情報処理の研究に従事． IEEE，電子情報通信学会, 情報処理学会, 日本音響学会各会員.

中村哲：1981 年京都工芸繊維大学工芸学部電子工学科卒業. 京都大学工学博士. シャープ株式会社. 奈良先端科学技術大学院大学助教授, 2000 年 ATR 音声言語コミュニケーション研究所室長, 所長, 2006 年 (独) 情報通信研究機構研究センター長, けいはんな研究所長などを経て, 現在, 奈良先端科学技術大学院大学教授. ATRフェロー.カールスルーエ大学客員教授. 音声翻訳,音声対話, 自然言語処理の研究に従事. 情報処理学会喜安記念業績賞, 総務大臣表彰, 文部科学大臣表彰, Antonio Zampoli 賞受賞. ISCA 理事, IEEE SLTC 委員, IEEE フェロー.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/