# 論文
## ニューラル機械翻訳での訳抜けした内容の検出

## 後藤 功雄 $^{\dagger \cdot$ 田中 英輝 $\dagger$}

ニューラル機械翻訳 (NMT) は入力文の内容の一部が翻訳されない場合があるという問題があるため, NMT の実用には訳出されていない内容を検出できることが重要である．著者らはアテンションの累積確率と出力した目的言語文から入力文を生成する逆翻訳の確率という 2 種類の確率による, 入力文の内容の久落に対する検出効果を調査した. 日英の特許翻訳での訳抜けした内容の検出実験を実施し, アテンションの累積確率と逆翻訳の確率はいずれも効果があり, 逆翻訳はアテンションより効果が高く, これらを組み合わせるとさらに検出性能が向上することを確認した. また，訳抜けの検出を機械翻訳結果の人手修正のための文選択に応用した場合に効果があることが分かった.

キーワード：ニューラル機械翻訳，訳抜け

## Detecting Untranslated Content for Neural Machine Translation

\author{
IsAo Goto ${ }^{\dagger}$ and HideKi TANAKA ${ }^{\dagger}$
}

Despite its promise, neural machine translation (NMT) presents a serious problem in that source content may be mistakenly left untranslated. The ability to detect untranslated content is important for the practical use of NMT. We evaluated two types of probability with which to identify untranslated content: the cumulative attention probability and the back translation probability from a target sentence to the source sentence. Experiments were conducted to discover missing content in Japanese to English patent translations. The results of the investigation revealed that both the types of probability were each effective, back translation was more effective than attention, and the combination of the two resulted in further improvements. Furthermore, we confirmed that the detection of untranslated content was effectual in terms of sentence selection for the human post-editing processing of machine translation results.

Key Words: Neural Machine Translation, Missing Translation

## 1 はじめに

ニューラル機械翻訳 (NMT) (Sutskever, Vinyals, and Le 2014; Bahdanau, Cho, and Bengio 2015) は流暢な訳を出力できるが，入力文の内容を全て含んでいることを保証できないという問題があり，翻訳結果において入力文の内容の一部が欠落（訳抜け）することがある．欠落は単語レベルの内容だけでなく，節レベルの場合もある．NMTによる訳抜けを含む日英翻訳の翻訳例を図 1 に示す.この翻訳例では網掛け部の訳が出力されていない。内容の欠落は，実際の利用時に大きな問題となる.この他に NMT では, 入力文中の同じ内容を繰り返し訳出してしまうことがあるという問題もある。本稿は, これらの問題のうち訳抜けを対象として扱う.

従来の統計的機械翻訳 (SMT) (Koehn, Och, and Marcu 2003; Chiang 2007) は, デコード中にカバレッジベクトルを使って入力文のどの部分が翻訳済でどの部分が未翻訳であるかを単語レベルで明示的に区別し，未翻訳の部分がなくなるまで各部分を一度だけ翻訳するため，訳抜けの問題および訳出の繰り返しの問題はほとんど1起きない. しかし, NMT では対訳間での対応関係は, アテンションによる確率的な関係でしか得られないため, 翻訳済の原言語単語と未翻訳の原言語単語を明示的に区別することができない. このため, SMTでのカバレッジベクトルによって訳抜けを防ぐ方法をそのまま適用することは出来ない.

入力文中の各単語位置に応じた動的な状態べクトルを導入して, この状態ベクトルをソフトなカバレッジベクトル（カバレッジモデル）と見なす手法がある (Tu, Lu, Liu, Liu, and Li 2016; Mi, Sankaran, Wang, and Ittycheriah 2016). カバレッジモデルを用いる手法は, 訳抜けの問題を軽減できる可能性がある。しかし, 未翻訳部分が残っているかどうかを明示的に検出して翻

 \\

図 1 訳抜けを含む NMT による日英翻訳結果の例。入力の網掛け部の訳が機械翻訳出力に含まれていない。参照訳の網掛け部は入力の網掛け部に対応する部分を表している.

訳の終了を決定しているわけではない。そのため，カバレッジモデルを用いても訳抜けが発生する問題は残る。

本論文 2 では， 2 種類の確率に基づく値に対して，訳出されていない入力文の内容に対する検出効果を調べる．検出方法の 1 つはアテンション (ATN) の累積確率を用いる方法である（3.1 節)。もう 1 つは, 機械翻訳 (MT) 出力から入力文を生成する逆翻訳 (BT) の確率を用いる方法である (3.2 節)，後者は，言語間の単語の対応関係の特定を必ずしも必要とせずに，MT 出力に入力文の内容が含まれているかどうかを推定できるという特徴がある。また， 2 種類の確率に基づく値を訳抜けの検出に使う場合に，それぞれ値をそのまま使う方法と確率の比を用いる方法の 2 つを比較する。さらに，これらの確率を NMT のリランキングに応用した場合（4 節） および機械翻訳結果の人手修正（ポストエディット）のための文選択に応用した場合（5 節）の効果も調べる。これらの効果の検証のために日英特許翻訳のデータを用いた評価実験を行い（6 節），アテンションの累積確率と逆翻訳の確率はいずれも訳抜け部分として無作為に単語を選択する場合に比べて効果があることを確認した。そして，逆翻訳の確率はアテンションの累積確率より効果が高く, これらを同時に用いるとさらに検出精度が向上した. また, アテンションの累積確率または逆翻訳の確率を NMT の $n$-best 出力のリランキングに用いた場合の効果がプレプリント $(\mathrm{Wu}$, Schuster, Chen, Le, Norouzi, Macherey, Krikun, Cao, Gao, Macherey, Klingner, Shah, Johnson, Liu, Kaiser, Gouws, Kato, Kudo, Kazawa, Stevens, Kurian, Patil, Wang, Young, Smith, Riesa, Rudnick, Vinyals, Corrado, Hughes, and Dean 2016; Li and Jurafsky 2016) で報告されているが3, これらと独立した本研究でも同様の有効性を確認した. さらに，訳抜けの検出をポストエディットのための文選択に応用した場合に効果があることが分かった.

## 2 ニューラル機械翻訳

本節では, Bahdanau et al. (2015) に基づく, 本論文で用いたべースラインの NMT について述べる。この NMT は入力文をエンコードするエンコーダーと訳文を生成するデコーダー からなる，入力文が与えられると，その各単語を one-hot 表現に変換し, one-hot 表現の系列 $\mathbf{x}=x_{1}, \ldots, x_{T x}$ を得る. $\mathbf{x}$ の単語位置 $j$ において, エンコーダーは単語の分散表現の行列 $E_{x}$ と LSTM (Hochreiter and Schmidhuber 1997) 関数 $f$ を用いて, 前向きの LSTM の出力ベクトル $\vec{h}_{j}=f\left(\vec{h}_{j-1}, E_{x} x_{j}\right)$ と後ろ向きの LSTM の出力ベクトル $\overleftarrow{h}_{j}=f\left(\overleftarrow{h}_{j+1}, E_{x} x_{j}\right)$ を生成し, それらをつなげたべクトル $h_{j}=\left[\vec{h}_{j}^{\top} ; \overleftarrow{h}_{j}^{\top}\right]^{\top}$ を作成する.

デコーダーは入力 $\mathbf{x}$ を条件とする出力 $\mathbf{y}=y_{1}, \ldots, y_{T y}$ の確率を計算する． $\mathbf{y}$ も単語を表す

one-hot 表現の系列である. デコーダーは $\hat{\mathbf{y}}=\operatorname{argmax}_{\mathbf{y}} p(\mathbf{y} \mid \mathbf{x})$ となる $\hat{\mathbf{y}}$ を探索して出力する.確率 $p(\mathbf{y} \mid \mathbf{x})$ を次のように各単語の確率の積に分解する.

$
p(\mathbf{y} \mid \mathbf{x})=\prod_{i} p\left(y_{i} \mid y_{1}, \ldots, y_{i-1}, \mathbf{x}\right)
$

の各条件付き確率を次のようにモデル化する.

$
\begin{aligned}
p\left(y_{i} \mid y_{1}, \ldots, y_{i-1}, \mathbf{x}\right) & =\frac{\exp \left(y_{i}^{\top} W_{\mathrm{t}} t_{i}\right)}{\sum_{k \in \mathcal{Y}} \exp \left(k^{\top} W_{\mathrm{t}} t_{i}\right)} \\
t_{i} & =m\left(U_{\mathrm{s}} s_{i}+U_{\mathrm{y}} E_{\mathrm{y}} y_{i-1}+U_{\mathrm{c}} c_{i}\right)
\end{aligned}
$

ここで， $s_{i}$ は LSTM の隠れ状態， $c_{i}$ はコンテキストベクトル,$W$. と $U$. は重み行列, $E_{y}$ は目的言語の単語分散表現の行列を表しており， $m$ は Maxout (Goodfellow, Warde-Farley, Mirza， Courville, and Bengio 2013) 関数を表している. 状態 $s_{i}$ は次のように計算する.

$
s_{i}=f\left(s_{i-1},\left[c_{i}^{\top} ; E_{\mathrm{y}} y_{i-1}^{\top}\right]^{\top}\right)
$

コンテキストベクトル $c_{i}$ は $h_{j}$ の重み付け和として， $c_{i}=\sum_{j} \alpha_{i j} h_{j}$ で計算する. ここで，

$
\begin{aligned}
\alpha_{i j} & =\frac{\exp \left(e_{i j}\right)}{\sum_{j} \exp \left(e_{i j}\right)} \\
e_{i j} & =v^{\top} \tanh \left(W_{\mathrm{s}} s_{i-1}+W_{\mathrm{h}} h_{j}+W_{\mathrm{y}} E_{\mathrm{y}} y_{i-1}\right)
\end{aligned}
$

である. $v$ は重みべクトルである.

$\alpha_{i j}$ がアテンション確率であり， $y_{i}$ と $x_{j}$ との確率的な対応関係をある程度表しているとみなすことができる.

## 3 訳抜けした内容の検出

訳抜けした内容の検出への効果について，2 種類の確率とそれらの利用方法について述べる $^{4}$.

## 3.1 累積アテンション確率の利用

高いアテンション確率が割り当てられた原言語単語は訳出された可能性が高く, アテンション確率がほとんど割り当てられなかった原言語単語は訳出されていない可能性が高いと考えられる (Tu et al. 2016). そのため, 入力文の各単語位置でのアテンション確率の累積は, 訳抜け
^{4} 2$ 種類の確率を組み合わせた利用方法は 6.2 節で説明する.
}
検出の手がかりになると考えられる. 入力 $x_{j}$ の内容が $\mathbf{y}$ から欠落している度合いを表すスコア 「累積アテンション確率スコア」(Cumulative attention probability score; ATN-P) $a_{j}$ を (5) 式の $\alpha_{i j}$ を用いて次のように定義する.

$
a_{j}=-\log \left(\sum_{i} \alpha_{i j}\right)
$

(7) 式の括弧内 ${ }^{5}$ は $\mathrm{x}$ の単語位置 $j$ での累積アテンション確率である。 $i$ は $\mathbf{y}$ での目的言語単語位置を表す。

ただし, 本来, 原言語単語が対応する目的言語単語を持たない場合 6 や, 1 つ原言語単語が複数の目的言語単語に対応する場合があり， $a_{j}$ の値がそのまま訳抜けの度合いを表しているとは限らない.

訳抜けしている場合と訳抜けしていない場合とではアテンション確率の累積値に違いがある

の累積值と訳抜けしていない $\mathbf{y}$ における $x_{j}$ のアテンション確率の累積值との比に換算することで，訳抜けの度合いを表すスコアを補正する，ただし，このスコアを計算するためには，訳抜けしていない場合のアテンション確率の累積値を得る必要がある。このために次を仮定する. ここで， $n$-best 出力を $\mathbf{y}^{1}, \ldots, \mathbf{y}^{n}$ と表す.

仮定 : 任意の入力単語の訳の存在入力中の任意の単語 $x_{j},\left(1 \leq j \leq T_{x}\right)$ の訳は, $n$-best 出力 $\mathbf{y}^{d},(1 \leq d \leq n)$ のどこかに存在する. ただし, 本来, 対応先を持たない原言語単語 $x_{j}$ を除く.

以下，この確率比に基づくスコア「累積アテンション確率比スコア」(Cumulative attention probability ratio score; ATN-R) を定義する. 先と同様に入力 $x_{j}$ の内容が $\mathbf{y}^{d}$ から久落している度合いを表すスコア ATN-P を $a_{j}^{d}$ と表す. ここで, $\min _{d} a_{j}^{d}$ 与える出力 $\mathbf{y}^{d}$ に仮定に従って $x_{j}$ の訳が出現しているとみなす 7 . そして, 入力 $x_{j}$ の内容が出力 $\mathbf{y}^{d}$ から欠落している度合いを表す累積アテンション確率比スコア ATN-R $r_{j}^{d}$ を次のように定義する.

$
r_{j}^{d}=a_{j}^{d}-\min _{d^{\prime}}\left(a_{j}^{d^{\prime}}\right)
$

この値は確率の比の対数を表している.
$ であっても，アテンション確率の累積値が 0 になる訳ではなく通常は 0 より大きな値となる. その場合，その対数をとることで計算する $a_{j}$ は $+\infty$ にはならず， $\mathbf{y}$ の単語数を $T_{y}$ とすると $a_{j}$ の値域は $\left(-\log \left(T_{y}\right),+\infty\right)$ となる.
}

## 3.2 逆翻訳確率の利用

MT 出力から入力文を生成することを逆翻訳と定義する。入力文の内容が訳抜けしている場合は，逆翻訳で MT 出力から訳抜けした内容を表す原言語単語を生成する確率（逆翻訳確率） が低くなると考えられる。これを訳抜け検出の手がかりとして利用する。この方法は, 言語間の単語の対応関係の特定を必ずしも必要としないという特徴がある。ここで， $\mathbf{y}^{d}$ける $x_{j}$ に対する逆翻訳確率に基づくスコア「逆翻訳確率スコア」(Back translation probability score; BT-P) $b_{j}^{d}$ を次のように定義する.

$
b_{j}^{d}=-\log \left(p\left(x_{j} \mid x_{1}, \ldots, x_{j-1}, \mathbf{y}^{d}\right)\right)
$

(9) 式での確率は 2 節で述べた NMT を用いて計算する.

さらに前節と同様に訳抜けしていない場合の逆翻訳確率との比に換算する.ここで前節と同様に“任意の入力単語の訳の存在”を仮定し, $\min _{d}\left(b_{j}^{d}\right)$ を与える出力 $\mathbf{y}^{d}$ には $x_{j}$ の訳を含むとみなす 8 . そして, 入力 $x_{j}$ の内容が $\mathbf{y}^{d}$ から欠落している度合いを表す確率比に基づくスコア「逆翻訳確率比スコア」(Back translation probability ratio score; BT-R) $q_{j}^{d}$ を次のように定義する.

$
q_{j}^{d}=b_{j}^{d}-\min _{d^{\prime}}\left(b_{j}^{d^{\prime}}\right)
$

## 4 翻訳スコアへの適用

前節で述べたスコアは $n$-best 出力から訳抜けが少ない出力の選択に役に立つと考えられる. そこで，これらを翻訳スコアに利用して $n$-best 出力をリランキングし，その効果を調べる。

リランキングのスコアには翻訳の尤度 $\left(\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)\right)$ から重み付けした訳抜けのスコアを引いた値を用いる． $r_{j}^{d}$ を用いた場合のスコアとして

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\beta_{r} \sum_{j} r_{j}^{d}
$

$q_{j}^{d}$ を用いた場合のスコアとして

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\beta_{q} \sum_{j} q_{j}^{d}
$

を用いる.ここで， $\beta_{r}$ と $\beta_{q}$ は重みパラメータである。なお, リランキングでは同じ入力に対
$ の逆翻訳確率は, 訓練デー夕の目的言語文にある程度出現する語であれば $x_{j}$ を逆翻訳で生成できるように学習されるため, 通常は 0 より大きな確率となる．その場合，その対数をとることで計算する $b_{j}$ は $+\infty$ にはならず, $b_{j}$ の值域は $(0,+\infty)$ となる.
}

する出力間の比較となるため, ATN-R と ATN-P のリランキング結果は同じになる9ので, 本夕スクでは両方を併記して ATN-P/ATN-R と表記する。同様に BT-R と BT-P のリランキング結果も同じになるので，本タスクでは両方を併記して BT-P/BT-R と表記する。

$r_{j}^{d}$ と $q_{j}^{d}$ を同時に使う場合は, 重みパラメータ $\gamma, \lambda を$ 用いて

$
\log \left(p\left(\mathbf{y}^{d} \mid \mathbf{x}\right)\right)-\gamma \sum_{j} r_{j}^{d}-\lambda \sum_{j} q_{j}^{d}
$

をスコアとして用いる。

## 5 ポストエディットのための文選択

訳抜けした内容の検出の応用先の 1 つとして，機械翻訳結果を人手で後修正するポストエディットへの応用がある。機械翻訳の翻訳品質の向上により，ポストエディットによる翻訳は費用や時間のコストを下げる手段として産業的な発展が期待されている. 完全な翻訳が必要な場合は全てのMT 出力文を確認して修正する必要があるが，多少の誤りを含む翻訳でも役に立つ場面も多く存在する，例えば，外国語で書かれた特許などのテキストを母国語で閲覧できるサービスや，歀楽向けのテレビ番組の外国語字幕などである。このような場合に，機械翻訳の出力をそのまま利用することも選択肢の1つとなるが，訳質の低い文を自動で選択して，一部の訳質の低い訳文だけを人手で後修正すれば，限られた労力で訳質を効果的に改善することができる ${ }^{10}$ 。翻訳の誤りは訳抜け以外にも訳語選択の誤りや語順の誤り，訳出の繰り返しなど複数の要因があるが, それぞれの要因の誤りを推定して訳文が含む誤りの程度を推測できることが理想的である ${ }^{11,12}$.

本稿では訳抜けの検出を目的にしているので，ここでは，入力文と訳文のぺアの集合から訳抜けを多く含むぺアの選択をタスクとして考える。このタスクの場合は, 異なる入力文間の比較となるため, ATN-P と ATN-R のスコアの違いや BT-P と BT-R のスコアの違いが結果に影響する。

文のスコアには 4 節と同様に単語のスコア $u_{j}$ の和

$
\sum_{j} u_{j}
$

を用いる. ここで， $u_{j}$ は 3 節で説明した各単語のスコア（ $a_{j}$ など）を表している.

2 種類のスコアを同時に使う場合は, 重みパラメータ $\gamma, \lambda$ を用いて文のスコアの重み付け和を用いる. 例えば $r_{j}$ と $q_{j}$ を用いる場合

$
\gamma \sum_{j} r_{j}+\lambda \sum_{j} q_{j}
$

となる.

## 6 実験

本節では，長い文を含む日英特許翻訳のデータを用いて，訳抜け検出での効果，翻訳への効果，および訳抜けを多く含む文選択への効果を調べた実験について述べる.

## 6.1 設定

実験には, NTCIR-9 と NTCIR-10の日英特許翻訳タスク (Goto, Lu, Chow, Sumita, and Tsou 2011; Goto, Chow, Lu, Sumita, and Tsou 2013)のデー夕を用いた.この訓練デー夕の対訳文対の数は約 320 万である。この中で，日英いずれも 100 単語以下の長さの文ぺアを日英 $(\mathrm{JE})$ 翻訳の訓練に用いた，計算量を削減するために逆翻訳用の英日翻訳の訓練には，日英いずれも 50 単語以下の長さの文ぺアを訓練に用いた。これらの訓練で単言語データは用いていない。夕スクの公式開発データ 2,000 文のうち最初の 1,000 文を開発データとして用いた. テスト文と参照訳からなるテストデータは, NTCIR-9 が 2,000 文対, NTCIR-10 が 2,300 文対である。英語のトークナイザには stepp tagger ${ }^{13}$, 日本語の単語分割には Juman $7.01^{14}$ を用いた。

NMT のシステムには, Kyoto-NMT (Cromieres 2016)を用いた ${ }^{15}$. 本稿で用いたべースラインNMTの設定は次のとおりである。原言語と目的言語の語彙数はそれぞれ頻度が高い 30,000 語を用い，それ以外の語は特別な語 (UNK) に置き換えた. エンコーダーの前向きと後ろ向きの LSTM のユニット数はそれぞれ 1,000 , デコーダーの LSTM のユニット数は 1,000 , 単語の分散表現のベクトルサイズは 620 , 出力層の前のベクトルの次元は 500 とした. これらの設定は Bahdanau et al. (2015) と同じである。ミニバッチサイズには 64 を用いた。ただし，逆翻訳のモデルの訓練には 128 を用いた。 パラメータの推定には Adam (Kingma and Ba 2015)を用いた. NMT モデルの訓練は 6 エポック実施した. 開発データは, ミニバッチ 200 回毎に BLEU スコアを計算してスコアが高いモデルを保存するために利用した．翻訳の探索は，ビーム幅 20 でビームサーチした。出力長は入力長の 2 倍以下に制限した。このビームサーチで得られるす

べての出力文 ${ }^{16 を ~} n$-best 出力として用いた ${ }^{17}$.

4 節の重みパラメータ $\beta_{r}, \beta_{q}, \gamma, \lambda$ は開発データで BLEU スコアが高くなるものを $\{0.1,0.2$, $0.5,1.0,2.0\}$ から選択した.

## 6.2 入力文の内容の訳抜け検出での効果

NTCIR-10 のテストデータをベースライン NMT で英語に翻訳し，訳抜けした内容を人手で特定した. そして，3節のスコアによる訳抜けした内容の検出効果を比較した.

## 評価用データの作成

次の手順で評価用データを作成した。まずNTCIR-10 のテストデータからテスト文 (日本語) とその参照訳 (英語) の長さがいずれも 100 単語以下のテスト文を選択し, 選択したテスト文をベースライン NMT で英語に翻訳した．MT 出力にはビームサーチで 1 位の出力を用いた。訳抜けがありそうな MT 出力を選ぶため, （MT 出力の長さ／ min（参照訳の長さ，入力文の長さ））値が小さいテスト文から順番に選択し，テスト文中で翻訳されていない内容語に人手でタグを付与した。これによって 100 文を選択し, 選択した文の全単語 4,457 語のうち 632 語の訳抜けした内容語を認定した。これらの 632 語を正解データとした。この 100 文を選択する際に，入力文と訳文で訳出された部分の単語対応が特定できない部分があることで，訳抜けした部分を特定できなかった文は除いた。

また，内容語の判定には文字種を用い，漢字，数字，カタカナ，アルファベットのいずれかの文字種を含む語を内容語とした。なぜなら，今回対象とした特許文では，実質的な意味を持つ語は通常上記の文字種が用いられること, そして, 平仮名は文中で主に機能的表現に用いられ, 品詞が動詞などの場合でも平仮名で表記されるもの（例えば「する」など）の多くは形式的な働きが強く実質的な内容を持たないためである.

なお，NMT の出力に含まれる UNK は翻訳元の語の意味を保持していないが，ここでは訳抜けとして扱わない．例えば，日本語の入力文中の表現が「陰極 $211 \mathrm{~b}\rfloor て ゙ ，$ 対応する英語の参照訳が「the cathode 211b」の時に, 対応する出力の表現が「the cathode UNK」の場合, UNK は日本語の「211b」に対応していると考えることができる. このような場合に, 日本語の単語「211」と「b」は訳抜けしていないとして扱う，なぜならば，扱う語彙が制限されているために英語の「211b」を出力する代わりに UNK を出力しているので, これは訳抜けの問題ではなく扱える語彙の問題であるためである.

## 2 種類のスコアの組み合わせ方法

2 種類のスコア $r_{j}^{d}$ と $q_{j}^{d}$ を同時に用いて訳抜けを検出する場合 (BT-R \& ATN-R) は, 6.1 節で選択した重みパラメータ $\gamma, \lambda$ を用いて,

$
\gamma r_{j}^{d}+\lambda q_{j}^{d}
$

をスコアとして用いた。

## 結果と議論

正解を付与した 100 文のテスト文中の全ての語を 3 節のそれぞれのスコアに基づいてランキングし, 正解 (632 語) と比較した ${ }^{18}$. 結果を図 2 に示す. 全単語（4,457 語）から無作為に単語を選択した際の精度の期待値は $0.14=632 / 4,457$ である.この結果から, 次のことが確認された。

図 2 訳抜けした内容の検出結果. Recall が 0.5 の時, グラフのラインは上から BT-R \& ATN-R, BT-R, BT-P, ATN-R, ATN-Pを表している.

- 累積アテンション確率スコア (ATN-P) と逆翻訳確率スコア (BT-P) は無作為な選択に比べて効果がある。

・ 累積アテンション確率比スコア (ATN-R) は累積アテンション確率スコア (ATN-P) より検出精度が高く, 逆翻訳確率比スコア (BT-R) は逆翻訳確率スコア (BT-P) より検出精度が高い。
- 逆翻訳確率比スコア $(\mathrm{BT}-\mathrm{R})$ は累積アテンション確率比スコア $(\mathrm{ATN}-\mathrm{R})$ より検出精度が高い.
- 2 種類のスコアを同時に利用する (BT-R \& ATN-R) とそれぞれのスコア (BT-R, ATN-R) のみを利用する場合より検出精度が高い.

ここで，BT-R でスコアが大きくならずに検出の感度が低かった例を図 3 に示す. 図 3 では，入力文に同一の語 (ISO) が 2 回出現しているが, 出力中にそれらの訳語 (ISO) は 1 つしか出現していない．入力中の下線の “ISO”が訳抜けしていることを検出するためには， 入力中の下線のない “ISO”の訳抜けのスコアは小さく，下線の “ISO”のスコアは大きいことが必要である. しかし, 出力中に “ISO”が含まれているために，原言語単語の “ISO” が逆翻訳で生成されやすい状態となったため，下線の“ISO”のスコアが大きくならなかったと考えられる。

BT-P は，入力中に 1 回しか出現しない内容語の検出の感度は高いと考えられるが，入力中に複数回出現する内容語の検出の感度は低いと考えられる。これに対して, ATN-Pの累積確率は, 目的言語単語を生成する数に依存して値が変わるため, 入力に同一の内容語が複数出現した場合でも，検出の感度は BT-Pのようには低くならないと考えられる。なお, ATN-R は ATN-P に基づいているので，ATN-R は ATN-P と同じ特性があり，同様に BT-R は BT-P に基づいているので，BT-R は BT-P と同じ特性がある。すなわち，BT-R と ATN-R は訳抜けした内容の検出感度（表 1）において一部で相補的な関係にあるため，これが組み合わせで効果があった理由の一つと考えられる。

 \\

図 3 遟翻訳で訳抜けの検出感度が低かった例。入力の網掛け部が訳抜けした部分を表している。参照訳の網掛け部は入力で訳抜けした部分に対応した部分を表している。
表 1 訳抜けした内容の検出感度

## $6.3 n$-best 出力のリランキングでの効果

4 節で説明した方法でベースライン NMT の $n$-best 出力をリランキングし，各スコアの翻訳への効果を調べた。

## 比較したシステム

比較のために, ベースライン NMT システムに 2 つのカバレッジモデル (Mi et al. 2016; Tu et al. 2016) ${ }^{19}$ を導入した結果も計算した. これらのモデルはデコード時に利用するものである. なお， Mi et al. (2016)では, カバレッジモデルに GRU を用いている ${ }^{20}$ が，ここではLSTM を用いた ${ }^{21}$.

Mi et al. (2016)のカバレッジモデルを neural カバレッジモデル (CovERAGE-neural) と呼ぶ. Tu et al. (2016) は linguistic と neural のカバレッジモデルを提案している. ここでは, これらのうち linguistic バージョンを用い, このモデルを linguistic カバレッジモデル (COVERAGE-linguistic) と呼ぶ.

参考として, Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) で, フレーズベース SMT の distortionlimit を 20，階層フレーズベース SMT の max-chart-spanを 1,000 に設定した従来の SMT による結果も計算した。 さらに，言語モデルを用いた $n$-best 出力のリランキングも実施した ${ }^{22}$. このリランキング結果を Rerank with LM と呼ぶ.

## 結果と議論

表 2 に BLEU-4 (Papineni, Roukos, Ward, and Zhu 2002)の結果を示す.この結果から ATNP/ATN-R と BT-P/BT-R を翻訳スコアに利用することに効果があることが分かる。また, ベー
$ et al. (2016) で $\mathbf{U}_{G R U}$ と表記されているモデル.

${ }^{21}$ NMT ベースラインで GRU より LSTM を用いた方が BLEU スコアが高く, カバレッジモデルで Chainer (Tokui, Oono, Hido, and Clayton 2015）の GRU の実装を使うより Chainer の LSTM の実装を使った方が学習速度が速かったためである.

22 KenLM  を用いて訓練データの目的言語文で 5-gram の言語モデルを構築し，この言語モデルで出力文の生成確率の負の対数を計算した． 4 節と同様に重み付けして翻訳の尤度から引いた値でベースライン NMT の $n$-best 出力をリランキングした。この重みは, 他の重み（ $\beta_{r}$ など）と同様に 6.1 節の手順で選択した。
}
表 2 翻訳結果 (BLEU $(\%))$

スライン NMT は従来の SMT より高い BLEU 值が得られている，以下，表記を簡素化するために, ATN-P/ATN-R では ATN-P を代表して用い, BT-P/BT-R では BT-Pを代表して用いる.

以下，要素毎の効果を議論する。まず，ATN-P と BT-P のリランキングでの効果について述べる. ATN-P と BT-Pのどちらもリランキングに効果があった. ATN-P とほほ同じスコアがリランキングに効果があることはプレプリント (Wu et al. 2016) でも確認されており, BT-P がリランキングに効果があることはプレプリント (Li and Jurafsky 2016)でも確認されている. これらの研究と互いに独立した我々の研究でもリランキングに関して同様の効果を確認した. ATN-P と BT-P を比較すると， BT-P のほうが ATN-P より少し BLEU 值が高かった. ATN-P と BT-Pの両方を用いる (Rerank with BT-P/BT-R \& ATN-P/ATN-R) とそれぞれを単独で用いるよりも BLEU 値が高かった。これらの結果は 6.2 節の結果と整合する。表 2 の Rerank with BT-P/BT-R と Rerank with BT-P/BT-R \& ATN-P/ATN-R の差は, ブートストラップ・リサンプリングテスト (Koehn 2004)のツール23を用いた計算で $\alpha=0.01$ で統計的に有意であった. また, Rerank with BT-P/BT-R と Rerank with ATN-P/ATN-R の差は, NTCIR-10では $\alpha=0.01$ で, NTCIR-9 では $\alpha=0.05$ で統計的に有意であった.

次に，カバレッジモデルの効果について議論する。表 2 の NMT Baseline と CovERAGE-neural とでは差が小さく (0.5 BLEU ポイント未満), このデータセットでは COVERAGE-neural の効果はあまりみられなかった. CoverAGE-linguistic は CovERAGE-neural より改善が大きかったが， NMT Baseline と CoveraGe-linguistic との差も 0.5 BLEU ポイント未満であった. それに対して，アテンション確率を用いてリランキングした場合 (Rerank with ATN-P/ATN-R) では, 1 BLEU ポイント以上の向上が得られている．カバレッジモデルはアテンション確率を利用する方法であるため，今回の実験では，アテンション確率の情報を十分に活用できていないこと
^{23}$ https://github.com/odashi/mteval
}

が分かる. すなわち，カバレッジモデルはアテンション確率の情報を十分に活用できるようにエンド・ツー・エンドで学習できるとは限らないと言える。学習の困難の度合いはデー夕に依存すると考えられる。 24

訳抜けが発生するとその分だけ出力が短くなるため, 出力長は訳抜けの程度をある程度表している25.そこで, NTCIR-10のテストデータで 100 単語以下の文を用いて出力長を比較した.入力文長の各クラスでの目的言語文の平均長を図 4 に示す. 図 4 から, NMT ベースラインの

Input length class

図 4 目的言語文の平均長

出力の平均長が参照訳の平均長より短い傾向にあることが分かり，それだけ訳抜けが発生していると考えられる。 それに対して，表 2 の Rerank with BT-P/BT-R \& ATN-P/ATN-R の出力の平均長は NMT ベースラインより長く, 参照訳により近い長さになっている。これは, NMT ベースラインの出力より訳抜けが少なくなっていることを示唆していると考えられる.

表 2 の Rerank with LM はベースライン NMT と比べて BLEU 值が改善していない. 言語モデルを用いたリランキングでの効果は見られなかった.

NMT ベースラインの $n$-best 出力をリランキングした場合の BLEU 値の上限を調べるため, $n$-best 出力から文単位の BLEU 值が最大の出力文を選択した場合の BLEU 值を計算した ${ }^{26}$. その結果は, NTCIR-10テストデータで 47.29, NTCIR-9テストデータで 46.33 であった. これより, $n$-best 出力のリランキングでさらなる改善の余地があることが分かる.

表 2 で最も結果が良かった BT-P と ATN-Pによるリランキング (Rerank with BT-P/BT-R \& ATN-P/ATN-R) で訳抜けが減少しているかどうかを確認するために, テストデータから 100 文を無作為に選択して, ベースライン NMT の結果と Rerank with BT-P/BT-R \& ATN-P/ATN-R の結果での訳抜けと訳出の繰り返しが発生した原言語の内容語の数を調べた。また，カバレッジモデルを用いた手法のうち表 2 で結果が良かった NMT Baseline with CovERAGE-linguistic の結果についても調べた。ここで，文を選択する際に入力長と参照訳長が 100 単語以内のものに限定した. 内容語は 6.2 節で説明した条件を満たす語とした. 結果を表 3 に示す.この結果から，BT-P と ATN-Pによるリランキングによって訳出の繰り返しが増加せずに訳抜けが減少したことを確認した．また，カバレッジモデルを用いても訳抜けが発生したことを確認した．発生した訳抜けはベースライン NMT より少なかったが，BT-P と ATN-P を用いたリランキングより多かった。

表 3 訳抜けした内容語の割合と訳出が繰り返された内容語の割合

括弧内の数字は原言語の内容語の数を表している.

## 6.4 ポストエディットのための文選択での効果

## 評価データと設定

評価データには， 6.2 節での訳抜けした内容語に夕グを付与した入力文 100 文とべースライン NMT の翻訳結果との文のペアと， 6.3 節での訳抜けした内容語に夕グを付与した入力文 100 文とべースライン NMT の翻訳結果との文のぺアを用いた。これらは 6 文が重複していたため,重複を除いた全体の文のペア数は 194 であった。これらの194ペアそれぞれに訳抜けした内容語の数（訳抜け数と呼ぶ）を付与したデータを作成し，これを評価データとして用いた.

そして, 各ペアのスコアを計算し, 文のスコアと訳抜け数とのピアソンの積率相関係数を調べた。相関係数の値域は $[-1,1]$ で，相関が無い場合は 0 になる。相関係数が 1 に近いほど，訳抜け数の予測精度が高いことを示している。

用いた。

## 結果と議論

結果を表 4 に示す. 各スコアは訳抜け数と相関があることから訳抜けを含む文の選択で効果があることが分かる．以下，表 4 の結果について考察する.

まず， 6.2 節の結果から予想されることを示し，次に予想と結果を対比する． 6.2 節で示した単語レベルでの訳抜けした内容の検出精度がそのまま反映されるならば，次のことが予想される。予想 (1) ATN-PよりATN-R，BT-PよりBT-Rの方が相関係数が高い. 予想 (2) ATNより BT のほうが相関係数が高い. 予想 (3) BT-R と ATN-R との組み合わせは構成要素単独より相関係数が高い.これらの予想と結果を対比する.

まず予想 (1)に関して，BT-P と BT-R について比較する，BT-P の相関係数より BT-R の相関係数が高く, BT について予想 (1) と結果は一致した，BT-R は BT-P よりも訳抜け数の多い文の選択で効果が高いことが分かった。

次に予想 (1) に関して, ATN-P と ATN-R について比較する.ATN-P の相関係数に対して

表 4 各文の訳抜けした内容語の数と文のスコアとのピアソンの積率相関係数

ATN-Rの相関係数は高くないため, ATN については予想 (1) と結果は一致しなかった. その原因について分析する。訳抜けするとそれだけ出力が短くなるため，訳出の繰り返しがなければ訳抜け数と入出力長差 ${ }^{27}$ とは相関する ${ }^{28}$. そこで我々は, 入出力長の違いがスコアに反映されている程度が ATN-P と ATN-R とで異なることが原因である可能性があると考え，入力文長から出力文長を引いた値（文長差スコアと呼ぶ）と文のスコアとの相関係数を調べた。その結果, ATN-P の文のスコアと文長差スコアとの相関係数は 0.943, ATN-R の文のスコアと文長差スコアとの相関係数は 0.903 で，ATN-P に基づく文のスコアの方が，ATN-R に基づく文のスコアより入出力長の違いを反映していることが分かった. すなわち, ATN-Pから比に基づくスコア ATN-R に換算することで，ATN-P に基づく文のスコアが保持している入出力長差の情報が劣化したと考えられる。このことが，ATN-Rの個々の単語に対する訳抜け検出精度の向上効果を打ち消したたため，ATN-Rの相関係数は ATN-P の相関係数より大きくならなかったと考えられる 29.

予想 (2) に関して, ATN と BT を比較する。ATN-P と ATN-R の相関係数が BT-P や BT-R の相関係数より高く, 予想 $(2)$ と結果は一致しなかった. その原因を分析する．BT-P および BT-Rの文のスコアと文長差スコアとの相関を調べた。その結果，BT-Pの文のスコアと文長差スコアとの相関係数は 0.695, BT-R の文のスコアと文長差スコアとの相関係数は 0.774 であった。これらは ATN-P の文のスコアと文長差スコアとの相関係数 (0.943) および ATN-R の文のスコアと文長差スコアとの相関係数 (0.903) より低い. そのため, ATN-P および ATN-R の文のスコアは, BT-P および BT-R の文のスコアに比べて入出力長の違いを反映していることが分かった。このことが，BTよりATNの方が相関係数が高かった原因と考えられる.

予想 (3) に関して，スコアの組み合わせの効果を調べる，BT-Rの文のスコアと ATN-R の文のスコアの組み合わせの相関係数は, 組み合わせの構成要素である文のスコア単独での相関係数より高かった。予想 (3)とこの結果は一致した。また，BT-Rの文のスコアと ATN-Pの文のスコアの組み合わせの相関係数も，組み合わせの構成要素である文のスコア単独での相関係数より高かった。個々の単語の訳抜けの検出精度が高い BT-R と入出力長差を文のスコアに反映しやすい ATN-P もしくは ATN-R との組み合わせ (BT-R \& ATN-P および BT-R \& ATN-R) は, それぞれの特徴を活用したことで相関係数が高くなったと考えられる.

ポストエディットのための文選択では，相関係数が最も高かった BT-R と ATN-P の組み合

わせの文のスコアを利用することが良いと思われる。この文のスコアと文の訳抜け数は相関があった（相関係数が $0.925 ）$ ため，この文のスコアはポストエディットのために訳抜けの多い文を選ぶのに役に立つことが分かった。

## 7 関連研究

訳抜けを減らす既存研究として 1 節でカバレッジモデルを紹介した. これらの研究の他に,

我々の研究と互いに独立した研究がある (Tu, Liu, Shang, Liu, and Li 2017; Wu et al. 2016; Li and Jurafsky 2016). Tu et al. (2017) はデコーダーのステートから入力文を生成する確率をリランキングに用いている。この確率は入力文を生成する確率という点で逆翻訳の確率に類似しているが，逆翻訳では出力文の情報のみを用いて入力文の生成確率を計算するのに対して，この確率は出力文の情報に加えて入力文の情報も含んでいるデコーダーのステートから入力文の生成確率を計算しているという違いがある. Wu et al. (2016) は $\operatorname{arXiv}$ のプレプリントで, アテンション確率の累積をリランキングに用いて効果を確認している. Li and Jurafsky (2016)も arXiv のプレプリントで，逆翻訳の確率をリランキングに用いて効果を確認している。これらの研究は, アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価していない. それに対して我々の研究は，アテンション確率の累積と逆翻訳の確率の訳抜け検出への効果を直接評価し, これらの組み合わせの効果についても調査し, これらの関係についても考察している。また，ポストエディットのための文選択への効果も評価している。

## 8 おわりに

NMT での訳抜けの検出について，アテンションの累積確率と逆翻訳の確率を用いた場合の効果を評価し, 有効性を確認した. そして, これらの値を直接用いるよりも, $n$-best 出力で負の対数が最小の場合との比を用いる方が検出精度が高く, アテンションの累積確率比と逆翻訳の確率比を同時に用いるとさらに検出精度が向上した. また, これらを NMT の $n$-best 出力のリランキングに用いた場合の有効性も確認した。 さらに, 訳抜けの検出をポストエディットのための文選択に応用した場合の効果も評価し, 効果があることが分かった.

## 参考文献

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of International Conference on Learning Representations.

Chiang, D. (2007). "Hierarchical Phrase-Based Translation." Computational Linguistics, 33 (2), pp. 201-228.

Cromieres, F. (2016). "Kyoto-NMT: A Neural Machine Translation implementation in Chainer." In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 307-311, Osaka, Japan.

Goodfellow, I. J., Warde-Farley, D., Mirza, M., Courville, A., and Bengio, Y. (2013). "Maxout Networks." In Proceedings of the 30th International Conference on International Conference on Machine Learning - Volume 28, pp. III-1319-III-1327. JMLR.org.

Goto, I., Chow, K. P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of the 10th NTCIR Conference, pp. 260-286.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of the 9th NTCIR Workshop Meeting, pp. 559-578.

Goto, I. and Tanaka, H. (2017). "Detecting Untranslated Content for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 47-55, Vancouver. Association for Computational Linguistics.

後藤功雄, 田中英輝 (2017). ニューラル機械翻訳での訳抜けした内容の検出. 言語処理学会第 23 回年次大会発表論文集, pp. 1018-1021.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference for Learning Representations.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics: Demo and Poster Sessions, pp. 177-180.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 48-54.

Li, J. and Jurafsky, D. (2016). "Mutual Information and Diverse Decoding Improve Neural

Machine Translation." arXiv preprint, arXiv:1601.00372.

Mi, H., Sankaran, B., Wang, Z., and Ittycheriah, A. (2016). "Coverage Embedding Models for Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 955-960, Austin, Texas.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of Advances in Neural Information Processing Systems 27, pp. 3104-3112.

Tokui, S., Oono, K., Hido, S., and Clayton, J. (2015). "Chainer: a Next-Generation Open Source Framework for Deep Learning." In Proceedings of Workshop on Machine Learning Systems in the 29th Annual Conference on Neural Information Processing Systems.

Tu, Z., Liu, Y., Shang, L., Liu, X., and Li, H. (2017). "Neural Machine Translation with Reconstruction." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3097-3103.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 76-85, Berlin, Germany.

Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, L., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., Stevens, K., Kurian, G., Patil, N., Wang, W., Young, C., Smith, J., Riesa, J., Rudnick, A., Vinyals, O., Corrado, G., Hughes, M., and Dean, J. (2016). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation." arXiv preprint, arXiv:1609.08144.

## 略歴

後藤功雄：1995 年早稲田大学理工学部電気工学科卒業. 1997 年同大学院理工学研究科修士課程修了. 2014 年京都大学大学院情報学研究科博士課程修了.博士 (情報学)。1997 年 NHK 入局，(株）国際電気通信基礎技術研究所 (ATR) および（独）情報通信研究機構出向を経て，現在，放送技術研究所スマートプロダクション研究部にて自然言語処理の研究に従事.

田中英輝：1982 年九州大学工学部電子工学科卒業. 1984 年同大学院修士課程修了. 同年 NHK 入局, 1987 年放送技術研究所研究員. (株) 国際電気通信
基礎技術研究所 (ATR) 音声言語コミュニケーション研究所第 4 研究室室長, NHK 放送技術研究所上級研究員などを経て 2018 年 7 月より (一財) NHK エンジニアリングシステムシステム技術部上級研究員. テキストの平易化, 機械翻訳などの自然言語処理の研究に従事. 博士 (工学).

(2018 年 4 月 27 日受付)

(2018 年 8 月 2 日再受付)

(2018 年 9 月 18 日採録)


# 店舗レビューには何が書かれているか?調査及び自動分類システムの開発—
## 新里 圭司 ${ ^{\dagger}$ 小山山田由紀 $\dagger$}

本稿では，オンラインショッピングサイト出店者に対して書かれたレビュー（以下，店舗レビュー）内の各文を, 言及されているアスペクト（例えば，商品の配送や梱包）とその評価極性（肯定, 否定）に応じて分類するシステムについて述べる。店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでないため， まず店舗レビュー 100 件（487 文）を対象に，各文がどのようなアスペクトについて書かれているのか調査した。その結果， 14 種類のアスペクトについて書かれていることがわかった。そして，この調査結果をもとに 1,510 件の店舗レビューに含まれる 5,277 文に対して人手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライブラリを用いてレビュー内の文を分類するシステムを開発した，本システムを用いることで，任意のアスペクトについて，その記述を含むレビューへ効率良くアクセスしたり, その評判の時系列変化を調べたりすることが可能になる。

キーワード：オンラインショッピング, レビュー, アスペクト分類, 評判分析

## What Do People Write in Reviews for Sellers? -Investigation and Development of an Automatic Classification System-

\author{
KeIJI Shinzato ${ }^{\dagger}$ and Yuki Oyamada ${ }^{\dagger}$
}

Herein, we describe a system that classifies each sentence in reviews for the sellers of an online shopping website based on aspects, such as shipping and packaging, and sentiment polarity (positive and negative). First, we investigated 487 sentences that were extracted from randomly selected 100 seller reviews for revealing the aspects mentioned in the reviews. This was done because the aspects in the seller reviews are not obvious. Consequently, we found that 14 aspects were described in the seller reviews. We annotate 14 aspects and their sentiment polarity for 5,277 sentences in 1,510 seller reviews that are newly and randomly chosen. Then, we train the classification models using the existing machine learning software. Through the system based on these classification models, users can understand the trend for any aspect in a time series and easily access reviews describing aspects which they are interested in.

Key Words: Online Shopping, Review, Aspect Classification, Sentiment Analysis

## 1 はじめに

オンラインショッピングでは出店者（以下, 店舗と呼ぶ）と顔を合わせずに商品を購入することになるため, 店舗とのやりとりは顧客満足度を左右する重要な要因となる. 商品の購入を検討しているユーザにとって, 商品を扱っている店舗が「どのような店舗か」という情報は, 商

ザが店舗 A から商品を購入したいと思うのではないだろうか.

店舗 A：こまめに連絡をとってくれ，迅速に商品を発送してくれる

店舗 B: 何の連絡もなく, 発注から 1 週間後に突然商品が届く

ユーザに対して店舗に関する情報を提供するため, 楽天市場では商品レビューに加え，店舗に対するレビューの投稿・閲覧ができるようになっている．店舗レビューの例を図 1 に示す．自由記述以外に 6 つの観点（品揃え, 情報量, 決済方法, スタッフの対応, 梱包, 配送）に対する購入者からの 5 段階評価（5が最高， 1 が最低）が閲覧可能である.この 5 段階評価の結果から店舗について知ることができるが, 評価値からでは具体的にどう良かったのか, どう悪かったのかという情報は得られないのに加え, ここに挙がっている観点以外の情報も自由記述に含まれているため，店舗をより詳細に調べるには自由記述に目を通す必要がある。そのため，レビュー内の各文をその内容および肯定, 否定といった評価極性に応じて分類することができれば, 店舗の良い点, 悪い点などユーザが知りたい情報へ効率良くアクセスできるようになり，今まであった負担を軽減することが期待できる.

図 1 楽天市場における店舗レビューの例. 自由記述以外に 6 つ観点（品揃え, 情報量, 決済方法, スタッフの対応, 梱包, 配送）に対する購入者からの 5 段階評価（5 が最高， 1 が最低）がメタデー 夕として付いている。自由記述部分を読むと, 発送が遅れているにも関わらず, 店舗から何の連絡も来ていないことがわかる，店舗からの連絡に関する評価は, 評価対象となっている 6 の観点では明確に捉えられていない。

このような分類は，オンラインショッピングサイトの運営側にとっても重要である. 例えば楽天では, より安心して商品を購入してもらえるように，ユーザに対する店舗の対応をモニ夕リングしており，その判断材料の 1 つとして店舗レビューの自由記述部分を用いている。そのため，レビューに含まれる各文を自動的に分類することで，問題となる対応について述べられた店舗レビューを効率良く発見できるようになる。

こうした背景から，我々は店舗レビュー中の各文を記述されている内容（以下，アスペクトと呼ぶ）およびその評価極性（肯定，否定）に応じて分類するシステムの開発を行った. 店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでないため，まず無作為に選び出した店舗レビュー 100 件（487文）を対象に，各文がどのようなアスペクトについて書かれているのか調査した。その結果, 14 種類のアスペクトについて書かれていることがわかった.次いでこの調査結果に基づき，新しく選び出した 1,510 件の店舗レビュー（5,277 文）に対して人手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライブラリを用いてレビュー内の文をアスペクトおよびその評価極性に分類するシステムを開発した。アスペクト分類の際は，2つの異なる機械学習手法により得られた結果を考慮することで，再現率を犠牲にはするものの，1つの手法で分類する場合より高い精度を実現している。このように精度を重視した理由は，システムの結果をサービスや社内ツールとして実用することを考えた場合, 低精度で網羅的な結果が得られるよりも, 網羅的ではないが高精度で確実な結果が得られた方が望ましい場合が多いためである。例えば 1 つ機能として実サービスに導入することを考えた際，誤った分類結果が目立つと機能に対するユーザの信頼を失う要因となる。このような事態を回避するため，本手法では精度を重視した。

以降，本稿では店舗レビュー中に記述されているアスペクト，機械学習を使ったアスペクト・評価極性の分類手法について述べた後, 構築した店舗レビュー分析システムについて述べる.

## 2 店舗レビューには何が書かれているか？

調査にあたり，まず楽天市場の店舗レビューを評価が高いものと低いものに分類した，具体的には，各店舗レビューに含まれる 6 つ評価観点に対する評価値の平均を求め, 値が 4.5 以上のものを高評価， 2.0 以下のものを低評価レビューとした．続いてレビューを「\n」「。」「!」

されたレビューのうち，3文以上含むものを無作為に 50 件ずつ選びだし，それらに記述されている内容を調査した。対象となったレビュー 100 件には 487 文含まれていた。 3 文以上含むレ

ビューを調査対象とした理由は，(1)「大変良かったです。」のように一言だけ書かれたレビュー を除くため，および $(2)$ 文数が多いレビューほど具体的にアスペクトを記述していると考えたためである.

調査により明らかとなったアスペクトを表 1 に示す。実際の調查では決済方法に関する記述は見当たらなかったが，決済方法に関する観点が店舗レビューのメタデータとして含まれるため追加した，表よりメール・電話などの店舗とのやりとり，店舗に対する評価，再度購入したいと思ったかどうか, キャンセル・返品時の対応など，先述した 6 つの評価観点では明確に捉えられていないアスペクトについてレビュー中で言及されていることがわかる。また店舗レビュー ではあるが，商品やその価格に関する言及もあることがわかる.

## 3 アスペクトおよび評価極性の自動分類

表 1 のアスペクトをもとに，新しく無作為に選び出した店舗レビュー 1,510 件（5,277 文）に対して人手でアノテーションを行い，これに基づいてアスペクトおよびその評価極性（肯定，中立，否定）を分類するモデルを構築した。本節ではこれらについて述べる。

## 3.1 学習データの作成

まず 2 節で述べた方法で，店舗レビューを高評価および低評価に分類し，文分割処理を行った. そして表 2 に示す割合でレビューを無作為に選びだし，アノテーションの対象とした。

アノテーションは 1 名のアノテータで行った。まず調査に用いたレビュー 100 件を使って訓練した後，5,277 文に対して該当する全てのアスぺクトおよびその評価極性を付与するよう依頼した. アスペクトに「その他」を設けてあるため各文には必ず 1 つ以上のアスペクトおよびその評価極性が付与されることに注意されたい。また文単体ではアスぺクト・評価極性の同定が難しい場合は，前後の文脈を利用するように指示した。そのため，同じ文であっても前後の文脈により付与されるアスペクト・評価極性が異なる場合がある，以下に，文脈によってアスペクト・評価極性の判定結果が異なる例を示す（「/」は文の境界を表す)。

レビューA: 欲しかった商品の在庫がなかったのにすぐ手配してくれてとても助かりました。/注文した翌々日に届きました。/驚きました。

レビューB: 初めてこの店舗を利用しましたが、梱包が最低。/驚きました。/商品にクッショ

ンもされず、コードが箱から出ちゃって、一度使うのに出した物を、また箱に戻してキレイに戻らなくて、セロテープでペタペ夕貼ってあるように見えました。/人となりが、解ってしまう様な店舗です。

レビュー A , B は文「驚きました。」をそれぞれ含んでいるが，そのアスペクト・評価極性は異っており，レビュー A は（配送，肯定），Bは（梱包，否定）が適切なアノテーションである．
表 1 店舗レビューで言及されるアスペクト

 \\

表 2 アノテーションの対象とした店舗レビューの統計

表 3 店舗レビュー 1,510 件（5,277 文）中に言及されるアスペクトの評価極性の分布

5,277 文における各アスペクトおよびそれらの評価極性の分布を表 3 に示す. 1 文に対して複数のアスペクト，評価極性が付与されることがあるため実際の文数よりもアノテーションの件数は多くなっている。連絡，店舗，再購入，情報，商品価格など多くのアスペクトで評価極性の分布に偏りが見られる。

## 3.2 分類モデルの構築

3.1 節で構築したアスペクトおよび評価極性がアノテートされたデータを使いアスペクト分類モデルおよび評価極性分類モデルを構築する。表 3 からわかるように，評価極性分類モデルの構築に十分な量の事例数が確保できないアスペクトがあるため, アスペクト分類および評価極性分類のモデル構築は独立に行った.

分類にあたり，文ごとに分類を行う文単体モデル，およびレビュー内の文に対する系列ラべリング問題とみなし，レビュー単位で各文の分類を行う文書モデルの 2 種類を考えた。文書モ

デルを設けた理由は，先述の「驚きました。」の例のように前後の文脈を利用しないとアスぺクト・評価極性の同定が難しい曖昧な文があるためである.

## 3.2.1 アスペクトの分類

より高い精度 (Precision) を得るため, 文単体モデルおよび文書モデルの両方を構築し, 両モデルにより推定されたアスペクトが同じ場合のみアスペクトを出力した。そのため，現状では 1 文に対して1つのアスペクトしか推定できない. 複数のアスペクトを推定する方法については今後検討する予定である。

文単体モデルおよび文書モデルでは以下に示す共通の素性を用いた.

単語素性： 品詞の大分類が名詞 ${ }^{2}$, 形容詞, 動詞, 感動詞, 副詞となる単語の原形を素性とした。ただし接尾辞が後続している場合は，「良心:的」のように当該単語と接尾辞を連結した. また当該単語の直前が接頭辞「未」「不」, もしくは次の単語素性になりえる語（最後方の語の場合は文末）との間に否定を表す語（「ない」「無い」「無し」，助動詞「ぬ」「ん」のいずれか）が存在する場合は，否定を表すフラグを付与し，肯定の場合と区別した. 例えば文「余計な梱包もなく、ごみも出なくて助かります。」からは「余計」「梱包【否定】「ごみ」「出る【否定】」「助かる」が単語素性として抽出される.

辞書素性： 人手で構築した辞書の要素と一致する形態素（列）が文中に含まれていれば，要素に対応するラベルを素性とする。表 4 に構築した辞書の例を示す.

表 4 アスペクト分類用辞書の例（全 171 件）

^{2} 4.2$ 節で述べるように形態素解析を MeCab, NAIST Japanese dictionary を利用して行っているが，その際に品詞の細分類が非自立のものは除いた。
}

## 3.2 .2 評価極性の分類

アスペクトが推定された文に対してのみ分類を行う，同じ評価極性の文が続けて現れやすい文脈一貫性 (那須川，金山 2004; Kanayama and Nasukawa 2006) を利用するため，評価極性の判定には文書モデルを採用した. 文単体モデルと併用しなかった理由は, 4.2 節で示すように文書モデルだけである程度の精度が達成できたこと, および全体としてのカバレージがさらに下がることを避けるためである。評価極性の分類には以下の素性を用いた.

単語素性：アスペクト分類と同じ。

接続詞素性： 逆接の関係を表す接続詞「でも」「しかし」「だけど」で文が始まっているかどうか.これらの接続詞は，それ以前の文と評価極性が反転することがあるために素性として扱った. (那須川, 金山 2004; Kanayama and Nasukawa 2006; 乾, 梅澤, 山本 2013).

評価極性素性： 文内に含まれる肯定的な語, 否定的な語の数.

評価極性素性を抽出するにあたり，次の方法で単語に対してポジティブ，もしくはネガティブの度合いを計算した。まず 2016 年に楽天に投稿された店舗レビューの中から， 5 文以上含む高評価，低評価レビューを無作為に 5 万件ずつ集めた. 文分割方法および高評価，低評価の判定方法は 2 節と同じである。次に集められたレビューから単語素性と同様の方法で単語を抽出し，各語について高評価レビュー中での文書頻度 $d f_{p o s}$, 低評価レビュー中での文書頻度 $d f_{n e g}$ を算出した. そして, $d f_{p o s}>d f_{n e g}$ であれば肯定的, それ以外は否定的として各語の評価極性を決定した.この時, $d f_{p o s}$ と $d f_{n e g}$ の和が 100 未満のものは低頻度語として見なし削除した. この結果, 806 表現が肯定的, 2,102 表現が否定的として判定された. 得られた肯定的な語, 否定的な語の一部を表 5 に示す。表を見ると「ゴム（肯定的）」や「始める（否定的）」のように直感的でない事例も確認できるが，評価極性素性としては各単語の出現をそのまま用いるのではなく, 各評価極性に分類される語の頻度を集計してから用いているため，このような直感的でない事例による影響は小さいと考えられる。

表 5 肯定, 否定に分類された表現の例

## 4 実験

本節では, 3.1 節で構築したアノテーションデータの評価, 3.2 .1 節, 3.2 .2 節で述べた分類手法の性能について報告する.

## $4.1 \kappa$ 統計量に基づくアノテーションの評価

3.1 節で述べたアノテーション済の 1,510 件のレビューから高評価レビュー 100 件, 低評価レビュー 100 件を無作為に選びだし，別の作業者に改めてアスペクトおよび評価極性のアノテー ションを依頼した。この 200 件のレビューには 752 文含まれていた。作業者には 2 節の調査に用いたレビュー 100 件を使って事前に訓練してからアノテーションに取り組んでもらった。今回の作業者を $\mathrm{A} ， 1,510$ 件のレビューに対してアノテーションを実施した作業者を $\mathrm{B}$ とすると，作業者 A が 752 文に対して付与したラベル（アスペクトとその評価極性）の異なり数は 169 , 作業者 B は 168 であった ${ }^{3}$.またどちらの作業者にも共通するラベルの異なり数は 98 であった.

$\kappa$ 統計量 (Landis and Koch 1977) を計算する際, 複数のラベルがアノテートされている文については, 作業者間で全てのラベルが一致しているかどうかをチェックした. その結果, 作業者間の $\kappa$ 統計量は 0.562 であった. これは moderate agreementとされる値である.

## 4.2 アスペクト分類および極性判定の評価

3.1 節で作成したデータをもとに 10 分割交差検定を行い分類手法の性能を評価した。評価の際，アスペクト「システム」および「決済方法」は事例数が少ないため学習が困難と判断し，「その他」として扱った．文単体モデルの学習には opal 4 を，文書モデルの学習には CRFsuite ${ }^{5}$ 用いた. opal で学習する際は 2 次の多項式カーネルを用い，他のパラメータはデフォルトを利用し，CRFsuiteでの学習は全てデフォルトのパラメータを利用した。素性を抽出する際は前処理として MeCab およびNAIST Japanese Dictionary7を使って文を形態素解析した.

モデルを学習する際, 複数のアスペクト, 評価極性がアノテートされた文は, その全てのアスペクト・評価極性の訓練事例とした。例えば，図 2 は複数のアスペクトを持つ文を含むレビュー の例である．文単体モデルでは $\mathrm{s}_{3}$ を配送，梱包の事例として扱った。一方で文書モデルの場合は, 系列「その他 $\rightarrow$ 商品 $\rightarrow$ 配送 $\rightarrow$ 再購入」「その他 $\rightarrow$ 商品 $\rightarrow$ 梱包 $\rightarrow$ 再購入」を学習デー夕として利用した 8 .

評価極性判定を考慮したアスペクト分類の評価結果を表 6 ，アスペクト分類単体の評価結果を表 7 ，極性判定単体の評価結果を表 8 にそれぞれ示す。複数の正解ラベルを持つ文がある一方で，3.2.1 節で述べたように提案手法は 1 つの文に対して 1 つのアスペクト, 評価極性しか出力できない. そこで部分一致を考慮するために, 各表の精度 $P$, 再現率 $R$ を以下の方法により求め, $\mathbf{F}_{1}$ 値は以下の式において $\beta=1$ として計算した.

$
\begin{aligned}
& P=\frac{\text { 提案手法がラベル } l \text { を出力した際, 正解ラベルの集合に } l \text { が含まれていた文の数 }}{\text { 提案手法が } l \text { を出力した文の数 }} \\
& R=\frac{\text { 提案手法がラベル } l \text { を出力した際, 正解ラべルの集合に } l \text { が含まれていた文の数 }}{l \text { を正解ラベルの集合に含む文の数 }}
\end{aligned}
$

 & & & & & & & $\sqrt{ }$ \\
$\mathbf{s}_{\mathbf{2}}$ & & & $\sqrt{ }$ & & & & \\
$\mathbf{s}_{3}$ 発送が迅速で、梱包が綺麗でした。 & $\sqrt{ }$ & & & & & \\

図 2 複数のアスペクトが付与された文の例

表 6 アスペクト分類（評価極性判定込み）の評価結果

斜体はデータセット中での事例数が 100 件未満のものを意味する.
表 7 アスペクト分類のみの評価結果

表 8 評価極性判定のみの評価結果

$
F_{\beta}=\left(1+\beta^{2}\right) \times \frac{P \times R}{\left(\beta^{2} \times P\right)+R}
$

ここでラベル $l$ は評価極性付きアスペクト，アスペクト単体，評価極性単体のいずれかである.表 6 , 表 8 より, 肯定, 否定に比べ中立の性能が低いことがわかる. 表 6 では事例数が 100 件未満のものを斜体で表示しており，これを見ると訓練事例数が少ないアスペクトが多く，これらは性能が低いことがわかる。このことが他の評価極性に比べて性能が低い理由と考えられる。 また表 6 , 表 7 より，アスペクト「商品」「その他」に関して性能が低いことがわかる。これは (1)そもそも店舗レビューは店舗について記述することが前提となっているため商品に関する記述が少ない, (2) 楽天では多種多様な商品が販売されており, それらをカバーするだけの商品に関する十分な量のテキストが学習データに含まれていないためと考えられる．「その他」についても様々な事柄について言及した文がこのアスペクトに分類されており, そのバリエーションの多さゆえに十分学習できておらず性能が低くなったと考えられる。

3.2.1節で述べたように，より高い精度を得るために，文単体モデルおよび文書モデルの両方の出力が一致した場合のみ，推定されたアスペクトを出力している。これが実際にどの程度の効果があるのかを確認した．表 9 に各モデル単体での性能および組み合わせた場合の性能を示す. $\mathrm{F}_{1}$ 值に加え, 精度を重視した尺度である $\mathrm{F}_{0.5}$ 值もあわせて示した. 全てのアスペクトにおいて，両モデルを組み合わせて用いることで精度を改善できていることが表よりわかる。より具体的には，組み合わせることで，再現率がマクロ平均で $8.6 \%$, マイクロ平均で $9.1 \%$そぞれ下がるが，それと引き換えに精度をマクロ平均で $7.4 \%$, マイクロ平均で $8.2 \%$ 改善できている.
表 9 文単体モデルおよび文書モデルの評価結果

 \\

図 3 評価極性判定を極端に誤った文の例

また $\mathrm{F}_{0.5}$ 值の値も，マクロ平均，マイクロ平均ともに改善されていることがわかる.

評価極性判定の精度については表 8 に示したとおりであるが，実応用を考えた時，肯定的な文を誤って否定的に分類してしまうケース，もしくはその反対のケースは致命的なエラーとなる。そこでこのような事例数がどの程度あるか調査した，具体的には，評価極性が 1 つみアノテーションされた 4,789 文を対象に両ケースの事例数を調べた。その結果, 肯定を誤って否定と判定してしまった件数は 99 件 $(2.1 \%)$, その反対のケースは 52 件 $(1.1 \%)$ であった。これより評価極性判定を極端に誤るような致命的なエラーはほとんど起きていないことがわかる。図 3 に判定を極端に誤った文の例を示す。店舗が好意で行った特別な梱包方法に対し，「送れない」 などの表現が引き金となって評価極性判定を誤ったと考えられる.

## 5 考察

5.1 節では 3.1 節で設計したアスペクトの妥当性について考察する．続いて，アスペクト「商品」「その他」の分類において, そのバリエーションの多さゆえに現状の学習デー夕量では不十分であることが示唆される結果が評価実験により得られたため, アスペクト分類の性能と学習データの量について調査した. 5.2 節ではこの結果について述べる. 5.3 節では, 前節で行った実験によりアスペクト分類の方が評価極性分類に比べ性能が低いことがわかったため，アスぺクト分類の誤り分析について報告する.

## 5.1 設計したアスペクトの分析

表 3 を見ると， 7,113 件のアノテーションのうち， 6,416 件が「その他」以外の 13 個のアスペ

果から，店舗レビュー中の大多数の文に対して「その他」以外のアスペクトが付与されていることがわかり，これは定義したアスペクトが店舗レビューに記載された内容を代表するものになっていることを示唆していると考えられる.

「決済方法」は，2節の調查では見つからなかったが，決済方法に関する評価観点が店舗レビューのメタデータに含まれているため追加したものである. 1,510 件の店舗レビューを対象にアノテーションを実施したところ,「決済方法」が付与された文数は 9 件であり, 楽天のレビュー においてメタデータとして特別扱いされているものの，それに関する記述はレビュー内にはほとんどないことがわかる。このことから，少なくとも楽天の店舗レビューにおいては，「決済方法」に関しては自由記述部分よりもメタデータを用いて分析する方が良いことがわかる.

類似の既存研究と比較すると, レビューではないが, 大野ら (大野, 楠村, 土方, 西田 2005) が，ネットオークションサイトの出品者に対する評価コメントを調査し 13 種類のアスペクトを定義している。これには「配送」「梱包」「連絡」「商品」「対応」など今回我々が設計したアスペクトとの重なりも見られる一方で,「お礼」「挨拶」「謝罪」「入金」「出品者」など評価コメント特有と考えられるアスペクトも含まれている，反対に，我々が設計した「店舗」「商品の在庫種類」「キャンセル・返品」「情報」「商品価格」「システム」「決済方法」は，大野らのアスペクトの定義に類似したものはなく, 店舗レビューに特有のものであると考えられる。これらのアスペクトが付与された文は全体（5,277 文）の $34.6 \%$ に相当する 1,826 文あり, 店舗レビューのアスペクトとして重要であることがわかる.

## 5.2 アスペクト分類の学習曲線

4.2 節の実験より，アスペクト「商品」「その他」の分類については記述内容のバリエーションが多く, 現状の学習データでは量が不足しているため性能が低い可能性が示唆された. 本節

図 4 アスペクト分類の学習曲線

では，これを確認するため「商品」「その他」について学習データの量を変えながら，性能がどのように変化するのかを確認する。具体的には，1,510 件の評価データセットから無作為に選び出した 510 件を評価用データ, 残りの 1,000 件を学習用データとし, 学習データに用いるレビューの数を 100 件ずつ増やした時の $\mathrm{F}_{1}$ 値を調査した.

調査の結果得られた学習曲線を図 4 に示す。図には「商品」「その他」に加え, これらと事例数が近い「店舗」および「再購入」の結果, さらに参考として全体（マクロ平均）の $\mathrm{F}_{1}$ 値の推移も含めた．図よりアスペクト「商品」「その他」は，「店舗」「再購入」に比べ，事例数が近いにも関わらず性能が低いことがわかる。これは「店舗」「再購入」に比べ「商品」「その他」は事例のバラつきが多く，難しい分類問題になっていることが原因と考えられる。また「商品」「その他」「全体」を見ると，学習に用いる事例数を増やすことで性能の改善が見られる．改善の幅は緩やかであるが，分類に用いる素性の工夫や複雑なモデルを用いるなどすることでその幅を大きくすることが期待できる.

## 5.3 アスペクト分類の誤り分析

無作為に選んだ 1,358 件のレビュー（4,740 文）で学習を行い，残り 152 件（537 文）をアスペクト分類した際の誤りについて分析した。，分析の対象となった事例は 63 件であり，各事例には 1 つ以上のエラータイプを付与した.

分析の結果を表 10 に示す. 最も数が多かったタイプは「分類に必要な素性が得られていない」で 42 件あった。例えば「欲しい色とサイズもあって、良かったです。」は「商品の在庫・
表 10 エラーのタイプおよびその事例数

種類」に分類されるべきであるが，提案手法は「商品」に分類していた．抽出された素性と各アスペクトの関連を調べたところ,「商品」と関連の強い素性が多く,「商品の在庫・種類」と関連のある素性はなかった。また商品に関する記述を含む文はアスペクト「商品」と関連の強い素性が抽出されていない傾向にあった。これは, 楽天で多様な商品を扱っていること, 店舗レビューの性質上，商品に関する記述はメインでないことから十分な量の訓練事例が得られていないためと考えられる。「商品」以外では「親戚宅への訪問土産に購入しました。」のような購入背景，「重さのあるものも家の玄関に届くのでとっても助かっています。」のような感想を述べた文もこのタイプのエラーに分類された。購入背景や感想はユーザによって様々であるため，これらを正しく分類するためには，学習データを増やすほか，これらを認識するモデルを別途用意するなどの対応が考えられる.

次に多かったタイプは「文単体では分類が難しい」であり， 21 件が該当した。例えば文「あきれます。」は商品にも店舗にも当てはまる表現であり，この文を正しいアスペクトに分類するためには，この文の前後にどのような記述があるのかを捉える必要がある．現状では文単体モデル，文書モデルともに明確な素性として前後の文脈の内容を用いていない。このタイプのエラーを減らすには，何らかの方法で前後の文脈を取り込む素性が必要になる。

また「アノテーションの誤り」も確認された。例えば文「別に目立つほど悪い点は無かったです。」は「その他」が付与されていたが，提案手法は「商品」に分類していた. レビューを確認するとこれは商品についての記述であり「商品」が付与されることが妥当である。このようなエラーを減らすには複数人のアノテータにアノテーションを依頼し多数決をとる，または分類基準を精緻にするなどが考えられる。

## 6 関連研究

従来より評判分析は多くの研究がなされてきており (乾, 奥村 2006; Pang and Lee 2008), その対象はレビューのみならず，新聞記事，ブログ，Twitter などのマイクロブログと様々である (関 2013).レビューを対象とした評判分析研究では, 映画 (Pang, Lee, and Vaithyanathan 2002), 宿泊施設 (Wang, Lu, and Zhai 2010), 商品 (Ding, Liu, and Yu 2008) に対して書かれたレ

ビューに基づくデータセットが利用されている。また, 意味解析に関する国際的評価型プロジェクト SemEvalにおいて 2014 年より毎年実施されている Aspect Based Sentiment Analysis においてもデータセットが提供されており, その内容はノートパソコン, マウス, レストラン, デジタルカメラなど 7 種類の対象について英語, 中国語, ドイツ語など 8 言語で書かれたレビュー である (Pontiki, Galanis, Papageorgiou, Androutsopoulos, Manandhar, AL-Smadi, Al-Ayyoub, Zhao, Bing, Clercq, Hoste, Apidianaki, Tannier, Loukachevitch, Kotelnikov, Bel, Jimenez-Zafra, and Eryigit 2016). オンラインショッピングサイトを利用して商品を購入する際, 商品レビュー に加えて「どの店舗から購入するのか」も重要な指針の 1 つであるが，店舗の評判が記載されたレビューに基づくデータセットはない.

日本語で書かれたレビューを対象にした研究では Ando ら (Ando and Ishizaki 2012), 浅野ら (浅野, 乾, 山本 2014), Tsunoda ら (Tsunoda, Inui, and Sekine 2015) が宿泊施設レビューを対象に，記述されているアスペクトの調査や，特定のタスクを対象とした宿泊施設に関するアスペクトの設計を行っている. 安藤ら (安藤, 関根 2013) は商品レビューを対象に, そこに記述されている内容を調査し， 23 種類のアスペクトが書かれていると報告している。また，レビュー ではないが, Kobayashi ら (Kobayashi, Inui, and Matsumoto 2007) はレストラン, 車, 携帯電話，ゲームについて書かれたブログを対象に，アスペクトを含む 7 種類の情報を付与した意見タグ付きコーパスを構築している。 大野ら (大野他 2005) は, ネットオークションサイトの出品者に対する評価コメントの要約を目的に, コメントの記述内容を調査し 13 種類のアスペクトを定義している．いずれの研究もレビューやブログ，オークション出品者に対する評価コメントに記載されているアスペクトの調查や, その（自動）分類という点で本研究と類似しているが, 対象が宿泊施設, 商品・製品, レストラン, オークション出品者であり本研究で対象とした店舗ではない.

従来よりアスペクト分類に関する研究は数多く行われている。例えば先述した SemEval ではアスペクト分類およびその評価極性の判定というタスクが設定されており，対象は異なるものの解こうとしている問題は同じである。今回の分類手法はごく単純なものであるため, 既存研究の成果 (例えば論文(Wang, Huang, Zhu, and Zhao 2016) 等) を取り入れることで今よりも高い精度で分類を行える可能性がある.

山下ら (山下, 東野 2016) は商品レビューを商品について記述したものと, 店舗について記述したものに分類する手法を提案している。このような分類を行う背景には, 商品レビューにも関わらず店舗について記述したレビューの存在があり，これらは純粋に商品について知りたいユーザや，商品に関する評判を抽出したいサイト運営者にとってノイズとなるため自動検出したいという要望がある. 同様に新里ら (新里, 益子, 関根 2015)の研究においても, 商品の使用感を記述した文を抽出する際に，商品レビュー中に存在する店舗に関しての言及が問題となることが報告されている。 そのため, 商品レビューに対して事前に今回構築したアスペクト分類

モデルを適用することで，商品に関する記述だけを精度良く集めることが可能になり，これらの研究の改善が見达める.

評判分析システムに関する研究として富田らの研究がある (富田, 松尾, 福田, 山本 2012).彼らのシステムはブログを対象に評判分析を行い，任意のキーワードに対する評判を整理してユーザに提示するものである。評判抽出の際は係り受け解析を行い，アスペクトに相当する単語と，その係り先になっている単語の組を評判として抽出する。そのため, 係り受け解析に失敗した場合や，文をまたいで評判が記述されている場合は評判を抽出できない．我々の手法は文を単位にアスペクト分類を行っており，その際は当該文から得られる情報だけでなく，同一レビュー内の他の文から得られるアスペクトの遷移情報も用いている。このため, 当該文内にアスペクトに相当する語が含まれていない場合であっても正しく分類することが可能である。また, 係り受け解析を用いていないため, 係り受け解析に失敗するような長文や構文的に複雑な文であっても正しく分類できる可能性がある。しかしながら，富田らのシステムは 1 文から複数の評判を抽出することができるのに対し, 我々の手法は 1 つの文を複数のアスペクトに分類することができないという久点もある.

## 7 店舗レビュー分析システム

これまでに述べた技術を用いて店舗レビュー分析システムを開発した。本節ではシステムの概要, およびその性能について報告する。

## 7.1 システムの概要

開発した店舗レビュー分析システムの実行例を図 5 に示す。分析を行いたい店舗名およびアスペクトをクエリとしてユーザより受け取ると，システムは条件に一致するレビューをその評価極性分類結果と共に出力する。過去 2 年分の店舗レビューおよびその分類結果を Apache Solr9を用いてインデキシングしており，任意の店舗名およびアスペクト・評価極性（肯定, 否定）の組み合わせに対して分類結果を検索できるようになっている.

画面右側には, 分類結果に基づく肯定的レビュー, 否定的レビューの割合の時系列変化がグラフで表示される．グラフ中の実線は肯定的，破線は否定的なレビューの変化をそれぞれ表しており, 線の太さは細いものが 1 週間分の, 太いものが 3 ヶ月分の変化の単純移動平均を示している。このグラフを確認することで，ユーザの調べたいアスペクトに関する評判の推移が簡単に把握できるようになっている. 例えば図の場合, 一時期配送に関する否定的なレビューが増大したが，現在は収束していることが読み取れる。
^{9}$ http://lucene.apache.org/solr/
}

図 5 店舗レビュー分析システムの実行例（クエリとして与えた店舗名およびレビューを投稿したユー ザ名は伏せてある). 画面右には, 自動分析結果に基づきグラフ化した肯定的レビュー, 否定的レビューの割合の時系列変化が表示される。画面左にはクエリとして与えられたアスペクトに分類された肯定的，否定的な文を含むレビューの一覧が表示される．画面では「配送」に関する肯定的な文を含むレビューのリストが表示されている.

一方，画面左側にはクエリに一致する店舗レビューのリストが，肯定，否定に分かれて表示される，肯定，否定の切り替えはリスト上部のタブをクリックすることでできる．図では肯定的なレビューが表示されており, クエリとして与えられたアスぺクトかつ肯定的と自動的に分類された文がハイライトされている。これにより，ユーザは任意のアスペクトについて具体的にどう良かったのか（またはどう悪かったのか）を簡単に調べることができる.

別の使い方として，ある店舗からの購入をやめた理由の検索が挙げられる，以下はある店舗に対して書かれたレビューのうち，再購入-否定に分類された文を含むものである.
- X月X日に注文しましたが、まだ届きません。/連絡もないし．．．/こんなに遅い通販て珍しいですね。/どこ頼んでも 2 ～ 3 日で届きます。/2度と注文しません。

・もう二度と購入しません。/間違えてすぐにショップにメールしたのに、発送してしまったとの事。/私が注文間違えた事に問題はありますが、キャンセル出来ないところでは購入しません。

太字は再購入-否定に分類された文, 下線の引かれた文・表現は購入をやめた理由について記述

しているものである。このような理由について記述した箇所を自動的に特定することは今後の課題であるが，現状のシステムを使って「再購入-否定」を含むレビューを検索することで，再購入しない理由を述べたレビューを効率よく集めることができる。このような再購入をやめた理由は運営サイト側にとって大変貴重なデータであり, 店舗やサービスの改善など，いろいろな場面で役立てることが可能である.

以上，ここで挙げた任意のアスペクト・評価極性について記述された文（を含むレビュー）の検索や，該当する文のハイライト機能，さらには検索結果に基づくレビューの活用は, 図 1 に示したレビューをユーザから得られる 5 段階評価のみで管理していては実現できない. 本稿で述べた手法を用いてレビュー本文を構造化することで初めてこれらが実現可能になる点を強調したい.

## 7.2 性能評価

店舗の良い点，悪い点を調べようとする際，従来はレビュー本文を 1 つずつユーザは読む必要があった. しかしながら, 図 5 に挙げたシステムを用いることで, ユーザは任意のアスペクト・評価極性について記述されたレビューに簡単にアクセスできるようになる。そこで，どのくらいの精度, 再現率で条件に一致するレビューにアクセスできるのかを調査した. 具体的には, 3.1 節で構築した学習データ中のそれぞれのレビューについて, 各文に付与されたアスペクト-評価極性のラベルを集約し，それをレビューに対するラベルと見なした，例えば，図 6 のレビューであれば，「配送-否定」「対応-肯定」をレビューに対するラベルと見なす.

実験結果を表 11 に示す. 表のマイクロ平均を見ると, 否定的なものに比べ, 肯定的なアスペクトを含むレビューをより高い精度で収集できることがわかる。一方で，マクロ平均に関しては，「キャンセル・返品-肯定」に関して性能が出ていないため，否定的なアスペクトを含むレビューの分類の方が $\mathrm{F}_{1}$ 值で高い結果となった. また表 6 の文単位での評価結果と比べると, 精度の改善に比べ，再現率の改善の方が大きい.これはラベルを集約した結果, 同一の評価極性付きアスペクトを複数含むレビューにおいて，そのいずれか 1 つを分類することができれば良くなったためであると考えられる.

 & & & & \\

図 6 店舗レビューの例. 各文についたラベルを集約し,「配送-否定」,「対応-肯定」をこのレビューに対するラベルと見なす.
表 11 レビュー単位で評価した場合の評価結果

## 8 おわりに

本稿では，オンラインショッピングサイト出店者（店舗）に対するレビュー中の各文を, 記述されている内容（アスペクト）およびその評価極性（肯定, 否定）に応じて分類するシステムについて述べた。店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでなかったため，まず無作為に選び出した店舗レビュー 100 件（487文）を対象に，各文がどのようなアスぺクトについて書かれているのか調査した。その結果, 配送や梱包など 14 種類のアスペクトについて書かれていることがわかった。このうち, 店舗とのやり取り, 店舗に対する評価, 再度購入したいと思ったかどうか, キャンセル・返品時の対応などは, 店舗レビューがもともとメタデータとして持っているアスペクトには含まれていないものであり, 自由記述部分には店舗に対するより詳細な評価が含まれていることがわかった.

次いでこの調査結果に基づき，新しく選び出した 1,510 件の店舗レビュー（5,277 文）に対して人手でアスペクトおよびその評価極性のアノテーションを行い, 既存の機械学習ライブラリを用いてレビュー内の文をアスペクトおよびその評価極性に分類する店舗レビュー分析システムを開発した. システムを用いることで肯定的レビュー，否定的レビューの割合の時系列変化を確認できたり，任意のアスペクト，評価極性に分類された文，およびそれらを含むレビュー へ簡単にアクセスすることが可能となる。このような利便性の向上はオンラインショッピングサイトのユーザのみならず，運営側にとっても店舗の対応をモニタリングする上で大変有用であり，社内ツールとしての運用に向けて関係部署と現在調整中である.
以下，今後の課題について述べる。現在の手法では 1 文に対して 1 つのアスペクト, 評価極性しか推定できないが，実際には複数のアスペクトおよび評価極性をもつ文が無視できない数あった，そのため，複数のアスペクト，評価極性を推定できるように分類手法を拡張する必要がある。またエラー分析の結果，アスペクト分類に必要な素性が抽出できていない場合が多いこともわかった。そのため，素性に関して再検討することも今後の課題である. さらに分析システムという観点から考えると, 分類結果の効果的な表示方法についても検討する必要がある.分類結果をどのように表示すればより良いのかはその利用方法と関連が深いため，今後システムの利用を想定している関係部署のメンバーと表示方法について検討していく必要があるであろう。

## 参考文献

Ando, M. and Ishizaki, S. (2012). "Analysis of Travel Review Data from Reader's Point of View." In Proceedings of the 3rd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis, pp. 47-51.

安藤まや, 関根聡 (2013). レビューには何が書かれているのか？ ALAGIN \& NLP 若手の会合同シンポジウム.

浅野翔太, 乾孝司, 山本幹雄 (2014). 談話役割に基づくクラス制約規則を利用したレビュー文

の意見分類. 言語処理学会第 20 回年次大会発表論文集, pp. 880-883.

Ding, X., Liu, B., and Yu, P. S. (2008). "A Holistic Lexicon-based Approach to Opinion Min-

ing." In Proceedings of the 2008 International Conference on Web Search and Data Mining, pp. 231-240.

乾孝司, 奥村学 (2006). テキストを対象とした評価情報の分析に関する研究動向. 自然言語処

理, 13 (3), pp. 201-241.

乾孝司, 梅澤佑介，山本幹雄 (2013). 評価表現と文脈一貫性を利用した教師デー夕自動生成によるクレーム検出. 自然言語処理, 20 (5), pp. 683-706.

Kanayama, H. and Nasukawa, T. (2006). "Fully Automatic Lexicon Expansion for Domainoriented Sentiment Analysis." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 355-363.

Kobayashi, N., Inui, K., and Matsumoto, Y. (2007). "Extracting Aspect-Evaluation and AspectOf Relations in Opinion Mining." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 1065-1074.

Landis, R. and Koch, G. (1977). "The Measurement of Observer Agreement for Categorical

Data." Biometrics, 33 (1), pp. 159-174.

那須川哲哉, 金山博 (2004). 文脈一貫性を利用した極性付評価表現の語彙獲得. 情報処理学会研究報告, pp. 109-116.

大野華子, 楠村幸貴, 土方嘉徳, 西田正吾 (2005). 社会的関係を用いたネットオークションの評

価コメントの自動要約. 電子情報通信学会論文誌. D, 情報・システム, $88(3), p p .668-683$.

Pang, B. and Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval.

Pang, B., Lee, L., and Vaithyanathan, S. (2002). "Thumbs Up? Sentiment Classification using Machine Learning Techniques." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 76-86.

Pontiki, M., Galanis, D., Papageorgiou, H., Androutsopoulos, I., Manandhar, S., AL-Smadi, M., Al-Ayyoub, M., Zhao, Y., Bing, Q., Clercq, O. D., Hoste, V., Apidianaki, M., Tannier, X., Loukachevitch, N., Kotelnikov, E., Bel, N., Jimenez-Zafra, S. M., and Eryigit, G. (2016). "SemEval-2014 Task 5: Aspect based Sentiment Analysis." In Proceedings of the 10th International Workshop on Semantic Evaluation, pp. 19-30.

関洋平 (2013). 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース, 6 (4), pp. 85-103.

新里圭司, 益子宗, 関根聡 (2015). オノマトぺを利用した商品の使用感の自動抽出. 情報処理学

会論文誌, 56 (4), pp. 1305-1316.

富田準二, 松尾義博, 福田浩章, 山本喜一 (2012). 大規模デー夕を対象とした文書情報集約デー タベースと評判分析サービスにおける検証. 電子情報通信学会論文誌. D, 情報・システム, 95 (2), pp. 250-263.

Tsunoda, T., Inui, T., and Sekine, S. (2015). "Utilizing Review Analysis to Suggest Product Advertisement Improvements." In Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, pp. 41-50.

Wang, H., Lu, Y., and Zhai, C. (2010). "Latent Aspect Rating Analysis on Review Text Data: A Rating Regression Approach." In Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 783-792.

Wang, Y., Huang, M., Zhu, Z., and Zhao, L. (2016). "Attention-based LSTM for Aspect-level Sentiment Classification." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 606-615.

山下達雄, 東野進一 (2016). 商品レビューに含まれるストア言及の抽出. 情報処理学会第 78 回全国大会講演論文集.

## 略歴

新里圭司：2006 年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (情報科学). 京都大学大学院情報学研究科特任助教, 特定研究員を経て，2011 年から楽天技術研究所. 自然言語処理, 特に, 知識獲得, 情報抽出, 評判分析の研究に従事.

小山田由紀 : 2017 年東京女子大学人間科学研究科人間文化科学専攻現代日本語.日本語教育分野博士前期課程修了. 修士 (人間文化科学). 楽天技術研究所で自然言語処理のためのアノテーション業務に従事.

(2017 年 5 月 22 日受付)

(2017 年 8 月 8 日再受付)

(2017年 9 月 20 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# やさしい日本語ニュースの制作支援システム

田中 英輝 $\dagger \cdot$ 熊野 正 $^{\dagger} \cdot$ 後藤 功雄 $\dagger \cdot$ 美野 秀弥 $^{\dagger}$

NHK はインターネットサイト NEWS WEB EASY で外国人を対象としたやさしい 日本語のニュースを提供している。やさしい日本語のニュースは日本語教師と記者 の 2 名が通常のニュースを共同でやさしく書き換えて制作し，本文にはふりがな，難しい語への辞書といった読解補助情報が付与されている。本稿では NEWS WEB EASY のやさしい日本語の書き換え原則, および制作の体制とプロセスの概要と課題を説明した後, 課題に対処するために開発した 2 つのエディタを説明する. 1 つ は書き換えを支援する「書き換えエデイ夕」である。書き換えエデイ夕は先行のシ ステムと同様に難しい語を指摘し，書き換え候補を提示する機能を持つが， 2 名以上の共同作業を支援する点, 難しい語の指摘機能に学習機能を持つ点, また, 候補 の提示に書き換え事例を蓄積して利用する点に特徴がある。他の 1 つは「読解補助情報エデイ夕」である。読解補助情報エデイ夕は, ふりがなや辞書情報を自動推定 する機能, さらに推定誤りの修正結果を学習する機能を持つ. 以上のように 2 つの エディ夕は, 自動学習と用例の利用により, 読解補助情報の推定の誤り, やさしい 日本語の書き方の方針変更などに日々の運用の中で自律的に対応できるようになっ ている. 本稿では 2 つのエディタの詳細説明の後, 日本語教師および記者を対象に 実施したアンケート調査，およびログ解析によりエディタの有効性を示す.

キーワード: やさしい日本語, NEWS WEB EASY, 書き換え支援システム, 機械学習
## Rewrite Support System for Simplifying Japanese News Scripts

\author{
Hideki Tanaka ${ }^{\dagger}$, Tadashi $\mathrm{Kumano}^{\dagger}$, Isao Goto ${ }^{\dagger}$ and Hideya Mino ${ }^{\dagger}$
}

NHK launched a simplified Japanese news service on the Internet (NEWS WEB EASY) in April 2012 to improve news accessibility for foreign residents in Japan. Simplified news scripts are compiled daily by a Japanese language instructor and a news reporter working together using a custom news rewrite support system comprising a rewrite support editor and a reading support information editor. The rewrite support editor identifies difficult expressions and proposes simpler alternatives with similar expression search function, and the reading support information editor helps the Japanese language instructor add auxiliary information such as furigana and glossary information to the simplified news scripts. Both functions feature learning mechanisms that improve the precision of news simplification. This news rewrite support

system has been in daily use since 2012. A questionnaire evaluation administered to the Japanese instructors and reporters who produce NEWS WEB EASY showed that they highly evaluated both editors. Analysis of the rewrite support editor's $\log$ revealed that the difficult word rate and sentence length in the rewritten news were less than in the original and were similar across rewriters.

Key Words: Simplified Japanese, NEWS WEB EASY, Japanese Text Simplification Support System, Machine Learning

## 1 はじめに

法務省の統計によれば日本の在留外国人数は第 2 次世界大戦以後，基本的に増加傾向にあり 2016 年 12 月には 238 万人，総人口の約 $1.9 \%$ 占めるに至っている．外国人の比率は欧米諸国と比較して必ずしも高いとは言えないが，東京都新宿区では外国人の比率が $10 \% を$ 超えるなど，日本でも大都市部などで欧米諸国並みの集中が発生している。日本人 ${ }^{1}$ と同等に日本語が使える国内在住の外国人は少数であり，彼らへの適切な情報提供は大きな課題となっている.

外国人へはそれぞれの母語で情報を提供するのが理想である．実際，母語を使ったサービスはすでに多言語サービスの中で一部実現されており，例えばNHK は現在国内向けに 5 言語でニュースを放送している ${ }^{2}$. しかし母語での情報提供は 10 言語程度にとどまることが多く, 国内の外国人の出身国数が 190 に達する状況に対応するには十分とは言えない。とはいえ外国人の全員をカバーするには膨大な数の翻訳が必要となり，コストや労力の大きさから実現は難しい (河原, 野山 2007).

そこで母語ではなく，外国人に分かりやすい「やさしい日本語」で情報を伝えようという考え方が提唱されている (佐藤 2004; 庵, 岩田, 森 2009). その背景には, やさしい日本語を理解できる外国人が多いこと (岩田 2010), 外国人の中からも母語の他にやさしい日本語による情報提供を望む声が上がっていることなどがある (米倉, 谷 2012).

以上の背景の中，NHKは一般のニュースをやさしい日本語で提供できれば，外国人への有用な情報提供になると考えて研究を進め, 2012 年 4 月から Webでのサービス「NEWS WEB EASY」3を開始した，外国人に日本語でニュースを提供しようとする NEWS WEB EASYと同様のサービスは当時例がなく，著者らはまずやさしい日本語の作り方の原則を決め, Webで提供する内容を決めた。また書き換え作業にはやさしい日本語とニュース編集の知識が必要なことから日本語教師と記者の共同で進めることにした.
^{3}$ http://www3.nhk.or.jp/news/easy/index.html
}
方針の決定と並行して，日々の作業を円滑に進めるための支援システムを開発することにしたが，先行事例がそしく明確にその仕様を決めることはできなかった。そこでプロトタイピングの手法 (Pressman 2005) を採用し，とりあえず有効と思われる機能をできるだけ早く実装し，作業者の要望に応じて改善を加えることにした，以上の過程で作成したのが，日本語教師と記者の共同のニュースの書き換えを支援する「書き換えエデイタ」と，ふりがな，辞書情報などを付与するための「読解補助情報エディ夕」である．本稿では 2 つのエディ夕を総称してやさしい日本語のニュースの「制作支援システム」と呼ぶ.

NHK では制作支援システムのプロトタイプを 2012 年 4 月からの 1 年の公開実験期間中に利用し，不具合の修正，改良を加えた。そして書き換え作業が安定し，改修すべき項目が明らかになった 2013 年 9 月に本運用システムの開発を始め, 2014 年 6 月に新システムに移行した。このとき読解補助情報エディ夕に自動学習機能を加えたことにより, 6.3 節で詳述するように, 制作支援システム全体は日々のやさしい日本語のニュースの制作の中で自然と利便性が増すようになった。

やさしい日本語を使った情報提供は急速な広がりを見せている 4 。ほとんどの事例は佐藤らが公表している書き換え案文 5 や庵らの文法 (庵 2010,2011 ) など，いわゆる書物の知見を使ってほぼ人手で行われている。しかし今後やさしい日本語での情報提供を多様な人で効率的に進めるには，技術的な支援が必須になっていくと考えられる．実際，NEWS WEB EASY の制作フローを参考にしたやさしい日本語による自治体の情報提供のためのシステム開発が始まっている (庵 2016). 本稿は類似した開発の参考になると考えている.

以下，2 章ではやさしい日本語の書き換えの関連研究を概観し, 本研究の位置付けを示す. 3 章では NEWS WEB EASY のサービス画面には, やさしい日本語のニュースのテキストとふりがななどの読解補助情報の 2 つの構成要素があることを述べる．４章ではやさしい日本語の書き換え原則を概説し，当初の原則には網羅性の低さの問題があったことを指摘する．続く 5 章では制作の体制およびプロセスを報告し，特に，やさしい日本語の書き換え原則の網羅性の低さをカバーするため, NEWS WEB EASY の制作を記者と日本語教師の共同作業で実施する体制を採ったことを述べる。さらに 6 章では開発した「書き換えエディ夕」と「読解補助情報エディタ」を説明する，書き換えエディタは，記者と日本語教師の共同作業特有の問題，書き換え原則の不十分さに対処していることを述べる。また読解補助情報エディタは，ふりがななどの読解補助情報を自動で推定し，これを修正した結果を自動学習する機能を持つことを説明する. 続く 7 章では，制作に関わる記者および日本語教師全員に対して実施したアンケートと書き換えエディタのログの分析を通じて 2 つのエディタの効果を示す.

## 2 関連研究

やさしい日本語での情報提供にはさまざまなプロセスが必要だが, 本章ではその中心となるやさしい日本語への書き換えの関連研究, 特に最も関連が深い文書の平易化 (text simplification) の研究を概観する.

文書の平易化とは与えられた文書の基本的な意味は変えずに, 文法的, 語彙的な複雑さを減らす操作であり (Siddharthan 2003) これまで英語を主な対象としてさまざまな研究が展開されている (Shardlow 2014; Siddharthan 2014).

平易化の目的は大きく 2 つに分類できる．1つは自然言語処理システムの前処理に平易化を入れることで全体の性能を向上させる研究である. 平易化はさまざまな処理に応用されており,構文解析 (Jonnalagadda, Tari, Hakenberg, Baral, and Gonzalez 2009; Chandrasekar, Doran, and Srinivas 1996), 関係抽出 (Miwa, Sætre, Miyao, and Tsujii 2010)，意味役割付与 (Vickrey and Koller 2008) などの例を挙げることができる.

他の 1 つは言語の理解力が十分でない人の情報アクセシビリティの改善を目的とした研究である。失語症の人（英語） (Carroll, Minnen, Pearce, Canning, Devlin, and Tait 2009), 読み書き能力が不十分な人 (ブラジルポルトガル語) (Watanabe, Candido Jr., Uzêda, Fortes, Pardo, and Aluísio 2009), 知的障害のある人 (スペイン語) (Bott and Saggion 2012), 非母語話者（英語) (Siddharthan 2002)などを対象とした研究が行われている.

平易化の手段に目を向けてみると，研究の初期は使える言語資源や技術が限られていたことから, 経験則に基づいたルールで文書を変換する手法が主流であったが (Chandrasekar et al. 1996; Carroll et al. 2009; Siddharthan 2002), 近年 Simple English Wikipedia に代表されるやさしい言語で書かれた大きな言語資源が使えるようになってきたこと，単言語パラレルコーパスのアラインメント技術が進んできたこと (Barzilay and Elhadad 2003; Nelken and Shieber 2006) から, パラレルコーパスからデータ主導で自動書き換えシステムを構築する研究が進展している. 例えば, Coster and Kauchak (2011)は Wikipedia と Simple English Wikipedia を使ったパラレルコーパスを作成し, 統計翻訳ツールキット, Moses を使った統計的平易化システムを作成している.

次に，本稿と同じく日本語能力が十分でない人の情報アクセシビリティの改善を目的とした平易化の研究に目を転ずると 6 , 万う者を対象とした語彙・構文書き換えシステム (Inui, Fujita, Takahashi, and Iida 2003), 子供や日本語学習者への利用を目指した語彙変換システム (梶原,山本 2015) などがある。また英語ほどではないが, 近年パラレルコーパスが利用可能となったことから統計機械翻訳技術を使ったやさしい日本語自動変換システムも報告されている (松田

2010; Goto, Tanaka, and Kumano 2015; 熊野, 田中 2016).

以上で概観してきた研究は文書を自動的に平易化しようとするものであるが，人手による平易化作業を支援する研究もある。平易化の支援にも，自動平易化と同様に機械翻訳などの自然言語処理の前処理による性能向上 (Mitamura and Nyberg 2001) と人の情報アクセシビリティの改善を目的とした研究がある．以下では著者らと同じアクセシビリティの改善を目的としたシステムを概観したい。これまで提案されているシステムは 2 つ基本機能を持つ.

(1) 文書中の難しい部分を指摘する機能

(2) その書き換え候補を提示する機能

例えば伊藤, 鹿嶋, 前田, 水野, 御園生, 米田, 佐藤 (2008) は外国人のためのやさしい日本語文書の作成支援を目的とした書き換え支援システムを提案している．同システムには入力された文書中の難しい語を指摘し，代わりに使える語を提案する機能が実装されている．難しい語は形態素解析システムに事前に登録された難しい語彙を使って指摘し，やさしい語は, 別途収集したやさしい語彙と難しい語の類似度を使って提示する。 さらに長文，および使うべきでない文法的表現を指摘する機能を持っている.

ボーイング社は, 航空機の整備マニュアル用の Simplified English の基準に従った文書作成を支援する語彙と文法のチェッカーを開発している (Hoard, Wojcik, and Holzhauser 1992). Simplified Englishの読者には英語非母語話者が想定されている。また，語彙には強い制限があり，同じ概念に属する使える語と使えない語が辞書にまとめられている。チェッカーは辞書を使って，難しい語を指摘して代替候補を提示する.

以上, 自動平易化, 平易化支援についての研究を外観してきたが，ここで本稿の特徴をまとめたい。まず，本稿は NEWS WEB EASY というやさしい日本語のサービスを実現するためのより具体的，包括的な報告となっている点に特徴がある。実際本稿では，技術的な内容に先立ち， NEWS WEB EASY のためのやさしい日本語の特徵, Web で提供する全情報，および，NEWS WEB EASY の制作のために採用した体制と制作プロセスを説明し，制作支援システム構築の課題を明らかにする。そして，課題を反映して開発した「書き換えエディ夕」および「読解補助情報エディ夕」を報告する。一方, 上記一連の関連研究は, 自動平易化, あるいは平易化支援に関する個別の技術報告となっている。本稿のように具体的なサービスに関わった日本語の平易化の支援技術の報告は著者らの知る限り初めてである.

次に本稿の 2 つのエディタのうち書き換えエディタに着目する。書き換えエディ夕は平易化作業の支援という点で伊藤他 (2008), Hoard et al. (1992) と目的が同一であり, かつ前述の基本機能 (1) および (2) に基づく点が共通している. しかし以下の 3 点に違いがある.

1 点目は書き換えエディタの難しい語を指摘する機能に学習機能が備わっている点である．難しい語の指摘には語の難易度を使っており，難易度推定機能で語の難易度を自動認定する．難易度推定機能には学習機能があり，推定誤りを日々修正することで性能が自然に向上するよう

になっている7.

2 点目は書き換え候補を直接提示しない代わりに, 用例検索機能を持っている点である。すなわち書き換え候補は作業者が自動蓄積された書き換え元の記事とやさしい日本語の書き換えの用例を検索して自ら見い出すようになっている。用例検索を利用したのは著者らのやさしい日本語の書き換え原則が当初不十分で，ニュースの難しい表現とやさしい代替表現を事前に準備できなかったために採用した措置であるが，あらかじめ候補を用意する手法に比べると，運用により自然に用例の蓄積が進み, さまざまな表現が検索可能になる特徴がある.

3 点目は複数作業者の書き換えを支援する共同作業支援システムになっている点である. ニュー スの書き換えにはニュース原稿の編集の知識, および外国人の日本語能力の知識が必須なため,書き換え作業を日本語教師と，経験豊かな記者が共同で担当するようにした．そして 2 名の作業を支援するため，書き換えエディ夕は複数作業者の共同作業ができるようにした. さらに日本語教師と記者の専門性が異なる点に配慮して, 共同作業が円滑に行える仕組みを提供した.

なお上述の 3 点の特徴は NEWS WEB EASY の固有の状況を反映させたために生じている点を指摘しておく，詳細は次章以降に譲るが，固有の状況とは，当初の著者らの書き換え原則は先行事例に比べて不十分であったこと, 不十分さを補うため複数の専門家が共同作業する必要があったこと，網羅的な書き換え原則をあらかじめ用意することができず専門家が書き換えを通じて発展させていく方針を採用したことである。本稿の書き換えエディ夕は，先行研究が準拠する上述の 2 つの基本機能に NEWS WEB EASY の固有の状況を満足するため, 学習, 類似用例検索, 複数人での書き換え機能を組み合わせて統合したものと見ることができる.

## 3 NEWS WEB EASY の概要

本稿の制作支援システムで最終的に作成する NEWS WEB EASY のスクリーンショットを図 1 に示す8. NEWS WEB EASY は, NHK の通常のニュースページである NEWS WEB に揭載されたニュースをやさしい日本語に書き換えて作成する。画面の下部には情報の中心であるやさしい日本語に書き換えたニュースが揭載されている。やさしい日本語のニュースは次章で述べる書き換え原則に沿って作成するが，やさしく書き換えられず難しい表現が残ることがある. そこで難しい表現に対しては Webの機能を利用して読解を補助する情報を提供している. NEWS WEB EASYを Web で提供しているのは読解補助情報を提供しやすいという利点があるためであり (田中, 美野 2010), 具体的には以下を提供している.

$\cdot$ふりがな

図 1 NEWS WEB EASY の画面

漢字を読むことは外国人にとって特に難しい。そこで，すべての漢字にはふりがなを付けている.
- 辞書

すべての語をやさしくできるとは限らないため，難しい語に辞書の説明を表示するようにした. 原則として 2 級以上の難しい語にカーソルを合わせると小学生用の辞書 (田近 2011)の説明が現れる.
- 語の色分け

ニュースには地名, 人名, 組織名などの固有名詞が頻繁に現れる。固有名詞は辞書にほとんど収録されておらず，数が多いので説明を付ける労力は大きい．そこで，固有名詞をあらかじめ決めた色, 地名を紫, 人名をピンク, 組織名を空色で表示し, 意味が具体的に分からなくても，色によって地名，人名，組織名の判別ができるようにした.以上の読解補助情報に加えて，下記の追加情報も提供している.
- 合成音声

読むのが苦手でも聞くのは得意な外国人のため，合成音声による原稿読み上げ機能を付加している.

$\cdot$ 元のニュースへのリンク

やさしい日本語のニュースには, 元のニュースへのリンクを付与しており, リンクを通じ

てやさしい日本語を読解補助として, 元のニュースを読むことが可能である。また, やさしい日本語で削除された情報を元ニュースで確認することも可能である.

著者らの目的は以上で説明した NEWS WEB EASY の画面の制作であり，実施には，やさしい日本語への書き換え原則，書き換え作業の体制とプロセス，制作作業の支援の 3 項目の検討が必要となった．以下， 3 項目の内容を報告する。

## 4 ニュースのためのやさしい日本語

本章では NEWS WEB EASY で利用しているニュースの書き換え原則の概要を説明する。どのような言語にも汎用的な制限言語は存在しないと言われているように (Mitamura and Nyberg 2001), すべての分野に共通するやさしい日本語の書き換え原則というのは存在しない. ニュー スのための書き換え原則は自ら作成する必要があった。しかし書き換え原則をゼロから作るのは膨大な作業となるため, 先行研究である「減災のためのやさしい日本語」(佐藤 2004)の原則を修正, 拡張するという手順に従った. 減災のためのやさしい日本語は, 災害発生から 72 時間以内に自治体, 公共機関などから発信される情報が主な対象であり, 日本語能力試験の 3 級と 4 級の語彙と文法の範囲で書くことを原則としている.

日本語能力試験は学習者が受験する試験であり，日本語能力を入門レベルの 4 級から最上級の 1 級までの 4 段階で認定する ${ }^{9}$ 。また試験の出題基準 (国際交流基金，日本国際教育協会 2007) には各級の出題の目安となる語彙や文法事項のリストが公開されている.

減災のためのやさしい日本語の対象とする災害情報は, 著者らの対象の一般のニュースと,話題, 文体, 文書の長さなどさまざまな要素が異なるため書き換え原則を修正する必要がある. そこで減災のためのやさしい日本語の原則に従ってニュースを実験的に書き換え，原則の不足やニュースとの不整合を拡張，修正することにした，書き換え作業は出題基準に精通している日本語教師 2 名が担当し, 検討は書き換えを担当した日本語教師, 記者 $\mathrm{OB}$, 記者, 著者らで実施した (田中, 美野 2010). 以下では, 本稿に直接関わる語彙, 文法, 内容の削除と追加に関わる書き換え原則の基本部分を説明する。詳細は (田中, 美野 2016)を参照されたい.

## 4.1 語彙

日本語能力試験の出題基準の 3 級と 4 級には合わせて約 1,600 語が記載されており, 基本的にはこの 1,600 語の範囲でニュースを書き換えるようにした. しかし 1,600 語の多くは日常生活で使われる語であり, 事件, 事故, 政治, 経済, 科学, スポーツ, 気象などの分野が中心と

なるニュースの語はかなり不足している。例えば, 「接待, 公共事業, 補正予算案, お内裏様」 などの語は書き換え実験で出てきたが 1,600 語には入っていない，1,600 語に入らない難しい語に対応するやさしい語があれば置き換えられるが，必ずしもあるとは限らない。また対応するやさしい語のない難しい語を無理にやさしく書き換えると不自然な日本語になるため，書き換えずに辞書などの読解補助機能を使うことにした。

## 4.2 文法
- 文の長さ

文が長くなると文意が分かりにくくなりやすいため，文書作成の参考書では短文を勧めている。ニュースのやさしい日本語でもこの原則に従い，1文をできるだけ 50 文字以下に書き換えるようにした。ニュースは 1 文が長くなる傾向があり，短文化の作業は多く発生する。
- 受動態

受動態は日本語能力試験の 3 級に分類される文法であり学習の時期は早い. 一方, 意味が間接的になるので，多くの文章作成の参考書では能動態を使って直接的に書くことを勧めている，特に，日本語の場合には受動態の「れる・られる」が可能, 自発, 尊敬の意味でも使われるので，外国人が混乱する恐れがある，以上の要因を考慮して，ニュー スのやさしい日本語では受動態をできるだけ能動態に書き換えることにした.
- 慣用表現

ニュースには「〜としています，～と見られています」や「この事件は〜したものです」 (田中 2012) などの独特の慣用表現が多く出てくるが, 日常会話にはほとんど出てこない.外国人にとっての慣用表現の難易度は高いと考え，普通の表現に書き換えることを原則とした.

## 4.3 内容の削除と追加

長いニュースは読者の負担になるため，次のような内容を削除して整理する。
- 重複の削除

ニュースには通常，冒頭のリードと本文がある。リードはニュースの要約であり，本文の一部を抜粋して作るため本文と重複する。重複はリードから，もしくは本文から削除することを原則とした。
- 周辺的な情報の削除

内容理解に必須でない背景，関連情報の文や段落を削除する.

一方，情報を追加する場合もある．特に専門用語などで対応するやさしい日本語がない場合説明を追加する。例えば実際のニュースでは「タブレット端末」に対して「（＝薄い板のようなコ

ンピューター)」という説明を直後に追加している.

## 4.4 ニュースの書き換え原則の課題

初期のニュースの書き換え原則には「不十分さ」の問題があったことを注意をしておきたい.制限言語の研究分野では言語の制限の仕方を 2 つに分類することがある (Mitamura and Nyberg 2001; Kuhn 2014). 1つは使うべき語彙と文法を規定する規範的なアプローチ (prescriptive approach) で, 他の1つは使ってはいけない語彙と文法を規定する禁止的なアプローチ (proscriptive approach) である。この分類で上述の原則を見ると, 当初は日本語能力試験の 3 級と 4 級の語彙と文法を使うという規範的な原則が支配的で，受動態を使わないという禁止的な原則が多少入っている状態であった. 日本語能力試験の 3,4 級レベルは日常会話が対象であるため, 規範的，禁止的原則のいずれもニュースを記述するには「不十分」であった.

実際，NHKのニュースには明文化されていない規範的原則と禁止的原則がある．例えば，人が亡くなっているように見えても脳死が判定される前は「心肺停止の状態」という表現を使わなければならないという規範的原則, 推量を表す「らしい」は主観が強く反映されるので使わないという禁止的原則などである。ニュースをやさしく書き換えるには，日本語教育とニュースの規範的，禁止的原則を整合させた原則が必要だが 10 , サービスの開始時までにニュースの表現を網羅的に検討することはできず，当初の書き換え原則にはニュースの観点が不足していた。

著者らのニュースの書き換えに対して, Hoard et al. (1992)の航空機マニュアルの書き換えは相当に「十分」な原則の元で行われる。また Mitamura and Nyberg (2001)の機械翻訳用の書き換えも著者らより多くの原則を設定していると思われる。書き換え原則の不十分さは著者らの問題の特徴と考える。なお，以後本稿では特に断らない場合，禁止的原則と規範的原則の両方を合わせて原則と呼ぶ.

## 5 体制と制作プロセス

やさしい日本語のニュースの公開を 2012 年 4 月に開始した。土・日と祝日を除いて月曜から金曜まで毎日，一般向けのニュースをやさしい日本語に書き換えて提供している．最初は平日 1 日 1 記事から 2 記事を公開していたが, 作業手順の見直しなどを経て, 2013 年 6 月からは 1 日 5 記事を公開するようになっている。以下現状の制作の体制とプロセスを説明する。

## 5.1 体制

書き換え原則に沿ってニュースをやさしい日本語の書き換える場合，4.4節で述べたように，当初は書き換え原則が不十分だったため, 日本語教育とニュースの両方の知識を持つ人が必要

となった. しかし, 両方の知識を持つ人はいなかったため, 日本語教師と記者の両者が相談しながら書き換えを進める体制を採用し，現在に至っている，日本語教師と記者のほか，書き換え内容を最終的に確認する編集責任者 ${ }^{11}$ よび，合成音声の付与作業を行う技術スタッフも参加する。なお特にサービス開始からしばらくは，すべての書き換えを元記事を書いた部局に確認してもらっていたが，現在は編集責任者の判断で必要に応じて確認を依頼するようになっている.

## 5.2 制作プロセス

現在 NEWS WEB EASY では原則，午前中に 2 記事，午後に 3 記事の 1 日 5 記事を公開している。午前中公開の 2 記事は前日に作成し，午後公開の 3 記事は当日作成する。日々の書き換えは日本語教師 2 名, 記者 1 名，および編集責任者 1 名が担当する，最終的な 5 記事の確認は編集責任者が担当する，編集責任者は内容の確認だけでなく，日本語教師との書き換え作業も一部担当している。以下，制作の流れを記す。

(1) 記事選択

一般向けのニュースサイト NHK NEWS WEB に当日までに揭載されたニュースから，大きな話題，外国人や子供 ${ }^{12}$ に適すると思われる話題を持つものが選ばれる。同一話題のニュースを継続して提供できるとは限らないため, 節目や一話で完結している記事が選ばれる。選ばれた記事を元記事と呼ぶ。記事の選択は編集責任者が行う。

(2) 引き継ぎ事項の確認

日本語教師は日々の書き換えで難しかった点などを日誌，メールで情報共有しており前日の内容を確認する。

(3) 背景情報のリサーチ

日本語教師を中心に，関連ニュース，関連サイト，報道発表などの関連情報をリサーチする。用例検索機能で過去の類似記事も検索し検討する.

(4) やさしい日本語への書き換え

主に日本語教師が表現をやさしくし, 記者が元記事の再構成, 要約, 内容の確認を行う.書き換えが終わると編集責任者の確認を受ける。さらに元記事を書いた出稿部に確認を依頼することもあり, 出稿部から質問や修正の依頼があれば検討し, 必要に応じて修正する.このプロセス全体で 1 記事およそ 2 時間の作業である.

（5）読解補助情報の付与

やさしい日本語のテキストが完成した後, 漢字のふりがな, 難語への辞書の説明, 固有名詞のカラー表示といった読解補助情報を付与する. 付与作業は日本語教師が担当する.

現在は 1 記事およそ 10 分の作業である.

(6) 合成音付与と試写

やさしい日本語のテキストの合成音を付加して必要に応じてイントネーションの調整を

行う。最終的な画面が完成すれば試写を行い問題なければ公開する.

(7) 日誌, メールの作成

日本語教師は書き換えの問題点, 気づいた点などを業務日誌に記載し, メールでも情報を共有する。

上記の仕事のうち，(4) やさしい日本語への書き換え，および (5) 読解補助情報の付与には手間と時間を要するため，それぞれを支援する「書き換えエディタ」と「読解補助情報エディ夕」 の開発を進めた。

## 6 制作支援システム

本章では専門性の異なる日本語教師と記者の共同書き換えを支援するために開発した「書き換えエディ夕」と日本語教師の読解補助情報付与作業を支援するために開発した「読解補助情報エディ夕」について説明する。

## 6.1 書き換えエディタ

## 6.1.1 日本語教師と記者の書き換えの課題

サービス開始前に日本語教師と記者でニュースを実験的に書き換えたところ 2 つ課題があることが分かった．1つは表現が迷走したり，極端な場合には書き換えが中座したりする「書き換えの停滞」の問題である.

ニュースをやさしい日本語に書き換えるには 4.4 節で述べた記者の専門であるニュースと，日本語教師の専門である日本語教育に由来する 2 つの書き換え原則に熟知している必要がある.一方, 初期の日本語教師と記者は互いに相手の知識が不足していたため, 記者の表現の書き換えが外国人にとっては難しかったり，日本語教師が行った省略がニュースの重要箇所であったりという問題が何度も発生し，書き換えの停滞が発生していた。なお停滞は，実験時には書き換えに非常に長い時間がかかる結果となるが，サービス時には時間が限られているため，満足できない書き換えで我慢する結果となる。

他の 1 つは元記事が十分平易化されない問題である。大きな要因に書き換えの着目点の見過ごし， すなわち難しい語や長文の見過ごしがあった．書き換えの着目点が日本語教師と記者の組み合わせによらず，また日々一定していれば，原則に従った平易化レベルの安定した実現につながる。本稿では人によらず一定レベル以上の平易化を達成することを「平易化レべルの保証」と呼ぶ. 特に初期には書き換え原則を記憶しておくことが難しいため平易化レべルの保証が難しかった。

## 6.1.2 解決方針と実装した機能

書き換えの停滞を軽減し平易化レベルを保証するため次の方針を立てた.
- 方針

－ 書き換えの役割分担による運用記者と日本語教師のそれぞれの専門知識に応じた平易化を担当するよう以下のように役割を分担した。
* 記者文の順番の入れ替えなどによる記事の再構成で平易化する．不要な部分を要約する．文を分割して不要な成分を省略する，日本語教師の書き換え結果を承認する。ただし表現の平易化は行わない.
* 日本語教師

難しい語や表現を平易化する。文の分割は行うが省略は行わない.

－書き換えエディ夕による難しい語と長文の指摘ニュースのやさしい日本語の書き換え原則に従って難しい語と長文を指摘する。難しい語や長文の見落としが減り, 作業者によらず平易化レベルを一定以上に保つ効果が期待できる．また，日本語教師と記者で書き換えを相談するときに指針として利用できる.

－書き換えエディ夕による書き換え候補の提示

多様な書き換え候補の提示で停滞の軽減が期待できる。またニュースに必要な表現の統一にもつながる.

以上の方針を実現するよう書き換えエディタに下記の基本機能を実装した.

・書き換えエディ夕の基本機能
- 難しい語と長文の指摘

日本語能力試験に登録されて入る 1 級から 4 級までの語彙を形態素解析システム13のシステム辞書に登録し, それぞれ色分けして表示するようにした. 4.1 節で述べたように, 日本語能力試験出題基準の 3 級と 4 級の語彙を基本的に使うため,日本出題基準に登録されていない語 (未知語), 1 級および 2 級の語が書き換え候補となる。また，長文への注意を喚起するため 1 文の文字数を表示するようにした.
- 書き換え候補の提示

難しい語は日本語能力試験の出題基準のリストで決定できるが，難しい語の書き換え候補をすべて事前に準備することは容易ではない。また，出題基準のリストがすべての語彙をカバーしているとは限らないという書き換え原則の不十分さへ
$, IPA 辞書使用.
}

の対応が必要である。以上に対処するには，日々の元記事と書き換え後の記事をデータベースに自動的に登録し，表現を検索する手法が有効と考え「用例検索機能」を提供することにした．元記事の難しい表現の書き換え例を知りたい場合，用例検索機能に難しい表現を入力し，記事，もしくは文と共に提示されたやさしい書き換え例を参照する。用例検索機能には語，フレーズ，文など任意の長さの表現を入力することができる。 そして入力表現中の内容語の数，および内容語間の間隔を使って類似表現が元記事のデータベースで検索される．検索された難しい表現と, 対応するやさしい日本語の表現は, あらかじめ対応付けされてデータベースに格納されている記事，もしくは文の単位で表示される。本機能はすでに多言語翻訳の現場で利用実績のあった翻訳用例提示システム (熊野, 後藤, 田中,浦谷，江原 2001）を流用して実装した。

以上は難しい表現を指摘してその書き換え候補を提供する基本部分である。これに日本語教師と記者の共同作業のために以下の機能を設けた.

・ 共同作業のための書き換えエディタの機能
- 複数作業者の利用

ユーザとして登録された人は誰でも書き換え作業に参加できるようにし，任意の順番で 1 つの記事を書き換えることを可能とした．基本は記者と日本語教師の交互の書き換えである.
- フラグ付き書き換え原稿の履歴保持

書き換えた原稿には記者や日本語教師といった「作業者属性」あるいは確認用などの「目的属性」を表すフラグを付与し履歴を保存するようにした．作業者属性と目的属性を明示することで，日本語教師は表現の書き換え，記者は内容の書き換えという役割を分離しやすくなる。また書き換えの履歴によって変更の詳細な経過を確認できる.
- 原稿難易度スコアの表示

記者と日本語教師の書き換えがやさしくなる方向に進んでいるかどうかを確認するために原稿難易度スコアを提示するようにした。原稿難易度スコア $S$ は文書リー ダビリティの研究で用いられている属性 (野本 2016) を参考に「文書長 $d\rfloor$, 「平均文長 $l \downharpoonleft$,「難語率 $\left.w^{14}\right.\rfloor$ の積 $S=d l w$ で計算した．右辺の各項は小さいほどやさしいので，積の $S$ は小さいほど原稿がやさしいことを示す. 原稿のやさしさは書き換えエディタの画面に表示された個別の文長，語の色表示でもある程度把握できるが，1つのスコアにまとめることでより明確になる。さらに難易度スコアは専

門性の違う 2 人が書き換えを検討するときの指針としても有用と考えた.
- コメント機能

専門性の違う作業者を支援するにはコミュニーケーションを支援するのが有効と考えた．直接会話できれば問題ないが，書き換えエディ夕は日本語教師，記者などが遠隔地で作業することも想定してWebのシステムとして実装した。このため,直接会話できない場合，作業時間がずれる場合もあると考え，文単位でコメントを残せるようにした。コメント欄には書き換えの意図，質問などを記入する。

## 6.1.3書き換えエディタの機能の補足

前項の機能に関して下記 2 点を補足しておきたい.
- 難しい語の指摘

日本語能力試験の級の認定は，難しい語の指摘，原稿の難易度スコアの計算に使われるため正確に実施したい，級の認定は形態素解析に基づいているため，その誤りの手軽な修正インターフェース，および学習機能を導入して自律的に性能を向上させる機構の必要性は明白だったが，サービス開始までに対応することができず， 6.2 節で説明するように後に対応することとなった。
- 用例検索機能の意義

やさしい日本語の書き換え原則は 4.4 節で述べたように NEWS WEB EASY の開始時には日本語教育のみを反映した「不十分」なものであった。しかしこの原則の不足を補いながら日々日本語教師と記者が日々作成する書き換えには, 規則の形で明示されてはいないが，さまざなニュースの書き換え原則も反映されているはずである。すなわち書き換えを蓄積して再利用することは，実質的に原則の開発を書き換え作業者に任せることを意味する．著者らはニュースの書き換え原則は作業者の高い専門性を頼りに用例検索システムを使って自律的に発展させるのが現実的だと考える。ただし一般に実用されている制限言語を見ると，言語仕様の開発や管理は作業者とは別の人，団体に任せることが普通のようである ${ }^{15}$ 。このような場合に単純に用例検索システムを導入するのは不適切と考える。

## 6.1.4書き換えエディタの画面

書き換えエディタの主な機能を画面で説明する。図 2 にメイン画面を示す.メイン画面の上部は原稿の書き換え履歴，下部は書き換え作業の画面である。メイン画面からは後に説明する 3 原稿比較画面（図 3), 原稿差分画面, 文の重複画面, 単一原稿画面を表示させることができる.

図 2 書き換えエディタのメイン画面

図 3 書き換えエディ夕の 3 原稿比較画面

(1) 書き換えの履歴

図 2 の上段が元記事の書き換え原稿の履歴である。書き換え作業者はまず元記事のコピー を作成し最初の書き換えを作成する。次の作業者はそのコピーを作成し, さらに平易化する。 さらにその後もコピーと平易化を繰り返し，作成される書き換え原稿すべてが履歴として記録される。書き換えの記録には木構造を採用しており，線状に並ぶ履歴だけでなく, 兄弟ノードを作ることで複数系統の履歴を作ることができる。図 2 の履歴部分には「原文 (本稿の元記事)，デスク校閲（本稿の記者の書き換え）（日）校閲（本稿の日本語教師の書き換え），報道確認用（本稿の編集責任者確認用），検索稿（本稿の検索機能への入力用) ・・・」といったフラグのついた書き換え原稿が並んでいる.

(2) 作業画面
- 記事編集と登録

書き換えの履歴の下が作業画面である。枠で囲んだ 3 列の左端は元記事, 中央は直前稿，右端が作業稿，すなわち現在の書き換えである．表示される原稿の関係は常に同じである。それぞれの列には，文編集用の箱とコメント用の箱のペアが下方向に繰り返し表示される。図 2 ではタイトル，夕イトルへのコメント，書き換え稿の 1 行目の 3 つの箱が表示されている. 左端（元記事）と中央の列（直前稿）は閲覧のみ可能で, 右端（作業稿）の文編集用の箱とコメント用の箱は編集可能となっており, 最初は直前稿の対応部分がコピーされている. 作業者はコピー を書き換え，完了したら登録する。
- 文単位の書き換え

作業画面を横方向に見ると 3 つの箱が並んでいる．上で述べた文編集用の箱とコメント用の箱で, 元記事の 1 文単位に設けられ, 横に整列して表示される。作業者は右端の文編集用の箱の中で文の分割や書き換えを行う。文編集用の箱とコメント用の箱の数は元記事の文数に固定されており, 右方向に見ることで元記事の文の変化を観察できる．以上の元記事の文を基準に書き換えを表示する方式を箱表示と呼ぶ.
- 文長の表示

文編集用の箱の直下に文長を表示している。目標が 50 文字程度以下であるため, 40 文字を超えて 60 文字までは青で， 60 文字を超えて 80 文字までは黄色で， 80 文字を超えると赤で文長を表示するようにしている.
- コメント欄

コメント闌には文の書き換えに対するさまざまなコメントを記入する.
- 語の難易度表示

直前稿と元記事の文編集用の箱の中の語はカラーで表示される。色は日本語能力
試験の級に対応しており，4 級を青， 3 級を緑， 2 級を黄色， 1 級を暗い赤，級外の難語を明るい赤とした。作業者は黄色や赤の語に注意して作業する.
- 3 原稿比較画面

図 2 の作業画面に対応する 3 つの画面を並べて表示することができる（図 3）。义イン画面にはコメントや文長情報があり一覧性が悪いが，図 3 では全体を把握できる。元記事, 直前稿, 作業稿と進むにつれ，青色，緑色の語の割合が増え，書き換え稿の長さが短くなっていれば書き換えはやさしくなっていることになる。また，やさしさを数值で確認するため下段には原稿難易度スコアを表示している ${ }^{16}$.
- その他

書き換えが進むと直前稿との差がほとんどなくなるため，書き換え原稿間の差分文字列をカラーで強調表示する画面（原稿差分画面），要約作業を支援するため， リード文と他の文の一致文字列をカラー表示する画面（文の重複画面）を用意した. また履歴中の任意の 1 つの書き換え原稿を色付きで表示することもできる（単一原稿画面).

## 6.2 読解補助情報エディタ

書き換え作業が完了したやさしい日本語のテキストに対して以下の読解補助情報を付与する.

$\cdot$ ふりがな

すべての漢字に付与する
- 固有名詞の色表示

地名，人名，組織名に色をつける
- 辞書の説明

日本語能力試験の 2 級, 1 級, それ以上の難語に原則付与する.ただ, 辞書に適切な語釈がない場合は付与しない

本節では上記の付与作業を支援する読解補助情報付与エディタを説明する。ふりがな，固有名詞は既存の形態素解析システムで付与できる。また, 日本語能力試験の級も形態素解析辞書の語に 1 級から 4 級までの級を記載しておけげ認定できる。また解析時に未知語を難語とすることで，1，2級の難語とそれ以上の難語を自動認定できる。そこで当初は形態素解析器を応用した読解補助情報付与システムを使用していた。しかし形態素解析を誤れば, ふりがな, 固有名詞，級の認定も誤ることになる。語の辞書引きには，形態素解析で得られる基本形の表記と読

みを使うため，辞書引きも解析誤りに影響される。また，辞書引きができても語釈が語の説明としてふさわしくないこともある。さらに，ニュースには固有名詞，複合名詞を中心とした新語が頻繁に出現するため， 1 語へのまとめ, 属性の付与などが必要となる.

運用開始時はプロトタイピングと割り切り，形態素解析システムを応用していたため誤りを日々人手で修正する必要があった。しかし修正はその場限りでその後に反映されない。そこで， ふりがな，固有名詞の属性，表示する辞書項目，および語の日本語能力試験の級を予測し，かつ予測誤りの人手修正結果をオンライン学習できる「難易度, 補助情報付与モジュール」を作成した。 さらに，予測結果を簡便に修正できるインターフェースを開発した，以上により読解補助情報の自動付与結果の誤りをインターフェースで修正すれば以後の解析に反映できるようになった (熊野, 田中 2014).

難易度, 補助情報付与モジュールは（ふりがな，日本語能力試験の級もしくは固有名詞の属性, 辞書項目）という3つ組のタグがついた形態素列をデータとして，学習時にはデータを最適分割して記憶する。学習は 1 記事ごとに行うので, 修正結果は直ちに学習される. さらに忘却の機能を持つため，例えば固有名詞の認定の方針が変わった場合などにも自動的に対応できる.

図 4 に読解補助情報エディタのインターフェースを示す。左が全体画面で，右は全体画面から呼び出された辞書項目の検索画面である。作業者は全体画面に表示されている解析結果を見て, 必要に応じて語の単位の変更, 級の修正, 辞書項目の変更などを行う。なお，全体画面を開いたときにはすでにその時点までの学習結果が反映されていることに注意されたい.

全体画面の右側は，左側の作業内容を確認する全体表示である．NEWS WEB EASY の画面と同様の形式で漢字のふりがなが表示され，書き換えエディ夕と同様の形式で語の級, 固有名

## 自動解析ボタン

全体画面

辞書項目検索画面

検索結果

図 4 読解補助情報エディ夕
詞の種別が色分け表示されており, 作業者は直感的に内容を確認することができる.

学習の効果に関して, 熊野, 田中 (2014) は 1,372 記事の各記事を対象にオンライン学習する場合の解析精度と, 形態素解析システムを使った従来の解析精度を比較し, 形態素解析システムを使った精度は一定して $89 \%$ 程度であるのに対して, オンライン学習する手法では 250 記事程度を学習すると約 $95 \%$ に達して飽和したことを報告している.

## 6.3 制作支援システムのまとめ

原稿と書き換えエディ夕, 読解補助情報エディ夕, 用例検索の関係を図 5 に示す。管理システムとは原稿と各システムを制御するシステムである。図 5 では元記事が管理システムに登録された後，書き換えエディタにコピーされて，第 0 版から第 $n$ 版まで書き換えらえる状態を示している。さらに第 $n$ 版は読解補助情報エディ夕に入力されて補助情報が付加される.

図に示したように書き換え作業中には, 用例検索と, 難易度, 補助情報付与モジュールの語の難易度推定機能が利用される。書き換え終了時には元記事（図中では書換 0 ）と第 $n$ 版の書き換え（図中では書換 $n$ ）が用例検索システムに登録され，日々の運用で自然に用例が蓄積される.読解補助情報の付与作業中は難易度, 補助情報付与モジュールのさまざまな情報推定機能が利用される。そして誤りを訂正した結果が同システムに登録されて学習される.

すなわち，書き換えエディ夕，読解補助情報エディ夕はそれぞれ日々の運用によって情報がフィードバックされ性能が向上する循環型のシステムになっている.

書き換え

読解補助情報付与

図 5 書き換え原稿の流れとシステムの関係

## 7 書き換え支援システムの効果

本章では 2 つのエディタの効果を確認するために実施した調査を報告する. NEWS WEB EASYは実際のサービスであるため，エディ夕の利用・非利用の比較に基づく対照実験は困難である。そこで，まず制作に関わっている日本語教師と記者全員に対するアンケート，さらに， システムに記録されているログの分析により効果を調査した.

## 7.1 アンケート

現在, NEWS WEB EASY の書き換えを担当しているのは表 1 に示す J1 から J4 までの日本語教師 4 名，および R 1 から R 3 までの記者 3 名である．日本語教師 2 名および記者 2 名は 2012 年 4 月のサービス開始時から制作に参加している. 日本語教師は 15 年以上の豊富な教育経験を

持っている，今回のアンケートではまず文書で尋ね，回答中の興味深い点，疑問点をメールで再度聞き取る方法を採用した。

## 7.1.1 システムの全体について

システム全体としての利点と問題点を把握するため下記の質問に自由記述で回答してもらった。質問趣旨と主な回答は以下の通りである.

(1) もし書き換えエディ夕のさまざまな機能および用例検索機能が現在使えないとすると品質，書き換え時間にどのような影響があるでしょうか.
- 作業時間は大幅に増え 1 日 3 記事担当するのは負担が大きそうである（他類似回答 4 件).
- システムを使わない場合, 異なる作業者間, 過去記事との間に大きな違いが出ると思う。一定の基準, レベルでの書き換えを保つためには必要だと思う（他類似回答 4 件).

表 1 回答者の属性（調査当時）

時間の短縮の効果を感じさせる 1 番目の回答より, 書き換えエディ夕は「書き換えの停滞」の解消に効果的であったことが伺える。また，2 番目の回答は「平易化レベルの保証」が実現できていることを示唆している。この他
- 自分の書き換えを他の作業者が参照すると思うと責任を持って書くようになるという回答もあり, 品質維持の動機につながっていることを伺わせる回答もあった。一方，システムがなければ
- NHK のニュースという枠にとらわれずによりやさしくできる可能性があるという指摘もあった。なお，書き換え時間が短くなったという回答はあったが，日々の作業時間が短くなっているわけではない．事情を質問したところ，
- 日々の作成本数が決まっているので書き換えに割り当てている総時間は変えておらず，書き換えの質を向上させるための記者と日本語教師との検討, 事前のリサー チに時間を費やしている

とのことであった。すなわち，書き換えエデイ夕によって質の向上のための時間が生み出されていると考えられる.

（2）書き換えエディ夕のさまざまな機能, 用例検索の機能, 読解補助情報エディ夕を使うことによる副作用（例えば書き換えが画一的になるなど）はないでしょうか.
- 「前もこう言い換えた」は一見安全が保護されているように見えるが絶えず再検討しなければならないだろう（他類似回答 3 件).

全員上記のように過去用例を安易に再利用すべきでないという自覚があり, 現在は問題ないと回答していた。類似した回答に

-（自分の書き換えに対して）日誌に次回はチャレンジすることなどと引き継ぎしている
- 参加した 1 年目は先輩の用例に従わなければと思い込んでいたが, 現在は他の分かりやすい表現を探している

などがあり，常に新しい表現を模索している姿勢が伺えた．書き換えエディタの支援機能や読解補助エディタへのコメントはなく, 副作用は特にないと考えられる.

（3）書き換えエディ夕のさまざまな機能, 用例検索の機能, 読解補助情報エディ夕はやさしい日本語の学習や NEWS WEB EASY の新人への教育に有用でしょうか.
- 用例検索は NEWS WEB EASY の書き換えスタッフの養成には有用（他類似回答 3 件).
- 用例検索の記事にはニュースの特有の表現があるので他（のやさしい日本語）では有用とは言えない（他類似回答 1 件）.

途中から NEWS WEB EASY の制作に参加した日本語教師からは

・い万い万なルールがそれぞれのシステムに反映されているので, 意識しながら（ルー

ルを）身に付けることができた

との回答があった。この回答は語の難易度, 文長の制限, NHKでの漢字の読みなどがシステムで提示されることを指している。一方, 別の日本語教師からは新人の教育に有用と回答した上で

・ システム操作に日本語教育と無関係な専門用語が多いので覚えるのに負担がかかる可能性がある

との指摘があった，例えば，新たな書き換え稿の作成ボタンに使われている「make child」 （書き換え履歴の木構造の子ノード作成の意味）といった専門用語が分かりにくさにつながるという指摘である.

## 7.1.2書き換えエディタ

書き換えエディ夕の 10 の機能について，それぞれの「使用頻度」「有用性」「満足度」を 5 段階の選択肢で質問した。使用頻度と有用性は機能そのものについて，満足度はインターフェー スについての質問である。以後も同じ趣旨で質問した。

例として「履歴」についての問いを表 2 に，回答に使った 5 段階の選択肢を表 3 に示す.

さらに, それぞれの機能についてコメント, 使用状況, 使用状況の変化について自由記述で回答してもらった，全員の選択結果を表 4 に示す。なお「箱による編集」は必ず使用するため使用頻度の質問はしていない. 表 4 の「日教師」の列は日本語教師 J1 から J4 の結果を示す.同様に「記者」の列は記者 R1 から R3 の結果を示す.

まず個人に着目する．記者 $\mathrm{R} 3$ の使用頻度を他の記者と比べると 5 がかなり多い. 記者 $\mathrm{R} 3$ が

表 2 「履歴」情報に関する問い

表 3 選択肢

表 4 書き換えエディタの選択結果

} & 使用頻度 & $1,1,1,1$ & 1.00 & $1,1,5$ & 2.33 & 1.57 \\

1 をつけているのは「文長表示」と「3 原稿比較画面」で，この他では「原稿難易度表示」に 3 をつけているのみである．他の記者と比較してみよう．記者 R 3 の使用頻度が 5 で他の記者が 1 あるいは 2 を付けている項目は，「履歴」「語難易度表示」「単一原稿画面」「原稿差分画面」である.「履歴」と「原稿差分画面」は日本語教師との共同作業で使うため, 日本語教師が使えば情報を共有できる。「単一原稿画面」については, 代わりに「3 原稿比較画面」を使っているとのコメントがあった．また「語難易度表示」は表現の平易化に使う機能であるため使っていないとのことであった. 6.1.2 項で述べたように，当初記者は表現の平易化を担当しないという原則を設けており，それに対応したコメントと思われる。以上を総合すると記者 $\mathrm{R} 3$ は求められ

ている仕事に専念している度合いが他の記者より強いことが伺える。

次に各項目を概観する。「履歴」はよく使われ，有用性，満足度も高い，作業中の使い方には

・書き換えの各段階での情報の抜け落ちの確認

$\cdot$ 2 つの書き換え案があるときに両方を作って検討

・ 編集責任者との確認で削除した情報を復活する場合に使用

という回答があった。履歴は木構造で表現しているため兄弟ノードの原稿を作ることができる.上述の 2 つの書き換え案は兄弟ノードを利用して作成している。また，作業の事前事後の使い方には

・ 微妙な外交問題などをどのように書き換えているかなどを観察する

$\cdot$ 日誌を書く際の作業の振り返りに使用との回答があった。事前のリサーチ，振り返りにも活用されている.

「箱による編集」も有用性, 満足度とも高い。一方
- 元記事の文数に固定されている箱の数を増やせるようにしてほしい

との要望があった。元記事の構成を大幅に変更した場合などに不便なようである.

「文長表示」は全員がすべての項目に 1 を付与している。人間が文字数を数えて確認するには大きな手間がかかる，文字数の計算は単純だが，効果の高い指標と考えられる．また，「文長表示」は編集責任者へ書き換えを説明する際に使われていた。

「語難易度表示」は日本語教師の評価が高い。記者 R1，R2 も積極的にこの指標を利用している.
- 全体が色で表示されているため記事中の語彙難易度の状況が一目で把握できる点が良い

・ 学習機能により難易度の精度が上がった

という回答があった．「語難易度表示」も編集責任者への説明に利用されている．なお，記者の
- 最近では難しい単語はだいたい分かるようになったため以前ほどこの表示に頼らなくなった

という回答もあった。

「コメント欄」については書き込みの頻度を尋ねたため, 記者の使用頻度は低いが, 有用性は高いという評価である。主に日本語教師が書き込んでおり，内容は

・参考情報の出典（Web サイトなど）
- 書き換えの意図の説明

・ 複数案あるときの代替案
- 不明点

などである。記者からは

・ 日本語教師の書き換えプランが理解できる

・代替案をコピーできる

といった回答があった。なお

・ コメントが入っていない文の欄は非表示にしたい

との要望も寄せられた。表示方法には工夫の余地がある.

「単一原稿画面」と「3 原稿比較画面」はどちらも書き換え原稿の表示であり，一方だけ使っている作業者, 目的に応じて使い分けている作業者がいた。それぞれ使い方を決めており，両者は必要な機能となっていた.

「原稿難易度表示」も利用頻度, 有用性, 満足度とも高い.
- 原稿難易度を目標に書き換える
- 記者や編集責任者に書き換えの必要性を説明するときに使う

という回答があった. 原稿難易度を書き換えの目標に使っているという回答に関して, 現在,原稿難易度と外国人理解度との詳細な関係は分かっておらず，今後調查が必要である。

「文の重複画面」と「原稿差分画面」はどちらも単純な最長共通文字列検出アルゴリズムを利用している。「文の重複画面」は主に記者の要約する作業を支援する目的で作成しているため日本語教師は使っていない。また記者からは
- 記事を読むと重複箇所はだいたい分かるので使っていない

という回答を得た. 一方「原稿差分画面」は使用頻度, 有用性, 満足度とも高い. 特に修正箇所が少なくなり目視での書き換え稿間の差の確認が難しくなる後半で使われている. 直前稿との差の確認, 編集責任者への変更箇所の説明, 最終的な夕イポの発見などが主要な使い方である.

・日本語教師との「キャッチボール」17に欠かせない

という記者のコメントもあった.「原稿差分画面」も単純だが有用な機能である.

## 7.1.3 用例検索機能

用例検索機能について，全員に選択肢と自由記述形式で質問した。選択肢は書き換えエディ夕と同じ使用頻度, 有用性, 満足度に加えて, 用例の蓄積の重要性について尋ねた。質問は「用例の蓄積は重要でしょうか」である。また回答は「1:重要, $2:$ や重要, $3:$ どちらとも言えない, 4:あまり重要でない， 5 :重要でない」の 5 段階である．結果を表 5 に示す。記者 R 1 の使用頻度は低いが，この項目以外の評価は高い。記者 R1 は自分では使わないが日本語教師が検索した結果を利用しているとコメントしており, 有用性は高いと評価している.

用例の蓄積の重要性についても高い重要性を認めている.

さらに, 以下の自由記述形式の質問を行った. 質問趣旨と主な回答を記す.

(1) 用例検索を使う目的とタイミングを教えてください.
- 書き換え前に参考になる記事を探す（他類似回答 4 件）

表 5 用例検索の選択結果

- 書き換え中に表現の書き換え例を探す（他類似回答 5 件）
- 作業外の時間で他の人が担当した記事を勉強する（他類似回答 2 件)想定の通り，作業中に書き換え表現を探す用途が多い。また
- 当日の記事の選択時に過去との重複を調べる用途
- 編集責任者の説明に過去の書き換え事例を示す目的という回答もあった。

(2) どのような表現を入力しますか.
- 固有名詞人名関連 (マララさん, ウルトラマン), 組織名 (IOC, IS イスラミックステート)
- 専門用語

気象災害用語（豪雨，土砂崩忆，孤立状態，浸水），科学技術用語（AI，大気，生存率，GPS）, 文化$\cdot$伝統関連用語（恵方巻き，かつ打節，こいのぼり，土用の丑の日），医療関係（手足口病，小頭症）
- 難しい表現

2 級以上の語彙，使わざるを得ない受け身や使役の使用例（行われる，やめさせる，やめさせられる)

固有名詞は書き換えないが，加える説明を調べるために入力して調査する。また，関連記事を検索する場合にもキーワードとして入力している，専門用語は書き換え事例，および追加する説明を調査するために入力している。

（3）現在の用例検索は記事単位，もしくは文単位で検索結果が表示されます。この代わりに，「避難」に対して「逃げる」といったフレーズの辞書を作って検索することが考えられます. 現在の方式とどちらが有用でしょうか.
- 同じ単語でも記事の内容によって書き換え方は異なるので文や記事が必要（他類似回答 5 件)

・どちらでも有用だが辞書ができるのだろうか

基本的には書き換え時に文脈，記事の全体を見るため現在の方式の方を有用と考えている. 特に, 現在は元記事とやさしい日本語の文を対応させて検索結果を表示できるため,
元記事の表現が省略されたことが分かるようになっている。このため

$\cdot$ ある表現が文脈によって省略されやすい事実が分かる点が有用という回答もあった。

（4） 検索システムの用例が蓄積され検索できる記事や表現が増えています。このような効果を感じますか. あるいはまた, 蓄積が足りないと感じますか.

・ 蓄積効果を感じている（全員）

・ 同じ言い回しでも異なる書き換えがあるため蓄積はまだ必要（他類似回答 1 件）

・ 不足していると感じることがある

・不足はあまり感じない

・ 蓄積が進んだため，検索結果が多すぎたり，誤った結果が含まれたりすることがある（他類似回答 1 件）

用例の蓄積効果は全員感じていた。ただし 7.1.1 項の (2) で報告したシステム全体についての副作用のアンケートの回答にあったように，無条件に使ってはいけないという意識は強い。また, 現在記事数が 4,000 件を超えており, 過剩な検索結果, 不適切な検索結果が問題になりつつあることが分かった.

## 7.1.4読解補助情報エディタ

読解補助情報エディタについて日本語教師に選択形式と自由記述形式で質問した。選択肢は 5 段階でこれまでと同様である。また記者は作業を担当しないため質問していない.

選択肢問題の質問趣旨は以下の通りである.

（1）読解補助情報エディタの使い勝手はいかがですか

（2）以前の読解補助情報エディ夕には学習機能がありませんでしたが現在はこれが装備されています。学習機能は重要でしょうか

(3) 学習機能の性能に満足ですか

結果を表 6 に示す. 現在の使い勝手, 学習機能とも満足度, 重要性とも大きい結果となった. また問題点，コメントを自由記述形式で求めたところ
- 学習機能には大変助かっており性能にも概ね満足している. ただし自動推定された結果から誤りを探すのが大変であり，候補を出す方式の方が良いかもしれない

表 6 読解補助情報エディタの選択結果

表 7 読解補助情報付与の時間

という回答が 1 件あった，現在は誤り率 $5 \%$ 程度だと推定しているが，この程度になると誤りを見過ごしやすくなる問題がある. 自動推定結果をまとめて修正するのでなく, 回答のように候補を出して選択させる方式も検討したい。

次に, 読解補助情報エデイ夕の学習機能によりどれくらい作業時間が短縮されたかを調查するため次の質問を行った ${ }^{18}$ 。

（1） 現在の 1 記事あたりの読解補助情報の付与の時間はどれくらいですか. また学習機能がないころは何倍くらい時間がかかっていましたか.

この質問は学習機能のないエデイタでの作業を経験している日本語教師 J1, J2, J3 に対しての久実施した，結果を表 7 に示す。日本語教師は打よそ類似した感覚を持っていることが分かった. 学習機能付きの場合の 1 記事の処理時間が拈よ 10 分で, 学習機能がない場合にはその最大 3 倍の処理時間がかかったという結果が得られた。なお, この質問は, 過去と現在の比較となるため, 結果には作業者自身の学習効果を含んでおり，単純に学習機能だの効果と言えない点に注意が必要である.

## 7.2 ログの分析

7.1.1 項の書き換えエディタのアンケート (1) では「書き換えの停滞」と「平易化レベルの保証」に対する効果が示唆されたことを述べた。本節では効果をさらに確認するため書き換えエディタのログを解析した。対象としたのは NEWS WEB EASY 開始の 2012 年 4 月から 2016 年 11 月までのログである。書き換えエディタのログは本来，本節で述べるような調査を目的に設計されていない。そこで，以下ではできるだけ安定していると思われるデータを抽出して解析した. この期間で元記事から完成まで普通に制作されたと推定できる記事は 4,164 件であった ${ }^{19}$.

## 7.2.1記者と日本語教師の平均ターン数

やさしい日本語のニュースは元記事を記者と日本語教師が交代で記事を書き換えて作成する.書き換え稿の数, ターン数は6.1.1 項で述べた書き換えの停滞, あるいは逆数を取ると日本語教

師と記者の互いの仕事への理解度合いの指標になると考えた。そこで，上記の 4,164 記事から，典型的と考えられる

$
\text { 記者 } \rightarrow(\text { 記者 } \mid \text { 日本語教師 })^{\star} \rightarrow \text { 編集責任者確認用 }
$

のパターンに従って書き換えられた記事 3,215 本を抽出した. そして各記事の最初の記者の書き換えから編集責任者確認用までの書き換え稿の数を算出し，これをターン数として月ごとに平均を計算した，通常，最短で「記者 $\rightarrow$ 日本語教師 $\rightarrow$ 編集責任者確認用」の 3 つの書き換え稿，すなわち 3 ターンが必要となる.

図 6 に結果を示す. NEWS WEB EASY 開始時の 2012 年 4 月の平均ターン数は 5 に近いが半年後の 2012 年 10 月には 3 近くにまで減少し, その後同じような数が続いている. すなわち,開始から半年程度で停滞が減少，あるいは互いの仕事への理解が深まったことを示唆していると考える20。アンケートの結果と本項の結果より，書き換え支援システムは書き換えの停滞の解消に効果があったと考える.

## 7.2 .2 平易化レベルの保証

平易化レベルの保証に対する書き換えエディタの効果は，文長と難語率を元記事とやさしい日本語のニュースで比較することでおよそ評価できる。 そこで，各月の平均文長と平均難語率

図 6 平均ターン数

20 記事の書き換え時間のログの分析も試みたが, 1 日の制作記事数が決まっていて, 制限時間内であれば時間をかけられること, 待ち時間, 休憇時間などの影響が見積もれないことから解析は困難と考え実施しなかった.

を日本語教師ごとに調査した。調査した記事は全 4,164 件である。また日本語教師はこの期間,延べ 5 名が制作に関わったため，全員について上記の平均を計算した。平均文長と難語率の結果を図 7 および図 8 に示す. 図の左が元記事，右がやさしい日本語のニュースである。

2 つの図を見ると, 平均文長, 平均難語率ともやさしい日本語のニュースの方が元記事より明らかに小さくなっている。 またやさしい日本語の平均文長と平均難語率は, すべての日本語

図 7 平均文長

図 8 平均難語率
教師で似た値となっている。これらの結果は平易化レベルの保証に書き換えエディタが効果的であったことを示したものと考える。

さらに図 7 の平均文長と図 8 の平均難語率のやさしい日本語（右部分）のグラフの横軸方向の変化を観察すると，両者とも特に初期に右下がりの傾向を示している．7.1.1 項の書き換え支援システムの全体のアンケート (2) で担当者は常に書き換えの改善を目指しているという回答を得ており，グラフの右下がり傾向は日本語教師が文長と難語率を強く意識しながら日々書き換えの改善を試みていることの現れと思われる.

## 8 議論

アンケートでは書き換えエディタと読解補助情報エディ夕の機能のほとんどが高頻度に使われていること, また日本語教師, 記者ともに有用性を高く評価していることを示す回答を得た. ターン数のログ解析では，書き換えが初期に比べてよりスムーズに進むようになり，書き換えの停滞の問題が軽減されたこと, 平均文長と平均難語率の分析では, 両者とも元記事より大幅に減少し, 平易化レベルの保証が実現できていたことを確認した.

今後, 新たにやさしい日本語を使った情報提供を行う場合に有用と思われる点を指摘したい.

1 点目は学習機能である. ふりがななどの読解補助情報, 語の難易度推定に学習機能を入れて以来，2つのエディ夕とも特段の保守なしに順調に運用されている。アンケートでも学習機能の効果は高い評価を得た。日々繰り返す作業に自動システムを導入する場合, 学習機能は特に高い効果をもたらすと考える。

2 点目は用例の利用である. 書き換えエディタの用例検索機能は記事数が増え, 有用性が増していることが明らかになった，用例は積極的に利用すべきと考える．ただし，用例検索を利用することは 6.1.3 項で述べたように書き換え原則の開発をユーザが主体的に行うことにつながる. あらかじめ書き換え原則を網羅的に準備できず, ユーザに原則の書き換えを任せてよい場合には用例検索機能は有用と考える.

3 点目は書き換えの説明のしやすさである，当初，記者と日本語教師の共同作業を支援するため, コメント追加, 記事の履歴の保存などの機能を設けた. これらの機能は互いの書き換えの説明の材料になると考えたからである。次に詳述するように，記者と日本語教師の理解が進んだ結果, 彼らの間の説明の必要性はある程度減っているようである。一方, 編集責任者など他の参加者への説明はコメント，履歴などを使って引き続き行われている．書き下ろしでなく元文書を書き換える場合，元文書の作者に説明が必要な場合は多いと考える．また，放送局のように最終的な責任者がいる場合その人への説明も必要となる．書き換えの説明をしやすいシステムにしておくのが 1 つの要点と考える。

最後に日本語教師と記者の相互の理解の深まりから見たシステムの今後について触れたい.

アンケートによると開始から 5 年を経て日本語教師と記者の互いの知識の理解が進んだことが明らかになった．例えば，語難易度表示に関する記者へのアンケートに
- 最近では難しい単語はだいたい分かるようになったため以前ほどこの表示に頼らなくなった

という回答があったことを 7.1.2 項で述べた。また日本語教師への追加質問では

・ ニュースの構成がそのままではやさしくしにくい時, 積極的に構成の変更を提案するようになった

という回答を得た。いずれも相互理解が進んだことを示唆している. さらに 7.2 .1 項の平均ター ン数の分析では，相互理解が NEWS WEB EASY の開始から半年程度の間に進んだことを示唆する結果を得た。

記者がやさしい日本語に十分慣れれば，ボーイングの事例と同じく，専門家である記者がシステムの指摘に従って書き換えを進めることが可能になると考える．ただし，新たに担当する記者に，いかにやさしい日本語の知識を伝えるかが問題となる。知識の伝達に関して, 過去に日本語教師が 1 名交代したことがある，新たに参加した日本語教師からは，用例を使ってニュー スのやさしい日本語を学習したとのアンケートの回答があった. 新しい日本語教師と同様に記者が過去の用例を使ってやさしい日本語を学習することは可能だろう.

## 9 おわりに

本稿では NHK のやさしい日本語のニュースの Web サイト NEWS WEB EASY の概要, やさしい日本語の書き換え原則を説明し，続いてやさしい日本語のニュースの制作の体制とプロセス，および制作を支援する書き換えエディ夕と読解補助情報エデイ夕を報告した．書き換えエディタは日本語教師と記者という互いに異なる専門知識を持つ作業者が，専門性を相互補完しながらニュースをやさしい日本語に書き換えるエディタである。書き換えエディ夕には難しい語を指摘する機能があり，ユーザは難しい語の書き換え候補を日々の運用で蓄積された書き換え用例から検索することができる。読解補助情報エディ夕は漢字のふりがな, 辞書付与のための語彙の難易度情報などを自動的に付与する機能を持つ。また自動付与した結果を人手で修正するとその結果を学習することができる。これらのエディタは日々の運用によって用例が蓄積され，学習が進むと性能が向上していく特徴を有している。

また, 2 つのエディタのユーザである日本語教師と記者を対象に, 使用頻度, 有用性, 満足度をアンケートで調査した結果, どちらのエディタも高い評価を得たことを報告した。またログ解析により表現が平易になっていること，平易化は個人によらず同じ程度あったことなどを報告した.

## 謝 辞

本研究を進めるにあたってご協力いただいた NEWS WEB EASY の制作を担当している記者 OB および日本語教師の皆様, および，書き換えエディ夕，および読解補助情報エディ夕を日々運用して NEWS WEB EASY のサービスを実施している NHK 報道局ネットワーク報道部の皆様に感謝します。また日頃より研究の進め方のご指導をいたたく放送技術研究所ヒューマンインターフェース研究部岩城正和部長, 議論していただく同部のみなさまに感謝します.

## 参考文献

Barzilay, R. and Elhadad, N. (2003). "Sentence Alignment for Monolingual Comparable Corpora." In Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing (EMNLP 2003), pp. 25-32.

Bott, S. and Saggion, H. (2012). "Automatic Simplification of Spanish Text for e-Accessibility." In Proceedings of the 13th International Conference on Computers Helping People with Special Needs (ICCHP 2012), pp. 527-534.

Carroll, J., Minnen, G., Pearce, D., Canning, Y., Devlin, S., and Tait, J. (2009). "Simplifying Text for Language-Impaired Readers." In Proceedings of the 9th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2009), pp. 269-270.

Chandrasekar, R., Doran, C., and Srinivas, B. (1996). "Motivations and Methods for Text Simplification." In Proceedings of the 16th International Conference on Computational Linguistics (COLING 1996), Volume II, pp. 1041-1044.

Coster, W. and Kauchak, D. (2011). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669.

Goto, I., Tanaka, H., and Kumano, T. (2015). "Japanese News Simplification: Task Design, Data Set Construction, and Analysis of Simplified Text." In Proceedings of MT Summit XV, Vol. 1, pp. 17-31.

Hoard, J. E., Wojcik, R., and Holzhauser, K. (1992). "An Automated Grammar and Style Checker for Writers of Simplified English." In Holt, P. O. and Williams, N. (Eds.), Computers and Writing State of the Art, Chap. 19, pp. 278-296. Kluwer Academic Publishers.

Inui, K., Fujita, A., Takahashi, T., and Iida, R. (2003). "Text Simplification for Reading Assistance: A Project Note." In Proceedings of the 2nd International Workshop on Paraphrasing (PARAPHRASE 2003), pp. 9-16.
庵功雄（編）(2010). 日本語これだけ！1.ココ出版.

庵功雄（編）(2011).日本語これだけ！2. ココ出版.

庵功雄 (2016). やさしい日本語一多文化共生社会へ. 岩波新書. 岩波書店.

庵功雄, 岩田一成, 森篤嗣 (2009). 「やさしい日本語」を用いた公文書の書き換え. 2009 年度日本語教育学会秋季大会, pp. 135-140.

伊藤彰則, 鹿嶋彰, 前田理佳子, 水野義道, 御園生保子, 米田正人, 佐藤和之 (2008). 「やさし

い日本語」作成支援システムの試作. 平成 20 年度電気関係学会東北支部連合大会, p. 209.岩田一成 (2010). 言語サービスにおける英語指向一「生活のための日本語調査：全国調査」結果と広島の事例から一. 社会言語学, 13 (1), pp. 81-94.

Jonnalagadda, S., Tari, L., Hakenberg, J., Baral, C., and Gonzalez, G. (2009). "Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 177-180.

梶原智之, 山本和英 (2015). 日本語の語彙平易化システムの構築. 情報処理学会第 77 回全国大

会, 2 巻, pp. 167-168.

河原俊昭, 野山広 (2007). 外国人住民への言語サービス. 明石書店.

国際交流基金，日本国際教育協会 (2007).日本語能力試験出題基準改訂版. 凡人社.

Kuhn, T. (2014). "A Survey and Classification of Controlled Natural Language." Computational Linguistics, 40 (1), pp. 121-171.

熊野正, 後藤功雄, 田中英輝, 浦谷則好, 江原暉将 (2001). 翻訳用例提示システムの設計・開

発・運用. 電子情報通信学会, J84-D-II (6), pp. 1175-1184.

熊野正, 田中英輝 (2014). Dependent Dirichlet Process を用いた日本語文書へのタグづけのオンライン学習. 言語処理学会第 20 回年次大会, pp. 1075-1078.

熊野正, 田中英輝 (2016). 統計機械翻訳によるやさしい日本語書き換えの性能向上. 言語処理学会第 22 回年次大会, pp. 713-716.

松田真希子 (2010). やさしい日本語への自動言い換えシステムの開発. 2010 年度日本語教育学会春季大会予稿集, pp. 91-93.

Mitamura, T. and Nyberg, E. (2001). "Automatic Rewriting for Controlled Language Translation." In Proceedings of the NLPRS 2001 Workshop on Automatic Paraphrasing: Theory and Application, pp. 1-12.

Miwa, M., Sætre, R., Miyao, Y., and Tsujii, J. (2010). "Entity-Focused Sentence Simplification for Relation Extraction." In Proceedings of the 23rd International Conference on Computational Linguistics (COLING 2010), pp. 788-796.

Nelken, R. and Shieber, S. M. (2006). "Towards Robust Context-Sensitive Sentence Alignment
for Monolingual Corpora." In Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2006), pp. 161-168.

野本忠司 (2016). リーダビリティー研究の 100 年. 情報処理学会研究会資料, 2016-DC-101 号, pp. $1-7$.

Pressman, R. S. (2005). 実践ソフトウエアエンジニアリング. 日科技連.

佐藤和之 (2004). 災害時の言語表現を考える. 日本語学, 23 (8), pp. 34-45.

Shardlow, M. (2014). "A Survey of Automated Text Simplification." International Journal of Advanced Computer Science and Applications (IJACSA), Special Issue on Natural Language Processing, pp. 58-70.

Siddharthan, A. (2002). "An Architecture for a Text Simplification System." In Proceedings of the Language Engineering Conference 2002 (LEC 2002), pp. 64-71.

Siddharthan, A. (2003). Syntactic Simplification and Text Cohesion. Ph.D. dissertation, University of Cambridge.

Siddharthan, A. (2014). "A Survey of Research on Text Simplification." International Journal of Applied Linguistics, 165 (2), pp. 259-298.

田近洵一 (編) (2011). 例解小学国語辞典第 5 版. 三省堂.

田中英輝, 美野秀弥 (2010). やさしい日本語によるニュースの書き換え実験. 情報処理学会研究会資料, 2010-NL-199-9 号, pp. 1-6.

田中英輝, 美野秀弥 (2016). ニュースのためのやさしい日本語とその外国人日本語学習者への効果. 情報処理学会論文誌, 57 (10), pp. 2284-2297.

田中伊式 (2012).「この事件は〜したものです」などの表現をめぐって. 放送研究と調査, pp. 72-82.

Vickrey, D. and Koller, D. (2008). "Sentence Simplification for Semantic Role Labeling." In Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL-08: HLT), pp. 344-352.

Watanabe, W. M., Candido Jr., A., Uzêda, V. R. d., Fortes, R. P. d. M., Pardo, T. A. S., and Aluísio, S. M. (2009). "Facilita: Reading Assistance for Low-literacy Readers." In SIGDOC' 09 Proceedings of the 27th ACM International Conference on Design of Communication, pp. 29-36.

米倉律, 谷正名 (2012). 国内在住外国人のメディア環境とメディア行動一 4 国籍の外国人向け電話アンケート調査から一. 放送研究と調査 Aug., pp. 62-75.

## 略歴

田中＼cjkstart英輝：1982 年九州大学工学部電子工学科卒業. 1984 年同大学院修士課程修了. 同年 NHK 入局, 1987 年放送技術研究所研究員. (株) 国際電気通信基
礎技術研究所 (ATR) 出向. 同音声翻訳通信研究所主任研究員, 音声言語コミュニケーション研究所室長を経て, 現在, 放送技術研究所ヒューマンインターフェース研究部上級研究員。テキストの平易化，機械翻訳などの自然言語処理の研究に従事. 博士 (工学).

熊野正：1993 年東京工業大学工学部情報工学科卒業. 1995 年同大学院理工学研究科情報工学専攻修了. 同年 NHK 入局.（株）国際電気通信基礎技術研究所 (ATR) 音声言語通信研究所および同音声言語コミュニケーション研究所出向を経て, 現在, 放送技術研究所ヒューマンインターフェース研究部主任研究員. 自然言語処理・音声言語処理の研究開発に従事.

後藤功雄：1995 年早稲田大学理工学部電気工学科卒業. 1997 年同大学院理工学研究科修士課程修了. 2014 年京都大学大学院情報学研究科博士課程修了.博士 (情報学)，1997 年 NHK 入局，（株）国際電気通信基礎技術研究所 (ATR) および国立研究開発法人情報通信研究機構出向を経て, 現在, 放送技術研究所ヒューマンインターフェース研究部にて自然言語処理の研究に従事.

美野秀弥：2002 年東京工業大学情報理工学部計算工学科卒業. 2004 年同大学院情報理工学研究科修士課程修了. 同年 NHK 入局, 北見放送局, 国立研究開発法人情報通信研究機構出向を経て, 現在, 放送技術研究所ヒューマンインターフェース研究部研究員. 自然言語処理の研究に従事.