# 人手書き起こしの知識を用いた音声認識誤りに頑健な機械翻訳

福田りょう 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{fukuda.ryo.fo3, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

一般的な音声翻訳システムは, 発話をテキスト化する音声認識モデル (ASR) と,テキストを他言語へ翻訳する機械翻訳モデル (MT) を持つ.こうしたシステムにおいて, MT が入力として受け取る ASR 出力には音声認識誤りが含まれることがあり, 翻訳精度低下の原因となる。

本研究では, 高精度かつ音声認識誤りに対して頑健な音声翻訳システムの実現を目的とし, 人手の書き起こしと ASR の出力を効果的に組み合わせた機械翻訳モデルの学習手法を提案する. 具体的には, 書き起こしを入力として学習した MT の出力を教師信号として, ASR 出力を入力とする MTを学習する.これは, 高品質な対訳で学習した教師モデルの知識を実環境用のモデルへ引き継ぐ知識蒸留であり, 高い翻訳精度を維持しつつ音声認識誤りに対して頑健になることを期待するものである.

実験では, 書き起こしと音声認識誤りを混合して学習させたモデルに対して, およそ $0.5 \mathrm{pt}$ の BLEU スコア向上を示した. また, ドメイン適応学習の手法である Fine-tuning との併用を検討し, より高い翻訳精度が得られることを確認した。

## 2 関連研究

音声翻訳システムにおける, ASR 出力の曖昧性や音声認識誤りを考慮した機械翻訳の研究がこれまで多く行われている. Sperber ら [1] は ASR のラティス構造を, Osamura ら [2] は ASR の出力分布をニュー ラル機械翻訳 (NMT) の入力として用いることで, ASR 出力の曖昧性を考慮する翻訳手法を提案した. Sperber ら [3], Xue ら [4] は, 対訳の原言語文に擬似的な音声認識誤りを含ませることで, 音声認識誤りに対する翻訳精度が向上することを示した。

知識蒸留 (Knowledge Distillation) [5, 6] は, 機械学習において教師モデルの出力を生徒モデルに模倣させる学習手法であり, よりパラメータの多い複雑なモ

(a) Knowledge Distillation

(b) Fine-tuning

図 1 本稿の学習方式.

デルから軽量なモデルへ, あるいは高機能で低速なモデルから高速なモデルへといった形で利用されてきた.

また, 低資源下における機械翻訳の学習手法としてドメイン適応 (Domain Adaptation) [7] が知られている.ドメイン適応は, 対訳データの少ない対象ドメインの翻訳学習に, 外部ドメインの対訳データや対象ドメインの単言語データを利用する手法である。

Di Gangi ら [8] は, 話し言葉機械翻訳において, 書き起こしと ASR 出力を併用したドメイン適応学習を行うことで，一方のみを用いた場合と比較して翻訳精度が向上することを示した. 本研究では, 書き起こしと ASR 出力のより効果的な活用を目指し, 知識蒸留に基づく学習, 及びドメイン適応との併用を検討した.

## 3 提案手法

## 3.1 知識蒸留

知識蒸留を用いた学習の概略を図 1(a) に示す.まず教師モデル $\left(N M T_{\text {teacher }}\right)$ として, 人手による書き起こし $\left(X_{\text {gold }}\right)$ を入力とした機械翻訳を学習する。
表 1 Fisher データセットのデータ統計. 対訳文の数と, 前処理後のファイルのトークン数. Dev, Test データにおいては 4 通りの Disfluent translation, 2 通りの Fluent translation がそれぞれ用意されている

続いて, 生徒モデル $\left(N M T_{\text {student }}\right)$ として ASR 出力 $\left(X_{a s r}\right)$ を入力とした機械翻訳を学習する.この時, 出力 $\left(Y_{\text {asr }}^{\prime}\right)$ が教師モデル $\left(Y_{\text {gold }}^{\prime}\right)$ と同一になるように交差エントロピー損失の最小化が行われる. 知識蒸留の手法として sequence-level knowledge distillation [9] を用いる.これは, 教師モデルの出力分布を学習する word-level knowledge distillation と対照的に, 教師モデルでビーム探索を行い, 決定した出力トークンの系列を学習する方式である. また, 教師と生徒のモデル構造は同一とする.つまり一般的な知識蒸留が「"強い"モデルの知識を"弱い"モデルへ蒸留する」ことに対し,ここでは「"強いデータ"で学習したモデルの知識を"弱いデータ"で学習するモデルへ蒸留する」ことを行う。

## 3.2 ドメイン適応

今回, ドメイン適応の典型的な手法である Multi-domain 学習 [7] と Fine-tuning [10] を検討した. Multi-domain 学習はドメイン外データとドメイン内データを混合して学習に用いる手法である。 Fine-tuning は, ドメイン外データでモデルを事前学習後, ドメイン内データで追加学習を行う手法である. 図 1(b) に Fine-tuning による学習の概略を示す. 上段では, 人手による書き起こしを入力としてニューラル機械翻訳 (NMT) の事前学習を行い, 後段では, ASR 出力を大力として $N M T$ を追加学習する.

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

実験には, IWSLT 2020 Conversational Speech Translation [11] の Fisher データセットを使用して, スペイン語から英語へのテキスト翻訳を学習する.これは, 160 時間のスペイン語会話音声とその書き起こし (Gold transcript) である LDC Fisher Spanish speech コー パス [12] に ASR 出力 (ASR output) と英語の翻訳テ
キスト (Disfluent translation) [13], フィラーや言い淀みなどを除去した流暢な英語の翻訳テキスト (Fluent translation) [14] を加えたマルチウェイ対訳データセットである. その中で, 今回は Gold transcript, ASR outputを入力として, Fluent translation を出力として用いた. データ統計を表 1 に示す.

## 4.1.2 モデル

Transformer [15] を構築した. Transformer の構成およびハイパーパラメータは transformer_base [15] に準じる. Encoder, Decoder はそれぞれ 6 層とし,トークンの埋め込みべクトル, 各層の隠れ状態べクトル, フィードフォーワードネットワークの次元数をそれぞれ 512, 512, 2048 とした. サブレイヤの dropout は 0.1 の確率で行い, Multi-head attention のヘッド数は 8 とした. 最適化アルゴリズムは Adam を使用し, そのパラメータを $\beta_{1}=0.9, \beta_{2}=0.997$ に設定の上, 学習率の初期値を 0.0007 として Vaswani ら [15] の方法で学習率を変化させた. ミニバッチのサイズは 4096 トークンとして, 8 個積み重ねて 1 回更新することを学習が収束するまで行った. モデルは 5000 回更新する毎に Dev セットで損失を計算し, 最終的に最も小さい値を獲得したモデルでテストを行った. またデータは, subword-nmt ${ }^{2}$ を用いて Byte Pair Encoding (BPE) によるサブワード分割 [16] を行った. 語彙数はそれぞれ最大およそ 8000 に設定している。

実験では,ベースラインとして
- Single ${ }_{\text {gold }}$ : Gold transcript で学習したモデル
- Single $_{a s r}$ : ASR output で学習したモデル

を用意した. また, ドメイン適応手法として

データを混合した Multi-domain 学習モデル
- $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ : Single gold に対し ASR output で追加学習を行った Fine-tuning モデル

を作成した. また知識蒸留は ASR outputを入力とし，

表 2 BLEU スコアによる翻訳精度の比較.†はベースラインモデル Single $_{\text {asr }}$, ‡は Fine-tuning モデル FT $_{\text {gold } \rightarrow \text { asr }}$ より有意に高いことを示す(いずれも $p<0.05)$.

- $\mathrm{KD}_{\text {gold }}$ : Single gold の出力を教師信号として学習したモデル

して学習したモデル
- $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ : Single gold $^{\mathrm{K}^{2}} \mathrm{KD}_{\text {gold }}$ の方式で追加学習を行う, Fine-tuning と知識蒸留を組み合わせたモデル

を作成した. Dev セットで検証する際には, ASR output の入力に対して行い, 出力を 2 通りの Fluent translation で評価した. Test セットによる評価時は, Gold transcript と ASR outputを入力とし, 2 通りの Fluent translation (Fisher/Test0, Fisher/Test1) それぞれに対して BLEU スコアを測定した. また, ベースラインと提案手法間でブートストラップ再サンプリング方式による BLEU スコアの有意差検定 [17] を行った. 実装は util-scripts の paired-bootstrap.py ${ }^{3}$ を使用し, 有意水準を $5 \%$ とした.

## 4.2 実験結果

実験結果を表 2 に示す. ベースライン同士を比較

訳精度である一方, ASR outputを入力した場合にお

よって結果が大きく変化せず,いずれも Single gold に Gold transcript を入力した場合を $9 \mathrm{pt}$ 程度下回った.書き起こしを入力として学習した MT は, 高い翻訳能力を獲得し得るが, 音声認識誤りに対する頑健性が低い. 反対に, 音声認識誤りを含む入力を用いて学習した MT は, 音声認識誤りに頑健であるものの基本となる翻訳能力が低い. そのため実用の場面で ASR output を入力することを想定した場合, 両モデ

図 2 ベースラインモデル Single $_{\text {asr }}$ と, 知識蒸留を行った提案手法 $\mathrm{KD}_{\text {gold }}$ の学習曲線の比較.

ルはおよそ対等であると言える。

また Single gold と比較して,ドメイン適応を行った 2 手法 (Multi gold\&asr, $\mathrm{FT}_{\text {gold } \rightarrow \text { asr }}$ ) は, Gold transcript に対する精度が 1 2pt 低下する代わりに ASR output に対する精度が 0.7 0.9pt 向上した. これは人手の書き起こしと ASR 出力を併用した学習が, 翻訳精度向上に効果的であることを示している。

## 4.2.1 知識蒸留の効果

$\mathrm{KD}_{\text {gold }}$ は, ASR output に対する翻訳精度がベースラインやドメイン適応のモデルより有意に高く, 知識蒸留の有用性を示している. Single ${ }_{\text {asr }}$ と比較した時, 学習の差は教師信号を人手による参照訳から Single $_{\text {gold }}$ の出力に変更した点である.この変更で， ASR output に対しおよそ $1 \mathrm{pt}$ の向上が観測された. その理由として, MTを通すことで自然発話の多様性または複雑性が失われ, 学習の難しさが緩和されたことが考えられる. 実際に, 学習時の損失の変化を示した図 2 では, $\mathrm{KD}_{\text {gold }}$ がより低い位置で推移していることが見て取れる. しかし, 反対に Gold transcript に対しては $1 \mathrm{pt}$ の低下があった. 教師として与えた MT 出力と Test セットの人手による参照訳との間で

成例. 上の例で, Single ${ }_{a s r}$ は音声認識誤り (“sur”) を直訳 (“South”) したが, FT + $\mathrm{KD}_{\text {gold }}$ はこれを無視した. また ASR output が記号や大文字を含まないことも翻訳精度低下の原因になりうる. 下の例で, 記号 (“i”, “?”)を含まない疑問文に対し, Single $_{\text {asr }}$ は平叙文を訳出したが, $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ では疑問符を回復した.

表 4 知識蒸留における教師モデルの出力の BLEU ス

生じた分布の差異がこの原因として考えられる.

他方, $\mathrm{KD}_{\text {gold\&asr }}$ は, 大きく精度が低下した.知識蒸留を行ったそれぞれの教師モデル (Single gold , Multi ${ }_{\text {gold\&asr }}$ ) の Train データにおける BLEU スコアを表 4 に示す. Train データに対し，両者には $10 \mathrm{pt}$ 近いスコアの差がある. Multi ${ }_{\text {gold\&asr }}$ は Single $_{\text {gold }}$ と比べて, ASR output に頑健であるが, Gold transcript の翻訳精度は低い.このことから, 生徒モデルの教師となるデータにはある程度の高品質さが求められることが分かる.

## 4.2.2 知識蒸留とドメイン適応の併用

知識蒸留と Fine-tuning を組み合わせた $\mathrm{FT}+\mathrm{KD}_{\text {gold }}$ は, ASR output に対し最も高い翻訳精度を達成し， ベースラインと比較して $1 \mathrm{pt}$ 程度の向上が確認された. 生成例の比較を表 3 亿示す. また知識蒸留のみ行ったモデルと比較して, Gold transcript に対する翻訳精度が大きく向上しており, Single gold の基本翻訳性能の高さを引き継ぎながら音声認識誤りに対する頑健性を獲得できたと言える. Fine-tuning はパラメータを, 知識蒸留は出力の知識を, それぞれ事前学習モデルや教師モデルから引き継ぐ. このように両者は異なる情報を継承するため, 併用することでそれぞれを単体で用いたモデルより高い評価値を得た.

## 5 おわりに

本研究では, 書き起こしテキストと ASR 出力の併用による機械翻訳モデルの学習手法を検討した. 実験では, 知識蒸留とドメイン適応が音声認識誤りへの頑健性獲得のために有効であることを示し, 更にこれらを併用することでより高い翻訳精度を達成できることを確認した。

今後の課題として, まず ASR 出力の精度による提案手法の有効性の変化を検証する. 今回用いた ASR 出力は, HMM に基づく音声認識モデルによるものであり, Fisher/Test に対し WER 36.5pt [13] と比較的多くの誤りを含んでいる.より音声認識誤りの少ない ASR 出力に対しても本研究の手法が有効であるかどうかを確認したい. また, 学習手法についても広範に検証を行っていく必要がある. 例えばドメイン適応の一手法である Multi-domain 学習にも, 文頭にドメインタグを付加して区別させる方法やドメイン間のデータ数を揃える upsampling や downsampling など数多くの変種が存在する. 知識蒸留では, word-level knowledge distillationを用いてより豊富な知識を継承することで更なる向上が期待できる.

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである.

## 参考文献

[1] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural lattice-to-sequence models for uncertain inputs. arXiv preprint arXiv:1704.00559, 2017.

[2] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. architecture, Vol. 21, p. 22, 2018

[3] Matthias Sperber, Jan Niehues, and Alex Waibel. Toward robust neural machine translation for noisy input sequences. In International Workshop on Spoken Language Translation (IWSLT), 2017.

[4] Haiyang Xue, Yang Feng, Shuhao Gu, and Wei Chen. Robust neural machine translation with asr errors. In Proceedings of the First Workshop on Automatic Simultaneous Translation, pp. 15-23, 2020.

[5] Cristian Buciluă, Rich Caruana, and Alexandru NiculescuMizil. Model compression. In Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 535-541, 2006.

[6] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[7] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 385-391, 2017.

[8] Mattia Antonino Di Gangi, Robert Enyedi, Alessandra Brusadin, and Marcello Federico. Robust neural machine translation for clean and noisy speech transcripts. arXiv preprint arXiv:1910.10238, 2019.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. arXiv preprint arXiv:1511.06709, 2015.

[11] Ebrahim Ansari, Nguyen Bach, Ondřej Bojar, Roldano Cattoni, Fahim Dalvi, Nadir Durrani, Marcello Federico, Christian Federmann, Jiatao Gu, Fei Huang, et al. Findings of the iwslt 2020 evaluation campaign. In Proceedings of the 17th International Conference on Spoken Language Translation, pp. 1-34, 2020.

[12] David Graff, Shudong Huang, Ingrid Cartagena, Kevin Walker, and Christopher Cieri. Fisher spanish speech (ldc2010s01). Web Download. Philadelphia: Linguistic Data Consortium, 2010.

[13] Matt Post, Gaurav Kumar, Adam Lopez, Damianos Karakos, Chris Callison-Burch, and Sanjeev Khudanpur. Improved speech-to-text translation with the fisher and callhome spanish-english speech translation corpus. In Proc. IWSLT, 2013.

[14] Elizabeth Salesky, Matthias Sperber, and Alex Waibel. Fluent translations from disfluent speech in end-to-end speech translation. arXiv preprint arXiv:1906.00556, 2019.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. arXiv preprint arXiv:1508.07909, 2015.

[17] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 conference on empirical methods in natural language processing, pp. 388-395, 2004.


# 画像生成による疑似教師データを用いた マルチモーダルニューラル機械翻訳

岩本 裕司 ${ }^{1}$ 田村 晃裕 ${ }^{2}$ 二宮崇 ${ }^{1}$
1 愛媛大学 2 同志社大学
${ }^{1}$ \{iwamoto@ai., ninomiya@\}cs.ehime-u.ac.jp ${ }^{2}$ aktamura@mail.doshisha.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳（Neural Machine Translation; NMT）の性能を向上させる手段の 1 つとして，マルチモーダルニューラル機械翻訳 (Multimodal Neural Machine Translation; MNMT) が注目されている. MNMT は翻訳元の文（原言語文）だけでなく関連画像も用いることで，これらの画像を手がかりに状況に即したより自然な翻訳文 （目的言語文）を生成することを目的としている. MNMT モデルの学習には通常，対訳テキストデー 夕に加えて関連画像が必要となるが，そのような原言語文, 目的言語文, 関連画像で構成される 3 つ組の対訳データは通常の対訳データに比べ非常に小規模なものしか存在していない。また，通常の対訳データに比べ，MNMT 学習のための 3 つ組データが存在する言語ぺアや領域は非常に限られている.

本研究では，従来の MNMT 用学習データ（3つ組データ）に比べて比較的入手が容易な対訳テキストデータと，原言語側の画像キャプションデータから MNMT の学習を行う方法を提案する. 提案手法では，まず対訳テキストデータから NMT モデルを学習し，画像キャプションデータの原言語文を NMT モデルで翻訳することで初期疑似 3 つ組データを生成する. 次に, MNMT モデルと, 対訳文ペアから画像を生成する text-to-image（T2I）モデルの 2 つのモデルを，初期擬似 3 つ組データから学習し，両モデルを初期化する．最後に，T2I モデルと MNMT モデルを逆翻訳形式のフレームワークを用いて交互に再学習する. このフレームワークでは, MNMT モデルは対訳テキストデータと T2I モデルによって生成された画像による疑似 3 つ組データで学習し, T2I モデルは画像キャプションデータと MNMT モデルによって生成された目的言語文による疑似 3 つ組データで学習する。実験では，学習データとして Multi30kデータセット [1] の英独対訳テキストデータと MSCOCO デー タセット [2] の画像キャプションデータを用いた. そして，テストデータとして Multi30kテストデータセットを用いて，英独翻訳タスクで提案手法の評価を行った. その結果, 提案の MNMT モデルは大力画像を用いない NMT モデルよりも優れた翻訳性能を持つことを確認し（+1.38 BLEU スコア），提案する逆翻訳形式の学習方法は MNMT の翻訳性能を向上させる（+2.8 BLEU スコア）ことが示された. また，実験を通じて，提案の学習方法により訓練された MNMT は, 真の 3 つ組データ（Multi30K訓練デー タセットの 3 つ組データ）から訓練された MNMT モデルよりも優れていることが示された. さらに， WMT14 データセットおよび GoodNews データセッ卜[3]を用いた事前学習を行った結果，翻訳精度がさらに改善される（+1.07 BLEU スコア）ことが示された。

## 2 関連技術

## 2.1 Transformer ベースの MNMT

近年，ニューラルネットワークをべースとしたモデルがマルチモーダル機械翻訳のためによく用いられており，特に Transfomer NMT モデル [4] をマルチモーダル機械翻訳に拡張した Transformer ベースの MNMT モデル [5] が非常に高い性能を実現している. 本研究でも Transformer ベースの MNMT モデルを使用する。

本研究で使用する Transformer ベースの MNMT モデルの構造を図 1 に示す.このモデルは， Transformer NMT モデルに入力画像用のエンコーダが追加され，画像エンコーダ，テキストエンコー ダ，テキストデコーダで構成されている。また，テキストエンコーダには，画像特徵と原言語文の各単

入力画像

入力文

(予測済み)

図 1: MNMT モデルの構造

語との関係の強さを計算する視覚的注意機構 [6] が組み込まれている. 画像エンコーダは，まず入力画像から CNN を用いて画像特徴量を抽出し，その後，線形変換を施すことで画像を画像特徴ベクトルにエンコードする。なお，本研究では CNN として ResNet50 [7] を用いた. テキストエンコーダとテキストデコーダは，テキストエンコーダ内の各レイヤーが，画像と原言語文の各単語との間のマルチヘッドアテンション（視覚的注意機構）を有することを除いて，Transformer NMT と同じである.

## 2.2 Text-to-Image モデル

Text-to-Image（T2I）モデルは，入力として文およびランダムノイズを受け取り，受けとった文の意味に沿った本物に近い画像を生成するモデルである. ランダムノイズは，背景やオブジェクトの位置，向きなどの，文には現れない情報を決定するために入力される. T2I モデルは敵対的生成ネットワークを用いて学習され，主に画像を生成する生成器と，画像が本物であるかを識別する識別器の 2 つのモデルで構成されている。

従来の T2I モデルでは，1 つの文から 1 つの画像を生成する. しかし，本提案手法では対訳テキスト （原言語文と目的言語文）から 1 つの画像を生成する T2I モデルを用いる。具体的には，最先端の T2I モデルの 1 つである AttnGAN モデル [8] をバイリンガルな設定（対訳文ペアを入力にするモデル）に拡

張する. 本研究では， AttnGAN のテキストエンコー ダーと注意機構を改良し，AttnGAN をバイリンガルな設定に拡張する。以降では，改良したAttnGANを BiAttnGAN と呼ぶ. BiAttnGANでは，原言語文と目的言語文のそれぞれに対してエンコーダと注意機構を導入し，これら２つのエンコーダと注意機構の出力をそれぞれ連結したものを生成器と識別器で用いる。具体的には，原言語／目的言語文エンコーダ $E n c_{s r c / t g t}$ は，以下の式のように原言語／目的言語文 $x_{s r c / t g t}$ を単語特徴量 $e_{s r c / t g t}$ と文特徴量 $\bar{e}_{s r c / t g t}$ に符号化する。

$
\begin{array}{r}
e_{s r c}, \bar{e}_{s r c}=E n c_{s r c}\left(x_{s r c}\right) \\
e_{t g t}, \bar{e}_{t g t}=E n c_{t g t}\left(x_{t g t}\right)
\end{array}
$

そして，2つの特徴量を連結したもの（[ $\left.e_{s r c} ; e_{t g t}\right]$ や $\left[\bar{e}_{s r c} ; \bar{e}_{t g t}\right]$ ）をテキスト特徴量として用いる.また，以下のように注意機構を用いて，画像とテキストとの関連性を反映した画像特徴量 $h^{\prime}$ を用いる.

$
h^{\prime}=\left[\operatorname{Attn}_{s r c}\left(h, e_{s r c}, e_{s r c}\right), \operatorname{Attn}_{t g t}\left(h, e_{t g t}, e_{t g t}\right)\right]
$

ここで，hと Attnは，それぞれテキストエンコーダの隠れ状態と注意機構である。

## 3 MNMT のための逆翻訳学習

本節では, 対訳テキストデータ $B=\left(B_{s r c}, B_{t g t}\right)$ と,原言語側の画像キャプションデータ $C=\left(C_{i m g}, C_{s r c}\right)$ から MNMT モデルを学習する手法を提案する．以降は，接尾辞の $s r c, t g t, i m g$ は，それぞれ原言語文，目的言語文，画像を表す. 提案手法の流れをアルゴリズム 1 に示す. 本手法では，まず対訳テキストデータから NMT モデルを学習し，学習した NMT によって原言語側の画像キャプションデータのキャプション文を翻訳することで，初期疑似 3 つ組デー タを生成する (1 行目). 次に，生成した初期擬似 3 つ組データを用いて MNMT モデルと T2I モデルの初期化を行う（2 行目）. 最後に，MNMT モデルと T2I モデルを交互に反復逆翻訳フレームワークを用いて際学習する $(3 \text { から } 5 \text { 行目 })^{1)}$.

## 3.1 モデルの初期化

逆翻訳形式による学習の準備として，Transformer ベースの MNMT モデルと BiAttnGAN モデルの初期化を行う. これらの初期化に用いる 3 つ組データは，Transformer NMT を用いて擬似的に作成する。

1）実験では，アルゴリズム 1 の 3 行目における $\mathrm{N}$ の值は 15 に設定した.

## アルゴリズム 1：学習アルゴリズム

入力 : $B=\left(B_{s r c}, B_{t g t}\right), C=\left(C_{s r c}, C_{i m g}\right)$

1. 初期擬似 3 つ組データの生成：まず，NMT モデル $P_{s r c \rightarrow t g t}$ を $B$ から学習する. その後, 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{\text {img }}\right)$ を生成する. ただし $C_{t g t^{\prime}}=P_{s r c \rightarrow t g t}\left(C_{s r c}\right)$ である.

2. モデルの初期化：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(0)}$ と $\mathrm{T} 2 \mathrm{I}$ モデル $P_{(s r c, t g t) \rightarrow i m g}^{(0)}$ を初期擬似 3 つ組データ $\left(C_{s r c}, C_{t g t^{\prime}}, C_{i m g}\right)$ を用いて学習する。

## 3. for $k=1$ to $\mathbf{N$ do}

4. MNMT の再学習：MNMT モデル $P_{(s r c, i m g) \rightarrow t g t}^{(k)}$ を擬似 3 つ組データ $\left(B_{s r c}, B_{i m g^{\prime}}, B_{t g t}\right)$ を用いて再学習する。

5. ただし $B_{i m g^{\prime}}=P_{(s r c, t g t) \rightarrow i m g}^{(k-1)}\left(B_{s r c}, B_{t g t}\right)$ である. T2I の再学習：T2I モデル $P_{(s r c, t g t) \rightarrow i m g}^{(k)}$ を擬似 3 つ組データ $\left(C_{s r c}, C_{\text {img }}, C_{t g t^{\prime}}\right)$ を用いて再学習する. 6. end ただし $C_{t g t^{\prime}}=P_{(s r c, i m g) \rightarrow t g t}^{(k-1)}\left(C_{s r c}, C_{i m g}\right)$ である.

まず，対訳テキストデータから Transformer NMT モデルを学習する。 そして，学習させた NMT モデルを用いて，原言語側の画像キャプションデータのキャプション文を目的言語の文に翻訳する。このようにして作成した初期擬似 3 つ組データを用いて， MNMT モデルおよび BiAttnGAN モデルを学習することで，両モデルの初期化を行う.

## 3.2 MNMT の再学習

MNMT モデルの再学習では, BiAttnGAN モデルを用いて再学習を行う。まず，BiAttnGAN モデルを用いて，対訳テキストデータの各対訳文ペアから画像を生成する. 次に, 対訳テキストデータと生成した画像で構成される疑似 3 つ組データから MNMT モデルを学習する。学習では, 原言語文と生成画像から予測された目的言語文 $y$ が疑似 3 つ組データの目的言語文 $t$ と同じになるように，以下のクロスエントロピー損失 $L_{M}$ を最小化する.

$
L_{M}=-\sum_{i=0}^{l-1} t_{i} \times \log P\left(y_{i}\right)
$

ここで，lは目的言語文の長さである.

## 3.3 T2I の再学習

BiAttnGAN モデルの再学習では, MNMT モデルを用いて再学習を行う．まず，MNMT モデルを用いて，画像キャプションデータから目的言語文を生成する. 次に，画像キャプションデータと生成した疑似目的言語文で構成される擬似 3 つ組データから BiAttnGAN モデルを学習する。

学習では，原言語文と擬似目的言語文から生成された画像 $y_{i m g}$ と, 本物画像 $t_{i m g}$ が同じになるように，次のクロスエントロピー損失 $L_{G}$ を最小化する.

$
L_{G}=-\frac{1}{2} \log P_{R}\left(y_{i m g}\right)-\frac{1}{2} \log P_{S}\left(y_{i m g}, x_{s r c}\right)
$

ここで， $P_{R}$ は生成された画像が本物かどうかを表す確率であり， $P_{S}$ は生成された画像と文が一致するかどうかを表す確率である.

## 4 実験

## 4.1 実験設定

本提案手法を英独翻訳による実験で評価した。実験では，Multi30k データセット [1] の英独対訳文 29,000 文対と，画像ごとに 5 つのキャプションが付与されている MS COCO 2014 データセット [2] の 82,783 枚の画像とそのキャプションを，2 種類の学習データセット（対訳テキストデータと画像キャプションデータ）として使用した. Multi30k デー タセットの開発データ (1,014 組) とテストデータ (1,000 組)をそれぞれ開発データとテストデータとして使用した. Multi30k データセットの各データは原言語文, 目的言語文, 画像の 3 つ組で構成されるが，提案手法の学習では目的言語文は使用していないことに注意されたい。

また，提案手法を事前学習に用いる場合の有効性を調べるため，Multi30k データセットとは異なるドメインの大規模データセットを用いて MNMT モデルを事前学習した場合の性能も評価した．事前学習では，対訳テキストデータとして WMT14 英独デー タセットを，画像キャプションデータセットとして GoodNews データセットを用いた.

初期擬似 3 つ組データを生成する際に用いる Transformer NMT モデルのハイパーパラメータと, Transformer ベースの MNMT モデルのハイパーパラメータは，Vaswani ら [4] に倣い，レイヤー数を 6 層, 注意機構のヘッド数を 8 個, 隠れ層の次元数
表 1: 実験結果

を 512 に設定した。また，BiAttnGAN のハイパーパラメータに関しては，オリジナルの AttnGAN [8] に倣い, 生成器の次元数を 48, 識別器の次元数を 96 とした. 最適化手法としては Adam [9] を使用した. BiAttnGAN モデルは，ミニバッチサイズ 32 とし, エポック数は初期化時は 100 , 再学習時は 15 で実験を行った. Transformer NMT モデルは，ミニバッチ数を 128 ，エポック数を 40 として学習を行った. そして，Trasformer MNMT モデルは，ミニバッチ数を 128, エポック数は初期化時は 25 , 再学習時は 15 で学習を行った. また, 単語辞書の作成には Byte Pair Encoding [10]を使用し，トークンサイズを英独合わせて 7,000とした. なお，これらの翻訳モデルを用いた目的言語文の推論時には貪欲法を用いた.

## 4.2 実験結果

実験では，次の 6 つのモデルを評価した。(1) 提案 MNMT モデル $\left(M N M T_{\text {prop }}\right)$, (2) 画像入力なし NMT モデル $(N M T)$ ，(3) 初期化時の MNMT モデル $\left(M N M T_{\text {init }}\right)$, (4) 真の 3 つ組データを用いた MNMT モデル $\left(M N M T_{\text {gold }}\right),(5)$ 大規模データセットによる事前学習を行い, 擬似データを用いて教師無し再学習を行った MNMT モデル $\left(M N M T_{\text {pre_un }}\right)$ ， (6) 大規模データセットによる事前学習を行い，真の 3 つ組データを用いて教師あり再学習を行った MNMT モデル $\left(M N M T_{\text {pre_semi }}\right)$ である. $M N M T_{\text {prop }}, N M T$, $M N M T_{\text {init }}, M N M T_{\text {gold }}$ では事前学習を行っていない.また, NMT は, Multi30k データセットの学習データの画像を使わずに対訳文から学習したモデルである. $M N M T_{\text {gold }}$ は, Multi30k データセットの学習データに含まれる 29,000 組の 3 つ組データから学習した MNMT モデルであり， $M N M T_{i n i t}$ は，初期疑似 3 つ組データで学習した MNMT モデル（アルゴリズム 1 の $\left.P_{(s r c, i m g) \rightarrow t g t}^{(0)}\right)$ である.

各モデルの翻訳性能は，開発データの BLEU スコアが最も高いエポックモデルを選択し，テストデー
タの case-insensitive BLEU4 [11] で測定した．実験結果を表 1 に示す.

表 1 から分かる通り，MNMT $T_{\text {prop }}$ は $M N M T_{\text {init }}$ よりも高い性能を示している。このことは，擬似 3 つ組データを用いて MNMT モデルと T2I モデルを交互に学習することで，MNMT の性能が向上することを示している。すなわち，提案手法である逆翻訳形式のフレームワークが有効であることを示している. また, $M N M T_{\text {prop }}$ は $N M T$ よりも性能が優れており，画像情報の有効性が示されている。 さらに，真の 3 つ組データを用いた $M N M T_{\text {gold }}$ よりも，擬似 3 つ組データを用いた $M N M T_{\text {prop }}$ の方が性能が高くなっている。これは擬似画像生成による多様な画像によって学習が行われたためであると考えられ

事前学習を行わないモデルによりも性能が向上しており，提案手法による大規模データセットを用いた事前学習が有効であることを示している.

## 5 まとめ

本研究では，マルチモーダル機械翻訳における低リソース問題を解決するために，対訳テキストデー タと画像キャプションデータから MNMT モデルを学習するための新しい逆翻訳形式のフレームワークを提案した。提案手法では，T2I モデルと MNMT モデルを用いて，一方のモデルにより生成された疑似 3 つ組データに基づいて他方のモデルを学習することで，T2I モデルと MNMT モデルを交互に学習する。英独翻訳タスクでの評価の結果，提案した逆翻訳形式のフレームワークは MNMT の性能を向上させ，提案手法によって学習された MNMT モデルは，真の 3 つ組データから学習した MNMT モデルよりも性能が優れていることが示された. また，提案手法による大規模データセットを用いた事前学習が有効であることも示された. 今後は異なる規模やドメイン，言語対のデータセットを用いた実験を行い，提案手法の有効性を確認したい。

## 謝辞

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである. また，本研究の一部は JSPS 科研費 20K19864 の助成を受けたものである.ここに謝意を表する。

## 参考文献

[1] D. Elliott, S. Frank, K. Sima'an, and L. Specia. Multi30k: Multilingual english-german image descriptions. In Proc. of the 5th Workshop on Vision and Language (VL16), pp. 70-74, 2016.

[2] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pp. 740-755. Springer, 2014.

[3] Ali Furkan Biten, Lluis Gomez, Marcal Rusinol, and Dimosthenis Karatzas. Good news, everyone! context driven entity-aware captioning for news images. In Proc. of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), June 2019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d$ vances in Neural Information Processing Systems 30, pp. 5998-6008, 2017.

[5] Stig-Arne Grönroos, Benoit Huet, Mikko Kurimo, Jorma Laaksonen, Bernard Merialdo, Phu Pham, Mats Sjöberg, Umut Sulubacak, Jörg Tiedemann, Raphael Troncy, and Raúl Vázquez. The MeMAD submission to the WMT18 multimodal translation task. In Proc. of the Third Conference on Machine Translation: Shared Task Papers(WMT18), pp. 603-611, October 2018.

[6] 宅島寛貴, 田村晃裕, 二宮崇, 中山英樹. CNN と Transformer エンコーダを用いたマルチモーダルニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 743-746, 2019.

[7] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), pp. 770-778, 2016.

[8] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan: Fine-grained text to image generation with attentional generative adversarial networks. In Proc. of 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 1316-1324, 2018.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. abs/1412.6980, , 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proc. of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, jul 2002.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 分割統治的ニューラル機械翻訳

加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学
\{kano.yasumasa.kw4, sudoh, s-nakamura\}@is.naist.jp

## 1 はじめに

ニューラル機械翻訳によって、統計的機械翻訳よりも流暢な訳文を生成できるようになった。しかし、長い文を翻訳することは未だ難しく、重複訳や、訳抜けなどが発生する。アテンション機構を用いたニューラル機械翻訳モデルである、Transformer [1]でも、その問題は解決できていない [2]。

統計的機械翻訳では、長い文を短く区切って翻訳し、並べ替えて繫げるという分割統治的な手法でこれらの問題を軽減する試みがあった [3]。ニューラル機械翻訳においては、Pouget-Abadie ら [4] は、長い文を短く区切って、各セグメントをRNNを用いて翻訳した。その後、翻訳されたセグメントを、前から順につなぎ合わせたものを翻訳結果としている。しかし、この手法では、語順が大きく異なる言語対を翻訳する際に、出力文が不自然なものになってしまう。

そこで、本研究では、翻訳されたセグメントを、 セグメントどうしの関係性を表すトークンを用いて繋げ、別のニューラルネットワークモデルに入力する。それによって、セグメントの並べ替えと編集を実現し、自然な訳文を生成する。

提案手法はベースラインに比べて、BLEUでは顕著な差が見られなかったが、出力文の長さがより参照文へと近くなることがわかった。よって、ニュー ラル機械翻訳における分割統治的手法が、訳抜けを防ぐために、有効である可能性が示された。今後、並べ替えやセグメント翻訳の精度を上げることにより、さらなる発展が期待される。

## 2 関連研究

Sudoh ら [3] は、長い文を翻訳するため、統計的機械翻訳に分割統治的手法を用いた。入力文を節の単位に区切って翻訳し、その結果を節の階層構造に基づいて並べ替えることで、精度を向上させていた。

ニューラル機械翻訳においては、Pouget-Abadie ら
[4] の研究が Sudoh ら [3] と似た手法を用いている。 この手法では、対訳コーパスを用いて学習された、 RNNを用いて最適な文の区切れ目を見つけ、その各セグメントを翻訳する。しかし、文法的に適切な境界で分割される保証がないため, 特に語順の異なる言語対において結合した翻訳結果が不自然な文になる懸念がある。

機械翻訳以外の分野でも、長い文を短く区切って言い換えるという研究がなされている。Aharoni ら [5] は長い文を、copy 機構を用いた seq2seq モデルに入力し、複数の短い文で言い換えた。しかし、必要な情報が抜けたり、不必要な単語が出力されてしまう問題は解決されていない。

短い単位に区切るものとは異なるアプローチで、長い文の機械翻訳を改善する研究もある。Neishi ら [2] は、Transformer の長い文の翻訳精度を上げるため、RNNを使った相対的位置情報を用いた。

本研究では、Pouget-Abadie ら [4] の手法で問題であった並べ替えを、セグメント翻訳とは別のニューラルネットワークモデルで実行する。それによって、Sudoh ら [3] のような分割統治的な手法を、 ニューラル機械翻訳において実現する。本研究は、 Sudoh [3] らの手法とは異なり、節単位の対訳対応付けを必要としない。節の翻訳は、文単位の対訳コー パスから学習されたニューラルネットワークモデルにより取得する。

## 3 提案手法

## 3.1 提案手法の処理概略

提案手法での翻訳は、大きく分けて、4つのステップで行われる。図 1 に、英語から日本語への翻訳の概略図を示す。この図では、簡略化のため、サブワード分割はされていない。

まず、原言語文を構文解析し、節の境界を探す。次に、節の始めと終わりを境界としてセグメントに区切る。節の中に節を含む場合も、すべての節境

Step1:構文解析

 & Parser & $\Rightarrow$ \\

図 1 提案手法の処理概略

界で分割を行う。Pouget-Abadie ら [4] は、2つの学習済み RNN モデルを用いて最適な境界を探索していたが、必ずしも、文法的に適切な境界で区切られるとは限らない。よって、本研究では節単位で区切った。各セグメントの翻訳は、周囲のセグメントの影響を受けるが、節という、比較的大きな意味のある単位で区切ることによって、その影響を抑えることが期待できる。

その次に、各セグメントをモデル 1 で翻訳する。 このモデル 1 として、Transformer を用いる。推論時には、モデル 1 のビーム探索のスコアが最高となる節の翻訳を出力する。

最後に、モデル 2 を用いてこの結果を並べ替え、編集することで、最終的な訳文を出力する。このモデル 2 にも Transformer を用いるが、モデル 1 とは別に学習されたものである。モデル 2 の入力は、原言語の節とその翻訳結果を繋げたものである。具体的には、原言語の各節とその翻訳結果を“@@@” で繋げた。そして、それらの節のペアを“III”で繋げた。“@@@”や“III” は元の訓練データに含まれておらず、特殊な一つのトークンとして語彙に含めた。例えば、「I think it is good.」を日本語に翻訳する時に
は、「I think @ @ @ 私は思う。III it is good @ @ @ それは良い。III.@@@。」のような形で、モデル 2 に入力されることが想定されている。翻訳された各セグメントどうしが、どのような関係性をもつのかという情報を持っていないため、このように、原言語の情報を付与する必要がある。Xu ら [6] は、原言語の文と似た目的言語の文を繋げたものを、モデルに入力する手法を提案した。本研究では、似ている文ではなく、翻訳された複数の節を繋げることによって、並べ替えと編集をモデル 2 によって実現した。

## 3.2 学習

学習時には、まず、元の対訳コーパスを用いて、英日翻訳をモデル 1 で学習する。その後、図 1 のステップ 1 からステップ 3 までを、全ての学習データに対して行う。最後に、ステップ 3 の節の翻訳を図 1 のステップ 4 と同様の形式で繋げたものを入力とし、目的言語文を出力とすることで、モデル 2 を学習させる。

モデル 2 の学習時には、モデル 1 が出力する、複数の翻訳候補を利用して学習を行う。本研究ではビームサイズを 4 としているので、 4 つの候補が出力される。よって、節の翻訳の候補でスコアが最も高いもののみを繋げた文、2 番目に高いもののみを繋げた文、というように、四種類の形式をモデル 2 の入力として与えることができる。このように、英語の節の部分は同じだが日本語の部分のみ違うという入力文を用いることで、最終的に、モデル 2 のトレーニングデータは 4 倍になった。対応する目的言語の文は、4種類に対して、全て同じものを使う。

## 4 実験

提案手法の有効性を検証するために以下の実験を行った。

## 4.1 実験設定

対訳コーパスとして、ASPEC [7] の英日 100 万文 (train-1)を用いた。Transformer [1] は、fairseq [8] で実装されたものを用いた。基本的には、Vaswani ら [1]の結果を再現するためのウェブページ1)に従ってハイパラメーターを設定した。dropout は 0.3 とし、 length penalty は 1 とした。 checkpoint はパラメー タを 1000 回更新する毎にごとに保存し、開発デー タの loss が最小となる checkpoint を選択した。これ

1) https://sgithub.com/pytorch/fairseq/issues/1352
表 1 入力トークン長ごとの BLEU

表 2 入カトークン長ごとの ratio

以上の詳細は付録に添付する。サブワード分割には、SentencePiece [9]を用い、語彙の大きさを 16000 とし、日英で語彙を共有した。英語の構文解析には、stanza [10]を用いた。モデル 1 の入力には、構文解析で出力された単語を空白で繋ぎ、それを SentencePiece でサブワードに分割したものを利用した。このモデル 1 は、ベースラインの Transformer であり、モデル 2 を学習する際に必要となるモデルでもある。

実験のベースラインとして，モデル 1 として用いた通常の Transformer の他に以下の二つの手法を比較した。一つ目は、線形化された構文木 [11]（構文木をカッコとラベル、単語の系列で表したもの） を Transformerに入力したものである。二つ目は、 Pouget-Abadie らの手法と同様に、モデル 1 から出力された節の翻訳を、前から順に繋げたものを最終的な訳文とするモデルである。

テストデータの BLEU [12] スコアは、MeCab [13] によって単語分割し、sacrebleu [14] を用いて算出した。

## 4.2 実験結果

表 1 と表 2 が英日翻訳の結果である。これらは test データの文を、モデル 1 の入力文のサブワードトークン長さ別に分け、それぞれに対して BLEU と ratioを算出した結果を示している。

ratio は出力文と参照文の長さの比を表し、1より小さいということは、訳抜けが発生している可能性を示している。全てのテストデータに対する ratio は、線形化された構文木のモデルや Transformer に比べ、提案手法の方が大きかった。その一方で、翻訳精度を表す BLEU は Transformer と提案手法では同等である。この結果から、提案手法は訳抜けを防ぐために長い訳文を出力できるが、参照文に含まれていない情報も出力している可能性がある。また、 モデル 2 を使った並べ替えを行わず、モデル 1 の出力を前から順に繋げたモデルは、ratio は 1を大きく上回っており，また BLEU も比較モデルの中で最も低かった。この結果は、不必要な情報が翻訳結果に多く含まれて訳質が低下していることを示している。また、提案手法ではモデル 2 の処理によってそうした不必要な情報を取り除いて訳文を構成できていることも分かる。

次に、長さ別のスコアを見ると、原言語のサブワードトークン数が 60 よりも大きいものに対して、提案手法の BLEU は比較対象の中で最も高い。2 番目に高い Transformer の BLEUを 0.8 上回っており、 ratio も提案手法の方がわずかながら高いことから、提案手法が長文の翻訳において有効であることが示唆される。

長さが 20 以内の短い文に対しても、提案手法は Transformer の BLEUを、0.5 上回った。短い文では、長い文に比べて、節の数が少ない。その結果、分割が発生しないこともあり、モデル 2 の入力が、原言語文に、その文の翻訳を繋げただけのものもある。 これは、Xu ら [6] の用いた似た訳文の代わりに、モデル 1 による翻訳を用いたことで、同様の効果があったと推定される。

表 3 は、各モデルの実際の出力例である。 Transformer では、「伊那谷と木曽谷を結ぶ」という部分の地名が抜け、代わりに「インターチェンジ・ ゾーンエリアを結ぶ」となっている。「交流圈域」と類似した意味をもつ「インターチェンジ・ゾーンエリア」という表現が入っているが、これは、本来ならば、参照訳にあるような「交流圏域の拡大」という文脈のみで使われる単語である。また、線形化された構文木のモデルでは、「振興・創出について検討した。」となっているが、「振興・創出をめざす地域整備の方策を検討した。」となるべきである。

これに比べて、提案手法は、より訳抜けを改善し、統語構造も参照訳に近いものとなっている。「インダニと木曽谷を結ぶ」の部分では、「木曽谷」という地名を出力し、「振興と創出を目指した地域整備の方策を検討した。」という、参照文に近い構造を持っている。

実際のモデル 2 の入力は付録に記載するが、表 3 の、モデル 1 による節の翻訳例を見ると、“National

 \\

Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road" という英語の節が、「インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。」とデル 1 によって翻訳されている。この節の翻訳がモデル 2 に入力されていることで、「木曽谷」を正確に翻訳できていると言える。しかし、節の翻訳は、「地域における産業の振興と創出について検討した。」のように、構文木を使ったモデルと同じような統語構造を持っている。これに対し、その節と一つ前の節の「交流圏域の拡大を目指した地域整備の方策」がモデル 2 によって並べ替え、編集されることによって正しい統語構造が出力されていることが分かる。

## 4.3 考察

提案手法は Transformerに比べ、テストデータ全体に対して、ratio が若干改善したが、BLEU の改善には結びつかなかった。その理由の一つとして、提案手法の推論時に、ビーム探索によるスコア最大の節翻訳結果のみを考慮していることが挙げられる。節の翻訳は、隣の節にも依存するため、ビーム探索の結果の 1-best ではなく、k-best を考慮したモデルを考えることで、より精度の高い節翻訳結果の選択と結合が行える可能性がある。また、本研究では節の始めと終わりで区切っているため、節と節の間を繋ぐ、短いセグメントが生じ得る。そのような短い単位の翻訳では、重複訳が発生する傾向があった。例えば、“, and”は、「又, 及び, また, そのためのものである。」のようにモデル 1 によって翻訳されている。そのため、節の分割の方法に対する更なる検討が必要と言える。

また、線形化された構文木のモデルの結果から、構文情報を入力文に付与することが必ずしも長い文の精度向上に役立つわけではないということが示された。

## 5 おわりに

本研究では、長い文を分割して翻訳し、その結果を並べ替えて繋げるという分割統治的なニューラル機械翻訳の手法を提案した。それによって、訳抜けを防止できる可能性を示した。コーパス単位の BLEU で顕著な差はなかったが、長文においては一定の効果が見られ、出力長を参照文に近づけることができた。今後はセグメント分割の手法、セグメント単位の翻訳の結合の方法についてさらに検討を進める。

## 謝辞

本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである。

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and

andIllia Polosukhin. Attention is all you need. CoRR, p. Vol.abs/1706.03762, 2017.

[2]Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 328-338., 2019.

[3]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata. Divide and translate: improving long distance reordering in statistical machine translation. In Proceedings of the Joint 5th Workshop on Statistical Machine Translation and MetricsMATR(SMT'10). pages 418-427., 2010.

[4]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merrienboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machine translation using automatic segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 78-85., 2014.

[5]Roee Aharoni and Yoav Goldberg. Split and rephrase: Better evaluation and stronger baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 719-724. Association for Computational Linguistics., 2018.

[6]Jitao Xu, Josep Crego, and Jean Senellart. Boosting neural machine translation with similar translations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1580-1590, Online, July. Association for Computational Linguistics., 2020.

[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[8]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[9]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics., 2018.

[10]Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Stanza: A python natural language processing toolkit for many human languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pages 101-108, Online., 2020.

[11]Roee Aharoni and Yoav Goldberg. Towards string-to-tree neural machine translation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 132-140. Association for
Computational Linguistics., 2017.

[12]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics., 2002.

[13]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer., 2005. http://mecab. sourceforge . net/.

[14]Matt Post. A call for clarity in reporting bleu scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics., 2018.

## A 付録

## A. 1 実験設定の詳細

開発データの loss が 5 回改善が見られない時に学習を止めた。提案手法のモデル 2 では、入力の長さがベースラインの約 2 倍となる。 1 バッチあたりに含まれる文の数をべースラインに合わせるため、モデル 2 の学習では、update-freqをべースラインの 2 倍にした。同様の理由により、線形化された構文木を入力とするモデルの update-freq をベースラインの 4 倍にした。

## A. 2 実際のモデル 2 の入力例

The measures for regional improvement aiming at expansion of the inter ch ang ing zone area @ @ @ 交流圈域の拡大を目指した地域整備の方策。III, and @@@ 又,及び，また,そのためのものである。III promotion and creation of the industry in the area were examined, @ @ @ 地域における産業の振興と創出について検討した 。 I|| taking advantage of the time that @@@時間の利点を活かした。 ||| National Ro ute 361 connecting In ad ani and $\mathrm{K}$ is od ani was approv ed in the business as a high standard road @@@インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。III. @ @ @その他。

## A. 3 モデル 2 の入力例を SentencePiece でデコードしたもの)

The measures for regional improvement aiming at expansion of the interchanging zone area@ @ @ 交流圈域の拡大を目指した地域整備の方策。III, and @ @ 又又, 及び, また, そのためのものである。III promotion and creation of the industry in the area were examined,@@ @ 地域における産業の振興と創出について検討した。III taking advantage of the time that@@ @ 時間の利点を活かした。III National Route 361 connecting Inadani and Kisodani was approved in the business as a high standard road@@@ @インダニと木曽谷を結ぶ国道 361 号が高規格道路として事業で認可された。III.@@@その他。


# 自発的な独話における可読性向上のための 言い直し表現の定義と分析

島森瑛貴
横浜国立大学
simamori-eiki-vj@ynu.jp
}

阪本 浩太郎
横浜国立大学
sakamoto@forest.eis.ynu.ac.jp
森辰則
横浜国立大学
moriaforest.eis.ynu.ac.jp
}

渋木 英潔
国立情報学研究所
shib@nii.ac.jp

## 1 はじめに

オンライン化が進む現代では人の発話を書き起こしテキストとして読む場面が増えた。そのような話し言葉の書き起こしは、編集されていない状態では 「文章を㔯長にする語の多用」、倒置」「文章の数じれ」などの話し言葉に特有の現象が出現する。その中でも、話し言葉の自発性に伴って出現する「言い直し表現」は書き言葉には出現しないため可読性を下げる要因となりうる。我々はそれらの現象を適切に修正するシステムを作成し可読性の向上に貢献することを目標とする。

その手始めに本論文では日本語の自発的な独話に出現する言い直しを検出し修正するシステムの作成を目的として、言い直し現象を定義し直し機械が処理しやすい形での分類を行う。

## 2 関連研究

話し言葉の自己修復を扱う代表的なモデルとして RIM(Repair Interval Model)[1] が存在する。RIM は自己修復部を被修復部、言い淀み区間、修復部の 3 つの部分に分割し，これらがこの順に出現することで一つの自己修復を行っていると仮定している。

丸山ら [2] は RIM 亿基づき『日本語話し言葉コー パス』[3] (Corpus of Spontaneous Japanese 以下，CSJ とする）纪出現する言い直し表現について言語学的な観点から分類した。分類結果は、発音エラーに伴う言い直し(R1)、単純な繰り返し(R2)、語彙的な誤りに伴う言い直し (R3)、情報不足に伴う言い直し (R4)、別表現への言い換え (R5)の 5 つに分類される。以下沶す分類例は ([分類] 被修復部|言い淀み区間|修復部) の形式となっている。
(R1)コンテキスト (R1 (D いぞ)||依存 ) モデルを

(R2)その年の (R2七月川七月) から

(R3)独特の (R3 旋律の $\mid(\mathrm{F}$ え) 旋律を) 形作っている

(R4)海外に (R4 興味||元々興味) がありまして

(R5)(R5こちら側のグラフ|右側のグラフ)は何を表わしているかと言いますと

この分類は処理の対象が形態素未満、形態素以上単語未満、一文節、二文節以上など様々であるため機械的な処理にそのままこの基準を用いることは難しい。そのため工学的な観点から、処理の方法と対応する分類を行う必要がある。

話し言葉における言い直しの検出の先行研究は [4][5] などがある。

下岡らの手法 [4] は [6] で定義された言い直しのタグを正解として言い直しの検出を行っている。また推定された箇所について、係り受け情報を用いて削除する範囲の同定について検討している。しかし、形態素の繰り返し情報などを素性とした SVM を用いて任意の文節が言い直しであるかを判定しており、特定のモデルを作成していない。また、[6] は 「同一の内容を指し示している対等な文節」をのみを言い直しと定義して CSJにアノテーションしており、我々の扱いたい問題が含まれていない。

藤井らの手法 [5] は自己修復部を分割したモデルを作成し、言い直しの検出修正を行っている。しかし、そのモデルはフィラーや言い淀みの存在を仮定しており、それらが存在しない言い直し表現については検出ができない。

本研究では初めに我々の考える言い直し現象を定義し、それに基づいた検出修正に取り組むための分析を行う。

## 3 定義

本研究において、我々は「言い直し」を「同一の対象に複数回参照する表現のうち、同一の面を参照しているもの」であると定義する。

この定義では [6] で定義された「言い直し」に加え以下のものも対象として扱う。言い直し表現の表記は以下 (言い直し元/言い直し先) とする。

1. 言い淀み

・聞き分けられていると(い/言われています)

2. 修正の意図を持つ発言を含むもの

・(苦手というか/苦手意識が)ある。

3. 間に挿入節を含むもの

・(ママが/\{ママと言っても短パンと Tシャツを着て髭を生やした凄いごつい男の人でどう見ても男なんですけれども\}その人が)

4. 対象を一回以上指示語で参照しているもの1)

・タイミングと振幅比の (関係にちらを)

以下の文のように「みかん」と「りんご」のような異なる対象を参照する場合や、同じ対象であっても 「実績」と「グループ名」のように異なる面から参照し直している物は言い直しではないと捉え本研究の対象としない。

・色鮮やかな (織物や/工芸品が) 並んでいます。

・(トレーニング八十パーセント達成組/つまり先程

のAグループ)

また、本研究では言い直し表現の組のうち、最後に言い終えている箇所を「言い直し先」と、それ以外の箇所を「言い直し元」と定義する。

以下の例文では「ハワイ島」「ハワイ島というか」「マウイ」の三つが言い直しの組を構成しており、「マウイ」を言い直し先、「ハワイ」、「ハワイ島というか」を言い直し元と考える。

・ただ、4泊 6 日で行ける (ハワイ島/ハワイ島というか/マウイ)もよかったんですけどすべての言い直し表現の組は一つ以上の言い直し元と一つの言い直し先からなるとする。

我々は言い直し先は言い直し元よりも後に発話されていることから重要であり残すべきであるという仮説を立てた。その仮説を元に言い直し現象の組のうち言い直し元と言い直し先のどちらを削除するか調査する。

## 4 言い直し表現組における削除箇所 の調査

1）CSJでは同格であると扱われている [6]

## 4.1 対象

以下の分析の対象として CSJ のコアのうち独話である講演、模擬講演の合計 177 講演を用いた。言い直し元が自立語を含む組は第一筆者がアノテーションしたデータを用いた。そのような言い直し表現は 1359 組得られた。前述した例のように一つの言い直し現象で二つ以上の言い直し元が存在するときはそれぞれの言い直し元と言い直し先の組を言い直し元の数だけ用意した。最終的に言い直し元と言い直し先の組は全部で 1453 件検出された。また、「助詞・助動詞・接辞・数字の言い直し」の形態素は D2 タグとして、「言い直し・言い淀み等による語断片」 の形態素は D タグとして CSJ にアノテーションされている [7]。コア 177 講演中に D2 タグは 223 件、 D タグは 2393 件存在する。これらは言い直し元が文節未満であるような言い直しの表現組の言い直し元であるとする。合計 4069 件について言い直し元と言い直し先のどちらを削除するかの分類を行う。削除箇所は第一著者一人が判断して頻度を調査する。表 1 に結果を示す。

## 4.2 結果

表 1 言い直し組と削除箇所

## 4.3 考察

言い直し元が語断片のときはそれらを削除することで修正する。また、助詞が言い直されているものは、一つの文節で最後以外の助詞を削除することで修正する。言い直し元が文節以上のものはおおよそ言い直し元を削除するが、言い直し先を削除するものが 87 件存在した。その 87 件のうち、 84 件は言い直し先の自立語が指示語を含むものであった。また、言い直し元のみが指示語を含むが言い直し先を削除する例は存在しなかった。言い直し先を削除するもののうち、言い直し先が指示語でないものは以下の 3 件である。

(例 1)(百キロぐらいで/(あっちはマイルで出るんですけれども) マイルで) 飛ばすから

(例 2)この (安全保障理事会/安保理が) 最近非常に

(例 3) 傾向が我が社にも (ありました/ました)

(例 1) は文章の意味を理解する必要があり、高度な処理が求められるため今後の課題とする。(例 2) は正式名称と略語の関係であり、略語を削除することとする。(例 3) は付属語から繰り返されている場合であり、一文節中で重複する付属語を削除することで修正する。

## 5 システム設計方針の概要

本論文で提案するシステムは始めに言い直しの検出を行い、次に言い直しの修正を行う二つからなる。一文を大力とし、その修正を行った結果の文を出力とする。

## 5.1 言い直し表現候補検出の方針

検出部では、入力された文を係り受け解析して得られる文節の組について、任意の二文節が言い直し表現候補となるかを判断することで言い直し表現候補を検出する。またその時の音声認識や形態素解析の結果から、語断片や助詞の言い直しと判断されるものが見つかればそれらは全て上記の方針で削除する。下岡ら [4] は形態素の繰り返し情報が言い直しを検出する際の有効な素性であると述べている。本研究でも言い直し元は言い直し先の自立語を含むという仮説を立てる。

また言い直し組の検索範囲が広すぎると言い直しではない離れた文節を言い直しと誤って判断すると考えられる。そこで対象とする二文節間の最長距離を決めるために、言い直し表現組の間に入る最長の文節数を調査する。6 章では上記二つの調査を行う。

## 5.2 言い直し修正の方針

検出部では、検出部で検出された言い直し表現候補の組のうち、言い直し元または言い直し先のいずれかを削除することで修正を行う。言い直し元が形態素未満の語断片であるときは検出部で削除するため、修正部に入力される言い直し表現候補の組はどちらも文節単位である。 4 章の分析から言い直し先の文節のみが指示語を含んでいるときは言い直し先を、それ以外の場合は言い直し元を削除することで修正できることが明らかになったため、そのまま言い直し修正の方針として用いる。また、削除箇所については削除の対象となる箇所は一文節以下であるという仮説を立てて 7 章で調査する。

## 6 言い直し表現組の検出基準の調査

前章で立てた言い直し元は言い直し先の自立語を含むという仮説と、言い直し表現は最大いくつの文節を間に含むかの二つを調査する。使用するデータは言い直し元が文節以上であるような言い直し元と言い直し先の組 1453 組である。言い直し元、言い直し先、その間の挿入表現をそれぞれ形態素解析、係り受け解析し共通の自立語を持つか、また挿入節の文節数を調査した。それぞれの結果は表 2、表 3 に示す。

表 2 言い直し元が言い直し先の自立語を含むか

表 3 言い直し元と言い直し先の間に入る挿入節の文節数

## 6.1 言い直し表現が間に含む文節数

言い直し元と言い直し先のの間には最大で 15 文節までが含まれることが判明した。該当する文は 「ママが (ママと/言っても/短パンと/T シャツを/着て/髭を/生やした/凄いごつい/男の/人で/どう/見ても/男なんですルれども) その人が」 このことから我々のシステムにおいては注目している文節から 15 文節以内を検索の対象とする。

## 6.2 共通の自立語を含むか

言い直し表現組 1453 件のうち 1090 件は言い直し元が言い直し先の自立語を含むことが判明した。言い直し先と言い直し元が共通の自立語を含まない 363 件の分類は以下のとおりである。

(1)類義語 87 例

(見紛うような/見間違うような),(人の/人間の)

(2)指示語を含む 80 例 (加盟国にれれは),(これはにの数値は)

(3)編集表現を含む 97 例 (ハワイと言うか/マウイ島),(日本じゃない/東京の)

(4)部分文字列が共通 20 例 (サザン/サザンテラス),(半/半年)

(6)アルファベット、数字 3 例

(XY/Xという単語 $Y$ という単語が),(1999/ 1990 年の)

(7)分類誤り 67 例

各分類ごとの処理方針は以下のとおりである。

(1)(4)(6) は表層系以外での要因が類似している。 そこで、意味が似ている、音が似ている、部分的な文字列が似ているなどの自立語間の類似度が高いものが存在したときに言い直しとして検出する。これらは、分散表現から語の類似度を調べる手法や、文字単位に分解し共通の文字を含むかといった手法で類似度を調べる。特に数字や、アルファベットは形態素として扱うことが難しいため文字単位で扱うことが有効であると考える。

(2) の指示語を含むもの 80 例を分析した結果、(加盟国にれは) や(これにの図は)のように付属語を持たない名詞 (指示語) の文節と指示語 (名詞) の文節が連接するとき、または(これはにの数値は)のように指示語と自立語が同じ付属語を持つときのどちらかであることが分かった。上の二つを指示語を含む言い直し検出の規則とする。

(3) は我々が編集表現であると判断した表現のリスト2）を作成し、当てはまるものを検出する。調査に用いたコーパス内に出現する編集表現は「と言うか」「じゃなくて」のどちらかを基本形に持つ物が多い。

(7) は形態素解析の誤りや言い直し元が複数ある場合で、実際には上記のいずれかの手法で検出できる。(ハワイハハワイと言うか/マウイ島)のように言い直し元が複数あるとき、調査では(ハワイ/マイ島) の組を調べたため自立語を含まない。しかし入力の先頭から調べると (ハワイハハワイと言うか)が共通の自立語を持ち、(ハワイと言うか/マウイ島) は編集表現を持つため上記の規則に従って、言い直し表現の検出ができる。

上記の考察を元に本システムでは 15 文節以内にある任意の 2 つの文節のうち次のような条件を満たすもので最も距離が近い物を言い直しの候補とする。検出規則を優先度が高い順に次のようにする。

・同一の自立語を含む

・編集表現を持つ

・指示語を含むときの規則に当てはまる
- 文節間の類似度で判断するときの規則に当ては

## 7 修正における削除箇所の文節長の 調査

削除箇所が一文節であるという仮説を調査する。使用するデータは言い直し元が文節以上であるような言い直し元と言い直し先の組 1453 組である。調査結果を表 4 に示す。

表 4 削除箇所の長さ

言い直し表現 1453 組のうち削除箇所が一文節のものは 1062 組存在した。これらは言い直し候補として検出されたのちに削除規則に従って文節単位で削除することで修正を実現できる。また削除箇所が二文節以上であるようなものが 391 件存在した。

以下の例文では共通の自立語「隣り」を持つ文節である「隣の」だけではなく「方」も削除する必要がある。係り受けの情報を用いると「方」は「隣の」 に係られているが、「隣には」には係っていないため「隣の方」を削除するというように削除箇所を推定できると考えている。

・(隣りの方隣りには) デパートは作らない

係り受け情報を用いた削除範囲の推定は今後の課題とする。

## 8 まとめ

本研究では話し言葉の可読性を向上させることを目的として、「同一の概念に複数回参照しているものの内、異なる面から参照しているもの」と言い直しを新たに定義した。その定義のもとで言い直しの検出修正の規則を作成するため CSJ の独話講演情報を分析した。今後の課題は自立語間の類似度を測る基準を設けること、また削除箇所が二文節以上であるときに削除箇所を適切に推定すること、これらの方針で実際にシステムを作成し性能を評価することなどがある。

## 参考文献

[1]Christine Nakatani and Julia B Hirschberg. A speechfirst model for repair detection and correction. 31st Annual Meeting of the Association for Computational

Linguistics, 13(1):46-53, 1993.

[2]佐野信一郎丸山岳彦. 自発的な話言葉に現れる言い直し表現の機能的分析. 言語処理学会第 13 回年次大会, 13:1026-1029.

[3]国立国語研究所. 『日本語話し言葉コーパスの構築法』.http://pj.ninjal.ac.jp/corpus_center/ $\mathrm{csj} /, 2006$.

[4]内元清貴井佐原均下岡和也, 河原達也. 『日本語話し言葉コーパス』における自己修復部 (d タグ)の自動検出および修正に関する検討. 情報処理学会研究報告音声言語情報処理 (SLP), 2005(50):95-100, 2005.

[5]斎藤博昭藤井はつ音, 岡本紘幸. 日本語話し言葉における自己修復の統計モデル. 言語処理学会第 10 回年次大会発表論文集, pages 2-7, 2004.

[6]高梨克也井佐原均内元清貴, 丸山岳彦. 『日本語話し言葉コーパス』における係り受け構造付与. https://pj.ninjal.ac.jp/corpus_center/ csj/manu-f/dependency. pdf, 13(1):1, 2006.

[7]間淵洋子小磯花絵, 西川賢哉. 『日本語話し言葉コーパスの構築法』2 章転記テキスト.http://pj.ninjal.ac.jp/corpus_center/csj/ k-report-f/02.pdf, 2006.

## A 付録

と言うんですか: 1

## A. 1 編集表現のリスト

言い直し表現に出現する編集表現について

出現形:出現回数の形で分類した表を以下に示す。

## A.1.1 じゃない系統

「じゃない」の派生は 5 種 14 回出現している。

じゃありませんね: 1

じゃない: 7

じゃないですね: 1

じゃないな: 1

じゃないや: 1

ではないですね: 1

ではないですが: 1

ってことはないですね: 1

## A.1.2 と言うか系統

「と言うか」の派生は 25 種 136 回出現している

言うか: 2

つちゅうか: 2

つつうんですか: 1

って: 1

って言いますか: 1

って言うか: 33

って言うかね: 1

って言うんすか:1

って言うんでしょうか: 2

って言うんですか: 9

って言うんですかね: 2

ってえか: 1

ってか: 3

て言うか:4

て言っていいんでしょうか: 1

て言うんですか: 1

て言うんでしょうかね: 1

と言いましたけど: 1

と言いますか: 15

と言うか: 45

というが: 1

と言うのか: 1

と言うよりは: 1

と言うんでしょうか: 5


# Towards Understanding Implicit Reasoning in Arguments via Multiple Warrants

Keshav Singh $^{\dagger}$ Paul Reisert ${ }^{\ddagger, \dagger} \quad$ Naoya Inoue* Kentaro Inui $^{\dagger, \ddagger}$
${ }^{\dagger}$ Tohoku University, Sendai, Japan ${ }^{*}$ Stony Brook University
${ }^{\ddagger}$ RIKEN Center for Advanced Intelligence Project
keshav.singh29@ecei.tohoku.ac.jp paul.reisert@riken.jp
naoya.inoue.lab@gmail.com inui@tohoku.ac.jp

## 1 Introduction

In argumentative discourse such as debates and essays, some parts of the reasoning are unstated by the debater or writer, often for strategic reasons/purpose. Such implicit reasoning, hereby referred to as a warrant, is often inferred by listeners in distinct ways [10]. For example, consider the following argument consisting of a claim (i.e., declarative statement) and a premise (i.e., supporting statement):

(1) Claim: Voting should be made compulsory Premise: because it increases voter turnout.

In Example 1, a potential set of warrants bridging the reasoning between the claim and the premise could then be considered as follows:

(2) Warrant 1:High voter turnout is good for a fair representation of society.

Warrant 2: Minorities who vote often have their needs prioritized over the majority.

In the educational domain, practicing identification of such warrants has long been shown to improve one's argument comprehension skills $[9,4]$, thus aiding one to make better arguments [12]. For example Hillocks [8] helped students practice argumentation by making them write the appropriate warrant for a given argument which was later corrected if a better warrant existed. This helped students improve their critical thinking and writing skills.

Although identification and correction of warrants is an interesting challenge, especially when deployed in classrooms, despite the evidence, previous works with the aim to automate such identification of warrants have focused on methods which capture these implicit components from only a single perspective. Specifically, these methods usually focus on finding a single warrant for an argument when other possibilities exist. Habernal et al. [7] crowdsourced a pair of both correct and incorrect warrants per argument so that neural models would be able to distinguish between a good and bad warrant. Becker et al. [2] proposed an iterative process of warrant generation by experts aimed to create a single warrant unanimously decided by experts. However, previous work has mentioned that it is unrealistic to restrict on having one single warrant per argument due to vast number of ways to interpret the warrant $[5,10]$. Hence, while the previous methods may lead to finding a single appropriate warrant, they do so at the expense of neglecting the other possible warrants.

In this work, we aim to collect multiple warrants per argument for a variety of topics through a systematic crowdsourcing process. In total, we collect warrants for 3 topics, which totals 6,200 warrants for 620 different arguments consisting of a claim and premise pair. Using a subset of the collected warrants for each topic, we analyze their overall quality through manual analysis and obtain a reasonable quality (Krippendorff's $\alpha=0.63$ ). Furthermore, we conduct a preliminary analysis on the properties of warrants to better understand their structure.

## 2 Towards collecting multiple warrants

For collecting multiple warrants which can be potentially useful in real-world applications such as argument analysis or warrant correction, we require a dataset that fulfills the following criteria: i) diverse set of premises per topic to cater to maximum possible arguments, and ii) multiple unique warrants per premise. In addition, the dataset creation process must be cost effective without compromising data quality. Ideally, a dataset with multiple topics is desirable; however, collecting warrants across multiple topics is both difficult and time consuming. Thus, we define a simple metric to filter a handful of topics (specifically, 3) found in a large, well-known argumentation dataset of diverse premises in order to

Figure 1: Scatter plot of premise diversity vs no. of premises for each topic (represented by points) in IBMRank30k corpus. Diversity of premises for each topic increases along the x-axis. For our task, we choose three least diverse topics for warrant crowdsourcing task.

start with a small and relatively easier topics, We describe our methodology for topic selection and collecting multiple user-generated warrants for a claim and premise pair in the following section.

## 2.1 Source data

As a source dataset, we opted for the arguments from IBM-Rank-30K dataset [6], which contains supporting and opposing stance arguments on 71 common controversial topics.

Several factors motivated our choice for $I B M$ Rank-30K: (1) Arguments were collected actively from crowdworkers with strict quality control measures as opposed to being extracted from targeted audiences such as debate portals. (2) The arguments have already been annotated with point-wise quality. These factors provide a vast majority of all the possible arguments that can be made for a given topic with quality scores.

To select the topics for our warrant crowdsourcing task, we define a new metric. Specifically, for each topic $(t)$, we estimate the diversity of premises $\left(d_{t}\right)$ as a function of its vocabulary size:

$
d_{t}=\frac{\left(\left|V\left(p_{t}\right)\right|-\left|V\left(p_{t}^{50 \%}\right)\right|\right)}{\left(\left|p_{t}\right|-\left|p_{t}^{50 \%}\right|\right)}
$

where $p_{t}$ is a set of premises associated with $t$, $p_{t}^{50 \%}$ is a $50 \%$ random sample of $p_{t}$, and $V(p)$ is a set of unique words (i.e. vocabulary size) of $p$ obtained after tokenization and lemmatization.

The final diversity $\left(d_{t}\right)$ for each topic is calculated after averaging over multiple random resampling runs. As shown in Fig 1, the variety of premises for topics in IBM-Rank-30k is strongly dependent on

## Debate topic: Whaling

John Doe argues :

Whaling is inhumane and an act of greed.

And since,

.. fill the reasoning gap with a proper explaination

I claim that: We should ban whaling

Figure 2: Crowdsourcing interface for collecting warrants for a given topic and premise. Workers were additionally advised to adhere to simple rules when writing their warrants.

the topic. To create our warrant KB, we choose 3 topics with the least growth rate; namely i) Whaling should be banned $\left(d_{t}: 1.36\right)$, ii) Voting should be made compulsory $\left(d_{t}: 1.37\right)$, and iii) Zoos should be banned $\left(d_{t}: 1.41\right)$.

## 2.2 Crowdsourcing methodology

For collecting warrants for arguments across the 3 pre-selected topics, we conducted a crowdsourcing task using Amazon Mechanical Turk ${ }^{1}$ (AMT) platform. Prior to deploying our task in full, we conducted a preliminary study for creating our guidelines by annotating a subset of warrants crowdsourced via multiple trial runs to understand both good and bad warrants. As shown in Fig 2, we provide crowdworkers with an argument (i.e., claim and a premise) and instruct workers to provide a warrant that fills the implicit reasoning between the claim and premise in the form of natural sentence. Additionally, for maintaining high quality annota-
^{1}$ www.mturk.com
}

## Topic T: We should ban whaling \\ Premise P: Alternatives are available to nearly every product produced from whales.

## Warrants W (Score: 2) ->

- We don't need the products that result from whaling

- There are different fish that can be alternative for whale meat

## Warrants W (Score: $o)$->

- Whales are an endangered and are vital to the health of the marine environment
- Whales are animals vital for the balance of the ocean $^{1}$

## Topic T: We should introduce compulsory voting \\ Premise P: Compulsory voting would increase voter turnout.

## Warrants W (Score: 2) ->

- A greater voter turnout leads to a more representative government

- Increase in voter turnout will eradicate the politicians that are dependent on few individuals which can control the election

## Warrants W (Score: o) ->

- It is not democracy if there is only 50 percent of voter turnout. higher voter turnout makes government more representative

- People will complain about politicians regardless of voter turnout.

Figure 3: Examples of warrants captured by our crowdsourcing method. Warrants acquired from different workers as scored best by experts are shown on the left and the worst scored are shown on the right. Note that for a few warrant instances, we found very similar warrants after analyzing them into individual clausal sentence as shown in red.

tions, we filtered crowdworkers via our custom Reasoning Qualification Test (RQT). In RQT, workers were asked 3 simple reasoning questions aimed to test their ability to identify warrants. Only those who answered all questions correctly were allowed to proceed to the final annotation task.

## 3 Collected warrant statistics

In this section, we describe our current set of warrants collected through crowdsourcing. To assess the quality, we also create guidelines for experts to manually examine the crowdsourced warrants.

In total, we collect 6,200 warrants in total for 620 unique claim and premise pairs (10 warrants per premise) from 177 unique crowdworkers. The specific amount of warrants collected per each topic are as follows; Abolish zoos: 198, Introduce compulsory voting: 205 and Ban whaling: 217.

## 3.1 Quality

To examine the quality of the crowdsourced warrants, we ask 2 annotators, both experts of argumentation and authors of this paper, to judge the quality of 200 randomly sampled warrants on a 0-2 scale (0:weak warrant, 2 :strong warrant). As shown in Table 1, the Krippendorff's $\alpha$ (interval) and Cohen's Kappa between both annotators for 200 randomly sampled set was 0.63 and 0.42 respectively. These scores correspond to moderate agreement and

Table 1: Topic-wise quality statistics for the collected warrants. $\alpha$ and $\kappa$ are the Krippendorff's and Cohen's inter-annotator agreement scores respectively. A1 and A2 are the average scores given to the warrants by our two expert annotators.

are comparable to agreement levels in similar computational argumentation works $[1,3]$. Additionally, as shown in Fig 3, the collected warrants ranged from being weak to strong, where some being totally unrelated to the argument (scored:0) while majority explicating the reasoning (scored:2).

## 3.2 Warrant properties

We perform a manual check on a subset of 2,000 warrants from 200 arguments (i.e., 10 warrants per argument) to determine if the collected warrants are related to the argument. On an average, we discovered that $6.67 / 10(66.7 \%)$ warrants were related while the rest were either nonsensical or unrelated. During our analysis, we also found that many warrants were compositional statements i.e. comprising

## Claim: We should ban whaling. Premise: Animals have rights and we as custodians of nature have an obligation to them to protect them from this cruel and needless death

SUPPRESS

Warrant $_{1}$ : animal rights are violated when we needlessly kill them.

Warrant $_{2}$ : whaling is not necessary to our survival and it kills off beautiful majestic creatures. SUPPRESS

Figure 4: Example of reasoning patterns on top of collected warrants. Both warrants help infer the connection between the claim and the premise more clearly.

of two or more compound statements. We observed that many of the warrants contained repetitive statements, as shown in Fig 3.

Towards understanding the underlying reasoning, we conducted a preliminary analysis on warrants for determining what properties of them differ for a claim and premise pair. Motivated by a set of reasoning patterns [11] used to represent various schemes in argumentation [13], we analyze roughly 48 warrants for 6 claim-premise pairs ( 8 warrants per pair) to determine the coverage of warrants which can be represented with reasoning patterns. We find that roughly $20 / 48(41.67 \%)$ warrants can be decomposed into reasoning patterns. An example of such annotation is shown in Fig 4. In this example, the reasoning that whaling suppresses animals and whaling suppresses rights is implicit, which the warrants help explicate. Given the coverage of reasoning patterns in our analysis, we will consider ways to improve our warrant collection task by utilizing them in our future work.

## 4 Conclusion and future work

In this work, we tackle the difficult task of collecting warrants in arguments. We developed a methodology for collecting multiple warrants for arguments and utilize crowdsourcing for collecting 6,200 warrants for 620 arguments. For testing the integrity of the warrants, we conduct a small annotation study on 200 warrants and obtain a reasonable annotator agreement ( 0.63 Krippendorff's $\alpha$ ). Finally, we conduct a preliminary analysis on the decomposition of the warrants and find on average 3 warrants collected per argument to comprise of more than one warrant.

In our future work, we will expand our dataset for a variety of different topics and devise an approach for decomposing collected warrants to a single clausal form. We will also test the usefulness of our collected warrant knowledgebase for the task of warrant explication for unseen arguments in a realistic setting, such as deploying our warrant knowledgebase in schools in which students debate and/or write essays on controversial topics.

## References

[1] Roy Bar-Haim, Lilach Eden, Roni Friedman, Yoav Kantor, Dan Lahav, and Noam Slonim. From arguments to key points: Towards automatic argument summarization. arXiv preprint arXiv:2005.01619, 2020.

[2] Maria Becker, Michael Staniek, Vivi Nastase, and Anette Frank. Enriching argumentative texts with implicit knowledge. In International Conference on Applications of Natural Language to Information Systems, pages 8496. Springer, 2017.

[3] Filip Boltužić and Jan Šnajder. Fill the gap! analyzing implicit premises between claims from online debates. In Proceedings of the Third Workshop on Argument Mining (ArgMining2016), pages 124-133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Sibel Erduran, Shirley Simon, and Jonathan Osborne. Tapping into argumentation: Developments in the application of toulmin's argument pattern for studying science discourse. Science education, 88(6):915-933, 2004.

[5] James B Freeman. Relevance, warrants, backing, inductive support. Argumentation, 6(2):219-275, 1992.

[6] Shai Gretz, Roni Friedman, Edo Cohen-Karlik, Assaf Toledo, Dan Lahav, Ranit Aharonov, and Noam Slonim. A large-scale dataset for argument quality ranking: Construction and analysis. arXiv preprint arXiv:1911.11408, 2019.

[7] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. SemEval-2018 task 12: The argument reasoning comprehension task. In Proceedings of The 12th International Workshop on Semantic Evaluation, pages 763-772, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] George Hillocks. Ej in focus: Teaching argument for critical thinking and writing: An introduction. The English Journal, 99(6):24-32, 2010.

[9] David Hitchcock and Bart Verheij. Arguing on the Toulmin model, volume 10. Springer, 2006.

[10] Christian Kock. Multiple warrants in practical reasoning. In Arguing on the Toulmin model, pages 247-259. Springer, 2006.

[11] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pages 79-89, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Sarah von der Mühlen, Tobias Richter, Sebastian Schmid, and Kirsten Berthold. How to improve argumentation comprehension in university students: Experimental test of a training approach. Instructional Science, 47(2):215237, 2019.

[13] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.


# アスペクトベース意見分析における日本語評価コーパスの構築

楽天株式会社楽天技術研究所
\{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com

## 1 はじめに

ウェブ上には，ニュース記事に対するコメントやカスタマーレビューなどの意見テキストが膨大に蓄積されている。これらの有効利用を目的として，意見分析の研究が盛んに行われている。意見分析とは，意見テキストの集合から知識を発見する処理の総称であり [1], 重要な基盤技術として意見抽出がある.これは，「ホテル A は朝食が美味しい」のような文に対し「対象＝ホテル $\mathrm{A} ，$ アスペクト＝朝食, 評価 $($ 極性 $)=$ 美味しい（肯定)」のような要素を抽出することで，意見情報の基本単位を定型化する. 意見テキストの集合から意見の基本単位が大量に抽出されると, ある対象における評価の概観が容易となる，例えば，ホテルＡ９品質改善を試みる場合は，ホテル Aに関する意見から否定的な評価を受けやすいアスペクトを調べるだろう。

特に近年は，対象のアスペクトとその評価極性ペアを抽出するアスペクトベースの意見分析 (Aspect-Based Sentiment Analysis: ABSA) がより重要なタスクとなっている $[2,3,4,5,6]$. ABSA 手法の比較評価を行うためには，アスペクトとその評価極性が付与されたコーパスが必須である。評価型国際ワークショップである SemEval では, ABSA の共有タスクが実施されており豊富なベンチマークが用意されている [7,8].コーパスは単言語と単ドメインだけでなく，それらを横断する手法 $[9,10,11]$ の発展のために, 英語, スペイン語などの 8 言語と, 宿泊施設レビューなどの 6 ドメインからなる．しかし， SemEval には日本語を対象とした ABSA のコーパスはない。また，NTCIR 多言語意見分析コーパス1) TSUKUBA コーパス2)などウェブ上で入手できる日本語用のコーパスのほとんどは，アスペクトを考慮しない意見分析に特化している [12, 13, 14, 15].本論文では、日本語を対象とした ABSA のための

1) http://research.nii.ac.jp/ntcir/data/data-ja.html

2) https://www.nii.ac.jp/dsc/idr/rakuten/
コーパス構築とデータ分析について述べる。コーパスのドメインは宿泊施設のレビューであり，文単位で 7 種類のアスペクトと極性を付与した結果 12,476 レビュー，76,624 文のコーパスが構築された。またコーパスを利用した基礎的な ABSA 手法による実験から，事例の特徴を分析することでコーパスの性質について考察する。

## 2 関連研究

新里ら [2] は，楽天市場の店舗レビューを「配送」「梱包」などのアスペクトカテゴリとその極性カテゴリに分類する手法を提案したが，実験で用いられたコーパスは非公開である。

栗原ら [16] は，ドメインを限定しない Twitterによる評判分析を目的とした日本語の ABSA データセット3)を構築した。本研究との違いを，SemEval2016 Task 5 のサブタスク 1「文レベルの ABSA」で説明する. 例えば「大浴場のお湯が熱い.」という意見文に対して，このタスクは「風呂」というアスペクトカテゴリ（スロット 1）の検出，「大浴場のお湯」というアスペクト対象の抽出 (スロット2)，そして「否定的」という極性の分類（スロット3）の 3 スロットからなる．彼らはスロット２を対象とするのに対し，我々はスロット 1 とスロット 3 が対象である.

論文化されてはいないものの，スロット 1 からスロット 3 の評価に対応しているコーパスとして，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4)}$ がある。我々のコーパスは，上記と比較して規模が大きく、誤り分析を通してコーパスの性質を明らかにした点で異なる。

## 3 コーパスの設計と構築

楽天トラベル5)の施設に対するユーザレビュー中の各文に対しアスペクト及び評価極性の付与作業を

行う．作業を行うレビュー文は，ユーザが投稿した複数文にわたるレビューを句点もしくは同等の文末記号で分割した文を単位とする。ここでは基本方針と個々のアスペクトについて述べる.

## 3.1 アスペクト及び極性付与の基本方針

楽天トラベルでは表 1 で示す 7 種類のアスペクトについて, ユーザから 5 段階の評価と自然文の意見が入力される. 各文に対してこれらのアスペクト含まれているか, 含まれている場合はそれらの情報が肯定的（以下，ポジティブ）もしくは否定的（以下, ネガティブ）であるかを判断してタグを付与する.付与するタグの種類は合計 14 種類となる.

作業対象文はユーザレビューの一部分ではあるが，必ずしも全ての文に先に挙げた情報が記載されているとは限らない. 以下の例のように，意見ではなくあくまで事実を述べているだけであり, ポジティブ・ネガティブのような評価表現が含まれていないことから，アスペクト，極性共に付与しない。

・先月の $\mathrm{GW}$ に泊まりました.

・部屋の広さは通常のシングルルーム程度でした.

・夕食は舟盛りと蟹でした。

## 3.2 アスペクトの定義

ここでは，先に示した 7 種類のアスペクトについてそれぞれ定義を行う. 例文中の $(\mathrm{P})$ はポジティブ, (N) はネガティブを示す.

## 3.2.1 サービス

経済用語においては「売買した後にモノが残らず，効用や満足などを提供する，形のない財」を指す.ここでは接客態度, 様々な事柄への対応，ル一ムサービス，清掃状況などを対象とする．食事の配膳についてもこの項目で扱うが, これは食事（夕食, 朝食）そのものにも関連することからサービスのみではなく, 「夕食」もしくは「朝食」の項目も同時に付与する.

・セキュリティもきちんとしていて，お部屋もき
れい. (P)

・とんでもなく待たされる. $(\mathrm{N})$

・部屋のかび臭をごまかすためのお香が鼻につくし, あちこちほこりだらけ. $(\mathrm{N})$

## 3.2.2 立地

宿泊施設への交通, 目的とする観光資源, 商業施設へのアクセスなどの利便性, 宿泊施設の周囲の景観など，施設の地理学上の位置が評価に関係する表現を対象とする．部屋や露天風呂からの見える景色への感想はそれぞれ部屋, 風呂の項目で扱う。

・隣には郵便局もあり買ったお土産もすぐ送れる. (P)

・富良野市街地, 北の国からの麓郷, ラベンダー ファームへもアクセスしやすいです. (P)

・立地がわかりづらく, 手間取ってしまいました. (N)

## 3.2.3 部屋

部屋そのものに関する表現を対象とし，部屋の広さや快適さ, 内装（電源, シーリングライト, トイレそのもの, 洗面所そのものなど）を含む．エアコンやテレビ，机などはここには含まず，「何もない最低限の部屋」に存在するもののみを含める．部屋からの景色についてはこの項目とする．立地との判断に困惑するが，例えば施設でもオーシャンビュー の部屋とそうでない部屋があり, これは施設の立地そのものではなく部屋の特性に起因すると判断し部屋についての記述と認識する.

・広いお部屋でゆっくりとした時間を過ごす事が出来ました. (P)

・お部屋は最上階 6 階のツインの海側の広いお部屋で眺めが良かったです。( $\mathrm{P})$

・隣の部屋の声が聞こえてくるのが気になった。 (N)

## 3.2.4 設備・アメニティ

部屋と風呂を除く宿泊施設内の土産等の販売店舗, ロビー, 庭, 遊戯施設, ジム, 駐車場, レストランなどの設備, および部屋に設置されている家具調度 (ベッド，机，いすなど），電気製品（ヘアドライヤー, テレビ，エアコン， ウォシュレット，電気スタンドなど), 寝具, へアケアプロダクト，石盙などの衛生製品, タオル，無料のドリンク, Wi-Fi な

どについて記述を対象とする。

・部屋には空気清浄機もあり, 助かりました。(P)

・ただ唯一, 部屋の金庫が小さいのがマイナスポイント. (N)

・また, お部屋のお布団に関して, 枕が大人は合わなく, ちょっと苦戦しました。(N)

## 3.2.5 風呂

外風呂, 内風呂（部屋に設置されている風呂やシャワー）に関する表現, 風呂からの景色, 雾囲気,温泉の泉質, 温度, 広さなどを対象とする. 清潔さに関しては部屋と同様, 清掃の状態も考慮する必要があるため, サービスも同様に付与する. ただし， シャンプーなどのアメニティに関するものは除く。

・温泉の質も良く, まためるめのお湯で長時間浸かることが出来, 疲れを癒すことが出来ました. (P)

・朝風呂は雪見風呂で大変景色が良かった。 $(\mathrm{P})$
- 風呂は混んでいて入浴出来ませんでした。 $(\mathrm{N})$

## 3.2.6 朝食

味, 器, バラエティーなどに関する表現を対象とする．朝食時の配膳や，待ち時間などに関する表現の場合は，（朝食十サービス）の両項目にタグを付与する.

・朝食は，種類も多く，満足でした。(P)

・ただ焼き鮭が身が極めて細く他の料理に比べると唯一貧粗感が否めません. (N)

## 3.2.7 夕食

朝食と同様, 味, バラエティーなどに関する表現を対象とする. 夕食時の配膳や, 待ち時間などに関する表現の場合は, (夕食十サービス) の両項目にタグを付与する．夕食である明示的な表現を含まないが，「懐石料理」や「お酒，ビール」のように夕食であると判断できる場合は夕食とする.
- 季節に合わせた懐石料理は見た目も美しく美味しかったです. $(\mathrm{P})$

-夕食も，あわびの踊り食いあり，伊勢えびのお刺身，あり，豪華メニューを堪能しました。(P)

-夕食に汁物が出なかったが，酒を飲まない人にとっては汁物がないと食べられない。(N)

## 3.3 アノテーション結果

作業者 40 人に対して 24,314 レビューからなる 10 万文のタグ付付与を依頼した。また作業者間の一致率を測定するために，意図的に作業者間でレビュー に重複を持たせた。複数のラベルがタグ付されている文については, 作業者間で全てのラベルが一致しているかどうかを判定した. 100 レビュー以上の重複があった作業者ぺアに対して $\kappa$ 値 [17] の平均を測定したところ,$\kappa=0.58$ となり, moderate agreement を達成した。表 2 にコーパスの基礎情報を示す.

## 4 評価実験

評価コーパスの性質を調べるために，実験により成功事例と失敗事例の特徴を分析した。タスクは 3.1 節で説明した 14 クラスのうち，レビュー文を一つ以上のクラスに分類するマルチラベル分類として定式化した。手法には BERT[18] を用いた。具体的には，公開されている事前学習済み BERT モデル6) の最終層における [CLS]トークンに対応する 768 次元の出力を 14 次元の出力層に線形結合させる. 出力層の各ノードでは, シグモイド関数によってアスペクト・極性対カテゴリに属する確率が得られる。確率が 0.5 以上であれば，対応するノードのカテゴリを出力する．ファインチューニングと評価は，表 2 の総文数を学習:開発:テスト $=8: 1: 1$ の割合で分割することで行なった。

表 3 にカテゴリごとの分類性能を, 図 1 に BERT の出力例をそれぞれ示す. 図 1(a) は手法が適切に分類した事例であり，「夕食」「朝食」「二」という語に注意が強く向けられていることから，本コーパスで学習された BERT モデルは, 人間が判断に用いる語を捉えるように学習されたと考えられる。このようにアスペクトと評価表現が明示的に出現する文については, 比較的容易に分類できることを確認した。

6) https://github.com/cl-tohoku/bert-japanese
図 1 BERT の出力例（BERT の最終層で [CLS] トークンのベクトルがどの単語に注意しているかを可視化した）

次に誤り事例 2,557 件に対し正解とシステム出力のパターンを集計し，誤りの事例数の多い 3 パター ン（図1(b)）を分析した。文(1) は「ホテル全体 (P)」 が正解であるのに対して，システムは「評価なし」 と出力したパターンである. 分類器は, 正解例のようにアスペクトに関連した語を捉えるようモデル学習を行うのに対して，レビュー文では総評を述べており個々のアスペクトは記載されていないことから，適切にモデル化できていないことが原因と考えられる。こうした事例を捉えるには分類器の設計に課題があり，例えば「総合評価」という新たなラべルを用意して分類を行う必要があると考えられる.

文 (2) は，「不便」であるアスペクトが明示的でなかったため「連れ」や「ます」などアスペクトとは関連のない語に注意が向けられた結果，「施設・アメニティ $(\mathrm{P})\rfloor$ が正解であるのに対して，システムは 「評価なし」を出力したと考えられる。このパター ンの失敗事例は 76 件あり，うち 26 件は文 (2)のようなゼロ照応で属性が欠落しているか, 照応詞を用いて属性が省略されていた。本コーパスを用いた実験によって，照応解析手法や文脈を有効利用した属性情報の補完が重要であることが示唆された。

文 (3) は「朝食 (P)」が正解であるのに対して，システムは「朝食 $(\mathrm{P})+$ 夕食 $(\mathrm{P})$ 」と複数ラベルに分類した例である.システムでは「カレー」というアスペクトに関連する語に注意が強く向けられたものの「カレー」は朝食にも夕食にも提供されるため, システムは両方のラベルを出力したと考えられる.実際には同レビュー中，文 (3) の 2 文前には「ここでは特に朝食バイキングが種類も多く味も良いです.」という文があるため，注目文に関する文脈を適切に選択する方法と, 選択された文脈の効果的な
エンコーディング方法の考案が課題となる. このような類似カテゴリを持つアスペクトの分類については誤りが多い傾向にあった。実世界での応用においては，カテゴリ同士の類似性は不均一であることが多いことから, 本コーパスは「朝食」と「立地」のように関連性のない分類が容易なカテゴリ対と「朝食」と「夕食」のような分類が難しいカテゴリ対を兼ね備えた有用な評価コーパスであると考える.

表 3 実験結果 ( $\mathrm{P}$ : 精度, $\mathrm{R}$ : 再現率, $\mathrm{F}: \mathrm{F}$ 値)

カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F} \quad$ カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F}$

$\begin{array}{lllllllllllll}\text { 朝食 }(\mathrm{P}) & 0.79 & 0.80 & 0.80 & \text { 立地 }(\mathrm{P}) & 0.77 & 0.58 & 0.66\end{array}$

$\begin{array}{llllllll}\text { 朝食 }(\mathrm{N}) & 0.58 & 0.70 & 0.62 & \text { 立地 }(\mathrm{N}) & 0.63 & 0.56 & 0.59\end{array}$

$\begin{array}{llllllllllllllll}\text { 夕食 }(\mathrm{P}) & 0.74 & 0.75 & 0.75 & \text { 設・ア }(\mathrm{P}) & 0.73 & 0.66 & 0.69\end{array}$

$\begin{array}{lllllll}\text { 夕食 }(\mathrm{N}) & 0.57 \quad 0.66 & 0.61 & \text { 設・ア }(\mathrm{N}) & 0.72 & 0.57 & 0.64\end{array}$

風呂 $(\mathrm{P}) \quad 0.80 \quad 0.70 \quad 0.75$ 部屋 $(\mathrm{P}) \quad 0.74 \quad 0.71 \quad 0.72$

風呂 $(\mathrm{N}) \quad 0.75 \quad 0.66 \quad 0.70$ 部屋 $(\mathrm{N}) \quad 0.65 \quad 0.47 \quad 0.55$

サービス (P) $0.84 \quad 0.75 \quad 0.79$

サービス $(\mathrm{N}) \quad 0.72 \quad 0.590 .65$

マクロ平均 $\quad 0.720 .650 .68$

マイクロ平均 0.750 .690 .72

## 5 おわりに

本論文では，宿泊施設レビューに記述されるアスペクトと評価極性に着目して日本語 ABSA コーパス構築について説明した。また評価実験を通して分類実験を行い，その結果から困難なパターンについて考察した。今後の課題を検討した.コーパス中のレビュー数を増加させること，「価格」などコーパスではカバーし切れていない属性のカテゴリを増やすことが今後の課題である。構築したコーパスは，国立情報学研究所の情報学研究データレポジトリ7) （IDR）にて公開予定である.

## 参考文献

[1] Yuki Nakayama and Atsushi Fujii. Extracting conditionopinion relations toward fine-grained opinion mining. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 622-631, 2015.

[2] 新里圭司, 小山田由紀. 店舗レビューには何が書かれているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[3] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[4] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504-515, 2019.

[5] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020.

[6] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6989-6999, 2020

[7] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016.

[9] Jeremy Barnes, Patrik Lambert, and Toni Badia. Exploring distributional representations and machine translation for aspect-based cross-lingual sentiment classification. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 1613-1623, 2016.

[10] Md Shad Akhtar, Palaash Sawant, Sukanta Sen, Asif Ekbal, and Pushpak Bhattacharyya. Solving data sparsity for aspect based sentiment analysis using cross-linguality and multi-linguality. In Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies (NAACL), pp. 572-582, 2018.

[11] Chenggong Gong, Jianfei Yu, and Rui Xia. Unified feature and instance based domain adaptation for aspect-based sentiment analysis. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7045, 2020.

[12] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010.

[13] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013.

[14]藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に向けた検討」. 言語処理学会第 21 回年次大会ワークショップ：自然言語処理におけるエラー分析, 2015.

[15] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[16] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[17] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

## 付録. A 円滑なアノテーション作業 のために

本文で述べたような 7 種類のタグの付与を行う際に，実際の作業では判断に迷うことがある.ここでは，円滑な作業が行えるよう作業者に予め共有したいくつかのケースとその対応について述べる.

## A. 1 明示的な評価表現を含まない場合

作業対象文は, 事実を含まないが明らかな評価極性を含まない意見が記載されていることがある．特に, 明らかなポジティブではないが以下のようなポジティブとする例もある．基本的な判断基準は，満足しているのか不満を示しているのかを捉えることである.

・和洋室のお部屋は所々リフォームされていて苦になりません。(部屋 $\mathrm{P}$ )

・部屋のボタンなど環境が古いですが，問題ありませんでした。(部屋 $\mathrm{P}$ )

・朝食のみのプランでしたが朝食は可もなく不可もなく特に不満ありませんが取り立てて印象に残るものもありませんでした。(朝食 $\mathrm{P})$

・お部屋は確かに普通ですが, 料理や雪遊びをする際の環境，何よりオーナーご夫婦の人柄があたたかく，部屋のことを補って余りある素敵な宿だと思います。(サービス $\mathrm{P}+$ 設備 $\mathrm{P}+$ 夕食 $\mathrm{P}+$ 朝食 $\mathrm{P})$

・確かに部屋はオーシャンビューだけど，ただ見えるだけで他に何もない。(部屋 $\mathrm{N})$

・部屋は広くはなかったが，值段からすれば仕方がないと思う。(部屋 $\mathrm{N}$, 解釈 : 部屋が広くない=不満)

## A. 2 評価極性を持つ表現がー文に混在す る場合

一文内にポジティブもしくはネガティブの表現のどちらかのみが複数存在する場合はそのままの極性を付与する. しかしながら，これら両方についての評価表現が一文内に存在する場合，ポジティブとネガティブの両方を付与することとする.

・部屋はまあまあ良かったが便器が小さすぎなのが残念. (部屋 $\mathrm{P}+$ 部屋 $\mathrm{N}$ )

$\cdot$ 中身は素晴らしいので, 外観が勿体無い, という感じでした。(設備・アメニティ $\mathrm{P}+$ 設備・アメニティ $\mathrm{N}$ )

・蜘蛛の巣もあったし料理は最高に良かったんで
すけど。(サービス $\mathrm{N}+$ 夕食 $\mathrm{P}$ )

・少し残念な点朝食のオペレーションが非常に悪かった。(サービス $\mathrm{N}+$ 朝食 $\mathrm{N}$ )

・部屋のカビ臭をごまかすためのお香が鼻につくし，あちこちほこりだらけ。(サービス $\mathrm{N}+$ 部屋 $\mathrm{N}$ )

## A. 3 大まかな評価, 全ての項目をカバーす る場合

一文に 7 項目全てをカバーするような表現が存在することがある. この場合は, 全ての項目にポジティブまたはネガティブを付与する.

・ホテル，食事，サービス全てにおいて大，大，大満足で，おかげで忘れることのできない新婚旅行になりました。(7 項目全て P, 解釈 : 「ホテル（立地，部屋，設備・アメニティ，風呂), 食事 (朝食, 夕食), サービス (サービス) 全てにおいて」との記載があるので，全ての項目に夕グを付与)

・評価通り, 素晴らしい旅館でした。(7 項目全て P)

・総合的に最悪のお宿です. (7 項目全て $\mathrm{N}$ )

・全体的には良い内容のホテルでした。(7 項目全 ح P)

## A. 4 「より」「さらに」や比較，提案を伴 う場合

「こうすればさらに良い」や「こうしてほしい」といった記述がある．先の例でもあったようにユーザが基本的に満足しているかどうかに着目し, ポジティブ，ネガティブのどちらかを付与する.

・このお風呂が温泉であればいう事はありませ几. (風呂 $\mathrm{P}$ )

・飲み物の注文は 14 時からということで，友人が残念がっていました。(サービス N)

・シャワーは温度調節機能付なら, 100 点とおもいます。(風呂 $\mathrm{P}$ )

・ただデラックスシングルはドコモですがティー テーブルと椅子を設置してますのでご検討のほど。(施設 $\mathrm{N}$ )

・私は大山牧場のコーヒー牛乳でもあれば嬉しかったですね。(サービス $\mathrm{N}$ )

・食事は会場が静か過ぎるので，テレビか BGM があるといいですね (アメニティ $\mathrm{N}+$ 夕食 $\mathrm{N}+$朝食 $\mathrm{N}$ )


# 複数作業者を想定したアノテーションツールの 作成と機能の検討

星島洸明
京都大学大学院情報学研究科
hoshijima.komei.72x@st.kyoto-u.ac.jp
亀甲博貴
京都大学学術情報メディアセンター
kameko@i.kyoto-u.ac.jp

## 1 はじめに

近年，市民科学 (Citizen Science) を活用した研究プロジェクトが注目されている。市民科学は非専門家が科学的な調査や研究活動を行うことを指す. 市民科学の特徴は少数の専門家のみで作業すると時間と費用が膨大にかかるプロジェクトでも多数の非専門家がプロジェクトに参加すると効率的に作業を進められることである。市民科学のブロジェクトの例として京都大学古地震研究会が 2017 年に公開した市民参加型史料翻刻プロジェクト「みんなで翻刻 (地震史料)」[1]が挙げられる. 翻刻とはくずし字で書かれている古文書などの歴史史料を一文字ずつ活字に書き起こしていく作業のことを指す.「みんなで翻刻」は web 上で歴史史料を翻刻するためのアプリケーションであり，翻刻作業には研究者だけでなく一般の人々も参加している.

このように，多くの研究分野においてデータに対して人手でラベルを付与することが求められている.そのため，タスクに応じたラベルをつけるアノテーションツールの需要がある. アノテーションツールを使用するのが複数人であると想定すると，作業する人それぞれが対象の専門的知識をどの程度有しているかは不明である。またCUIに慣れていない人も含まれるためツールはマウスのクリックと簡単なキーボードからの入力のみで扱えることが好ましい.

本研究では，非専門家が複数人いる状態で効率的にアノテーションすることを目指して，固有表現を題材にしたアノテーションツールを試作した. 実験ではアノテーションツールを使用して固有表現のアノテーションコーパスを作成した. 実験の結果,

\author{
西村太一 \\ 京都大学大学院情報学研究科 \\ nishimura.taichi.43x@st.kyoto-u.ac.jp \\ 森信介 \\ 京都大学学術情報メディアセンター \\ forest@i.kyoto-u.ac.jp
}

固有表現認識モデルの支援がある状態のほうが，支援がない場合よりラベル付けされたアノテーションコーパスの品質は向上した。作成したそれぞれのコーパスで学習し比較した結果，支援がある場合で作成したアノテーションコーパスで学習したほうが $\mathrm{F}$ 値が向上した.

## 2 関連研究

## 2.1 アノテータが複数いる状態のアノテー ション

複数のアノテータが同一の文書に対してアノテー ション作業を行う際，複数のアノテーションデータから最も優れているラベルデータを選出し, 作成されたアノテーションデータで学習したモデルでまだアノテーションされてないテキストに対してラベル候補を提示する研究がある [2].

クラウドソーシングでラベル付きのデータを収集するとアノテータがラベル付けしたタスクに対して専門的知識をどの程度有しているかはアノテータそれぞれで異なる. そのため，アノテーションの品質管理はクラウドソーシングにおいて重要な課題である. アノテータつけたラベルが誤りであるかを推定する方法として同じデータを複数のアノテータにラベル付けしてもらい，その結果の多数決をとることでラベルの統合を行う方法がある．しかしこの方法は各アノテータの誤り率が同等であることを前提とするため必ずしも効率的な方法ではない．アノテー タの誤り率を推定するため専門的知識の有無などを考慮に入れた方法が提案されている [3].

図 1 試作したツールの全体図.

## 2.2 非専門家がいる状態のアノテーション

Snow らの研究 [4] ではクラウドソーシングによって専門家，非専門家それぞれがアノテーションコー パスを作成した. 非専門家のアノテータが作成したデータの品質の偏りがあるため, データの品質からアノテータの評価を行い管理した. その結果，設定した 5 つのタスクにおいて非専門家が作成したアノテーションコーパスは専門家が作成したアノテー ションコーパスの 4 倍用意すると識別機の性能が同じになった.

専門分野に関する知識を有しない非専門家と専門家が同じテキストに対してラベル付けをする場合， まず非専門家がテキストのラベル付けをしてその生成物を専門家が修正することで，アノテーションコーパスを生成するコストを削減しアノテータ間の一致率を向上させた研究がある [5].

## 2.3 既存のアノテーションツール

系列ラベリングで使用される既存のテキストアノテーションツールはショートカットキーの設定 [6],能動学習を使用可能 [7] といった機能があり，効率的なアノテーションコーパスの作成ができる. 本研究では，こうしたツールを参考に，(1) ラベル候補の提示機能と (2) ショートカットキーの設定機能が実装されており，効率よくアノテーションを行うことができる.
Ac.

居了

図 2 ツールのインターフェイス

## 3 アノテーションツール

複数人が作業することを想定した，ラベル付けをするためのツールを開発した。本ツールの概要図を図 1 に示す.ツールのラベル付けするときのインターフェイスを図 2 に示す. 本ツールはアノテータが複数人であることを想定しており，各アノテータはアカウントを作成し各々が作業するプロジェクトを作成する。次にプロジェクト毎にテキストに付与したいラベルを設定する．作業するテキストには事前に学習したモデルを使用してラベル候補をアノテータに提示する. アノテータはツールによって提案されたラベルの範囲と種類が正確であると判断した場合はそのままにしておき，誤っていると判断した場合はラベルを削除する。ツールによって付与されたラベル以外にラベルを付ける必要があるとアノテータが判断すれば新たにテキストにラベルを追加する、ツールはアノテータが作業開始から作業終了までの時間を測定しており，ラベル付けされたデー タとともにそれらの時間をデータベースに格納する. 各アノテータによってラベル付けされたデータを元の学習データに加えて，新たにモデルを学習す
表 1 レシピ用語のタグ一覧.

ることで自動ラベリングモデルの精度をより良くしてアノテータの負担を削減する。

## 4 実験

訓練データから学習したモデルを使用して，ラベル付けする候補をアノテータに提示して，人手でそれを修正することでアノテーション作業の効率化が見られるか観測する実験を行う．本実験では上記のように新たにモデルの学習はしていない. アノテー タによってラベル付けされたデータを正解データと比較して評価する。

## 4.1 実験設定

本実験では，アノテーション課題としてレシピ分野を対象とした固有表現認識を行う. 使用するデー タセットは，笹田らの基準 [8](表 1) に基づき定義されたレシピ用語を, IOB 形式でレシピ分野に精通した人がラベル付けしており，これを正解データとして活用した. 支援のための固有表現認識モデルにはこのデータセットの学習データ 2,358 文使用した.また，テストデータには 387 文使用した. 固有表現認識モデルには BiLSTM-CRF [9]を用いた。アノテータは 3 名で, 日本語母語話者でありレシピ分野に関して専門的知識は有していない。各アノテー タそれぞれは同じ 200 文にラベル付けをした. 200 文のうち 100 文は支援あり，100 文は支援なしでラベル付けを行った. なお，支援ありの 100 文はアノテータ毎に異なる.

以下に実験で使用したパラメータを説明する．単語埋め込み層の入力は 1,640 , 出力は 512 で, LSTM 層の出力は 1,024 , 最終的な出力は 17 , バッチサイズは 10 で実施した. アノテータ支援のための固有表現認識モデルの適合率，再現率， $\mathrm{F}$ 値はそれぞれ

図 3 作業にかかった時間.

図4 ラベル付けされたデータの品質.

0.8164, $0.8425,0.8292$ であった.

## 4.2 実験手順

本ツールではアノテータが各自アカウントを作成しそれぞれのアノテータ情報とアノテーションデー タを紐付けられている。そのため，アノテーション作業にかかる時間をツールで測定してツールによる支援がある場合と支援がない場合でかかる時間の差を見られるようになっている。アノテータが作業する際，ツールによる支援がある場合には，事前に学習した固有表現認識モデルを使用して，ツールの画面に表示されるテキストの中から固有表現を認識して画面上に表示する.ツールによる支援はそれぞれのアノテータが作業する 200 文のうちランダムに選ばれた 100 文に対して行われた。支援がある文と支援がない文はランダムに選ばれ，アノテータは作業を行う文を選択するまで支援があるかないか知ることができない.

作成されたアノテーションコーパスを正解データと比較して適合率，再現率， $\mathrm{F}$ 値を計算した。

## 4.3 結果

アノテータ 1

アノテータ 2

アノテータ 3

図 5 ラベル付けされたデータの品質の移動平均.

表 2 ラベル付けされたデータの品質.

## 4.3.1 作業時間

作業にかかった時間を図 3 に示す.今回実験に参加したいずれのアノテータでも，支援がある場合の方が支援がない場合よりも少ない時間で作業を終了させることができた.

## 4.3.2 データ品質

ラベル付けされたデータの品質を図 4 に示す.值は $\mathrm{F}$ 値を表す. ラベル「 $\mathrm{Af}\lrcorner ， 「 \mathrm{St} 」 に$ 関してアノテータ 2 の支援なしの場合は他のアノテータより比較的品質が高かった. そのためアノテータ 2 はこれらのラベルを付けることが比較的得意である可能性がある.

アノテータ 3 名のラベル付けされたデータの品質を表 2 に示す. 表中の値は固有表現認識モデルによる支援がない場合と支援がある場合それぞれにおける適合率，再現率， $\mathrm{F}$ 值を平均で示している. 支援なしの場合よりも支援ありの場合のほうがラベル付けされたデータの品質は向上した. 支援のための固有表現認識モデルによる自動ラベリングの品質の F 值は，支援がある場合よりは低く支援がない場合より高い結果になった。

アノテータが作成したデータの品質が作業の経過とともに変化するか調べるため, 各アノテータのデータ品質の移動平均を計算した. 各アノテータのデータの品質の移動平均を 10 文毎にとった結果を図 5 に示す. いずれのアノテータも作業を進めるにしたがってラベル付けしたデータの品質は向上していった. 向上した理由がアノテータが固有表現認識モデルの出力から学習したためか次第に作業に慣れていったためかはさらなる調査が必要である.表 3 ラベルの認識性能 (学習データ:100 文).

## 4.3.3 固有表現認識性能

各アノテータがラベル付けしたデータで学習した固有表現認識モデルの性能を表 3 に示す. いずれのアノテータでも支援がある場合の方が支援がない場合よりラベル付けされたデータの品質が向上した.

## 5 おわりに

本研究では，非専門家が専門分野のアノテーションコーパスを効率的に作成するためのツールを試作した. 試作したツールは事前に学習したモデルによるラベルの提案機能を持つ. 支援があると効率よくアノテーション作業がすすめられ，ラベル付けデー タの品質は向上した。また，アノテータがそれぞれ提出したアノテーションコーパスで学習した固有表現認識モデルは支援がある場合のほうが固有表現認識性能が高くなった。

アノテータ毎のラベル付けされたデータの品質から，(1) 特定のアノテータは特定のラベルの種類に関してラベル付け作業が得意である場合があること，(2) 特定のラベルに比較的詳しいと思われるアノテータとそうではないアノテータがそれぞれ作成したアノテーションコーパスではデータの品質が異なることが分かった. そのためアノテータ毎に比較的信用できるラベルに重みを付けてアノテータテー タコーパスを作成していくと固有表現認識モデルを効率的に学習できる可能性がある.

今後は，本ツールにアノテータのラベル付けの誤り率からアノテータの品質を考慮し管理する機能を追加する予定である。また，能動学習などを活用して固有表現認識モデルを逐次更新をする機能を追加することも検討する。

## 参考文献

[1] みんなで翻刻|歴史資料の参加型翻刻プラットフォーム. https://honkoku.org. (参照 2021-1-13).

[2] An T Nguyen, Byron C Wallace, Junyi Jessy Li, Ani Nenkova, and Matthew Lease. Aggregating and predicting sequence labels from crowd annotations. In Proceedings of the conference. Association for Computational Linguistics. Meeting, Vol. 2017, p. 299. NIH Public Access, 2017.

[3] Peter Welinder, Steve Branson, Pietro Perona, and Serge Belongie. The multidimensional wisdom of crowds. Advances in neural information processing systems, Vol. 23, pp. 24242432, 2010.

[4] Rion Snow, Brendan O'connor, Dan Jurafsky, and Andrew Y Ng. Cheap and fast-but is it good? evaluating non-expert annotations for natural language tasks. In Proceedings of the 2008 conference on empirical methods in natural language processing, pp. 254-263, 2008.

[5] Mary Martin, Cecilia Mauceri, Martha Palmer, and Christoffer Heckman. Leveraging non-specialists for accurate and time efficient AMR annotation. In Proceedings of the LREC 2020 Workshop on "Citizen Linguistics in Language Resource Development”, pp. 35-39, Marseille, France, May 2020. European Language Resources Association.

[6] doccano. https://github.com/doccano/doccano.照 2021-1-13).

[7] Bill Yuchen Lin, Dong-Ho Lee, Frank F. Xu, Ouyu Lan, and Xiang Ren. AlpacaTag: An active learning-based crowd annotation framework for sequence tagging. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 58-63, Florence, Italy, July 2019. Association for Computational Linguistics.

[8] 笹田鉄郎, 森信介, 山肩洋子, 前田浩邦, 河原達也. レシピ用語の定義とその自動認識のためのタグ付与コー パスの構築. 自然言語処理, Vol. 22, No. 2, pp. 107-131, 2015.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.


# オンライン百科辞典を対象とする 有効期限切れ情報データベースの作成

土屋雅稔横井康孝
豊橋技術科学大学大学院 情報. 知能工学専攻
\{tsuchiya, yokoi\}@is.cs.tut.ac.jp

## 1 はじめに

ウェブを通じて提供される膨大な情報は，我々の日常生活において欠かせないツールとなっている. しかし，全ての情報を参照することは非現実的であり，適切な取捨選択が必要である $[1,2]$. 特に，ウェブ上の情報は全てが適時に更新されているわけではないため，現在参照するには不適当な情報についての取捨選択は重要である。具体例として, 図 1 のような情報を考える。文 $s_{b}$ に記載されている通り大志田駅は 2016 年に廃止されているため, 文 $s_{t}$ に基づいて盛岡市浅岸字大志田に行く交通手段を考えることは適切ではない。

ウェブには，文 $s_{t}$ のような情報が多数存在しており，情報利活用の障害となっている。このような情報の利活用を支援するため，情報を時系列に注目して整理$\cdot$提示する方法が提案されている $[3,4]$. しかし, 先行研究では, 利用者の観点から現在参照するには不適当な情報の自動判定は行っていない

本稿では，文 $s_{t}$ のような情報を有効期限切れ情報と呼び，有効期限切れ情報を自動判定するタスクを提案する．有効期限切れ情報の自動判定タスクを設定するにあたっては, 判定対象となる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力して文 $s_{t}$ が有効期限切れであるか否かを判定する夕スク設定と, 判定対象となる文 $s_{t}$ のみを入力して文 $s_{t}$ が有効期限切れであるか否かを判定するタスク設定の 2 通りが考えられる。有効期限切れ情報の自動判定によって情報利活用を支援するという，有効期限切れ情報の自動判

図 1 有効期限切れ情報の例定タスクが目指す本来の目的から考えると，文 $s_{t}$ のみを入力とする後者のタスク設定が自然である。しかし，後者の夕スク設定を実現するためには，文 $s_{t}$ が有効期限切れである根拠を発見するというタスクを同時に解く必要があり，夕スクが極端に難しくなることが予想される。そこで本稿では，判定対象となる文 $s_{t}$ および根拠となる文 $s_{b}$ の 2 文を入力として，文 $s_{t}$ が有効期限切れであるか否かを判定するという前者の夕スク設定に限定して検討する．以後，判定対象となる文 $s_{t}$ を判定対象文，根拠となる文 $s_{b}$ を基準文と呼ぶ。

有効期限切れ情報を収集するテキストとしては， オンライン百科事典 (日本語版 Wikipedia) を利用する. オンライン百科事典は継続的に更新されており，旧版のオンライン百科事典と，新版のオンライン百科事典を比較すると，追加された記事や，記述内容が更新された記事が見つかる．特に，ある項目に関する記事が更新されている場合，旧版の記述には有効期限切れ情報が含まれ，かつ，新版の記述には判定根拠となる情報が含まれることが多いと期待される。

以下，有効期限切れ情報の分析と定義および有効期限切孔情報データベースの作成方法について述べる.

## 2 有効期限切れ情報の定義

情報の有効期限切孔とは, 直感的には, 図 1 のように，古い説明文 $s_{t}$ の情報が新しい説明文 $s_{b}$ によって上書きされ，古い説明文の情報が有効性を失っている状態である。ここで，以下のような文 $s_{n}$ を考える。

$s_{n}$ 盛岡市が大志田駅から浅岸駅までの 13 キ口の近郊自然歩道を整備し、2015 年 5 月 15 日から利用可能となった。

3 つの文 $s_{t}, s_{b}, s_{n}$ は全て, 大志田駅について述べた
文である。しかし, 文 $s_{b}$ を基準として文 $s_{t}$ が有効期限切れと言うことは可能と考えられるのに対して, 文 $s_{n}$ を基準として文 $s_{t}$ が有効期限切孔と言うことは困難である。この例は, 有効期限切れ関係は，あらゆる文対に対して成り立つわけではなく， ある特定の文対に対してのみ成り立つことを示唆している.

そこで，この節では，有効期限切れについて，含意関係との関係に注目しつつ, 形式的な定義を与えることを試みる。

## 2.1 有効期限切れ現象の検討

最初に，有効期限切れが実際に起きている例文を参照しながら, 有効期限切れとは, どのような現象であるのかを検討する。

有効期限切れが起きている例として，以下のような 2 つの文 $s_{1}, s_{2}$ を考える。

$s_{1}=\underset{\text { 宾ラ゙本で最も高いビルはークタワーである }}{2010 \text { 年現在 }, \text { 横 }}$

$s_{2}=$ 日本で最も高いビルは, 2015 年現在, あべのハルカスである

「日本で最も高いビル」に関する文 $s_{1}$ の情報は，文 $s_{2}$ によって上書きされており, 2020 年現在の利用者視点では，文 $s_{1}$ の情報は有効期限切れである.

形式的に議論するため, 文 $s$ の記述内容を, 文 $s$ が注目している時間 $t$ と, 時間とは関係なく成立する記述内容 $x$ の 2 つ組として考える.

$
s=\langle x, t\rangle
$

まず，文 $s_{1}$ の記述内容を, 2 つ組 $\left.\langle x_{1}, t_{1}\right.\rangle$ に分解する.

$
\begin{aligned}
s_{1} & =\left.\langle x_{1}, t_{1}\right.\rangle \\
x_{1} & =\underset{\text { クタで最も高いビルは },}{\text { 日横浜ランドマーである }} \\
t_{1} & =2010 \text { 年 }
\end{aligned}
$

文 $s_{2}$ の記述内容も, 同様に 2 つ組 $\left.\langle x_{2}, t_{2}\right.\rangle$ に分解する.

$
\begin{aligned}
s_{2} & =\left.\langle x_{2}, t_{2}\right.\rangle \\
x_{2} & =\underset{\text { 日本である最も高いビルは, あべのハルカス }}{\text { 只い }} \\
t_{2} & =2015 \text { 年 }
\end{aligned}
$

ここで，文 $s_{1}$ の時間情報のみを $t_{2}$ に置き換えた文 $s_{1,2}$ を考える.

$
\begin{aligned}
s_{1,2} & =\left.\langle x_{1}, t_{2}\right.\rangle \\
& =\underset{\text { 浜ランド最も高いビルは }}{\text { 日本でークタワーである }} 2015 \text { 年現在, 横 }
\end{aligned}
$

この時, 文 $s_{1,2}$ と文 $s_{2}$ は，矛盾している.次に，有効期限切れを引き起こさない例として，以下のような文 $s_{3}$ を考える。

$s_{3}=$ 世界で最も高いビルは, 2015 年現在, ブルジュ・ハリファである

文 $s_{1}$ は日本で最も高いビルについて述べている. それに対して，文 $s_{3}$ は世界で最も高いビルについて述べており, 日本で最も高いビルについてはまったく言及していない. そのため, 文 $s_{3}$ が基準となって, 文 $s_{1}$ が有効期限切れとなるとは考えられない. また, 文 $s_{1,2}$ と文 $s_{3}$ は, 矛盾していない.

以上の観察より, 本稿では, 有効期限切れを, 矛盾を手がかりとして定義する。

## 2.2 有効期限判定と含意関係判定の関係

本稿では, 2.1 節で述べた通り, 情報の有効期限切れを，矛盾を手がかりとして定義する，以下では， その形式的な定義について述べる。

最初に, 含意関係判定を定義する. 先行研究 [5] にしたがうと, 含意関係判定は, 2 つの文 $s_{h}, s_{p}$ が与えられた時, その 2 つの文の含意関係に応じて以下の 3 通りの値を返す関数 $f$ と見なせる。 なお, 本稿では，含意関係の方向については考慮せず，どちらかの方向の含意関係が成り立っている時は含意であるとする。

$
f\left(s_{h}, s_{p}\right)=\left.\{\begin{array}{l}
\text { if } s_{h} \rightarrow s_{p} \vee s_{p} \rightarrow s_{h} \\
\quad \text { 含意 } \\
\text { if } s_{h} \wedge s_{p}=\phi \\
\quad \text { 矛盾 } \\
\text { otherwise } \\
\text { 中立 }
\end{array}\right.
$

次に, 有効期限判定を定義する，まず，判定対象文 $s_{t}$ と基準文 $s_{b}$ を，それぞれ内容と時間情報の 2 つ組に分解する。

$
\begin{aligned}
s_{t} & =\left.\langle x_{t}, t_{t}\right.\rangle \\
s_{b} & =\left.\langle x_{b}, t_{b}\right.\rangle
\end{aligned}
$

判定対象文 $s_{t}$ と基準文 $s_{b}$ が与えられた時, 2.1 節の観察に基づいて, 有効期限判定を，以下の 2 通りの値を返す関数 $g$ として定義する。

$
g\left(s_{t}, s_{b}\right)=\left.\{\begin{array}{c}
\text { if } f\left(s_{t}, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(\left.\langle x_{t}, t_{b}\right.\rangle, s_{b}\right)=\text { 矛盾 } \\
\vee f\left(s_{t},\left.\langle x_{b}, t_{t}\right.\rangle\right)=\text { 矛盾 } \\
\text { 期限切れ } \\
\text { otherwise } \\
\text { 期限内 }
\end{array}\right.
$
以上のように，本稿では，情報の有効期限切れを，基準となる情報が存在して初めて決定できる概念として扱う。

情報の有効期限切れを，以上のように定義すると, 多くの場合に利用者の直感とよく一致するが,時間変化する情報の有効期限切孔については注意が必要である. 例として, 以下の 2 つの文 $s_{4}, s_{5}$ を考える。

$s_{4}=$ 東都大学の 2014 年度の受験者数は 2000 人である

$s_{5}=$ 東都大学の 2015 年度の受験者数は 3000 人である

文 $s_{4}$ を，以下の 2 つ組に分解する.

$s_{4}=\left.\langle x_{4}, t_{4}\right.\rangle$

$x_{4}=$ 東都大学の受験者数は 2000 人である

$t_{4}=2014$ 年度

文 $s_{5}$ も，同様に 2 つ組に分解する.

$s_{5}=\left.\langle x_{5}, t_{5}\right.\rangle$

$x_{5}=$ 東都大学の受験者数は 3000 人である

$t_{5}=2015$ 年度

ここで，文 $s_{4}$ の時間情報のみを $t_{5}$ に置き換えた文 $s_{4,5}$ を考える。

$s_{4,5}=\left.\langle x_{4}, t_{5}\right.\rangle$

= 東都大学の 2015 年度の受験者数は 2000

この時, 文 $s_{4,5}$ と文 $s_{5}$ は矛盾している。 そのため,本稿では, 文 $s_{4}$ は 2014 年度の情報としては未だに真であるにも関わらず，式 4 の定義に基づいて，文 $s_{4}$ は文 $s_{5}$ によって上書きされており, 文 $s_{4}$ の情報は有効期限切れであると見なす。言い換えれば，本稿の定義では, 有効期限を現時点 (正確には, 基準テキストが記述された時点) の情報として有効であるか否かを考えていることになる。

さらに，文 $s_{5}$ の代わりに，以下のような文 $s_{6}$ を考える。

$s_{6}=$ 東都大学の 2015 年度の受験者数は, 昨年度に比べて 1000 人増加した

文 $s_{6}$ は，以下のように 2 つ組に分解できる.

$s_{6}=\left.\langle x_{6}, t_{6}\right.\rangle$

$x_{6}=$ 東都大学の受験者数は, 昨年度に比べて 1000 人増加した

$t_{6}=2015$ 年度

文 $s_{4}$ と文 $s_{6}$ の対, または文 $s_{5}$ は，同じ事実「東都大学の 2015 年度の受験者数は 3000 人である」についての 2 通りの異なる表現である。にも関わらず，文 $s_{4,6}$ は文 $s_{6}$ とは矛盾しないため, 式 4 の定義に従うと，文 $s_{6}$ を基準として考える場合には，文 $s_{4}$ は有効期限切れではない，言い換えれば，有効期限切
れの判定にあたっては，2つの文から演繹される結果までは考慮することなく, その 2 つの文に基づいて考えるという立場をとる。

## 3 有効期限切れ情報データベースの 作成

## 3.1 対象テキストの選定

有効期限切れ情報の自動判定によって情報利活用を支援するという, 有効期限切れ情報の自動検出夕スクが目指す本来の目的から考えると，判定対象文としては，個人によるブログ記事に含まれる文のような自由な文体の文を，基準文としては，新聞記事などの信頼性が高く定型的な文体の文を選択することが適切と考えられる。この場合, 判定対象文はブログ記事から, 基準文は新聞記事から収集することになる。しかし, 膨大なブログ記事から有効期限切れ情報を含む判定対象文を収集することが困難であるだけでなく, その判定対象文に対応する根拠となる基準文を収集することも困難である。

このような文対を大量に作成する方法としては,判定対象文 (または基準文)を多数の作業者に提示し，提示した文に適するような基準文 (または判定対象文)を作成するように依頼するクラウドソーシングが広く用いられている [6]. しかし, この方法で作成されたデー夕には，作業者によって不適切なバイアスが混入することが指摘されている $[7,8]$.

そのため, 本稿では, オンライン百科事典の継続的な更新という性質に注目し, 更新時期が古い記事から判定対象文を, 更新時期が新しい記事から基準文を収集する。

## 3.2 アノテーション対象差分の抽出

本稿では, 有効期限切孔情報データベースの作成対象として, オンライン百科事典である日本語版 Wikipedia に注目する. 2014 年 12 月 11 日時点の夕゙ ンプデータと 2018 年 12 月 20 日時点のダンプデー 夕を対象として，WikiExtractor ${ }^{1)}$ を用いたプレーンテキスト化を行い，記事数の変化を調査した。調査結果を, 表 1 に示す. 本稿では, 双方に存在する記事 936,985 件を対象とする。

双方の日時に存在する記事について, 記事の記述内容を比較すると, さまざまな差分が発見される. まず，本稿では，問題を単純化するために，編集によって変化している文が 1 文であるような差分を対

1) https://github.com/attardi/wikiextractor
表 1 日本語版 Wikipedia の記事数の変化

象とする。また, 有効期限判定の対象として適切な差分を収集するには, 時間経過によって変化した情報に言及している差分を収集する必要がある。そのため, 2014 年 (判定対象文 $s_{t}$ の記述時点) ら 2018 年 (基準文 $s_{b}$ の記述時点) までの日時に対する言及を含む差分や, 同じ期間に追加された記事に対する言及を含む差分を対象とする。このように考えると， 193,142 箇所の差分が候補となる.

193,142 箇所の差分には, 句点の追加 $\cdot$ 削除, 誤字脱字の修正など, 微細な編集のみが行われている場合も非常に多く含まれている。本稿の目的に照らすと, 判定対象文と基準文で記述内容が本質的に変化している場合を対象として，収集およびアノテー ションを行いたい．そこで，判定対象文 $s_{t}$ と基準文 $s_{b}$ の最長共通部分列 $L C S\left(s_{t}, s_{b}\right)$ が, 文 $s_{t}, s_{b}$ に占める割合が 0.6 以下であるような差分のみを対象とする。このように考えると， 15,648 箇所の差分が候補となる。

最後に, できるだけ良質な記事の差分を優先して収集およびアノテーション対象とすることを考える.そのため, SQuAD[9] と同様に, Wikipedia の記事間のリンクに基づく PageRank[10] の上位記事から収集した 9,600 箇所の差分を対象とする.

## 3.3 アノテーション

3.2 節で説明した手順で抽出した 9,600箇所の差分に対して，3種類の含意関係ラベル (含意, 矛盾, 中立) と 2 種類の有効期限ラベル (期限切れ, 期限内) を人手で付与した。付与したラベルの内訳を，表 2 に示す。表 2 より, $32.2 \%$ (3,090 箇所)の差分が有効期限切孔と判定された. この判定結果から, 日本語版 Wikipedia には有効期限切软情報が多く存在することがわかり, 有効期限切れ情報の自動判定が必要であることが示された。

また，表 2 より，含意関係ラベルが含意または中立である場合であっても，有効期限切れと判定される差分も多く存在していること，すなわち，従来の含意関係判定と本稿が提案する情報の有効期限判定表 2 含意関係ラベルおよび有効期限ラベルの分布

には違いがあることがわかる，以下に，含意関係ラベルが含意, かつ, 有効期限ラベルが期限切れとなる差分の実例を示す。

この 2 文 $s_{7}, s_{8}$ は，国立駅に関する記事の一部である. 文 $s_{7}$ で説明されている事実は, 文 $s_{8}$ でも同様に説明されているため, 文 $s_{8}$ から文 $s_{7}$ に対する片方向含意は成り立っていると考えられる。しかし,文 $s_{7}$ における「改札は高架下の 1 ケ所」という説明は，文 $s_{8}$ によって「改札は高架下と西側に 2 ケ所」 と上書きされているため, 有効期限ラベルは期限切れとなる。

## 3.4 作業者間一致度

アノテーションが安定して行われているかどうかを検討するため, 作業者間一致度を調査する。 3.2 節で述べた Wikipedia の記事間リンクに基づく PageRank の上位記事から，300箇所の差分を調査対象とし，2 名の作業者による独立したアノテーション作業を実施した。2 名の作業者による含意関係判定の一致率は $83.7 \%$ (251 箇所), 有効期限判定の一致率は $88.0 \%$ (264 箇所) だった。作業者間で判断が異なった箇所について精査したところ, 文外知識の理解度などによるものが多く見られた。

## 4 結論

本稿では，有効期限切孔情報の自動判定タスクを提案した. 有効期限切れ現象について分析を行い,分析に基づいて, 情報の有効期限切れを含意関係判定と関連付けて定義した。有効期限切孔情報デー夕ベースを，オンライン百科事典の継続的な更新という性質に基づいて作成する方法について述べた。

## 参考文献

[1] Catherine C. Marshall and Frank M. Shipman. Spatial hypertext and the practice of information triage. In Proceedings of the Eighth ACM Conference on Hypertext, HYPERTEXT '97, pp. 124-133, New York, NY, USA, 1997. Association for Computing Machinery.

[2] Sofus A. Macskassy and Foster Provost. Intelligent information triage. In Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '01, pp. 318-326, New York, NY, USA, 2001. Association for Computing Machinery.

[3] Gabriel Pui Cheong Fung, Jeffrey Xu Yu, Huan Liu, and Philip S. Yu. Time-dependent event hierarchy construction. In Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '07, p. 300-309, New York, NY, USA, 2007. Association for Computing Machinery.

[4] Canhui Wang, Min Zhang, Liyun Ru, and Shaoping Ma. Automatic online news topic ranking using media focus and user attention based on aging theory. In Proceedings of the 17th ACM Conference on Information and Knowledge Management, CIKM '08, p. 1033-1042, New York, NY, USA, 2008. Association for Computing Machinery.

[5] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Hrafn Loftsson, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pp. 216-223, Reykjavik, Iceland, may 2014. European Language Resources Association (ELRA).

[6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation artifacts in natural language inference data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, June 2018.

[8] Masatoshi Tsuchiya. Performance impact caused by hidden bias of training data for recognizing textual entailment. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[9] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Con- ference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016.

[10] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The pagerank citation ranking: Bringing order to the we.b. Technical Report 1999-66, Stanford InfoLab, November 1999.