# 多言語雑音除去自己符号化器による教師なし品質推定

品質推定の教師あり学習は, 言語対ごとに翻訳品質ラベルを人手で付与する必要が あり，コストが高い。そこで，対訳コーパスのみで訓練された機械翻訳器を用いる 教師なし品質推定が研究されているが，既存手法は少資源言語対では性能が低下す る。本研究では, 事前訓練された多言語雑音除去自己符号化器を活用することで, 大規模な対訳コーパスが存在しない言語対にも適用可能な教師なし品質推定を提案す る. 具体的には, 多言語雑音除去自己符号化器を対訳コーパスを用いて再訓練する ことで多言語機械翻訳器を構築する。 そして, 評価対象の機械翻訳器による出力文 を原文から forced-decoding する際の文生成確率によって翻訳品質を推定する。大規模な単言語コーパスにより事前訓練された多言語雑音除去自己符号化器は言語間の 特性を捉えられるため, 提案手法では少資源または対訳コーパスが存在しない言語対においても品質推定が可能となる。WMT20の品質推定タスクにおける評価の結果，提案手法は 6 言語対のうち 5 言語対について，ブラックボックス設定における 教師なし品質推定の最高性能を達成した。詳細な分析の結果, ゼロショット設定の 品質推定においても提案手法は良好な性能を示すことが明らかとなった.

キーワード：品質推定，機械翻訳
## Unsupervised Quality Estimation via Multilingual Denoising Autoencoder

\author{
Tetsuro Nishihara $^{\dagger}$, Yuji Iwamoto ${ }^{\dagger}$, Masato Yoshinaka $^{\dagger \dagger}$, Tomoyuki Kajiwara ${ }^{\dagger}$, \\ YUKI ARASE $^{\dagger \dagger}$ and TAKASHI NinOMIYA ${ }^{\dagger}$
}

Supervised quality estimation methods require a corpus that manually annotates qualities of translation outputs. To avoid such costly annotation process, previous studies have proposed unsupervised quality estimation methods based on machine translation models trained on a large-scale parallel corpora. However, these methods are not applicable to low-resource or zero-resource language pairs. This study addresses this problem by utilising a pre-trained multilingual denoising autoencoder. Specifically, the proposed method constructs a machine translation model by fine-tuning the multilingual denoising autoencoder with parallel corpora. It then estimates the translation quality as a forced-decoding probability of a translation output given its

source sentence. The pre-trained denoising autoencoder captures linguistic characteristics across languages, which allows our method to evaluate translation quality of low-resource and zero-resource language pairs. Evaluation results on the WMT20 quality estimation task confirm that the proposed method achieves the best unsupervised quality estimation performance for five language pairs under the black box settings. Detailed analysis shows that the proposed method also performs well on under the zero-shot setting.

Key Words: Quality Estimation, Machine Translation

## 1 はじめに

BLEU (Papineni et al. 2002) や METEOR (Banerjee and Lavie 2005) などの参照文に基づく自動評価指標は, ベンチマーク上での機械翻訳 (MT) システムの開発に貢献してきた. しかし, ユーザが実際に MT システムを使用する際には，事前に参照文を用意できない場合が多いため， これらの自動評価指標を用いてユーザが MTの品質を確認することは難しい．本研究では，参照文を用いない自動評価である品質推定 (Quality Estimation, QE) (Specia et al. 2018)に取り組む， QEでは，原文とそれに対応する MT 出力文を比較することで， MT 品質を推定する．人手評価との相関が高い $\mathrm{QE}$ 手法を開発することにより，MT 出力文をそのまま使用するか，手動または自動で後編集するか，他のMT システムを利用するかというユーザの判断を支援できる.

国際会議 WMT における QE タスク (Specia et al. 2020)を中心に，これまで多くの教師あり QE 手法 (Specia et al. 2013; Kim et al. 2017; Ranasinghe et al. 2020) が提案されてきた. しかし，これらの教師あり $\mathrm{QE}$ モデルの訓練には，「原文・対応する $\mathrm{MT}$ 出力文・人手評価値」の 3 つ組が必要である。このような $\mathrm{QE}$ 訓練データの構築は, 翻訳者などの原言語と目的言語の両万に精通したアノテータによる作業が必要となるため, 非常にコストが高い. そのため, WMT の QE タスクに含まれるような，わずかな言語対でしか教師あり $\mathrm{QE}$ モデルを得られないのが現状である.

この問題を解決するために，教師なし QEが研究されている．教師なし QE の先行研究は多言語 MT システムに基づいており，MT システムの符号化器のみを用いる手法 (Artetxe and Schwenk 2019) および MT システムの符号化器と復号器の全体を用いる手法 (Thompson and Post 2020; Fomicheva et al. 2020b) に大別できる. これらの既存手法は, 人手評価のアノテー ションこそ不要なものの, 評価対象の言語対における大規模な対訳コーパスを用いた訓練が必要である.

本研究では，大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なしQE 手法を提案する. Thompson and Post (2020) と同様に, 提案手法は多言語 MT システムに基づき，原文を入力として評価対象の MT 出力文を forced-decoding する際の翻訳確率

を品質推定に用いる。提案手法では, 事前訓練された多言語雑音除去自己符号化器 (Lewis et al. 2020; Liu et al. 2020)を活用することで，少資源，ひいては対訳コーパスが存在しない言語対においても QE を可能とする。大規模な単言語コーパスによって訓練された多言語雑音除去自己符号化器を再訓練して得られる MT システムはゼロショット設定の言語対においても機械翻訳が可能となることが示されている (Liu et al. 2020). 同様の効果が QEにおいても期待され, 一部の言語対における対訳コーパスを用いた再訓練によって他の言語対の $\mathrm{QE}$ 性能も向上すること，さらには対訳コーパスを用意できない言語対におけるゼロショット $\mathrm{QE}$ も実現できると考えられる。

WMT20 QE タスク (Specia et al. 2020) における実験の結果，提案手法は既存の教師なし QE 手法よりも高い人手評価との相関を達成した。また，詳細な分析の結果，対象言語対の対訳コー パスを使用しないゼロショットの設定においても提案手法は良好な結果が得られ，教師なし $\mathrm{QE}$ における単言語コーパスを用いた雑音除去自己符号化器の事前訓練の有効性を確認できた.

## 2 関連研究

本節では， $\mathrm{QE}$ における先行研究を議論する．まず 2.1 節では，教師あり $\mathrm{QE}$ について代表的な研究を紹介する。続いて 2.2 節では, 符号化器のみを用いる教師なし $\mathrm{QE}$ 手法を紹介する. 最後に 2.3 節では, 符号化器と復号器の両方を用いる教師なし $\mathrm{QE}$ 手法を紹介する. なお, 本研究の提案手法は, 2.3 節のアプローチの拡張として位置付けられる.

## 2.1 教師あり品質推定

多くの QE 手法 (Specia et al. 2013; Kim et al. 2017; Ranasinghe et al. 2020) は, 教師あり学習を採用している。深層学習に基づく強力な教師あり QE 手法として知られる Predictor-Estimator (Kim et al. 2017) は, 対訳コーパス上で目的言語文の各単語を原言語文および目的言語文中の周辺単語から推定するように事前訓練された Predictor と, Predictor によって得られる特徴表現から QEラベルを推定する Estimatorで構成される. Predictor-Estimator は, WMT17 QEタスク (Bojar et al. 2017) で最高性能を達成し, WMT20 QE タスク (Specia et al. 2020) では OpenKiwi (Kepler et al. 2019) で実装された LSTM に基づく Predictor-Estimator がベースライン手法として用いられている.

WMT20 の QE タスクにおける上位の手法 (Ranasinghe et al. 2020; Fomicheva et al. 2020a; Nakamachi et al. 2020) は, 事前訓練された多言語の文符号化器である mBERT (Devlin et al. 2019) や XLM-R (Conneau and Lample 2019; Conneau et al. 2020) に基づく教師あり QE 手法である.これらの多言語の文符号化器は，100を超える言語における単言語コーパスを用いて Masked Language Modeling の訓練を行った自己注意ネットワーク (Vaswani et al. 2017) である.

WMT20の QE タスクにおいて最高性能を達成した TransQuest (Ranasinghe et al. 2020) や同じく上位の TMUOU システム (Nakamachi et al. 2020) は, 原文とその MT 出力文を [SEP] トー クンで区切って連結した文対を XLM-R に入力し, 文頭の [CLS］トークンの出力を用いて回帰モデルを訓練する.

これらの教師あり $\mathrm{QE}$ は人手評価との高い相関を達成できるが, 先述の通り人手評価値のアノテーションはコストが高く, 多くの言語対においてアノテーションコーパスは利用できない. そこで本研究では, 人手評価値のアノテーションを必要としない教師なし $\mathrm{QE}$ 手法を提案する.

## 2.2 Encoder QE：符号化器に基づく教師なし品質推定

WMT19 の QE タスク (Fonseca et al. 2019) では，対訳コーパスを用いて訓練した多言語の文符号化器である LASER (Artetxe and Schwenk 2019) がベースライン手法として採用されている. LASER は, 再帰型ニューラルネットワークに基づく多言語 MT システムの符号化器部分である.このLASER による QE は教師なし手法であり，原文とそのMT 出力文をそれぞれ LASERによってべクトル化し，それらの余弦類似度によってMT 出力文の品質を推定する.

QEタスクでは検証されていないものの, LaBSE (Feng et al. 2020) や mSBERT (Reimers and Gurevych 2020) などの最先端の多言語文符号化器は, 言語をまたいだ文間類似度推定タスク (Cer et al. 2017) において LASER を超える性能を達成している. LaBSE や mSBERT は, mBERT や XLM-R などの単言語コーパスで事前訓練された文符号化器を, 対訳コーパスを用いて再訓練した多言語の文符号化器である。LaBSE は, mBERTの事前訓練に加えて, Translation Language Modeling や Translation Ranking による再訓練を実施している。 mSBERT は, 文の類似度推定タスク (Cer et al. 2017) に最適化したXLM-Rを用いた Multilingual Knowledge Distillation によって, 多言語の文符号化器を得ている. LASER と同様に, これらの多言語文符号化器も, 余弦類似度による教師なし $\mathrm{QE}$ に使用できる。

4 章の評価実験において示す通り, 符号化器に基づく手法では, 各言語の単言語コーパスで事前訓練したモデル（mBERT やXLM-R）よりも対訳コーパスで訓練したモデル (LASER)の方が教師なし QEの性能は高い. さらに，単言語コーパスで事前訓練したモデルを対訳コーパスで再訓練したモデル（LaBSE や mSBERT）は, これらの性能を上回る. つまり, 表 1 にま

 \\

表 1 教師なし品質推定の先行研究と本研究の関係

とめた教師なし $\mathrm{QE} の$ 先行研究のうち, 右に位置するアプローチほど $\mathrm{QE}$ 性能が高い.

## 2.3 EncDec QE：符号化器と復号器に基づく教師なし品質推定

機械翻訳 (Thompson and Post 2020) や文書要約 (Yuan et al. 2021) において近年注目を集めている自動評価手法に, 符号化器と復号器からなる雑音除去自己符号化器に基づく手法がある.代表的な手法である Prism (Thompson and Post 2020) は，自己注意ネットワークに基づく系列変換モデル (Vaswani et al. 2017) を訓練し, そのモデルで参照文から生成文への系列変換を行う際の文生成確率を用いて生成文の品質を評価する。この系列変換モデルが多言語 MT システムであれば，原文から MT 出力文への系列変換を行う際の文生成確率を用いて教師なし QE を実現できる。Prism は WMT19の QE タスク (Fonseca et al. 2019)において高い性能を示したが，系列変換モデルの訓練のために大規模な対訳コーパスが必要であるため，少資源言語対や対訳コーパスを用意できないゼロショットの設定では利用できない.

Prism の他に，系列変換モデルに基づく QE 手法として Fomicheva et al. (2020b) の D-TP および D-Lex-Sim がある. D-TP および D-Lex-Sim はモンテカルロ・ドロップアウト (Gal and Ghahramani 2016) を用いて MT システムのパラメータを変化させ，MT 出力文の候補を複数生成する。D-TPでは各候補の文生成確率を平均することによって翻訳品質を推定し，D-Lex-Sim では候補間の METEOR スコア (Banerjee and Lavie 2005) によって翻訳品質を推定する．Prism が評価対象の MT システムとは独立に QE 用の系列変換モデルを用意する一方で，D-TP および D-Lex-Sim は評価対象の MT システム自身を用いてMT 出力文の品質を推定する．D-TP および D-Lex-Sim は教師なしQE としての最高性能を達成しているものの, このようなホワイトボックスの設定が利用可能なケースは限定的である。一般的には, MT システムのユーザは MT システムの内部パラメータにはアクセスできず，MT 出力文のみを得られる．そのため本研究では, 2.2 節の符号化器に基づく手法や Prism のような, ブラックボックス設定における教師なしQEの性能改善を目指す.

## 3 提案手法

2.2 節の議論を踏まえると, 表 1 にまとめたように, 各言語の単言語コーパスで事前訓練した系列変換モデルを対訳コーパスで再訓練することで，より高品質な教師なし QE の実現を期待できる，本研究では，図 1 に示すように，系列変換モデルに基づく教師なし QE 手法を改良する.

図 1 提案手法の概要：mBART に基づく多言語機械翻訳器を用いて翻訳品質を教師なしで推定

## 3.1 系列変換モデルによる教師なし品質推定

本研究では, Prism (Thompson and Post 2020) と同様に, 符号化器と復号器からなる系列変換モデルを用いて計算する文の生成確率に基づき，MT 出力文の品質を推定する．Prismでは，自己注意ネットワークに基づく一般的な系列変換モデル (Vaswani et al. 2017) を用いて文の生成確率を求めるが, 復号器において一般的な貪欲法やビームサーチによる復号の代わりに, “forced-decoding”を用いる，つまり，モデルが推定するトークン生成確率によらず，指定されたトークン（QEの場合は MT 出力文に含まれるトークン）の出力を強制する。提案手法も Prism に倣い, この “forced-decoding”によって文の生成確率を求める. 具体的には, 原文 $x$ とその MT 出力文 $y$ が与えられたとき，翻訳品質 $\hat{Q}(y \mid x)$ を以下のように計算する.

$
\hat{Q}(y \mid x)=\frac{1}{|y|} \sum_{t=1}^{|y|} \log p\left(y_{t} \mid y_{i<t}, x\right)
$

ここで,$y_{i<t}$ はタイムステップ $t$ より前の出力トークンである. 長文ほど高い対数確率が与えられることを防ぐために，文レべルの対数確率を文長 $|y|$ で割っていることに注意されたい.

Prism および提案手法は, 訓練の際に真の翻訳品質 $Q(y \mid x)$ を用いない教師なし $\mathrm{QE}$ 手法である。系列変換モデルには，対訳コーパスを用いて訓練された多言語 MT システムを用いる．ただし，Prismではこれを一から訓練するが，提案手法では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することでより高品質な $\mathrm{QE}$ を実現する.

## 3.2 多言語機械翻訳器の構築

大規模な対訳コーパスを用意できない言語対においても翻訳品質を推定できる教師なし $\mathrm{QE}$ を実現するために，本研究では単言語コーパスを用いて事前訓練された系列変換モデルを対訳コーパス上で再訓練することによって，QEのための多言語 MT システムを構築する。事前訓練を行わない先行研究 (Thompson and Post 2020) と比較して, 本手法には以下の 2 の利点が

ある.
- 単言語コーパスは対訳コーパスよりも収集コストが低いため，大規模な単言語コーパスを用いた訓練を実現できる。そのため，モデルはより多様な文に触れることができ，様々な言語的特徴を捉えられる。
- 対訳コーパス上での再訓練により, 対訳コーパス中の文対数が限られた言語対や対訳コー パスに含まれていない言語対であっても，事前訓練がサポートしている言語であれば $\mathrm{QE}$性能を改善できる。

一方，事前訓練なしの Prism は，対象外の言語対に対しては，トークンが語彙に含まれていないことや文法に関する知識を全く持っていないなどの問題のために QE の実現は期待できない.

本研究では，代表的な事前訓練済み系列変換モデルのひとつである BART (Lewis et al. 2020) を利用する. BART は Transformer 符号化器と自己回帰型の復号器によって構成される標準的な系列変換モデル (Vaswani et al. 2017) であり，雑音関数によって一部の情報が欠落したテキストから元のテキストを復元する雑音除去自己符号化器として教師なし学習により訓練されている．BART の事前訓練では，トークンの穴埋めや並び替えの復元を訓練するために，文中の一部を [MASK] トークンに置き換える雑音関数を用いる．BART の雑音除去自己符号化器を目的タスクの対訳コーパスで再訓練することによって, 文書要約や対話応答生成などの多くのテキスト生成タスクの性能改善が報告されている (Lewis et al. 2020).

多言語 MT システムへの拡張のために, 本研究では多言語版の BART (mBART) を用いる. mBART (Liu et al. 2020) は，複数言語のそれぞれで大規模な単言語コーパスを用意し，それらを用いて BART (Lewis et al. 2020)の雑音除去自己符号化を訓練した雑音除去自己符号化器である. Liu et al. (2020)の研究では, 事前訓練された mBART を対訳コーパス上で再訓練した MT システムが，特に少資源言語対において優れた翻訳品質を発揮している。また， mBARTを特定の言語対（例えば，韓国語 $\rightarrow$ 英語）における対訳コーパスで再訓練した MT システムが，他の言語からの MT（例えば，イタリア語 $\rightarrow$ 英語）も実現できることが確認されている. 本研究では, mBARTのこれらの特性を活かし, 系列変換に基づく高品質な教師なし $\mathrm{QE}$ を実現する. 提案手法では, 事前訓練された mBART を複数の対訳コーパス上で再訓練して多言語 MT システムを構築し, これを用いて 3.1 節の方法で翻訳品質を推定する.

## 4 評価実験

WMT20の QE タスク (Specia et al. 2020)において提案手法の性能を評価する.

## 4.1 実験設定

## タスクの詳細

WMT20の QE タスクには，7つの言語対が含まれる. 英語からドイツ語 (en-de) および英語から中国語 (en-zh) の多資源言語対, ルーマニア語から英語 (ro-en) ・エストニア語から英語 (et-en) ・ロシア語から英語 (ru-en) の中資源言語対, ネパール語から英語 (ne-en) およびシンハラ語から英語 (si-en) の少資源言語対である。各言語対において 1,000 文対の原文およびその MT 出力文が提供され, 人手で付与された $\mathrm{QE}$ スコアとモデルが推定した $\mathrm{QE}$ スコアの間のピアソン相関係数によって QE 性能を評価する. WMT20の QE タスクで翻訳品質の評価対象となる MT システムは, fairseq ツールキット¹ (Ott et al. 2019)を用いて訓練された Transformer モデル (Vaswani et al. 2017) である.

## 提案手法の実装

提案手法の QEモデルには, 事前訓練された $\mathrm{mBART}^{2}$ (Liu et al. 2020) を用いた. この mBART は, 50 言語の単言語コーパスで事前訓練された雑音除去自己符号化器であり, 16 種類の自己注意ヘッドを持つ 12 層 1,024 次元の Transformer モデル (Vaswani et al. 2017) である.

mBART を我々が再訓練した多言語 MT システム (mBART+MT) と， Tang et al. (2020)によって再訓練された多言語 MT システム (mBART $+\mathrm{M} 2 \mathrm{M})$ の両方を評価した. $\mathrm{mBART}+\mathrm{MT}$ の再訓練には，表 2 に示すように, WMT20の QE タスク3で利用可能な対訳コーパスの一部 4 を使用した。なお, ru-en 言語対については, WMT20の QEタスクにおいて対訳コーパスが配布されていない。そのため, 本稿では提案手法のうち mBART+MT については ru-en をゼロショッ卜設定の言語対として扱う.

これらの対訳コーパスに含まれる全ての文について, mosesdecoder の detokenizer.per ${ }^{5}$ (Koehn et al. 2007)を適用した上で, mBART のトークナイザ (Wolf et al. 2020)によるトークン化の前処理を施した。そして，原言語文と目的言語文がそれぞれ 100 トークン以下の長さである文対のみを再訓練に用いた。最適化には AdamW (Loshchilov and Hutter 2019)を用い，学習率は $5.0 \times 10^{-6}$ に設定した. バッチサイズは 1,000 文とし，対訳コーパス上で 75,000 ステップの交差エントロピー損失最小化の再訓練を実施した.

mBART $+\mathrm{M}_{2} \mathrm{M}^{6}$ (Tang et al. 2020) は， mBART を表 3 の対訳コーパスを用いて再訓練した
^{4}$ Vaswani et al. (2017) など, MT 研究で広く使用されている WMT14 en-de タスク（約 450 万文対）を参考に多資源言語対の文対数を設定した。また，中資源言語対については公開されている et-en 言語対の総文対数に合わせて ro-en 言語対の文対数を, 少資源言語対については ne-en 言語対の総文対数に合わせて si-en 言語対の文対数を設定した。

5 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/detokenizer.perl

 }^{6}$ https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt

表 $2 \mathrm{mBART}+\mathrm{MT}$ の訓練用文対数

表 $3 \mathrm{mBART}+\mathrm{M} 2 \mathrm{M}$ の訓練用文対数

多言語 MT システムである。これらの対訳コーパスには，WMT やIWSLT などの MT コンペティションにおいて公開されている多様なデータが含まれる. mBART+MT モデルが 6 言語対の合計 1,286万文対で訓練されているのに比べて, mBART+M2M モデルは 49 言語対の合計 2 億文対という非常に大規模な対訳コーパスで訓練されていることに注意されたい.

## 比較手法

本実験では，2 節で紹介した教師なし $\mathrm{QE}$ 手法と提案手法を比較する. 符号化器に基づく手法 (Encoder QE) として, 単言語コーパスで訓練された $\mathrm{mBERT}^{7}$ (Devlin et al. 2019) および XLM-R ${ }^{8}$ (Conneau and Lample 2019; Conneau et al. 2020), 対訳コーパスで訓練された LASER ${ }^{9}$ (Artetxe and Schwenk 2019), 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された LaBSE ${ }^{10}$ (Feng et al. 2020) および mSBERT ${ }^{11}$ (Reimers and Gurevych 2020) と比較する. WMT19の QE タスク (Fonseca et al. 2019)における LASER による教師なしQE と同様に, これらの多言語文符号化器を用いて原文とその MT 出力文をそれぞれベクトル化し，それらの余弦類似度によって MT 出力文の品質を推定する。各モデルの事前訓練の設定に従い, LASER は双方向 LSTM の最終層の最大プーリング, mSBERT は最終層の平均プーリング, その他のモデルは文頭の [CLS] トークンに対する最終層の出力をそれぞれ文べクトルとして使用する。

符号化器と復号器に基づく手法 (EncDec QE) として, 単言語コーパスで訓練された mBART (Liu et al. 2020) および対訳コーパスで訓練された Prism (Thompson and Post 2020)を，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART+MT および mBART $+\mathrm{M} 2 \mathrm{M} ）$ と比較する。本実験で使用する Prism は， mBART と同じ構造の系列変換モ

デルであり，表 2 の対訳コーパスを用いて我々が訓練したものである. ただし, ru-en 言語対については，先述の通り WMT20の QE タスクにおいて対訳コーパスが配布されていない。そのため, 本稿では Prism についても ru-en をゼロショット設定の言語対として扱う. 提案手法と mBART および Prism は， いずれも式 (1)によって MT 出力文の翻訳品質を推定する.

また, 参考のために, ホワイトボックス設定の教師なし QE 手法である D-TP および D-Lex-Sim (Fomicheva et al. 2020b), 教師あり QE 手法である Predictor-Estimator ${ }^{12}$ (Kim et al. 2017) および TransQuest ${ }^{13}$ (Ranasinghe et al. 2020) も比較する. 教師あり QE モデルは, WMT20の QE タスク (Specia et al. 2020) において公開されている 7,000 件ずつの訓練用データおよび 1,000 件ずつの検証用データを用いて，検証用データのピアソン相関係数を最大化するように訓練した。

## 4.2 実験結果

表 4 に実験結果を示す. 表 4 において, 上段の 1 および 2 は比較対象の教師なし $\mathrm{QE}$ 手法,下段の 3 および 4 はホワイトボックス設定および教師ありの QE 手法である. 表中の Mono お

表 4 WMT20の QE タスクにおけるピアソン相関係数.†はゼロショット設定を示す.

よび Paraの列は，教師なしＱE モデルが単言語コーパスを用いて訓練されているか，対訳コー パスを用いて訓練されているかを表す. Mono と Paraの両方にチェックが入っている教師なし $\mathrm{QE}$ モデルは, 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練されている. なお, ru-en 言語対については，Prism および mBART+MT はゼロショット設定となっている．全体としては，教師なし QE 手法は以下の順番で人手評価との相関が高い.

(1) 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された EncDec $\mathrm{QE}$ （提案手法)

(2) 単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された Encoder QE

(3) 対訳コーパスで訓練された Encoder QE

(4) 対訳コーパスで訓練された EncDec QE

(5) 単言語コーパスで訓練された EncDec QE

(6) 単言語コーパスで訓練された Encoder QE

上段 1 の Encoder QE について, 単言語コーパスのみで訓練された mBERT や XLM-R は,単純な余弦類似度に基づく教師なし QEでは人手評価との相関が見られなかった. mBERT や XLM-R に比べて，対訳コーパスで訓練されたLASER は人手評価との高い相関を持つことがわかる。単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された LaBSE や mSBERT は，さらに高い相関を達成している．特に，LaBSE は少資源言語対， mSBERT は多資源言語対において，特に優れた性能を発揮することがわかる.

上段 2 の EncDec QE についても同様の傾向が見られた。つまり，単言語コーパスで訓練された mBART よりも対訳コーパスで訓練された Prism が人手評価との高い相関を示し，単言語コーパスでの事前訓練に加えて対訳コーパスで再訓練された提案手法（mBART $+\mathrm{MT}$ および mBART+M2M）がさらに高い相関を達成した。同じく単言語コーパスのみで訓練された mBERT や XLM-R が全ての言語対において人手評価との相関を持たない一方で， mBART は少資源言語対において 0.2 程度の弱相関を持ち, 中資源言語対においては 0.4 程度の中相関を持っており，EncDec QEの有効性を確認できる。提案手法は，ne-en 以外の言語対において，教師なし $\mathrm{QE}$ としての最高性能を達成した。特に，より大規模な対訳コーパスを用いて再訓練した mBART $+\mathrm{M} 2 \mathrm{M}$ が多くの言語対においてより高い人手評価との相関を示している.

ゼロショット設定である ru-en 言語対については, mBART+MT が mBART や Prism よりも高い性能を示しており，提案手法の有効性を確認できる。また, ru-enの対訳コーパスを用いて訓練した mBART+M2M は，さらに大きな性能改善を達成している.

次に，具体的な出力をもとに，提案手法の有効性を定性評価する，表 5 に，英日翻訳における品質推定の実例を示す。上の例は，MT 出力文が「見つけられるしばしば」のように文法的に不適格な翻訳となっているため，低い $\mathrm{QE}$ スコアを出力することが期待される．Prism とは異なり, 提案手法の mBART+MT は期待通り低い $\mathrm{QE}$ スコアを出力できた。これは, mBART+MT

 \\

表 5 英日機械翻訳に打ける品質推定の例。 モデルごとに 0 から 1 までの範囲に正規化した $\mathrm{QE}$ スコアを表示している．上段は適切に品質推定できた例であり，下段は誤推定をした例である.

では事前訓練によって文法構造を捉えられていたために，適切に翻訳品質を推定できたと考えられる。下の例は，MT 出力文が適切な翻訳であるため，高い $\mathrm{QE}$ スコアが期待される例である.しかし, この例では Prism と mBART+MT の両方が低い $\mathrm{QE}$ スコアを出力した.「ビドルフ」や「チェシャー」のような低頻度語は, その単語の生成確率が低くなるため, 本アプロー チでは低評価になりやすい傾向があると考えられる.

## 4.3 多資源言語対における品質推定と少資源言語対における品質推定

対訳コーパスを用いて訓練する $\mathrm{QE}$ 手法においては， より多くの文対から訓練できる多資源言語対における $\mathrm{QE}$ 結果が中資源言語対や少資源言語対に比べて人手評価との相関が高くなると期待される。しかし，表４の実験結果では，アプローチに関わらず，多資源言語対における $\mathrm{QE}$ 性能が中資源言語対や少資源言語対における $\mathrm{QE}$ 性能を下回っている。本節では，この期待が外れる理由を調査する。

分析の結果, 翻訳品質ラベルの分布の偏りが $\mathrm{QE}$ 推定結果に影響を与えている可能性があることが明らかとなった，図 2 に，多資源言語対の en-de および少資源言語対の si-en における翻訳品質ラベル頻度のヒストグラムを示す。図中の青色の部分は en-de のヒストグラム, 赤色の部分は si-en のヒストグラム，紫色の部分はグラフが重なっている部分を表している. 少資源言語対における MT システムの翻訳品質が正規分布に近い分布を示しているのに対して，多資源言語対における MT システムの出力は高品質なものが極端に多い。このような翻訳品質ラベルの偏りがあると，高品質な翻訳の中で優劣をつけることになるため, 多資源言語対における $\mathrm{QE}$ を難しくしている可能性がある。

## 5 ゼロショット設定での品質推定

3.2 節で述べたように, mBART (Liu et al. 2020)を対訳コーパス上で再訓練して得た MT システムは, 再訓練に使用していない言語対の MT（ゼロショットMT）を実現できることが知られている。本節では, mBART に基づく教師なし QEが同様の特性を持つか, つまり, 再訓練に使用した対訳コーパスに含まれない言語対の QE を実現できるかを検証する．表 6 に, Prism および mBART+MT を多資源および中資源の 4 言語対の対訳コーパスのみで訓練したアブレー ション分析（w/o 少資源言語対）の結果を示す。また，他言語のデータとの同時訓練の影響を

図 2 品質ラベルのヒストグラム

表 6 EncDec QE のアブレーション分析.†はゼロショット設定であることを示す.
調べるために, 対象言語対のみ,つまり, ne-en または si-en の対訳コーパスのみで訓練したアブレーション分析の結果も示す.

これらの実験結果から, 対訳コーパスによる再訓練を実施しない mBART と比べて, mBART+ MT（w/o 少資源言語対）が少資源言語対の QEにおいて，人手評価との相関を大きく改善できることがわかる．ゼロショット MT (Liu et al. 2020)と同様に，mBART に基づくQEモデルがゼロショット QE を実現できることを確認できた。さらに，対象言語対の対訳コーパスを用いた再訓練や対象言語対を含む大規模な対訳コーパスによる再訓練には及ばないものの， mBART+MT（w/o 少資源言語対）の少資源言語対における性能は，強力な教師ありべースラインである Predictor-Estimator (Kim et al. 2017) と同等である. QE ラベルの収集コストのために教師あり QEが多くの言語対において実現できない現状を考えると, 本手法のゼロショット性能は有望である.

また，表 6 のアブレーション分析からは，単言語コーパスにおける事前訓練を実施していない Prism が小規模な対訳コーパスからは充分な QE 性能が得られないこと，また他の言語対の大規模な対訳コーパスと同時に訓練しても少資源言語対における $\mathrm{QE}$ 性能が改善しないことが確認できる。一方で, mBART+MT（対象言語対のみ）と mBART+MTの比較から, 提案手法は他の言語対の大規模な対訳コーパスとの同時訓練によって, 少資源言語対における $\mathrm{QE}$ 性能が改善されることがわかる.

## 6 おわりに

本研究では事前訓練された多言語雑音除去自己符号化器を活用した機械翻訳の教師なし品質推定手法を提案した，提案手法は，多言語雑音除去自己符号化器を対訳コーパスにより再訓練することで得た多言語 MT システムにおいて，原文から評価対象の MT 出力文を forced-decoding する際の文生成確率によって翻訳品質を推定する。品質推定モデルの事前訓練には mBART (Liu et al. 2020)を用い，50 言語に適用可能な教師なし品質推定手法を実現した.

6 つの言語対における実験の結果, 提案手法は多くの言語対において教師なし品質推定の最高性能を達成した。また, 再訓練に使用する対訳コーパスに含まれないゼロショット設定での品質推定では, 教師あり $\mathrm{QE}$ 手法と同等の性能を示した. さらに, 多資源言語対の対訳コーパスとの同時訓練によって少資源言語対における品質推定の性能が改善され, 收集コストが高い翻訳品質ラベルや大規模な対訳コーパスを得られない設定における提案手法の有効性を確認した.

今後の課題として，モデルサイズの削減がある。符号化器のみを用いる LaBSE (Feng et al. 2020) や mSBERT (Reimers and Gurevych 2020) が約 2 GB のモデルサイズを持つのに対して,復号器も用いる提案手法は約 7 GB の記憶領域を必要とする。主に符号化器において活発に研究されているモデル圧縮の技術を応用し, 知識蒸留 (Sanh et al. 2019) やパラメタ共有 (Lan et al.

2020)によって多言語雑音除去自己符号化器に基づく品質推定のモデル圧縮を検討したい.

## 謝 辞

本研究は JSPS 科研費（若手研究，課題番号：JP20K19861）および国立研究開発法人情報通信研究機構の委託研究による助成を受けたものです.

## 参考文献

Artetxe, M. and Schwenk, H. (2019). "Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3197-3203.

Banerjee, S. and Lavie, A. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huang, S., Huck, M., Koehn, P., Liu, Q., Logacheva, V., Monz, C., Negri, M., Post, M., Rubino, R., Specia, L., and Turchi, M. (2017). "Findings of the 2017 Conference on Machine Translation (WMT17)." In Proceedings of the 2nd Conference on Machine Translation, pp. 169-214.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation, pp. 1-14.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451.

Conneau, A. and Lample, G. (2019). "Cross-lingual Language Model Pretraining." In Proceedings of the 33rd Conference on Neural Information Processing Systems, pp. 7059-7069.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Feng, F., Yang, Y., Cer, D., Arivazhagan, N., and Wang, W. (2020). "Language-agnostic BERT

Sentence Embedding." arXiv preprint arXiv:2007.01852.

Fomicheva, M., Sun, S., Yankovskaya, L., Blain, F., Chaudhary, V., Fishel, M., Guzmán, F., and Specia, L. (2020a). "BERGAMOT-LATTE Submissions for the WMT20 Quality Estimation Shared Task." In Proceedings of the 5th Conference on Machine Translation, pp. 1010-1017.

Fomicheva, M., Sun, S., Yankovskaya, L., Blain, F., Guzmán, F., Fishel, M., Aletras, N., Chaudhary, V., and Specia, L. (2020b). "Unsupervised Quality Estimation for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 539-555.

Fonseca, E., Yankovskaya, L., Martins, A. F. T., Fishel, M., and Federmann, C. (2019). "Findings of the WMT 2019 Shared Tasks on Quality Estimation." In Proceedings of the 4th Conference on Machine Translation, pp. 1-10.

Gal, Y. and Ghahramani, Z. (2016). "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning." In Proceedings of the 33rd International Conference on Machine Learning, pp. 1050-1059.

Kepler, F., Trénous, J., Treviso, M., Vera, M., and Martins, A. F. T. (2019). "OpenKiwi: An Open Source Framework for Quality Estimation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 117-122.

Kim, H., Jung, H.-Y., Kwon, H., Lee, J.-H., and Na, S.-H. (2017). "Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation." ACM Transactions on Asian and Low-Resource Language Information Processing, 17 (1), pp. 1-22.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 177-180.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In Proceedings of the 8th International Conference on Learning Representations.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." Transactions of the Association for Computational Linguistics, 8, pp. 726-742.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In Proceedings
of the 7th International Conference on Learning Representations.

Nakamachi, A., Shimanaka, H., Kajiwara, T., and Komachi, M. (2020). "TMUOU Submission for WMT20 Quality Estimation Shared Task." In Proceedings of the 5th Conference on Machine Translation, pp. 1037-1041.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Ranasinghe, T., Orasan, C., and Mitkov, R. (2020). "TransQuest: Translation Quality Estimation with Cross-lingual Transformers." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5070-5081.

Reimers, N. and Gurevych, I. (2020). "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4512-4525.

Sanh, V., Debut, L., Chaumond, J., and Wolf, T. (2019). "Distilbert, a Distilled Version of Bert: Smaller, Faster, Cheaper and Lighter." In Proceedings of the 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing.

Specia, L., Blain, F., Fomicheva, M., Fonseca, E., Chaudhary, V., Guzmán, F., and Martins, A. F. T. (2020). "Findings of the WMT 2020 Shared Task on Quality Estimation." In Proceedings of the 5th Conference on Machine Translation, pp. 743-764.

Specia, L., Scarton, C., and Paetzold, G. H. (2018). "Quality Estimation for Machine Translation." Synthesis Lectures on Human Language Technologies, 11 (1), pp. 1-162.

Specia, L., Shah, K., de Souza, J. G., and Cohn, T. (2013). "QuEst-A Translation Quality Estimation Framework." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 79-84.

Tang, Y., Tran, C., Li, X., Chen, P.-J., Goyal, N., Chaudhary, V., Gu, J., and Fan, A. (2020). "Multilingual Translation with Extensible Multilingual Pretraining and Finetuning." arXiv preprint arXiv:2008.00401.

Thompson, B. and Post, M. (2020). "Automatic Machine Translation Evaluation in Many Languages via Zero-Shot Paraphrasing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 90-121.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of the 31st Conference on Neural Information Processing Systems, pp. 6000-6010.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Yuan, W., Neubig, G., and Liu, P. (2021). "BARTScore: Evaluating Generated Text as Text Generation." In Proceedings of the 35th Conference on Neural Information Processing Systems, pp. 27263-27277.

## 略歴

西原哲郎：2020 年愛媛大学工学部情報工学科卒業. 2022 年同大学大学院理工学研究科電子情報工学専攻修了. 自然言語処理の研究に従事.

岩本裕司 : 2020 年愛媛大学工学部情報工学科卒業. 2022 年同大学大学院理工学研究科電子情報工学専攻修了. 自然言語処理の研究に従事.

吉仲真人：2020 年大阪大学工学部電子情報工学科卒業. 2022 年同大学大学院

情報科学研究科マルチメディア工学専攻修了. 自然言語処理の研究に従事.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)，大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)，同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成, 機械翻訳技術, 対話システムに興味を持つ。

二宮崇：1996 年東京大学理学部情報科学科卒業. 1998 年同大学大学院理学系研究科修士課程修了. 2001 年同大学大学院理学系研究科博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士

(理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

(2021 年 12 月 1 日受付)

(2022 年 3 月 1 日再受付)

(2022 年 3 月 30 日採録)


# 単語分割の最適化に関する研究は雑談と偶然の出会いに育まれた

平岡 達也 $\dagger$
## 1 はじめに

本稿では言語処理学会の 2021 年度最優秀論文賞を受賞した「テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化」(平岡他 2021) の概要と研究の過程を紹介する. 本研究は, 著者が奈良先端科学技術大学院大学 (NAIST) での修士課程時代に, 研究室内での雑談を通して着想したものである。当時の著者には力不足であり成し遂げられなかったアイデイアであったが，博士課程でデンソーIT ラボラトリとの共同研究を通してこれを結実させることができた，本研究の遂行において共同研究は必要不可欠であったが，この共同研究は本研究とは異なる研究に対して始まったものであった. このように，本研究は多くの雑談や偶然の出会いを土台として結実したものである。本稿を通して，研究における雑談や対外発表による思わぬ出会いの重要性が伝わり，似た境遇に在るどなたかの研究遂行の参考になれば幸いである.

## 2 本研究の概要

本研究では，自然言語処理において単語分割処理が抱える問題の解決を目指している，単語分割は，「外国人参政権」というテキストを「外国人/参政／権」のような単語の系列へ変換する処理である ${ }^{1}$. 感情分類などの後段タスクを解く際には，テキストに単語分割処理を施し，単語の系列を後段モデルに入力する場合が多い（図 $1 a^{2}$ )，単語分割処理は後段モデルへの入力となる系列の単位を決定する処理であるため，異なる単語分割処理を用いると異なる後段モデルの性能が得られる，そのため，適切な単語分割を用いることができれば，後段モデルの性能向上に繋がると期待される。しかし，こうした適切な単語分割は後段タスクや後段モデルの構造に強く依存しているため，適切な単語分割を求めることは難しい。

理想的には, 可能なすべての単語分割を用いて後段モデルを学習し，それぞれの検証データでの性能を確かめることで適切な単語分割を多り出す全探索的な方法が考えられる。 しかし, 可能な単語分割の候補は文の長さ（文字数） $N$ に対して $2^{N-1}$ 個となるため，この全てについて

(a) 従来の不可逆な単語分割

(b) 後段タスクへの単語分割の最適化

図 1 従来の不可逆な単語分割と, 本研究による単語分割の最適化の概要.

探索を行うことは現実的ではない。そこで，後段モデルからのフィードバックを用いて単語分割器を更新する方法を考える。これは，単語分割を後段タスクや後段モデルから独立した前処理として扱う一般的な自然言語処理のシステムからは乘離した発想である. 前処理としての単語分割という扱いをやめ, 後段の処理の情報を用いて単語分割を選択することができれば, さらなる性能向上が得られるかもしれない.

後段の処理からのフィードバックを用いて単語分割器を更新する方法も一筋縄では行かない. ニューラルネットワークを用いた後段モデルは連続的な処理であるのに対し, 単語分割は離散的なテキストを取り扱う処理である。そのため，単純に単語分割処理と後段モデルの処理を連結して，単語分割を後段モデルに対して最適化することは難しい.

本研究では, 単語分割器と後段モデルに工夫を加えることで, 後段モデルからのフィードバックを用いて単語分割器を最適化する手法を提案する（図 $1 b$ ) . 具体的には, 単語分割器をニュー ラルネットワークによるユニグラム言語モデルで構築し, 後段モデル内部のテキストベクトルに単語分割の確率をかけ合わせることで，単語分割器と後段モデルを接続する手法を提案した. これにより，後段モデルを学習する際の損失値に対する誤差逆伝播が，単語分割器を構成するユニグラム言語モデルへと伝わり, 後段モデルと単語分割器の同時学習が実現される.

実験を通して，本手法が日本語・中国語・英語の 3 言語による複数の文書分類のタスクで性能向上に寄与する事を示した，更に，単語分割の更新だけでも性能の向上が得られることや，本手法がタスクに応じて異なる単語分割を獲得していることを示した.

## 3 本研究の過程

## 3.1 ベースとなるアイディアは NAIST で育まれた

単語分割を後段タスクや後段モデルに応じて最適化したいという発想は，著者がNAIST の修士課程在学中に研究室内で雑談をする中で生まれた. 当時の松本研究室では, 特定曜日の 19 時頃から一部の学生がゼミ室に集まって勉強会を開く文化があり, 勉強会終了後も 0 時頃までだらだらとゼミ室で雑談に耽ることが多かった。，それぞれが研究で困っていることを相談したり, 東京で一番家貸が高い賃貸物件を探してみたりと, この雑談には真面目な内容からどうしようもない遊びまで，様々な内容が含まれていた，そうした雑談の中で，ふと「単語分割を最適化できたら面白いのでは」と思いつき，勉強会の参加者とともにホワイトボードに落書きをしながらイメージを具体化していった．その後，学振DC1 の申請書を作成するために，同期の学生とピア・エデイティングを行う中で本アイディアを更に者詰めていった3.

当初は単語分散表現に対して注意機構で単語分割を学習するという発想で, Segmental Neural Language Model (Kawakami et al. 2017) などに近い仕組みを模索していた. このアイディアについては, NAIST の同期であった和田崇史氏との雑談の中で具体化し, 和田氏の NMT の実験に組み込んでもらう形で検証を行った，結局，当時の方法では良い結果が得られず，打開策も見つからなかったため, 本研究は没ネ夕として研究ノートの隅に眠ることになった. その後,著者は本研究にはほとんど手を付けず，別の研究テーマで修論を書きNAISTを修了した

## 3.2 偶然の出会いと雑談に育まれた

博士課程で東京工業大学の岡崎研究室に入学し, 指導教員の岡崎直観教授と高瀨翔氏と共に最初に取り組しだ研究テーマは, 本研究ではなく教師なしPOS夕グ付けに関する研究 (Hiraoka et al. 2021) であった. 単語分割の最適化に関する研究テーマがうまくいかず, 場繋ぎ的に取り組んだ研究であったというのが正直なところであるが，これが思いもよら女幸運を呼んだ. 2019 年の NLP 若手の会 (YANS) 第 14 回シンポジウムにて, この教師なしPOS タグ付けに関する研究を発表したところ, デンソーIT ラボラトリの内海慶氏と欅惊志氏に興味を持っていたたいた. シンポジウムの後に詳しく研究の相談をさせていただき，その後も欅氏に継続的なミー ティングの場を作っていただいたことで，そのままスムーズに共同研究へと繋がった4.

教師なしPOS タグ付けの研究が一段落ついたタイミングで，著者が元来持っていた本研究についてのアイデイアをお二人にお話したところ，こちらにも興味を持っていただき，それ以降は単語分割に関する共同研究に取り組むことになった．特に内海氏は，教師なし形態素解析に
$ は三振に終わった.

4 オンライン開催のシンポジウムでのこうした「偶然の出会い」は, オフラインに比べるとやや難しく, 今となっては珍しいものになってしまったかもしれない．Zoom のブレイクアウトルームを活用した「出会い」に重点を置いた近年の施策 (高瀬 2021) から，このような良い縁が沢山生まれることを願っている.
}
関する研究 (Uchiumi et al. 2015) に詳しく, 氏とともに本研究を進められたことは大変な幸運であった。デンソーIT ラボラトリのお二方には, 二週間に一度の定期的なミーティングで研究の方針や実験結果の解釈についてコメントを頂き，研究の堅実な進渉へと繋がった.

研究方針の軽微な軌道修正は，高瀬氏との日々の雑談によってももたらされた。この雑談も NAIST 時代のものと同様に, 研究の内容に関するものもあれば, 自宅周辺の治安が悪くて引っ越したいといった愚痴を聞いていただく事もあるなど，内容は多岐にわたった。しかし，こj した雑談の中でふと出た一言が, 研究内容を豊かにしてくれる場合がある. 例えば本研究では,単語分割の最適化のために用いる言語モデルが，ある程度言語モデルとしての性質を保つような損失関数を用いている（平岡他 (2021)の 2.5 節を参照)。これは, 高瀬氏と言語モデルの研究動向についてざっくばらんに雑談していたときに思いついて追加したものである.

偶然の出会いによる研究内容の洗練という点では, 本学会誌に投稿した際の査読コメントも忘れられない．本研究に対する査読では，内容を深く理解していただいた上で，とても丁寧かつ詳細なコメントを頂いた．著者にとっては国内の論文誌に投稿した初めての経験であり，国際会議論文の査読のような「落とすための査読コメント」に慣れてしまっていた中で，本研究に対して頂いた丁寧で有益なコメントには感動せずにいられなかった. 投稿版ではカバーできていなかった先行研究に基づく本研究の位置付けや, 本研究で導入した制約の副次的な効果について鋭い意見を頂き，原稿の改善たけではなく，研究の捉え方自体の洗練にも繋がった.

## 3.3 Findings への採択と葛藤

原論文の一部は Findings of EMNLP 2020 に採択されている (Hiraoka et al. 2020). EMNLP 2020 は ACL 系列の国際会議に Findings という枠が初めて設定された会議であった. 投稿論文に対するスコアは $3.5 ， 3 ， 4.5$ で，経験上ボーダーラインよりもやや上であり，本会議採択を期待させる点数であった。 そのため, Findings 枠での採択は悔しい結果であり, 再投稿して本会議を狙うという選択肢も考えられた。しかし，著者は博士課程学生という時間制限付きの身分であり，本研究を博士論文の一部として使用するためには，再投稿という時間のかかる選択はできなかった。国際会議で悔しい思いをしているだけに，今回のような論文賞という形で日本の NLPコミュニティに評価していただけたことは，非常に感慨深いものがある．

## 4 おわりに

単語分割の最適化は，誰もがその課題に気づいていながら，なかなか手を付けられずにいたテーマだと考えている。本研究は，単語分割の最適化を行うための一つのアイディアを提示したにすぎず，性能向上や安定化，高速化など改善の余地は大いにある．第 28 回年次大会での招待発表以降, ありがたいことに本研究について何件かの問い合わせを頂いた。本研究に興味を
持っていたたいた方々にも，本研究を足がかりに単語分割の最適化というテーマに取り組んでいただければ幸いである。またその際には，雑談や偶然の出会いが本研究を育んたという経緯を心に留めておくと, 研究遂行の一助となるかもしれない.

## 謝 辞

本稿の執筆にあたり，原論文の共著のみなさまに有益なコメントを頂きました．また，岡崎研究室の丹羽彩奈さんにも推敲を手伝っていただきました.

## 参考文献

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2021). "Recurrent Neural Hidden Markov Model for High-order Transition." Transactions on Asian and Low-Resource Language Information Processing, 21 (2), pp. 1-15.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2021). テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化. 自然言語処理, 28 (2), pp. 479-507. [T. Hiraoka et al. (2021). Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector. Journal of Natural Language Processing, 28(2), pp. 479-507.].

Kawakami, K., Dyer, C., and Blunsom, P. (2017). "Learning to Create and Reuse Words in OpenVocabulary Neural Language Modeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1492-1502.高瀬翔 (2021). NLP 若手の会 (YANS) 第 16 回シンポジウムーオンライン開催における施策について一. 自然言語処理, 28 (4), pp. 1307-1311. [S. Takase (2021). Report on the 16th Symposiums of Young Researcher Association for NLP Studies. Journal of Natural Language Processing, 28(4), pp. 1307-1311.].

Uchiumi, K., Tsukahara, H., and Mochihashi, D. (2015). "Inducing Word and Part-of-Speech with Pitman-Yor Hidden Semi-Markov Models." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1774-1782, Beijing, China. Association for Computational Linguistics.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科修了. 2022 年東京工業大学情報理工学院修了, 博士（工学). 同年より富士通株式会社にて研究員. 言語処理学会会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 「訓練事例の影響の軽量な推定」の執筆

小林堸介 $\dagger, \dagger \dagger$

## 1 はじめに

本稿では言語処理学会論文賞をいただいた「訓練事例の影響の軽量な推定」の論文の内容を簡潔に紹介し，そのあとに本企画本旨である論文の着想や採択の経緯について述べる。原論文は筆者が社会人博士課程の中で執筆した論文であり，似た立場の読者の参考になれば幸いである.

## 2 原論文の概要

ニューラルネットワークはその挙動や仕組みがさっぱり分からないブラックボックス性で悪名高い。訓練デー夕に応じて性質が変わるが，どういうデータでどう変わるのかもやはり非自明である。そこをなんとかこじ開けて理解する手段を与えるのが原論文である．具体的には「もしもある1つの訓練データを除いて訓練していたとしたら，モデルの予測はどう変わっていたか」なる反実仮想的な推定に取り組んでいる。ナイーブにこの分析を行うとすると，訓練デー タセット $(D)$ からある 1 つのデータを実際に抜いたデータセット $(D \backslash\{(x, y)\})$ を作成し，それぞれでモデルを訓練して比較する必要がある。しかし, 全データで実施すればモデルの訓練や保存のコストは非現実的なものになってしまう。そこで本研究では，たった 1 つのモデルを 1 つの訓練データセットで 1 度だけ訓練するだけで全データの分析を行えるような極めて効率的な方法を提案した．提案法はニューラルネットの訓練中にランダムなパターンで重みパラメー タをゼロにする dropout (Srivastava et al. 2014)を応用した。ニューラルネットは各訓練事例での推論結果の勾配によって学習を行うが，dropout された重みは勾配もゼロになり，その回では全く更新されない，提案法では，各訓練事例ごとに固定パターンの dropout で訓練を行う. すると，無視された側のパラメータはその訓練事例を直接見ないままに訓練を終えることになる。この「見ない」サブネットワークは一度の訓練で全事例について用意できる。よって，事例ごとの「見た」サブネットと「見ない」サブネットの予測を比較することで解析を全事例に行うことができる。詳細は原論文や関連英語論文 (Kobayashi et al. 2020) を参照してほしい.

Training on $z$

(exposed to $z$ )

図 1 提案手法. 各事例に更新されるサブネット $f^{m(z)}$ と更新されないサブネット $f^{\widetilde{\boldsymbol{m}}(z)}$ を生成する.

## 3 着想から採択まで

## 定義文による汎用言語理解

博士後期課程は 2018 年 10 月から始まり，はじめは大きく異なるテーマに取り組んでいた.当時の Slack¹にも懐かしい記述が見つかる。例えば，当時はそのテーマの言語化として

目標：ある言語表現をうけとり，それが内包的に指し示す言語表現群を識別する分類器

例: 「何かを命令している文」という文をうけとり，「これやって!!」どの文やフレーズに対して発火できる高性能な分類器を自動生成する

とまとめていた。ある説明文が指し示す「文集合」を理解させたいということであり，平たく言えば，夕スクの定義文さえ与えたら新規の訓練いらずでそれが解ける汎用的なゼロショット言語理解モデルを目指していた。もしあったら自分でも嬉しくで世界も変わりうるだろう 3 と考え，実利とロマンの第一歩を踏み出した，さて，実現しょうと幾つかのアプローチ4を試みていったものの，結果は芳しくなかった，多少は楽しめる結果であり，そのままやれば論文の及第点に届く気もした．されど，当初描いた「あらゆるタスクが解ける」からは程遠く，技術的には手法も凡庸で面白みに欠けていた。さらに悪いことに，思いついた中でも最も有望だったアプローチこそが同時に最も凡庸で面白くないと感じていた。この板挟みにやる気をなくし，ついにはこのテーマをやめてしまった。その最も有望で最も面白くないアプローチこそ，今では王道の「大量のコーパスで言語モデルをひたすら訓練する」ことであった.「あらゆるタスクが解ける」という夢もまた GPT-2, 3 を皮切りにして今も急速に発展している. 当時は最適なアプローチだとは確信しつつも, これほどの道がすぐそこに広がっていると想像できていなかっ

た.その姿をわくわくと期待できていたら，退屈もなしに進めていけたかもしれない．実現性を信じる気持ちも想像力同様に重要なのだと今では実感している.

## 研究の研究

1 つ断念したあとは長く次が決まらなかった．教師なしで文の抽象化と具体化を行える生成モデルだの，言語モデルの確率分布の非人間的な挙動だの ${ }^{5}$, あれこれに面白いとは感じつつも大きく踏み出すことはなかった6 6 あてなく興味を持った言語系の本を読んたり，なにを研究すべきかの内省のために研究にまつわる本を読んだもした．内容への賛否に関わらず，自分の外の意見との対話を通して物事を考えるというのは，一人で思い悩むよりもずっと健全で優良な結果につながると思われる。なお,「研究」本としては (金出 2012; 丸山 2019; 暦本 2021) などがおすすめである。「言語」本では (Taylor 2017) が面白かった。この頃は苦悩の時間ではあるものの，悩みと探索の過程もまた研究の醍醐味と考えて穏やかに受け入れて過ごした。

## 文の総称性

さて, 時は過ぎて 2019 年 5 月末, 言語モデルの学習に総称性 (genericity) の概念を導入する, という新たなアイデアに思い至った。言語モデルはコーパス上の各単語を予測できるよう強制されていく，各文脈や各単語を平等に刷り込まれていく，しかし，限られたコーパスから効率的に言語の確率を学習するコツはないだろうか. 例えば, 「I eat a pumpkin on Oct.」「We eat a pumpkin on Oct.」「People eat a pumpkin on Oct.」の 3 文は $\{$ I, We, People $\}$ という主語だけが異なっているが，言語モデルの学習には「I」分に比べて「We」文や「People」文のほうが学習に役に立つ（べきな）のではないか, という仮説である。コーパスは, 言語の文法, 単語の意味, 世界の知識, そういった複数の情報を折り重ねて表示している。言語の構成的な仕組みのみならず，その「世界の知識」もまた単語の出現確率に大きな影響を及ぼす要素である。詠み人知らずの正体不明 1 インスタンス「I」に関する知識と, 人類全体や特定の集団を指示しやすい「We」「People」に関する知識とを比べると, 後者の方が未知のテキストでも役に立つ汎用的な知識であるように感じる。そうして，このような「ある集団や種の一般的な特性や習慣へ言及する文」(総称文) を判定することで，言語モデルをより効率的かつ節度ある形 7 に学習するというテーマを思いつき，やっとのことで取り組み始めた.

## 訓練事例の影響の軽量な推定

再度，言うは易く行うは難し。やはりどうしたら実現できるかは悩ましい. meta learning を勉強したり，再び書籍を読んだり，押したり引いたりの模索をしていた，研究のペースを上げる必要性も感じ始めた。そこで, 余っていた休暇を使って業務の出勤日を減らし, 気分転換と集中のために 1 ヶ月ほど仙台に滞在した 8 . 部屋に籠もりラボに通いカフェで休みの仙台生活を満契していると，一週間もしないうちに本研究のアイデアにたどり着いた. 毎日朝起きてから寝るまでずっと向き合える余裕のある環境 ${ }^{9}$ が大いに役に立ったといえる．総称文の表現自体にこだわるとかえって難しそうに感じ，より広い枠組みの問題として考え直し始めた。一般的な法則性を持たない事例であればあるほど，その事例で学習しないことには予測が難しいはずである。 そして，それが真であれば，ある事例の訓練の有無による予測の変化が捉えられれば，その訓練事例がどれほど一般的な法則性を持つかの判定もできるはずである．ということで，その予測変化を効率的に捉える方法はないかと考え，ついには思いついた。ここまでの長話の果てにやっと論文の背中が見えたことになる。 その後, 言語モデルに限らない一般的な道具立てとして有効性を示す方向にシフトし，実験を重ねて簡潔な short paper として論文をまとめた. それを国際会議に投稿していったが，残念ながら ACL でも EMNLP でもボーダーライン近くの点数で落ちてしまった. 査読の内容は満足できる品質ではなく大きく気落ちしたのを覚えている．査読は打席数が大事といえど，博士課程修了を考えると早めに採択が欲しくなる．特に論文誌が要件に入っていたこともあり，テンポよくワークショップと本論文誌に投稿する方針へ切り替えた。計算量やデータの効率性がコンセプトのワークショップ SustaiNLP 2020 に投稿して無事採択された．驚くべきことに SustaiNLP の査読は本会議よりもはるかに質が高かった10. まともな批判が書いてあったことも嬉しく, やっと研究が認められたと感じた. そして,加筆修正とともに本論文誌に投稿し, 照会後判定を経て採択となった. 論文誌における査読も丁寧で，右肩上がりの気持ちいい投稿となり，最終的には賞までいただりこととなった.

## 4 おわりに

今回は長い旅路の割には業績の生産性がいいわけでもなく, 典型的に成功とされるトップ国際会議への採択にも至らなかった。思いを馳せた汎用的な言語理解や言語モデルや総称性の姿もほぼ消えている。しかし, それらの迷走なしには本研究にはたどり着けなかったたろう，紆余曲折の辛酸も今回の受賞で一層薄めることができた. 賞選考ならびに本記事執筆の機会をくださった編集委員の方々に深く感謝する。本稿執筆に関しても助言をいただいた東北大学の横
^{9} \mathrm{http}: / /$ paulgraham.com/top.html

10 名のしれた研究者が查読者になりやすいことや査読負荷の軽さが功を奏したのかもしれない.
}
井祥氏にも感謝する。その他にも並行していた共著研究 (Saito et al. 2020; Ouchi et al. 2020, 2021; Takase and Kobayashi 2020; Kiyono et al. 2021; Arakawa et al. 2022)11の楽しみも精神的な支えになった，全共著者にも感謝の意を表する．最後に，今後も自ら愛せる「もしもこんなことができたなら」の研究を進め，その営み自体の酸いも甘いも楽しんでいきたい.

## 参考文献

Arakawa, R., Yakura, H., and Kobayashi, S. (2022). "VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users' Daily Lives." In CHI 2022.

Hatori, J., Kikuchi, Y., Kobayashi, S., Takahashi, K., Tsuboi, Y., Unno, Y., Ko, W., and Tan, J. (2018). "Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions." In ICRA 2018.

金出武雄 (2012). 独創はひらめかない一「素人発想、玄人実行」の法則. 日本経済新聞出版. [T. Kanade (2012). Dokuso wa Hiramekanai: "Shirouto Hasso, Kurouto Jikko" no Hosoku. Nihonkeizaishinbun Shuppan.].

Kiyono, S., Kobayashi, S., Suzuki, J., and Inui, K. (2021). "Shifted Absolute Position Embeddings for Transformers." In EMNLP 2021. arXiv preprint arXiv: 2109.05644.

Kobayashi, S., Yokoi, S., Suzuki, J., and Inui, K. (2020). "Efficient Estimation of Influence of a Training Instance." In SustaiNLP 2020. arXiv preprint arXiv: 2012.04207.

丸山宏 (2019). 新企業の研究者をめざす皆さんへ. 近代科学社. [H. Maruyama (2019). Shin Kigyo no Kenkyusha wo Mezasu Minasan e. Kindaikagakusha.].

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Konno, R., and Inui, K. (2020). "Instance-based Learning of Span Representations: A Case Study through Named Entity Recognition." In ACL 2020. arXiv preprint arXiv:2004.14514.

Ouchi, H., Suzuki, J., Kobayashi, S., Yokoi, S., Kuribayashi, T., Yoshikawa, M., and Inui, K. (2021). "Instance-Based Neural Dependency Parsing." In TACL 2021. arXiv preprint arXiv:2109.13497.

暦本純一 (2021)．妄想する頭思考する手想像を超えるアイデアのつくり方． 祥伝社. [J. Rekimoto (2021). Moso suru Atama Shiko suru Te Sozo wo Koeru Aidea no Tsukurikata. Shodensha.].

Saito, M., Saito, S., Koyama, M., and Kobayashi, S. (2020). "Train Sparsely, Generate Densely: Memory-Efficient Unsupervised Training of High-Resolution Temporal GAN." International Journal of Computer Vision, 128 (10), pp. 2586-2606.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout:

A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, pp. 1926-1958.

Takase, S. and Kobayashi, S. (2020). "All Word Embeddings from One Embedding." In NeurIPS 2020. arXiv preprint arXiv:2004.12073.

Taylor, J. R. (2017). メンタル・コーパス一母語話者の頭の中には何があるのか. くろしお出

版. [J. R. Taylor (2017). Mentaru Kopasu: Bogowasha no Atama no Naka niwa Nani ga Arunoka. Kuroshio Shuppan.].

## 略歴

小林颯介：2016 年株式会社 Preferred Networks 入社. 2021 年東北大学情報科学研究科博士後期課程修了. 同年より東北大学デー夕駆動科学・AI 教育研究センター学術研究員.


# 「数値気象予報からの天気予報コメントの自動生成」の研究過程

村上聡一朗 ${ }^{\dagger, \dagger \dagger}$
## 1 はじめに

本稿では, 言語処理学会 2021 年度論文賞をいただいた「数値気象予報からの天気予報コメントの自動生成」（村上他 2021）（以降，原論文と呼称する）について，論文では語られなかつた研究の着想から原論文の採択に至るまでの経緯を交えて解説する。

## 2 着想から採択に至るまでの経緯

本研究は, 著者が大学院の修士課程 2 年であった約 6 年前に取り組み始めた研究である。また原論文は, NLP2017 で発表した研究 (村上他 2017) を発展させて, その後EACL2021 に採択された論文 (Murakami et al. 2021)を基にしている。 そこで本節では, 著者が約 6 年前に本研究に着手した当時から，EACL2021 および原論文の採択に至るまでの経緯を振り返りたい.

当時，著者は人間が物事を理解し，それを言葉で説明できるように，計算機でも同様の処理を実現できないかと考え，自然言語生成の研究に取り組んでいた，その中でも特に修士課程 1 年目に取り組んでいた野球の試合速報を生成する研究 (村上他 2016) を通して，デー夕を言語で記述する研究課題である，すなわち Data-to-Text 生成課題に対して関心が高まっていた．野球の試合速報が試合状況やそれを表すデータを理解している制作者によって書かれるように，どのようにすれば世の中のあらゆるデータを計算機が理解し，それを記述するテキストが生成できるかという問題に面白さを感じたためである。またそれと同時に，ドメインや扱うデータが異なれば，データを記述する際に着目すべき点や直面する課題も異なるはずであり，研究対象のドメインを広げていきたいとも考えていた.

天気予報コメントの自動生成はこのような流れで始まった研究の1つである。天気予報コメントは，気象予報モデルを大規模コンピュータでシミュレーションして得られる数値気象予報を基に人手で記述されている。著者は天気予報に関して素人であったため, 研究を始めるにあたりまずは調査から始めたが，こうした実際の天気予報コメントの制作過程を知り，まずはその過程を計算機で再現してみることから着手した. このようにして NLP2017 の研究 (村上他

2017) では, 実際の天気予報コメントの制作過程に着想を得て, 数値気象予報を用いた天気予報コメントの自動生成に取り組んだ。

その後, 研究の方向性を検討するにあたり従来の手法では解決できていないくつかの課題を検討した。その中の 1 つが生成テキストの忠実性の課題である. Data-to-Text 生成課題において主流な手法であるニューラルネットワークに基づく言語生成モデルは，その生成テキストの流暢性の高さが注目されているが，生成時の制御が難しく入力デー夕に対して忠実ではないテキストが生成される課題が多く指摘されていた (Wang et al. 2020). これは特に天気予報コメン卜などの生成内容の正確さが求められる応用先においては重要な課題といえる. この課題に着想を得て，天気予報コメントでは特に「晴れ」「曇り」「雨」「雪」に関する情報が重要視されることに着目し，これらを適切に言及するための内容選択モデルを導入する手法を考案した. これは，EACL2021に採択された論文，またその後の原論文におけるアイデアへ繋がっている.

論文誌に向けては，EACL2021の査読で頂いたコメントなどを基に追加実験を行った。その中の 1 つが比較手法の追加であり，原論文では事例ベース推論による実験を実施した。これは先行研究 (Adeyanju 2012) でも言及されているように, 天気予報コメントでは類似した数値気象予報や気象観測値等に対して同様のコメントが記述されるため, 有用な比較手法であると考えたためである。また原論文は主著として 2 本目の論文誌であるが, 原論文の執筆にあたっては 1 本目の論文誌を執筆した際に得られた経験が活きている。例えば論文誌では提案手法の有用性を示すための多面的な評価実験に加え，それを読者に向けて分かりやすく提示することが求められる. 1 本目の論文誌の査読を通して査読者より様々な視点から指摘や助言をいたたけたことで，2 本目である原論文の執筆時にはそれらを考慮しながら必要な実験や提示すべき情報などを洗い出し，計画的に執筆に取り組むことができた。

2022 年 1 月の「論文賞」の吉報は著者にとって想像もしていなかった出来事であったが, このように評価をいただけたのはひとえに原論文に限らずこれまでの著者の研究に対して指摘や助言を頂いた査読者および共著者, 指導者の皆様のおかげである.こうした経験を経たことで，研究や論文執筆を着実に進めることができ，今回の受賞へ繋がったと考えている.

## 3 論文の概要

本研究では, 天気予報コメントの自動生成タスクにおける 3 つの課題に焦点を当てている. ここで，図 1 を用いて具体的にそれぞれの課題を説明する．1つ目は，コメントを記述する際に数値気象予報のシミュレーション結果に含まれる降水量や気圧などの複数の物理量とその時間変化を考慮しなければならない点である。例えば, 図 1 で雲や降水量のそれぞれの時間変化に言及されているように，天気予報コメントを記述する際には複数の物理量の変化を考慮しなければならない，2つ目は，天気予報コメントでは，対象エリアやコメントの配信時刻，日付な

配信日時: 4 月 6 日午前 $5: 51$, 東京

今日は日差しが届く時間がありますが、雲が広がりやすくて夕方以降は雨が段々と降り出します。外出時に雨が降っていなくても傘を持ってお出かけ下さい。

図 1 数値気象予報のシミュレーション結果と天気予報コメントの例

どのメ夕情報に基づいて記述されている点である。例えば，午前中に配信される天気予報コメントは，日中から夕方にかけた天気に言及することが多く，夕方以降に配信される天気予報コメントでは，夜から翌日の日中までの天気に言及する傾向がある。また，海辺のエリアを対象とした天気予報コメントでは，波の高さなどに言及されることが多い，3つ目は，天気予報サイトのユーザーは天気予報コメントの情報の有用性（以降では，情報性と呼称する）を重要視している点である。特に「晴れ」「雨」「曇り」「雪」といった気象情報について適切に言及されているかはユーザーにとって重要といえる。

これらの課題に対して, 本研究では数値気象予報のシミュレーション結果や気象観測值から天気予報コメントを生成するための Data-to-Text モデルを提案している. 図 2 に提案モデルの概要を示す. 1 つ目の課題に対しては，数値気象予報における様々な物理量を捉えるために多層パーセプトロンまたは畳み込みニューラルネットワークをエンコーダとして用い，さらにその時間変化を考慮するために双方向リカレントニューラルネットワークを導入した． 2 つ目の課題については，天気予報コメントの対象となるエリア情報や配信時刻などのメ夕情報をモデルへ導入し, 生成時にこれらの情報を考慮するように工夫した，3つ目の課題について，本研究では「晴れ」「雨」「曇り」「雪」の気象情報をユーザーにとって重要な情報と定義し, これらを適切に言及するために内容選択モデルを導入した．内容選択モデルでは，数値気象予報のシミュレーション結果から言及すべき重要な情報である「晴れ」「雨」「㫫り」「雪」の気象情報を予測する，提案モデルでは，それらの予測結果をテキスト生成時に考慮することで，生成テキ

図 2 提案モデルの概要

ストの情報性の向上を図っている.

実験では，数値気象予報のシミュレーション結果，AMeDAS により収集された気象観測デー 夕およびウェザーニュース1で配信された天気予報コメントを用いて提案モデルの評価を実施した。自動評価では，生成テキストと参照テキストの $n$-gram の一致に基づく評価指標である BLEU および ROUGE を用い, 生成テキストの品質を評価した。また, これらの評価指標では,生成テキストにおいて「晴れ」「雨」「量り」「雪」の気象情報を適切に言及できているか評価が難しいため, 手がかり語に基づく生成テキストの内容の評価も合わせて実施した. これらの自動評価により，提案モデルがベースラインモデルに比べて性能が改善することを確認した。 さらに, 人手評価では, 提案モデルはベースラインモデルと比べて天気予報コメントの情報性が向上していることが示された. 詳細の実験設定, 結果については原論文を参照していたたきさたい.

## 4 おわりに

本記事では, 本研究の着想から採択に至るまでの経緯を交えて, 原論文の概要を解説した. あらためて本研究に着手した経緯を振り返ると, その動機は当初著者が抱いていた興味関心から駆り立てられたものであり，これは現在の研究活動にも繋がっている。今回の受賞を励みに，今後も探究心を大切にしながら研究に取り組んでいきたい.

## 謝 辞

本研究に関して，論文の査読や審査，助言をしていただた査読者，編集委員会，関係者の皆様に感謝申し上げます。また，本記事の執筆機会を与えていただいた編集委員会の皆様に感謝申し上げます。

## 参考文献

Adeyanju, I. (2012). "Generating Weather Forecast Texts with Case Based Reasoning." International Journal of Computer Applications, 45, pp. 35-40.

Murakami, S., Tanaka, S., Hangyo, M., Kamigaito, H., Funakoshi, K., Takamura, H., and Okumura, M. (2021). "Generating Weather Comments from Meteorological Simulations." In Proceedings of The 16th Conference of the European Chapter of the Association for Computational Linguistics. Association for Computational Linguistics.

村上聡一朗，笹野遼平，高村大也，奥村学 (2016). 打者成績からのイニング速報の自動生成. 言語処理学会第 22 回年次大会発表論文集, pp. 338-341. [S. Murakami et al. (2016). Dasha Seiseki kara no Iningu Sokuho no Jido Seisei. Proceedings of the 22nd Annual Meeting for the Association for Natural Language Processing, pp. 338-341.].

村上聡一朗, 笹野遼平, 高村大也, 奥村学 (2017). 数値予報マップからの天気予報コメントの自動生成. 言語処理学会第 23 回年次大会発表論文集, pp. 1121-1124. [S. Murakami et al. (2017). Suchi Yoho Mappu kara no Tenki Yoho Komento no Jido Seisei. Proceedings of the 23rd Annual Meeting for the Association for Natural Language Processing, pp. 1121-1124.].

村上聡一朗，田中天，萩行正嗣，上垣外英剛，船越孝太郎，高村大也，奥村学 (2021). 数値気象予報からの天気予報コメントの自動生成. 自然言語処理, 28 (4), pp. 1210-1246. [S. Murakami et al. (2021). Generating Weather Comments from Numerical Weather Prediction. Journal of Natural Language Processing, 28(4), pp. 1210-1246.].

Wang, Z., Wang, X., An, B., Yu, D., and Chen, C. (2020). "Towards Faithful Neural Table-toText Generation with Content-Matching Constraints." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1072-1086. Association for Computational Linguistics.

## 略歴

村上聡一朗 : 2015 年熊本高等専門学校専攻科電子情報システム工学専攻修了. 2017 年東京工業大学大学院博士前期課程修了. 2019 年より, 東京工業大学工
学院博士後期課程に在籍. 株式会社サイバーエージェント AI Lab リサーチサイエンテイスト. 自然言語処理, 特に自然言語生成に関する研究開発に従事. 言語処理学会会員.


# JGLUE: 日本語言語理解ベンチマーク

栗原健太郎 $\dagger \cdot$ 河原 大輔 $\dagger \cdot$ 柴田 知秀 $\dagger \dagger$

## 1 はじめに

早稲田大学河原研究室とヤフー株式会社の共同研究で日本語言語理解ベンチマーク JGLUE (Japanese General Language Understanding Evaluation)を構築した。本稿ではその背景・概要・今後の展望について述べる。詳細は言語処理学会第 28 回年次大会 (NLP2022)で発表した論文 (栗原他 2022)をご参照いただきたい.

## 2 背景

近年, BERT (Devlin et al. 2019) や T5 (Raffel et al. 2020), GPT-3 (Brown et al. 2020) などの基盤モデル (Bommasani et al. 2021)の進展が目覚ましい. 基盤モデルの進展には GLUE (Wang et al. 2018)のようなベンチマークでの網羅的評価が不可欠である.

種々のベンチマークは主に英語で構築されているが，フランス語の FLUE (Le et al. 2020) や中国語の CLUE (Xu et al. 2020), 韓国語の KLUE (Park et al. 2021) など，英語以外の言語でもベンチマークが整備されている。では日本語ではどうだろうか。様々な機関から BERT などのモデルは公開されており，それを評価するデータセットがいくつかあるものの，GLUEのように整理されたベンチマークは存在せず，適切な網羅的評価が行うことができない.

「日本語にもベンチマークが必要」ということは数多くの人が認識していたと思うが，どの組織からも構築しようとする動きが見られなかったため, 早稲田大学河原研究室とヤフー株式会社の共同研究で 2021 年度より日本語版 GLUE (JGLUE) の構築を開始した. JGLUE の構築にあたって以下の 2 つを基本理念とした.

(1) 翻訳を介さず日本語のテキストで一から構築

英語のデータセットを翻訳することによって日本語のデータセットを構築することが考えられるが，機械翻訳，人手翻訳のいずれにしても日本語における不自然さが残ってしまう。そこで日本語のテキストで一から構築する。

(2) 一般ドメインのテキストで構築

JRTE コーパス (Hayashibe 2020) や運転ドメイン QA データセット (Takahashi et al. 2019) はそれぞれホテルのレビュー，運転行動を対象としたデータセットであり，一般的なドメインの言語理解能力を測るのには向かない。そこで一般ドメインのテキストを用いてデータセットを構築する.

## 3 JGLUE の概要

JGLUE は GLUEのタスクをなるべくカバーするように，夕スク，ならびに，それぞれの夕スクに含まれるデータセットを選定した. JGLUEの構成を表 1 に示す. 文章分類, 文ペア分類, QAの3つのタスクから構成している。なお, 文章分類タスクの一つである JCoLA（日本語容認性判断データセット) (染谷, 大関 2022) は東京大学大関研究室から提供される予定である。 以下では, 各タスクのデータセットの概要を紹介する。各データセットの構築はクラウドソーシング1を用いて行った。

MARC-ja 文章分類タスクとして, 多言語商品レビューコーパス MARC (Multilingual Amazon Reviews Corpus) (Keung et al. 2020) の日本語部分を用いてMARC-jaを構築した. MARC は各商品レビューに対して 1-5の５段階の商品評価が割り振られたデータセットであり，これに対して以下の変更を行った.
- 5 段階の分類タスクは人/システムの両者にとって難易度が高いことから positive/negative の 2 値分類タスクに変換

-レビューの内容と商品評価が乘離している事例が混在していることからクラウドソーシングによりラベルを修正（devと testのみ）

表 2 に MARC-ja のデータの例を示す.

JSTS・JNLI 文ペア分類タスクとして, 意味的類似度計算 (Semantic Textual Similarity, STS) データセット JSTS および自然言語推論 (Natural Language Inference, NLI) データセット JNLI

表 1 JGLUE の構成

を構築した．２つのデータセットはどちらも YJ Captions Dataset (Miyazaki and Shimizu 2016) のテキストを用い，クラウドソーシングで類似度ならびに推論関係を付与することにより構築した。表 3 にJSTS・JNLIのデータの例を示す.

JSQuAD QAタスクとして, SQuAD (Rajpurkar et al. 2016)の日本語版である JSQuADを構築した. JSQuADは与えられた文章から問題の答えを抜き出して回答するスパン抽出型タスクで, SQuAD と同様の手順で Wikipedia の日本語記事を用いて構築した. 図 1 にJSuADのデータの例を示す。

JCommonsenseQA QAタスクとして, CommonsenseQA (Talmor et al. 2019)の日本語版である JCommonsenseQA を構築した. JCommonsenseQA は常識推論能力を評価するための 5 択 QA 問題である. CommonsenseQA と同様に ConceptNet (Speer et al. 2017)をシードとし，クラウドソーシングを用いて構築した. 図 2 に JCommonsenseQA のデータの例を示す.

表 2 MARC-ja の例

表 $3 \mathrm{JSTS} \cdot \mathrm{JNLI}$ の例

図 1 JSQuAD の例

問題: 会社の最高責任者を何というか？

選択肢: 教師, 部長, 社長, 部下, バイト

問題: スープを飲む時に使う道具は何？

選択肢: スプーン,メニュー, 血, フォーク, はし図 $2 \mathrm{JCommonsenseQA}$ の例（太字は正解を表す） JCommonsenseQA の例(太子は正解を表す)

## 4 JGLUE を用いた基盤モデルの評価

JGLUE を用いて，広く利用されている各種基盤モデル（表 4）の性能評価を行った．各種モデルのスコアおよびヒューマンスコアを表 5 に示す. ヒューマンスコアについてはデータ構築と同様にクラウドソーシングを用いて算出した. モデルの性能について，以下のようにまとめることができる.
- 全般的にはXLM-RoBERTa ${ }_{L A R G E}$ が最もよい. これは LARGE サイズであることと, 事前学習のテキストとして Wikipediaよりも大規模な Common Crawlを使っていることが考えられる。
- 基本単位について, サブワード単位と文字単位を比較すると一貫してサブワード単位の方が精度が高い. (東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ と東北大 $\mathrm{BERT}_{\mathrm{BASE}}$ （文字）の行を比較のこと）
- JCommonsenseQA は Wikipediaには記載されにくい常識的な知識を要求することから,

 & 日本語 Wikipedia \\

表 4 基盤モデルの詳細（モデル名の括弧内は huggingface models での名称を, “”はそれぞれに対応する LARGE モデルも利用することを示す。＼cjkstart事前学習テキストの CC は Common Crawl を表す.）

 &  &  &  &  \\

表 5 JGLUE におけるモデルの評価結果 (test)

Common Crawl を用いたモデルの精度が高い.
- JCommonsenseQA 以外についてはべストなモデルは人間のスコアと同等または超えている.

## 5 おわりに

データセットの数としてはまだまだ十分ではないが, 最低限のタスク／データセットをカバー し, JGLUE という形で整理した。これによってモデルの包括的な評価が可能となり，より良いモデルの構築や様々なデータセットの構築が進むことを期待している．JGLUE の第一版は 2022 年 3 月末に公開を予定しており（原稿執筆時点），フィードバックをいただけると幸いである.

今後はより難しいデータセットの構築や生成系タスクのデータセットの構築を行う予定である。また, JCoLAのように他機関で構築されたデータセットは JGLUE に適宜取り込みたいと考えているので，ご連絡いただければ幸いである。

## 参考文献

Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S.,

Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N. S., Chen, A. S., Creel, K., Davis, J. Q., Demszky, D., Donahue, C., Doumbouya, M., Durmus, E., Ermon, S., Etchemendy, J., Ethayarajh, K., Fei-Fei, L., Finn, C., Gale, T., Gillespie, L., Goel, K., Goodman, N. D., Grossman, S., Guha, N., Hashimoto, T., Henderson, P., Hewitt, J., Ho, D. E., Hong, J., Hsu, K., Huang, J., Icard, T., Jain, S., Jurafsky, D., Kalluri, P., Karamcheti, S., Keeling, G., Khani, F., Khattab, O., Koh, P. W., Krass, M. S., Krishna, R., Kuditipudi, R., et al. (2021). "On the Opportunities and Risks of Foundation Models." CoRR, abs/2108.07258.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M. F., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep

Bidirectional Transformers for Language Understanding." In NAACL2019, pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In LREC2020, pp. 6827-6834, Marseille, France. European Language Resources Association.

Keung, P., Lu, Y., Szarvas, G., and Smith, N. A. (2020). "The Multilingual Amazon Reviews Corpus." In EMNLP2020, pp. 4563-4568, Online.

栗原健太郎, 河原大輔, 柴田知秀 (2022). JGLUE: 日本語言語理解ベンチマーク. 言語処理学

会第 28 回年次大会, pp. 2023-2028. [K. Kurihara et al. (2022). JGULE: Nihongo Gengo

Rikai Benchimaku. Proceedings of the 28th Annual Meeting for the Association for Natural Language Processing, pp. 2023-2028.].

Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., and Schwab, D. (2020). "FlauBERT: Unsupervised Language Model Pretraining for French." In LREC2020, pp. 2479-2490, Marseille, France. European Language Resources Association.

Miyazaki, T. and Shimizu, N. (2016). "Cross-Lingual Image Caption Generation." In ACL2016, pp. 1780-1790.

Park, S., Moon, J., Kim, S., Cho, W. I., Han, J. Y., Park, J., Song, C., Kim, J., Song, Y., Oh, T., Lee, J., Oh, J., Lyu, S., Jeong, Y., Lee, I., Seo, S., Lee, D., Kim, H., Lee, M., Jang, S., Do, S., Kim, S., Lim, K., Lee, J., Park, K., Shin, J., Kim, S., Park, L., Oh, A., Ha, J.-W., and Cho, K. (2021). "KLUE: Korean Language Understanding Evaluation." In 35th Conference on NeuralIPS Datasets and Benchmarks Track (Round 2).

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000+ Questions for

Machine Comprehension of Text." In EMNLP2016, pp. 2383-2392, Austin, Texas.

染谷大河, 大関洋平 (2022). 日本語版 CoLA の構築. 言語処理学会第 28 回年次大会, pp. 1872-1877.

[T. Someya and Y. Oseki (2022). Nihongoban CoLA no Kochiku. Proceedings of the 28th Annual Meeting for the Association for Natural Language Processing, pp. 1872-1877.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." AAAI2017, 31 (1).

Takahashi, N., Shibata, T., Kawahara, D., and Kurohashi, S. (2019). "Machine Comprehension Improves Domain-Specific Japanese Predicate-Argument Structure Analysis." In MRQA2019, pp. 98-104, Hong Kong, China.

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge.” In NAACL2019, pp. 4149-4158, Minneapolis, Minnesota.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2018). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In EMNLP2018 Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium. Association for Computational Linguistics.

Xu, L., Hu, H., Zhang, X., Li, L., Cao, C., Li, Y., Xu, Y., Sun, K., Yu, D., Yu, C., Tian, Y., Dong, Q., Liu, W., Shi, B., Cui, Y., Li, J., Zeng, J., Wang, R., Xie, W., Li, Y., Patterson, Y., Tian, Z., Zhang, Y., Zhou, H., Liu, S., Zhao, Z., Zhao, Q., Yue, C., Zhang, X., Yang, Z., Richardson, K., and Lan, Z. (2020). "CLUE: A Chinese Language Understanding Evaluation Benchmark." In COLING2020, pp. 4762-4772, Barcelona, Spain (Online).

## 略歴

栗原健太郎：2021 年早稲田大学基幹理工学部情報通信学科卒業. 2022 年現在同大学院修士課程在学中.

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了. 2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学理工学術院教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

柴田知秀：2007 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学大学院情報学研究科助教, 特定講師を経て, 2019 年より Yahoo! JAPAN 研究所上席研究員．専門は自然言語処理，特に深層学習を利用した日本語基礎解析. 博士 (情報理工学).


# さきがけ「新しい社会システムデザインに向けた情報基盤技術の 創出」研究領域における自然言語処理関連研究
## 1 はじめに

科学技術振興機構 (JST) の「さきがけ1」 ${ }^{1}$ は， 文部科学省が定める戦略目標に基づいて推進される JST の「戦略的創造研究推進事業」のプログラムの一つで, 研究総括が定めた研究領域運営方針の下で研究者が異分野間のネットワークを形成しながら個人で研究を行うものである.「新しい社会システムデザインに向けた情報基盤技術の創出 2 」(略称：社会デザイン）は黒橋禎夫先生 (京都大学) を研究総括として 2016 年度から運営されてきた領域で, 自然言語処理領域から本稿共著の 5 名が研究者として参加した（1 期生: 吉野・高村， 2 期生: 永田・松崎， 3 期生: 須藤)。本稿では, 2021 年度末での「社会デザイン」領域の終了に際して, 自然言語処理に関わる研究を実施した本稿共著者の研究について簡単に紹介するとともに「さきがけ」での活動を通じて得られた経験や感想を述べる。

## 2 漸進的な言語理解・知識獲得に基づく音声対話システム（吉野）

私がさきがけで取り組んだ課題は, 音声対話システムにおいて漸進的な言語理解や知識獲得を可能とする枠組みの構築である。「漸進的 (incremental)」というのは，対話を進めるにつれて対話内容から知識を抽出していくということの他に, 発話の処理を時系列に沿って漸進的に行うということを意図した．私は元々音声の研究室で音声対話システムをテーマに研究をしていたことから，言語コミュニケーション，特に話し言葉における漸進処理・逐次処理に興味を持っていた. 内省が効いた書き言葉と比較すると，人間の話し言葉は語順などが容易に入れ替わる.また，対話の進行に応じて話す内容も刻々と変化していく。こうしたリアルタイムコミュニケーションを言語理解や知識活用の側面から理解しようとするのがこの研究課題の大目標で

あった．結論から言えば，言語コミユニケーションのリアルタイム処理を説明する理論を構築できたとまでは言えないが，いくつか興味深いモデルが構築できた。例えば，実際に発話内容の理解（フレームへの書き起こし）を行うタスクを漸進的に行った場合，発話を全て聞かずとも理解が可能なケースが多いことが示された (Coman et al. 2019). 対話全体の漸進的処理においても，論証のような対話ドメインでは発話から得られた知識を随時処理しつつ，得られた知識に沿って対話戦略を最適化することが有効であることが示された (勝見他 2020).

言語処理の目標のひとつである言語理解を実現する根幹は，与えられたテキスト列をどのように機械で処理できる形に変換するか，それを機械が持つ知識ベースに対していかに接続して利用可能にするかにある。述語を中心とした事態・イベントの表現とこれら同士の関係によって漸進的な言語理解と知識獲得を実現できる可能性を示すことができた (田中他 2021) のは,研究的には一歩前進であったと言える。今後は, こうした理解の枠組みをロボットなどの実世界応用 (湯口他 2022)へと広げていきたいと考えている.

私がさきがけに応募したきっかけは，まず第一に自身が研究で必要とするアノテーションを行ってくれるアノテータを雇用したかったためであった. 現代言語処理はその多くをアノテー ションされたコーパスに依拠しており，アノテーションそのものや基準を作成する上でアノテー 夕を訓練することが必要である。さきがけの大きな予算でアノテータを雇用できたことは私の中で非常に大きな経験であったし，また良いアノテータの応募に巡り合えたことも幸運であった. 一方で, 言語処理という研究分野のアノテーションへの依拠度合いを考えたときに, どう継続的にアノテータを養成・雇用していくかについては，もう少し重視されてもよいのではないかということを考えるきっかけともなった。

また他でもよく言われていることではあるが，さきがけは異分野の研究者との交流という意味でも非常に有意義な機会であった，領域会議は，自身の技術がどういうところに使えるのか, あるいは異分野の技術が自身の研究をどう強化できるかということを検討する機会でもある。 さきがけの同期は自分と同時期に若手研究者から PIになろうとする，あるいは最近 PIになった研究者が多く，そうした研究者キャリア上の同世代と深い交流を行うことができるというのも意義深い，加えて，私の場合はさきがけの予算で海外へ留学する機会にも恵まれ，その中で世界中の様々な研究者と議論を行い自身の研究観を更新することができた．先ほどの大きな予算を使うということも含めて, こうした機会は採択された限られた研究者に許されるものであるので，言語処理若手研究者の方々にも積極的に挑戦して貪いたいし，分野としてそうした挑戦を支援する枠組みが構築できればよいと考えている。私自身応募時は助教になりたてで，実は同時期に新設された ACT-Iに応募するつもりで説明会に行った. その際, 同じ会場で行われていた「社会デザイン」さきがけの説明を聞いて, やりたいことへの親和性がこちらの方が高そうなことから，自分には少し早いかもと思いつつ応募を決めた。チャンスはどのように転がってくるかわからないものなので，チャンスが来た時に迷わず飛び込む勇気の後押しと，勇気の
裏付けとなる準備を分野としてサポートしていきたい.

## 3 様々な形式のデータを言語で柔軟に記述する汎用的技術の開発（高村）

さきがけに応募したのはこれが初めてではなかった，恥ずかしい話だが，全く異なるテーマで何度か応募し，いずれも不採択となっていた。過去の自分の応募書類を見てみると, これは間違いなく不採択だろう，という感じたっった。課題の規模感がまず駄目であった. 国際会議論文 1 本や 2 本分の研究計画では通るはずもない. また, 募集要項で記述されている社会的背景にどう関連し，どう役立つのか，またそのアプローチは期待されている種類のものか，といった点がわかりやすく書かれていない。そしてそれが自然な形で学術的な意義も含んでいるということが説明されていない.

平成 28 年に始まった, さきがけ社会デザイン領域は, 自分としては最後の挑戦になるかなと思いつつ，気合いを入れて応募に臨んだ。自分が何をやりたいかを整理しつつ，募集要項を読み込んだ。募集要項に書かれている社会デザイン領域の概要 (JST 戦略研究推進部 2016) は, 以下の段落より始まる：

“情報技術の急速な進展により, 莫大な数のセンサやデバイスがインターネットにつながるようになってきました，また，医療・健康，材料・物性，都市インフラや地球環境など，あらゆる場所で多種多様のビッグデータが蓄積され, 応用されてきています。さらに，自然言語処理やディープラーニング等を駆使した人工知能技術にも大きな関心が集まり，これらの各分野における活用が急速に進みつつあります。”

これは，自分のやりたいこととストレートにつながる公募であり，この上なく大きなチャンスであった．実際，私の応募課題のタイトルは「様々な形式のデータを言語で柔軟に記述する汎用的技術の開発」であり，そのストーリーは「センサ技術などの発達により様々なデータが大量に存在するものの，それを有効活用できていないので，深層学習などによりデー夕を言語で記述することで活用を促す」というもので, 節操がないくらい募集要項に一致している．決して募集要項に合わせて研究計画を立てたわけではないが，自分のやりたいことがいかに募集要項の内容に一致しているかを，できる限りしっかり表現するよう心がけた. このようなストー リーを描いた背景には，自然言語処理における大きな流れもある．自分が自然言語処理分野に足を踏み入れてから, この分野におけるいろいろな研究課題において機械学習手法が支配的になっていくのを見つつ，もうしばらくしたら言語生成の番だろうなと感じていた. それと同時に, 機械学習による言語生成に大きな可能性と興味を感じていた.

そうして書き上げた応募書類は今読み返すとまだまだ改善の余地があるものの，ありがたいことに採用していただけた，さきがけ研究が始まり, 同じ領域の研究者のプレゼンを初めて聞いたときは，かなりの衝撃だった，内容が高度であり，かつ面白く，聞いていると目が讶えて

くるのであった。これを独り占めするのは良くなかろうと，親しい友人に次期公募での応募を強く勧めた記憶がある。

自分の研究はといえば，まずはデー夕の入手からであった，入力となるデータと，出力となるテキストがぺアになっている必要があり, 入手はそれほど簡単ではなかった。もちろん, 研究用に公開されているデータもあるが, 公開データのみでの研究だけでなく, 実データと向き合う必要があると考えていた. データを持つ企業の協力や, さきがけの予算により, 気象 (村上他 2017), 金融 (Aoki et al. 2018), スポーツ (Iso et al. 2019) など様々なドメインのデータを入手し, 研究を進めることができた. 特に，イングランドのプレミアリーグのデータを購入し,念願のサッカーのテキスト速報を生成する研究を進めることができた (Taniguchi et al. 2019). さきがけでの研究により，その後のプロジェクトにもつながる土台や人脈ができ，研究予算以上の大きなものを頂いたような気がする。

ただそれ以上に, さきがけは一言でいうと「楽しい」ものであった. 同分野および異分野の研究者や, アドバイザーらと深い議論や情報交換ができ，いろいろな視点から問題を眺めることができた。同じ領域の研究者らは, 互いに同級生やチームメイトのような感じで, 学生に戻ったかのようであった。 1 年に二度ほど開催される領域会議がいわば進捗報告会であり，研究総括とアドバイザー陣の前で全員が発表をする。領域会議前は，さきがけ研究者同士は互いに「領域会議の準備できていない。やばい」などと言い合うのであるが, そんなことを言っている研究者も研究成果をしっかり揃えて素晴らしいプレゼンをしたりする. そんなところも，学生時代のようであった。社会デザイン領域の最後の領域会議には卒業する学生の気分になり, 心の中には「蛍の光」が流れ, 気持ちだけは黒橋先生を胴上げした。学生気分をもう一度味わいたい研究者の方々には，さきがけに挑戦することを是非とも勧めたい．同時に，JSTには，さきがけのこのような雾囲気を維持してほしいと願う。

## 4 新しい学びの形態を実現するための問題自動解説技術の開発（永田）

本研究テーマに至るまでには長い経緯があった。2000 年頃に文法誤り検出／訂正の研究を始めた筆者であるが，システム出力を英語の先生に見せるたびに「誤り訂正ができるのは良いのですが，誤りの理由を説明することはできませんか？」という趣旨のコメントをいたたいた．検出 ／訂正情報だけでは学習支援としては不足ということである。 それ以来, よりリッチなフィー ドバックを実現することを常々考えてきたが，うまくいかない時期が 15 年近くも続いた.

そんなある日, 本稿著者の一人である高村氏と雑談することがあった. 氏曰く「参加しているとどんどん目が讶えてくる凄い会議がある」と。それが, さきがけの領域会議であった。熱っぽく語る同氏の話を聞いていると，だんだん私もその気になり，その場でさきがけに応募することを決心した。テーマは，もちろん「よりリッチなフィードバックの実現」である。思わぬ

ところから転機が訪れたわけである。

蓋を開けてみると，はたして凄かった。文面では伝わりにくいが，領域内の研究者もアドバイザの先生方も何から何まで圧倒的であった。テーマは多岐に渡るが（例えば，子供アンドロイド, 脳中の言語情報の解読など), どの研究者も毎回の領域会議で, 素人目に見ても凄い成果をバシバシ報告するのである。 そして皆さん, 非常に研究活動を楽しんでおられるようであった (とにかく熱い)，それを聞いているアドバイザの先生方も普段の所属や業務を忘れて純粋に議論を楽しんでおられるようであった.

そんな中, (若干のプレッシャーを感じつつも), 約 4 年間に渡る, 私のさきがけ研究生活がスタートした。まず取り掛かったのは, 研究の基盤となる解説文データの作成である。前例のないタスクであるため，かなりの困難を伴った．英語の専門家と一緒に解説文を作成するということを何度も行った．期間中に少なくとも 5,000 の解説文を読み，分析を行った. 最終的に， 3,000 文書以上から成るデータセットが完成した，学習支援として有意義な解説とすると共に，現在の技術で生成が可能なものとなるようバランスをとる作業であった. データ構築をしているようで，実は，夕スクの設計を行っていたように思う。その成果の一部は言語資源協会より公開中である ${ }^{3}$.

データ作成と並行して様々な手法の考案に取り組んた。手始めに検索問題として問題を解くことを試みた．領域会議および関連する研究者との交流から生まれたアイデアである．深層学習を利用して，訓練データを曖昧に検索することで，解説対象に類似した英文に付与された解説文を出力するというものである．シンプルな手法であるが，思いのほかうまくいった．初めて生成結果を確認して「機械でもこんなに人間らしい解説が出せるのか」と感動したことをよく覚えている（訓練データ中の解説文をそのまま出力するので自然なのは当たり前であるが）.例えば, “In the restaurant serve good food." という英文に対して,「この名詞句は, 文の主語です. 主語は通常前置詞を伴いません.」という解説文が生成された. 従来の構文解析を利用する方法では, 前置詞 + 主語という構造をどのように扱ったらよいかは自明でなく解説の生成も難しい. 小さくも重要な一歩であったと自負している。ここまでの成果を新しい夕スクの提案として発表した (Nagata 2019).

その後も, 研究期間を通じて貴重な体験をすることができた. ちょっとした tips から, 他分野の最新動向まで，様々な情報を得ることができた。また，その合間を縫って，今後の言語処理はどうあるべきかといった壮大なテーマまで議論する機会もあった（領域会議は合宿形式であり時間を気にせず議論を楽しめる)。直接は関係しないような話題も，自分のテーマを俯瞰して見直すということに繋がったように思う，毎回，大いに脳が活性化され，次の領域会議を楽しみにしつつ研究に打ち込むことができた。その甲斐あり，解説文生成に関する様々な知見を
^{3}$ https://www.gsk.or.jp/catalog/gsk2019-a/およびhttps://www.gsk.or.jp/catalog/gsk2019-b/で公開中.
}

まとめて発表 (Hanawa et al. 2021) することもできた。また, 得られた成果を活用した国際シェアードタスク "GenChal 2022: Feedback Comment Generation for Writing Learning4"も開催中である．更に，実用化に向けて，低コストで高信頼度な解説文生成の実現方法の確立 (Nagata et al. 2022)にも取り組んでいるところである.

こうして改めて振り返ってみると，気軽な雑談にしろ，フォーマルな進渉報告会にしろ，素晴らしい場があったことが大きかったように思う．私の立場からは想像することしかできないが，豊かな場を提供するために，総括をはじめとするアドバイザの先生方，JST の方々には多大な苦労があったのではないかと思う。感謝の限りである。さきがけの豊かな場から生まれた一連の成果が，解説文生成の研究に取り組む人のための新たな場となれば幸いである.

## 5 読解に困難を抱える生徒を支援するテキスト表示技術（松崎）

筆者はこれまで主に構文・意味解析に関する研究を行ってきた。他の言語処理課題と同様に，構文・意味解析研究でも，対象となる文集合に対して「正解」を与えること，すなわち「正しい」構文・意味構造を措定することが研究の開始点となる.この「正しさ」には様々な議論の余地があるものの, 少なくとも, 大まかには合意可能な構文・意味構造の記述レベルが存在すると考えなければ，言語処理研究どころか言語を基礎とする社会生活に大きな支障が生じる.

ところで, 2016 年度から筆者が共同研究者として参画した科研費プロジェクト「テーラーメー ド教育開発を支援するための学習者の読解認知特性診断テストの開発」(研究代表者：国立情報学研究所・新井紀子教授) では, 教科書や新聞から採った数文程度の問題を用いた読解テスト （通称：Reading Skill Test, RST）を，中高生を中心とする数十万人を対象に実施し，一般に想定されている（と思われる）読解能力を下回る生徒が多数存在することを明らかにした。この過程で，筆者は多数の問題とそのテスト結果を目の当たりにし，上述の「構文・意味に関する合意がとれないことによる社会生活における支障」が現実に存在することを確信した.

そこで，さきがけ「社会デザイン」では，RST をテストベッドとして，言語処理を応用した読解支援技術を開発することを研究課題として提案した．中心となるアイデアは，インデント・分かち書き・太字化などのテキスト修飾を通じて, 文章の構造に関する「ヒント」を与え, これにより読解を支援することであった. テキスト修飾によって文や文章には構造が存在するということを可視化し, この明示化された構造にもとづいて読解する段階, いわば補助輪つきの読解を経由して, 徐々に通常のべタ打ちのテキストも正確に読めるようになるという想定である.

研究の第一段階は, 様々な能力レベルにある児童生徒にとって, どのようなテキスト修飾が有効かを調査することだった。そこでまず，最も有効だろうと思われるテキスト修飾の仕様を

定め, テキスト修飾を付加した場合・しない場合の読解問題に対するテスト成績の差を調べた. 2 つの自治体の教育委員会と協力し, 延べ数千人の小中学生を対象とした実験を行った結果, 予想とは大きく異なり，テスト成績に顕著な差が現れる問題はかなり少数であることが分かった.

正直なところ困ったことになったと思った。いま振り返れば，計算機プログラムに対する構文ハイライトや，箇条書きを基本とする研究発表スライドからの連想で，テキストの表示形態と構文・意味構造が一致していることの認知的効果は自明のものと考えていた。いくつかの実験実施校でテストの様子を見学させてもらい，テスト後の生徒にそれとなく「普通と違う形で文章が表示されていたのに気づいたか」という意味の質問をしてみた.これに対する「まったく気づかなかった (ていうか何のこと?)」という反応は衝撃であった.

特定のテキスト修飾に対する反応に統計的に有意な差があるか否か，ではなく，読解教育上の意味がある方策を見出すことが興味の中心であったため，その後は，テキスト修飾の効果についての調査から，より大きく網を広げる方向に研究方針を転換し，「なぜ読めないのか」「どうすれば読めるのか」「現在の教科書テキストはこれでよいのか」に関しいくつかの調査研究を行った。結果として，テキストに振り仮名を付与することに読解への即時的な効果はないこと (Arai et al. 2018), 現在の小中の理科教科書のテキスト構成は, 読解能力の伸長と比較した場合に複雑すぎる疑いのあること (Arai et al. 2020), 語彙知識と読解テスト成績の関係 (相原他 2021)など，いくつかの知見が得られた.

末筆となるが，領域会議での様々な背景を持つ研究者の意見は大きな刺激となった。また, ビジネスと研究あるいは科学行政と研究といった観点からの領域アドバイザー・関係者による講演は非常に有益であった. コロナ禍により筆者の研究課題も大きな影響を受けたが，その反面, 地理・研究領域・研究を取り巻く立場などの相違は通信技術によってかなりの程度まで乗り越えてコミュニケーション可能であることが明らかになったように思う。これを奇貨として 「さきがけ」をはじめ異分野の協働が一層発展することを願う.

## 6 次世代言語生成のための生成文評価基盤（須藤）

須藤の研究課題は言語生成の評価の仕組みを再考し, 深層学習によって大きく変化・発展した言語生成を正しく評価するためには何が必要か, を問うものであった. 本研究の問題意識は,既発表 (須藤他 2021b; Sudoh et al. 2021) で述べている通り, 表層的には小さな差異が伝達内容に深刻な変化をもたらすという点にある。機械翻訳を始めとする言語生成の技術水準は大きく向上してきたのだから，その評価もより厳しくすべき時代が来ているのではないだろうか？ 5 そのような厳しい評価を人手評価と自動評価の両面から行うことを目標に，評価基準の策定，人
$ ) でも論じている.
}
手評価データセットの作成・公開, 自動評価手法の開発, を中心に 3 年半の研究を実施した.

人手評価に関しては苦難の連続で，評価者間の摇孔との戦いであり，様々な言語生成タスクへの取り組みを進めるつもりだったところが機械翻訳の評価に大部分の力を注ぎ込むこととなった. 結果としては既発表で示したような形となり，ことばが解釈できたとはどういうことか，またある生成文が参照文と同じ内容を伝達しているのか，誤解を招くような誤りを含んでいるのか, という判断を下すということがいかに難しいことであるかを強く印象付けることとなった 6.同義性判定という意味では 2018 年 10 月の研究開始早々に BERT が公開され, 計画時の技術イメージが大きく変化することになったのも印象深い。一方の自動評価はそうした事前学習モデルの活用という流れに乗り，XLMを利用して原言語入力を活用する手法を考案し， 2021 年の WMT では更に人工負例によるデータ拡張も加えトップグループに入る結果を残した (Takahashi et al. 2021). また, ことばの意味を考える上で近年不可欠となっている単語の分散表現に関する演算の研究に取り組み (石橋他 2022), 様々な興味深い結果が得られている.

本研究の着想は現職への異動前からあり，異動後に本格的に取り組むにあたり大規模な人手評価の実施のための予算を求めてさきがけに応募した。一度の不採択を経て採択され, 開始 2 ケ月後の 2018 年 12 月まではこの予算で自分の研究を進めてやろう，ということのみが頭にあったのだが，それがいかに近視眼的なものであったかを知ることになる。領域会議は領域総括とアドバイザーの先生方, 領域研究者が集まって行う研究集会で, 各研究者の進捗報告もそれぞれ刺激的であるのだが, 何より休㦝時間の雑談, 懇親会やその後の会話や議論が非常に有意義で，標榜されている通りあたかも一つの研究室で集まっているイベントであるかのように思えた. そういった意味で後半の 2 年間はオンラインでの対応が多くなり, そうした体験の多くが失われてしまったことが非常に悔やまれる。しかしそうした中でもオンラインの特性を活かして研究のブレインストーミングのための会合や月例の昼食会をする等，多くの交流の機会を持つことができた.「社会デザイン」領域は今回共著の 5 名が自然言語に関す研究に携わっていたことで（ときに黒橋先生を巻き添え？にして）非常に濃密な議論をする機会を何度か持つことができたことも，他分野の研究者との交流と同様に貴重な経験であった.

3 年半の研究期間の終了, そして領域の活動終了を迎え，いろいろ当初考えていなかったことにも話を拡げながらとても充実した時間を過ごせたことに感謝している．今後も評価に関する研究は様々な形で継続するとともに, NLP2021 のワークショップ, NLP2022 のテーマセッションで拡がった研究の輪をより大きな流れに結びつけたい.

## 7 おわりに

さきがけ「社会デザイン」領域では合計 32 件の研究課題が採択され，自然言語処理分野はそのうち 5 件と多数であったが，それぞれ異なる視点で自然言語処理を基にした新しい情報基盤技術の創出を目指した研究を実施した. 本稿では本研究領域の活動の一端を示すべく, 各研究者の研究内容を経験や感想とともに紹介した．本稿が今後さきがけへの応募を目指す early career 研究者諸氏の参考となれば幸いである.

## 謝 辞

JST さきがけ JPMJPR165B， JPMJPR1655， JPMJPR1758， JPMJPR175A， JPMJPR1856 により本稿に記載の各研究の支援を受けた。領域総括の黒橋禎夫先生, 領域アドバイザーの先生方, JST 領域担当など関係諸氏に感謝したい.

## 参考文献

相原理子, 石川香, 藤田早苗, 新井紀子, 松崎拓也 (2021). コーパス統計量と読解能力値に基づいた単語の既知率の予測. 言語処理学会第 27 回年次大会発表論文集, pp. 718-722. [R. Aihara et al. (2021). Kopasu Tokeiryo to Dokkai Noryokuchi ni Motozuita Tango no Kichiritsu no Yosoku. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 718-722.].

Aoki, T., Miyazawa, A., Ishigaki, T., Goshima, K., Aoki, K., Kobayashi, I., Takamura, H., and Miyao, Y. (2018). "Generating Market Comments Referring to External Resources." In Proceedings of International Conference on Natural Language Generation (INLG) 2018, pp. 135-139.

Arai, T., Bunji, K., Todo, N., Arai, N. H., and Matsuzaki, T. (2018). "Evaluating Reading Support Systems through Reading Skill Test." In Proceedings of the 40th Annual Meeting of the Cognitive Science Society, CogSci 2018, Madison, WI, USA, July 25-28, 2018, pp. 100-105.

Arai, T., Matsuzaki, T., and Iwane, H. (2020). "Appraising Science Textbooks through Quantitative Text Analysis and Psychometric Results of Students' Reading Skills." In Proceedings of the 42th Annual Meeting of the Cognitive Science Society-Developing a Mind: Learning in Humans, Animals, and Machines, CogSci 2020, virtual, July 29-August 1, 2020, pp. 3240-3246.

Coman, A. C., Yoshino, K., Murase, Y., Nakamura, S., and Riccardi, G. (2019). "An Incremental

Turn-Taking Model For Task-Oriented Dialog Systems." In Proceedings of the 20th Annual Conference of the International Speech Communication Association (INTERSPEECH).

Hanawa, K., Nagata, R., and Inui, K. (2021). "Exploring Methods for Generating Feedback Comments for Writing Learning." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9719-9730, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

石橋陽一, 横井祥, 須藤克仁, 中村哲 (2022). 線型部分空間に基づく学習済み単語埋込空間上の集合演算. 言語処理学会第 28 回年次大会発表論文集, pp. 915-920. [Y. Ishibashi et al. (2022). Senkei Bubunkukan ni Motozuku Gakushuzumi Tango Umekomi Kukanjyo no Shugo Enzan. Proceedings of the 28th Annual Meeting for the Association for Natural Language Processing, pp. 915-920.].

Iso, H., Uehara, Y., Ishigaki, T., Noji, H., Aramaki, E., Kobayashi, I., Miyao, Y., Okazaki, N., and Takamura, H. (2019). "Learning to Select, Track, and Generate for Data-to-Text." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113. Association for Computational Linguistics.

JST 戦略研究推進部 (2016). 新しい社会システムデザインに向けた情報基盤技術の創出. 戦略的創造研究推進事業 JST AIP ネットワークラボ (ACT-I・さきがけ$\cdot$CREST) 研究提案募集のご案内 : 第 2 期募集要項, 5.2.1 節. [JST PRESTO (2016). [Social Design] Fundamental Information Technologies toward Innovative Social System Design. JST AIP Network Lab. (ACT-I, Sakigake, CREST) Kenkyu Teian Boshu no Goannai: Dai2ki Boshu Yoko, Section 5.2.1.].

勝見久央, 吉野幸一郎, 平岡拓也, 秋元康佑, 山本風人, 本浦庄太, 定政邦彦, 中村哲 (2020). 論証対話システムにおける情報探索対話戦略の最適化. 人工知能学会論文誌, 35 (1). pp. DSI-D_112, [H. Katsumi et al. (2020). Optimization of Information-Seeking Dialogue Strategy for Argumentation-Based Dialogue System. Transactions of the Japanese Society for Artificial Intelligence, 35(1), pp. DSI-D_1-12.].

村上聡一朗, 笹野遼平, 高村大也, 奥村学 (2017). 数値予報マップからの天気予報コメントの自動生成. 言語処理学会第 23 回年次大会発表論文集, pp. 1121-1124. [S. Murakami et al. (2017). Suchi Yoho Mappu kara no Tenki Yoho Komento no Jido Seisei. Proceedings of the 23rd Annual Meeting for the Association for Natural Language Processing, pp. 1121-1124.].

Nagata, R. (2019). "Toward a Task of Feedback Comment Generation for Writing Learning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3206-3215, Hong Kong, China. Association for Computational Linguistics.

Nagata, R., Kimura, M., and Hanawa, K. (2022). "Exploring the Capacity of a Large-scale Masked Language Model to Recognize Grammatical Errors." In Findings of the 60th Annual Meeting of the Association for Computational Linguistics (to appear). Association for Computational Linguistics.

Sudoh, K., Takahashi, K., and Nakamura, S. (2021). "Is This Translation Error Critical?: Classification-Based Human and Automatic Machine Translation Evaluation Focusing on Critical Errors." In Proceedings of the Workshop on Human Evaluation of NLP Systems (HumEval), pp. 46-55, Online. Association for Computational Linguistics.

須藤克仁, 小町守, 梶原智之 (2021a). NLP2021 ワークショップ：文章の評価と品質推定〜人

間・機械の「作文」の巧拙をどう見極めるか？～. 自然言語処理, 28 (3), pp. 895-900. [K.

Sudoh et al. (2021a). NLP2021 Workshop: Evaluation and Quality Estimation of Text-

How Do We Judge Human- and Machine-generated Text Good or Bad? Journal of Natural Language Processing, 28(3), pp. 895-900.].

須藤克仁, 高橋洸丞, 中村哲 (2021b). 深刻な誤訳の識別に向けた分類型翻訳評価データセット

の構築. 言語処理学会第 27 回年次大会発表論文集, pp. 1350-1355. [K. Sudoh et al. (2021b).

Shinkoku na Goyaku no Shikibetsu ni Muketa Bunruigata Honyaku Hyoka Detasetto no

Kochiku. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 1350-1355.].

Takahashi, K., Ishibashi, Y., Sudoh, K., and Nakamura, S. (2021). "Multilingual Machine Translation Evaluation Metrics Fine-tuned on Pseudo-Negative Examples for WMT 2021 Metrics Task." In Proceedings of the 6th Conference on Machine Translation, pp. 1049-1052, Online. Association for Computational Linguistics.

田中翔平, 吉野幸一郎, 須藤克仁, 中村哲 (2021). 雑談対話応答における連続する事態の一貫性と対話継続性の関係. 自然言語処理, 28 (1), pp. 26-59. [S. Tanaka et al. (2021). Relationship Between Coherence of Sequential Events and Dialogue Continuity in Conversational Response. Journal of Natural Language Processing, 28(1), pp. 26-59.].

Taniguchi, Y., Feng, Y., Takamura, H., and Okumura, M. (2019). "Generating Live Soccer-Match Commentary from Play Data." In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pp. 7096-7103.

湯口彰重, 河野誠也, 石井カルロス寿憲, 吉野幸一郎, 川西康友, 中村泰, 港隆史, 斉藤康己,美濃導彦 (2022). ぶつくさ君：自身の外界認識と内部状態を言語化するロボット．日本ロボット学会誌レター（採録決定）. [A. Yuguchi et al. (2022). Butsukusa-kun: Jishin no Gaikai Ninshiki to Naibu Jyotai wo Gengoka suru Robotto. Journal of the Robotics Society of Japan, Accepted as Letter.].

## 略歴

吉野幸一郎：2009 年慶應義塾大学環境情報学部卒業, 2011 年京都大学大学院情報学研究科修士課程修了, 2014 年同博士後期課程修了. 京都大学博士（情報学). 日本学術振興会特別研究員 (PD), 奈良先端科学技術大学院大学情報科学研究科助教等を経て, 2020 年より理化学研究所ロボティクスプロジェクト （現ガーディアンロボットプロジェクト；GRP）知識獲得・対話チームチー ムリーダー.この間, 2016 年から 2020 年にかけて科学技術振興機構さきがけ研究員. 2019 年から 2020 年にかけてハインリッヒハイネ大学客員研究員.音声言語処理および自然言語処理, 特に音声対話システム・ロボット対話システムに関する研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, 日本ロボット学会, IEEE, SIGDIAL, ACL 各会員.

高村大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了（1999 年はオーストリアウィーン工科大学にて研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)．２003 年から 2010 年まで東京工業大学精密工学研究所助教. 2006 年にはイリノイ大学にて客員研究員. 2010 年から 2016 年まで同准教授. 2017 年から 2021 年 3 月まで同教授. 2017 年から産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長. 2016 年から 2020 年にかけて科学技術振興機構さきがけ研究員を兼務.

永田亮：1999 年明治大学理工学部卒業, 2005 年三重大学大学院博士後期課程修了. 兵庫教育大学助手, 甲南大学知能情報学部講師を経て, 2012 年より甲南大学知能情報学部准教授. 2016 年より理化学研究所革新知能統合研究センター客員研究員, 2017 年より科学技術振興機構さきがけ研究者 (2021 年まで）を兼務. 言語のモデル化, 文書の自動添削, 解説文の自動生成などの研究に従事. 電子情報通信学会, 言語処理学会, ACL 各会員.

松崎拓也：2002 年東京大学工学部システム創成学科卒業. 2007 年同大大学院情報理工学系研究科にて博士号 (情報理工学) 取得. 同大学助教, 国立情報学研究所特任准教授, 名古屋大学准教授, 東京理科大学理学部准教授を経て, 2020 年より東京理科大学理学部教授. 言語処理学会, 人工知能学会, 情報処理学会各会員.

須藤克仁：2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より奈良先端科学技術大学院大学准教授, 現在に至る. 2018 年より理化学研究所革新知能統合研究センター客員研究員を兼務。機械翻訳を中心とした自然言
語処理, 音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL, ISCA 各会員.


# 第 16 回 NINJAL フォーラム「ここまで進んだ！ここまで分 かった! 多様な言語資源に基づく日本語研究」

岩崎拓也
## 1 はじめに

現在, 国立大学や国立の研究所は 6 年ごとに計画を立てて実行し，それを評価してもらうという形式で運営を行っている。国立国語研究所（以下，国語研）も同様であり，2021年度に第 3 期の最後の年を迎える。この第 3 期では，6つのプロジェクトを立て，さまざまなコーパスを構築することで日本語，日本語教育，危機言語・方言の研究にたいして，一層の厳密性，検証可能性をすすめるための調査・研究を行ってきた。今回の NINJAL フォーラムは，第 3 期の 6 つのプロジェクトに加えて，コーパス開発センターの成果を報告するためにオンライン形式で開催された。以下では，本フォーラムの概要について報告する.

## 2 フォーラムの概要

今回の NINJAL フォーラムは 7 つの講演と 15 件のポスター発表によって構成されていた。講演とポスター発表のいずれもZoom 上で行われた.

まず, 最初の講演は，理論・対照研究領域の窪薗晴夫氏と松本曜氏による「対照言語学の観点から見た日本語のプロソディーと動詞意味構造」という題目での講演であった.この講演は,前半と後半に分かれており, 前半が日本語のアクセントを英語と対照して分析・考察したもの,後半は動詞の意味構造について考察したものであった。

「強さ（強弱）アクセント」である英語における「リズム規則」と呼ばれる現象と酷似した現象が「高さ（高低）アクセント」である日本語の甑島（こしきじま）方言においても観察されること（主アクセント消去現象）を報告するものであった. これら 2 つの現象の間には， (a)別の語句が後続する場合に起こる（＝文末では起こらない），（b) 前の語の主アクセントが消える (=後ろの語が勝つ), 前の語に副次的アクセント（英語では第 2 強勢, 日本語では副次的高音調）が必要である，(d) 発話速度が遅くなると起こりにくくなるという 4 つの共通点があることを報告した。

後半では, 国語研の対照言語学プロジェクトの動詞意味構造班が行ってきた通言語的なビデ

才実験に基づく移動表現の研究の成果の一部が報告された. 移動表現の類型論では, 移動の様態と経路が単文に統合されるさいに，経路が文のどの位置で表現されるか（主動詞かそれ以外か）という観点から分析が行われてきた。そのなかで, 様態と経路が常に短文で表されるのか,経路が主動詞とそれ以外の両方で表される場合どう扱うべきかといった疑問が存在した。これらの疑問にたいして，今回の調査の結果，言語によって様態と経路が頻繁に単文に統合される言語と頻繁には行わない言語もあること，経路表示に主要部を用いるかそれ以外を用いるかは相補的ではないことが明らかになったという報告が行われた.

2 つ目の講演は, 同じく理論・対照研究領域のプラシャント・パルデシ氏と名古屋大学の長崎郁氏による「統語・意味解析コーパス (NPCMJ) から見えてきたこと〜日本語テキストにおける主語省略文と受身文の使用〜」であった。

この講演では, 第 3 期において開発したコーパス, 「NINJAL Parsed Corpus of Modern Japanese (NPCMJ $) 」$ の説明と, このコーパスを用いた分析から明らかになった一例を紹介した. NPCMJ は，統語解析情報付きコーパスであり，「現代日本語の書き言葉と話し言葉のテクストに対し文の統語・意味解析情報を付与し, 多様な日本語の機能語や句構造, 節の諸類型および複雑な構文を大量の言語データから検索・抽出」（NPCMJ ホームページの「NPCMJ とは」より引用）することができるコーパスである，青空文庫, 聖書, ブログ, 書籍, 辞書, 国会会議録, エッセイ, フィクション, 法律文, ニュース, ノンフィクション, 会話, テッドトーク, 教科書, ウィキペディアなどの多様なジャンルのテキストから，構文の種類や文法的な役割などといった統語・意味情報が付与されており，統語・意味情報を組み込んだ検索式による検索を行うことができる。今回の講演では，このNPCMJ を用いた研究例として，主語省略文，受身文にかんする研究結果が報告された。主語省略文においては書き言葉より話し言葉で出現する頻度が高いこと，翻訳テキストにおいては主語の省略が起こりにくいこと，受身文は話し言葉より書き言葉に多いことなどの実証的な結果が示された.

3 つ目の講演は, 言語変異研究領域の木部暢子氏と山田真寛氏による「消滅危機言語・方言を記録し，継承する」という講演である。講演では， 2010 年から始めた日本各地の言語・方言を記録し，継承するための活動と，「各地方言収集緊急調査」データ（文化庁が 1977〜1985 年に行った全国約 200 地点の方言談話データ）を合わせて作成された『日本語諸方言コーパス (COJADS)』の概要を紹介し, COJADS から明らかになった主語・目的語の標示の仕方の地域差について報告が行われた。また，地域言語コミュニティとの協働から「言語の継承保存」のために行っている実践研究についての紹介も行われた.

4 つ目の講演は, 言語変化研究領域の小木曽智信氏による「『日本語歴史コーパス』ができて分かったこと」であった. プロジェクトで構築した通時コーパス, 『日本語歴史コーパス』( $\mathrm{CHJ})$ についての紹介を行った. CHJには，上代（奈良時代以前）から明治・大正時代までの日本語のテキストデータが収録されており，総語数は約 1837 万語（記号類を除く）という壮大なコー

パスである. CHJは，日本語の歴史を探る上で重要なコーパスと言っても過言ではないコーパスであると言える。実際，講演では，CHJを用いた研究数が増加していること，英語での研究論文や博士論文が目立つようになってきていることが述べられていた.

5 つ目の講演は, 音声言語研究領域の小磯花絵氏による「コーパスを通して日常のことばの特徵を探る」であった，国立国語研究所がこれまでに構築してきたコーパスのなかで，日常会話を対象としたものがないことを踏まえ，今回のプロジェクトでは日常場面で自発的に生じる会話約 200 時間を収録した大規模な日常会話コーパスの構築を行ったことを紹介した. この日常会話コーパスは『日本語日常会話コーパス』(Corpus of Everyday Japanese Conversation, CEJC) といい，会話数 577 , 延べ話者数 1,675 名という非常に大規模な会話コーパスである.

講演では，CEJCの紹介に加え，研究事例として，「です」が縮約されて「っす」の形になる事例と話者の性別や年齢といった属性や相手との関係性によって変化する事例, CEJCと『昭和話し言葉コーパス』を用いた話し言葉における終助詞「わ」の経年変化の調査, CEJC と書き言葉コーパス，学会講演のような独話中心のコーパスを用いた縮約形の使用実態の調査が紹介された。

6 つ目の講演は, 日本語教育研究領域の石黒圭氏による「日本語学習者による多義語の意味推測ストラテジー」である。日本語学習者の読解力は学習者自身が有する語彙力と関係があるが, 単に既知語数が多ければ本当に文章が読めるようになるのかという疑問があった。そこで, そもそも日本語学習者がどのように文章中の語の意味を理解しているのかを母語による翻訳をとおして可視化し, 未知語の意味推測や多義語の意味特定に用いられている学習者のストラテジーがどのようなものなのか，ということを明らかにするために調査を行った．対象となる多義語は和語多義動詞, 外来語多義語, 空間・量を表す語, 固有名詞であったが，この講演では，固有名詞の分析結果を中心に紹介した。調査結果としては，固有名詞の理解には，留学の経験が非常に大きな要因となっていること, 未知語の意味推測は日本語能力との相関はなく, 内容的手がかり（当該の未知語を含む文の意味を手がかりに考えること）の使い方が巧みであること, JFL（日本国外で学ぶ日本語学習者）は構造的手がかり（当該未知語の前後の文脈を手がかりに考える）ことが堅実であることを紹介した。また，推測上手な人は，複数の手がかりを組み合わせる傾向にあることと, 自分の理解を疑い, 再解釈をする傾向にあることを報告した.

最後の講演は, 音声言語研究領域の前川喜久雄氏による「リアルタイム MRI 動画を用いた調音音声学の再構築一ワ行子音の問題一」である. 21 世紀に入って実用化されたリアルタイム MRI 動画撮像技術は, 調音音声学において現時点の理想的な研究用データである. しかし, コストが高く誰もが気軽に利用できるののではないため, 日本語の主要な調音運動を網羅したリアルタイム MRI 動画データベースを構築し，無料で公開していることを紹介した。このデー 夕の解析結果から明らかにした事例の一つとして, 日本語のワ行子音の調音を取りあげた。講演では，ワ行子音以外にも日本語にかんする従来の調音音声学的記述の修正を要するものがあ

ることを説明し，今後の研究の更なる発展についての方向性を示した.

NINJAL フォーラムでは, 上述した 7 つ講演に加えて， 15 件のポスター発表が行われた. いずれのポスターも国語研の多種多様な研究の成果を示すものであり，一見の価値があった.紙幅の都合上全てを紹介することができないため，各ポスターの内容については，国立国語研究所のホームページ https://www.ninjal.ac.jp/event/public/forum/ninjalforum016/から確認してもらいたい.

## 3 おわりに

今回の NINJAL フォーラムでは, 国語研の第 3 期の基幹研究プロジェクト「多様な言語資源に基づく総合的日本語研究の開拓」において行われたさまざまなデータベースの構築の紹介と, それを用いた研究成果の報告が主なテーマであった。講演や発表はいずれもできるだけわかりやすい形にとどまっていたが, 専門家だけでなく日本語研究を目指す学部生や大学院生にも興味を持ってもらうための配慮であったためだと思われる.

このフォーラムの終わりには, 2022 年 4 月から始まる第 4 期の統合テーマである「開かれた言語資源による日本語の実証的・応用的研究の共創（オープンデータ・オープンサイエンスに基づいた言語資源学の創成）」についての紹介と， 2023 年度より総合研究大学院大学に設置予定である大学院（博士後期課程）の説明会も併せて行われ, 今後の国語研による研究と教育活動の方向性が示された。

## 参考文献

"CEJC." https://www2.ninjal.ac.jp/conversation/cejc-monitor.html.

"CHJ." https://ccd.ninjal.ac.jp/chj/index.html.

"COJADS." https://www2.ninjal.ac.jp/cojads/index.html.

"rtMRIDB." https://rtmridb.ninjal.ac.jp/ja.

"NPCMJ." https://npcmj.ninjal.ac.jp/.

## 略歴

岩崎拓也：2020 年一橋大学大学院言語社会研究科言語社会専攻修士課程博士

後期課程修了. 博士 (学術). 現在, 人間文化研究機構人間文化研究創発センター研究員 (人文知コミュニケーター), 国立国語研究所研究系特任助教 (併任)。専門は句読法などの表記論.


# 第 13 回産業日本語研究会・シンポジウム報告

井佐原 均†

## 1 はじめに

筆者が世話人会代表を務める産業日本語研究会は，産業日本語に関する各界の専門家が研究交流を行う場を提供し，その研究・開発・普及を円滑に進めるため平成 21 年度に発足した。ここでは産業日本語を「産業・技術情報を人に理解しやすく，かつ，コンピュータ（機械）にも処理しやすく表現するための日本語」と定義した。機械翻訳をはじめとする言語処理技術を活用することを念頭において，明瞭な日本語文の作成と高品質な翻訳文の低コスト作成を目標に活動している。産業日本語研究会では産業日本語に関する研究成果や活動成果を発表・情報共有する場として，毎年, シンポジウムを一般公開形式で開催している。2010 年の第 1 回から 2019 年の第 10 回までは対面での開催であったが, コロナ禍により 2020 年の第 11 回は中止, 2021 年に第 12 回をオンラインにて開催した.

新型コロナウイルス感染症の拡大により, オンライン会議ツールや VR 技術等のデジタルツー ルの技術進歩が加速し, 遠隔での技術指導・遠隔学習が可能となってきている，企業では海外生産や国内における外国人労働者の雇用等, グローバル化が進んでいる中で，研修・技術指導など対面で行っていたコミュニケーションが，オンライン会議ツールや VR 技術等を用いたコミュニケーションへと切り替わって行くことが想定される. このような背景のもと, 産業日本語研究会では 2022 年 2 月 22 日に「グローバル化が進む中での産業日本語〜様々な日本語使用者間のコミュニケーション〜」と題して, 第 13 回産業日本語研究会・シンポジウムを開催した. シンポジウムは例年と同様，第 1 部：招待講演，第 2 部：ポスターセッション, 第 3 部：パネルディスカッションという構成である.

本稿では，このシンポジウムの概要を報告する，全容を紹介するため，個々の発表の紹介が概要となっている点，ご容赦いただきたい，講演者の方々の敬称は省略させていただいた。また，講演者の意図と異なった概要説明となっているところがあるかもしれないが，それは報告者（筆者）の責任である。なお，各講演やポスターの資料は，過去のシンポジウムのものとともに以下のページで公開しているので, ご参照されたい.

https://www.tech-jpn.jp/resources/

## 2 招待講演

招待講演では 3 名の講演者に登壇いただいた。それぞれの概要は以下のとおりである.

1. 日本語の「やさしさ」と「豊かさ」の緊張関係について（古田徹也, 東京大学, 放送大学)日本語は難しい言語なのかという問題提起から始まり, 日本語が他の言語とは異なる特徴をもつ言語であることを示した。カタカナ語をはじめとする業界用語を例示した．業界用語には負の側面があるとともにコミュニケーションにおいて正の側面もあることを示した。そこから「やさしい日本語」の必要性が見えてくる．災害時や非母語話者には必要であるし, 多様性のある社会での共通言語としての用途もある。 その一方で「やさしい日本語」が規範化されないように注意する必要がある。「難しい日本語」が必要な面もある。語彙の効率化だけを目指すのではなく, 自然言語には生ける文化遺産としての重要性もあることを認識すべきである.

言葉のやさしさを追求する方向性と, 言葉の豊かさを追求する方向性の間にはどうしても緊張関係が存在する。この緊張関係をどうにかして解くべき, ということではなくて，むしろ解くべきではないだろう。

2. 公用文をやさしくするために（岩田一成, 聖心女子大学)

難解な公用文の例をもとに，正確さと分かりやすさの関係を論じた. 公用文が難解なのは日本に限らない．行為要請系の公用文は配慮表現のために難解である場合がある．公用文が難解でなくなれば密口の問い合わせ対応が減るといったモチベーションもある.公用文のターゲットの言語能力を測ったうえで，分かりやすい文章を提示しなくてはならない.

実際の文章を示しつつ, どのような理由でどのように分かりにくくなっているかを解説した. 談話レベルの問題. 文章全体の構造, 分量の多さ, 間接的表現, 法律文の借用などがある。また，整理整頓がちゃんとできていないとか，箇条書きにすれば済むところをわざわざ文章にするなども問題である。公用文のジャンル（広義社会保障系, 情報提供系, 行為要請系) によって配慮が必要である，公用文がやさしくならない理由を解説し，やさしくするために必要な国や自治体の取り組みに触れた。文章の硬さを測定するための文名詞密度を提案している，実際の文章に適用して，有効性を実証しており，文章チェックサイトを作成した。

3. 外国人受け入れのための環境整備一コミュニケーションの観点から一（近藤彩, 昭和女子大学)

外国人材の採用とその職場の声を紹介し，コミュニケーションを再考する。研修事例の紹介と,リソースの紹介を行い，協働の職場づくりを提案する.

日本人や外国人の採用の双方においてコミュニケーション能力が重視されている。外国
人が日本語を使ってどのように働いているのか, そして環境整備のためにどのような支援や工夫が必要なのかを「Easy Japanese for Work」という番組のコンテンツを通して示した。それとともに異文化環境の職場の現実として, 日本人の側の配慮によって意思疎通がやりやすくなることを示した．当事者の意見を聞くことが大切である．

このような問題意識のもと, 異文化衝突を解決するための教材を開発した. インタビューで事例を取り上げてそれを題材にして参加者（学習者）が協働で整理，討論して疑似体験をしながら問題解決方法を導き出し, 内省を行うケース学習を行う教材であり，研修の実例を示しながら紹介した。

## 3 ポスターセッション

ポスターセッションにおいては，ポスターなどの説明資料を参加者に事前に揭示した。ポスター毎に会議室を設け, チャットによる討論・質疑を行った。各ポスターのタイトル, 講演者,概要は以下のとおりである。最初の 3 件は産業日本語研究会の分科会活動の報告であり，各分科会の主査が報告を行った。

1. 産業日本語研究会・ライティング分科会活動（佐野洋, 東京外国語大学)

昨年度に資料としてまとめた「ビジネスマンのための書き方読本」の拡張を行っている。

書き手の意思決定過程からどのような言語表現が生み出されるのかということと，「母語」である日本語への気づきに力点を置いて拡張を進めている。

2. 産業日本語研究会・文書作成支援分科会セマンティックエディタについて（橋田浩一,東京大学)

テキストで書ける任意の文章の内容を表現することができるグラフ文章を使ってテキスト文章を代替する，文章作成で用いるエデイ夕の紹介とグラフ文章がテキストよりも効率が良いことを実証により示した。

3. 産業日本語研究会 ・特許文書分科会活動（谷川英和, IRD 国際特許事務所）

「特許文書品質特性モデル」の報告として，その概要，それを用いた評価方法，評価目的・評価シチュエーション別の重要度, 各特性の事例について報告した。また, 現在作成中の「特許文書品質の教育用テキスト」についても報告した.

4. 特許ライティングマニュアル紹介（久々宇篤志, 日本特許情報機構)

分かりやすい特許明細書の作成を支援する特許ライティングマニュアルを紹介した．人に理解しやすく，コンピュータにとっても処理しやすい，具体的には翻訳しやすい文章がどういうものかを具体例を挙げて紹介したマニュアルである.

5. システム開発文書品質研究会 (ASDoQ) の活動紹介（栗田太郎，ソニー）

仕様書や設計書などシステム開発における文書あるいは利用者の読むマニュアルや取扱
説明書などの内容の検討や, それらの記述, レビュー, 参照, 活用, 品質等に関する研究, さらには開発現場における文書にまつわる課題に関する研究や情報交換を行っている.

6. 第 3 世代ニューラル翻訳技術と翻訳バンクの展開報告（隅田英一郎, 情報通信研究機構)現在のニューラル翻訳に至る機械翻訳技術の進展を解説した。ニューラル機械翻訳に必須となる対訳データを収集する枠組みとしての翻訳バンクは工学や医学といった分野から文化に至るまで幅広い対象へと拡張を続けている。

7. Japio 世界特許情報全文検索サービスおよび AI 翻訳サービスの紹介（佐藤仁思, 中川高広，日本特許情報機構）

日本特許情報機構 (Japio) が提供している検索サービスと翻訳サービスを紹介する。 AI 翻訳を海外特許出願の翻訳に使いたいというユーザの希望に沿って，テキスト入力翻訳に特化した新たな $\mathrm{AI}$ 翻訳システムを提供する。

## 4 パネルディスカッション

筆者がモデレータを務め, 以下の 3 人のパネリストによる講演と討論を行った.

1. 読み書きの支援／診断技術と読み書き（乾健太郎，東北大学, 理化学研究所） ライティングの技術的な支援, 診断について紹介する，AIによる知的支援，知的な執筆の支援は $\mathrm{AI}$ 分野で今関心を集めている。機械翻訳は他言語への翻訳だが，間違った文から正しい文へ，下手な文からきれいな文への翻訳ができる。これによって書き手に示唆を与えることができる。さらに書き換えの理由を説明する研究も行っている。人間と機械が共同で執筆する（文の自動補完）も可能となろう。執筆への影響を評価することも必要である.

2.「母語である日本語」の再発見（森篤嗣，京都外国語大学）

人間が理解しやすく機械が処理しやすい日本語を学校教育でどのように扱っていくかという観点から，国語科における「人間が理解しやすい日本語への取り組み」を紹介した。 ヨーロッパでの複言語主義・多言語主義に対して, 日本の二重の単一言語主義を論じた.翻訳の実例の紹介から，日本語から日本語への書き換えを通しての「日本語の再発見」について述べた，技術の進展と人間の熟練ユーザ化によって，技術と日本語母語話者が成長できる.

3. 非流暢かつ自然に話すヒト, そして機械（定延利之, 京都大学)

実施中の流暢性に関するプロジェクトについて紹介した。母語話者の発話も基本は非流暢である（ただし規則性はある）という観点から実例を紹介した．実際の発話から非流暢な要素を消去し，流暢な発話になることを示した。非流暢性を発話に混ぜることによってコミュニカティブな発話になることを示した。日本語学習者が非流暢なまま母語話者
流の非流暢になっていくことの可能性を述べた. これは合成音声の発話にも有効である. 3 人のパネリストの講演に続けて，モデレータから各パネリストへの質問，パネリスト間の議論，参加者からの質問と進んだ。モデレータからは支援ツールによる制御のし過ぎの可能性,学習（授業）の効果の検証（評価）の手法, 母語話者と被母語話者の流暢さの違いについて質問した。パネリスト間では，機械とのミスコミュニケーションの教育現場での有効性についての質問から意見交換が広がっていった，参加者からは，機械処理しやすい日本語が技術の進展によって変わっていくことと学校教育との関わり, 言語学的解釈と機械翻訳の発展, ネイティブの非流暢さを非ネイティブが模倣することのコミュニケーションに与える影響，人間が技術に歩み寄り機械が人間らしくなること，英語で開発された技術の日本語への適用可能性などについての質問が寄せられ，各パネリストが丁寧に回答していた.

それぞれのバックグラウンドは異なっていた 3 人のパネリストであったが，講演と質疑を通して，共通の話題として議論できる部分が多々あることが実感できた。

## 5 おわりに

第 13 回産業日本語研究会・シンポジウムは第 12 回に引き続きオンライン開催となった. 対面での開催が望ましく, 特にポスターセッションではオンラインでは難しい面もあった。しかしながら，今回のシンポジウムは過去最多の申込があり，オンラインであれば参加できるという方々も一定数いらっしゃったと思われる。第 10 回までの現地開催では参加していただけず，産業日本語についての情報提供ができなかった方々にも参加していただけたと考えるなら，むしろオンラインの利点を活用しつつ, 次回以降のシンポジウムを開催してゆきたい.


# 『日本語話題別コーパス：J-TOCC』と『話題別日本語語彙表』

中俣 尚己 $\dagger \cdot$ 加藤 恵梨 $\dagger \dagger \cdot$ 堀内 仁䖝 $\cdot$ 山本 和英 ${ }^{+1 \dagger \dagger}$

## 1 はじめに

日本語を母語としない人たちに日本語を教える日本語教育の世界では, 英語教育などの影響もあり，CBI (Content Based Instruction: 内容中心の教授法) や CLIL (Content-Language Integrated Learning: 内容と言語の統合的学習）といった学習法が取り入れられることが多くなってきた。これらは内容志向型教授法 (石川 2017) と呼ばれる。言語だを学習対象にするのではなく，他の教科や国際問題など様々なトピックを通して外国語を学ぶという方式である.

また, 初級日本語の教科書も従来は「第 18 課では「〜ことができます」を勉強し, 第 19 課では「〜たことがあります」を学ぶ」といった「文型積み上げ式」と呼ばれるものが主流であったが，近年は「第 7 課では「町」，第 8 課では「買い物」を学ぶ」というように「トピックシラバス」を採用した教科書も現れている.

このように，日本語教育では「内容」「トピック」に焦点が当てられることが増えてきているが，もちろん個々のトピックを通して「語彙」「文法」といった言語的な学習内容を学ぶことが肝要である。そのため, どのような話題にどのような語彙・文法が必要になるかといった情報を大規模データに基づいて調べることは教材開発において非常に重要なデータとなる。また,仮に文型積み上げ式の教材であっても，会話練習には話題は不可欠であるため，話題と語彙・文法の関係はやはり非常に重要なデータとなる.

そこで筆者らは JSPS 科研費 18 H00676 の助成を受け,「話題が語彙・文法・談話ストラテジー に与える影響の解明」（研究代表者：中俣尚己）というプロジェクトで話題別の会話コーパスの構築を進めた。その結果, 『日本語話題別会話コーパス：J-TOCC』と『話題別日本語語彙表』 という 2 つの成果物を完成させた。その公開を記念し， 2022 年 3 月 20 日に「話題とコーパスと日本語教育」と題してオンラインでのシンポジウムを行った。この論文では, シンポジウムで発表された成果物の解説やそれを利用した研究，今後の展望について報告する.

## 2 話題とは

ここで，本プロジェクトが扱う「話題」の範囲について明らかにしておきたい，言語学の文脈においても，話題，すなわち話されている内容についての研究はあまり広く行われているとはいえない. 話題に関して盛んな研究分野の一つは「話題転換」の研究であり，会話で話題が変わる時に人間が発している様々なサインに注目した研究である。ここでいう話題は「Aさんが茶道部に初めて見学に行った時の出来事」や「Bさんがどのサークルに入るか迷っている話」 のように，個別的な研究である.

一方で,「初対面場面においてどのような話題が選択されるか」という観点からの「話題選択」 の研究も存在する (三牧 (1999) など)。この観点では上記の $\mathrm{A}$ さんと B さんの話題は「サー クル活動」という形でまとめられることが望ましい。この 2 人は初対面でどちらも似たような話題を選んだということが重要だからである。

しかしながら, 日本語教育の教材開発を考えた場合,一つの教材で扱える話題数がせいぜい 10２２程度であることを考えると，例えば「サークル活動」「授業」「大学の行事」などを「大学」などのようにもう少し大きなカテゴリーにまとめることが望ましい. 三牧 (1999)も「話題領域」としてこのレベルのカテゴリーを設けている。 また, 本研究の出発点となった山内 $(2013)$ は 15,000 語を「食」「住」など 100 の話題に分類したリストとなっている. 本プロジェクトではこのように大きなカテゴリーとして「話題」を扱う.

## 3 『日本語話題別会話コーパス：J-TOCC』

プロジェクトでは 2 つの成果物の構築を行った. その一つが『日本語話題別会話コーパス： J-TOCC』である. Japanese Topic-Oriented Conversation Corpus の略で,「ジェイトック」と読む. 15 の話題を選定し, 大学生のペアに各話題について 5 分ずつ話してもらったものを録音,文字化した。その最大の特徴は話題以外の条件が統制されていることにある。話題は表 1 に示した通り, 身の回りの話題が 11 , 社会に関わる話題が 4 である. 1 つの話題につき 120 ぺア, 合計 10 時間の会話が収められている。語数は記号を除くと述べ語数ではおよそ 165 万語, 異なり語数ではおよそ 4 万語である。話題による差は大きくなく, 1 話題あたりおよそ延べ語数は 11 万語, 異なり語数は 6 千語程度となっている。ペアは様々な話題について話せるよう, 仲の良い関係どうしに限定し，性別の組み合わせや録音地の東西でバランスをとった。また，話者がそれぞれの話題についてどのぐらい詳しいかという「話題精通度」についても 5 段階で尋ね，付属データとして添付している。テキストファイルのみの構成でウェブ上で配布している。コー パスの詳細は中俣他 (2021a)を参照されたい.

## 4 『話題別日本語語彙表』

もう一つの成果物が『話題別日本語語彙表』である. これを作成するために，まず既存の自然会話コーパスである『名大会話コーパス』（藤村他 2011）を利用した. 『名大会話コーパス』 は 2001 年から 2003 年にかけて録音されたおよそ 100 時間分の自然会話コーパスで，日本語学や日本語教育学ではよく利用されるコーパスである。延べ語数は約 112 万語, 異なり語数は約 3 万語である.

このコーパスを人手で話題ごとのサブコーパスに分割する作業を行った．話題については山内 $(2013)$ を参考に 105 のタグセットを用意し，実際には 97 種類の話題に分割した．名大会話コーパスのどの行がどの話題に対応するかというデータについては『自然会話コーパス話題アノテーション情報』として，言語資源協会で配布している1.

その後, コーパス全体での頻度が 10 以上の 3,324 単語について, 各サブコーパスにおける特徵度を LLR(対数尤度比) で示した Excel ファイルをウェブで公開している。詳しくは中俣他 (2021b)を参照されたいが，本デー夕は「ある話題でよく使われる語を探す」「ある語がよく使われる話題を探す」という 2 つの方向で活用できる, 日本語教育における基礎的デー夕である. 3,324 語のうち, $74 \%$ が何らかの話題において特徴語と判定された. 品詞により違いがあり, 副詞では $43 \%$ のみが特徴語となるが, 形容詞では $82 \%$ が特徴語となる. 助動詞も半数以上が特徴語となる.いくつかの話題についてのデータを表 2 に示す.

表 $1 \mathrm{~J}-$ TOCC 話題

表 2 話題ごとの基礎統計量
^{1}$ https://www.gsk.or.jp/catalog/gsk2020-b/
}

## 5 シンポジウム「話題とコーパスと日本語教育」

この 2 つの成果物の完成を記念して, 2022 年 3 月 20 日に公開シンポジウム「話題とコーパスと日本語教育」を開催し, この 2 つの成果物を利用した研究発表や今後の展望についての講演を行った．まず，代表者である筆頭著者からプロジェクトと 2 つの成果物についての説明を行った後，2つの会場で科研メンバーによる口頭発表が 5 つずつ行われた.

A 会場では，まず，「話題・地域の異なりからみた自問発話」（小西円）において，J-TOCC のうち, 話者の話題精通度が最大である「01 食べること」と最小である「15 日本の未来」を調査対象とし, そこに現れる自問発話を話題・地域の異なりから分析した結果が報告された. 話題別にみると，「15 日本の未来」のほうが自問発話の出現が多いこと，また，地域別にみると，どちらの話題でも東日本のほうが自問発話の出現が少し多いこと, 西日本では「何たった系」が出現すること等が明らかにされた。

「大学生の自然会話にみられる「まあ」一話題による使用の特徴に着目して一」(加藤恵梨) では，誰がどのような話題で感動詞「まあ」をよく使うのかを，J-TOCC の「01 食べること」 $\lceil 07$ 学校」「15 日本の未来」を調査対象として分析した結果が報告された. 最も使用が多いのは「15日本の未来」で, 次に「 07 学校」,「01 食べること」であった。男女別では, 男性のほうが多く用いていた。また，「15日本の未来」では考えながら発言する際に多く用いられ，「07学校」では言いづらいことを述べる際に多く用いられることが報告された.

「大学生の雑談におけるオノマトぺの使用傾向一話題・地域・男女」(太田陽子) では, J-TOCC のデータを形態素解析した語彙表をもとに, 話題・地域・性別によるオノマトぺの使用傾向が報告された．使用が多かった話題は「10 動物」「06 家事」「13 マナー」「05 マンガ・ゲーム」「04 スポーツ」であり，親しい関係の雑談でも社会的な話題ではオノマトペの使用は減少すること，地域については関西のほうが使用頻度が高いこと，性別では女性のほうが多用していることが報告された。

「話題と無助詞現象の関わりについて」(清水由貴子) では, J-TOCC を形態素解析し, 品詞情報を付与したデータから, 「名詞 $\varphi$ 動詞」「名詞 $\varphi$ 形容詞」の件数を出した結果, 「こと $\varphi$ ある」「こと $\varphi$ ない」が圧倒的に多く使用されていることを示された。また, 話題別では $\Gamma 01$ 食べること」「05 マンガ・ゲーム」「09 アルバイト」は助詞なしパターンが多く出てくるのに対し, $「 14$ 住環境」「15 日本の未来」は助詞があるパターンが多いこと等が明らかになった.

「話題と話題提示形式の関係」(澤田浩子) では, J-TOCC の話題ごとの対数尤度比デー夕をもとに，提題形式についての分析が行われた. その結果,「は」は「06 家事」「12 夢・将来設計」「14 住環境」で多用され，対比の「は」は網羅性・包摂関係を意識して展開させたくなる話題で多く使われること，「も」は「14 住環境」「15 日本の未来」で多用され，類同の「も」と取り立ての「も」は比較検討される複数の項目が活性化される話題で多く使われること等が報告された.
一方，B 会場では，まず「話題精通度と言語表現の出現傾向の関係：夕形を例として」(森篤嗣）において，J-TOCC の 15 話題に対する 5 段階評価の話題精通度，その男女差，各話者の発語数との相関，言語表現の出現傾向との関係に関する調査結果に続き，主節末肯定形の夕形述語の出現数との関係に関する調査結果が報告された。話題によって「た」と話題精通度の相関に違いが見られたり，「た」をめぐる理論的主張「体験の文法」(定延 2016) や「情報のアクセスポイント」(定延 2001) などを検証・観察できた.

「話題と統語的複雑さ」（堀内仁）では, 名大会話コーパスの話題分割データに基づき, 第二言語の習熟度や言語発達の指標となる統語的複雑さと話題との関係に関する調査結果が報告された. 文長や節の埋め込みの深さとして測定された統語的複雑さの高い話題は〈社会〉に関するもの，そうでない話題は〈日常生活〉〈身の回り〉に関するもので，前者は特に通時的・超時的な内容と結びつきやすく聞き手と共有する情報が少ないのでそれを補うために複雑な形式が用いられると説明された。

「日本語教材における「話題」の偏り」（橋本直幸）では, 山内 (2013)の話題分類を基に開発された「日本語教科書読み物データベース2」を用いて，1990 年から 2019 年までに出版された読み物の話題について年代別，レベル別に数量調査の結果が報告された。年代別には異なる変化傾向を示す 4 つの話題グループが，レベル別には初級は日常生活，中級はコミュニケーション，上級は社会に関する話題が顕著であるが， 2 レベル・3レベルに共通のものも示された。また, 山内 $(2013)$ との比較のため話題の難易度を設定したところ, レベル別分析と難易度が共通するもの，異なるもの，すべてのレベルで扱われるものが確認された。

「類義語分析に「話題」は使える」(建石始) では, 建石 (2018) で提案された従来の類義語分析のポイントに新たに「話題」を加え，その分析ツールとして話題別日本語語彙表を使い,「会う・出会う」「あげる・くれる・もらう」「先生・教師」「生む・生まれる」「恐ろしい・怖い」「素晴らしい・素敵」「怒る・叱る」等が出現する話題の違いを示した. また, 同語彙表が類義語分析だけではなく，「捨てる・拾う」「太る・瘦せる」等の反義語分析にも使えることを示した.

「J-TOCC と話題別日本語語彙表を中級レベルの日本語授業にどう活かすか」(小口悠紀子) では, J-TOCC と話題別日本語語彙表を実際にタスクベースの日本語指導に用いた実践例が報告された。夕スクベースの言語指導を行うため, ニーズ調查に基づき話題を決定し, 対応するターゲット形式の語彙・文型を決めたり，ターゲット形式が使われる真正性が高いメインタスクを考案する際, 語彙表を用いてある話題に特徴的な実質語・機能語を割り出し，ヒントとしたこと，J-TOCC を用いてその話題で実際に行われた真正性のある会話例を調べたことなどが示された.

最後に, 2 つの基調講演が行われた.
^{2}$ https://opac.jp.net/Opac/search.htm?s=-oDweME36ExwrOmGKNkV41okBHd
}
石川慎一郎氏の講演「コーパス研究におけるジャンル・トピック・シチュエーション・タスク」では, 表題の 4 つの専門用語が指す内容に摇れが見られる現状を踏まえたうえでJ-TOCC がどのようなコーパスであるか再確認が行われた。その後, 「09 アルバイト」の話題の中でもやはり地域差や男女差が見られること, しかし, 話題が統制されているからこそ, 逆にその違いを証明するタイプの活用法があることが指摘された。

山内博之氏の講演「話題を制する者は日本語教育を制す」では代表的な教科書『みんなの日本語』において, 動詞をトピックごとに提示する配列や, OPI (Oral Proficiency Interview) と呼ばれる口頭能力テストにおいて話題ごとにレベルチェックのためのタスク作成する方法が具体的に提案された.

その後, 2 名の講師と筆頭著者の間で「話題」の定義や成果物の意義についての議論が展開された。

## 6 おわりに

『J-TOCC』と『日本語話題別語彙表』はどちらも日本語教育への貢献を目的に作成した言語資源であるが，それ以外にも様々に利活用できる。特に J-TOCC は 2010 年代の若者によるリアルな会話を様々な話題について一定数収録しているという点にも価値がある。また, 話題と時間が統制されているということで, 却ってそれ以外の要因である性差や地域差を正確に計量することができる初のコーパスということもできる. ぜひ多くの研究者, 開発者に利用して頂きたい.

今後はさらに日本語教育の実践者に利用しやすい形で，上記の言語資料を基に語と話題の関係を検索，閲覧できるサイトの構築を新たに進めていくことを計画している．上級の日本語では「生教材」と呼ばれる現実の文書を教材とすることが多いが，この手法はその教材に出現した語のみが学習対象となる。たまたま出現しなかったが, その話題と関連の深い語を提示できれば，授業準備の助けになると思われる。そのようなサイト構築には，上級日本語でよく扱われる話題のデータをさらに拡充する必要もあると考えられ, J-TOCC さらに拡大することも計画している。

## 謝 辞

本研究は JSPS 科研費 $18 \mathrm{H} 00676$ の助成を受けた.

## 参考文献

藤村逸子・大曽美恵子・大島ディヴイッド義和 (2011). 会話コーパスの構築によるコミュニケーョン研究. 藤村逸子・滝沢直宏 (編). 言語研究の技法 : デー夕の収集と分析, pp. 43-72,ひつじ書房. [I. Fujimura et al. (2011). Kaiwa Kopasu no Kochiku niyoru Komyunikeshon Kenkyu. I. Fujimura and N. Takizawa (Eds.), Gengo Kenkyu no Giho: Deta no Shushu to Bunseki, pp. 43-72, Hitsuji Shobo.]

橋本直幸 (2019). 日本語教科書読み物データベース. https://opac.jp.net/Opac/search.htm? s=-oDweME36ExwrOmGKNkV41okBHd. [N. Hashimoto (2019). Nihongo Kyokasho Yomimono Detabesu. https://opac.jp.net/Opac/search.htm?s=-oDweME36ExwrOmGKNkV41okBHd]石川慎一郎 (2017). ベーシック応用言語学. ひつじ書房. [S. Ishikawa (2017). A Basic Guide to Applied Linguistics. Hitsuji Shobo.]

三牧陽子 (1999). 初対面会話における話題選択スキーマとストラテジー一大学生会話の分析一.日本語教育, 103, pp. 49-58. [Y. Mimaki (1999). Shotaimen Kaiwa niokeru Wadai Sentaku Sukima to Sutorateji: Daigakusei Kaiwa no Bunseki. Journal of Japanese Language Teaching, 103, pp. 49-58.]

中俣尚己 (2020). GSK2020-B 自然会話コーパス話題アノテーション情報. https://www.gsk.or . jp/catalog/gsk2020-b/. [N. Nakamata (2020). GSK2020-B Shizen Kaiwa Kopasu Wadai Anoteshon Joho. https://www.gsk.or.jp/catalog/gsk2020-b/]

中俣尚己 $\cdot$ 太田陽子 $\cdot$ 加藤恵梨 ・澤田浩子 - 清水由貴子 - 森篤嗣 $(2021 \mathrm{a})$. 『日本語話題別会話コーパス : J-TOCC』. 計量国語学, 33(1), pp. 205-213. [N. Nakamata et al. (2021a). J-TOCC: Japanese Topic-Oriented Conversation Corpus. Mathematical Linguistics, 33(1), pp. 205-213.]

中俣尚己 - 小口悠紀子・小西円・建石始・堀内仁 (2021b). 自然会話コーパスを基にした『話題別

日本語語彙表』. 計量国語学, 33(3), pp. 194-204. [N. Nakamata et al. (2021b). Compilation

of "Topic-Vocabulary Table for Japanese Language Education" from a Corpus of Natural Conversation. Mathematical Linguistics, 33(3), pp. 194-204.]

定延利之 (2001). 情報のアクセスポイント. 言語, 30 (13), pp. 64-70. [T. Sadanobu (2001). Joho no Akusesu Pointo. Gengo, 30(13), pp. 64-70.]定延利之 (2008). 煩悩の文法：体験を語りたがる人びとの欲望が日本語の文法システムをゆさぶる話. ちくま新書［定延利之 (2016) 増補版, 凡人社] . [T. Sadanobu (2008). Bonno no Bunpo: Taiken wo Kataritagaru Hitobito no Yokubo ga Nihongo no Bunpo Sisutemu wo Yusaburu Hanashi. Chikuma Shinsho. [T. Sadanobu (2016). Enlarged edition, Bonjinsha.]]建石始 (2018). 類義語分析のためのチェックリスト. 岩田一成編 (2018). 語から始まる教材作り,
pp. 45-58. くろしお出版, [H. Tateishi (2018). Ruigigo Bunseki no tameno Chekku Risuto.

K. Iwata (Ed.), Go kara Hajimaru Kyozaizukuri, pp. 45-58. Kuroshio Shuppan.]

山内博之 (編)(2013). 実践日本語教育スタンダード. ひつじ書房. [H. Yamauchi (Ed.) (2013).

Jissen Nihongo Kyoiku Sutandado. Hitsuji Shobo.]

## 略歴

中俣尚己：2009 年大阪府立大学大学院人間社会学研究科博士後期課程修了.博士（言語文化学)。2009 年京都外国語大学, 2011 年実践女子大学, 2012 年京都教育大学を経て 2022 年より大阪大学国際教育交流センター准教授. コー パスを利用した日本語研究とその成果の日本語教育への応用に取り組む。言語処理学会会員.

加藤恵梨：2009 年名古屋大学大学院国際言語文化研究科博士後期課程修了.博士 (文学)。2015 年朝日大学, 2018 年大手前大学を経て, 2022 年より愛知教育大学教育学部准教授. 現代日本語の意味に関する研究に取り組む.

堀内仁：2006 年テキサス大学オースティン校言語学科博士課程修了. 博士 (言語学)。2005 年ジョージワシントン大学講師, 2006 年ブラウン大学客員助教授を経て，2009 年より国際教養大学専門職大学院（日本語教育実践領域）助教, 2012 年より同大学院准教授. 日本語教育と言語学を背景に, 特に近年コーパスを用いた日本語教育文法研究・第二言語習得研究に取り組む.

山本和英：1996 年豊橋技術科学大学大学院工学研究科博士後期課程システム情報工学専攻修了. 博士 (工学). 1996 年国際電気通信基礎技術研究所 (ATR)研究員, 2002 年長岡技術科学大学教員, 2020 年より個人事業者 (言語商会) として自然言語処理の技術支援を行う. 言語処理学会会員.