# 上場会社開示資料の日英対訳コーパスの自動生成に関する検討

土井惟成大西恒彰命苫昭平高頭俊
株式会社 日本取引所グループ
\{n-doi, n-onishi, s-meitoma, s-takato\}@jpx.co.jp

## 1 はじめに

東京証券取引所 (以下，東証) における海外投資家のプレゼンスは年々高まっている。東証が公表している株式分布状況調査 [1] によると, 2019 年度における日本の上場会社の株式に対する外国法人の保有比率 (時価総額に対する金額ベース) は約 $30 \%$ に及んでいる。しかしながら, 2018 年に TDnet ${ }^{1}$ で開示された，適時開示資料をはじめとする上場会社開示資料 (以下，開示資料) において，英語による開示資料の占める割合は約 11 \%に留まっている.

このような状況を踏まえ，海外投資家による開示資料の利便性を改善するための手段として，機械翻訳の活用が考えられる [2]. ニューラル機械翻訳モデル [3] (以下, NMT モデル) による機械翻訳は, 従来の機械翻訳モデルより翻訳精度が高いことで知られている。一方で, 専門用語の多い特定分野の文を対象にすると, 汎用的な NMT モデルでは翻訳精度が低くなる傾向にある [4]. また, NMT モデルの学習は対訳コーパスを用いて行われるため，対訳コー パスの規模や品質が翻訳精度に影響を与えることが知られている [5].

本研究では, 2019 年に TDnetで開示された, PDF 形式の開示資料を対象に，約 23 万文対の日英対訳コーパス (東証適時開示対訳コーパス: ParaTDC)を機械的に生成した. その後, ParaTDC の有用性の評価のため, 汎用的な NMT モデルを対象に本コーパスを用いて追加学習を行うことでカスタム翻訳モデル2)を作成し, その翻訳精度を評価した。実験の結果，日英の文の類似度で閾値を設けた対訳コーパスを用いた追加学習によって, 追加学習前と比較して BLEU スコア [6] の上昇が確認できた。

## 2 関連研究

本研究に関連する研究として, (1) 開示資料の一つである CG 報告書を対象としたカスタム翻訳モデルの検討に関する研究 [7], (2) 開示資料を対象とした人手による日英対訳コーパス (TDDC) の作成に関する研究 [8], (3) Web サイトのクロールで収集した HTML ファイルを対象とした日英対訳コーパス (JParaCrawl)の自動生成に関する研究 [9]がある．以下では，これらについてそ抽紹介する。

(1) の研究では, 160 社の日英の CG 報告書を対象に，約 4 万文対の対訳コーパスを人手で作成し，力スタム翻訳モデルを評価した。本研究と (1)の主な差異は, (1)の対象とする開示資料が限定的である点と, 作成手法が人手である点の 2 点が挙げられる.

(2) の研究では, 2016 年 1 月から 2018 年 6 月までの 2.5 年間に TDnet で開示された PDF 形式の開示資料を対象に，人手によって約 140 万文対の日英対訳コーパス (TDDC) を作成した。本研究と (2) の主な差異は, (2) の対象とする文書の開示期間と, 作成手法が人手である点の 2 点が挙げられる.

(3) の研究では, Webクロールで収集した HTML ファイルを対象に，機械的な手法で作成された，約 1,000 万文対の日英対訳コーパス (JParaCrawl)を作成した. ParaTDC と JParaCrawl は, 大量の日英の文書から自動的に作成した日英対訳コーパスという点で共通している。一方で, 本研究と (3) の主な差異は, (3) の対象とする文書が HTML ファイルである点と,文単位のアライメント手法に内製の NMT モデルを用いている点の 2 点が挙げられる.

## 3 対訳コーパス生成の流れ

2019 年における TDnet の開示資料の件数は約 10.3 万件であり，その内，日本語は 9.2 万件，英語は約 1.1 万件である. 本研究では, これらの開示資料を源泉として以下の各節に述べる処理を実行した。

## 3.1 暗号化・画像化された PDF の除外

PDF ファイルからのテキスト抽出を防ぐ方法として，コピー禁止の設定，パスワードや電子署名による PDF 文書の暗号化, テキストの画像化が挙げられる. 手書き文字認識等の技術を用いることで，これらの処理が施されている PDFファイルからのテキスト抽出が可能ではあるものの, その精度は必ずしも高いとは限らない, そのため, 本研究では, これらの処理が施されている PDFファイルは，コーパスの源泉データの対象から除外した。

## 3.2 日英の文書のアライメント

対訳コーパスの源泉となる開示資料に対して，文書単位での日英のアライメントを実施した. TDnet の開示資料には, PDF 形式の開示資料本体とは別に, 開示日時やタイトル等のメタデータが存在する.このメタデータから, 開示資料の言語 (日英) は判別できるが，日英の対応関係が含まれていないため, 別途の手段による日英の文書のアライメントが必要となる。また, 英語の開示資料は, 必ずしも対応する日本語の開示資料と同日に開示されるとは限らず，日本語より遅延して開示されることがある.本研究では，まず，英語の各開示資料に対して， 2019 年 1 月 1 日から各開示日までに，その銘柄コー ドの上場会社が開示した全ての日本語の開示資料を出力した. その後, 日英のタイトルの分散表現を算出し, 英語の開示資料のべクトルとのコサイン類似度が最大となる日本語の開示資料を探索することで，文書のアライメントを実現した。この時，テキストの分散表現の算出に TensorFlow の Embedding メソッド3を使用し，分散表現のモデルには， TensorFlow $の$ universal-sentence-encoder-multilingual ${ }^{4}$ ) を使用した。

## 3.3 PDF テキスト抽出

PDF ファイルには，セクション，見出し，表，段落などの論理的な構造を追加するための夕グを付与することが可能であり，このような夕グが付与された PDF ファイルをタグ付きPDF と呼ぶ。しかしながら，開示資料における夕グ付きPDF の割合は一定程度に留まっており (2018 年の開示資料では $28 \%$ 程

度)，また，夕グ付き PDFであっても，必ずしも全てのタグが適切に付与されているとは限らない.

そこで，本研究では，PDF形式の開示資料からのテキスト抽出には，文書中の各文字の座標情報等を踏まえて，一連のテキスト (以下，テキストボックス) を抽出することが可能なソフトウェアを利用し, テキストボックス単位でテキストを抽出した。具体的には，PDF ファイル中の文字について，文字間隔が閾値以下同士の文字は，同一の行に含まれる一連のテキスト (以下，テキストライン)に属すと見なし，行間隔が閾値以下同士のテキストライン同士は同一のテキストボックスに属すと見なしている.このような処理を有するソフトウェアとして， PDFMiner[10] が知られている. なお, 本処理では,文書中の 1 パラグラフが 1 つのテキストボックスとして抽出されるため，1つのテキストボックスに 2 文以上が含まれることがある.

## 3.4 正規化処理

開示資料から抽出したテキストを対象に，以下をはじめとする正規化処理を実行した。

特定文字の置換長音記号や全角チルダをはじめとする一部の記号文字を，類似する形状の記号文字に置換した。また，CJK 部首補助や CJK 互換漢字は後述する NFKC 正規化によって正規化されないことから，本処理においてそれぞれ対応する CJK 統合漢字へ置換した。

Unicode 正規化丸数字 $(U+2460-U+2473), 2$ 点リーダ (U+2025)，3 点リーダ (U+2026)を除く文字を対象に，NFKC[11]による Unicode 正規化を実行した。これにより，全角英数字を半角に変換したほか，康熙部首を CJK 統合漢字に変換した。康熙部首とは，部首を表す漢字の一種であり，一部の PDF 変換ソフトウェアにおいて, CJK 統合漢字で入力した文字が PDF ファイルでは康熙部首に変換されることが知られている [12].

制御文字等の削除制御文字に相当する文字等を削除する目的で, Unicode character property $の$ General Category[13] が Cc，Cf，Cn，Coの文字を削除した.

余分なスペースの削除以下の処理を行うことで，余分なスペースを削除した。

・文頭及び文末のスペースを削除

・連続するスペースを 1 つのスペースに置換

$\cdot$「平仮名, 片仮名, CJK 統合漢字, 全角記号」の間のスペースを削除

-「平仮名, 片仮名」と「半角濁点 (U+FF9E), 半角半濁点 (U+FF9F)」の間のスペースを削除し， NFKC 正規化を実行

## 3.5 日英の文のアライメント

アライメントされた日英の文書ごとに，日英の文のアライメントを行った。本処理では，まず，和文と英文のそれぞれに対して分散表現を算出した。この時使用したモデルは，3.2 節における夕イトルの分散表現の算出に使用したモデルと同様である.この時, 日本語側の文については, 日本語の文字を含まない文 (平仮名, 片仮名, $\mathrm{CJK}$ 統合漢字のいずれも含まない文) は処理の対象から除外した. その後,英文ごとに, 英文のベクトルとのコサイン類似度が最大となる和文のベクトルを探索し，それを対訳文として選定した。

この時, 文書全体での類似度の組み合わせの最適化等は行っていない。 そのため, 文書中に複数出現する同一の和文に対して異なる英文がアライメントされることや，英文がアライメントされない和文が生じることがある.

また，本処理の実行に際しては，計算コスト上の理由から, 1 文書当たり 10 分を処理時間の上限として設け，それ以降の処理を中断した。

## 4 ParaTDC の概要

本研究では, 3 章の処理を通じて, 2019 年の開示資料を源泉とした，約 23 万文対の日英対訳コーパスである ParaTDC を生成した，ParaTDCにおける対訳数や平均文字列長等の詳細を表 1 に示し, 英文における単語数の分布を図 1 に示す。

TDDC が 2.5 年分の開示資料を源泉とした 140 万文対の対訳コーパスであることを踏まえると， ParaTDC は開示資料 1 年分当たりの対訳数が比較的少ないと言える. この理由としては, 3.3 節の PDF テキスト抽出において， 1 行中に複数の文を含むことを許容していること，また， 3.4 節の文アライメントにおいて, 10 分以上の処理を途中で中断していることが考えられる。

また, ParaTDC は, 日英の対訳に加え, 源泉の開示資料の ID，開示日時，発行体の銘柄コード， 3.4 節で算出したコサイン類似度 (以下，スコア) で構成されている，スコアは必ずしも翻訳の正確性を表しているとは限らないものの, 対訳コーパスからの) イズ除去において有用性が期待される。表 1 ParaTDC の統計情報. 括弧内の数値は全対訳数に占

図 1 ParaTDC の英文における単語数の分布

## 5 実験

ParaTDC の有用性を検証するため，ParaTDC と TDDC (2016 年及び 2017 年の開示資料) のそれぞれを用いてカスタム翻訳モデルを作成し，同一のテストデータを用いて翻訳精度の向上を検証する。 5.1 節では本実験の実験設定について述べ，5.2 節では実験結果と考察について述べる。

## 5.1 実験設定

本実験では，汎用的な NMT モデルに追加学習を行うことでカスタム翻訳モデルを作成するサービスとして, Microsoft が提供する Custom Translator ${ }^{5}$ を利用した。また，翻訳精度の評価指標として BLEU スコアを採択した。

ParaTDC を用いた追加学習では，Devには訓練データからランダムに選出した $5 \%$ 程度の対訳 (上限 2,500 文対)，Test には TDDC で提供している，2018 年 1 月から同年 6 月の開示資料から作成した 3,277 文対を用いた，TDDCを用いた追加学習では，Train には 2016 年と 2017 年の開示資料から作成した対訳コーパス,Devには 2018 年 1 月から同年 6 月の開示資料から作成した 3,967 文対, Testには ParaTDC と同一の 3,277 文対を用いた。この時, Dev と Test は,作成元の開示資料がそれぞれ異なることを確認している. なお, Custom Translator の仕様として, 英単

表 2 実験結果. 閾値を設けている場合，スコアが閾値未満の対訳を元の対訳コーパスから除外していることを意味する。

語数が 100 個以上の対訳や，和文が 2,000 文字以上の対訳は自動的に削除される [14].

ParaTDC 及び TDDC には重複する対訳が含まれており, 追加学習に際してはこれらを除外した。また，ParaTDC に重複して出現する和文については， スコアが最も大きい英文のみを残すことで，各和文に対して対応する英文が一意に定まるようにした。

また，本実験では，ParaTDC のスコアによるノイズ除去の有用性の検討のため, 複数のパターンでスコアに閾値を設けた対訳コーパスを用いてカスタム翻訳モデルを作成し，翻訳精度を評価した。

## 5.2 実験結果及び考察

各追加学習で用いたデータセットの内訳や BLEU スコアによる評価結果を表 2 に示す。

ParaTDC による追加学習により, 多くの閾値のパターンにおいて BLEUスコアの上昇が見られた. 特に，スコアによる閥値を $60 \%$ とした時の上昇量が最も大きく, 2.7 ポイント程度の上昇を確認した。

一方で, TDDC では BLEU スコアが 8.8 ポイン卜程度と, ParaTDC と比較すると大幅に上昇した。 ParaTDC による翻訳精度の改善が TDDC に及ばなかった原因の一つに，対訳コーパスの規模が考えられる. 4 章で述べたとおり, ParaTDC の作成に当たっては， 1 文中に複数の文が含まれる可能性があり, また, 文書中の全ての文に対してアライメントを行っているとは限らないため, 今後はこれらの解決が課題となり得る。

スコアによる閾値に着目すると，閥値を $80 \%$ にした時の BLEU スコアはベースラインよりも悪化した.これは, 閾値を上げることによって追加学習に用いる学習データが減ったことに加え, アライメントのスコアの高い対訳が, 必ずしも正しい対訳であるとは限らないことに起因していると推察する。表 3 に，ParaTDC におけるスコアの高い対訳の例を示表 3 アライメントのスコアが高い対訳の例

 & the GRESB website & \\
& . & \\

す.ParaTDCでは，表 3 の例 1 のとおり，短文のアライメントは比較的正確であり, そのスコアは高い傾向にある。一方で, 個人名 (例 2) や施設名 (例 3) をはじめとする固有名詞, 及び，金額 (例 4) や日付 (例 5)をはじめとする数値表現において，アライメントが誤っているにもかかわらず高いスコアを示している対訳が散見された。この原因として，固有名詞や数値表現の分散表現では, それらが異なる値であるにもかかわらず， ベクトルとしては似通ってしまうことが挙げられる。これを回避する方法として，固有表現抽出の利活用が考えられる。

## 6 おわりに

本研究では, PDF 形式の上場会社開示資料から機械的に対訳コーパスを生成し，それを用いた追加学習によるカスタム翻訳モデルの翻訳精度を評価することで，ParaTDC の有用性を評価した。実験から， ParaTDC による追加学習によって翻訳品質の改善を確認した。一方で, 対訳コーパスの規模及び品質には改善の余地があると考えられる。

東証上場会社は毎年膨大な量の開示資料を開示していることから，引き続き，これらの分析を進めることで，自然言語処理による開示資料の利活用の可能性について検証を進めたい.

## 謝辞

ParaTDC の作成に当たっては, 東証が 2020 年 4 月から同年 8 月に実施した, 東証適時開示コーパスに関する限定公開実証実験6)の参加者各位より有益なご助言を戴いた。ここに記して謝意を表する。

## 参考文献

[1] 株式会社東京証券取引所. 2019 年度株式分布状況調査, 2020. https://www.jpx.co.jp/markets/ statistics-equities/examination/01.html.

[2] 山藤敦史. 開示資料と翻訳. AAMT 2019,Tokyo 〜機械翻訳最前線 , 2019.

[3] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39. Association for Computational Linguistics, 2017.

[5] Rico Sennrich and Biao Zhang. Revisiting low-resource neural machine translation: A case study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 211-221, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002.

[7] 土井惟成, 近藤真史, 山藤敦史. コーポレート・ガバナンス報告書における機械翻訳の検討. 言語処理学会第 25 回年次大会 (NLP2019), pp. 926-929, 32019.

[8] Nobushige Doi, Yusuke Oda, and Toshiaki Nakazawa. TDDC: Timely disclosure documents corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3719-3726, Marseille, France, May 2020. European Language Resources Association.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[10] Yusuke Shinyama. PDFMiner, 2016. https://euske. github.io/pdfminer/.

[11] Ken Whistler. UAX \#15: UNICODE NORMALIZATION FORMS, 2020. https://www.unicode.org/reports/ tr44/.

[12] Create PDF, why KANJI 9AD8(高) will be changed to $2 \mathrm{FBC}($ 高) when Meiryo UI ? - Adobe Support Community - 10625575, （2021-01 閲覧）. https://community. adobe.com/t5/acrobat/createpdf-why-kanji-9ad8-\%E9\%AB\%98-will-be-changedto-2fbc-when-meiryo-ui/td-p/10625575?page=1.

[13] Ken Whistler. UAX \#44: UNICODE CHARACTER DATABASE, 2020. https://www. unicode.org/ reports/tr15/.

[14] データのフィルター処理 - カスタムトランスレー ター - Azure Cognitive Services | Microsoft Docs, (202101 閲覧）. https://docs.microsoft.com/ja-jp/ azure/cognitive-services/translator/customtranslator/data-filtering.


# 日本語 Wikipedia の編集履歴に基づく 入力誤りデータセットと訂正システムの改良

田中佑 $\dagger$ 村脇有吾 $\dagger$ 河原 大輔 $\dagger$ 黒橋禎夫 $\dagger$
†京都大学 大学院情報学研究科 $\ddagger$ 早稲田大学 基幹理工学部
\{ytanaka, murawaki, kuro\}@nlp.ist.i.kyoto-u.ac.jp dkw@waseda.jp

## 1 はじめに

文章執筆時に発生する入力誤りによって，人はスムーズに文章を読むことを妨げられ，計算機は正しく解析することを妨げられる。人が文章を書く際,入力誤り訂正を行うシステムを用いれば，その発生を抑えることができ，計算機においても，システムを事前に適用することで, 解析誤りの減少が見込めるため, NLPにおいても重要である.

入力誤り訂正の一種であるスペルミス訂正において，ニューラルモデルは成功を収めており [1]，入力誤り訂正システムの構築に有望であると考えられる. ニューラルモデルは多量の学習データを必要とするため，ニューラル入力誤り訂正システムの実現の重要課題は多量の入力誤りとその訂正ぺアを用意することである.

我々は Wikipedia の編集履歴から約 50 万文規模の日本語入力誤りデータセット (JWTD v1; Japanese Wikipedia Typo Dataset version 1) ${ }^{1)}$ 構築した [2]. JWTD v1 は誤字・脱字・衍字・漢字誤変換の 4 種類の日本語入力誤りからなるが, 転字 (transposition) [3] といった代表的な入力誤りを収集していなかった. データセット構築手法の評価をクラウドソーシングを用いて行っているが，再現率については評価できていなかった。また, ベースラインとして LSTM モデルを用いた訂正システム実験も行ったが，不十分な精度であった。

本研究では，JWTDv1で収集していない転字などの入力誤りを新たに収集し，フィルタリングの一部を改良して, 約 70 万文規模の JWTD v2 を構築した。提案手法とは別に入力誤りを網羅的に収集し，それを用いて評価を行った。JWTD v2を用いて, seq 2 seq 事前学習モデルである BART [4]を学習し, 訂正シ

1）http://nlp.ist.i.kyoto-u.ac.jp/?日本語 Wikipedia入力誤りデータセット
ステム実験を行い，より強力なベースラインとした。漢字の読み推定を同時に学習する実験を行い, ベースラインと比較した。最後に入力誤り認識において他の校正システムとの精度比較を行った。

## 2 関連研究

公開されている日本語入力誤りデータセットは JWTD の他に, GitHub Typo Corpus [5] がある.これは $\mathrm{GitHub}^{2}$ の commit ログから構築した多言語入力誤りデータセットである．日本語データのサイズは 1,500 文ほどであり, ニューラルモデルの学習には十分なサイズではない，そのため，本研究ではテストセットの一つとして利用した。

BART は Transformer [6] を用いた seq2seq モデルであり，大規模な生コーパスで事前学習した後に，各タスクで fine-tuning するモデルである. Katsumata らは BART を用いて英語の文法誤り訂正を行っており，事前学習済み BART を文法誤り訂正タスクで fine-tuning するというシンプルな手法ながら, 既存の SOTA に近い結果が得られたと報告している [7].我々は文法誤り訂正を入力誤り訂正に近いタスクと考え，ベースラインとして同様の手法で入力誤り訂正実験を行った。

## 3 日本語における入力誤り

日本語における入力誤りは様々なバリエーションが考えられるが, 本研究でデータ構築に利用する Wikipedia の編集履歴には，編集のタグが存在しないため，入力誤り全てを取り出すことは容易ではない。そこで，本研究では日本語における入力誤りのうち，表 1 のような，誤字・脱字・衍字・転字・漢字誤変換（以下，誤変換と呼ぶ）の 5 種類を対象に収集した。ここで，転字・衍字 (b) ・誤変換 (b) は JWTD v1 では収集しておらず，本研究で新規に収集

2) https://GitHub.com

} & \multirow{7}{*}{  } \\

表 1 本研究が対象とする入力誤りカテゴリ

した入力誤りである．誤字は 1 文字の入れ替え，脱字は 1 文字の抜け, 衍字 (a) は余分な 1 文字の挿入,衍字 (b) は直前の文字列と一致する 2 文字以上の余分な文字の挿入, 転字は隣接する 2 文字間の転置,誤変換（a）は同一の読みを持つ漢字の入れ替え，誤変換（b）は近い読みを持つ漢字の入れ替えの誤りである.

## 4 データセットの構築

データセットの構築では, Wikipedia の編集履歴から入力誤りとその訂正文ぺアの候補を取り出し, その後, 入力誤り訂正ではないと考えられる編集をフィルタリングした。

## 4.1 Wikipedia マイニング

Wikipedia の編集履歴から, 入力誤り訂正の可能性がある文ぺアを以下の方法で取り出す3）.

1. Wikipedia の全ての記事の全ての版において、編集前と編集後の差分をとり、編集箇所を持つ文ペアを取り出す.

2. 編集箇所が以下の条件を満たす文ぺアを取り出す.

誤字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字は前後ともひらがな又はカタカナ

脱字編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が 0 , 編集箇所の文字は前後ともひらがな又はカタカナ

衍字 (a) 編集箇所における文字単位編集距離が 1 , 編集箇所の文字数変化が -1 , 削除文字はひらがな又はカタカナ

衍字 (b) 編集箇所がその直前もしくはその直後の文字列と一致する, 編集箇所の文字数変化が -1 以下, 削除文字は編集箇所の文字数変化が -1 ならば漢字， -2 以下ならばひらがな又

3）JWTD v1 と同様に, undo や revert された版を取り除く, 編集がループしている文ぺアを取り除く, 編集が推移している文ペアは統合するなどの操作も行っているが, 紙面の都合上,本稿ではその詳細は省略する。

 &  \\

& 出力 & 今日はいい天気だ。 \\

表 2

「今日はいい【転機 $\rightarrow$ 天気】だ。」を BART モデルで尤度計算する際に与える入出力

はカタカナ又は漢字

転字編集箇所における文字単位編集距離が 2, 編集箇所における文字単位ダメラウ・レー ベンシュタイン距離 [8] が 1, 編集箇所の文字は前後ともひらがな又はカタカナ

誤変換 (a) 編集箇所における編集前後の読みが一致，編集箇所の文字は前後ともに漢字が含まれる

誤変換 (b) 編集箇所における編集前後の読みが誤字または脱字または衍字 (a) または転字を含む，編集箇所の文字は前後ともに漢字が含まれる

## 4.2 フィルタリング

上記で得られた文ぺアには入力誤り訂正ではないと考えられる編集も含まれる. それらを取り除くため, 品詞・形態素解析, リダイレクトデータ, 言語モデルを使ったフィルタリングを行った. 本稿では，JWTDv1 から変更した言語モデルフィルタについてのみ以下に述べ，それ以外は省略する。

JWTD v1 では文字単位 LSTM 言語モデルにおける編集による尤度の差をもとにフィルタリングを行っている. 本研究では，モデルを事前学習済み BART $^{4)}$ に変更してフィルタリングを行った。表 2 のように編集箇所を mask トークンで置換した文を入力として, 編集前・編集後の文が出力される尤度をそれぞれ計算する．編集による尤度の増加が大きいものは入力誤り訂正である可能性が高いと考えられる。それぞれの入力誤りの種類で閾值を定め，編集による尤度の差が閾値より小さい文ぺアを取り除いた5).

## 4.3 結果

上記の手法を 2019 年 6 月の日本語 Wikipedia に適用し，JWTDv2を構築した。そのデータサイズを表

表 3 データセットのサイズ

3 に示す. 合計で約 70 万文ぺアが得られた.

## 5 データセット構築手法の評価

JWTD v1 ではデータセット構築手法の評価を，クラウドソーシングを用いてデータセットの一部を評価することで行っていた6). しかし，その方法はデータセットの適合率のみ評価ができるものであった. 入力誤りのうち, 特定のカテゴリを対象として収集する JWTD の手法では，含まれていない入力誤りが存在すると考えられるため, 再現率も評価することが望ましい. 本研究では, 再現率も含めて評価するために，入力誤り評価データを作成し，それを用いて評価を行った。

## 5.1 入力誤り評価データ

特定のカテゴリに制限されていない入力誤りデー タを用意できれば，データセット構築手法の再現率を評価できる．そこで，クラウドソーシングを用いて，そのようなデータを収集し，それを入力誤り評価データとした.

クラウドソーシングに用いたデータは, 4.1 節のステップ 1 で取り出した編集箇所を持つ文ぺアからランダムに選んだ 11,000 文ぺアである. クラウドソーシングのタスク内容については紙面の都合上,付録の A. 1 章に付す. タスクの結果より 1,127 個の文ぺアが入力誤り評価データとして得られた。

## 5.2 評価結果

入力誤り評価データを用いて, データセット構築手法の評価を行った。前節でクラウドソーシングに用いた 11,000 文ペアに対して，4 章の方法を適用し, 収集された文ペアから，データセット構築手法を評価した。

結果を表 4 に示す. v1 が JWTD v1における手法であり, v2 が本研究の手法を示している. これよ

6）同様の方法での JWTD v2 の評価を A. 2 章に付す.

表 4 データセット構築手法の評価結果

り，本研究の手法がマイニング・フィルタリング両面で $\mathrm{F}$ 值が高いことが確認できる.

## 6 入力誤り訂正システム

JWTD v2 を利用して，入力誤り訂正実験を行った. BART モデルを事前学習し, その後, 入力誤り訂正タスクで, fine-tuning を行った. 誤変換の訂正には漢字の読みの情報が役立つと考え, fine-tuning 時に漢字の読み推定を同時に学習する実験も行った。紙面の都合上，事前学習については付録の A. 3 章に付す。

## 6.1 fine-tuning

入力誤り訂正タスクでは, 評価に使うデータ(入力誤り評価データ・次節で後述の JWTD v2 テストセット)を含まないページから得られた, 入力誤り文ペア 664,287 文を訓練データ，1,000 文を検証デー タとした。漢字の読み推定タスクでは, BCCWJ [9] のコアデータ 40,584 文を訓練データとして用いた. BCCWJ の原文文字列（原文）を入力して，発音形出現形（読み）を出力させるように学習させる.読み推定タスクの入力単位は BCCWJ の短単位を subword 分割したものとした。同時に学習を行うモデルでは，まず，入力誤り訂正タスクと読み推定タスクで fine-tuning した後, 入力誤り訂正タスクのみで fine-tuning した.

## 6.2 評価方法

評価指標は入力誤り訂正の適合率 - 再現率 $\cdot \mathrm{F}$ 值とし，それらは訂正前の文と訂正後の文の文字単位最小編集と, 訂正前の文とシステム出力文の文字単位最小編集から計算した。

評価には, 入力誤り評価データ・GitHub Typo Corpus・JWTD v2 テストセットの 3 つを用いた. GitHub Typo Corpus は, Hagiwara らの分類器での入力誤りである確率 (prob_typo) が 0.9 より大きい日本語データから，英語のスペルミス訂正を除いた，557 文を用いた。JWTD v2 テストセットは JWTD v2 の

表 5 入力誤り訂正結果

表 6 誤変換の訂正結果

一部をクラウドソーシングで評価し，入力誤り訂正として「正しい」と分類されたものである7).

## 6.3 実験結果

入力誤り評価データと GitHub Typo Corpusにおける結果を表 5 に示す。入力誤り評価データでのスコアは, 表 4 にあるデータセットの評価結果と比較して，十分高いスコアといえる. GitHub Typo Corpus でのスコアは入力誤り評価データと比較していずれも低い。これは, Wikipedia と GitHubの commitログではテキストのドメインが大きく異なることが原因であると考えられる. JWTD v2 テストセットのうち，誤変換カテゴリにおける結果を表 6 に示す。いずれにおいても，スコアの向上が確認できる。これより，誤変換の訂正では読み推定タスクを同時に学習することが有効であると考えられる。

## 7 他の校正システムとの比較

前章で作成した BART を用いた入力誤り訂正システムと, 他の二つの校正システム (Microsoft Word ${ }^{8}$ ) と Yahoo! 校正支援 $\mathrm{API}^{9}$ ) で, 入力誤り認識精度の比較を行った。紙面の都合上，校正システムの設定等は付録 A. 4 章に付す.

## 7.1 評価方法

二つの校正システムの出力の多くが，訂正箇所の指摘のみであったため, 入力誤り訂正ではなく, 訂正すべき箇所を推定するタスク（入力誤り認識）で評価した。校正システムが出力した訂正箇所（区間）が，正解の訂正箇所（区間）を含むかどうかを数え上げ，適合率・再現率・F 値を計算する．前章

表 7 入力誤り認識結果

表 8 入力誤り認識結果の実例

で作成した訂正システムにおいては，入力とシステム出力の差分箇所を訂正箇所とした。評価には入力誤り評価データと GitHub Typo Corpus を用い, Word においてはそれぞれランダムに 100 個サンプルしたもので我々が人手で評価した。

## 7.2 結果

結果を表 7 に示す. 本研究のシステムが，他の校正システムより再現率・F 值において高いスコアであることが確認できる。

入力誤り認識結果の実例を表 8 に示す. 誤変換以外の衍字などの入力誤りは，Word が指摘できているものがあったが，誤変換は，本研究のシステムのみが指摘できているものが多かった。最後の例は JWTD v2 では収集していない編集距離の大きい入力誤りであり, 本研究のシステムは指摘できておらず，今後の課題である.

## 8 おわりに

本研究では JWTD v1 が収集していない入力誤りの収集とフィルタリングの一部を変更し，JWTD v2 を構築した。データセットの再現率を評価できるデータを作成して評価を行い，v2 が v1より精度が高いことを確認した。事前学習モデルを用いて入力誤り訂正実験を行い，十分高い精度であることを確認した。また，読み推定タスクを同時に学習することで，精度が向上することを確認した。最後に，入力誤り認識において, 他の校正システムと比較して, 本研究のシステムの精度が高いことを確認した. 今後はデータセットのさらなる改良と, 入力誤り訂正システムを異なるドメインで適用した際の分析・改良に取り組む予定である。

## 参考文献

[1] Keisuke Sakaguchi, Kevin Duh, Matt Post, and Benjamin Van Durme. Robsut wrod reocginiton via semi-character recurrent neural network. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[2] Yu Tanaka, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Building a Japanese typo dataset from Wikipedia's revision history. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 230-236, 2020.

[3] Yukino Baba and Hisami Suzuki. How are spelling errors generated and corrected? a study of corrected and uncorrected spelling errors using keystroke logs. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 373-377, 2012.

[4] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[5] Masato Hagiwara and Masato Mita. GitHub typo corpus: A large-scale multilingual dataset of misspellings and grammatical errors. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6761-6768, Marseille, France, May 2020. European Language Resources Association.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[7] Satoru Katsumata and Mamoru Komachi. Stronger baselines for grammatical error correction using a pretrained encoder-decoder model. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Nat- ural Language Processing, pp. 827-832, Suzhou, China, December 2020. Association for Computational Linguistics.

[8] Fred J Damerau. A technique for computer detection and correction of spelling errors. Communications of the ACM, Vol. 7, No. 3, pp. 171-176, 1964.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, 2016.

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

## A 付録

## A. 1 入力誤り評価データの作成

クラウドソーシングを用いて，入力誤り評価データを作成した。

## A.1.1 タスク内容

質の良い評価データを作るために，二段階の方法でクラウドソーシングを行った. どちらもそれぞれ 5 人のワーカーに回答してもらった.

一段回目のタスクは，編集がどのような編集かを分類するタスクである，編集前と編集後の文を提示して，「内容の変更 ・追加 ・削除」,「表現の変更 - 追加 - 削除」, 「誤字・脱字・衍字・漢字の変換ミスの修正」,「その他・わからない」の 4 つの選択肢の中から一つ選んでもらった。「誤字・脱字・衍字・漢字の変換ミスの修正」が過半数を得た文ペアを入力誤りに関係するぺアとし, 二段階目のタスクの対象データとした.

二段階目のタスクは，編集前と編集後の文を同時に提示して，それぞれ書き言葉として自然かどうかを質問した. このとき, 提示する際は単に文 $\mathrm{A}$, 文 $\mathrm{B}$ として提示し, どちらが編集前か編集後かをわからないようにした.選択肢は「A は書き言葉として自然な文であるが，B は不自然な文である」，「B は書き言葉として自然な文であるが，A は不自然な文である」，「どちらの文も自然である」,「どちらの文も不自然である」，「わからない」の 5 つとした. 編集前が不自然・編集後が自然という回答が過半数を得た文ぺアを入力誤りに関係するぺアとした。

## A.1.2 結果

一段階目のタスクにおいて，「誤字・脱字・衍字・漢字の変換ミスの編集」が過半数を占めた文ぺアは 1,773 個であった。それらを対象に行った二段階目のタスクで，編集前の文が不自然・編集後の文が自然という回答が過半数を占めた文ぺアは 1,127 個であった。この 1,127 個の文ペアを入力誤り評価データとした。

## A. 2 クラウドソーシングを用いたデータ セット構築手法の評価

クラウドソーシングを用いて, JWTD v2 の評価を行った. 評価対象はランダムに選んだ記事 3,000 ページ中から得られた文ぺアを用いた. 同じ編集が数多く存在しているぺージが存在したため, データの偏りを避けるために，選ばれたページ内に同一の編集が 4 つ以上含まれていた場合，そのうちの 3 つのみをランダムに採用した。

## A.2.1 タスク内容
A. 1 節の二段階目のタスクと同じ，編集前後の文が自然かどうかを問うタスクである。それぞれの文ぺアにつき 10 人のワーカーに回答してもらった.

## A.2.2 結果

編集前が不自然で編集後が自然という回答の票が過半数を占める文ぺアを入力誤りとして「正しい」とすると，「正しい」割合は, 誤字が $77.6 \%$, 脱字が $70.3 \%$, 衍字 (a) が $84.1 \%$, 衍字 (b) が $93.5 \%$, 転字が $52.5 \%$, 誤変換 (a) が $64.3 \%$ ，誤変換 (b) が $69.9 \%$ で，全体では $71.9 \%$ であった.

## A. 3 BART の事前学習

日本語 Wikipedia の約 1,800 万文を利用して BART の事前学習を行った ${ }^{10)}$. 事前学習では, Text infilling タスクを行った. Text infilling は, 文章の一部が maskトークンに置き換えられた文章から，元の文章を生成するタスクである。トークン単位は，テキストをJuman++で形態素分割した後にそれらを subword 分割 [10] したものを用いた. subword 分割には SentencePiece[11]を利用し，語彙数は 32,000 とした. encoder と decoder がそれぞれ 12 層である, large モデルで事前学習した。隠れ層の次元は 1,024 , バッチサイズは 512 とし, 25 万 step 学習した.

## A. 4 他の校正システムの設定

Microsoft Word 日本語における入力誤り認識のみの評価に限定するために，校正結果のうち言語設定が日本語とされている箇所のみを評価に用いた。校正の設定は 「文書のスタイル」を「通常の文」に設定し，他は初期設定のままとした. 利用した Word のバージョンは「Microsoft Word for Mac 16.37」である.

Yahoo! 校正支援 API Yahoo! 校正支援 API は，校正のカテゴリを 17 種類に分けて出力を行う. 本研究においては，それら 17 種類のうち, $\mathrm{F}$ 值が最大となるような力テゴリを選択して，評価を行った。

10）事前学習済みモデルはhttp://nlp.ist.i.kyoto-u.ac.jp/ ?BART 日本語Pretrained モデルにて公開している.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# NPCMJ への PropBank 形式の意味役割と 概念フレームの付与の進捗報告

竹内 孔一
岡山大学大学院
バトラーアラステア
弘前大学
長崎郁
名古屋大学
}

takeuc-k@okayama-u.ac.jp

パルデシプラシャント
国立国語研究所
prashant@ninjal.ac.jp

## 1 はじめに

$\mathrm{Web}$ 上で閲覧可能な日本語統語解析情報付きコーパス (ツリーバンク)NPMCJ(NINJAL Parsed Corpus of Modern Japanese) [1] が国立国語研究所で開発が進んでおり既に構文木が公開されて言語学者や言語学習者に利用されている1).現在 14 ジャンルの出典で約 4 万文の構文木が構築されておりユーザはツールを通して事例を確認できる. 本研究では NPCMJ に対して述語項構造シソーラズ ${ }^{2)}$ の概念フレームをべー スとして名前による意味役割(「動作主」,「対象」など) と PropBank 形式の意味役割 ( $\operatorname{Arg} 0$, ArgM-ADV など)を付与している [2] . 例えば 「両親は，長女の愛は厳しく育てた」の場合，概念フレームと意味役割は下記のように付与する. 付与過程で英語の構文には出てこない自動

図 1 「両親は, 長女の愛は厳しく育てた」の概念フレームと意味役割付与例

詞の受動態について PropBank では議論されてこなかった必須項が必要であることを先行研究で発表した [3] . NPCMJ は現在も付与が続いているコーパスで 6 万文まで拡張されることが計画されており, 本研究も継続して意味役割と概念フレームを付与する予定である . 本論文では付与作業と現段階での付与された意味タグの内容について記述する。

1) http://npcmj.ninjal.ac.jp/

2) http://pth.cl.cs.okayama-u.ac.jp/

## 2 NPCMJ 内の付与対象の設定

NPCMJ は NPやPP といった非終端記号，SBJ やOBJなどの区別，トレース，参照情報が付与されている，一方で , 意味役割を付与する述語と項のみをタグ付けした情報は存在しないが，付与されている詳細な構文情報から論理形式の意味構造に変換する手法が提案されており [4]， これを基に付与すべき述語と項が設定される。

図 $2 「$ 長女の愛は」に関する NPCMJ の構文木の例

## 3 概念フレームデータに基づく PropBank 形式の意味役割

意味役割とは文における述語の係り関係を想定した場合，述語と項との意味的な関係を記述するタグである. 例えば图 1 の場合，述語「育てる」に対して，係り元は「両親は，「長女の愛は」「厳しく」の3つである.このうち,「敩しく」には述語に対する修飾要素として ArgM-MNR を付与し，残りニつは項として $\operatorname{Arg} 0$ と $\operatorname{Arg} 1$ を付与する。

PropBank では意味役割は述語の各語義ごと (つまり述語に対してより細分化された分類)に付与されているが, 本研究では述語項構造シソーラスの概念フレームを利用して概念フレー ムごと (複数の述語で共通する概念) に対して

概念フレームデータ

 \\

図 3 NPCMJ の付与コーパスと述語項構造シソーラスおよび概念フレームデータの関係

一貫した必須項の意味役割を付与する.つまり概念フレームが同一の述語間では $\operatorname{Arg} 0, \operatorname{Arg} 1$ などの意味的な関係が一貫した意味役割で付与される.これにより, 同じフレーム内での言い換え関係などが同じタグで取り出せること， さらに，付与の際に，事例が少なくても概念フレーム内で述語があれば意味役割の設定が可能なためより安定して意味役割を設定できることが期待できる。

具体的な例をあげて説明する. 図3では「育てる」は述語項構造シソーラスの概念フレー 么番号 197 (状態変化あり/主体の変化/身体的変化/成長) に相当する語義であることを指摘しており，この概念フレームには「熟す」「発育する」「飼育する」「仕立てる」など自動詞，他動詞が含まれている.これらの述語で必須項を表す $\operatorname{Arg} 0, \operatorname{Arg} 1$ は述語項構造シソーラスに事例が付与されているのと同時に図 3に示すように概念フレームデータを作成して一貫性を保っている。

## 4 付与作業

付与作業者に対して 2 節で生成された述語と係り元か提示される. 統語情報から述語と判定されたものが自動で選択されており，1文で複数の述語と項の関係が取り出されている (図 4 参照).

作業者は対象事例を基に述語項構造シソーラスの事例を調べて，合致する概念フレームを探す . 合致する概念フレームがあれば , 必須項を

図 4 NPCMJ の付与コーパスと述語項構造シソーラスおよび概念フレームデータの関係

事例から選び，付加詞の場合はあらかじめ決められているリスト [2] から意味役割を選択する.シソーラスに存在しない場合は , 該当する概念フレームがある場合は既にある述語を利用して記述し (5 図参照), 必要があれば辞書を更新する. 同樣に意味役割が不足している場合は辞書管理者が判断して概念フレームの必須項を追加する。

## 5 FrameNet に準拠したデータ 形式

意味役割と概念フレームを付与した NPCMJ からデータを取り出す形式として現在 2 種類が可能である. 1 つは图 5 に示すように FrameNet に準拠した XML 形式であり，文と述語および意味役割が付与されている. FrameNet の XML では述語と項や係り元の構造か理解しやすいく簡素であるため 6 節の統計量も XML 形式のデータから取り出している。

しかしながら XML 形式には NPCMJ の統語情報が付与されていない，そとこで本論文ではまだ利用していないが構文木の構造による出力形式も構築している．統語情報や参照情報，形態素情報など多量な情報が付与されており付与された全ての情報を取り出すことが可能である．

図 5 FrameNet に準拠した NPCMJ 意味役割付与データ形式

図 5 ではコーパス misc_1709kytext1 にテキストがあったことがわかる．述語と項の情報は annotationSet のタグ内に記述されてお

り, 複数の述語と項の組がある場合は複数の annotationSet が記述される.ここでは「の」が述語で項は「2 歳違い」と「姉妹」である. 連体修飾の形になっている。

XMLでは述語「の」の概念フレームは 895(コピュラ) に登録されている述語「です」に相当することを示している.「2 歳違い」と「姉妹」 の意味役割は光れ光れ $\operatorname{Arg} 1$ :対象と $\operatorname{Arg} 2$ :補語相当（は）である．つまり平叙文だと

[895です]

として付与している。

## 6 現在の付与内容

現段階で付与している述語の付与数は 22,637 箇所で炎のうち項の付与数は 44,404 箇所である . 各要素について以下に説明する。

述語について

基本的に NPCMJ では文内の表層形に述語の概念を付与している.よって述語の種類数を求める場合, 単純に文字列で集約すると付与述語の語彙数がわからない. 光こで形態素解析 $\mathrm{MeCab}$ を通して述語の種類を推定して求めた.光の結果，付与している述語の種類数は 4048 種類である . 形態素解析を利用してどのような種類の述語があったかを図 6 に示す.

図 6 付与した述語 (上位 20 件)

図 6 は縦軸が形態素の頻度を表している。「だ」がもっとも多く続いて「の」(同格)，「ある」「なる」などの和語動詞が多い．

次に述語の品詞について頻度の多い述語から順に図 7 に上位 20 件まで示す. 品詞は MeCab (IPAdic) の品詞細分類までとする . 述語の頻度で3 番目に「名詞一般」が多いのは「こと」を述語として付与しているためである.「こと」 は非飽和名詞 $[5,6]$ であり，内容を名詞化する

図 7 述語の品詞 (上位 20 件)(MeCab による推定)

際に使われる．述語項構造シソーラスでは現段階では非飽和名詞に関する項目が無いが可能な限り付与している. 現段階では一部概念フレー ムとして WordNet の概念フレームを付与している (例えば「こと」に対して「w $\mathrm{wn:00034479-n \lrcorner ).}$ また「話」「仕事」などの非飽和名詞の他に「試み」や「喜び」など述語的な要素を持つものなどがある．これらは述語項構造シソーラスの概念フレームを付与している.よって先行研究 [7] で付与されている事態性名詞についても今回の NPCMJ コーパスに付与されている．

次に概念フレームについて图 8 に上位 10 件の頻度分布を示す. 最も多いのが「コピュラ」

図 8 述語の概念フレーム (上位 10 件)

(ある)である．次に「伝達」(話す)，「生成」(作る)，「変更」(変える)，「移動」(行く)が多いことがわかる.

項について

項に付与した意味役割の統計量について示す。 PropBank 形式の意味役割上位 20 件を図 9 に示す.

図 9 では最も多い意味役割は $\operatorname{Arg} 1$ で $\operatorname{Arg} 0$ の 1.6 倍程度出現している.必須項は $\operatorname{Arg} 2$ までが数千の単位で出現していて，割合が多いことが

図 9 PropBank 形式の意味役割 (上位 20 件)

分かる. 一方, $\operatorname{Arg} 3$ や $\operatorname{Arg} 4$ はこれらに比べると相対的に少ないことが分かる．

付加詞に対する意味役割では副詞を表す ArgM-ADV (副詞), ArgM-TMP (時間), ArgMLOC (場所) が光れ光れ $\operatorname{Arg} 2$ に続いて出現している.ArgM-PRX は連語である．このタグは主動詞の意味がほとんどなく項の部分に中心的な意味がある場合に付与する．「〜をする」という軽動詞構文はこのタイプの意味役割を付与している.

(book_except-15)

また , 慣用句などで項の部分と動詞の部分が一つになってある決まった意味を表す場合の項の部分に付与する。

(aozora_Tsuboi-1968)

よって，ArgM-PRX を付与している項は述語の

一部と見なしている。

次に名前の意味役割上位 20 件の頻度分布を図 10 に示す.「対象」が最も多く，次いで「動

図 10 名前の意味役割 (上位 20 件)

作主」「経験者」が続く . 意味役割の頻度分布が PropBank 形式の意味役割と異なるのは $\operatorname{Arg} 1$ は「対象」や「経験者」など複数の名前の意味役割に付与されることが原因である．これは
PropBank 形式の意味役割が構文を重視した分類であるのに対して，名前意味役割は意味的な関係を重視している点に起因する．

## 7 最後に

本論文では現在進めている NPCMJ に対する概念フレームと意味役割付与データ構築プロジェクトでどのようなタグをどの程度付与しているかについて記述した . PropBank 形式の意味役割を採用し，概念フレームごとに意味役割の定義集合を一貫して構築している．NPCMJ における統語情報付与作業はこれからも続くため，今後も意味役割と概念フレームの付与を続けると同時に付与データを公開していく予定である

## 8 謝辞

本研究の遂行にあたって国立国語研究所機関拠点型基幹研究プロジェクト「統語・意味解析コーパスの開発と言語研究」および科研費 (課題番号 19K00552) の助成を受けた .

## 参考文献

[1] 吉本啓, 周振, 小菅智也, 大友瑠璃子, Alastair Butler. 日本語ツリーバンクのアノテーション方針. 言語処理学会第 19 回年次大会, 2013.

[2] 竹内孔一, バトラーアラステア, 長崎郁, ホー ンスティーブンライト. PropBank スタイルの意味役割タグを導入した述語項構造シソーラスと NPCMJ への付与計画. 言語処理学会第 25 回年次大会, pp. 136-138, 2019.

[3] Koichi Takeuchi, Alastair Butler, Iku Nagasaki, Takuya Okamura, and Prashant Pardeshi. Constructing Web-Accessible Semantic Role Labels and Frames for Japanese as Additions to the NPCMJ Parsed Corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC2020), 2020.

[4] Alastair Butler. From discourse to logic with stanford corenlp and treebank semantics. In New Frontiers in Artificial Intelligence. JSAI-isAI 2019, vol. 12331 of Lecture Notes in Computer Science, 2020.

[5] 西山佑司. 日本語名詞句の意味論と語用論.ひつじ書房, 2003.

[6] 影山太郎. 日英対照名詞の意味と構文. 大修館書店, 2011.

[7] 小町守, 飯田龍, 乾健太郎, 松本裕治. 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析. 自然言語処理, Vol. 17, No. 1, pp. 141-159, 2010.


# 中国語の「数量詞分離」の語用論・意味論とその形式化

詹 湬凡（東北大学国際文化研究科）吉本 啓（東北大学高度教養教育・学生支援機構）
tinpozhan@gmail.com
kei@compling.jp

## 1. はじめに

中国語には（1）のように、日本語の数量詞遊離に類似した現象がある。

(1) 那些苹果我吃了两个。 those apple 1-SG eat-PEF two-CL(general) 'それらのリンゴは私が二個食べた'

日本語の数量詞遊離は様々に議論されている。その代表的な研究として、Miyagawa（1989）は「相互 C 統御条件」と「非対格仮説」を併用する分析を行っている。それに対し、高見（1998）は語用論的特徴、より具体的には、情報構造的特徴により、数量詞遊離構文の適格性問題がよりよく説明することができると述べている。

中国語の数量詞分離構文に関しては、主に

Miyagawa（1989）を踏襲し、統語論を中心として議論が展開されている（eg. 山口 2005）。語用論、情報構造の視点からの研究はあまり見られない。中国語の場合は日本語のような長距離遊離という現象がないにもかかわらず、情報構造の観点から表層構造の差異による表現力の差異を説明することができると思われる。そこで、本稿の考察ではまず中国語の数量詞分離構文の情報構造について検討する。

一方、「数量詞」がアジア諸言語において特殊な品詞範疇であり、分離・遊離数量詞はさらに特殊な現象として、意味論上の考察も十分とは言えない。 したがって、本稿では形式意味論の立場を取り、数量詞・分離数量詞の意味表示、及び数量詞分離構文の意味計算をも検討する。

最後の到達点として、語用論、意味論両側面の考察の結論によって、当該文法現象に対して形式的文法体系におけるより完全な記述を提案する。

## 2. 数量詞分離構文の情報構造

## 2. 1 情報包装理論と情報構造の三分法

情報構造の分析において、本稿は Engdahl and Vallduví（1996）により提示された情報包装理論
（Information Packaging Theory, IPT）に従う。IPT は情報構造の三分法によって、topic-comment と focus-presupposition の対立を解消している（Vallduví 1990, Chp. 3 を参照されたい)。

より詳細には、まず、一文の情報構造は焦点

（FOCUS）と基盤（GROUND）という二部分に分

けられる。焦点はその文において聞き手にとって相対的に新しく、最も重要であると想定される情報をいう。それに対して、基盤はその文において、聞き手にとって相対的に古く、それほど重要でないと想定される情報である。また、基盤はリンク

（LINK）とテール（TAIL）に分けられる。リンクは topic-comment $の$ topic にほぼ相当し、談話の

「出発点」である。これに対し、テールは非リンク的要素であるという。

## 2.2 中国語の文のデフォルト的情報構造

LaPolla（1995）は中国語の文において、話題的または非焦点的名詞句は動詞の前に現れ、焦点的または非話題的名詞句は動詞の後ろに現れる傾向があると主張している。IPTの体系において、中国語の文は（2）のようなデフォルト的情報構造を持つと考えられる。

(2)

本研究では、北京語言大学により開発された現代中国語コーパス (BCC) から、分離数量詞が生起する文を抽出し、その中から 2000 文を詳細に調査

し、（3）のように文型別に整理した。

（3）（HNP：ホスト名詞、NU：数量詞、 LOC：場所句)。

 \\

以上の文型は、特有の語用論的意義を持っているが、関連する個別的な研究 (eg. 「把」構文 : Tsao (1987)、「被」構文 : LaPolla（1990, Chp. 3 )) によると、それらの情報構造は（2）のデフォルト的情報構造に合致している。それに加えて、実例の上下文脈の観察により、帰納的にホスト名詞の基盤性 （Groundedness）が確認される。これは日本語の数量詞遊離構文に対する高見（1998）の所見にも合致する。

## 2.3 分離数量詞の焦点性

本節では焦点敏感演算子 (focus-sensitive operator）を利用し、分離数量詞の焦点性を確認する。焦点敏感演算子（focus-sensitive operator）とは、文の焦点位置が変わるのに伴って、束縛要素と作用域が変わり、文の解釈（意味）の変化をもたらす演算子を指す。

下の（4）を見よう。

(4)

a. 饭我最多吃一碗。 rice 1-SG at-most eat one-CL(bowl) ‘ご飯は私が精々一杯を食う。

b. 我最多吃一碗饭。 1-SG at-most eat one-CL(bowl) rice ‘私は精々一杯のご飯を食う。

（4a）は数量詞分離構文であり、（4b）では数量詞が名詞を連体修飾している。副詞「最多」は焦点敏感演算子として、(4a）において、数量詞「一碗」を束縛し、他方、(4b) において、「一碗饭」全体を束縛する。よって、たとえば「ご飯を一杯、餃子を四個食う」場合、(4a）は真となるが、（3b）は偽となる。

数量詞一名詞の「連合」はそもそも意味上、「モノの存在」・「モノの数量」・「モノの内容」の三種類の情報を伝える。数量詞分離構文は語用論上、ホス卜名詞が先に提示されることによって、「モノの存在」と「モノの内容」が前提化され、目的語位置に残る数的情報をハイライトする働きをしていると考えられる。

## 3. 数量詞分離構文の意味論 3.1 $\lambda$ 計算付き談話表示理論

意味論の分析において、構成性原理と文脈依存性を考慮し、 $\lambda$ 計算付き談話表示構造 ( $\lambda$-DRS, Bos et al. 1994）を採用する。DRS（Kamp and Reyle 1993）は通常、「ボックス」で記述されるが、スペ一ス節約のために、ここでは線状化された表記

（Muskens 1996）を使う。基本的な形式は（5）のようになる。

(5) $K($ Box $)=\left[\mathrm{x}_{1} \ldots \mathrm{x}_{\mathrm{n}}\right.$ (discourse referents) $\mid \varphi_{1} \ldots \varphi_{\mathrm{n}}$ (conditions)]

## 3.1 ホスト名詞の解釈

基盤的であるという情報構造的特峌はホスト名詞の意味論上のステータスにも関連している。ホスト名詞は定的指示（definite reference）または種類指示 (kind reference) でなければならない。換言すれば、ホスト名詞は漠然とした不定的対象と解釈されることが許されない。

有定性（definiteness）は認識上の同定可能 （identifiable）性として定義されることがある（eg. Lyons 1999)。種類指示、または総称、と話題性 （topichood）との関連もよく議論される（eg. Van Valin and LaPolla 1997, p.200)。種類指示は常識上談話参加者にとって同定可能的であるため、常に話題となるとされている。

しかし、形式意味論において名詞は通例、技術的に一項関数としての属性（property）として扱われている。種類指示に対処するために、本稿は Chierchia（1998）の方法を導入する。ここでは主に二つのものをオントロジックに使う。

(1)素朴集合論の代わりに、束（lattice）に基づいた名詞の外延の定義。(詳細は 3.2 節)

(2) ${ }^{n}$ (down 演算子)。属性は down 演算子の作用

によって、一階定項 e としての種類（kind）にタイプシフトすることができる。そこで、「パンダは稀だ」の意味は（6）のように表すことができる。

(6) $\llbracket$ Panda is rare $\rrbracket=$ RARE $^{\prime}\left({ }^{n}\right.$ PANDA' $\left.^{\prime}\right)$

$\lambda$-DRS の場合、種類指示はその定項に独自のソ一トを与え、（7）のように表示する。

(7) [ $\mid<k$, name $>]$

$\mathrm{k}_{\mathrm{i}}$ はソートが「kind」である定項として、ソートが「event」である定項 $\mathrm{e}_{\mathrm{i}}$, ソートが「individual」である $\mathrm{x}_{\mathrm{i}}$ などと区別される。よって、（6）はこのような体系において、 $\left[\mid<\mathrm{k}_{\mathrm{i}}\right.$, panda $>$, rare $\left.\left(\mathrm{k}_{\mathrm{i}}\right)\right]$ で表すことになる。

一方、定的指示のような文脈依存表現は Bos et al. （1994）において、「ALFA 条件」が付いた「ALFA 表現」として扱われている。ここでは、「ALFA 表現」を（8）のように表記する。

(8) [ |@x. $\{\psi(\mathrm{x}) \ldots($ restriction $)\}]$

（8）に示すように、ALFA 表現の談話域は空値であり、ALFA 表現自体は談話域に談話指示物を導入しない。@xはただの仮変数で、照応処理によって適切なグローバル変数と同值化することが要求されている。

## 3.2 数量詞 - 分離数量詞のオントロジッ クな定義と意味表示

Chierchia の名詞意味論に従い、小林（2004）の扱い方も参考して、中国語の数量詞 - 分離数量詞につき、（9）にオントロジックな定義を与える。

## (9)

Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ が種類 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ に対して適切な助数詞である場合、Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ の外延 U は、 $\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}$ が含むすべての要素からなる上限半束 （upper semilattice）として定義される。

$
\begin{aligned}
& \mathrm{U}=\left.\{\mathrm{x} \in \mathrm{U} \mid \exists \mathrm{y}_{1}, \ldots, \mathrm{y}_{\mathrm{r}} \in \mathrm{U}\left.\{\llbracket \mathrm{k}_{1} \rrbracket, \ldots, \llbracket \mathrm{k}_{\mathrm{m}} \rrbracket\right.\}:\right. \\
& \left.\mathrm{x}=\mathrm{y}_{1} \oplus \ldots \oplus \mathrm{y}_{\mathrm{r}}\right.\}
\end{aligned}
$

$\mathrm{n}$ は基数で、数量詞 [ $\mathrm{NU}$ Numeral $_{\mathrm{n}}$ Unit] は $\mathrm{n}$ を入力し、U の中から濃度（cardinality）が n である集合を選び出してそれらの集合を（n が 1 であれば $\mathrm{U}$ の中の原子的（AT）要素からなる集合を）出力する関数 $v$ と定義する。

$
\begin{aligned}
& v(\mathrm{n})=\mathrm{AT}(\mathrm{U}), \mathrm{n}=1 \text {, or }\{\mathrm{x}|\mathrm{x} \in \mathrm{U} \wedge| \mathrm{x} \mid=\mathrm{n}\}, \mathrm{n} \\
& >1
\end{aligned}
$

$\mathrm{k}_{\mathrm{i}}$ が Unit $\{\mathrm{k} 1, \ldots, \mathrm{km}\}$ で数えられる種類の一つであるとすると、数量詞が連体修飾する名詞句 [NUP $\mathrm{NU}_{\mathrm{i}}$ ] は $\mathrm{k}_{\mathrm{i}}$ を入力して、v(n)の結果の中 $\mathrm{k}_{\mathrm{i}}$ の部分を満足する要素の集合、もしくは $v(n)$ と $\mathrm{k}_{\mathrm{i}}$ が対応する概念の外延の積集合を出力する関数 $\mu$ と定義することができる。

$
\begin{aligned}
& \mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right)=\left.\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{k}_{\mathrm{i}} \rrbracket\right.\}=\mathrm{v}(\mathrm{n}) \cap \\
& \quad \llbracket{ }^{\cup} \mathrm{k}_{\mathrm{i}} \rrbracket
\end{aligned}
$

分離数量詞の場合、ホスト名詞が定的指示に解釈されることがあるため、前に定義した $\mu$ の関数を拡張する必要がある。つまり $\mathrm{k}$ だけではなく、定的指示の類も適用できるようにしなければならない。即ち、

$
\begin{gathered}
\mu\left(\mathrm{n}, \mathrm{k}_{\mathrm{i}}\right) \Rightarrow \mu(\mathrm{n}, \mathrm{t})=\{\mathrm{x} \mid \mathrm{x} \in \mathrm{v}(\mathrm{n}) \wedge \mathrm{x} \leq \llbracket \mathrm{t} \rrbracket\} \\
\mathrm{t} \in\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\} \vee \mathrm{t}=\mathrm{P} P \wedge \cap_{\mathrm{P}} \in \cup\left.\{\mathrm{k}_{1}, \ldots, \mathrm{k}_{\mathrm{m}}\right.\}
\end{gathered}
$

以上の定義を踏まえて、 $\lambda$-DRS の枠組みにおいて、分類数量詞の表示は自然に導き出される。比較のために、(10a) には連体修飾する数量詞の中の助数詞の論理形式を示し、10b）には分離数量詞の中の助数詞の論理形式を示す。

(10)
a. $\lambda n \lambda k \lambda P[x \mid x \in \mu(n, k) \wedge P(x)]$
b. $\lambda \mathrm{n} \lambda \mathrm{P}[\mathrm{x} \mid \mathrm{x} \in \mu(\mathrm{n}, @ \mathrm{t}) \wedge \mathrm{P}(\mathrm{x})]$

## 3.3 数量詞分離構文の意味生成

下の（11）は、例文（1）の意味生成の過程を示す。ここでは Gao （2001）の動詞項構造拡張説を採用し、ホスト名詞を動詞が下位範疇化する斜格 （OBL）とする。

两个: $\lambda \mathrm{P}[\mathrm{y} \mid \mathrm{y} \in$ 个(2,@v) $\wedge \mathrm{P}(\mathrm{v})]$

吃了: $\lambda y \lambda x \lambda \lambda z[e \mid e a t(e), \operatorname{Agent}(e, x)$, Theme(e, y), OBL(e, z)]

$\Rightarrow$ 吃了两个: $\lambda x \lambda z[$ e, y $\mid$ eat(e), Agent $(e, x)$, Theme $(e$, $\mathrm{y}), \mathrm{y} \in$ 个(2, @v),OBL(e, z)]

我: $\lambda \mathrm{P}[\mid @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\} \wedge \mathrm{P}(\mathrm{i})]$
$\Rightarrow$ 我吃了两个: $\lambda z[\mathrm{e}, \mathrm{y} \mid \operatorname{eat}(\mathrm{e}), \operatorname{Agent}(\mathrm{e}, \mathrm{i}), @ \mathrm{i} .\{<\mathrm{i}$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2, @v),OBL $(\mathrm{e}, \mathrm{z})]$那些苹果: $\lambda \mathrm{P}[\mid @ \mathrm{w} .\{\operatorname{apple}(\mathrm{w})\} \wedge \mathrm{P}(\mathrm{w})]$ $\Rightarrow$ 那些苹果我吃了两个: [ e, y | eat(e), Agent(e, i), @i. $\{<\mathrm{i}$, speaker $>\}$, Theme(e, v), y $\in$ 个 $(2, @ \mathrm{v}), \mathrm{OBL}(\mathrm{e}$, w), @w.\{apple(w) \}]

$\Rightarrow$ (照応処理) [ e, y | eat(e), Agent(e, i), @i. $\{<i$, speaker $>\}$, Theme(e, y), $\mathrm{y} \in$ 个(2,@w), OBL(e, w), @w.\{apple(w)\}]

ここでの照応処理は統語部門の規定による local resolution である。動詞の項構造において、OBL により同時に Theme のギャップが補填されることが記載されている（(13）を参照されたい)。文の統語計算が完成する時点で、@vの値は@w に同一化される。

## 4. HPSG による形式化

本節では数量詞遊離に関して、第 2 節の語用論からの考察と第 3 節の意味論からの考察を、主辞駆動句構造文法 (Head-driven Phrase Structure Grammar, HPSG）により記述する。HPSG の設定と表示は Sag et al. (2003) のバージョンに基づいている。 IPT と $\lambda$-DRS は別々に、語用論部門（PRAG）及び意味論部門（SEM）において構成される。

下の（12）には、（1）のような話題化構文の主動詞の項構造を示す。文法諸部門のインタフェースとする項構造によって情報構造の指定を担うのは合理的だと思われる。同時に、文内の照応の情報や意味役割の分配の情報についても規定されており、まさに文法諸部門の「相互制約」を反映している。

（13）は（1）の中の一般助数詞の「个」の辞書項目を示す。ここはALFA_ARG の値と半順序関係 $(\leq)$ にある ARG2 の値、とギャップの補填子の意味論部門に記載される項の值とが同值であると指定するこ
とによって、統語計算が完了する時点で、分離数量詞が実質的な名詞的内容物を獲得する。

(13)

## 5. おわりに

本稿では、中国語の数量詞分離構文を語用論及び意味論の両側面から分析した。語用論から、数量詞分離構文はホスト名詞と分離数量詞とが基盤対焦点の関係にあり、数量詞が連体修飾する名詞句全体が基盤や焦点の位置にある文とは異なる。このような情報構造の分布は意味解釈に相応の制約をもたらす。 Chierchia の名詞意味論により、本稿は一貫した形式意味計算の手続きを提供している。数量詞分離は語用論的な動機に基づく構文であると言える。また、

中国語の discourse configurational language としての性格も明らかになった。このような分析は形式文法の理論的な面において、制約に基づく並列的処理の妥当性を証明している。将来の課題として、この分析を他の言語現象にも適用し、この文法体系の実装を行いたいと思う。

## 参考文献

Bos, J., Mastenbroek, E., McGlashan, S., Millies, S., and Pinkal, M. (1994). The Verbmobil semantic formalism (version 1.3). Verbmobil Report 6, Universität des Saarlandes, Saarbrücken, Germany.

Chierchia, G. (1998b). Reference to kinds across language. Natural language semantics, 6(4), 339405.

Engdahl, E. and E. Vallduví (1996). Information packaging in HPSG. In: C. Grover and E. Vallduví (eds.) Edinburgh working papers in cognitive science, 12, 1-32. Scotland: Centre for Cognitive Science, University of Edinburgh.

Gao, Q. (2001). Argument structure, HPSG, and Chinese grammar. Doctoral dissertation, The Ohio State University.

Kamp, H. and U. Reyle (1993). From Discourse to Logic. Dordrecht: Kluwer Academic Publishers.

LaPolla, R. J. (1990). Grammatical relations in Chinese. Synchronic and diachronic considerations. Ph. D. dissertation, UC Berkeley.

LaPolla, R. J. (1995). Pragmatic relations and word order in Chinese. In: Pamela A. Downing and Michael Noonan (eds.), Word order in discourse, 297-329. John Benjamins Publishing.

Lyons, C. (1999). Definiteness. Cambridge University Press.

Miyagawa, S. (1989). Syntax and Semantics 22: Structure and Case Marking in Japanese. San Diego: Academic Press.

Muskens, R. (1996). Combining Montague semantics and discourse representation. Linguistics and phil -osophy, 19(2), 143-186.

Sag, I. A., T. Wasow and E. Bender (2003). Syntactic Theory: A Formal Introduction (2nd ed.). Stanford: CSLI Publications.

Tsao, Feng-fu. (1987). A topic-comment approach to the ba construction. Journal of Chinese Linguisitcs, 15, 1-54.

Vallduví, E. (1990). The informational component. Ph.D. Dissertation, University of Pennsylvania.

Van Valin, R. D., Jr. and LaPolla, R. J. (1997). Syntax: Structure, meaning, and function. Cambridge University Press.

高見健一 (1998)「日本語の数量詞遊離について: 機能論的分析 (下)」『言語』27:3.99-107

小林昌博 (2004)「数量詞の形式と量化の領域 : 日英語の対照の観点から」、佐藤滋・堀江薰・中村涉編『対照言語学の新展開』,125-135.ひつじ書房山口直人（2005）「中国語の遊離数量詞」『日中言語対照研究論叢』(7), 114-131.


# 定理証明に基づく対話的な自然言語推論システム

隅田敦
東京大学
atsushisumita0421@gmail.com
}

峯島宏次
慶應義塾大学
}

minesima@abelard.flet.keio.ac.jp

宮尾祐介

東京大学

yusuke@is.s.u-tokyo.ac.jp
## 1 概要

自然言語推論 (Natural Language Inference; NLI) とは, ある文から別の文が帰結するか否かを判定するタスクである [1]. 自然言語推論は質問応答, 自動要約, ファクトチェックなどの様々な応用先が考えられ, 近年では自然言語理解のベンチマークとしても重要性を増している [2].

本論文では, 計算機と人間のインタラクションが NLI を解く上で有益であるかを検討する.ここでインタラクションとは, 人間と計算機が互いの弱みを補完しながら協力して NLI タスクを解くという形式を想定している. 一般的に, 人間の方が語彙間の含意関係や常識推論などの柔らかい判断に優れる一方で, 計算機の方が交錯した論理関係の包括的な探索や検証において優位性があると考えられる. 自然言語推論は様々な意味現象が組み合わさった複雑な夕スクであり,これら両方の意味現象を処理する必要がある.

本研究では形式意味論と定理証明器を用いるアプローチに着目する. 定理証明器は複雑な数学的命題や形式手法の証明を補佐するためのソフトウェアであり, 人間と計算機が互いの強みを活かしてインタラクティブに複雑な課題を解決している好例である.いくつかの既存研究において, 自然言語の意味を論理式を用いてモデル化する形式意味論 $[3,4]$ と組み合わせることで, 定理証明器を NLI に応用することが出来ることが示されている $[5,6,7]$. しかし, 定理証明器の重要な特徴であるインタラクティブな課題解決という側面に目を向けた NLI システムはこれまでに十分に研究が行われて来なかった.

そこで, 本研究では形式意味論と定理証明器に基づいた NLI システムである ccg2lambda [8] に, 証明
に関する知識が不足した際にユーザーが自然言語でインタラクションを行うことが出来るシステムを提案する。

仮説の検証のために，SICK [9] をデータセット， Amazon Mechanical Turk にて募ったクラウドワー カーを被験者として適合率, 再現率, 精度を計測し, エラー分析を行った. 以降で提案手法と実験について詳細に説明する。

## 2 提案手法

本節ではユーザーと定理証明器とのインタラクションを実現するための提案手法について説明する. 重要な点として,インタラクションは基本的に自然言語で行われる.これにより, 形式意味論や定理証明器について知識がないユーザーであってもインタラクションが可能となる.

図 1 に提案手法の大枠を示した. 提案手法の内, セマンティックパーザーと定理証明器については既存手法を用いている. まず，ユーザーが証明したい文の組をシステムに入力し,これがセマンティックパー ザーにより論理式に変換される.これが定理証明器に入力される. 定理証明器は証明をいくつかのサブゴールと呼ばれる命題に分解し, 全てのサブゴールが証明された時に全体の証明が完成する. 図 1 の例では, person $(x 0)$, move $(e 0)$ がサブゴールである.

本研究ではサブゴールを自然言語に変換しユー ザーに提示するインタラクティブな NLI システムを提案する. 以下, サブゴールを自然言語に変換したものを可読なサブゴールと呼ぶことにする.より正確には, あるサブゴールの可読なサブゴールとは, 前提文とそのサブゴールが真の時かつその時のみ真となるような自然言語文のことである。図の例では, person $(x 0)$, move $(e 0)$ に対応する可読なサブゴール

(1)ユーザーの入カを論理式に変換

図 1 提案手法によるインタラクションの例. ユーザーが証明したい文対を入力すると, セマンティックパーザーにより文対が論理表現に変換され，定理証明器に入力される。証明が完成しなかった場合にサブゴールを抽出し，提案手法により可読なサブゴールが生成されユーザーに提示される. ユーザーの反応に応じて公理が生成され，証明が続行される.

は The man is a person, The man is moving となる. ユー ザーが可読なサブゴールの真偽を入力すると, それに応じて新たな論理式が公理として生成され, 定理証明器にフィードバックされる. 以下でより詳細なステップについて説明する。

## 2.1 可読なサブゴールの生成

サブゴールを可読なサブゴールに変換する問題を考える. 以下の説明では, 図 1 中の move $(e 0)$ を例にとる.

サブゴールを自然言語文に変換するためには, サブゴールに含まれていないが自然言語文には必須の要素を識別し正しく補充することが必要となる. 例えば, 適格な (英語の) 自然言語文は主語が必ず必要である. move $(e 0)$ の例では, 誰が moveしているのかを識別しなければならない。

まず第一ステップとして, 可読なサブゴールに含めるべき変数の集合を識別する.これは論理式中の意味役割を表す式から識別できる. 意味役割は主語や動詞の必須項などを表現しており, 適格な自然言語文には含める必要がある. よって, 各変数についてその変数が含まれている意味役割の式を抽出し, その式に含まれている全ての変数を集合に追加するという手続きを再帰的に適用すれば良い. 現在の例では, $\operatorname{Subj}(e 0)=x 0$ から可読なサブゴールに含めるべき変数は $\{e 0, x 0\}$ であることが分かる.次のステップでは，それぞれの変数に語を割り当て, 変数の内容を自然言語で表す.これには, その変数を引数としている述語を選択すれば良い.現在の手法では entity 型の変数に関してはそれを引数に取る名詞を, event 型の変数に関してはそれを引数に取る動詞を選択している. 現在の例では, $x 0$ には man, $e 0$ には move を選ぶ. 結果として, $\{e 0$ : “move”, $x 0$ : “man” $\}$ を得る.

最後に, 得られた語の正しい語順と必要な機能語を適宜補充し, 文法的に正しい文を生成する. 可読なサブゴールはごく簡単な宣言文なので, 語の品詞から語順, 時制, 必要な機能語を特定するルールベースのシステムが比較的容易に構築可能である.この例では, The man is moving が可読なサブゴールとなる.

表 1 に実際に生成された可読なサブゴールを示した. 二列目にサブゴール, 三列目に可読なサブゴールが示されている.

## 2.2 ユーザーの反応

可読なサブゴールを受け取ったユーザーは true, false, unknown から一つを選び, これを返答とする。 true が選択されると, 可読なサブゴールが論理表現に変換され, 公理として定理証明器に追加される. false が選ばれた場合には可読なサブゴールを否定した論理表現が追加される. unknown が選ばれた場合には公理は追加されず, 証明が完成しないことが

 & boy $(x 0)$ & The kid is a boy. & $\forall x, \operatorname{kid}(x) \rightarrow \operatorname{boy}(x)$ \\
 & & & \\

and the man is smiling nearby. & near $(e 0, x 1)$ & The man is with a smile. & $\forall x, y, e, \operatorname{boy}(x) \rightarrow$ \\
H: The kids are playing outdoors near a & with $(e 1, ? x 2)$ & The boys are near a man. & $\operatorname{Subj}(x)=e \wedge \operatorname{near}(e, y)$ \\
man with a smile. & $\operatorname{smile}(? x 2)$ & & $\wedge \operatorname{man}(y)$ \\

H: Two dogs are wrestling and hugging. & hug $(e 1)$ & The dogs are hugging. & $\forall e, \operatorname{fight}(e) \rightarrow \operatorname{wrestle}(e)$ \\

表 1 文のペアに SICK の訓練データから抽出した文を示している，T から始まる文が前提文, $\mathbf{H}$ から始まる文が帰結文であり, 前者から後者への含意関係を示すことがタスクの内容となる. イタリックで示した箇所が非論理的推論が必要となる箇所であり, サブゴールとして定理証明器により出力される. サブゴールには定理証明器が証明出来なかった命題を示している. 可読なサブゴールには提案手法が生成しユーザーに提示された文を示した. 公理にはユーザーが trueで反応した場合に生成される論理式を示した.

表 2 SICK における適合率, 再現率, 精度. チェックマークは axiom injection [5], readable subgoal は提案手法の可読なサブゴールを使用しているか否かを示している。

確定するのでプロセスが停止する. 表 1 の四列目に trueが選択された場合の公理を示した.

## 3 実験

## 3.1 データ

提案手法の評価には, 語彙的な推論と論理的な推論の両方を適度に含み, 関連する既存手法 $[5,6]$ においても使用されている自然言語推論データセットである SICK [9]を用いた. SICK は 10000 件の文対から成り, 各文対について一つ目の文から二つ目の文が帰結するか否かを判定する分類タスクである. 正解ラベルは entailment, contradiction, neutral の三通りである.

## 3.2 実験設定

セマンティックパーザーには ccg2lambda [8], 定理証明器に Coq [10] を使用した. SICK の訓練データからサンプルした 1000 ペアを depccg と ccg2lambdaにより論理表現に変換し, 定理証明器に渡して証明を行った. 定理証明器が証明を完成させた場合はプロセスが終了する. 証明が完成しなかった場合はサブゴールを抽出し, 提案手法により可読なサブゴール
を生成し, ユーザーがインタラクションを行う. 本実験においては Amazon Mechanical Turkにより被験者を募り,各ペアについて 3 人が true, false, unknown を付与した. 精度を高めるため, 3 人が一致した時のみ公理を生成した。

## 3.3 結果

適合率, 再現率, 精度を表 2 に示した. 一行目のベースラインは majority class であり, $61.5 \%$ を占める neutral の割合を示している. 二行目は ccg2lambda [8] の結果であり, $99.7 \%$ と高い適合率を達成しているが, 再現率が $34.7 \%$ と低く, 全体として低い精度となっている. 三行目に ccg2lambdaを拡張し知識デー タベースから公理生成を行う word abduction [5] の結果を示した. 語彙的推論がカバーされたため再現率が $53.8 \%$ に向上している. 四行目に提案手法の結果を示した. 再現率は $59.0 \%$ と最も高く, 偽陽性も少なく適合率の高さも維持されたため, 精度についても比較した手法の中では最も良い結果となった.

## 3.4 エラー分析

提案手法の成功例と失敗例について表 3 にまとめた.

 & Yes & Yes & The helmet is red. \\

表 3 本実験中に得られた提案手法の成功例と失敗例. 単純な語彙間の含意関係では捉えられない句間の含意関係が捉えられている (1-2 行目). 一方で, 帰結文との重複が多いケース (3 行目) や蓋然性を高めるだけの関係を含意とアノテーションしてしまうケース (4-5 行目) が多く見られた.

一行目のペアは成功例である.この証明を完成させるためには, 句間に成立する含意関係を認識する必要があり, 単純な語彙間の含意関係に基づいた手法では処理することが出来ない. より形式的には, ここで用いられている知識は以下のようなものである. The helmet is red については

$
\begin{aligned}
& \forall x, y, e, \operatorname{paint}(e) \wedge \operatorname{red}(x) \wedge(\operatorname{Acc}(e)=x) \\
& \wedge(\operatorname{Dat}(e)=y) \rightarrow \operatorname{red}(y)
\end{aligned}
$

The man is a motorcyclist については

$
\begin{gathered}
\forall e, x, y, \text { ride }(e) \wedge \operatorname{man}(x) \wedge \operatorname{motorcycle}(y) \\
\rightarrow \operatorname{motorcyclist}(x)
\end{gathered}
$

実際この例においては知識ベースにより公理を生成する既存手法 [5] は証明を完成させることが出来ていない. 二行目に示した例も同様に, ride the wave から surf を導く必要がる.

三行目に示した例は成功しているがやや問題を含んでいる. 可読なサブゴールは正しく生成され予測結果も正しいが, 帰結文とほとんど重複してしまっている.これは帰結文が短すぎるために分解の余地がないためである.したがってこのようなケースでは可読なサブゴールを介する有用性が低く, より長い前提文・帰結文において提案手法が価値を発揮することが示唆される。

四行目に示した例は典型的な失敗例である.この例では The stage is a podium という可読なサブゴールに対して true とラベルが付与されたが, 全ての stage が podium である訳ではないので unknown が正しい反応となる. ただしこの文脈で stage が podium であるという蓋然性は高く, このようなケースと他の語彙間の含意関係や常識判断の間に厳密な線を引くのは難しい. 五行目に示した例も同様である.
また, 曖昧性のある場合にも解析誤りが見られた. 例えば The men are women はその女性は男性であるともその女性は人間であるとも解釈でき, それぞれの解釈の下で適切な反応が異なってしまう。このような曖昧性の解消が将来的には必要になると考えられる。

他の失敗ケースで多く見られたのは CCG タグ付けやセマンティックパーザーなどの前処理の段階での解析結果の誤りが影響するケースである. 特に複合表現など構成性を満たさない表現は誤った意味表現が付与される例が多く見られた.

## 4 結論と今後の課題

本論文では形式意味論と定理証明器に基づいたインタラクティブな自然言語推論システムを提案した. 実験の結果, 提案手法により再現率と精度が向上しており,ユーザーとのインタラクションが有益であることが示された.

今後の課題としては, 前節で示した典型的な失敗例の解決に加え, より複雑な設定でインタラクションを成立させることが挙げられる. SICK は単文と単文の間の含意関係を認識するタスクだが, 人間が論理関係を包括的に把握するのが困難な量のドキュメントを前提文とする場合の方が応用上は有益である. そのためには共参照などの問題を考慮する必要が生じる. また, SICK では非論理的推論のほとんどがシンプルな語彙間の推論だが, 常識推論などのより高度かつ計算機には処理が難しい推論を含んだ場合にもインタラクションを成立させることが出来れば, ユーザーとシステムの協働により高い価值を見いだせるので,これらを今後の課題としたい.

## 参考文献

[1] Omer Levy, Torsten Zesch, Ido Dagan, and Iryna Gurevych. Recognizing partial textual entailment. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 451-455, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[3] Terence Parsons. Events in the Semantics of English. MIT Press, 1990

[4] Claudia Maienborn. Event semantics. In Claudia Maienborn, Klaus von Heusinger, and Paul Portner, editors, Semantics. An International Handbook of Natural Language Meaning, volume 1, pages 802829. Mouton de Gruyter, 2011.

[5] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pages 710-720, Valencia, Spain, April 2017. Association for Computational Linguistics.

[6] Hitomi Yanaka, Koji Mineshima, Pascual MartínezGómez, and Daisuke Bekki. Acquisition of phrase correspondences using natural deduction proofs. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 756-766, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 115-120,
Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL2016 System Demonstrations, pages 85-90, Berlin, Germany, August 2016. Association for Computational Linguistics.

[9] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), pages 216-223, Reykjavik, Iceland, May 2014. European Language Resources Association (ELRA).

[10] Yves Bertot and Pierre Castéran. Interactive Theorem Proving and Program Development: Coq'Art: the Calculus of Inductive Constructions. Springer, 2013.


# ニューラルネットが学習する意味表現は体系性を持つか

谷中 瞳 1 峯島 宏次 ${ }^{2}$ 乾 健太郎 3,1
1 理化学研究所 2 慶應義塾大学 3 東北大学
}

hitomi.yanaka@riken.jp minesima@abelard.flet.keio.ac.jp inui@ecei.tohoku.ac.jp
## 1 はじめに

大規模計算環境の発展に伴い，大量のテキストデータを扱うことが可能となり，機械翻訳や質問応答といった様々な自然言語処理タスクにおいて，深層ニューラルネット (DNN) を用いた手法 $[1,2]$ が高精度を達成しつつある。一方で，DNN がデータセット中の表層的な関係やバイアスを学習しているという問題が指摘されており $[3,4]$, DNN が自然言語の意味を学習できているのかは自明ではない.

DNNによる表現学習の問題として，DNNによる意味表現が, 形式意味論で考えられてきた構成性 (compositionality) の原理一文全体の意味が構成要素の意味から統語構造に従って決まるという性質一を満たしているか，という問題がある。この問題は人間の認知のモデリングに関する 2 つの理論，すなわち，コネクショニズムと古典的計算主義の対立として古くから議論されている。その中で Fodor [5] は， Ann loves Bob という文の内容を思考できれば，Bob loves Ann という文の内容も思考できるというように, 人間の認知能力には, ある処理ができれば関連した処理もできるという体系性 (systematicity) があることを主張している. Yanaka ら [6] は，この体系性の問題を再考し，現行の DNN が自然言語推論 (Natural Language Inference, NLI) を体系的には学習していないことを実証的に示した。しかし，DNNがなぜデータから NLIを体系的に学習できないのか,具体的には，DNN が文の意味を体系的に学習できないのか，それとも文間の推論に必要な規則を学習できないのかについては，特定できていなかった。

そこで本論文では，文から意味表示に変換する意味解析のタスクを用いて，DNN が文の構成的な意味を体系的に学習できているのか分析を行う. 本論文の貢献は，(i) 意味解析で DNN の体系性を評価する方法の提案, (ii) 現行の DNN の意味における汎化性能の範囲の特定，の二点である。評価に用いるコードは研究利用が可能な形式で公開予定である.

## 2 関連研究

近年，SCAN [7] や CLUTRR [8] といった，自然言語の命令を入力とし命令に対応する行動を示す記号系列を出力する構成的なタスクで, DNN の汎化性能を評価するデータセットが数多く提案されている。しかし，これらは単純な人工タスクを扱っており，より複雑な構成性をもつ自然言語の意味における DNN の汎化性能については自明ではない。そこで Yanaka ら [6] は重要な推論現象の一つである monotonicity [9] に着目して，DNNの NLIにおける体系性を分析する手法を提案し，現行の DNN が NLI を体系的には学習していないことを示したが，体系的に学習できない原因は特定できていなかった。

また，DNNの自然言語における文法性を分析する先行研究として, 名詞と動詞の数の一致 (subject-verb agreement) に着目した分析 [10] や，自然言語文から述語項構造への変換タスクを用いた分析 [11] がある.しかし, これらの先行研究では数の一致や受動態の文を学習し能動態の文に汎化するかといった形態論的・統語論的な汎化を中心に分析しており，否定や量化といった意味論的な汎化は扱っていない。 また, [11] では 1 種類の意味表示を扱っており, 評価指標も正解との完全一致率に限定されていた。意味表示は $A \wedge B$ と $B \wedge A$ が同じ意味を表すように，形式が違っていても同じことを表現しうるため，意味表示の機能に基づいて評価する必要がある。そこで本研究では意味論的な汎化を分析対象として, 複数の意味表示の形式と複数の評価指標を用いることで，意味解析におけるDNNの総合的な分析を行う.

## 3 分析手法

## 3.1 概要

本研究では先行研究 [6] の (i) 未知の組合せと (ii)未知の深さという 2 つの体系性の評価の観点を用いて，DNN が文から意味表示への変換を体系的に学
表 1 意味解析データセットの例. 学習 $1 \cdot 2$ は学習データ $1 \cdot 2$ の略. 中央・非中央は埋め込み節の種類.

 & 入力文 & 正解の意味表示 &  \\

&$ 中央 \\
& 深さ $1: \\
&$ 非中央 \end{aligned} &  &  & \\

習できているのかについて分析を行う。言語現象の網羅性と文の自然さをコントロールするため, 分析には文脈自由文法 (CFG) の生成規則によって自動構築したデータセットを用いる。まず，CFG の生成規則（付録の表 7 参照）に従って, 文と $\mathrm{CFG}$ 構文木を生成する. 次に, $\mathrm{CFG}$ 構文木と単語への意味割り当てに基づいて，ラム分計算によって意味表示を合成する. 提案手法によって自動構築したデータの例を表 1 に示す.

また，文を入力として文を出力する Autoencoder の設定をベースラインとして意味解析の予測精度と比較し, 文のエンコードの汎化に限界があるのか,意味表示へのデコードの汎化に限界があるのかを考察する. 意味表示には一階述語論理に基づく形式 (以下, FOL) と, 括弧と変数を除去した形式 $[12,13]$ (Variable-Free form, VF) の 2 種類の形式を用いて,意味表示の形式の違いと学習の難しさの関係を分析する. 例えば，(1)の文には次の 2 種類の意味表示 （FOL, VF）が割り当てられる.

(1) All white dogs ran FOL: $\forall x_{1} \cdot\left(\boldsymbol{w h i t e}\left(x_{1}\right) \wedge \operatorname{dog}\left(x_{1}\right) \rightarrow \operatorname{run}\left(x_{1}\right)\right)$ VF: ALL AND WHITE DOG RUN

## 3.2 未知の組合せにおける体系性

本節では，DNNが量化表現と修飾表現の組合せからなる文の意味を体系的に学習できているかにつ
いて分析する手法を紹介する。この分析では，量化表現と修飾表現の組合せの学習に最低限必要なデー タを学習データとしてモデルを訓練し, 学習データにない未知の組合せをテストデータとしてモデルを評価する.

表 1 の例を考えよう.ここでは存在量化の一つ one を基本量化表現, tiger を基本の項として固定し, これに形容詞, 副詞, 結合子の 3 タイプ×各 5 語の合計 15 語の修飾表現を組み合わせた文の集合を学習データ 1 とする. また, 基本量化表現を含め存在量化 (a,one), 数量表現 (two, three), 全称量化 (every, all)の 3 タイプ×各 2 語の合計 6 語の量化表現と,基本の項との組合せから構成される文の集合を学習データ 2 とする. モデルが学習データ 1 と学習デー タ 2 からの学習で体系性を獲得していれば，テストデータ中のあらゆる量化表現と修飾表現の組合せからなる文の意味を正しく予測できるはずである．本論文では, 組合せの訓練に十分なデータサイズとして合計 50,000 件のデータを用意し, その中で基本量化表現に応じて学習データ約 12,000 件とテストデータ約 38,000 件に分割する.

## 3.3 未知の深さにおける体系性

体系性の性質の一つに，有限の文法規則から無限の文を生成できるという生産性 (productivity) がある. DNNが生産性を捉えていれば，文の構造がどれ
表 2 修飾表現のタイプ別の完全一致率の評価結果.

だけ深くなっても, 構造の規則性から文の意味を計算できるはずである. そこで本節では，モデルが生産性を学習できているか分析する手法を紹介する。

この分析では, 表 1 の例のように埋め込み節を含まない文を深さ 0 , 埋め込み節を 1 つ含む文を深さ 1 と呼び，深さ 0 と深さ 1 のデータを学習データとしてモデルを訓練する. そして，学習データよりも深い埋め込み節を含むテストデータでモデルを評価する. 本論文ではテストデータの深さは最大 4 とし, 学習に十分なデータサイズとして各深さ 20,000 件のデータを用意する. また, 深さ以外の語彙と構文規則は学習データとテストデータで共通にする。

## 4 実験

## 4.1 実験設定

自然言語における汎化性能の評価に用いられる標準的なモデルとして, GRU に基づくseq2seq [14] と, Transformer に基づくs seq2seq [15] の 2 種類のモデルを評価した。実装には PyTorch を用いた。GRU のエンコーダ，デコーダは 1 層の単方向 $\mathrm{GRU}^{11}$ を用い,隠扎状態は 256 次元とした. Transformer のエンコー ダ，デコーダは共に 3 層とし， モデルサイズは 512 次元，隠れ状態は 256 次元とした。上記以外のパラメータはすべて共通で, 埋め込み層は 256 次元, ドロップアウトの確率は 0.1 , ミニバッチサイズは 128 とし, 最適化手法には初期学習率を 0.0005 とした Adam [16] を使用した. 各実験を 5 回ずつ行い，平均の精度を最終的なモデルの評価結果とする.

## 4.2 評価指標

モデルが予測した FOL の意味表示は, (i) 正解の意味表示との完全一致率に加えて，意味表示の構造

1）双方向よりも単方向のエンコーダの方が文の構造に頑健であるという報告 [11] があり，本論文では単方向を採用した.

や機能を考慮した評価方法として，(ii) 自動定理証明 (automated theorem proving, ATP) による評価，(iii) monotonicity に基づく評価の計 3 種類の方法で評価する.

ATP による評価一階述語論理の定理証明器 vampire ${ }^{2}$ を用いて, (i) 正解の意味表示 $G$ が予測の意味表示 $P$ を含意するか $(G \Rightarrow P)$, (ii) 予測の意味表示 $P$ が正解の意味表示 $G$ を含意するか $(G \Leftarrow P)$, という双方向の含意関係の証明を試み，評価を行う。

monotonicity に基づく評価予測した意味表示が否定や量化のスコープを正しく捉えられているか分析するため, 論理式中の各述語に対して極性 (polarity)を計算し, 適合率, 再現率, $\mathrm{F}$ 值を評価する. 極性は FOL の意味表示から計算でき，(2) のように存在量化 $(\exists)$ の中では upward monotone ( $\uparrow)$, (3) のように条件 $(\rightarrow)$ の前件や否定 $(\neg)$ のスコープの中では downward monotone $(\downarrow)$ と計算できる. また， (4) の dogs のように downward monotone に 2 回埋め込まれると, さらに極性が反転する。

(2) One dog ran: $\exists x \cdot\left(\operatorname{dog}^{\uparrow}(x) \wedge \operatorname{run}^{\uparrow}(x)\right)$

(3) All dogs ran: $\forall x \cdot\left(\boldsymbol{\operatorname { d o g }}^{\downarrow}(x) \rightarrow \operatorname{run}^{\uparrow}(x)\right)$

(4) All dogs didn’t run: $\neg \forall x \cdot\left(\boldsymbol{d o g}^{\uparrow}(x) \rightarrow \operatorname{run}^{\downarrow}(x)\right)$

## 4.3 実験結果

未知の組合せにおける体系性表 2 に修飾表現のタイプ別の完全一致率による評価結果を示す. 両モデルとも結合子 > 副詞 $>$ 形容詞の順に精度が高く,否定の有無については特別な傾向はない。これは表 1 の例のように，形容詞を追加すると後続の語の位置がずれるのに対して，副詞や結合子を文末に追加した場合は語の位置が変化せず，文の構造を記憶しやすいことが影響していると考えられる.

表 3 に量化表現のタイプ別の完全一致率による評価結果を示す. GRU と Transformerの結果を見ると，基本量化表現である one と同じ存在量化の量化表現

2) https://github.com/vprover/vampire

表 5 量化表現のタイプ別の monotonicity に基づく FOL の評価結果. prec : 適合率, rec : 再現率, f1 : F 值.

表 6 未知の深さにおける評価結果.

に対してほぼ 100\%の完全一致率であり，学習デー タ 1 の基本量化表現と同じタイプの量化表現を含む組合せには汎化しやすいことが示唆される。（他のタイプの量化表現を基本量化表現とした場合の結果は付録の表 8 , 表 9 参照. ) 意味表示間の違いとしては, FOL よりも括弧・変数がなく単純な形式である VFの方が汎化しやすい傾向がある. モデル間の違いとしては， Transformer は文を入力とし文を出力する Autoencoder の設定で精度が低く, 文のエンコー ド時に汎化できていないと考えられる.

ATP による評価結果（表 4）と monotonicity に基づく評価結果（表 5）を見ると, 完全一致率よりも精度が高い. これは括弧の数や等価な論理式の出現順序が正解とは異なるため, 完全一致率では誤答とみなされるケースがあるからである. monotonicity で評価した場合は全称量化の downward の精度が低く, 全称量化のスコープを学習することが難しいことを示している. さらに，ATPの全称量化の精度を見ると, GRU は双方向で低いのに対し Transformer では $G \Leftarrow P$ よりも $G \Rightarrow P$ の精度が低い. 実際のエラーを見ると次のように GRU は修飾表現が丸ごと抜けているエラーが多く, Transformer は前件の位置
が誤っているエラーが多いという違いが見られた。

入力文 Every wild cat escaped or ran

正解 $\forall x .((\operatorname{cat}(x) \wedge \operatorname{wild}(x)) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

$\operatorname{GRU} \forall x .(\operatorname{cat}(x) \rightarrow(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

Trans $\forall x .(\operatorname{cat}(x) \rightarrow \operatorname{wild}(x) \wedge(\operatorname{escape}(x) \wedge \operatorname{run}(x)))$

未知の深さにおける体系性表 6 を見ると, 両モデルとも未知の深さに対してはほぼ汎化できていない。また，文を入力とし文を予測する Autoencoder の設定では，GRU は深さ 2 を含む文を $15.8 \%$ 予測できているが，両モデルとも精度が低く，文のエンコードが汎化できていないことが示唆される.

## 5 おわりに

本論文では, DNN がデータからの学習で文の構成的な意味における体系性を獲得しているかについて分析する手法を紹介した。実験の結果, GRU, Transformer ともに量化表現と修飾表現の組合せにおいて学習データと文の構造が変わらない場合は汎化しやすい一方で，未知の深さなど構造が変わる場合は文のエンコード時に汎化できていないことが示唆された。また，ATP や monotonicity で評価することでモデルのエラー傾向を特定でき，表面的な形式だけでなく意味表示の機能を考慮した指標で評価する必要性が示唆された。今後, SCAN などの人工タスクで高精度を達成しているモデル [17] を提案手法で分析し, 構成性を満たす表現学習の検討を進める。

謝辞. 本研究は理研・産総研「チャレンジ研究」(FS 研究), JSPS 科研費 JP20K19868 の助成を受けたものである。

## 参考文献

[1] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the International Conference on Learning Representations (ICLR), 2019.

[2] Jacob Devlin, Chang Ming-Wei, Lee Kenton, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 41714186, 2019.

[3] R. Thomas McCoy, Ellie Pavlick, and Tal Linzen. Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3428-3448, 2019.

[4] Nelson F. Liu, Roy Schwartz, and Noah A. Smith. Inoculation by fine-tuning: A method for analyzing challenge datasets. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 2171-2179, 2019.

[5] Jerry A. Fodor and Zenon W. Pylyshyn. Connectionism and cognitive architecture: A critical analysis. Cognition, Vol. 28, No. 1-2, pp. 3-71, 1988.

[6] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do neural models learn systematicity of monotonicity inference in natural language? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 6105-6117, 2020.

[7] Brenden M. Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequenceto-sequence recurrent networks. In Proceedings of the 35th International Conference on Machine Learning (ICML), 2017.

[8] Koustuv Sinha, Shagun Sodhani, Jin Dong, Joelle Pineau, and William L. Hamilton. CLUTRR: A diagnostic benchmark for inductive reasoning from text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 4506-4515, 2019.

[9] Johan van Benthem. Determiners and logic. Linguistics and Philosophy, Vol. 6, No. 4, pp. 447-478, 1983.

[10] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[11] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 90879105, 2020.

[12] Franz Baader, Diego Calvanese, Deborah McGuinness, Peter Patel-Schneider, Daniele Nardi, et al. The Description
Logic Handbook: Theory, Implementation and Applications. Cambridge university press, 2003.

[13] Ian Prat-Hartmann and Lawrence S. Moss. Logics for the relational syllogistic. The Review of Symbolic Logic, Vol. 2, No. 4, pp. 647--683, 2009.

[14] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 17241734, 2014.

[15] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In $A d-$ vances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), pp. 5998-6008, 2017.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the International Conference on Learning Representations (ICLR), 2015.

[17] Yewen Pu, Kevin Ellis, Marta Kryven, Josh Tenenbaum, and Armando Solar-Lezama. Program synthesis with pragmatic communication. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (NeurIPS), 2020.

## A 付録

未知の組合せにおける体系性の評価の補足 one を基本量化表現, $\operatorname{dog}$ を基本の項としたときの学習データ 1 に含まれる文の例を (5) に示す. 学習デー タ 1 を通して，モデルに修飾表現を含む文のパター ンを一通り訓練させる。また，学習データ 2 に含まれる文の例を (6) に示す. 学習データ 2 を通して, モデルに量化表現を含む文のパターンを一通り訓練させる. モデルが学習データ 1 と学習データ 2 を体系的に学習できていれば，(7)にあるような様々な量化表現と修飾表現の組み合わせからなる文についても正しい意味表示を予測できるはずである.

(5) a. One small dog ran

b. One dog ran quickly

c. One dog ran or came

(6) a. One dog ran

b. A dog ran

c. Every dog ran

d. Two dogs ran

(7) a. A small dog ran

b. Every dog ran quickly

c. Two dogs ran or came

表 7 にデータ構築に用いた生成規則と語彙項目を示す. 語彙は分析のしやすさを考慮して自然かつ基本的な文を生成するよう一般名詞・固有名詞 ・自動詞・他動詞は各 10 語, 量化表現は 6 語（存在量化,数量表現, 全称量化それぞれ 2 語), 形容詞・副詞は各 5 語を選定し，マルチワードは使用しない.

表 8 に数量表現の two を基本量化表現とした場合, 表 9 に全称量化の every を基本量化表現とした場合の, 量化表現のタイプ別の完全一致率の評価結果を示す.いずれも基本量化表現と同じタイプの量化表現を含む組合せの予測精度が他のタイプの予測精度よりも高くなっており, 基本量化表現と同じタイプの量化表現を含む組合せには汎化しやすいことが示唆される.

未知の深さにおける体系性の評価の補足基本量化表現 one を含む深さ 2 以上のケース 1000 件を学習データに追加した場合の結果を表 10 に示す.表 10 を見ると, 表 6 と同様の結果であり, 深さ 2 以上のケースを一部モデルに教えても深さ 2 以上は汎化できていないことがわかる.表 7 データ構築に用いた生成規則と語彙項目（抜粋）。

## 文の生成規則

$\mathrm{S} \quad \rightarrow \quad \mathrm{NP} \mathrm{VP} \mid \mathrm{NP}$ did not $\mathrm{VP}$

$\mathrm{VP} \rightarrow \mathrm{IV}|\mathrm{IV} \mathrm{ADV}| \mathrm{IV}^{2}$ or $\mathrm{IV}^{\prime} \mid \mathrm{IV}$ and $\mathrm{IV}^{\prime} \mid \mathrm{TV}$ NP

$\mathrm{NP} \rightarrow \mathrm{PN}|\mathrm{QN}| \mathrm{Q}$ ADJ $\mathrm{N} \mid \mathrm{QN} \overline{\mathrm{S}}$

$\overline{\mathrm{S}} \rightarrow$ that TV NP|that NP TV | NP TV

## 語彙項目

$\mathrm{Q} \rightarrow$ \{every, all, a, one, two, three \}

$\mathrm{N} \rightarrow\{$ dog, rabbit, cat, bear, tiger $\}$

$\mathrm{PN} \rightarrow$ \{ann, bob, fred, chris, eliott $\}$

IV $\rightarrow\{$ ran, walked, swam, danced, dawdled $\}$

$\mathrm{IV}^{\prime} \rightarrow$ \{laughed, groaned, roared, screamed $\}$

$\mathrm{TV} \rightarrow\{$ kissed, kicked, cleaned, touched $\}$

ADJ $\rightarrow$ \{small, large, crazy, polite, wild $\}$

$\mathrm{ADv} \rightarrow$ \{slowly, quickly, seriously, suddenly $\}$

表 8 量化表現のタイプ別の完全一致率の評価結果（数量表現の $t w o$ を基本量化表現とした場合）。

表 9 量化表現のタイプ別の完全一致率の評価結果（全称量化のeveryを基本量化表現とした場合）。

表 10 未知の深さにおける評価結果（基本量化表現 one を含む深さ 2 以上のケースを学習データに加えた場合).


# DTS の部分体系のための 定理自動証明器の実装に向けて

大洞日音
お茶の水女子大学
daido. hinari@is.ocha.ac.jp
}

戸次大介
お茶の水女子大学
bekki@is.ocha.ac.jp
}

$
\left[\begin{array}{l}
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
\operatorname{man}(x)
\end{array}}] \\
\operatorname{enter}\left(\pi_{1} u})
\end{array}}] \\
\text { whistle }\left(\pi_{1} \pi_{1} v})
\end{array}}]
$

図 1 DTS の例

$\exists x(\operatorname{man}(x) \wedge \operatorname{enter}(x)) \wedge$ whistle $(x)$

図 2 一階述語論理の例

には十分である．そこで本研究では，DTS の断片の ための定理自動証明器を新規に開発し, 定理証明器 の評価用ライブラリである Thousands of Problems for Theorem Provers (TPTP) ${ }^{1}$ を用いて定量的な評価を行 い，ある程度の推論を網羅できることを示した。
## 2 依存型意味論 (DTS)

高階型理論の一種であるDTS は, 関数型と直積型の一般化として П型と $\Sigma$ 型を用いる。 П 型は $(x: A) \rightarrow B$ という形で表記し, 後件の型 $\mathrm{B}$ は前件の型 $\mathrm{A}$ をつ項に依存する. $\Sigma$ 型は $(x: A) \times B$ と表記し， П型と同様に B が型 A もつ項に依存する. この性質から DTS は前提・照応など自然言語における複雑な現象を統一的に扱うことができる。図 1 は “A man enters. He whistles. ” から合成的に計算された DTS の意味表現である。一方，この文を語の意味から合成的に計算して一階述語論理で表記すると図 2 のようになるのが自然であるが，これは存在量化子のスコープが適切ではない. このように,自然言語の意味計算には一階述語論理の記述力を越える現象が多々存在するが，高階論理を用いた DTS では自然に扱うことができる.

DTS の定理証明は型理論における項の探索に対応している. 型理論では $\Gamma \vdash a: A$ という judgment を用いて文脈 $\Gamma$ において項 $a$ の型が $A$ であることを表す。一方, 論理的観点からこの judgment をみると, これは前提 $\Gamma$ のもとで命題 $A$ の証明が $a$ であ

る,という意味である.このことから， $a$ は証明項とも呼ばれ，証明項を探索することは証明探索と呼ばれる。

図 3 証明探索の例

図 3 で“?”の部分に当てはまる項を探索すると $\left(\pi_{1} \pi_{1} \pi_{1} t, \pi_{2} \pi_{1} \pi_{1} t\right)$ という証明項を得ることができ， これをデコードすることで証明探索においてどのような規則をどのような順番で適用したかという情報を得ることができる.

## 3 実装

本研究で実装した定理証明器の構造を図 6 に示す.

図 6 定理証明器の構造

アルゴリズムは Alligator [5] において提案されたものの改良である. forward_context では前向き推論を, deduce では後ろ向き推論を行っている. 前向き推論では, 前提と結論が与えられたとき, 前提に規則を繰り返し適用することで上から下へと自然演繹形式の証明木を構築し, 前提から導きうる命題を蓄積する，後万向き推論では，まず結論に規則を適用して証明のために必要なゴールを割り出し，下から上に証明木を構築していく形で推論を行う. forward_context は引数として前提を受け取り, 前向き推論の結果として得られた judgment のリストを返す。forward_context で使用する規則の一部を図 4 に示す. deduce は図 5 にあるような規則を用い
て後ろ向き推論を行い, judgment のリストを返す. deduce は無限再帰に陥る可能性があるため，探索の深さや，かかる時間に制限を置くことで，計算の制御を行っている.

## 4 評価

実装にはプログラミング言語 Haskell を用い，実験環境には産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})^{2}$ を用いた。定理自動証明器の評価のための包括的なライブラリである TPTP から, Alligator でカバーされていない等号や四則演算の問題を除いたデータセットによって評価を行った。 TPTP ライブラリに収録されている問題は図 7 のような形式である.

図 7 TPTPに収録されている二重否定律の問題

推論の結果と各評価ラベルの関係は, 図 8 のとおりである.

図 8 評価の形式

## 4.1 構文解析器 :

Haskell の Alex/Happy library $[7,8]$ を用いて TPTP フォーマットから Haskell のデータ型への変換を行う Alex/Happy Parser を実装した。このデータ型を中間言語として, 読み込んだ TPTP 形式の問題を, 本

2) https://abci.ai/
$\Gamma r_{F} z:\left[\begin{array}{l}x: A \\ B\end{array}\right]$

$\Gamma \vdash_{F} \pi_{1}(z): A$

$(\Sigma$-elim 1-1)

$
\frac{\Gamma \vdash_{F} z:\left[\begin{array}{l}
x: A \\
B
\end{array}\right]}{\Gamma \vdash_{F} \pi_{2}(z): B\left[\pi_{1}(z) / x\right]}
$

$(\Sigma$-elim 1-2)

$
\Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right]
$

$
\overline{\Gamma \vdash_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{1}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow A}
$

$(\Sigma$-elim 2-1)

$
\begin{aligned}
& \Gamma \vdash_{F} z: \Gamma_{1} \Rightarrow\left[\begin{array}{l}
x: A \\
B
\end{array}\right] \\
& \begin{array}{l}
n_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right. \\
\Gamma_{1}=\left[x_{1}: m_{1}, \ldots, a_{n}: x_{n}\right] \\
B^{\prime}=B\left[\pi_{1}(z) / x\right]
\end{array}
\end{aligned}
$

$
\overline{\Gamma r_{F} \lambda x_{1}: m_{1} \ldots x_{n}: m_{n} \cdot \pi_{2}(z)\left(x_{1}\right) \ldots\left(x_{n}\right): \Gamma_{1} \Rightarrow B^{\prime}}
$

$(\Sigma$-elim 2-2)

図 4 forward_context の規則 (一部)

研究の定理証明器が対応している Haskell データ形式や Alligator が対応している Prolog データ形式へ翻訳する.

## 4.2 証明探索：

本研究の定理証明器は, 与えられた文脈 $\Gamma$ と命題 $A$ について, $\Gamma \vdash ?: A$ という問題の証明項が見つかったときは YES ラベルを, $\Gamma+?: \neg A$ という問題の証明項が見つかったときは $\mathrm{NO}$ ラベルを返す．証明探索が停止せず，証明項が見つからなかった場合は UNK ラベルを返すが，このとき必ずしも命題が偽であるとは言えない点に注意する。

## 4.3 結果 :

探索の深さ制限を 8 と 9 に設定した際の結果を表 1 に示す. この結果から, accuracy は探索の深さ制限に依存することが考えられる ${ }^{3}$ ．表 2 で，YES

$\overline{\epsilon \vdash s: s^{\prime}}$

(axiom)

$
\begin{gathered}
\Gamma \vdash a: A \quad \Gamma \vdash b: B[x / a] \quad \Gamma \vdash(x: x) \rightarrow A B: s \\
\Gamma \vdash(a, b):\left[\begin{array}{c}
x: A \\
B
\end{array}\right] \\
(\Sigma \text {-intro) }
\end{gathered}
$

図 5 deduce の規則 (一部)

表 1 探索の深さを $9 / 8$ としたときの結果

表 2 探索の深さを 9 としたときの結果詳細

ラベルと NO ラベル両方について precision は 1 であることから，推論での規則の適用は適切であると考えられる。一方, recall はどちらについても低く, 特に NO ラベルについての recall は YES ラベルと比べ

は $0.104 ， 0.050,0.025$ であることが確認された.

図 9 問題の複雑さと証明探索の結果の関係

ても低い。これは, 評価の過程で $\mathrm{NO}$ ラベルの証明の際, 命題に否定記号 (ᄀ) を追加しており, 命題の構造が複雑になる分, 深さ制限を超過しやすくなるためと考えられる. 図 9 はラベルが YES である問題について, 問題の複雑さと証明探索の結果の関係を示すぺアプロットである. オレンジのドットは証明探索の結果出力されたラベルが YES であったことを，青のドットはUNKであったことを表す. アプロットの $y$ 軸は命題の深さを, $x$ 軸は述語, 変数, アトム，ファンクタの数を表しており，いずれも高ければ高いほど問題の複雑さは増す.この結果から, 今回実装した定理証明器は $x$ と $y$ の値が小さい単純な問題については正確に計算を行えていることが示された. 深さ制限を緩めると計算量が指数関数的に増加する一方, より多くの問題を解けるようになることが期待される.

本研究の定理証明器は, 古典論理と直観主義論理の双方に対応しており, TPTP の問題の中でもパースの法則 $(p \Rightarrow q) \Rightarrow p) \Rightarrow p$ や対偶律 $(p \Rightarrow q) \Longleftrightarrow(\neg q \Rightarrow \neg p)$, 排中律 $p \vee \neg p$ など, 推論において重要な役割を果たす定理についてもカバー することを確認した。

## 5 おわりに

本研究では DTS の部分体系 ( $\Pi \Sigma$ 断片) について証明探索アルゴリズムを実装し，TPTP ライブラリを用いて評価を行った。その結果，十分な範囲の定理について適切に自動計算を行うことを確認した。今後は自然言語推論で用いられる, 等号や算術についても扱えるようアルゴリズムを拡張していく. また, 日本語 CCG パーザ lightblue[9] と組み合わせることによって, 自然言語推論のためのパイプラインを構築し, DTS 基づく検証可能な意味計算システムを実現することが今後の課題である.

## 謝辞

本研究の一部は，JSPS 科研費 JP18H03284，および JST CREST JPMJCR20D2 の助成を受けたものである.また，評価の際は産総研の AI 橋渡しクラウド $(\mathrm{ABCI})$ を利用した。

## 参考文献

[1] Johan Bos. Wide-coverage semantic analysis with Boxer. In Semantics in Text Processing. STEP 2008 Conference Proceedings, pp. 277-286, 2008.

[2] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of EMNLP2017 System Demonstrations, pp. 115-120, Copenhagen, Denmark, September 2017.

[3] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A Compositional Semantics System. In Proceedings of ACL 2016 System Demonstrations, pp. 85-90, 2016.

[4] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in Dependent Type Semantics. In Modern Perspectives in Type Theoretical Semantics, pp. 11-41. Springer, 2017.

[5] Paul Piwek. The alligator theorem prover for dependent type systems: Description and proof sample. In Proceedings of the Inference in Computational Semantics Workshop, pp. 157-163, 2006.

[6] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In TYTLES: Types Theory and Lexical Semantics, Robin Cooper, Christian Retore (eds.), pp. 6268, 2015.

[7] alex: Alex is a tool for generating lexical analysers in Haskell. https://hackage. haskell.org/package/ alex/.

[8] happy: Happy is a parser generator for Haskell. https: //hackage.haskell.org/package/happy.

[9] Daisuke Bekki and Ai Kawazoe. Implementing variable vectors in a ccg parser. In LACL2016, Nancy, France, C.Retore and S.Pogodalla (Eds), pp. 52-67, Heiderburg, 2016.


# 2 文の連結を用いた機械翻訳におけるデータ拡張

今藤誠一郎甫立健悟平澤寅庄金子正弘 小町守
}

東京都立大学

\{kondo-seiichiro, hotate-kengo, hirasawa-tosho, kaneko-masahiro\}@ed.tmu.ac.jp, komachi@tmu.ac.jp
## 1 はじめに

ニューラル機械翻訳は翻訳精度が高いことで知られているが，一方で様々な課題も残されている。その課題の一つに長い系列の文に対する翻訳精度の低下が挙げられる. 先行研究では統計的機械翻訳との精度を比較した際に，入力文がある文長までの範囲ではニューラル機械翻訳の精度が上回ることが示されている。しかし一定の文長を越えるとニューラル機械翻訳の精度は下回り，文長の増加に伴い，著しく翻訳精度が低下することが指摘されている [1]. さらに，ニューラル機械翻訳において学習データの量が精度に大きく影響することが示されており [1]，低資源の言語において翻訳モデルを作成する上で大きな課題となる。そのため，これまでにも限られた対訳コーパスに対して様々なデータ拡張方法が研究されてきた。例えば，単言語コーパスの逆翻訳や，元の対訳データにおける特定の単語を別の単語に置き換える，などを行うことで擬似的に対訳文を生成し，学習データとして追加する方法が提案されている $[2,3,4]$.

本研究では低資源の対訳コーパスしか得られない言語対という条件で，長い系列の文の翻訳に対して有効であると考えられるデータ拡張方法を提案する. 具体的には，長い系列の文の翻訳精度が低くなるのは学習データに長い系列の文が少量しか含まれないためであると考え，そのような文を学習データに増やすことで長文に対する翻訳精度の向上を試みた。

図 1 亿提案手法の概要図を示す。学習データからランダムに 2 文を選び，それらを連結させたデータを拡張データとして，元の学習データに追加する。 この手法は学習データ内で唯一となるような長い系列を増やしたいという動機である。英日コーパスを用いた低資源な設定のもとでの実験の結果，2文を連結させたものを拡張データとして追加することで非常に長い系列の文に対する翻訳精度が高くなり，全体的にもスコアの向上が見られた. さらに同じデータ拡張方法の一つである逆翻訳の手法 [4] と提案手法を組み合わせることでより精度が向上することを確認できた。

## 2 関連研究

ニューラル機械翻訳では様々なデータ拡張の手法が提案されている。例えば，目的言語側の単言語データに対して逆翻訳を行うことにより擬似的にデータセットを作成する手法 [2] がある。これは， まず対訳コーパスを用いて原言語と目的言語を逆向きにモデルを学習させる．そしてそのモデルを用いて目的言語の単言語コーパスの文を原言語に翻訳させることで擬似的に対訳コーパスを作成し追加の拡張データとする。一方，単言語コーパスを用いずに元の対訳コーパスを逆翻訳させることで学習データを拡張する手法 [4] も提案されており，このデータ拡張方法でも翻訳精度を高めることが可能であることが示されている. 今回提案するデータ拡張の手法はこれらの先行研究で示された手法と組み合わせることが可能である.

またニューラル機械翻訳は長い系列の文の翻訳精度が低くなることが先の研究で示されている。文献 [1] ではニューラル機械翻訳における文長に関する翻訳精度の分析が統計的機械翻訳との比較を通して行われている。英語-スペイン語の翻訳において，入力文の文長が 60 を越えるとニューラル機械翻訳の精度は統計的機械翻訳の精度を下回り，80 を越えると大幅に翻訳精度が低下することが示された.この長い系列の文における翻訳精度の低下は， ニューラル機械翻訳の生成文の文長が非常に短く

図 12 文連結によるデータ抎張（各言語対はランダムにサンプリングされているので文脈的なつながりはない）

なっているためであると述べられている. 文献 [5] ではニューラル機械翻訳の中でも絶対的な位置情報を利用したモデルと相対的な位置情報を利用したモデルの比較が行われている. 具体的には英語-日本語の翻訳において，学習データに文長の制限をかけて学習させたモデルを用いて分析されている. 絶対的な位置情報を用いた Transformer モデルは他の相対的位置情報を用いたモデルに比べて，学習データに含まれない長い系列の文に対する翻訳精度が著しく低下することが示された.

## 32 文の連結を用いたデータ拡張

元の学習データ内にある原言語文 2 文とそれに対応する目的言語文 2 文をそれぞれ繋げたものを学習データとして追加する. つまり図 1 のように文の連結によって元のデータセットと同じ量の連結データを作成し, そのデータを元の学習データに加えることで学習データの文数を 2 倍にする。連結する際には文脈を考慮せずにランダムに 2 文を連結するが，学習データ全体としては 1 つの文がデータセット内に 3 度出現するようにする。

元のデータに連結したデータを追加するのは，単文の翻訳を元データで学習しながら， 2 文の連結されたデータで長い系列の翻訳を学習させるためである. また，文を連結する際には，2 文の間に特殊トー クンとして "<sep>"を挿入する. "<sep>" で区切る
ことで 2 文が別々の文であることを認識しながら，後方における位置エンコーディングを学習時に扱えるようになり，長い系列の文に対する翻訳精度の向上が期待できる.

学習時のデータには 2 文が連結したものが含まれているが，テスト時には 1 文のみを入力として扱う. ${ }^{1)}$

## 4 実験

## 4.1 実験設定

WAT17 [6] より $\mathrm{ASPEC}^{2}$ のデータを利用して英日翻訳を行なった. このデータセットは学習データ 2,000,000 文対, 評価データ 1,790 文対, テストデータ 1,812 文対からなり, 語彙サイズ 16,384で Sentence Piece [7] によりサブワード化されている. この学習データからランダムサンプリングで 400,000 文対を抽出し, 本実験での学習データとして利用した.

実験は Fairseq $[8]^{3}$ で Transformerを実装して行なった. パラメータとして, 最適化には Adam, dropout の確率は 0.3, max-update が 300,000，ミニバッチに含まれる token 数が 65,536 以下となるように設定した.

1）テスト時に 2 文を入力とした実験も行ったが， 1 文を入力とした時の方が精度の向上が見られた。

2) http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2017/snmt/index.html

3) https://github.com/pytorch/fairseq
表 1 学習データ 400,000 文で学習した際のテストデータセットにおける文長ごとの BLEU スコア （ただし vanilla+BT+concat は vanilla のデータと BT で得られたデータ，各々に対して concat したデータからなる.）

図 2 文長ごとの各データセットの分布

逆翻訳を行う際にも同じ設定の Transformer モデルを利用し，学習データは文献 [4] に従い，外部の単言語コーパスを用いずに行なった.この手法では目的言語から原言語への翻訳の際に学習に用いたデータをそのまま用いるため，一つの目的言語文に対して 2 の原言語文が存在するようなデータセットとなる.

評価には BLEU スコア [9] を利用し， テストデー タに対するモデルの出力全体のスコアと， テストデータを入力文の文長ごとに分類したものそれぞれに対するスコアを測定した. シードを変えて 3 回実験を回したときの BLEU スコアの平均を取った.

## 4.2 実験手順

400,000 文対の学習データから

1. 元のデータ (vanilla)

2. オーバーサンプリングで拡張したデータ (vanilla+OS)
3. 2 文の連結で拡張したデータ (vanilla+concat)

4. 逆翻訳で拡張したデータ (vanilla+BT)

5. 元のデータと逆翻訳したデータ，その双方に対して 2 文の連結を適用したものの複合データ
(vanilla+BT+concat)

の 5 種類の学習データを用いて英日翻訳モデルを学習させ，テストデータに対する BLEU スコアで比較を行なった。

2 のオーバーサンプリングは， 2 文連結と同様に長い文を増やすという動機で，提案手法の比較対象として実験を行なった. 文長 25 以上 110 以下の文を対象にサンプリングを行い，学習データを 2 倍とした. 3 でデータを連結する際には長い系列の文の翻訳精度の向上を目的とするため，連結した際に文長が 25 以下になるものは取り除いた。 4 と 5 では低リソースの設定なので，先行研究でも行われている手法と組み合わせたときの有効性を調べるため，逆翻訳を利用した手法を利用した。

上記のデータ拡張手法で作成した原言語文 (英文) の文長ごとの学習データ数を図 2 に示す. vanilla+OS，vanilla+concat，vanilla+BT のいずれも同じサンプル数であることに注意.

## 4.3 結果

5 種類のデータを用いて学習を行った結果を表 1 に示す. テストデータ全体の BLEU スコアと文長ごとにテストデータを分類して測った BLEU スコアを記載している。

vanilla+OS の結果を見ると vanilla の結果に比べて全体的な精度の低下が確認でき，データ数を増やしたはずの長い系列の文に関しても精度が悪化していることが確認できる。これはオーバーサンプリングによって追加されるデータのうち元のデータが少ない部分，つまり極端に長い系列の文が多くサンプリングされるため，コーパス内に同一の文が大量に含まれており，それらがノイズになってしまったためであると考えられる。

vanilla+concat の結果を見ると全体としての精度が僅かに上回っていることが確認できる. 文長ごとに

図 3 文長別に見たデータサイズごとの提案手法の有効性 （縦軸は vanilla+concat の BLEU スコアから vanilla の BLEU スコアを引いた値)

精度を確認すると， vanilla と比べて文長が 61-70 に分類される部分の BLEU は微減であるものの, 2 文の連結によって拡張されたデータの多くである文長 50 以上の翻訳に対して強くなっている。一方で特に短い文における翻訳精度が大きく下がってしまっていることも確認できた。

vanilla+BT と vanilla+BT+concatを比較すると，全体では 0.6 ポイントの向上が見られた. 文長ごとの精度を見ると特に文長 41 以上のスコアが大きく改善されており，提案手法を他のデータ拡張の手法と組み合わせることで，長い文における翻訳精度をより一層高めることができることを確認できた. さらに，短い文における翻訳精度も低下していないことから，短い文の翻訳精度を維持しながら長い文の翻訳精度を高めることができるという点において，他の手法と組み合わせることの有効性が示せた.

## 4.4 データサイズと提案手法の分析

図3 に各データサイズにおける今回の提案手法による BLEU スコアの変化を文長別に示す. 全体としてはデータ量が 800,000 文を越えると，この提案手法による精度の改善が見られないことが確認できる. また今回の提案手法は長文の翻訳精度の向上を目的に提案したが, 文長 51 以上に着目するとこちらもデータ量が 200,000 文 600,000 万文の時は精度の向上が見られるものの， $1,000,000$ 文を越えると精度の低下が見られる. 今回の提案手法が学習データが豊富なときには適しておらず，低資源のデータを扱う際に有効であることが言える.

## 4.5 実例分析

本実験において提案手法が有効に働いたと考えられる事例を付録の表 2 ，表 3 に，今回の提案手法の目的に反して翻訳が悪化したと思われる事例を付録の表 4 に示す.

表 2 の例を見ると vanilla では本来出力すべき文よりも短い文を出力しており，翻訳にあたって必要な情報が欠落していることが確認できる。一方で提案手法を用いてデータ拡張を行なった vanilla+concat の出力では，より長い文の出力が実現され，情報の久落を低減できていることを確認できる。

表 3 の例は BT と組み合わせた際に翻訳が改善された例となっている. こちらも先の例同様, vanilla+BT の結果では文前半の情報が完全に失われてしまっているが，vanilla+BT+concat では文全体の情報を捉えた翻訳文が生成されている。他の手法に提案手法を組み合わせた際にも，提案手法の効果が現れていることが確認できる。

しかし表 4 の例のように，提案手法を用いたデー タ拡張を施す前のデータで学習したモデルの出力には見受けられなかったような繰り返し出力が，提案手法を用いたデータ拡張を行った際の出力結果に見られる場合も存在した.このような出力は例のような文長の短い事例においてより多く見られた。このことから長い文の出力が可能なゆえに，長い文を生成しようとしてしまうため, 不自然な繰り返し出力を行ってしまうことがある可能性が考えられる.

## 5 おわりに

本研究では，長い系列の文の翻訳精度を高められるようなデータ拡張方法を提案し，実験を行なった. 結果として，2 文の連結によるデータの拡張方法が非常に簡単なデータ拡張方法でありながら，特に非常に長い系列の文の翻訳に対して有効に働くことが確認できた。しかし，短い文における翻訳精度を犠牲にしてしまい，全体としての精度にあまり変化が見られないような傾向も見受けられた. 一方，他のデータ拡張の手法と組み合わせることで，短い文での精度を下げることなく, 全体の精度の改善が見込めることも判明した。

今後は他の手法と組み合わせる際に，組み合わせる手法によって提案手法がどのように作用するのか，本研究のように長い文に対して翻訳精度を向上させられるのかを調査したい.

## 参考文献

[1] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39, 2017.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96, 2016.

[3] Xinyi Wang, Hieu Pham, Zihang Dai, and Graham Neubig. SwitchOut: an efficient data augmentation algorithm for neural machine translation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 856-861, 2018.

[4] Kenji Imamura and Eiichiro Sumita. NICT selftraining approach to neural machine translation at NMT2018. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 110-115, 2018.

[5] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, 2019.

[6] Toshiaki Nakazawa, Shohei Higashiyama, Chenchen Ding, Hideya Mino, Isao Goto, Hideto Kazawa, Yusuke Oda, Graham Neubig, and Sadao Kurohashi. Overview of the 4th workshop on Asian translation. In Proceedings of the 4th Workshop on Asian Translation (WAT2017), pp. 1-54, 2017.

[7] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, 2019.
[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

## A 付録

表 2 出力例 1（提案手法が有効に働いた例，原言語文の文長 71〜の事例）

 \\

表 3 出力例 2（提案手法が有効に働いた例，原言語文の文長 61～70 の事例）

Results of the analysis shows high accuracy properties, such as the reproducibility of relative standard deviation 0.3 $0.9 \%$ varified by repetitive analyses of ten times, the clibration curves with correlation coefficient of 1 verified by tests of standard materials in using six kinds of acetonitrile dilute solutions, and the formaldehyde detection limit of 0.0018 $\mu \mathrm{g} / \mathrm{mL}$

結果は，相対標準偏差 $0.3 \sim 0.9 \%$ の再現性（10 回の繰返し分析），相関係数 1 の検量線（6種類の

tgt アセトニトリル希釈溶液による標準資料の検定），００００１８ｇ／mLのホルムアルデヒド検出限界， など高い精度を得た。

vanilla 6種のアセトニトリル希薄溶液を用いた標準物質の試験及びホルムアルデヒド検出限界は $0.0018 \mu$ +BT $\mathrm{g} / \mathrm{mL}$ であった。

vanilla 分析の結果は 10 回の繰り返し解析で相対標準偏差 $0.3 \sim 0.9 \%$ 再現性，6種のアセトニトリル希 +BT薄溶液を用いた標準物質の試験により検証された 1 の相関係数を持つクライテリア曲線，及び 0.001 +concat $8 \mu \mathrm{g} / \mathrm{mL}$ のホルムアルデヒド検出限界など高い精度を示した。

表 4 出力例 3（提案手法がエラーを引き起こしたと考えられる例，原言語文の文長 11～20 の事例）


# Transformer モデルにおける知識蒸留の適用

松永大希
岐阜大学大学院自然科学技術研究科
z4525080@edu.gifu-u.ac.jp
}

松本 忠博
岐阜大学工学部
tad@gifu-u.ac.jp

## 1 はじめに

近年，ニューラル機械翻訳の精度は飛躍的に向上している。一方で，精度が向上するにつれてモデルのサイズが増加することが知られている.この問題を解決するために近年では, モデルの軽量化の研究が広く行われている。知識蒸留は，モデルの軽量化手法の一つである. 本研究では, 知識蒸留を Transformer[1] に適用させ，機械翻訳モデルの軽量化を試みた。教師モデルに対してパラメータ数を約 4 割削減した生徒モデルに対して本手法を適用したところ，教師モデルよりも高い翻訳精度を得られることを確認した。

## 2 関連研究

## 2.1 モデルの軽量化

機械翻訳の軽量化手法として，枝刈り [2], 量子化 [3], 知識蒸留 [4] がある。これらの軽量化手法は互いに独立であり，併用することができる．

枝刈りニューラルネットワークの重要ではない結合を取り除く。

量子化訓練後に重みの浮動小数点をより少ないビット数に変換する.

知識蒸留訓練済みの大きなモデルの知識を, 軽量な別のモデルの学習に利用する. 次項で詳しく説明する。

## 2.2 知識蒸留

知識蒸留は, Hinton ら [4] が提案した手法である.高精度で大きなモデルである教師モデルを作成し, その知識をより軽量なモデルである生徒モデルに継承する. 知識はソフトラベルの誤差を最小化することで継承する.ソフトラベルは, 教師モデルが出力する確率分布のことである. 一方, 訓練データの正解ラベルをハードラベルと呼ぶ。ソフトラベルとハードラベルの関係を図 1 に，知識蒸留の全体像を図 2 に示す。 Hinton らの研究ではソフトラベルの損失関数として,教師及び生徒モデルの温度付きソフトマックス出力の交差エントロピーを用いているが，Zhang ら [5] は Kullback-Leibler divergence（KL Divergence）を用いている. KL Divergence は以下の数式で表される.

$
D_{K L}(q \| p)=\sum_{i} p_{i} \log \frac{p_{i}}{q_{i}}
$

また, Romeroら [6] は, 教師データよりも層の数を増やしつつ, 中間層のパラメータを削減した生徒モデルを提案し，全体的なパラメータの削減を実現した。また, Romero らは提案した生徒モデルとソフトラベルとの比較のみではなく, 教師モデルの中間層を比較することによって，過学習を防ぎ，モデルの精度を向上させた。この中間層をヒント層と呼ぶ。知識蒸留は自然言語処理の分野でも活用されている．Sanh ら [7] は，BERT[8] に知識蒸留を適用した。また，Kim ら [9] は機械翻訳のための LSTM モデルに知識蒸留を用いることを試みた。本研究では機械翻訳等に用いられる Transformer モデルを対象とした，知識蒸留手法を検討する．また，教師及び生徒モデルの Encoder と Decoder の出力層をヒント層として利用した知識蒸留も検討する.

図 1 ソフトラベルとハードラベル

図 2 知識蒸留

## 3 提案手法

本研究では Transformer モデルを対象に，ヒント層を利用した合計 4 段階の学習手法を提案する。手法

は, Encoder 層の学習, Decoder 層の学習, ソフトラベルの学習, ハードラベルの学習で構成される.

Encoder 層の学習 Encoderの最終出力層の時点で誤差を計算し, 学習する. 誤差関数は平均二乗誤差を用いる

Decoder 層の学習 Decoderの最終出力層の時点で誤差を計算し, 学習する. 誤差関数は Encoder 層と同様に，平均最小二乗誤差を用いる。

ソフトラベルの学習本研究では, 教師モデルが全結合層の後に出力した確率分布をソフトラベルとする. 教師モデルのソフトラベルと教師モデルの出力との誤差を計算し，これを最小化する。

ハードラベルの学習最後に生徒モデルと, 実際のコーパスのターゲット文を比較し，誤差を計算する。 この時の誤差関数は, 教師モデル作成時に使用した誤差関数と同様のものを用いる.

図 3 Encoder 層の学習

図 4 Decoder 層の学習

## 4 実験

## 4.1 実験設定

実験設定を以下に示す。なお，全ての実験で PyTorch を用いた1) . また, 学習, 推論ともに計算資源として RTX2070superを 1 枚用いた。

1）https://github.com/harvardnlp/annotated-transformer を改良したものを用いた

図 5 ソフトラベルの学習

図 6 ハードラベルの学習

対訳コーパス実験用データとしてアジア学術論文抜粋コーパス（ASPEC-JE）[10] を使用した。デー タセットのうち訓練データは先頭の 100 万文対のみを使った. コーパスの文対数の詳細を表 1 に示す. 単語分割の際に Sentencepiece[11]を用いた. Sentencepiece は訓練データの英日文を連結させて，語彙サイズ 16000 で学習したものを用いた。また, 最大系列長を 50 とした。

表 1 実験用対訳コーパスの文対数（ASPEC-JE より）

モデルと学習実験用の Transformer モデルは教師モデルを 1 つ，生徒モデルを 5 つ構築した。学習時間によって精度は上昇している可能性を懸念して，すべてのモデルの学習回数を合計 30 回に統一した。表 2 にモデルの詳細と各ステップの学習エポック数を示す.すべてのモデルにおいて隠れ層の次元は 512 次元でフィードフォワード層の次元は 2048 とした。また，単語埋め込み層のサイズは 512 次元，ドロップアウトを 0.1 とした。最適化手法として Adam[12]を用いた. ウォームアップステップは 2000 とした. 教師モデルの損失関数は, Label Smoothing Entoropy を用い

た. 誤差関数は, hint layer は平均最小二乗誤差関数, ソフトラベルの誤差関数は KL Divergence, 教師モデルの誤差関数及び, 生徒モデルのハードラベルの誤差関数は Cross Entoropyを用いた。この際， $\varepsilon=0.1$ の Label Smoothing を行った.

表 2 モデルと学習エポック数

推論テストデータの翻訳の際, ビーム幅 5 のビームサーチを用いた。評価指標として BLEU[13] と RIBES[14] を用いた。評価は一度文を生文に戻した後, $\mathrm{MeCab}$ を用いて再分割してから行った。 BLEU の計算は multi-bleu.perl ${ }^{2}$, RIBES の計算は RIBES.py ${ }^{3)}$ を用いた.

## 4.2 実験結果と考察

全ての実験において教師モデルと生徒モデルの 3 層, 6 層におけるパラメータ数は, 表 3 のようになった。

また, 実験結果は表 4（英 $\rightarrow$ 日), 表 5（日 $\rightarrow$ 英）のようになった。

表 4 実験結果英日

実験より, Transformer の層を 6 層から 3 層に減らすことによって，パラメータ数がそれぞれ $35 \% ， 37 \%$ 、推論時間が $23 \%$ 程度削減されることを確認した。ま

表 5 実験結果日英

日 $\rightarrow$ 英 BLEU RIBES 推論時間

た, 同じ 30 エポックでも学習の比率によって結果が異なることを確認した.ソフトラベル，ハードラベルのみの学習だけの場合よりも, 双方の学習を行ったモデルの方が高精度であった。ただし, ヒント層の学習の効果は本研究では見られなかった。これは, ヒント層の誤差の計算方法や学習回数に問題があると考えられ，さらなる改善が必要である.

## 5 おわりに

本研究では，ヒント層を利用した機械翻訳の知識蒸留手法を提案した．実験の結果，ハードラベルの学習が生徒モデルの精度向上に有効であることが分かった. 今後は，ヒント層を利用した手法をさらに詳しく検討する必要がある．例えば，ヒント層の学習エポック数をすべて 3 回と設定したが，今後はその数を増減させた場合の効果の変化も検証する必要がある。また, Encoder および Decoder の最終出力だけではなく中間の出力の誤差も計算する必要もある. さらに, 層数だけでなく, 各層の出力次元数を減らしたモデルでの実験も行う必要がある.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 59986008, 2017.

[2] Song Han, Jeff Pool, John Tran, and William Dally. Learning both weights and connections for efficient neural network. Advances in neural information processing systems, Vol. 28, pp. 1135-1143, 2015.

[3] Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko. Quantization and training of neural networks for efficient integer-arithmetic-only inference. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2704-2713, 2018.

[4] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

[5] Ying Zhang, Tao Xiang, Timothy M Hospedales, and Huchuan Lu. Deep mutual learning. In Proceedings of the

IEEE Conference on Computer Vision and Pattern Recognition, pp. 4320-4328, 2018.

[6] Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Yoshua Bengio. Fitnets: Hints for thin deep nets. arXiv preprint arXiv:1412.6550, 2014

[7] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[9] Yoon Kim and Alexander M Rush. Sequence-level knowledge distillation. arXiv preprint arXiv:1606.07947, 2016.

[10] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Uchiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[11] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808.06226, 2018.

[12] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[13] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[14] Hideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, and Hajime Tsukada. Automatic evaluation of translation quality for distant language pairs. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952, Cambridge, MA, October 2010. Association for Computational Linguistics.


# 事前学習モデルを用いた少量データに対する日本語抽象型要約

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

近年，自動要約の技術として，Encoder-Decoder を用いた抽象型要約が盛んに研究されている $[1,2,3,4,5,6,7]$. この Encoder-Decoder モデルを用いた抽象型要約の特徴として，学習に大量のデータが必要となることが知られている.

事前学習モデルを使用することで，少量の要約データでも高い精度が得られることがいくつかの研究で報告されている. 例えば Dong ら [8] は， Gigaword [1] と呼ばれる英語要約データセットの学習データ $10 \mathrm{~K}$ 使用した場合，事前学習を行わないモデルでは ROUGE-L が 10.42 ポイントのところを，事前学習したモデルを用いることで 30.56 ポイントとなることを示した。しかしながら，日本語の抽象型要約については事前学習モデルの有効性は調べられていない. そこで本研究は，日本語抽象型要約夕スクについて，事前学習モデルを用いることで．学習データが大量に必要となる問題の緩和につながるか調査を行った. 具体的には, UniLM [8], JASS [9], multilingual T5 [10] と呼ばれる，3つの事前学習モデルを用いて調査を行い，モデル毎の比較を行った.

日本語要約研究では，新聞に関する要約データ， Webニュースに関する要約データが使用されている $[11,2,3]$. しかしながら，実世界ではニュース記事以外の分野についても要約を行いたいという需要が存在する. そこで本研究は, wikiHow ${ }^{1)}$ という様々な分野に関するハウツーが記載された Web サイトから要約データを作成し，ニュース記事以外に対する抽象型要約についても調査した。

少量データに対する事前学習モデルを用いた抽象型要約実験として, 本研究では Livedoor News と wikiHow データに対して抽象型要約を行っている.特に, Livedoor News については学習データとして $10 \mathrm{~K}$ 使用した場合と $1 \mathrm{~K}$ 使用した場合を比較し，事前学習モデルの少量データに対する精度を調査し

1) https://www.wikihow.jp
た. 実験結果から，数千件の学習データを用いた日本語抽象型要約において，事前学習モデルは有効であることがわかった. また，データセットによって事前学習モデルの振る舞いが変わる場合が存在することがわかった.

本研究の貢献は以下の 2 つである.

1. 様々な事前学習モデルを用いて，学習データが少量の際の日本語抽象型要約を実験，分析し，事前学習モデルの有効性を確認した。

2. wikiHowを用いて日本語要約データセットを作成，公開 2$)$ した.このデータセットは既存のニュース要約データセットと比べて抽象度が高いことを確認した.

## 2 関連研究

現在，日本語の要約研究は様々な問題設定で行われている。具体的には，新聞記事に対して，適切な長さの見出しを生成するといった設定 [2], Web ニュース記事に対して，3 行の要約を生成する設定 [11]，議会の議事録から対話構造を考慮した要約を生成する設定 [12] などが存在している。このように，出力の構造を考慮する問題設定が多く研究されている。一方で, 本研究では, 抽象型要約の学習データが大量に必要となる問題に対して取り組む。

現在, 日本語要約研究では主に 2 種類のデータセットが存在している。一つが，新聞記事から作成した要約データである. Japanese News Corpus (JNC) [2] は新聞記事の先頭 3 文と対応する見出しの対になっており, JApanese MUlti-Length Summarization Corpus（JAMUL）や JAMUL2020 [3] は 1 記事に対して複数の要約が紐づいているデータセットである. もう一つが Livedoor News から作成した 3 行要約データセット [11]である.これは Livedoor News が記事と対応する 3 行の要約が紐づいて公開されていることを利用して作成したデータセットである.

表 1 事前学習モデル

これらのデータセットは全てニュース記事に関するデータセットである. 一方で，英語で記述された要約データはニュース記事 $[1,13]$, 特許 [14], 電子メール [15] など，様々な分野で存在する. その中の一つに, wikiHow $\left.{ }^{3}\right)$ という様々な分野に関する八ウツーが記載された Web サイトから作成した要約データ [16] が存在する. このデータはニュース記事で作成したデータセットと異なり，様々な分野について抽象度の高い要約データという特徵を持つことが報告されている. 本研究では，この英語 wikiHow のデータセットを参考に，新たに日本語版 wikiHow から要約データセットを作成した. wikiHow は様々なトピックに関して記述されており，ニュース記事とは記事と要約，どちらも傾向が異なると考えられる.このデータセットを利用してニュース記事以外での抽象型要約の振る舞いを調査する。

## 3 事前学習モデルを用いた要約

本研究は抽出型要約について，いくつかの事前学習モデルを用いて実験した. 表 1 に本研究で使用する事前学習モデルをまとめている.

## 3.1 UniLM

Dong ら [8] は BERT [17] の事前学習をより拡張した手法 (Unified pre-trained Language Model; UniLM) をいくつか提案した. その中の一つに Sequence-toSequence Language Model（seq2seq LM）が存在する.概要図を図 1 に示す. BERT は入力トークンの一部を [MASK] に置換し，置換前の単語を推定するように事前学習を行う (Masked Language Model; MLM). この時, BERT は注意機構を双方向に用いている.一方で seq2seq LM は図のように， 入力記事側は双方向なのだが, 出力要約側は出力するものより以前のトークンのみに注意機構が張られる. この機構を使用することで要約などの系列変換が学習できることを報告している.

本研究では日本語データで学習された BERTを元に, 次の fine-tuning と推論を行っている. 抽出

図 1 UniLM seq2seq LM の概要図

型要約の学習を行う際は, 要約側の一部の単語を [MASK] に置換し，seq2seq LM を用いて元の単語を当てるように学習を行う. 推論時には入力記事を原言語側に与え，要約側の入力として [MASK] を用意し, 出力の終了記号 [EOS] が出るまで推論を行う.

## 3.2 JASS

JASS (JApanese-specific Sequence to Sequence) [9] は，MASS（MAsked Sequence to Sequence）[4]を日本語向けに拡張した目的関数を用いて Transformer [18] を事前学習したモデルである. MASS は大量の単言語データの各文中の単語をランダムにマスクトー クンに置換し，このマスクトークンを Decoderを用いて推定するように事前学習されている。一方で， JASS はこのマスクトークンの置換区間として, 文節単位で置換し，元の単語を推定する事前学習を行っている. さらに，入力文を文節単位でシャッフルし, 元の語順を Decoder で推定する事前学習も行っている. 本研究ではこの JASS モデルに対して,要約データで fine-tuning および推論を行った.

## 3.3 multilingual $\mathrm{T 5$}

Raffel ら [5] は事前学習 Encoder-Decoder として Text-to-Text Transfer Transformer（T5）を作成した.このモデルは，単言語コーパスの各文中の単語をランダムにマスクトークンに置換し, 元の単語を当てるように Transformerを事前学習している. Xue ら [10] は様々な言語の単言語コーパスで T5 と同様の事前学習を行い，モデルを作成した (multilingual variant of T5; mT5). 本研究ではこの $\mathrm{mT5}$ に対して, 要約データを用いて fine-tuning，推論を行った.

## 4 日本語 wikiHow 要約データセット

本研究では Koupaee and Wang [16] と同様の手法で wikiHow から日本語要約データセットを作成した.

図 2 wikiHow から要約データを作成する例

日本語 wikiHow は全 19 カテゴリについて, 各ペー ジが構造化して記述されている. 具体的には, ペー ジ内にいくつかの大段落が存在しており, この中に小段落として記事と対応した見出しが存在している. 本研究ではこの組み合わせを利用して要約デー タを作成した。

具体例を図 2 に示す.この図のように，記事と要約はそれぞれ各小段落内の記事と見出しを繋げたものとして利用している. 見出しとして手を洗う’, 'マスクの状態を確認する' とあれば作成する要約は '手を洗う。マスクの状態を確認する。'となる。このようにして，2020 年 6 月時点で取得できた全てのページから要約データを作成した。

作成したデータセットの統計を表 2 に示す. 英語 wikiHow データセットは数十万件の記事が含まれているが，日本語 wikiHow データセットは数千件しか含まれていない.

また，Livedoor News の要約データセットと要約の抽象度合いの観点で比較した. 抽象度合いは記事側には存在せず，要約側のみに存在する単語 n-gram の割合で計測している. 比較の結果, Livedoor News データと比べると wikiHow データの方が要約側にしか存在しない n-gram が多く, より抽象度が高いデータセットであることがわかった. n-gram の割合について，詳細な値は付録 A に記載した。

作成した wikiHow データセットの特徴として, 要約側に同一の表現が複数回出現することを確認した. Livedoor News 5,066 件中, $32.1 \%$ 件の要約側で同一の 3-gram が複数回存在していたが, wikiHow には $62.2 \%$ 同一の 3-gram が存在していた.このように, wikiHow データセットは既存のデータセットとは要約の記述スタイルが異なることがわかる.

## 5 実験

本研究では，事前学習モデルを用いて wikiHow データと Livedoor News の 1K，10K データに対して入力が 1 記事の抽象型要約実験を行った.

## 5.1 実験設定

wikiHow については, 得られたデータを 5 等分し， 3:1:1 の割合で学習, 開発, テストデータとした. そのため，学習データ，開発データ，テストデータはそれぞれは 3,040 件，1,013 件，1,013 件である。また, Livedoor News については，公開されている分割 4 )を元に学習, 開発，テストデータを用意した. ただし，2020 年時点で取得できたデータのみを使用しているため, 開発データとテストデータはそれぞれ 886 件， 871 件である. 学習データについては取得できたデータからランダムに $1 \mathrm{~K}$ または $10 \mathrm{~K}$ 抽出している. 評価については出力分かち書きから空白を取り除いた後, $\mathrm{MeCab}^{5)}$ で分割し, ROUGE-1 (R-1)，2（R-2)，L（R-L）のF 值を測定している. UniLM として, 日本語データで学習された BERT $^{6)}$ に対して，seq2seq LM を用いた fine-tuning を行っだ ${ }^{7)}$. 単語分割は MeCab と WordPiece [19] を用いている. JASS は日英の単言語データで学習されたモデル8)に対して要約の fine-tuning を行った.単語分割は Juman++ [20] と SentencePiece [21]を, fine-tuning と推論には OpenNMT [22]を使用している. $\mathrm{mT5}$ は他のモデルと同程度のパラメータ数のモデル9)に対して要約の fine-tuning を行った. 単語分割は SentencePiece を使用し, fine-tuning と推論は

表 3 日本語抽象型要約実験結果

Mesh Tensorflow [23] を使用している。また，比較として事前学習なしの手法を 2 つ, 実験した. 1 つが LEAD-3 と呼ばれる, 記事から最初の 3 文を要約として使用する手法で，もう 1 つが Pointer-Generator [6] と呼ばれる Encoder-Decoder を用いた手法である. Pointer-Generator は OpenNMT の実装を使用，単語分割は $\mathrm{MeCab}$ を用いている.

mT5，LEAD-3 以外のモデルは推論時に 3-gram の繰り返しの削除（Trigram Block）[7]を行っており，全てのモデルはビーム幅は 4 で実験している. 上記 4 モデルのハイパーパラメータの詳細は付録 B に記載している.

## 5.2 実験結果

実験結果を表 3 に示す. 各評価指標において最も高いスコアを太字にしている．全ての実験設定において，UniLM を用いた手法が最も良い結果であった. また，学習データが数千件の設定では，事前学習なしの手法より事前学習を行っている手法の方が良いことがわかる。

Livedoor News については UniLM に次いで mT5 の精度が高く,これら 2 つのモデルは LEAD-3, Pointer-Generator よりもどの評価指標においても優れている結果となった. 一方で JASS は LEAD-3 と同程度または低い精度であり, 特に $10 \mathrm{~K}$ の場合において，ROUGE-2について Pointer-Generator と同程度の精度であることがわかる. wikiHow においては Livedoor News の場合と異なり, JASS の方が mT5 より高い精度であることがわかる.

## 6 分析と考察

要約実験結果から，mT5 が wikiHow に対して精度が低いことがわかる。調査の結果，mT5 のテストデータ全体に対して $88.3 \%$ \%いて同一の文の繰り返しが発生していた. 実際の出力例は付録の C に示す。一方で，Livedoor News 1K に対しては mT5 は 10.0 \%繰り返している. UniLM は wikiHow，
Livedoor News 1K のどちらも $0.1 \%$ 繰り返していた. このように， mT5を用いた場合，文単位での繰り返しが発生しやすく，データセットによって繰り返し度合いが大きく変わっていることがわかる. この理由の 1 つとして, mT5 は推論時に Trigram Block を行っていないからだと考えられる。また, wikiHow については，4 章で述べたように，要約側に同一の表現が複数回現れることを確認している。そのため, wikiHow で学習することにより，同一の表現を出力するように学習していき，推論時にもそのような出力をする傾向にあると考えられる。

事前学習を行ったモデルと行っていないモデルの定性的な比較を行う. Pointer-Generator $の$ wikiHow に対する出力は平均単語数が 12.6 で, 平均語彙は 8.9 であった. 一方で, UniLM の出力は平均単語数が 26.2 で平均語彙が 18.6 となり, 2 倍以上の長さ,語彙であった. この結果と ROUGE スコアから，事前学習を行うことでより入力記事を説明している要約が生成できていると考えられる. これは, 学習データが数千件の状況で事前学習を行わなかった場合は学習が安定せず，単純な要約しか学習できない一方で，事前学習を行うことで，学習が安定し，より複雑な要約も可能になると考えられる。

## 7 おわりに

本研究では，学習データが数千，数万件の日本語抽象型要約タスクにおいて，事前学習モデルの有効性を調査した．また，既存のニュース記事の分野とは異なる，ハウツーが記述されたデータから要約データ日本語 wikiHow を作成，公開した. この日本語 wikiHow および Livedoor News について，学習データが数千件の場合, 事前学習モデルである UniLM を用いることで，事前学習なしのモデルと比べて大きく精度が向上することを確認した. 今後は別の分野に関する要約データセットの作成, 事前学習モデルを元に要約精度を改善する手法の研究に取り組みたい。

## 参考文献

[1]Alexander M. Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proc. of EMNLP, pp. 379-389. Association for Computational Linguistics, 2015.

[2]Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta, Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu Okumura. A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation. In Proc. of the 12th International Conference on Natural Language Generation, pp. 333-343. Association for Computational Linguistics, 2019.

[3] 人見雄太, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 小規模リソースにおける生成型要約のためのスタイル転移. 言語処理学会第 26 回年次大会, pp. 929-932, 2020.

[4]Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, and Tie-Yan Liu. Mass: Masked sequence to sequence pre-training for language generation. In International Conference on Machine Learning, pp. 5926-5936, 2019.

[5]Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[6]Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proc. of ACL, pp. 1073-1083. Association for Computational Linguistics, 2017.

[7]Romain Paulus, Caiming Xiong, and R. Socher. A deep reinforced model for abstractive summarization. ArXiv, Vol. abs/1705.04304, , 2018

[8]Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon. Unified language model pre-training for natural language understanding and generation. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Proc. of NeurIPS, Vol. 32, pp. 13063-13075. Curran Associates, Inc., 2019.

[9]Zhuoyuan Mao, Fabien Cromieres, Raj Dabre, Haiyue Song, and Sadao Kurohashi. JASS: Japanese-specific sequence to sequence pre-training for neural machine translation. In Proc. of LREC, pp. 3683-3691. European Language Resources Association, 2020.

[10]Linting Xue, Noah Constant, A. Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, A. Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-to-text transformer. ArXiv, Vol. abs/2010.11934, , 2020.

[11]小平知範, 小町守. TL;DR 3 行要約に着目したニュー ラル文書要約 (データ工学). 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, Vol. 117, No. 212, pp. 193-198, 2017.

[12]木村泰知, 渋木英潔, 高丸圭一, 秋葉友良, 石下円香, 内田ゆず, 小川泰弘, 乙武北斗, 佐々木稔, 三田村照子, 横手健一, 吉岡真治, 神門典子. NTCIR-15 QA Lab-PoliInfo2 のタスク設計. 言語処理学会第 26 回年次大会, pp. 625-628, 2020.

[13]Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette,
Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, Proc. of NeurIPS, Vol. 28, pp. 1693-1701. Curran Associates, Inc., 2015.

[14]Eva Sharma, Chen Li, and Lu Wang. BIGPATENT: A largescale dataset for abstractive and coherent summarization. In Proc. of ACL, pp. 2204-2213. Association for Computational Linguistics, 2019.

[15]Rui Zhang and Joel Tetreault. This email could save your life: Introducing the task of email subject line generation. In Proc. of ACL, pp. 446-456. Association for Computational Linguistics, 2019.

[16]M. Koupaee and William Yang Wang. Wikihow: A large scale text summarization dataset. ArXiv, Vol. abs/1810.09305, , 2018.

[17]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL-HLT, pp. 4171-4186. Association for Computational Linguistics, 2019.

[18]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Proc. of NeurIPS, Vol. 30, pp. $5998-$ 6008. Curran Associates, Inc., 2017.

[19]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[20]Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proc. of EMNLP, pp. 2292-2297. Association for Computational Linguistics, 2015.

[21]Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proc. of EMNLP, pp. 66-71. Association for Computational Linguistics, 2018.

[22]Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proc. of ACL, pp. 67-72. Association for Computational Linguistics, 2017.

[23]Noam Shazeer, Youlong Cheng, Niki Parmar, Dustin Tran, Ashish Vaswani, Penporn Koanantakool, Peter Hawkins, HyoukJoong Lee, Mingsheng Hong, Cliff Young, Ryan Sepassi, and Blake Hechtman. Mesh-TensorFlow: Deep learning for supercomputers. In Proc. of NeurIPS, 2018.

## A 要約側のみに存在する n-gram 統計

単語 n-gram の割合を表 4 に示す.なお，ここでの単語は MeCab の解析結果の形態素を指している。この表から, wikiHow の方が要約側にしか含まれない n-gram が多く, Livedoor News と比べて抽象度の高いデータセットであることがわかる.

表 4 事前学習モデル

## B 詳細な実験設定

UniLM，JASS，mT5，Pointer-Generator について詳細な実験設定を表 5 に示す.

## C 出力例

wikiHow に対する UniLM，JASS，mT5，Pointer-Generator の出力例を表 6 に示す.

表 6 wikiHow に対する出力例

 \\