# 国語研長単位に基づくUD Japanese

大村舞
国立国語研究所
mai-om@ninjal.ac.jp
}

若狭絢
国立国語研究所
awakasa@ninjal.ac.jp
}

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

Universal Dependencies (UD) は言語横断的に、かつ依存構造にツリーバンクを構築するプロジェクトである。全言語で統一した基準により、品詞タグ付け・依存構造アノテーションデータの構築が進められている。分かち書きをしない言語においては、基本単位として構文的な語 (syntactic word) を採用するように規定している。従前の日本語の UD デー タは、形態論に基づく単位である国語研短単位を採用していた。今回、我々は新たに構文的な語に近い単語単位である国語研長単位に基づく日本語 UD である UD_Japanese-GSDLUW、UD_JapanesePUDLUW、UD_Japanese-BCCWJLUW を構築したので報告する。

## 1 はじめに

Universal Dependencies [1] (UD) は、依存構造関係を付与する基本単位として構文的な語 (syntactic word）を用いることを規定している。英語やフランス語といった空白を用いて分かち書きをする言語においては、縮約形態を除いて、空白を語境界と認定することが多い。一方、分かち書きを語境界で明示しない東アジアの言語においては、どのような単位が構文的な語に規定すべきかという問題がある。

既に公開されている UD Japanese（日本語版 UD） は、その基本単位として国語研短単位 (Short Unit Word: 以下短単位) を採用している。現在までに短単位に基づく形態素解析用辞書として、約 88 万語からなる UniDic [2] が公開されている。この語彙数の多さは、日本語の形態変化の豊かさ (morphologically rich）を示しているだろう。さらに、短単位は『現代日本語書き言葉均衡コーパス』(BCCWJ) [3]・『日本語日常会話コーパス』(CEJC) [4] をはじめとした形態論情報つきコーパスでも採用されており、150 万語規模の単語埋め込み NWJC2vec [5] でも短単位が使われているため、短単位を基準として言語処理
に必要な基本的言語資源が整備されている。この短単位に基づく言語資源の豊富さから、実用上は短単位に基づく処理が好まれる傾向にあった。

Murawaki [6] は、単位として短単位を採用している既存の UD Japanese コーパスは「形態素」単位であり、UD の原則にあげられる「基本単位を構文的な語とする」という点で不適切であることを指摘している。国語研においては、形態論情報に基ついいて単位認定し、可能性に基づく品詞体系が付与されている短単位とは別に、文節に基づいて単位認定し、用法に基づく品詞体系が付与されている国語研長単位 (Long Unit Word: 以下長単位) を規定している。 さらに、同単位に基づいた形態論情報が BCCWJ や CEJC などのコーパスに付与されている。

本稿では、長単位に基づくUD Japanese の言語資源を整備したので報告する。長単位は、文節に基づいて認定される構文的な語とみなしうる単位である。長単位は UD の原則に基づくと UD Japanese で採用すべき基本単位ではあるが、長単位に基づくコーパスの構築は、短単位に基づくコーパスの構築より困難である。さらに、長単位に基づく依存構造木が解析器によって生成しやすいかという問題もある。本稿では、国語研長単位に基づくUD Japanese について説明すると共に、既存の言語資源・解析器によって長単位に基づくUD が生成しやすいかについて議論する。

## 2 日本語の単語分割

## 2.1 国語研による語の単位認定

日本語の単語の境界認定として、国語研では、最小単位、短単位、長単位、文節などの単位を規定している [7]。それぞれの例を図 1 に示す。

最小単位はその語種に基づき定義される。日本語は、漢語・和語 - 外来語 - 固有名詞 - 数値表現 $\cdot$ 記号などの語種からなり、漢語は 1 文字 1 語、和語・外来語・固有名詞はその最も短い単位を 1 語とする。

 \\

図 1 最小単位、短単位、長単位、文節の例（BCCWJ の PB33_00032より）

数値表現は十進の位取りで発音できる単位に分割する。記号は 1 文字 1 語とする。

短単位は、最小単位に基づき、同じ語種同士の 1 回結合までを 1 単位としている。この短単位に対して UniDic 体系に基づく形態論情報（品詞・活用型・活用形・語形・語彙素）が定義され、その品詞に基づいて付属語か自立語かが認定される。短単位に付与される品詞はその形態素に基づく「可能性に基づく品詞」が付与されるが、これはその形態素でとり得る用法をすべて考慮したものであり、実際の用法などは考慮されていない。用例収集のため、斉一な単語になることを目的としており、1 単語辺りが短い。

長単位は、文節境界を認定したのちに、文節内の短単位要素の結合により認定される。この文節は日本語において係り受けを付与するのに適した単位である。文節単位の係り受け構造は係り受けが交差せず、左から右にかかり (右主辞)、短単位品詞をもとに容易に系列ラベリングでくみ上げられるという性質を持つ。文節は、 1 自立語に接頭辞・接尾辞・助詞・助動詞などから構成されるとし、その各要素を長単位として認定する。長単位の規程集には、長単位としてみなす複合辞 (Multi-word Expressions) が認定され、複合辞をなす機能表現は 1 単位とする。長単位は文法を基準とした単位のため構文的な語に近いと考えられる。また長単位はその用法（係り受けなどの文脈）に基づく「用法に基づく品詞」が付与される。品詞の観点からも、短単位よりも長単位のほうが UD が示す「構文的な語」に近いと考えられる。

## 2.2 利用できる言語資源・解析器

表 1 各単語単位で利用できる言語資源・解析器表 1 に各単位認定に利用できる言語資源・解析器について示す。表中 TTR は BCCWJ 中の Type Token Ratioであり、この値が高いほど、その単位の出現確率が小さくなることを意味する。最小単位は、短単位を認定する際の基本単位であり、現在のところ公開されている言語資源・解析器は存在しない。短単位は、形態素解析器 MeCab [8] において形態素解析用辞書 UniDic を用いることにより生成されるほか、 NWJC2vec などの単語埋め込みが利用できる。長単位・文節については、辞書の構築は TTR の大きさからも分かる通り、語彙の膨大であるため存在しないが、短単位から構成規則により生成されるため、 チャンカーとして Comainu [9] により生成することができる。

## 2.3 日本語 UD における単語分割の歴史

我々はいままで現代日本語 UD として 4 種類のコーパスを公開しており、今回さらに長単位版の UD コーパスを 3 種類公開した。既存の短単位版 UDについて説明をする。

UD_Japanese-KTC [10] は京都大学テキストコー パスを元に作られた UDである。UD_Japanese-KTC は長単位に近い単語境界で単語を構成しており、人手によって句構造木もアノテーションされ、その句構造木に基づいて UD を構築している。現在 UD プロジェクトでは Version 2 が公開されているが、 UD_Japanese -KTC については Version 1 でメンテナンスが止まっている。

UD_Japanese-BCCWJ は BCCWJ に基づいた UD コーパスである。BCCWJでは短単位・長単位・文節および文節単位の係り受けの情報が提供されている。UD_Japanese-BCCWJ はこの BCCWJ からの形態素情報を元に Omura and Asahara [11] らが提案しているルールよって、単語係り受け構文へと自動変換されたものである。

UD_Japanese-GSD と UD_Japanese-PUD は Version 1.4 まで Google [12]が管理していたが、Version 2.0 より我々がメンテナンス及び公開しているコーパスで

ある [10]。UD_Japanese-GSD と UD_Japanese-PUD は ver. 2.0 から 2.5 までは IBM の単語分割器 [13] により単語分割され修正されていたものであったが、 ver. 2.6 からは短単位を基準として人手によりアノテーションをされている。単語係り受け構文については Omura and Asahara [11] らのルールによって自動変換されている。

## 3 長単位ベースの日本語 UD

表 2 日本語長単位ベース UD の統計情報

我々は短単位と長単位によって違いを検証すべく、長単位べースの日本語 UDを開発した。UD の v2.9（2021 年 11 月）から、BCCWJ, GSD, PUD の長単位ベース UDを、UD_Japanese-BCCWJLUW, UD_Japanese-GSDLUW, UD_Japanese-PUDLUW として公開している。1)

UD_Japanese-GSD と UD_Japanese-PUD は短単位ベースの単語境界、品詞そして文節ベースの係り受け関係を人手により一度アノテーションされている。我々はさらに、長単位ベースのUDを構築するため、GSDと PUDについて長単位の境界、品詞、原型をアノテーションした。長単位をアノテーションしている際に、長単位と短単位でデータに一貫性の不備があった場合は、オリジナルのデータをさらに修正している。そしてこのアノテーションデー タ GSD, PUD を Omura and Asahara [11] らの提案したルールベースによって、文節係り受けから UD の枠組みである単語係り受け関係のコーパスに変換し、 UD_Japanese-GSDLUW と UD_Japanese-PUDLUW を構築した。この変換ルールは短単位と長単位の原型や品詞、形態的な特徴を元にルールベースで変換

している。 ${ }^{2)}$ UD_Japanese-GSD と UD_Japanese-PUD の元となっているこの文節係り受けコーパスは拡張 Cabocha 形式 [14] でオープンデータとして公開3)されている。

BCCWJ はオリジナルのデータにすでに短単位の境界と品詞、長単位の境界と品詞が公開されており、浅原らのデータ [15]を組み合わせることで文節係り受けデータも獲得できる。そこから GSD と PUD と同様に変換を行い UD_Japanese-BCCWJLUW を構築した。

表 2 にそれぞれの長単位 UD の統計情報を示している。表 2 から分かる通り、長単位の語数は短単位の語数より少ない。これは長単位自体が短単位の結合することで構築されているからである。また、長単位は文節を基準に分割したものではあるが、前節の通り、複合語などが含まれていた場合、2つの文節に分割されることもある。そのため、必ずしも短単位と長単位で文節の数は一致していない。

## 4 統語解析による比較実験

この節では単語単位の違うUDについて、公開されているツール・言語資源によって統語解析を行うことで、どのくらい再現可能かを検討する。この実験ではGSDコーパスを用いた。GSD は訓練・開発・評価データに分割されており、実験設定はこの分割に基づいて実施し、評価は 3 つのレベルで行った。 1つ目は未解析文を大力にした全ての解析器 (単語分割, 品詞タグ付け, 係り受け解析)を行うものである。2つ目は正解の単語分割を入力にして品詞タグ付け・係り受け解析を行うものである。3つ目は正解の単語分割と正解の品詞タグを入力に係り受け解析のみを行うものである。

全ての結果を付録の表 4 に示す。正解デー タの場合 Gold という表記で示している。v2.5 (IBM) は IBM の単語分割基準、v2.8 (SUW) が短単位、v2.9 (LUW) が長単位のデータとなっている。 UDPipe [16](v1.2.0) によりこの 3 種の単語分割について再訓練を行ったものの結果を UDPipe (T) にて示している。UDPipe はパイプラインモデルで単語分割・品詞タグ付け・レンマ推定・係り受け解析を行うことができる。また LINDAT/CLARIN が提供す

2）実際 Omura and Asahara [11] らのルールは短単位に基づいたルールであるが、長単位の場合でも品詞に関する変換ルールを 10 個ほど追加しただけで変換できた。

3) https://github.com/masayu-a/UD_Japanese-GSDPUDCabocha

表 3 未解析文を入力した場合の係り受け解析精度 (Subset of 表 4). Diff は w/o vec と w/vec の差である

る UDPipe モデル4)はv2.5 (IBM) の訓練データで訓練しており、その結果も UDPipe (O) として示している。さらに UDPipe は係り受け解析器に外部の単語埋め込みを利用することができる。短単位に基づく単語埋め込み NWJC2vec を利用していないものと利用したものの結果について Train w/o vec と Train w/ vec にて示している。v2.5 (IBM) でもUDpipe 特有の単語埋め込みが生成されているため、Original で示している。

全体的に $\mathrm{v} 2.5$ 以前の UDよりも v2.8 以降の短単位と長単位を採用した UD のほうが、高精度に解析が可能であることが分かった。また、通常の UDPipe におけるv2.9(LUW) の係り受け解析精度は v2.8 (SUW) に1.2-1.4\%ほど劣っていた。

表 3 に単語埋め込みの影響を見るため、未解析分を入力とした結果のみ抜粋している。短単位に基づく単語埋め込み NWJC2vec の利用の有無の差分を見ると v2.8 (SUW) のほうが、v2.9(LUW) よりも性能の向上が見られた。一方で、MeCab や Comainu を使った場合、単語埋め込みを使わない設定においては、 v2.8(SUW) よりも v2.9(LUW) のほうが良い性能であり、また単語埋め込みを利用した場合の最終的な係り受けの精度は $\mathrm{v} 2.8(\mathrm{SUW})$ と $2.9(\mathrm{LUW})$ とでほとんど差がないことが確認された。構文的な語の認定精度が構文解析精度に影響があることがわかる。単語単位の問題は単語埋め込みの構成単位にもかかわってくる。長単位に基づく単語埋め込みの構築は前述の通り Type Token Ratio の観点からは実用的ではなく、現状の計算資源では文字もしくは短単位に基づく単語埋め込みが好まれるだろう。

最後に、表 4 の Lemma の項目をみると、短単位よりも長単位のほうがレンマ生成の精度が低いことが確認された。これは複合された形態素の語彙素の推定は難しいためと考えられる。長単位のレンマ生成

器の精度向上が望めば、より良い解析精度を得られるだろう。

## 5 おわりに

本稿では日本語 UD における単語分かち書きの問題について示した。様々な日本語分かち書き基準について紹介するとともに、UD が掲げる理念に即した単位認定「構文的な語」にふさわしい単位として国語研長単位があることを紹介した。実際に長単位に基づくUDを構築し、公開・共有を行った。さらに長単位に基づくUD_Japanese-GSDLUW (v2.9)について、公開されているツール・言語資源を用いて、 その再構成可能性について検討を行った。結果、既存の形態素解析器 $\mathrm{MeCab} \cdot$ Comainu とともに短単位に基づく単語埋め込み NWJC2vec を用いた設定において、短単位と長単位とで最終的な係り受けの性能において差がないことを確認した。

構文的な語に基づく依存構造ツリーバンク構築は、日本語のような分かち書きされない言語においてはかなり困難なタスクである。その形態素（短単位・長単位) ・品詞・複合辞認定・依存構造木の構築には多大な作業が必要であった。最初に UD Japanese に携わってから、対外的な調整（権利関係・ アノテーション基準）も含めて、8 年の期間を要した。本基準に則ると、文節係り受けが付与された短単位・長単位に基づく BCCWJ や CEJC なども UD 対応することが可能である。

ただし、構文的な語としての長単位の出力が、工学的に有用であるかはまだ不明である。長単位は複合辞の問題を緩和している一方、先に述べた通り単語埋め込みの恩恵を受けにくくなるという問題がある。さらには、類型論の研究を考えた場合に、他言語においても同様の構文的な語を規定できるかという問題がある。今後他言語を含めた有用性を検証する必要があると考えられる。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 17H00917 の支援を受けました。

## 参考文献

[1]Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). European Language Resources Association (ELRA), May 2016.

[2]伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, and 小磯花絵. コーパス日本語学のための言語資源-形態素解析用電子化辞書の開発とその応用 (特集コーパス日本語学の射程). 22:101-123, oct 2007.

[3]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguti, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language resources and evaluation, 48(2):345-371, December 2014.

[4]Hanae Koiso, Yasuharu Den, Yuriko Iseki, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, and Yasuyuki Usuda. Construction of the Corpus of Everyday Japanese Conversation: An interim report. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). European Language Resources Association (ELRA), May 2018.

[5]Masayuki Asahara. NWJC2Vec: Word embedding dataset from 'NINJAL Web Japanese Corpus'. Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, 24:7-22, January 2018.

[6]Yugo Murawaki. On the definition of Japanese word, June 2019. arXiv: 1906.09719 [cs.CL].

[7]Yasuharu Den, Junpei Nakamura, Toshinobu Ogiso, and Hideki Ogura. A proper approach to Japanese morphological analysis: Dictionary, model, and evaluation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), pages 1019-1024. European Language Resources Association (ELRA), May 2008.

[8]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, July 2004.

[9] 小澤俊介, 内元清貴, and 伝康晴. 長単位解析器の異なる品詞体系への適用. 自然言語処理, 21(2):379-401, 2014.

[10]Takaaki Tanaka, Yusuke Miyao, Masayuki Asahara, Sumire Uematsu, Hiroshi Kanayama, Shinsuke Mori, and Yuji Matsumoto. Universal dependencies for Japanese. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pages 1651-1658. Euro- pean Language Resources Association (ELRA), May 2016.

[11]Mai Omura and Masayuki Asahara. UD-Japanese BCCWJ: Universal Dependencies annotation for the Balanced Corpus of Contemporary Written Japanese. In Proceedings of the Second Workshop on Universal Dependencies (UDW 2018). Association for Computational Linguistics, November 2018.

[12]Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Association for Computational Linguistics, August 2013.

[13]Hiroshi Kanayama, Kentaro Torisawa, Yutaka Mitsuishi, and Jun'ichi Tsujii. A hybrid Japanese parser with hand-crafted grammar and statistics. In COLING 2000 Volume 1: The 18th International Conference on Computational Linguistics, pages 411-417, July 2000.

[14]松吉俊, 浅原正幸, 飯田龍, and 森田敏生. 拡張 cabocha フォーマットの仕様拡張. 第 5 回コーパス日本語学ワークショップ, pages 223-232, 2014.

[15]浅原正幸 and 松本裕治. 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[16]Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing ud 2.0 with UDpipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 88-99. Association for Computational Linguistics, August 2017.


# 日本語のシ接続とシテ接続との対応から見た 韓国語の接続語尾「-고」と「-ㅅ」」の使い分けの提案

滝澤宇大 ${ }^{1}$ 西口純代 $^{2}$
1 小樽商科大学商学部商学科 2 小樽商科大学言語センター

## 概要

日本語の「〜 (し)て」に対応する韓国語の一当とー서 の使い分けの紛らわしさを解消するための方法、考え方の提案を日本語の中止形接続と絡め、検討した。一胥とー众の様々な用法の例文をシ接続とシテ接続 $\mathrm{i}$ で訳し、接続の自然さや文が表す意味を考察した結果、一甹がシ接続、ー서がシテ接続と似た機能を持つことがわかった。これにより、前後節に関連性がある接続における、関連性の強さの差を主張することができた。似た紛らわしい用法において関連性がより強い方には-서、関連性が弱いと言える方には-고 を用いるという考え方を提案した。

## 1 はじめに

本稿では日本語の「〜(し)て」に対応する韓国語の接続語尾-고と-서使い分けの誤用について取り上げる。「〜(し)て」には多くの用法があり、日本語ではその用法および意味を一つ一つ理解し意識的に使い分ける必要がないが、韓国語では-ㄱと一서 使い分けなければならない。韓国語学習者の使い分けの誤用の傾向と要因を分析した結果を踏まえ、日本語の中止形接続を絡めた使い分けの方法を提案する。

## 1.1 「-고」と「-서」の用法の分類永原 (2017)は日本語の「〜 (し)て」と韓国語の一贡、一釡の対応について以下のようにまとめている。

「(1)並列 : -고と対応

(2)時間的継起 (先行、順序): -고、 - 어서と対応

(3)起因的継起(原因・理由): -어서と対応

(4)きつかけ(契機): -고と対応

(5)付帯状態(同時進行、手段・方法、条件)

: -어서と対応する場合が多いが、

一部〈様態〉を表す一ㄱ. を含む」

(永原, 2017, p. 170)

この分野に関する先行研究においてはそれぞれの用法の分類が研究者ごとに異なる部分があるが、本稿では基本的にこの永原の分類に従った。

## 1.2 日本人学習者の誤用の傾向

日本人の韓国語学習者を対象にこの使い分けの理解度を測るテストを実施したところ、以下の 4 つのことがわかった。

〈1〉[並列]、[原因・理由]といった-ㄱー一ㅅそれぞれの中心的な意味の理解度は高い。

〈2〉時間的継起の [順序]の-고と [先行]の一利における「前後節の関連性の有無」による使い分けの考え方"が学習者によく浸透している。

〈3>中心的な意味から外れ、テキスト等に掲載されない用法 ([きっかけ] [付帯状態])の理解度が低く、これらの用法にも時間的継起における使い分けの考え方を適用してしまうと誤用が生じる。

〈4〉[原因・理由]の一利と［きっかけ]のの-고 [手段・方法 $]$ の一利と [様態 $]$ の一고いった似たような用法における使い分けが学習者にとって紛らわしく誤用が多い。

以上を踏まえて、〈4〉の似た用法がそれぞれどう違うのか示し、その違いが学習者に浸透している $<2>$ の考え方と共通することを示すことができれば、学習者にとって理解しやすい、紛らわしさを解消する方法といえる。また実施したテストの内容と結果については付録の表 1 を参照されたい。

## 2 日本語の中止形接続との対応

## そもそも日本語の「して」は動詞「する」の連用形「し」に接続助詞の「て」がついた形である。「学校に行って、勉強する」のような前節と後節の接続 がテ形接続と呼ばれるのに対し、「学校に行き、勉

強する」のように「て」をつけずに連用形のままマス形でつなぐ形は連用中止接続、中立形接続などと呼ばれる。どちらも文を中止する機能を持った中止形である。本稿ではテ形接続を「シテ接続」、連用中止接続を「シ接続」と呼ぶ。益岡(2012)はシ接続は「単純列挙(並列)の表示を基本とし、場合によって連用関係の一部 (継起/因果)の意味を含意」し、シテ接続は「広義連用関係の主要な意味領域である「並列・時間・論理 (広義因果) ・様態」の意味を包括的に表す」としている(p.4)。一巫がシ接続、一ㅅがシテ接続にそれぞれ対応し、似たような機能を持つのではないかと考え、次の検証を行った。

## 2. 1 検証

一ㄱとー서で接続されるそれぞれの用法の韓国語の例文を、シ接続とシテ接続で訳し、どちらが適当でより自然な文章になるか、その接続がどう言った意味を表すかを考察したただしここでの不自然さとは、 シ接続が書き言葉的で、シテ接続が話し言葉的な文体であることからくる不自然さではなく、文があらわす意味の不自然さや接続の不自然さとする。自然な接続に○、どちらの接続でも自然な場合、よりふさわしい接続と考えられればその接続に）、やや不自然な文には $\triangle$ 、明らかに不自然なものにはメをつけた。

## [並列]

a. 여름”은 "덥고"겨울은 추워요.

夏は<暑く()/暑くて $(\bigcirc)>$ 、冬は寒いです。

b. 남편은 영화를 봤고 처는 쇼핑했어요.

夫は映画を $<$ 見 $(X) /$ 見て $(\bigcirc)>$ 、私は買い物をしました。

$\mathrm{b}^{\prime}$. 저는 쇼핑했고 남편은 영화를 "봈어요.

私は買い物をくし（○)/して（○)>、夫は映画を見ました。

c. 배가 아프고 머리도 아파요."

お腹が＜痛く()/痛くて $(\bigcirc)>$ 、頭も痛いです。

[並列 $]$ の用法は韓国語では-走のみが対応する用法であるが、シ接続もシテ接続も用いることができた。 ただ益岡 (2012)は[並列]の領域で両者(シ接続とシテ接続) は競合関係にあるとしながらも「同類の事態」や「関係する複数の事態を分立・対立する」単純列挙では、「同次元的な共存関係を示すことから、中立系接続が優先される (p. 4 5)」(中立形接続=シ接続)としている。確かに、話し言葉において並列の用法でもシテ接続が多用されるため不自然な感じがしないが、ここでの「て」は単なる接続の機能だけを担ったもので、前件と後件の並列感、羅列感は連用形の部分が担っているといえる。そのため [並列] の接続においてはシテ接続よりもシ接続がより適していると考える。また「見る/寝る/着る/来る」などのように連用形が一拍のものにはシ接続は一般的に用いられにくくシテ接続が用いられるため、例文(1) のb’はシ接続が不自然な文になった。

## [継起 (順序/先行)]

a. 오늘은 “친구를 만나고 영화관에 "갔”어요."

今日は友達に<会い $(\bigcirc) /$ 会って $(\bigcirc)>$ 、映画館に行きました。

b. 오늘은 "친구를 만나서 영화관에 "갔어요.

今日は友達に<会い $(\bigcirc) /$ 会って $(\bigcirc)$ >、映画館に行きました。

c. 저녁을” 먹고륵을" 먹었”어요.

夕飯をく食べ $(\bigcirc) /$ 食べて $(\bigcirc)>$ 、薬を飲みました。 d.아침밥을 "먹고 회사에 가요.

朝ごはんを $<$ 食べ $(O) /$ 食べて $(O)>$ 、会社に行きます。

e.도서관에 가서 공부헤요.

図書館にく行き $(O) /$ /行って $(\bigcirc)>$ 、勉強します。

f.은행에서 "돈"을 찾아서 책을" 샀"어요."

いました。

[継起]の用法において韓国語では関連性のない前後の動作を時間的に羅列した[順序]では-ㄱ、前件が後件の動作の前提になるなど前後に関連性のある動作を接続した[先行]ではーㅅを用いる。(2)の例文において、a, c, d がーㄱ用いる[順序]、b, e, f が-서用いる [先行]の例文である。どの文においてもシ接続とシテ接続を用いることができ不自然な文にはならなかったが、どちらを用いるかによって表す意味に違いもみられた。aが「その友達とは別れて映画館に行ったこと」を表すのに対し、bは「その友達と映画館に行ったこと」を表し、この意味の違いを韓国語では-ㄱー서で使い分ける。しかしシ接続、シテ接続のどちらで訳しても両方の意味を受け取ることはできた。c とdにおいても、どちらの接続でも前後の動作をただ順序付ける文になったが、シテ接続を用いると「て」の完了の意味がより強く出た。

そのため前後の順序を強調する「〜してから」の意味を表したい場合はシテ接続が適していると言える。 ただ韓国語においてはそのどちらの表現でも一甹を用いる。e と fにおいても、シテ接続を用いると「(行って)そこで」、「(おろして)そのお金で」というように前件が後件のための動作である意味、前後の結びつきの強さを受け取ることができたが、シ接続ではそれが薄まった。益岡(2015)は「よく考えてお返事いたします。」を例に挙げ、継起の用法について 「先後関係が明瞭な場合はテ形が優先される (p.4)」 としている。たしかにシ接続に比べてシテ接続を用いた方が前後節の順序が明確化する。このように継起の用法においては、シ接続がー고、シテ接続がー스 それぞれ対応するとは言い切れなかった。

## [原因・理由/きっかけ]

a. 많이 먹어서 배가 불러요.

たくさん $<$ 食べ $(\triangle) /$ 食べて $(\bigcirc)>$ 、お腹がいっぱいです。

b. 너무"바빠서 공부 못했어요.

あまりにく忙しく $(\triangle) /$ 忙しくて $(O)>$ 、勉強できませんでした。

c. 친구가 합격했다는 소식"을 들고 놀랐어요.

友達が合格したという知らせをく聞き $(\bigcirc) /$ 聞いて (○)>、驚きました。

[原因・理由]における用法では $\mathrm{a}, \mathrm{b}$ が-서、c は永原（2017）において[原因・理由] と区別される［きっかけ]としてー고゙用いられる例文である。[きっかけ] に分類される文においても前件が後件の原因・理由になっている、という考え方により [原因・理由]の -서 [きっかけ]の-고区別が日本人学習者にとって難しい。a, b はシ接続を用いると前後が切れて繋がりがやや不自然な文になった。 c においてもシテ接続の方が前後に因果関係を強く感じることができたが、シ接続が不自然な文にはならず[継起]の意味が強く出た文として成立した。[原因・理由]の文 (a, b)がシ接続にすると前後の結びつきが切れて不自然になったのに対し、[きっかけ]の文 (c)ではシ接続で前後の結びつきが切れても影響なく文として成立した。このことから [原因・理由]に比べると[きっかけ]は前後の結びつきが弱いという考え方ができる。シ接続が成立するかしないかという点から [原因・理由] と [きっかけ] の用法における前後節の結びつきの強さに違いがあると言う考え方ができた。こ
れは二つの用法における-고と-서使い分けの紛らわしさを解消する手段の一つになりうると考える。

## [付帯状況 (手段 - 方法/様態)]

a. 걸어서 "학교에" 가요.

<歩き $(X) /$ 歩いて $(\bigcirc)>$ 、学校に行きます。

b. 버스를 타고 학교에 가요.

バスに<乘り $(\bigcirc) /$ 乗って (○)>、学校に行きます。

c. 알바이트를 해서 돈을 "모았어요.

アルバイトをくし $(\triangle) /$ して $(\bigcirc)>$ 、お金を貯めました。

d. 고무창갑을 끼고 설거지를 "해요.

ゴム手袋をくはめ $(\bigcirc) /$ はめて（○)>、皿洗いをします。

e. 의자에 앉아처 책을 "읽어요.

椅子にく座り $(\bigcirc) /$ 座って () >、本を読みます。

$\mathrm{e}$ ‘의자에 앉고 그 다음 책을" 읽어요.

椅子に<座り ()/座って $(\bigcirc)>$ 、その次に本を読みました。

f. 하루총일"서서"일했어요."

一日中 $<$ 立ち $(\times) /$ 立って $(\bigcirc)>$ 、働きました。

最後に [手段・方法]、[様態]を付帯状況としてまとめて考察する。この二つの用法において日本人学習者にとって紛らわしかったのが、「乗って行く」は[様態]の-고、「歩いて行く」は[手段・方法]の一利というように、どちらも「行く」方法であると考えられるところで接続を使い分けなければならない点だった。「乗って行く」は乗り込んだ時点で「乗る」動作が終了しつつ「乗っている」状態が「行く」動作と共に持続しているとして、「歩く」と「行く」が同時の動作と考えられる「歩いて行く」とは区別される。しかし、一代が用いられる「座って本を読む」 も座った時点で「座る」動作が終了しつつ「座っている」状態が「読む」動作と共に持続していると考えられるため、ーㅅもも[様態]の用法があると言える。以降、 [様態]の一贡と区別するため「[様態(姿勢) $]$ の一ㅅ」と表記する。ただ、[様態(姿勢) ]の一代を継起の [先行]の用法に含めている先行研究が多い。-ㅅ が用いられる [手段・方法]の例文 a, c、[様態(姿勢) ] の例文 $\mathrm{f}$ おいてシ接続を用いると、a, f は文が成立せず、 $\mathrm{c}$ も前後のつながりが不自然になった。宮崎(2015)は「歩いて行く」などの手段、「立って仕事をする」などの姿勢を表す接続について、「従属度が高く副詞に近づいているものは、第 1 中止形に
置き換えられない(p. 183)」としている。b, d の[様態]の一丛をシ接続で訳すとただ動作の前後を結ぶ継起の意味を受け取れるのに対し、シテ接続では「バスに乗るというく手段で〉学校に行く」、「ゴム手袋をはめた〈状態で〉皿洗いをする」というように前後の意味関係が強調されるように受け取れる。[様態 (姿勢) ]の-서の例文 e も、単に「椅子に座る」動作と「本を読む」動作の時間的な前後関係を表す文としても「椅子に座ったく状態で〉本を読む」という意味を表す文としても捉えられる。後者の意味を表すにはやはりシテ接続がふさわしい。前者の動作の順序を強調する場合は、f” のように「”之 다음(その次に)」などの表現を追加し一贡で接続したほうが適切である (継起の [順序])。以上のことから [手段・方法]、[様態(姿勢) $]$ の一付にはシテ接続が対応すると言える。また[様態] の-고、シ接続でもシテ接続でも自然な文が成立するが、「前件の動作の結果を持続した状態で」という[様態]の意味をより明確に表すにはシテ接続が適当である。宮崎(2015)で「従属度が高い」と述べられている[手段・方法] と [様態] (姿勢)は、単なる時間的な前後関係を表す文としても成立する[様態]に比べて前後の結びつきがより強いと言える。

## 2.2 考察・主張

全体を通して、シ接続では前件と後件の繋がりの強さが現れにくく、シテ接続を用いると前後節の意味関係がより表面化して現れた。これに加え一杢の用法においてシ接続で訳して不自然な文になるものがなく、一付の用法においてシテ接続で訳して不自然な文になるものもなかったという結果も踏まえると、[順序]の-고と[先行]の-서の使い分けだけでなく他の紛らわしい用法においても、一고-서 で前後節の結びつきの強さに差があるという主張ができる。日本人学習者にとって特に紛らわしかったのが［きっかけ］の-고［原因$\cdot$理由] の-서の使い分け、 $[$ 様態 $]$ の一正と $[$ 手段・方法 $]$ の一众の使い分けである。上述したように、[きっかけ]、[様態]の一ㄱはどちらもシ接続で訳しても継起、単なる時間的な前後関係を叙述する文として成立するが、[原因・理由] 、 [手段・方法]の一众はシ接続で訳すと不自然な文となった。このことから［きっかけ］と[原因・理由]、[様態] と[手段・方法]ではそれぞれ前後節の結びつきの強さに差があることが言える。結びつきがより強いと言える[原因・理由]、［手段・方法］はどちらも-
서を用いる用法であり、時間的継起の [順序]の一走と [先行]の-서の使い分けにおける、[先行]は前後の関連性が高いという考え方と共通する。

この [順序 $]$ と [先行]の使い分けの方法を他の用法にも適用してしまうことで誤用が起きると先に述べた。しかしその誤用は、[きっかけ]や[手段・方法]、 [様態]といった中心的な意味から外れる用法の分類がテキストにまとめられないことによって生じるものである。そのため、ーㄱと-서の用法の分類を絞ることなく提示し、その上で[原因・理由] と[きっかけ]、[手段・方法] と [様態]それぞれの使い分けを今回示した前後節の結びつきの強さの差で説明することで、学習者の紛らわしさを解消しうると考える。 これは学習者に浸透している、「前後の関連性の有無」という[順序 $]$ の-고と[先行]の-서の使い分けにおける考え方と共通するため、学習者にとってより理解しやすいものであると言える。

## 3 まとめ・おわりに

本稿で述べてきたことをまとめると以下のようになる。

・「一妇での接続は前後の関連性をなくすため、関連性のある前後は一ㅅで接続する」という認識が浸透しているということ。

・一贡がシ接続と、ー서がシテ接続と似た機能を持つということ。

・前後節に関連性があるのに一夛を用いる[きっかけ]、[様態]の用法について、それぞれ似た用法である一财の [原因・理由] と [手段・方法]に比べると前後の結びつきの強さが弱いと言えること。（前後の結びっきの強さに差があるということ。)

・一ㄱとー서の用法の分類を絞ることなく提示し、その上で[原因・理由] と [きっかけ]、[手段・方法]と [様態]それぞれの使い分けを前後節の結びつきの強さに差があるという点で使い分けを説明するべきということ。

この分野におけるほとんどの先行研究において一 고くㅅは日本語の「て」に対応するとしているため、一甹と-서に連用中止接続 (シ接続) とテ系接続(シテ接続)を対応させることによる、使い分けの説明の主張はされてこなかった。それに加え、これまでの先行研究のように動詞の種類や目的語の移動などに触れた難しい説明に比べて、学習者にとって理解しやすい使い分けの説明の提案ができたと考える。

## 参考文献

1. 永原歩 (2017) 「韓国語の接続語尾「-고 ko」と 「-아서 aseo/어서 eoseo」の誤用と

習得」『東京女子大学紀要論集』67:159-183.

2. 金秀美 (2013)「韓国語の「고 오다」と「아 오다」

について」『慶応義塾外国語教育研究』10:23-42

3. 崔チョンア (2018)「韓国語テキストにおける

「-eoseo」形と「-go」形について一日韓対照研究の

観点からの提案一」『言語文化論叢』22:1-29.

4. 孫禎慧 (2005) 「日本語を母語とする韓国語学習者の誤用分析-해서形と하고形を中心に一」『朝鮮学報』 195.

5. 八野友香 (2011) 「付帯状況を表すシテに関する一考察」『日語日文學研究』77:357-375.

6. 宮崎聡子 (2015)「日本語母語話者及び日本語学習者による動詞中止形の使用状況-「YNU 書き言葉コー バス」の調查を通じてー」『岡山大学社会文化科学研究科紀要』39:179-194.

7. 益岡隆志 (2012) 「日本語の中立形接続とテ形接続の競合と共存」第 31 回中日理論言語学研究会. 同志社大学大阪サテライト・オフィス, 2012 年 10 月 21 日。

8. 生越直樹・専喜澈 (2018)『ことばの架け橋[改訂版]』白帝社.

9. 魏聖銓 (2018)『韓国と日本-くらべて学ぶ中級韓国語-』朝日出版社.

10. 金順玉・阪堂千津子 (2017)『もつとチャレンジ！韓国語』白水社.

11. Kpedia. (オンライン) https://www. kpedia. jp

## A 付録

表 1

 &  & $80 \%$ \\

＜テスト受験者について＞

対象者 : 日本の大学において第二外国語として韓国語の履修経験がある学生。

学年 : 大学 2 年生 10 名、 3 年生 5 名、 4 年生 5 名、計 20 名。

韓国語学習歴: 1 年目 1 名、 2 年目 11 名、 3 年目 5 名、 4 年目 2 名、それ以上 1 名。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 類型論データベースを用いた人類史解明のための言語類似法の構築

${ }^{1}$ 東海大学医学部 ${ }^{2}$ 慶應義塾大学大学院政策・メディア研究科 ${ }^{3}$ 東京医科歯科大学 ${ }^{4}$ 慶応義塾大学薬学部
matsumae. hiromi. g@tokai. ac. jp

## 概要

本研究では、人類社会における言語の多様性とその歴史を解明する目的で、言語類型論のデータベー ス用いて、文法の類似性に基づいた解析法を新規に考案した。既知の先行研究の課題であった、(1) 久損値を含み、かつ多次元であるような複雑な文法要素のデータ構造の前処理を自動化し、(2)ペアワイズの相関解析に基づき言語間の類似性の推定を行い、(3)文法要素のクラスタリングを行うことで、非独立性要素が要因となり生じる類似度の誤差を推定し、(4)最終的に、木構造に依存しない可視化法としてスパイダーチャートで類似性を採用した。そして北東アジアとヨーロッパという言語多様性の観点から対称的な 2 つの地域の言語に絞った予備解析を行った。

## 1 背景

ヒトの言語はヒトだけが持ちうるユニークな文化である。しかし世界には 8000 以上の言語が知られており、それらは 420 以上の言語族に分けられている(1)。つまり人類集団の中で言語は、ヒト言語としての普遍性を保ちつつも、多様性を生み出している。

これら多様な言語の歴史的関係性を定量的に推定することは容易ではない。例えば、基礎語彙に基づく歴史言語学的アプローチは、語族内の関係性の再構成には有力な手法である。またある語族に属する言語とその話者集団の遺伝的関係についても学際的なテーマとしてよく研究されている。例えば、西ユ ーラシアにおけるインド・ヨーロッパ語族の言語と話者それぞれの起源と拡散史の解明は、ハイスルー プットな個人ゲノム解析技術の飛躍により、欧米では競争が激しい研究テーマの 1 つである。しかしこの方法は、借用語の関係などを除けば語族間の関係性の推定には適さない。語彙の他では、音素は語族を超えた比較が容易であるものの、音素の類似性は、近年の言語接触により生じた変化を反映しやすいと考えられており、古い歴史的関係性を保持していない可能性がある (2-3)。したがって、世界中の民族集団の高品質のゲノムデータが得られるようになっている中で、言語族数が少ない西ユーラシアに比べ、多言語族に跨がる東ユーラシアの言語-遺伝子の関係は、大きな後れを取っている。

一方、言語類型論では、文法には言語族間の関係性が反映されているという仮説もあり、文法をデー タベース化し、言語の類似性の評価に利用しようという動きにつながった (4)。それら言語の類型論的な特徴は、World Atlas of Language Structures (WALS) といったデータベースに集約されてきた。近年、WALS の文法要素やその他音素などのデータベースを統合し、2,500 以上の言語データを含む新しい言語類型論データベース AUTOTYPが 2017 年に考案された (5)。

AUTOTYP を用いて言語間の歴史的関係性の推定を行った先行研究として、日本、朝鮮半島、シベリア、北極圏を含む北東アジア 11 言語族に対して、言語の 3 つの要素（語彙・文法・音素）とゲノムと音楽 (歌)を比較した研究が挙げられる (6)。これら地域の民族集団のゲノムはよく研究されており、語族が異なっていても民族集団間にどの程度の遺伝的な連続性があるか知見が集積されているため、もし言語の中にそうした類似性を示す要素があれば、ゲノム史と相関するだろうというアイデアである。この研究では、言語やゲノムに対して、それぞれ言語/民族間の距離を距離行列に変換し、統計的に分析することで文法の類似性とゲノム史の間に有意な相関を見出した（逆に語彙や音素とゲノム史の間には統計的な関連がなかった）。このことは語族間関係の推定に文法が利用可能であることを示唆している。

この先行研究は、文法のデータ解析にいくつかの課題を残している。第一に AUTOTYP 上の文法要素のデータ構造は多次元データであると考えられ、加えて研究者人口の少ない言語では欠損値を多数含むといった複雑な構造になっており、利用にあたり言
語類型論の高い知識が要求されることが挙げられる。例えば、どの文法要素同士が独立なのか、それとも関連があるのかは、現在の AUTOTYP は対応づけできていない。従って、AUTOTYP を用いて、北東アジア以外の地域の語族間の関係性を分析するには容易ではない。第二に、言語間の類似性の可視化の課題である。先行研究(6)では、主成分分析や遺伝子系統解析で用いられるネットワーク系統樹 Neighbornet を用いることで言語間の関係性を可視化した。しかし系統解析の基本である木構造は、人間には直観的に理解しやすいものの、言語間の関係を単純化しすぎる懸念がある(7-8)。語族間の定量解析は始まったばかりであり、語族同士の系統関係についてはそもそもよく分かっていないため、こうした関係性は様々な方法で検証されるべきである。さらに木構造以外で言語のような複雑な変化を示す文化の類似度を可視化できれば、言語に限らず、幅広い文化的指標に適用できる可能性が生まれる。

そこで本研究では、最終的に言語史研究に応用する目的で、AUTOTYP のデータを、事前の知識をなるべく必要としない形で自動的に抽出・解析し、木構造以外の形式で可視化した。本研究では、汎用性を高めるため、perl およびR を用いたパイプラインを構築した。

## 2 AUTOTYP データの抽出と前処理

## 2.1 地域集団データセットの作成

本研究は、言語間の関係を最終的に人類史に照らし合わせることを目的としている。そこで、テストデータセットとして 2 の言語セットを作成した。一つ目は北東アジアに焦点を当て、先行研究(6)の 14 言語に対して、より広域の 52 言語/23 言語族を含むデータセットを作成した。この 52 言語には、地域的に遠く、言語学的な知見からも外群的な (コントロ一ル的な）役割を期待できそうな言語族も含めた。二つ目は言語多様性の低いヨーロッパのデータセッ卜を作成した。AUTOTYP に記載されている地域情報(“Region”)から Europe を抜き出したところ、先印欧語も含む 107 言語/6 言語族が含まれていた。これらのデータセットを用いて以下の解析を行った。

## 2.2 文法要素の coverage の産出

各言語は、AUTOTYP 上に存在する全ての文法要素に対してデータを持っているわけではない。これ
は、例えば、特定の言語族にしかないような稀な文法要素の変数が存在するためである。例えば、アジアの特定地域にしかない稀な文法要素を使って、ヨ ーロッパの言語を分析するのは、多くの場合、ナンセンスであることが想定される。さらに研究者がほとんどおらず、言語記録が限られている消滅危機言語では、類型論的研究が十分になされていないケー スは多い。実際、北東アジアにはアイヌ語を始めとした消滅危機言語が多い。しかし人類史的な観点からは、そうした稀少な言語こそが重要であるため、一律に排除することは避けたい。

そこで、本研究では与えられたデータセットごとに久損値の取り扱いを考慮し、任意の欠損率をもつデータのみを選択できるようにするため、 2 つの閥值を設定した。1つ目は、RoL=データセット内において各文法要素が共有する言語の割合(a Ratio of Languages sharing each grammatical factor in a dataset) である。RoL では、文法要素の頻度に間値を設けた。

例えば、RoLを低く設定すれば、その地域では稀である文法要素を、全体的な言語間の類似性の判定に用いることができる。逆に共通要素だけを使いたい場合には RoL を高くする。2つ目は、RoG=データセツト内において各言語が共有する文法的要素の割合 (a Ratio of Grammatical factors sharing each language in a dataset)である。例えば、RoGを低くすれば、久損値ばかりの言語を除去したい場合に用いることが出来る。RoG の低い言語を含めると、その後の言語間の関係性の推定精度が大きく下がるからである。

2 つの欠損値率を組み合わせた場合のデータ量について、テストデータセットで調べた。RoLを $80 \%$以上とした場合、北東アジアもヨーロッパも言語が残らなかった。そこで、RoLを $50 \%$ 以上の場合に絞り込むと、言語族の数が大きく異なる北東アジアでもヨーロッパでも $80 \%$ 程度の言語が残ることが分かったが、文法要素数の割合は異なっていた(表 1)。さらに、RoL $\geqq 50 \%$ の場合から、RoG に間値を与えたときの言語数の影響を検討した (図 1)。その結果、 $\mathrm{RoG} \geq 50 \%$ では、どちらの地域でも言語が残る確率は変わらなかったが、RoGを上げると、ヨーロッパの言語は北東アジアに対して言語が絞られる傾向があった。このことは、ヨーロッパのデータセットの特性に由来すると考えられる。ヨーロッパの言語はインド・ヨーロッパ語族が 88 言語 $(82 \%)$ を占めており、しかもその内訳は方言に近いような関係の言語も多い。そのため、高いRoG ではインド・ヨーロッ

パ語族に偏った要素が抽出されると考えられる。なお、RoG の値の選択では、文法要素の数は変わらなかった。このように、データセットに適した久損値の扱いが必要である。

表 $1 . \mathrm{RoL} \geqq 50 \%$ の言語数と文法要素数

 & 言語数 $(\%)$ &  \\

図1. 各データセットに含まれる言語数

## 3 言語間の類似性解析

言語間の類似度解析を行うために、One hot vector encoding を行い言語の文法要素データベースの数值化を行った。この数値化により、各言語の文法要素の情報は、文法要素の存在の有無を 0 と 1 で表したバイナリベクトルで表される。ただし、言語要素の有無に関する情報がない場合、null とした。今回、 このバイナリベクトルを用いて、以下の様に、言語間のぺアワイズな類似性解析を行った。

2 つの言語ペアに対して、存在の有無の情報を有している要素（null でない要素）のみに着目し、バイナリベクトルの一致率を計算した。この一致率の計算を全ての言語ぺアに対して行い、一致率の行列を作成した。その後、各言語ぺアの全言語ぺアに対する相対的な類似度を調べるために、この一致率の行列からぺアワイズに相関係数を算出した。この相関係数を、各言語ペアの類似度として用いた。

## 4 文法要素間のクラスタリング

言語の文法要素において、複数の文法要素が強い関連性を持つことがある（非独立性文法要素クラスター）。このような文法要素クラスターは、言語間の類似度の計算に強いバイアスを生じさせる原因と
なる。例えば、ある 2 言語が非独立性文法要素クラスターを共有する場合、この 2 言語の類似度は、相対的に高く見積もられてしまう。

そこで、文法要素のクラスタリングを行い(図 2)、 このようなバイアスが原因となって生じる類似度の誤差を推定した。具体的には、言語間の類似度解析と同様に One hot vector encoding によるデータの数值化を行い、そのデータに対して kmeans 法で文法要素間のクラスタリングを行った。最適なクラスタ一の数は、Gap 統計量をもとにして算出した。その後、各クラスターからランダムに 1 つの文法要素の抽出を行い、ペアワイズな言語間の類似度を算出した。この類似度の算出を 100 回行い、標準偏差を計算した。この標準偏差の値を用いて、非独立性文法要素によるバイアスから生じる言語間類似度の誤差を推定した。

図 2. 文法クラスターの例。 $\mathrm{RoL} \geqq 50 \%$ 以上、 $\mathrm{RoG} \geqq 50 \%$以上のとき、北東アジアセットでは、文法要素は 7 つのクラスターに分けられた。各言語(縌)に対して、横のラベルが各文法要素で、変数の値で色づけした。

## 5 言語間の類似性の可視化

求めた類似度と誤差率に対し木構造に依存しない可視化法として、本研究ではスパイダーチャート（レ ーダーチャート) を採用した(図 3,4 )。ある言語に対して、データセットに含まれる言語が円周上に配置されており、円の中心からの距離で類似度（直線）、 その誤差率（点線）を示した。円の中心に近いほどその類似性が低く、円周に近いほど類似度が高くなる。北東アジアのデータセットにおける日本語の例

を図 3 に示した。日本語と日本語の類似度は $100 \%$一致するので、円周上に位置する。日本語に対して、北東アジア外の言語は、 $50 \%$ 程度の類似度があっても誤差率が高い言語や、誤差率は低いが類似度も $25 \%$ と低い言語などがあった。こうした事例は、例えば、類似度が $60 \%$ 以下だったり、誤差率の高い類似度を除外して、より信頼性の高い語族間の距離の分析に利用できる可能性がある。

図 3. $\mathrm{RoL} \geqq 50 \%$ における、日本語とその他北東アジアの言語との類似度 ( $\mathrm{a}: \mathrm{RoG} \geqq 80 \% 、 \mathrm{~b}: \mathrm{RoG} \geqq 50 \%)$ 。矢印は日本語自身。アス㚈スクは北東アジア外の言語、無印は日本語以外の北東アジアの言語を示す。

一方、英語とヨーロッパの言語を比較したところ

(図 4)、インドヨーロッパ語族以外の言語との類似性は、 1 言語を除き $25 \%$ 以下の類似度となった。同じインド・ヨーロッパ語族同士の比較では、類似度や誤差率には大きな幅があった。これには、前述の通り、ヨーロッパの言語の偏りが関係している可能性がある。また、研究の進んでいる語彙など他の指標に基づく距離との比較を行い、結果の妥当性を検証したい。

図 4. $\mathrm{RoL} \geqq 50 \%$ おける、英語とその他ヨーロッパの言語の類似性 $(\mathrm{a}: \mathrm{RoG} \geqq 80 \% 、 \mathrm{~b}: \mathrm{RoG} \geqq 50 \%)$ 。矢印は英語自身 $(100 \%)$ 。アスタリスクはインド・ヨーロッパ語族以外の言語を示し、記号のない言語はインド・ヨ ーロッパ語族に該当する言語。

## 6 まとめ

本研究では、言語の歴史的側面を解明する目的で、文法データベース AUTOTYP を用いた言語の類似性解析法の構築を行った。任意の言語群に対して欠損率を制御した上で、言語の類似性を推定する方法を新たに構築し、北東アジアとヨーロッパの言語データで検証した。今後は、AUTOTYP 上でラべリングされている 24 の地域ごとに言語を分け分析を進めると同時に、言語学者と共に結果の検証を行う。これらの一連のパイプラインは、perlおよびR で公開予定であるが、より幅広い利用を想定し、 web アプリケーションの構築を検討中である。

## 謝辞

本研究は JSPS 科研費 JP18H05080，JP20H05013，お

よび JST 創発的研究支援事業 JPMJFR2060 の助成を

受けたものです。

## 参考文献

1. Glottolog 4.5 （オンライン）（引用日：2022 年 1

月 12 日.) https://doi.org/10.5281/zenodo. 5772642

2. N. Creanza, O. Kolodny, M. W. Feldman, How culture evolves and why it matters. Proceedings of the National Academy of Sciences, 114 (30) 7782-7789 (2017).

3. J. Nichols, Linguistic Diversity in Space and Time (University of Chicago Press, 1999).

4. B. Bickel, J. Nichols, Oceania, the Pacific Rim, and the theory of linguistic areas. Annu.Meet. Berkeley Linguist. Soc. 32, 3-15 (2006).

5. B. Bickel, J. Nichols, T. Zakharko, A. Witzlack-

Makarevich, K. Hildebrandt, M. Rießler,

L. Bierkandt, F. Zúñiga, J. B. Lowe, The AUTOTYP typological databases. Version 0.1.0(2017); https://github.com/autotyp/autotyp-data/tree/0.1.0

6. H. Matsumae, P. Ranacher, P. E. Savage, D. E. Blasi, T. E. Currie, K. Koganebuchi, N. Nishida, T. Sato, H. Tanabe, A. Tajima, S. Brown, M. Stoneking, K. K. Shimizu, H. Oota, B. Bickel, Exploring correlations in genetic and cultural variation across language families in northeast Asia. Sci. Adv. 7, eabd9223 (2021).

7. R. Boyd, M. Bogerhoff-mulder, W. H. Durham, P. J.

Richerson, Are cultural phylogenies possible? Hum. Nat. Biol. Soc. Sci. , 355-386 (1997).

8. A. Mesoudi, Cultural Evolution: How Darwinian Theory Can Explain Human Culture and Synthesize the Social Sciences (University of Chicago Press, 2011).


# 日本語 Wikipedia からの属性値抽出タスクにおける クエリの有効性検証

坂田将樹 1 中山功太 ${ }^{2,3}$ 竹下昌志 4 ジェプカラファウ ${ }^{5}$ 関根聡 ${ }^{2}$ 荒木健治 ${ }^{5}$
1 北海道大学工学部 2 理化学研究所 AIP 3 筑波大学情報生命学術院
4 北海道大学大学院情報科学院 5 北海道大学大学院情報科学研究院
sakata.masaki.e9@elms.hokudai.ac.jp \{kouta.nakayama, satoshi.sekine\}@riken.jp
\{takeshita.masashi, rzepka, araki\}@ist.hokudai.ac.jp

## 概要

近年，固有表現抽出や属性値抽出において機械読解に基づく手法が高い精度を達成している.しかし，日本語の属性値抽出タスクにおいては機械読解手法におけるクエリの有効性の調査は未だ無い. そこで本稿では，抽出精度が良いもしくは悪いクエリを探索し，その特徴を調査する. 実験では 6 種類のクエリと正答例を含む提案クエリを使用する。結果，属性値のみ，もしくは正答例を含むクエリが最良の抽出精度であった. 反対に，抽出対象の記事タイトルを付加すると抽出精度が低下することが明らかになった。また，追加情報によって予測数と誤予測が減少する作用が確認された.ソースコードはhttps://github.com/ Language-Media-Lab/shinra_jp_bert/にて公開している.

## 1 はじめに

近年，固有表現抽出タスクと属性値抽出タスクにおいて，機械読解に基づく手法が高い精度を達成している $[1,2,3,4]$. 機械読解とは，システムが文章 (パッセージ)を読解し，与えられた質問 (クエリ)の回答を文章中から抽出する技術である。よって，機械読解モデルへの入力として「クエリ」はタスクを解く上で必要不可欠である. このクエリについて， Li らは [1] 英語を対象とした固有表現抽出タスクにおいて，7 種類のクエリのうち，効果的に固有表現を抽出できるクエリが存在することを明らかにした.

しかしながら，日本語 Wikipedia からの属性値抽出タスクにおいて，効果的に属性值を抽出できるクエリはどのようなものであるのかは不明である．日本語 Wikipedia からの属性値抽出タスクを機械読解として解いた 3 つの既存研究 $[2,3,4]$ では，3つの異なるモデルが提案されているが，それぞれ異なる 1 種類のクエリのみを使用した結果が報告されている. すなわち，既存研究の結果の有効性が提案モデルのアルゴリズムと使用したクエリのいずれに起因するかが不明である。また，英語を対象としたタスクで得られた知見が，日本語を対象としたタスクで同様に有効性を示せるかについては自明ではない。

そのため，本研究では各クエリを用いた際の抽出精度の違いを算出することでクエリの有効性を検証し, 抽出精度が良いもしくは悪いクエリの特徵を調査した. 実験では, 日本語 Wikipedia からの属性値抽出タスクで使用されたクエリと， Li ら [1] が有効性を示したクエリを参考にし，正答例を付加したクエリを使用した (表 1).

## 2 関連研究

機械読解モデルとは，与えられた文章とクエリから回答スパンを抽出するモデルである。このモデルは近年，抽出精度の高さが注目され，固有表現抽出と属性値抽出に使用されている。本節では，日本語 Wikipedia からの属性値抽出タスクと英語を対象とした固有表現抽出タスクの概要と，これらのタスクを機械読解に基づく手法で解いた既存研究について概観する。

日本語 Wikipedia からの属性値抽出タスクこのタスクでは，Wikipedia 記事のカテゴリごとに「拡張固有表現」[5] で定義されている属性に対応する值を Wikipedia 記事中から抽出する [6]. 例えば，企業名カテゴリに属する記事「シャネル」の記事本文から，属性「本拠地国」に対応する文字列「フランス」を抽出する。このタスクを機械読解の手法
表 1 本研究で使用するクエリ：1) 属性名: 抽出対象の属性名を付加. 2) 疑問詞:「は？」もしくは「ですか？」を付加. 3) $5 \mathrm{~W} 1 \mathrm{H}$ : 属性に対応した「誰・何・どこ・いつ・いくつ」を付加. 中山 [3] が作成した $5 \mathrm{~W} 1 \mathrm{H}$ のリストを使用. 5) タイトル: 抽出対象の記事タイトルを付加. 6) 正答例: 学習データ内の正答例を付加.

で解いた既存研究 $[2,3,4]$ では，深層学習モデルとして，DrQA[7]，BERT[8]，RoBERTa[9] が使用された. 機械読解手法を用いた既存研究のうち，BERT と中間タスクを用いた機械読解システム [4] は日本語 Wikipedia からの属性値抽出タスクにおいて最も高い抽出精度であった。

英語を対象とした固有表現抽出 $\mathrm{Li}$ ら [1] は英語を対象とした固有表現抽出タスク $[10,11,12,13,14]$ において，BERT を用いた機械読解手法で他の手法よりも良い精度を達成した. この研究で使用されたデータセットのうち, English OntoNotes5.0[14]のみを対象に 7 種類のクエリを使用して，抽出精度の比較を行っている。その結果，使用するクエリによって F 值が変化した. $\mathrm{F}$ 值が最も高かったクエリは「Find organizations including companies, agencies and institutions」のようなアノテーションガイドラインで使用されるような文章であった.

## 3 既存研究の未調査領域

前章の既存研究では以下 2 点が未調査である.

## 3.1 日本語クエリが抽出精度に与える影響 が不明

先行研究 $[2,3,4]$ では機械読解としてタスクを解く際にそれぞれ異なる 1 種類のクエリのみを付与しているが，この際与えるクエリの影響については分析していない. $\mathrm{Li}$ ら [1] は英語固有表現抽出タスクにおいてクエリの影響を述べている. クエリの種別においては本来のモデル性能を阻害している可能性があるため, 本研究では日本語 Wikipedia からの属性值抽出タスクにおいてクエリが与える影響について調査を行った。

使用するクエリの有効性を調査した研究は英語を対象とした研究 [1] のみであり，筆者らの知る限り日本語を対象とした研究は未だない.

## 3.2 使用クエリの有効性は言語横断的にい えるのかが不明

Li ら [1] は「Find organizations including companies, agencies and institutions」における “companies", "agencies”, “institutions” の部分が $\mathrm{F}$ 值向上の理由だと考察している。その原因として，クエリ内に抽出対象のカテゴリについて記述されていることを挙げている. 以上が日本語 Wikipedia からの属性值抽出タスクにも一般化できるかは不明である.

## 4 実験に用いるクエリの種類

3 章の未調査領域を踏まえ，本稿では，既存研究で使用されたクエリと抽出精度の関係性を統一的に調査する.また「抽出精度が良いクエリは正答例を含む」という仮説立て検証する。

## 4.1 既存研究のクエリの性能調査

調査する 6 種類のクエリを表 1 に示す (クエリ 1 からクエリ 6 が該当). 表 1 の各列は, クエリの構成要素を表している．例えばクエリ 6 の場合，記事タイトル「シャネル」の属性「本拠地国」を抽出する際「シャネルの本拠地国はどこですか？」となる。

クエリ 1 からクエリ 6 の性能を調べるために，それぞれのクエリで学習と評価を行った 6 種類のモデルの出力を調査する. このうち既存研究 $[2,3,4]$ で使用されたものはクエリ 1[4]，クエリ 5[2]，クエリ 6[3] である. クエリ 2, 3, 4 は既存研究で使用されていないが，「記事タイトルの有無」「疑問詞の有無」「5W1H の有無」が抽出精度に与える影響をそれぞれ分離して分析するために追加した.

## 4.2 提案クエリ：正答例を追加

Li ら [1] は「Find organizations including companies, agencies and institutions」のうち, “companies", "agencies”, “institutions” の部分が抽出精度が良いクエリの特徴だと主張している.この“companies”, “agen-
表 2 実験結果 : 各クエリの $\mathrm{F}$ 値. 太字は各カテゴリの中で $\mathrm{F}$ 値の最大値であり，下線は $\mathrm{F}$ 値の最小値を表している.

cies", “institutions”はいわば抽出クラスと抽出対象の中間概念を示しているため，本タスクでも同様に， この中間概念をクエリに含ませることが考えられる.しかし，拡張固有表現 [15] には全ての属性値と属性名に対する中間概念は定義されていないため,適用できない。そこで本稿では，中間概念の代わりに正答例をクエリに付加する．具体的には「創業国は? 例えば、アメリカ合衆国、日本、シンガポール、 イングランド、イギリス、などです。のように正答例を結合する. 付加する正答例は, 学習データからランダムサンプル1)により取得する. 取得数は 1,5 , 10 とした. ${ }^{2)}$

## 5 実験

本稿の実験設定は石井 [4] が行った実験に準ずる.

## 5.1 学習用データセット

森羅 2019-JP[6] において配布されたアノテーションデータセット3)を使用する。本データセットは HTML 形式の Wikipedia 記事と属性值のアノテー ションからなる. HTML タグを除去した記事も用意されているが，本実験では使用しない.

機械読解データセット構築 HTML 形式の Wikipedia 記事をくp>タグを元にパラグラフ単位へ分割し， $P=\left.\{p_{1}, p_{2}, \ldots, p_{l}\right.\}$ を得る.この際，パラグラフ $i$ に含まれる属性値を $A_{i}=\left.\{a_{i, 1}, a_{i, 2}, \ldots, a_{i, t}\right.\}$ とする。また，機械読解として扱うため，クエリ $q$ を生成する。

使用クエリ 4 章で定義した合計 9 種類のクエリを使用する。

データ分割データセットは学習データ，検証データ，テストデータをそれぞれ $85 \% ， 5 \% ， 10 \%$ の割合で分割する.

## 5.2BERT を用いた機械読解モデル

機械読解モデルへの入力は $(p, q)$ であり, 出力は各単語の BIO タグである. クエリ $q$ の単語トークン

列を $q=\left.\{q_{1}, q_{2}, \ldots, q_{m}\right.\}$, パラグラフ $p_{i}$ の単語トー クン列を $x_{i}=\left.\{x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}$ とすると BERTへの入力系列は以下の通りである。

$
\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{i, 1}, x_{i, 2}, \ldots, x_{i, n}\right.\}
$

[CLS], [SEP] は BERT の特殊トークンである. BERT の最終出力のうち, $x_{i}$ に対応する出力を $\boldsymbol{H}_{i}=$ $\left.\{\boldsymbol{h}_{i, 1}, \boldsymbol{h}_{i, 2}, \ldots, \boldsymbol{h}_{i, n}\right.\}$ とする. $\boldsymbol{H}_{i}$ を出力層に入力し各 BIO タグの予測スコア $S_{i}=\left.\{s_{i, 1}, s_{i, 2}, \ldots, s_{i, n}\right.\}$ を得る. $i$ 番目のトークンに対する最終的な予測 $\hat{y}_{i, j} \in\{\mathrm{B}, \mathrm{I}, \mathrm{O}\}$ は $\hat{y}_{i, j}=\operatorname{argmax}_{k} \boldsymbol{s}_{i, j, k}$ により求まる.学習は正答ラベル $Y_{i}=\left.\{y_{i, 1}, y_{i, 2}, \ldots, y_{i, n}\right.\}$ と予測結果 $\hat{Y}_{i}=\left.\{\hat{y}_{i, 1}, \hat{y}_{i, 2}, \ldots, \hat{y}_{i, n}\right.\}$ との交差エントロピー誤差を最小化することで行う.

## 5.3 実験設定

モデルは「NICT BERT 日本語 Pretrained モデル BPE あり」4)を使用する. ハイパーパラメータは石井 [4] の研究と同様にバッチサイズは 32, 学習率は 2e-05，トークンの最大長は 384 ，ストライドは 128，エポック数は 10 回とする. テスト時には，検証データで $\mathrm{F}$ 值が最も高いモデルを用いた. 入力文字の前処理では, MeCab-Juman 辞書 [16] を用いて形態素に分割した後, subword-nmt[17] で生成された語彙を用いてサブワード化した。

## 5.4 評価指標

森羅 2019-JP により提供される評価用スクリプト5)によって算出される属性ごとの $\mathrm{F}$ 値のマイクロ平均を，各カテゴリの評価指標とする。

## 6 結果と考察

各クエリの実験結果は表 2 の通りである.まず，各クエリによる $\mathrm{F}$ 值の違いを概観する。

クエリ 4，5，6 の結果より，クエリに記事タイトルを追加すると一貫して抽出精度が悪化した. よって，クエリに記事タイトルを使用している 2 の既存研究 $[2,3]$ は, 使用クエリが原因で抽出精度が減少していた可能性がある．記事タイトルを追加する

表 3 正答例の有無による予測数・ $\mathrm{TP}$ 数・FP数の違い. TP 差は増加すれば好ましい， FP 差は減少すれば好ましい。值の太字は改善した結果を表しており，下線は悪化を表している.

表 4 記事タイトルの有無による予測数・TP 数・FP 数の違い. TP 差は増加すれば好ましい. FP 差は減少すれば好ましい. 值の太字は改善した結果を表しており，下線は悪化を表している。

表 5 正答例 $\times 5$ を付加した際に $\mathrm{F}$ 值が $5 \%$ 以上変化する属性.

と抽出精度が悪化する原因として，各タイトルと属性値のペアに対してモデルが過学習していると考えられる。また，Wikipedia 本文中には記事タイトルは出てこない場合が多いため，タイトルがタスクを解く上でヒントになっていないと考えられる.

そして，クエリ 1 と 2 ，クエリ 2 と 3 の結果より， $5 \mathrm{~W} 1 \mathrm{H}$ と疑問詞の有無によって精度はほとんど変化しないことが明らかになった。

クエリに正答例を追加した場合，わずかながら最良の抽出精度となっているカテゴリもあるが， $3 \%$以上の増加は認められなかった。

予測数 - TP 数 $\cdot \mathrm{FP}$ 数次に，予測数 $\cdot \mathrm{TP}$ 数 6$) \cdot \mathrm{FP}$数 ${ }^{7)}$ にいて正答例の有無，記事タイトルの有無によって生じる差をカウントした (表 3，表 4)．結果，記事タイトルや正答例をクエリに含ませた場合において，予測数と FP 数が一貫して減少した. クエリの変化によってこのような作用が一貫して生じることは筆者らの知る限り報告されていない。記事タイトルの有無と正答例の有無を比較すると, TP 数の減少が大きく異なり，正答例有りの方が TP の減少を抑えることができている．正答例を入れることで起

6） True Positive : ラベルとスパンが完全一致している予測

7) False Positive : 誤予測
こる TP 数の減少を抑えた FP 数の減少は，今後適合率の高いモデルを開発する上で活用可能であると考える。付加する正答例の数に着目すると，予測数・ $\mathrm{TP}$ 数・FP 数の増減とは比例していない. 逆に正答例を 1 つだけ追加した場合でも，予測数と FP 数の減少が確認される. よって, 予測数と FP 数の減少には，正答例の数より，追加情報の有無もしくは質によって決定づけられていることが考察される. したがって，予測数と FP 数が減少する理由は，クエリへの「追加情報」が関係していると考えられる。

## 正答例を入れることで抽出精度が変化する属性

表 5 に正答例の有無によって，F 值が $5 \%$ 以上変化した属性を示した。適合率と再現率の変化については表は付録 A を参照されたい。一見カテゴリを横断して強く共通している属性は無いように見えるが， $「 \bigcirc$ 年」「○○人」「○○温泉」等の日付表現，人数，温泉などのスパンの最後の文字列がおよそ共通なものが向上している。より詳細な共通点や，精度が増加した理由の分析は今後の課題とする.

## 7 おわりに

本研究では日本語 Wikipedia からの属性値抽出タスクで使用されたクエリの調査と正答例を含むクエリの有効性検証を行った。その結果，記事タイトルを含むクエリは抽出精度が悪化し，正答例を含むクエリはわずかながら最良の抽出精度となった. そして，記事タイトルや正答例を含むことで，予測数と誤予測が減少する作用が確認された。この作用はクエリに情報を追加したことが原因と考えられるが， より詳しい分析が必要である. また，正答例を付加することで抽出精度が大きく増加・減少した属性があることを明らかにしたが，それらの共通点や変化した理由についても詳しい分析が必要である。

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです.

## 参考文献

[1] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. CoRR, Vol. abs/1910.11476, , 2019.

[2] 石井愛. 機械読解による wikipedia からの情報抽出.言語処理学会第 25 回年次大会 (NLP2019), 2019.

[3] 中山功太. RoBERTa を用いた QA 式属性値抽出システム. 森羅 2019-JP 最終報告会資料, 2019.

[4] 石井愛. Stilts を適用した機械読解による wikipedia 記事の構造化. 言語処理学会第 27 回年次大会 (NLP2021), 2021.

[5] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[6] 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019-JP」. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[7] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. Reading wikipedia to answer open-domain questions. CoRR, Vol. abs/1704.00051, , 2017.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[10] George Doddington, Alexis Mitchell, Mark Przybocki, Lance Ramshaw, Stephanie Strassel, and Ralph Weischedel. The automatic content extraction (ACE) program - tasks, data, and evaluation. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal, May 2004. European Language Resources Association (ELRA).

[11] Stephanie Strassel Julie Medero Christopher Walker and Kazuaki Maeda. The automatic content extraction (ACE) program - tasks, data, and evaluation. Philadelphia 57, 2006. Linguistic Data Consortium.

[12] Tomoko Ohta, Yuka Tateisi, and Jin-Dong Kim. The genia corpus: An annotated research abstract corpus in molecular biology domain. In Proceedings of the Second International Conference on Human Language Technology Research, HLT '02, p. 82-86, San Francisco, CA, USA, 2002. Morgan Kaufmann Publishers Inc.

[13] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Sev- enth Conference on Natural Language Learning at HLTNAACL 2003, pp. 142-147, 2003.

[14] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Hwee Tou Ng, Anders Björkelund, Olga Uryupina, Yuchen Zhang, and Zhi Zhong. Towards robust linguistic analysis using OntoNotes. In Proceedings of the Seventeenth Conference on Computational Natural Language Learning, pp. 143-152, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[15]拡張固有表現階層定義 version 8.0.0. http:// liat-aip.sakura.ne.jp/ene/ene8/definition_jp/.

[16] T KUDO. Yet another part-of-speech and morphological analyzer. https://taku910.github.io/mecab/.

[17] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 正答例を入れることで適合率・再現率が変化する属性

正答例を 5 つ付加することで適合率・再現率が変化する属性をカテゴリごとに示した (表 6 , 表 7, 表 8).適合率と再現率の両方の変化が $1 \%$ 未満だった属性は省いている．F 値が $5 \%$ 以上増加した属性は青字， $5 \%$ 以上減少した属性は赤字で示した.

表 6 【企業名】正答例 $\times 5$ を入れることで適合率・再現率が変化する属性.

 & 別名 \\

表 7 【市区町村名】正答例 $\times 5$ を入れることで適合率・再

現率が変化する属性.

 &  \\

表 8 【人名】正答例 $\times 5$ を入れることで適合率・再現率が変化する属性。

 &  \\


# LSTM の無変化性バイアスの実験的分析

石井太河 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{taigarana, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では Long Short-Term Memory (LSTM) の学習傾向を実験的に分析する．LSTM が出力が単調な関数を学習しやすいという報告は先行研究でなされていたが，詳細な実験は行われていなかった. 本研究では決定性有限オートマトン（DFA）のタイムステップに対する受理状態の変化の有無で入力記号列を 2 種に分類し，それぞれに対する LSTM の学習時間の傾向を調査する．直鎖状のDFAを学習させた結果，DFA の受理・非受理が切り替わる状態遷移の両端の状態に対応する記号列はそうでない記号列に比べ学習が遅いことが明らかになり, LSTM は出力が変化しにくい関数を学習しやすいという無変化性バイアスを持つことが支持される.

## 1 はじめに

本研究では，深層学習モデルの一つである Long Short-Term Memory（LSTM）[1] に対して以下の仮説 1 を立て，検証することを目的とする。

仮説 1 LSTM のモデル $M$ は入力記号列 $s \cdot a$ と任意の記号 $c$ に対して, 末尾の記号の削除・追加で出力が変化しない, すなわち, $M(s)=M(s \cdot a)=M(s \cdot a \cdot c)$ となるような入力記号列 $s \cdot a$ を学習しやすい傾向 （無変化性バイアス）がある（ $s$ は記号列， $a, c$ は記号である).

本研究では, 末尾の記号の追加・削除による出力の変化の有無に従って大力記号列を 2 種に分類し，それぞれに対して LSTM が学習に要した時間を評価することで，上記の仮説 1 を検証する。分析を容易にするため, 出力の変化は決定性有限オートマトン (deterministic finite automaton；DFA) でモデル化し，LSTM には入力を記号列，出力を受理・非受理として DFAを学習させる。なお，学習対象のDFA には図 1にあるような直鎖状のものを設定する。一

図 1 直鎖 DFA のパラメータが $(\mathrm{m}, \mathrm{w})=(3,2)$ の例. 長 $さ \mathrm{~m}=3$ の non-change 状態の区間と change 状態の区間が $\mathrm{w}=2$ 回繰り返され，末尾に明示的に non-change 状態が付け加えられている. 点線，実践はそれぞれ 0,1 の状態遷移を表す. 状態 0 には記号列 $0,00,000, \ldots$ が対応し，状態 4 には記号列 $1111,01011010, \ldots$ が対応する.

般に様々なグラフ構造の DFA が無限に存在するが，受理・非受理の逐次的な変化のパターンをモデル化するには直鎖状の DFA が最もシンプル1)なためである.

図 1では入力記号列の受理・非受理の切り替わりによる分類の例が示されている. 状態遷移による受理・非受理の変化がない状態 0 には記号列 $0,00,000, \ldots$ が対応し，変化がある状態 4 には記号列 $1111,01011010, \ldots$ が対応する.

また， 2 種の入力記号列の集合それぞれに対してモデルの学習時間を計測するにあたり，本研究では [2]に習い，勾配降下法によるモデルの学習に要したエポック数を計測した.

## 2 背景

## 2.1 本研究の位置づけ

本研究における仮説 1 は，[2] による LSTM は単調な分類関数を学習しやすいという報告を変化・無変化性に対して一般化したものである. [2] は自然言語の量化子の意味計算をオートマトンによる逐次的な処理によってモデル化し，LSTM により量化子

1）自己ループ以外のループを持たない DFA は，複数の直鎖 DFA から構成されるとみなすことができる。

の学習をシミュレートした. [2] は，モデルの学習過程においてテスト精度が安定して一定値を超えた最小エポック数を計測した結果，単調な量化子の学習はエポック数が小さくなる，すなわち学習しやすいことを報告している.ここで，分類関数 $f$ が単調

ベット $\Sigma$ 上の任意の記号列 $s \in \Sigma^{*}$ と文字 $c \in \Sigma$ に対して, $f(s \cdot c) \leq f(s)$ または $f(s) \leq f(s \cdot c)$ のどちらか一方のみが成り立つことを言う。

本研究のアプローチは， $f(s), f(s \cdot c)$ 間の関係を変化 $f(s \cdot c) \neq f(s)$ と無変化 $f(s \cdot c)=f(s)$ に分解し, 関数全体の単調性よりも細かく, 出力ブール值の局所的な変化の有無に着目するものである.

## 2.2 LSTM の性質を調べることの意義

深層学習モデルは今日多くの場面で利用されており，学習の効率化や未知の挙動の抑制は重要である. LSTM は， 入力記号列を逐次処理する深層学習モデルである Recurrent Neural Network（RNN）の一種であり，多くの自然言語処理タスクで使用され，分析されてきた. [3] はLSTM を含めた複数の RNN アーキテクチャについて表現能力の理論的な解析・分類を行い，LSTM がカウンタを実装可能な表現力を持つことを示した。しかし，深層学習モデルの複雑さから LSTM の全ての性質を明らかにするほど理論的解析は進んでおらず，多くの先行研究が実験的に LSTM の性質を分析している [4, 5, 6, 7, 8]. [4] は文脈自由言語を学習させることで，LSTM が再帰構造を学習し, ある程度の深さまでの汎化性能も持つことを報告している。また，[7] は文脈自由言語の学習によって LSTM の語順に対するバイアスが少ないことを示した. 本研究はこれらの先行研究と同様に実験的にLSTM を分析する。

## 2.3 オートマトンと RNN の関係性

LSTM を含む RNN は実数ベクトルを内部状態とし，理論的には無限状態を持つが，入力記号列に対する逐次的な状態遷移はオートマトンと同様である. 本研究では以下で定まる決定性有限オートマトンとの類似性を利用して LSTM の分析を試みる。

決定性有限オートマトン (deterministic finite automaton; DFA） $A$ は $A=\left(\Sigma, Q, q_{0}, F, \delta\right)$ によって定められる組である。ここで， $\Sigma$ は有限アルファベッ卜, $Q$ は有限状態集合， $q_{0} \in Q$ は初期状態, $F \subseteq Q$ は受理状態集合, $\delta: Q \times \Sigma \rightarrow Q$ は状態遷移関数
である. 再帰適用 $\delta^{*}$ は $\delta^{*}\left(q_{0}, \epsilon\right)=q_{0}, \delta^{*}\left(q_{0}, s \cdot c\right)=$ $\delta\left(\delta^{*}\left(q_{0}, s\right), c\right)$ で定義される. さらに，記号列に対する $A$ の分類関数 $f_{A}: \Sigma^{*} \rightarrow\{$ True, False $\}$ は $s \in \Sigma^{*}$ に対して以下のように定められる。

$
f_{A}(s) \equiv \delta^{*}\left(q_{0}, s\right) \in F
$

オートマトンを利用したRNN の分析法として，学習済み RNN から有限オートマトンを抽出する手法が提案されている $[9,10,11]$. このような手法によって，RNNを形式的に解析することは可能となるが， これまで抽出に対する精度保証は与えられていないため，本研究では用いない。

## 3 手法

ここでは，本研究の分析対象である無変化性を定義し，LSTM の学習・評価に用いる手法について説明する。

## 3.1 無変化性

DFA $A=\left(\Sigma, Q, q_{0}, F, \delta\right)$ の状態 $q \in Q$ が無変化であるとは状態遷移の前後で受理・非受理が変化しないことと定義する.これは以下によって定式化される。

$
\begin{aligned}
& \forall p \in Q \cdot \forall c \in \Sigma . \\
& \quad \delta(p, c)=q \vee \delta(q, c)=p \Longrightarrow p \in F \Leftrightarrow q \in F
\end{aligned}
$

無変化である状態を non-change 状態と呼び，無変化でない状態を change 状態と呼ぶ. non-change 状態, change 状態の集合をそれぞれ $Q_{n}, Q_{c}$ とすると，これらに対応する記号列 $S_{\mathrm{n}}, S_{\mathrm{c}}$ は $x \in\{n, c\}$ を用いて以下のように定まる。

$
S_{x} \equiv\left.\{s \mid s \in \Sigma^{*} \wedge q \in Q_{x} \wedge \delta^{*}\left(q_{0}, s\right)=q\right.\}
$

## 3.2 直鎖 DFA

記号列の受理・非受理の変化だけに注目するため，本研究ではアルファベット $\{0,1\}$ 上の直鎖状の DFA のサブクラスのみを考慮する．本研究で扱う直鎖 DFA は，状態遷移で受理・非受理が変化しない non-change 状態の区間，受理・非受理の変化前後の change 状態の区間が交互に繰り返さた後に non-change 状態が付属するものとして定められる. このような直鎖 DFA は 2 つのパラメータ $\mathrm{m}, \mathrm{w}$ によって図 1のように特徴づけられる。ここで， $\mathrm{m}$ は non-change 状態区間の長さ，w は non-change 状態区間と change 状態区間の繰り返しの総数である。ま

た，図 1 の状態 9,10 に見られるように，本研究で扱う直鎖 DFA の末尾の 2 状態は最小オートマトンにおいては同じ状態となるが，記号列の変化・無変化性の区別を明確化するため, 本研究では明示的に最小でないオートマトンを使用する。なお，初期状態を非受理状態として固定したが，一般性は失われな $い^{2)}$.

## 3.3 データセット

学習データセットは記号列とその受理・非受理ラベルから構成されるが，DFA の各状態に対応する記号列の頻度差の与える影響を抑えるため, 各状態に対応するデータ数が等しくなるように調整される.上記は以下のように定式化される. 学習対象の DFA を $A=\left(\{0,1\}, Q, q_{0}, F, \delta\right)$ とする. $A$ に対し，サイズ $N$ の学習データセット $D$ は記号列の最大長 $\mathrm{L}$ を用いて以下のように定義される.

$
\begin{aligned}
S & \equiv\left.\{\left(s, f_{A}(s)\right)\left|s \in\{0,1\}^{*} \wedge\right| s \mid \leq \mathrm{L}\right.\} \\
T & \equiv \operatorname{choose}(S, N) \\
D & \equiv \operatorname{balance}_{A}(T)
\end{aligned}
$

ここで, choose はランダムに重複なく $N$ 個サンプリングする関数である. サンプルされたデータセットの分布を調整する balance $_{A}$ 関数は以下の工程で定められる。

1. 各 $q \in Q$ に対して, $T_{q} \equiv\left.\{s \mid s \in T \wedge \delta^{*}\left(q_{0}, s\right)=q\right.\}$ を計算

2. 各 $q \in Q$ に対して,$\left|T_{q}\right|=\frac{N}{|Q|}$ となるように $T_{q}$ を必要に応じて upsampling, downsampling したものを $T_{q}^{\prime}$ とする

3. 全ての $T_{q}^{\prime}$ 合併したものを $D$ とする

## 3.4 評価指標

モデルの学習難易度を評価する指標として, [2] を参考にし，よりシンプルに，モデル出力の平均 2 值交差エントロピー誤差が間値 $\mathrm{t}$ 以下になる最小のエポック MinEpochを使用する. 評価值 MinEpoch は non-change 状態と change 状態のそれぞれに対応する記号列の集合 $S_{\mathrm{n}}, S_{\mathrm{c}}$ に対して計算さる. それらは MinEpoch ${ }_{n}$, MinEpoch $_{\mathrm{c}}$ として $x \in\{n, c\}$ を用いて

2）受理・非受理のラベルは one-hot vector で表現され，どの次元も等価であるため.以下のように定められる。

$
\begin{aligned}
& \operatorname{MinEpoch}_{x} \equiv \\
& \quad \min \left.\{e \mid \text { mean_loss }\left(M_{e}, S_{x}\right)<\mathrm{t}\right.\} \cup\left.\{\mathrm{e} \_ \text {max }\right.\}
\end{aligned}
$

ここで, $M_{e}$ はエポック $e$ におけるモデル, mean_loss は平均 2 值交差エントロピー誤差, e_max は最大エポック数である.

## 4 実験設定

モデルのアーキテクチャとしては，[2] と同じく2 層 LSTM に線形層を追加したものを使用し，最適化の際にも Adam [12] を学習率を $1.0 * 10^{-4}$ として利用する. 隠れ層の次元数 hidden_size の大小比較のため, hidden_size $\in\{20,200\}$ を使用する．一般的な設定のもとで実験を行うため，モデルのパラメータの初期化は PyTorch ${ }^{3}$ のデフォルト設定に準じる. 実験にあたり，異なるシード値で 30 のモデルをバッチサイズ 8 で 30 エポック学習させる.

変化・無変化性を分析するにあたり, non-change 状態と change 状態の両方を持つような直鎖 DFAを学習対象とした. また, 計算量の観点から, 直鎖 DFA の最大状態数が 16 までのものを扱うことにした. すなわち, $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ により特徵づけられる 9 通りの直鎖 DFAを使用する. データセットにおける記号列の最大長は，計算量の観点から今回扱う直鎖 DFA の最大状態数よりも 1 大きい $\mathrm{L}=17$ とした. このときデータの総数は 262142 である。学習データサイズとしては全体数のおよそ 15\% にあたる $4 * 10^{4}$ を用いる ${ }^{4)}$. また，MinEpoch を計算する際に用いる閾値としては [2]によりモデルの学習度を決定するのに用いられていた $t=0.02$ を使用する。

## 5 結果と議論

## 5.1 LSTM は無変化性バイアスを持つ

実験の結果，以下に見るようにほとんどの設定で MinEpoch $_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$, すなわち change 状態より non-change 状態の方が MinEpoch が高くなった ${ }^{5)}$. これは仮説 1 が成立し無変化性バイアスがあることを示す.また，この結果はLSTM の hidden_sizeによらず同様の傾向となったが，hidden_size が大きいと

図 2 直鎖 DFA $(\mathrm{m}, \mathrm{w})=(3,1),(3,2),(3,3)$ の $\operatorname{MinEpoch}_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

そもそも学習が速く無変化性バイアスは小さくなった. 以下では，分かりやすさのため hidden_size $=20$ の場合の結果を軸として議論する。

## 5.2 出力の変化が多いと学習しにくい

図 2には change 状態区間の総数 $w$ の異なる 3 つの直鎖 DFA について MinEpoch $_{c}$, MinEpoch $_{n}$ が示されている.wによらず MinEpoch $_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$ となっており，無変化性バイアスが見られる。また，wが大きくなるほど，全体として学習が遅くなっていることも分かる ${ }^{6)}$. [2] では, DFA で表現される量化子の単調性が LSTM による学習しやすさの要因であると結論付けられていたが，本研究の実験結果を踏まえると，学習のしやすさの要因は LSTM の無変化性バイアスだと推測できる. 実際に, 非単調な DFA は単調な DFA よりも change 状態区間の数が多く, これは change 状態区間の数が多いほど全体として学習の難易度が増しているという上記の結果に符合する。

## 5.3 出力変化の学習には記憶が必要

図 3では non-change 状態区間の長さ $m$ の異なる 3 つの直鎖 DFA について MinEpoch , MinEpoch $_{\mathrm{n}}$ が示されている. $m$ によらず， MinEpoch ${ }_{\mathrm{c}}>$ MinEpoch $_{\mathrm{n}}$ となっており，無変化性バイアスが見られる。また， $m$ が大きくなるほど change 状態に対する学習は遅くなる傾向があるが, non-change 状態に対する学習にはあまり影響していない7).今回学習対

6） ただし， $w=1$ に関しては， $m=1,2$ の時は $\operatorname{MinEpoch}_{\mathrm{c}}$ の分散が大きいため，この傾向が成立するかは明確ではなかった.

7） ただし， $w=1$ で $m=1,2$ のときは MinEpoch $_{\mathrm{c}}$ の分散が大きく change 状態の学習が遅くなる傾向は見られない.

図 3 直鎖 DFA $(\mathrm{m}, \mathrm{w})=(1,3),(2,3),(3,3)$ の $\operatorname{MinEpoch}_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

象とした直鎖 DFA は実質的に記号列中の 1 を数えるものであるため，カウントだけを考慮するならば non-change 状態と change 状態は同等なはずである. さらに，[4,3] で議論されているようにLSTM がカウンタを学習可能であることを踏まえると, change 状態間の距離としても考えられる $m$ に対する MinEpoch の変化が change 状態の方が大きいというのは，LSTM がある程度の大きさのカウンタならばほとんど差異なく学習できる一方で，出力変化の学習については距離依存性を持ちカウンタより学習が難しいことを示唆する。

## 5.4 無変化性バイアスの要因

無変化性バイアスの要因については以下のような簡単な仮説が考えられる. $h_{t}, h_{t+1}$ をタイムステップ $t, t+1$ の隠れ状態ベクトル, 出力層のパラメタ行列を $W$ とすると，出力が無変化の時は $W h_{t}=W h_{t+1}$ が，変化する際には $W h_{t} \perp W h_{t+1}$ がそれぞれ理想的な場合に成立する。すなわち，無変化の際には $h_{t} \approx h_{t+1}$ であれば十分で，変化の際には $h_{t} \neq h_{t+1}$ が必要である. 仮に LSTM の隠れ状態の遷移が不動点を持つように学習しやすいならば，出力が無変化である方が学習しやすくなると推測される。

## 6 今後の展望

本研究では，LSTM が出力変化を学習しにくいという無変化性バイアスを持つことを示した。一方， その要因については 5.4 節で議論したが，仮説に留まった．今後は，未知データに対する導出バイアスの検証実験や最適化における局所解に対する理論的な解析が必要であるだろう。

## 謝辞

本研究が形になる以前よりアドバイスをいただいていた鷲尾光樹氏に感謝いたします. また，実験結果の議論に参加していただいた研究室のメンバーにも感謝いたします.

## 参考文献

[1] Sepp Hochreiter and Jürgen Schmidhuber. Long ShortTerm Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[2] Shane Steinert-Threlkeld and Jakub Szymanik. Learnability and semantic universals. Semantics and Pragmatics, Vol. 12, No. 4, p. 1, November 2019.

[3] William Merrill, Gail Weiss, Yoav Goldberg, Roy Schwartz, Noah A. Smith, and Eran Yahav. A Formal Hierarchy of RNN Architectures. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 443-459, Online, July 2020. Association for Computational Linguistics.

[4] Jean-Phillipe Bernardy. Can Recurrent Neural Networks Learn Nested Recursion? In Linguistic Issues in Language Technology, Volume 16, 2018. CSLI Publications, July 2018.

[5] Abhijit Mahalunkar and John D. Kelleher. Using Regular Languages to Explore the Representational Capacity of Recurrent Neural Architectures. In Věra Kůrková, Yannis Manolopoulos, Barbara Hammer, Lazaros Iliadis, and Ilias Maglogiannis, editors, Artificial Neural Networks and Machine Learning - ICANN 2018, Lecture Notes in Computer Science, pp. 189-198, Cham, 2018. Springer International Publishing.

[6] Matej Makula and Lubica Beňušková. Analysis and Visualization of the Dynamics of Recurrent Neural Networks for Symbolic Sequences Processing. In Véra Kůrková, Roman Neruda, and Jan Koutník, editors, Artificial Neural Networks - ICANN 2008, Lecture Notes in Computer Science, pp. 577-586, Berlin, Heidelberg, 2008. Springer.

[7] Jennifer C. White and Ryan Cotterell. Examining the Inductive Bias of Neural Language Models with Artificial Languages. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 454-463, Online, August 2021. Association for Computational Linguistics.

[8] Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui. Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6105-6117, Online, July 2020. Association for Computational Linguistics.

[9] P. Tino and M. Koteles. Extracting finite-state representations from recurrent neural networks trained on chaotic symbolic sequences. IEEE Transactions on Neural Networks, Vol. 10, No. 2, pp. 284-302, March 1999.
[10] Gail Weiss, Yoav Goldberg, and Eran Yahav. Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples. In International Conference on Machine Learning, pp. 5247-5256. PMLR, July 2018.

[11] Takamasa Okudono, Masaki Waga, Taro Sekiyama, and Ichiro Hasuo. Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 04, pp. 5306-5314, April 2020.

[12] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 全ての設定の実験結果

以下は本研究で行った全ての設定のもとでの実験結果のプロットである.

図 4 LSTM の隠れ層の次元数は hidden_size $=20$ の時の直鎖 DFA のパラメータが $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ の 9 通りの全ての場合の MinEpoch $_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.

図 5 LSTM の隠れ層の次元数は hidden_size $=200$ の時の直鎖 DFA のパラメータが $\mathrm{m} \in\{1,2,3\}, \mathrm{w} \in\{1,2,3\}$ の 9 通りの全ての場合の MinEpoch $_{\mathrm{c}}$ と MinEpoch $_{\mathrm{n}}$.


# 制約抽出のための対訳コーパスを用いた 半教師ありクロスリンガル用語推定

澤田悠治 1 小田悠介 ${ }^{2,3}$
1 奈良先端科学技術大学院大学 情報科学領域
${ }^{2}$ LegalForce Research 3 東北大学データ駆動科学・AI 教育研究センター
sawada.yuya.sr7@is.naist.jp yusuke.oda@legalforce.co.jp

## 概要

機械翻訳では，専門用語や固有名詞に対しては曖昧性の少ない適切な翻訳が求められる. 推論時に単語選択を強制する手法が研究されているが，このとき与える語彙は人手によるため，強制する必要のある語彙を自動獲得する手法の開発が望まれる. 本研究では，機械翻訳モデルに与える制約を抽出するための用語推定モデルを考え，対訳コーパスの大量のラベルなしデータと少量のシードデータを用いた半教師あり固有表現認識モデルを提案する. ASPEC の日英翻訳データを日英の固有表現認識コーパスとして使った評価害験により, 半教師ありモデルによって英語の用語抽出精度が向上すること, 単語アライメントを素性に加えることでさらに精度が向上することを確認した。

## 1 はじめに

機械翻訳の性能は，BLEU などの訳出全体の傾向を測定する指標において向上し続けていることが知られている [1]. 一方で，訳抜けや翻訳内容の曖昧さといった，局所的な翻訳の制御に関する問題が依然として残っている. 特に，専門用語や固有名詞に対しては曖昧性の少ない適切な翻訳が求められ, 特定語彙の翻訳内容を考慮した手法が提案されている $[2,3,4]$. これらの手法では, 特定の語彙を目的言語側の訳出時の制約として使用し, 制約に含まれる単語を必ず出力するようモデルが制御されている。しかし，制約として使用する語彙は予め人手で作成する必要があり，翻訳言語対ごとの制約の作成は膨大な人手コストを要するため現実的ではない。また，専門用語は日々追加されるため，人手による辞書の使用にはメンテナンスのコストが必要となる.

そこで本研究では，機械翻訳モデルに与える制約
を自動的に抽出するための固有表現認識を応用した用語推定モデルを提案する。従来法の固有表現認識モデルは教師あり学習の設定に基づいており，1 万から 10 万文程度の教師データを使用する。しかし，対訳コーパスは各言語で 100 万文程度の規模からなり，既存の固有表現認識コーパスのように人手で用語をアノテーションすることは困難である。本研究では，そのようなアノテーションを持たない対訳コーパスからの用語の抽出を想定し，少量の教師データと固有表現誌識を組み合わせた半教師あり学習の枠組みを提案する。具体的には，単言語の固有表現認識モデルとして隠れマルコフモデル纪基づく手法を使用し，単語アライメントの結果に基づいてモデルのラベル遷移を制限する機構を導入する. 科学技術論文の対訳コーパスである ASPEC[5] の日英翻訳データを用いた実験では，提案手法が両言語で教師あり学習モデルと比較可能な精度で抽出可能であることが分かった。

## 2 用語推定モデル

本研究で用いる手法の概要を図 1 亿示す. 本手法は，原言語と目的言語それぞれの固有表現認識モデルと単語アライメントモデルの二つのモジュールで構成されており，以下のステップに従って用語を推定する。

1. 初期パラメータの設定

2. 単言語の半教師あり固有表現認識モデルの学習

3. 固有表現認識モデル同士の単語アライメント

4. 単語アライメントを導入したモデルの再学習

固有表現認識モデル $[6,7]$ と単語アライメントモデル [8] はどちらも bigram の隠れマルコフモデル（以下HMM）による推定を行う．半教師あり固有表現認識モデル (ステップ 1,2 ) と単語アライメント機構の導大（ステップ 3,4 ）についてそれぞれ説明する。

図 1 提案手法の概要図

## 2.1 半教師あり固有表現認識

半教師あり固有表現認識モデルとして用いる bigram HMM では，語数 $N$ からなる単語系列 $w_{1: N}$ とラベル系列 $z_{1: N}$ に対して，HMM の遷移確率 $\tau$ と出現確率 $\omega$, 開始確率 $\psi$ をそれぞれ以下のように定義する.

$
\begin{aligned}
z_{i} \mid z_{i-1}=t, \tau^{(z)} & \sim \operatorname{Mult}\left(\tau^{(z)}\right) \\
w_{i} \mid z_{i}=t, \omega^{(z)} & \sim \operatorname{Mult}\left(\omega^{(z)}\right) \\
z_{1}=t, \psi^{(z)} & \sim \operatorname{Mult}\left(\psi^{(z)}\right)
\end{aligned}
$

ここで， $z_{i}$ と $w_{i}$ は各時点 $i(1 \leq i \leq N)$ のラベルと単語を表し, Mult( $\cdot$ は多項分布を表す. 本研究では，HMM の潜在変数 $z_{i}$ を品詞と用語ラベル（BIO 方式）のタプルとし，用語と品詞がラベルづけされたシードデータと品詞のみがラベルづけされた対訳コーパスから品詞と用語ラベルを同時に推定する. 用語ラベルは数千文程度の規模であれば比較的容易に作成可能であり，品詞ラベルは Spacy ${ }^{1}$ や Sudachi[9] といった既存ツールから高精度に予測可能である. 各パラメータにはデータの特徴を反映させるために，事前分布をそれぞれ個別のアルゴリズムで設定した。まず，各単語がどの品詞となりうるかは用語かどうかを推定する手がかりになるため，品詞と用語ラベルのタプルの遷移確率と開始確率をシードデータ上の数え上げを元に設定する2). 出現確率については，対訳コーパス中の全ての語彙に対して事前確率を求めるため，各単語でなりうる品詞と用語ラベルのタプルに対して一様に確率を付与する.モデルのパラメータはEMアルゴリズムで推定

1) https://spacy.io/

2） $\mathrm{O}$ ラベルから I ラベルへの遷移や $z_{0}$ で I ラベルとなるような無効なパターンはシードデータで出現しないため, これらのパターンが起きる確率は 0 になる。
し，事後分布による推論は Viterbi アルゴリズムを使用する.

## 2.2 単語アライメントを考慮した HMM

対訳文では，一方の言語で固有表現の意味に曖昧性があっても，片方の言語では意味ごとに異なる固有表現として明記される場合がある $[10,11]$. 例えば“本（Ben）”は中国語で稀に外国人の名前を翻訳する際に使用されるが，英語では人名である場合は “Ben”，それ以外の意味では別の単語が用いられる。本研究はこのような対訳文の用語の記述の違いを利用し，単語アライメントを素性として使用する。 また，対訳文のアライメントでは，同じ品詞や同じ用語ラベルであるかはアライメントの手がかりになるため，単語系列と予測したラベル系列を組み合わせた（単語，品詞，用語ラベル）の三つ組のタプルからなる系列を入力としてモデルを学習する．具体的には，語数 $N$ からなる原言語側のタプルの系列 $z_{1 \cdot N}^{s r c}$ と語数 $M$ からなる目的言語側のタプルの系列 $z_{1: M}^{t g t}$ から対応関係にあるぺア $\left(z_{i}^{s r c}(1 \leq i \leq N)\right.$, $z_{j}^{t g t}(1 \leq j \leq M)$ ) を予測し，以下の式よりアライメント行列 $\gamma_{i}(t)$ を作成する.

$
\forall i, t \gamma_{i}(t)= \begin{cases}1 & \text { if } \gamma_{i}(t)=z_{i}^{s r c} \\ 1 & \text { if } \gamma_{i}(t)=z_{j}^{t g t} \\ 0 & \text { otherwise }\end{cases}
$

ここで, $\gamma_{i}(t)=1$ は $\gamma_{i}(t)$ が単語ぺアの各単語で予測された用語ラベルであることを表す。単語アライメントモデルは教師なしの単語アライメントツールである GIZA++ ${ }^{3)}$ を使用し，HMM の各パラメータは IBM Model 1 の lexical translation probability を初期化

表 1 WAT2021 Restricted Translation Task から作成した固有表現認識データセット

に使用した").

単語アライメントモデルから作成したアライメント行列を用いて，EM アルゴリズムにアライメントの素性を導入する。アライメントの素性を考慮に入れた EM アルゴリズムを Algorithm1 に示す. ここで，品詞の集合を $T$ とすると， $t$ は品詞の集合 $T$ と用語ラベルの集合の直積の要素 $(t \in T \times\{B, I, O\})$ である。 2.1 節と同様に，シードデータから取得した HMM の初期パラメータ $\tau, \omega, \psi$ に対して, 語数 $N$ で構成された文 $w_{1: N}$ の前向き確率 $\alpha_{i}(t)$ と後向き確率 $\beta_{i}(t)$ を計算する（2-3 行目）。そして，それぞれの確率に対してアライメント行列 $\gamma_{i}(t)$ とのアダマー ル積をとり，アライメントからなり得ない用語ラべルに対しての出現確率をゼロとした確率の近似值

$\hat{\alpha}_{i}(t) ， \hat{\beta}_{i}(t)$ を計算する（6-7 行目）.これらの近似值を元に事後確率を計算し，全ての文に対して実行した事後確率の平均を次回のパラメータとして更新する。

## 3 評価実験

## 3.1 データセット

本研究では，実際に対訳コーパスを使用した制約抽出の評価を行うため，WAT2021 Restricted Translation Task[1] の評価データを使用した。本タスクでは，ASPECの用語や固有名詞に対する翻訳性能の評価に焦点を当て，翻訳時の制約として用いる用語が各文でまとめられている。そこで，ASPEC の用語リストが作成されている dev, devtest, testファイルから固有表現認識データセットを作成し，それぞれシード，開発用，テスト用として使用する。作成したデータセットの基本情報を表 1 にまとめる.学習用データとして用いるラベルなしデータセットは ASPEC の train-1 ファイルのみを使用し， train-1, dev, devtest, test ファイルそれぞれに対して品詞情報を付与した. 日本語の単語分割と品詞タグ付けは Sudachi ${ }^{5)}$ ，英語の単語分割と品詞タグ付けは Moses tokenizer')と Spacy をそれぞれ使用した.

## 3.2 評価方法

日英の全ての用語に対する始点と終点の一致について，適合率・再現率及びそれらの調和平均（F 值） で評価する。シードのみを使用して学習した教師あり HMM をベースラインとし，用語ラベルなしデー タ（train-1）を用いて学習した単言語モデル（アライメントなし）および両言語のアライメントを素性

5） 単語分割にはモード Aを使用した.

6) https://github.com/moses-smt/mosesdecoder/blob/ master/scripts/tokenizer/tokenizer.perl

表 2 WAT2021 Restricted Translation Taskによる実験結果

 \\
& \\
正解 & 高運動領域, テンソル, ベクトル, 偏極分解能 \\
ベースライン & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}$, ベクトル偏極分解能, 全角度領域 \\
+ アライメント (再学習 2 回目) & $3 \mathrm{He}, 3 \mathrm{H}$, 高運動領域, $270 \mathrm{MeV}, 200 \mathrm{MeV}$, \\
& 標記反応のテンソル及びベクトル偏極分解能, 全角度領域 \\

表 3 提案手法による出力例

に加えたモデルと比較する。また, 初期の学習段階では固有表現認識モデルの誤りからアライメントにも誤りが生じると考えられるため, 固有表現認識モデルとアライメントの学習を交互に 2 回繰り返し,再学習した結果についても示す. ベースライン, 提案手法のどちらも開発データで最も高い $\mathrm{F}$ 値を示した 4 エポック目のモデルを採用した.

## 3.3 実験結果

実験結果を表 2 に示す. 英語では，用語ラベルなしデータを加えて学習すると $\mathrm{F}$ 值が 3.7 ポイント， アライメントの素性を加えるとさらに 2.8 ポイント増加した. ASPEC の日英翻訳データは日本語をピボットとして作成されており, 英語では表現を簡略化して訳される事例が存在する。例えば，“低侵襲で機能障害が非常に少ない”という文が英語では "simple and postoperative function can be maintained" $と$訳されており, 日本語と英語で文章のニュアンスが異なる。また，“口腔癌患者”が “patients”と訳されるなど，一部の単語が省略されることで用語か一般的な記述かが曖昧になる事例も存在する. このような事例に対して，用語ラベルなしの学習データとアライメントの素性を加えることで，各単語が用語かどうかの曖昧さが改善されたと考えられる. 日本語を対象にした設定では，提案手法はベースラインを上回らなかったものの, 英語と同様にアライメントの素性を加えることで $\mathrm{F}$ 値が 2.5 ポイント増加し,再現率についてはべースラインと比べて 1.6 ポイン
ト上回った.

実際に各モデルから出力された用語の例を表 3 に示す. アライメントの素性を加えて再学習したモデルでは，“200MeV” や“全角度領域”のような制約以外の用語らしい単語列が抽出されている. ASPEC には WAT2021 Restricted Translation Task の制約リストに入っていない用語があり，ベースラインでは制約リストに入った用語のみが抽出されるよう最適化されている傾向が見られる. 提案手法は“標記反応のテンソル及びベクトル偏極分解能” のように用語の範囲同定には改善の余地があるものの, 用語らしい単語列を抽出する上ではベースラインより好ましい結果が得られたと考えられる。

## 4 まとめ

機械翻訳に与える語彙制約を自動抽出するための用語推定モデルを提案した。具体的には，対訳コー パスを用いた半教師あり学習による固有表現認識の枠組みと，HMMを用いた固有表現認識モデル上で単語アライメントによりラベル遷移を制限する機構を提案した. ASPEC 日英翻訳データを用いた実験の結果，英語で教師あり学習による HMM を上回る精度を示し, 日本語でも正解以外の用語と思われる単語が制約として抽出される傾向が見られた. 今後の課題としては, 用語の範囲同定の精度改善や既存の制約リストの高品質化が挙げられる. 本論文で採用したモデルよりも高性能な手法の適用も考えられ [12][13], これらによる性能の改善にも取り組む.

## 参考文献

[1] Toshiaki Nakazawa, Hideki Nakayama, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win $\mathrm{Pa} \mathrm{Pa}$, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Chenhui Chu, Akiko Eriguchi, Kaori Abe, Yusuke Oda, and Sadao Kurohashi. Overview of the 8th workshop on Asian translation. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 1-45, 8 2021.

[2] Guanhua Chen, Yun Chen, Yong Wang, and Victor O.K. Li. Lexical-constraint-aware neural machine translation via data augmentation. In Proceedings of IJCAI 2020: Main track, pp. 3587-3593, 72020.

[3] Matt Post and David Vilar. Fast lexically constrained decoding with dynamic beam allocation for neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana, 62018.

[4] Katsuki Chousa and Makoto Morishita. Input augmentation improves constrained beam search for neural machine translation: NTT at WAT 2021. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 53-61, 8 2021.

[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, 52016.

[6] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 62016.

[7] Jason P.C. Chiu and Eric Nichols. Named entity recognition with bidirectional LSTM-CNNs. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 357-370, 2016.

[8] Stephan Vogel, Hermann Ney, and Christoph Tillmann. $\mathrm{Hmm}$-based word alignment in statistical translation. In Proceedings of the 16th conference on Computational linguistics, 81996

[9] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 52018.

[10] Mengqiu Wang, Wanxiang Che, and Christopher D. Manning. Joint word alignment and bilingual named entity recognition using dual decomposition. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 10731082, 82013.

[11] Wanxiang Che, Mengqiu Wang, Christopher D. Manning, and Ting Liu. Named entity recognition with bilingual constraints. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 52-62, 62013.

[12] Ke M. Tran, Yonatan Bisk, Ashish Vaswani, Daniel Marcu, and Kevin Knight. Unsupervised neural hidden Markov models. In Proceedings of the Workshop on Structured Prediction for NLP, pp. 63-71, 112016.

[13] Ying Luo, Hai Zhao, and Junlang Zhan. Named entity recognition only from word embeddings. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8995-9005, 112020.


# Masked Language Model を用いた語群から語の連想の検討

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101@chiba-u.jp, \{hory, kuroiwa\}@faculty.chiba-u.jp

## 概要

本稿では, Masked Language Model を用いて 5 つの刺激語から 1 つの正解連想語を予測させるタスクの検討を行った.使用したモデルはBERTおよびgMLP である。対象とした語連想タスクでは, 刺激語・連想語ともに名詞のみを用いていることから，本稿で新たに学習したモデルでは MASK するトークンを名詞に限定した．実験では「富士山、浜名湖、... うなぎから連想する都道府県は MASK です。」等の文を与え，MASKに連想語が出力されるようにした。 この際，MASK の前後に鍵括弧「」を付与することも検討した. 実験の結果, MASK の前後に「」を付与寸ることで最も高い正答率 49\%（上位 5 語以内に正解が含まれる率 $72 \%$ ）が得られた。

## 1 はじめに

本稿では日本語 Wikipedia で学習した BERT[1]と gMLP[2]を用いて語群から語の連想を行った. 本稿における語連想とは，単語を 5 つ与えて（刺激語）,連想する単語（連想語）を 1 つ回答させるタスクである.

複数の刺激語から 1 つの連想語を出力する研究として, 米谷ら[3], 白川ら[4], 芋野ら[5]の研究がある.米谷らは感覚判断システム, 白川らはコンテキストを考慮した関連エンティティ, 芋野らは語概念連想を用いて，各々人間の連想を模擬できるかの検証を行った.これらに対し, 我々は BERTを用いて 1 つの刺激語から複数の連想語を出力する研究[6][7]を行ってきた。一方で, 近年, BERT の学習タスクである Masked Language Model（以下，MLM と表記） において，タスクに対応する単語を MASKすることでそのタスクの精度を向上させる手法が提案されている[8][9]. そこで, 本稿では複数の刺激語から 1 つの連想語を出力する課題に BERT を代表とする MLM の適用を試みる. 具体的には, 「<刺激語 $1>$ 、 <刺激語 5>から連想する都道府県は MASK です。」等の文を与え，MASK に連想語が出力されるようにした。また，本稿の語連想では名詞のみを扱う
ため, 通常の BERT に加え，名詞のみを MASK して学習させた BERT と gMLP を用いて, 複数の刺激語から 1 つの連想語を出力する実験を行った。

## 2 語群から語の連想課題

本稿では, 実験に用いる語連想課題として『CD 版そのまま使える失語症教材 2』[10] 中の教材の『名詞の想起』より，5つの語から特定の語を想起させる『まとめる語想起』を利用した. 例を以下に示す.次の言葉から連想する都道府県はどこですか。富士山浜名湖茶畑みかんうなぎ $\rightarrow$ 静罔県実験では, 『まとめる語想起』 132 題のうち, 20 代男子大学生 3 人の解答が正解の連想語 (以下, 正解語）と一致し，なおかつ 3.3 のモデルで正解語が 1 つのMASKトークンで出力可能な 87 題を採用した. また, 課題の種類ごとに『上位下位』『部分全体』『都道府県』等の 13 カテゴリに分類した（筆者らによる独自の分類)，課題の詳細を表 1 に示す.

## 3 Masked Language Model

本稿では MLMとしてBERTと gMLPを使用した。

## 3.1 BERT

BERT[1] Bidirectional Encoder Representations from Transformers であり, Transformer をベースに構成されたモデルである．BERT は 2 つのタスクで学習を行い,その 1 つである Masked Language Modeling は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK し, その単語を予測するタスクである. 12 層の Transformer 層の後で, 1 層の全結合線形層により正解ラベル (単語) のスコアが大きくなるように学習する.

## $3.2 \mathrm{gMLP$}

gMLP[2]は Transformer $の$ Attention 機構の特徴であるトークン間の情報を学習できる点を MLP (Multi-Layer Perceptron) で表現したモデルであり, Attention の代替として SGU（Spatial Gating Unit）を採用したモデルである. 入出力層を BERT と同一にすることで，MLM タスクを解くことができる.

## 3.3 実験で使用する MLM

実験では, (1)東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル(BERT-base_mecabipadic-bpe-32k_whole-word-mask)[11]（東北大 BERT と表記)，(2)Wikipedia データセットを用いて MASK する単語を名詞に限定して学習した日本語 BERT モデル (名詞のみ BERT と表記), (3)日本語 gMLP モデル（名詞のみ gMLP と表記）を使用した. モデルの詳細を付録・表 3 に示す. なお, (1)は Next Sentence Prediction（NSP）も学習を行っているが，(2)と(3)は MLMのみで学習を行った。

## 4 MLM を用いた語連想手法

本稿では，MLM を用いて MASK が連想語となる文 (以下, 連想文と表記)を作成して実験を行った。以下に作成した文の例を示す.

<刺激語 1 >、<刺激語 2 >、<刺激語 3 >、<刺激語 4 > く刺激語 5 >から連想する都道府県はMASKです。正解語が『静岡県』の場合, 刺激語 1 5 には富士山や浜名湖等の単語が入り, MASK は連想語が入るト ークンとなる。また, 本項では刺激語と連想語として名詞のみを用いるため, MASK として予測された単語のらち名詞（代名詞を除く）のみを出力する.

表 1 に実験で使用した連想文を示す.表中の『 $\bigcirc 』$ は刺激語を表す。この連想文は文献[10]を基に作成した. また, 文献[6]において連想結果が改善されたことに鑑み, 本稿では, 表 1 に加え MASK に鍵括弧「」を付与した連想文も使用した.以下に例を示す。 <刺激語 1 >、<刺激語 2 >, <刺激語 3 >、《刺激語 4 > く刺激語 5>から連想する都道府県は 「MASK」です。

## 5 語群から語の連想実験

表 1 で示した連想文を用いて,「」の有無の両パ夕 ーンで語群から語の連想実験を行った。

## 5.1 実験結果

表 2 に実験結果を示す. 表はモデルの連想語上位 1 語, および 5 語以内に正解語が出力された課題の数の割合を正答率として示したものであり, 正答率の最大值は 1 である. カテゴリ欄のカッコ内は各カテゴリの課題の総数である. 上位 1 語で最も高い正答率は「」有の BERT と名詞のみ gMLP の 0.49 であり, 約半数を正解した. また, 上位 5 語以内で最も高い正答率は「」有の名詞のみ gMLP の 0.72 である.同様の設定で 1 つの刺激語から複数の連想語を出力させた実験[6]では, 人間の連想語上位 4 語と一致した数は最大でも平均 $0.6 / 4.0$ 語であり,複数の刺激語から 1 つの連想語を出力するタスクの方が精度が高いと言える。

また,「」を付与することで, 全てのモデルで正解語が 1 位に出力されやすくなった. 東北大 BERT では「」の付与によって正解語が 1 位に出力された課題が 28 題, 1 位に出力されなくなった課題が 3 題であり, 符号検定（有意水準 5\%）により, 連想結果が改善されたと言える。また, 名詞のみ gMLP では改善 21 題, 改悪 3 題であり, 符号検定（有意水準 $5 \%)$ により, 同様に連想結果が改善されたと言える.一方で，モデル間の正答率に有意差はなかった。

## 表 1 実験で使用する連想文

 \\

表 2 連想語上位 1 語に正解語が出カされた課題数の割合（カッコ内は上位 5 語以内）

 &  &  &  &  &  \\

## 5.2 結果の分析

全てのモデルで「」の付与により正答率が改善したことから，まずは「」の効果について分析する。

「」の付与で連想結果が特に改善されたモデルの 1 つが東北大 BERT であり, 特に色カテゴリで正答率が $0.13 \rightarrow 0.75$ （8 題中 1 題 $\rightarrow 6$ 題）に上昇した.正解語が赤の課題では「」の付与により, 上位 5 語が『黄色赤青緑ピンク』 $\rightarrow$ 『赤青緑黄色ピンク』となった.「」無でも色の単語は出力されているが, 8 題中 7 題で 1 位に黄色が出力された.黄色が出力されやすい要因を分析するために, 刺激語を含めない文『連想する色は MASK です。』を入力した. その結果, 『黄色水色青赤カラー』の順で出力された.この結果から，『〜連想する色は MASK です。』のMASK として黄色が出力されやすいと考えられる. 黄色が出力されやすい要因をさらに調査するために, 日本語 Wikipedia での出現頻度を調べたところ, 最も高い色は赤であり（黄色は 6 位), 黄色が出力されやすい要因は頻度ではなかった. そこで, Attentionについて調査した. 図 1 に Attention を可視化した図を示す.「」無では MASK 周辺の単語である『色』『は』『です』への Attention が大きく,「」を付与することで,『は』『です』への Attention が小さくなった（図 $1 \mathrm{a} \rightarrow$ b）。これにより，黄色の出力が抑制され正解語の赤
が 1 位に出力されるようになったと考えられる。他の色においても，「」の付与により，『は』『です』 への Attention は小さくなった. 一方で, 図 1 のような刺激語への Attention の変化は殆ど無かった。

東北大 BERT では国カテゴリも同様に「」の付与によって正答率が $0.25 \rightarrow 1.00$ (4 題中 1 題 $\rightarrow 4$ 題) に上昇した. 正解語がアメリカの課題では『世界中以下アメリカ世界日本』 $\rightarrow$ 『アメリカ合衆国ニューヨークホワイトハウス世界』となっていた.「」無の不正解では, 国名以外の単語が正解語よりも上位に出力された. 色の分析と同様に刺激語を含めない文『連想する国は MASK です。』を入力すると『日本語実名以下日本不明』が出力された.このことから，『連想する国は』に対して色とは異なり, 国名以外の単語も出力されやすいと言える. 上記の文に「」を付与した連想文では『日本アメリカ中国ロシアイタリア』となり, 国名が出力されやすくなっていた. Attention を調査したところ，「」の付与によって刺激語への Attention が大きくなっていた。また, 色カテゴリと同様に「」 の付与によって MASK の前後の単語『は』『です』 への Attention が小さくなっていた. しかし, 『国』 への Attention に大きな変化は無く, 国名が出力されやすくなった. 国名が出力されやすくなった理由については，今後より詳細に分析していく.

a.「」無

b.「」有

図 1 東北大 BERT での正解語が赤の課題における最終 Transformer 層の Attention. 12 色は各々の Attention Head を表し，色の濃さは Attention の大きさを表している. [MASK]から各トークンに向かう線の色は Attention Head の色を混合したものである. [12]

次に，「」の付与で連想結果が改善された名詞のみ gMLP では，特に使ってすることカテゴリで正答率が $0.00 \rightarrow 1.00 （ 2$ 題中 0 題 $\rightarrow 2$ 題）に上昇した. 正解語が洗濯の課題では「」の付与により『無理危険不可苦手禁止』 $\rightarrow$ 『洗濯安心仕事便利安全』となった.

次に，名詞のみ BERT の結果について分析する.名詞のみ BERT では,「」の有無による正答率の差が東北大 BERT より小さく $(0.34 \rightarrow 0.44)$, 特に国力テゴリでは正答率が変化しなかった $(1.00 \rightarrow 1.00)$. アメリカの課題では「」の付与で『アメリカメキシコ日本カナダフランス』 $\rightarrow$ 『アメリカ日本カナダメキシコフランス』となり，「」の有無に関わらず，国名のみが出力されている。これに対し，東北大 BERT では「」の付与で『世界中以下アメリカ世界日本』 $\rightarrow$ 『アメリカ合衆国二ュ ーヨークホワイトハウス世界』となっており，この変化が名詞のみで学習することによる特徴であると考えられる。

なお，モデルや「」の有無に関わらずスポーツカテゴリ（野球, 水泳, バレーボール, サッカー）では正答率が高かった。これは，スポーツに関連した名詞が日本語 Wikipedia 内で出現頻度が高いことに要因があると考えられる。

## 6 おわりに

本稿では，MLM として BERT と gMLP を用いて語群から語の連想実験を行った。連想課題として 5 つの刺激語から 1 つの連想語を回答するタスク (例:富士山浜名湖茶畑みかんうなぎ $\rightarrow$ 静岡県）を使用し，MASKに連想語が入る連想文を作成した。実験では東北大 BERT に加え，MASK するトークンを名詞に限定して学習した BERT と gMLP を使用し, MASK に鍵括弧「」を付与した場合の検討も行った。実験の結果，「」を付与した東北大 BERT と名詞のみ gMLP で最も高い正答率 $49 \%$ が得られた。また，上位 5 語以内に正解が含まれる割合は約 7 割であった。本稿の結果から，MASK の前後に「」を付与する手法は，複数の刺激語から 1 つの連想語を出力する場合でも有効であることがわかった。さらに，BERT を名詞のみで学習させることで，正答率が向上することも確認できた（ただし，「」の付与によりその効果は失われる)。これらのことから, 学習の段階で名詞・固有名詞に「」を付与することで，語連想タスクの精度向上が期待できる。また, Transformer の代替モデルである gMLP の精度も高かったことから， gMLP の精度向上の要因を分析するとともに，今後はgMLPを用いた自由連想タスクも検討する。

## 謝辞

本研究を進めるに当たり, 乾・鈴木研究室の訓練済み日本語 BERT モデルをお借りしました. モデルを公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860, JP21K02052 の助成を受けたものです.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.1. : arXiv preprint arXiv:1810.04805, 2018.

2. Hanxiao Liu, et al. Pay Attention to MLPs. s.l. : arXiv preprint arXiv: 2105.08050, 2021.

3. 米谷彩, 渡部広一, 河岡司. 語の共起情報を考慮した感覚連想メカニズムに関する研究. 情報処理学会研究報告 2005-NL-166, 2005.

4. 白川真澄, 中山浩太郎, 原隆浩, 西尾章治郎.複数語句から構成されるコンテキストを考慮した連想関係の抽出. DEIM Forum 2011 F3-1, 2011.

5. 芋野美紗子, 吉村枝里子, 土屋誠司, 渡部広一. 語概念連想を用いた複数単語からの連想語生成手法の提案. 言語処理学会第 18 回年次大会

(NLP2012), 2012.

6. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 人間と BERT の語から語の連想の比較. 言語処理学会第 27 回年次大会(NLP2021), 2021.

7. 相馬佑哉, 堀内靖雄, 黒岩眞吾. 検索画像を介在させた語から語の連想模擬法の検討. 第 20 回情報科学技術フォーラム(FIT2021), 2021.

8. Yu Sun, et al. ERNIE: Enhanced Representation through Knowledge Integration. s.l. : arXiv preprint arXiv: 1904.09223, 2019.

9. Hao Tian, et al. SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis.

ACL2020, 2020.

10. 鈴木勉宇野園子監修. CD 版そのまま使える失語症教材 2. エスコアール, 2022 出版予定.

11. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2022 年 01 月 14 日.) https://github.com/cl-tohoku/bert-japanese.
12. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy : Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.

## A 付録

表 3 実験で使用するモデルの詳細

 & \multicolumn{2}{|c|}{} \\

## 表 4 連想課題の例

 \\

表 5 東北大 BERT での色カテゴリにおける連想語上位 5 語


# 日本語法律 BERT を用いた判決書からの重要箇所抽出

菅原祐太宮崎 桂輔 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{sugawara.y.ag@m, miyazaki.k.am@m, yamada.h.ax@m, take@c\}@.titech.ac.jp

## 概要

本研究では判決書からの重要箇所抽出タスクにおいて，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT から追加の事前学習を行なった BERTを用い，その性能を汎用日本語 BERT と比較検証した. 実験より,法律分野に特化した BERT モデルを用いることで，汎用日本語 BERT を超える性能があることを確認した.

## 1 はじめに

裁判の記録である判決書は情報技術の発達により電子化され，人々が参照できるようになっている.判決書にはその判決に至るまでの詳細な議論が記録されており, 他の新聞記事や科学技術文書に比べて内包される文が長く複雑な文となっている. 法律に関する仕事している人々は関連事件の調査に膨大な時間を費やしており，判決書に対する情報アクセスの容易化・効率化は重要な問題となっている. 判決書から重要箇所を自動的に抽出することができれば，判決書の効率的な調査や判決書要旨の作成の大幅な効率化が見込める. また，判決書はその長い文書長から，全文を自動要約モデルに入力することは現実的ではないため, 本研究で行うような重要箇所抽出は自動要約の前処理としても有用である.

近年，大規模な事前学習によって汎用的な言語モデルを構築するアプローチが普及している。なかでも BERT は様々なタスクで利用され，各タスクに応じて fine-tuningを行うことで高い性能を実現している [1]. 更に，BERT は事前学習において，特定ドメインのデータを用いて学習することで, 同ドメインでの性能が高まることが報告されている $[2,3]$. Chalkidis らは、EU、英国、米国における英語で書かれた法律ドメインの文書のみで事前学習を行なった BERT，汎用ドメインのデータで事前学習された BERT に対してさらに法律ドメインの文書で追加事前学習を行なった BERT の 2 つの LEGAL-BERT を構築した [4]. これらの LEGAL-BERT は, 法律ドメインのテキスト分類と系列ラベリングのタスクにおいて，汎用ドメインで事前学習を行った BERT よりも高い性能を達成している. 日本の判決書からの重要箇所抽出においても，法律分野の文書データによって BERT の事前学習を行った上で fine-tuning を行うことで, Wikipedia等で事前学習された BERT よりも高い性能を発揮することが期待できる。

そこで本研究では, (1) 法律分野の文書のみで事前学習を行った BERT，(2) 日本語 Wikipedia で事前学習された BERTをさらに法律分野の文書を用いて追加事前学習を行った BERTを用い, 日本の判決書からの重要箇所抽出タスクにおける性能を，汎用日本語 BERT と比較検証する。

## 2 関連研究

日本における判決書からの重要箇所抽出の研究として，阪野らはSVMを用いて要旨の内容に該当する箇所を判決文から自動的に抽出する手法を提案している [5]. 山田らは抽出型要約の一環として判決書の修辞役割（例：結論，法律の引用等）分類を行い，文脈を考慮した階層型 RNNをべースとするモデルを用いる手法を提案している [6].

英国における判決書を対象として，Hachey らは抽出型要約において, 機械学習を用いて修辞役割分類を分別したうえで要約生成を行っている [7]. Tran らは修辞役割分類に対し，CNN または BiLSTM を用いたモデルを提案している [8].

また，ドメイン固有のテキストデータに関するこれまでの研究により, ドメイン固有の言語モデルを作成することの重要性が指摘されている. 汎用ドメインのデータで事前学習された BERT のモデルに対して，さらに特定ドメインに特化したデータで追加事前学習を行うことで，様々な専門ドメインに対応したモデルが作られている. Lee らは大規模なバイオ分野の文献を用いて事前学習させること

で，バイオ分野に特化した BioBERT を作成した [2]. BioBERT は Wikipedia 等で事前学習された BERT や他のモデルに比べて，バイオ分野のテキストマイニングのタスクでより高い性能を達成している。また, Beltangy らは科学関連のコーパスに対して事前学習を行ったSciBERT 導入し, テキスト分類と系列レベリングのタスクで性能改善が報告されている [3]. 法律分野において, Chalkidis らは法律ドメインの文書のみで事前学習を行なった BERT，汎用ドメインのデータで事前学習された BERT に対してさらに法律分野の文書で追加事前学習を行なった BERT の 2 つの LEGAL-BERT を構築した. 2 つの LEGAL-BERTを用いて，3つの法律分野のデータセットに対しテキスト分類と系列ラベリングのタスクを解いた結果, ほとんどのタスクで LEGAL-BERT が汎用ドメインで事前学習した BERT より高い性能を達成している。これらは全て英語に限定したものであるが，近年は他言語に対して事前学習を行なったモデルが構築されている. 特に法律文書に関しては，Stella らがフランス語の法律文書に特化した juriBERT，Mihai らはルーマニア語の法律文書に特化した jurBERT をそれぞれ構築している $[9,10]$.

本研究では日本語 Wikipedia による BERT [11], 宮崎らが構築した法律文書に特化した BERT[12]をそれぞれ用いて，性能を比較する。

## 3 実験

## 3.1 用いたコーパス

本研究では，株式会社 LIC より提供された日本の民事事件判決書を日本語法律分野コーパスとして用いる. 各判決書には法律知識を有する作業者が判例として重要な記述と思われる箇所を特定した注釈（重要箇所）が付与されている。コーパスは全 84,900 件の判決書から成る. 実験のためにコーパスを訓練データ，開発データ，テストデータに 8:1:1 の割合で分割した. 重要箇所が元から付与されていない，または適切に付与されていなかった文書を除外し, 最終的に訓練データ 67,870 件, 開発データ 8,490 件，テストデータ 8,490 件を得た。

## 3.2 前処理

民事事件判決書のコーパスに対し，データの前処理および文分割, 形態素分割を行った. まず，行頭に出てくる見出し番号（例：(一）や（ア）など）を表 1 コーパス中の重要箇所を含む文の割合 [\%]

表 2 データセットの詳細 (重要文抽出)

削除し，インデントに使われている全角スペースもすべて削除した，次に文分割を行った．句点の直後に括弧閉じが存在する場合のみを例外として扱い， それ以外のすべての改行及び句点を文末とした. 次に JUMAN++ [13] を用いて文を形態素に分割した。

## 3.3 重要文抽出タスクの設定

一文中の重要箇所の割合と，それらの文がコーパス全体に占める割合の関係を表 1 に示す。この表から，重要箇所が付与された文のうち9割は文全体が重要箇所となっており, 文の一部だけが重要箇所となっていても，重要箇所が文に占める割合が十分に大きいことが分かる. そのため, 本実験では重要箇所を含む文全体を重要文とみなして，重要文抽出のデータセットを構築する.

作成したデータセットの特徴を表 2 に示す. 1 文書あたりの平均文数が大きく, 平均文書長が長いことが分かる.

## 3.4 実験設定

本研究では，ある文が重要箇所か否かを当てる二値分類タスクを解く．評価指標として精度，再現率， $\mathrm{F}$ 值を用いる。

実験には 3 つの異なる BERT の事前学習済みモデルを用い，それぞれを本重要箇所抽出タスクに対して fine-tuning した上で実施する. 用いる事前学習済みモデルは，京都大学が公開した日本語 Wikipedia によって学習した日本語 BERT[11], 宮崎ら [12] によって BERTを日本語法律分野コーパスを用いて一から事前学習した JLBERT-SC, 既存の日本語 BERT に日本語法律分野コーパスによる追加事前学習をおこなった JLBERT-FP である。なお，JLBERT-SC 及
表 3 サブワード化時のデータセット（日本語 BERT）

*長文：512トークンを越える文

表 4 サブワード化時のデータセット（JLBERT-SC）

び JLBERT-FP の事前学習に用いられた文書と本実験で用いるテストデータ中の文書との間に重複はない.

訓練，開発，テストデータにおいて，重要箇所となる文の総数が文全体の総数の約 $6 \%$ ほどとなっておりデータセットに含まれるインスタンスのクラスが占める割合に偏りがある。これに対処するために損失関数の重みの値を工夫する．損失関数として使う BCEWithLogitsLoss は

$
l_{c}=-w_{c}\left[y_{c} \cdot \log \sigma\left(x_{c}\right)+\left(1-y_{c}\right) \cdot \log \left(1-\sigma\left(x_{c}\right)\right)\right]
$

と表される。 $w_{c}$ はクラス $\mathrm{c}$ にける重み（ハイパー パラメータ),$y_{c}$ はラベル (今回の場合 0 か 1),$x_{c}$ は推定値を表す.この時，クラスにおける重み $w_{c}$ を

$
w_{c}=\frac{\text { クラスの学習データ数 }}{\text { 全クラスの学習データ数の和 }}
$

とすることで損失への寄与率に差が出ないようにすることができると考えられる。

またサブワードによるトークン化を行う際，日本語 BERT と JLBERT-FP では元の日本語 Wikipedia を用いた事前学習時に構築された既存の語彙を用いた. JLBERT-SC では日本語法律分野コーパス [12] を用いて事前学習した際に構築した語彙を用いた。 この時のデータセットの詳細を表 3,4 に示す. 法律文書に特化した語彙リストを参照した方が日本語 BERT の語彙リストを参照した場合よりも，平均文書長が小さくなっていることが分かる. 学習と推論の際，512トークンを超える文に関しては文の初めから 512 トークンまでを入力として用い, 以降は削除した.

全ての BERT において optimizer は AdamW, 学習率 $1 e-5$, バッチサイズ $\in\{16,32\}$, エポック数表 5 各モデルの性能（マクロ平均値）

表 6 各モデルの性能（ミクロ平均値）

$\in\{3,4\}$, ドロップアウト 0.5 に設定し学習した. ベースラインモデルとして, 2 層からなる BiLSTM を用いた重要箇所抽出器を構築した。 optimizer は SGD, 学習率 0.01 , バッチサイズ $\in\{32,64\}$, エポック数 15 で学習した. トークン化は日本語 BERT と JLBERT-FP に習い既存の日本語 BERT の語彙を用いて BPE 適用した. 単語埋め込みの次元数 200 , 中間層の次元数を 100 とした. また，損失関数である CrossEntropyLoss に対し BERT と同様の重みづけを行った.

## 4 実験結果

重要箇所抽出の結果を表 5,6 に記す. ベースラインである BiLSTM に比べて, 全ての事前学習済みモデルが高い性能を出していることが分かる. また，マクロ平均に関して，F 値が JLBERT-SC と JLBERT-FP は日本語 BERT と比べて高い性能を出している (JLBERT-SCでは 0.15, JLBERT-FPでは 0.148 の上昇). 同様にミクロ平均に関しても高い性能を出している. これは英語法律文書に特化した BERT においても同様の性能向上が見られている [4]. 今回はクラス間の比率の差が大きい不均衡データであったが，損失関数の重み付けの工夫を行いドメインに特化した BERT を構築することでドメイン固有のタスクにおいて性能が向上することがわかる.

また，入力制限である 512 トークンを超える文に対して BERT が上手く推論できているかどうかを評価した。文書全体から 512 トークン以下の文と 512 トークンを越える文をそれぞれ 500 個ずつランダムにサンプリングして，各 BERT におけるミクロ平均の $\mathrm{F}$ 値を算出する方法を計 10 回繰り返しその平均
表 7 文長におけるモデルの性能差（ $\mathrm{F}$ 值）

を取った. その結果を表 7 に示す. 表 5,6 に示したものと同様に，JLBERT-SC と JLBERT-FP が汎用日本語 BERT よりも高い性能が出ていることが分かる.また，512 トークンを超える文における $\mathrm{F}$ 值が 512 トークン以下の文と表 6 の $\mathrm{F}$ 值よりも大きな值となっており，512トークンを超える文に対して十分な認識性能を持っていることが分かる.

## 5 おわりに

本研究では判決書からの重要箇所抽出タスクにおいて, 汎用日本語 BERT と法律分野に特化した BERT モデルを適用しその性能を検証した. その結果，法律分野の文書のみで事前学習を行った BERT，日本語 Wikipedia で事前学習された BERT をさらに追加事前学習を行なった BERT の両方で汎用日本語 BERT を越える性能があることを確認した. 今後の課題としては，今回のモデルは文脈を考慮していないため，文脈を考慮した階層型モデルの提案とその実装，最終的に抽出した文を抽象型要約タスクに応用することが考えられる。

## 謝辞

本研究で使用した判決書データは株式会社 LIC から提供を受けたものである。本研究は，JST， ACT-X，JPMJAX20AM の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pre-trained biomedical language representation model for biomedical text mining. 092019.

[3] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: Pretrained language model for scientific text. In EMNLP, 2019.

[4] Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras, and Ion Androutsopoulos. LEGALBERT: The muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2898-2904, Online, November 2020. Association for Computational Linguistics.
[5] 阪野慎司, 松原茂樹, 吉川正俊. 機械学習に基づく判決文の重要箇所特定. 言語処理学会年次大会発表論文集, pp. 1075-1078, 名古屋, 2006.

[6] 山田寛章, Simone Teufel, 徳永健伸. 見出し情報を考慮した階層型 $\mathrm{rnn}$ による日本語判決書のための修辞役割分類. 言語処理学会年次大会発表論文集, pp. 37-40, 2018.

[7] Ben Hachey and Claire Grover. Extractive summarisation of legal texts. Artificial Intelligence and Law, Vol. 14, No. 4, pp. 305-345, 2006.

[8] Vu D. Tran, Minh L. Nguyen, Kiyoaki Shirai, and Ken Satoh. An approach of rhetorical status recognition for judgments in court documents using deep learning models. In 2019 11th International Conference on Knowledge and Systems Engineering (KSE), pp. 1-6, 2019.

[9] Stella Douka, Hadi Abdine, Michalis Vazirgiannis, Rajaa El Hamdani, and David Restrepo Amariles. JuriBERT: A masked-language model adaptation for French legal text. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 95-101, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Mihai Masala, Radu Cristian Alexandru Iacob, Ana Sabina Uban, Marina Cidota, Horia Velicu, Traian Rebedea, and Marius Popescu. jurBERT: A Romanian BERT model for legal judgement prediction. In Proceedings of the Natural Legal Language Processing Workshop 2021, pp. 86-94, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会,名古屋, 2019 .

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 言語処理学会第 28 回年次大会, 2022.

[13] Arseny Tolmachev and Sadao Kurohashi. Juman++ v2: A practical and modern morphological analyzer. 言語処理学会第 24 回年次大会, 岡山, 2018.


# 英日翻訳のための Positional Encoding を用いた正則化手法

岡佑依 田中貴秋永田昌明
日本電信電話株式会社 コミュニケーション科学基礎研究所
\{yui.oka.vf, takaaki.tanaka.tb, masaaki.nagata.et\}@hco.ntt.co.jp

## 概要

日常会話などで使用される話し言葉，すなわち自由発話における翻訳では，データセット量が少ない，語順の自由度が高いといった問題があり高品質な翻訳のためにはまだ多くの課題が残っている. 本研究では，句単位の摄動を用いた正則化手法によってモデル内で様々な書き言葉文を表現し学習することで翻訳精度の改善を試みる.この句単位の摂動はトークンではなく Positional Encoding に付与することで欠陥文をサンプリングする.

## 1 はじめに

近年，機械翻訳はニューラルネットワークによって大きく発展した. 特に, Transformer[1]は SelfAttention, Multi-Head Attention, Positional Encoding という独自の機構を利用して，高い精度の翻訳結果を残した。これは英日翻訳でも同様で，高い精度の翻訳が可能である.しかしながら，日常会話などで使用される話し言葉話における翻訳では，データセットが少ない，間投詞や言い淀みなどを含む，などといった問題があり書き言葉の翻訳と比べると翻訳精度はかなり低い。さらに, 日本語など語順の自由度が高い言語では，話し言葉は書き言葉と比べ語順の自由度が大きく異なる傾向にある。

一方，摄動を用いた正則化手法 $[2,3,4]$ は，モデルの頑健性の向上に有効であることが示されており，複数の正則化手法を組み合わせることで，推論時の精度をさらに向上させることが知られている. 例えば， Word Dropout や Word Replacement などの手法では，トークン単位の摂動を入力文または出力文に加えることで欠陥文をサンプリングして学習する.これらのトークン単位の摂動は学習中に欠陥文をモデル内で表現しており，欠陥文から目的言語文を予測するよう学習することと同じであると考えられる.

本研究では，英日翻訳における書き言葉の翻訳精度を向上させることを目的とし，Positional Encoding

図 1 提案手法における位置表現の直感的な例. 通常の位置表現とは異なり，，パソコンで，の出現位置がずれた欠陥文同等の位置表現をする。

部分に句単位の摂動を付与することで学習中に欠陥のある文を表現し，頑健性を向上させることを試みた. 図 1 亿提案手法の直感的な例を示す. 整数範囲の離散的な摂動を付与することで句単位での摂動を表現し，IBM Models 3 や 4[5] で作成される欠陥文同等の位置情報を表現する。この時，トークン単位ではなく，句単位の摂動を付与することで，意味的に不完全な欠陥文を生成するのではなく，語順が入れ替えられた文を生成する．実験結果から，話し言葉・書き言葉の英日翻訳において若干の BLEU の改善が見られた。

## 2 関連研究

## 2.1 摄動を用いた正則化手法

正則化手法は，機械学習で過学習を防ぐために使われる. NMT においても同様であり，モデルのパラメータの過学習を防ぐために，損失関数に特定の項を足し合わせる手法や，入力にノイズ，すなわち摂動を付与し正確な文を予測するよう学習する手法などが用いられている。本稿では摄動を用いた正則化手法について述べる。

Gal ら [3] は，確率的にトークンの埋め込みをゼロベクトルに確率的に置き換える Word Dropout 法を提案した. Bengio ら [2] は，入力トークンをエンコー ダ側またはデコーダ側のスケジュールドサンプリングしたトークンに置き換える Word Replacement 法を提案した。しかし，このようなサンプリングした別

図 2 提案手法による位置表現の例. 通常はトークンごとに絶対的位置表現 $p o s$ を決定するが (1 行目)，提案手法では摄動範囲 $[-1,+1]$ 内で確率的に句単位の摂動 per を決定し（2 行目）通常の絶対位置表現 pos に足し合わせる. (最終行目).

トークンを摂動として使用する手法では，摂動を計算する計算量がかかり学習時間が長くなる傾向がある. 高瀬ら [4] は，単純な正則化手法を様々に組み合わせて，学習時間を比較した.その結果，比較的単純な手法である Word Dropout や Word Replacement およびそれらを組み合わせた手法が，計算速度だけでなく翻訳精度においても従来の Transformerを上回ることがわかった。

## 2.2 Positional Encoding

Sinusoidal Positional Encoding (以下, SPE) は, Transformer のエンコーダ・デコーダ両者において各埋め込み表現に対し，文中における絶対位置を足し合わせることで位置情報を与える役割を持つ. その時足し合わせる值は正弦関数と余弦関数の式で表される. トークンの位置を pos, 埋め込み表現の次元数を $d$ とすると $i$ 番目の次元の埋め込み表現に足し合わせる SPE は以下の式 $(1,2)$ で表される. このとき，偶数次元は正弦関数，奇数次元は余弦関数で定義される.

$
\begin{gathered}
S P E_{(p o s, 2 i)}=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right) \\
S P E_{(p o s, 2 i+1)}=\cos \left(\frac{p o s}{10000^{\frac{2 i}{d}}}\right)
\end{gathered}
$

また，上記のような式ではなく，完全に学習可能な Embedding で絶対位置を表現し，同じように各単語埋め込み表現に足し合わせる Position Embedding という位置表現手法も存在する。

Relative Position Representation（以下，RPE）は，文中における各単語の相対的な位置を表現する [6]. SPE が各単語埋め込みに足し合わせるのに対し, Self-Attention 内部で表現する.

## 3 提案手法

従来の手法ではトークン単位で摄動を付与していた.しかし，自然な文をサンプリングするにはトー クン単位ではなく句単位で摂動を付与する方が適切であると考えられる。一方で従来の手法はトークン単位の摂動でありながら翻訳精度の改善が期待できるため従来の手法と組合せな可能な手法を提案する. 本研究では，SPE内のトークン位置 $p o s$ にトー クン単位ではなく句単位の整数摂動を付与することで日本語の書き言葉文に近い欠陥文をモデル内で表現する手法を提案する。図 2 に提案手法の位置表現例を示す. SPEに摂動を組み込むことで，他の正則化手法と同様にNMT の頑健性を向上させることができ，また，モデル構造中の位置表現を操作するため他の正則化手法と補完することが期待される. さらに，トークン単位ではなく句単位で摂動を付与することで書き言葉文に近い文を表現し学習することで書き言葉における翻訳での精度向上が期待される. 提案手法はSPEを拡張した式 $(3,4)$ で表される.

$
\begin{aligned}
& \operatorname{perSP} E_{(p o s, 2 i)}=\sin \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \\
& \operatorname{perSPE_{(pos,2i+1)}}=\cos \left(\frac{p o s+p e r}{10000^{\frac{2 i}{d}}}\right) \text {, }
\end{aligned}
$

ここで, per は一様分布からの整数摂動である. また，開始トークンの per は常に 0 とする. 例えば，摄動範囲が $[-1,+1]$ の場合，開始トークンを除いて $-1,0,+1$ の整数がランダムに決定する. [7] で提案されている on-the-fly subword sampling のように，摂動は文・エポック毎にサンプリングされ，文・エポック毎に異なる SPE が各トークンに付加される.摂動は学習中にのみ付与され, 生成時は通常の SPE を使用する。

## 4 実験

実験は大きく次の 3 ステップに分けて行った. (1) まず事前実験として PE の Ablation study を行った. これはエンコーダ・デコーダどちらに摂動を付与するべきか，それとも従来のまま絶対位置を付与するべきか検討するために行った. (2) 次に話し言葉における実験を行った. (3) 最後に書き言葉においても同様に効果があるのかを検証するために書き言葉における実験を行った。

データセット英日翻訳の実験のためのデータセットには，書き言葉の実験には対訳コーパス ASPEC[8], 話し言葉の実験には IWSLT2017[9], 加えて JParaCrawl[10] からランダムに選択した 400 万文を用いた. ASPEC は $1,783,817$ 文対の学習データ, 1,790 文対の開発データ, 1,812 文対のテストデータからなり, 今回学習には 100 万文対の学習データである train-1.txt のみを使用した. IWSLT2017 はオリジナルの 232,423 文対の学習データから Moses[11] の clean-corpus-n.perl 1)を使いクリーニングを行った 9,250 文対を学習データとして用い, 開発には dev2010 の 871 文対，テストには tst2015 の 1,194 文対を使用した. JParaCrawl はオリジナルの 1,000 万分からランダムに 400 万文抽出し学習データとして使用した. 英語及び日本語の入出力はサブワードとし, Sentencepiece[12]を使いトークナイズを行った. このとき, 語彙サイズは 16,000 とし, 言語間で共有した。

実験設定実装には fairseq[13] を用いた。バッチサイズは実験 4.1 において 2048, 実験 4.2 において 8192 にした. それ以外のハイパーパラメータは全てにおいて [1] と同じにした.

摂動英日翻訳の目的言語側，すなわち日本語側で句構造の解析を行い, 解析結果から句単位の摂動を付与する. MeCab[14]を使って形態素解析を行い，MeCab が出力した品詞列に対して正規表現で句単位に区切るルールを定義し, nltk[15] の RegexpParser でチャンキングを行った. このチャンキングは学習時に行うと学習時間が膨大となるため, 学習データ作成時に行いチャンキング結果を目的言語文と共にモデルに渡すことでベースラインと変わらない速度での学習を行った. 摄動範囲は全てにおいて $[-1,+1]$ に統一し，一様分布に基づいて選択

表 1 ASPEC 英日翻訳における BLEU

される.

評価翻訳文の評価手法には機械翻訳の自動評価として一般的な BLEU[16] を用い，sacreBLEU[17]で計算した.

## 4.1 事前実験

摂動をエンコーダ・デコーダどちら側に付与するべきなのか検証するため，エンコーダ側，デコーダ側それぞれにおいて通常の SPE(絶対位置)，RPE(相対位置) を付加しない場合の実験を行った. 本研究では [18] と同様, Query と Key のみに適用する簡略化された RPE を用いた. 実験結果を表 1 に示す.

エンコーダに SPE を付加しない場合，デコーダにおける SPE の有無関係なしに大きく BLEU が下がった. 一方で，デコーダ側の SPE の有無は翻訳精度に大きく影響を与えることはなかった．RPE の場合でも同様の傾向が見られた. したがってエンコー ダ側の絶対的な位置表現が翻訳精度に大きく影響を与えていることがわかる.

## 4.2 話し言葉・書き言葉における実験

表 3 ASPEC 英口翻訳における BLEU

話し言葉における実験事前実験から，エンコー ダ側にはSPEによる絶対的な位置情報を与えた方が良く, デコーダ側の SPE の位置情報の与え方には改善の余地があると考えられた. そこでデコーダ側に提案手法を適用し実験を行った. IWSLT2017 データセットと JParaCrawl データセットを使った英日翻訳

の結果を表 2 に示す. 通常, 話し言葉の翻訳では,話し言葉のデータセットのみでの fine-tuning を行うが，この実験結果では fine-tuning は行っていない.結果から，提案手法がベースラインと比べて 0.8 ポイント BLEU が向上したことがわかる. また，デコーダ側にSPE を与えなかった場合，ベースラインと比べて 0.1 ポイント BLEUが下がった.

書き言葉における実験話し言葉と同様に，デコーダ側に提案手法を適用し実験を行った. 表 3 に ASPEC データセットを使った書き言葉における実験結果を示す. 結果より, ベースラインと比べると 0.4 ポイントの BLEU の向上が見られた. また，デコーダ側にSPE を与えなかった場合, ベースラインと比べて 0.1 ポイント BLEUが下がった.

## 5 考察

事前実験事前実験の結果から，デコーダの位置表現が翻訳精度に大きく影響を与えるとは考えにくい. 生成時, Transformer は自己回帰的に生成を行 $い$, 生成した前の単語 (時刻 $\mathrm{t}$ 単語) から次の単語 (時刻 $\mathrm{t}+1$ の単語) の予測を行うようデコーダの Self-Attention ではマスクを行う．このように時系列に沿った生成を行うため, 位置情報は必要ではないと考えられる。また，絶対位置表現，相対位置表現両方において同じ傾向であったことから，位置表現の違いやどこで位置情報を足し合わせるかは精度に大きく関係しないと考えられる。

提案手法話し言葉，書き言葉における実験では翻訳精度の改善が見られた. さらに, デコーダ側で SPE を付与しない時と比べても翻訳精度の改善が見られた. デコーダ側の位置表現が必須でないならば，位置表現において正則化を行うことで若干の改善が可能であることを示唆している. 若干の改善しか見られなかったのは，デコーダ側の位置情報が翻訳精度にそれほど大きな影響を与えないことが原因であると考えられる。このように単語埋め込みに直接作用する摂動を用いた正則化手法 $[2,3,4]$ と比べると大きく改善するとは言い難いが，提案手法はこれらの手法と組み合わせが容易に可能であるため, 組み合わせることで更なる精度の改善が期待できる.

トークン単位の摂動また，先行研究のように句単位ではなくトークン単位で摂動を付与した場合，翻訳精度が改善するのか実験を行った. 表 1 と同じパラメータで実験を行った結果を表 4 に示す.トー表 4 ASPEC 英日翻訳においてトークン単位の摄動を付与した場合の実験結果. perSPE の摂動範囲はすべて [-2, +2] である.

クン単位の摂動を付与した場合でも若干の翻訳精度の改善 (+0.4 の BLEU の改善) が見られた. また, SPEをデコーダに付与しない場合と比較しても若干の改善が見られた, これはデコーダ側では絶対位置を付与するのではなく, 正則化を行う提案手法を適用することで翻訳の改善が見込めることを示すと考えられる。一方で，エンコーダに摂動を付与したとき翻訳精度がベースラインより下がったことから， エンコーダ側ではやはり絶対的な位置表現をしたほうがよいと考えられる.

## 6 まとめ

本稿では，書き言葉における英日翻訳のため，句単位の摂動を Positional Encoding に付与する正則化手法を提案した. 実験結果から，書き言葉・話し言葉における英日翻訳それぞれにおいて若干の翻訳精度の改善が見られた。一方で，他の正則化手法と比べると精度の改善が小さいという問題点もある.今後の課題としては，他正則化手法との組み合わせの検証，他ランダムシードでの検証などが挙げられる.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[2] S. Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam M. Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In NIPS, 2015.

[3] Yarin Gal and Zoubin Ghahramani. A theoretically grounded application of dropout in recurrent neural networks. In Daniel D. Lee, Masashi Sugiyama, Ulrike von Luxburg, Isabelle Guyon, and Roman Garnett, editors, Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, pp. 1019-1027, 2016.

[4] Sho Takase and Shun Kiyono. Rethinking perturbations in encoder-decoders for fast training. In Proceedings of the 2021 Conference of the North American Chapter of
the Association for Computational Linguistics: Human Language Technologies, pp. 5767-5780, Online, June 2021. Association for Computational Linguistics.

[5] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. The mathematics of statistical machine translation: Parameter estimation. Computational Linguistics, Vol. 19, No. 2, pp. 263-311, 1993 .

[6] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Selfattention with relative position representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[7] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[9] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the iwslt 2017 evaluation campaign. 2017.

[10] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[11] Philipp Koehn, Hieu T. Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In ACL, 2007.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations,
2019.

[14] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/, 2005.

[15] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.


# 手・指の動きを伴う子どもの反応を対象とした 絵本レビュー分析・絵本の類型化と発達心理学文献との比較*

笠松 美歩 1 宇津呂 武仁 ${ }^{1}$ 齋藤 有 ${ }^{2}$ 石川由美子 ${ }^{3}$
}

1 筑波大学大学院 システム情報工学研究科 2 聖徳大学 児童学部 3 宇都宮大学 共同教育学部
## 概要

本論文では, 日本最大級の絵本・北童書専門サイト「絵本ナビ」に投稿された，絵本に対するレビューを情報源とすることで，絵本に対する子どもの認知発達的反応および絵本の分類を行う. 特に，本論文では，絵本読み聞かせ場面を描写したレビューから手・指の動きを伴う子どもの反応を大規模に収集し, それらの反応における特徴に応じて絵本の特徴が類型化できること, およびその類型化結果を示す.

## 1 はじめに

発達心理学は, 子どもの発達メカニズムを解明することを目的とする学問分野である.この分野において, 絵本の読み聞かせは子供の発達に大きな影響を与えるとされており, 有力な研究対象の一つとなっている. 絵本読み聞かせ場面における認知発達的反応と, そこで用いられる絵本の種類との関係を解明することは, こうした研究の発展に大きく貢献できると考えられるが, 発達心理学において, この関係の追求は十分にはなされていない. その理由として, この追求に必要不可欠である大規模なデータの収集・分析が, 現在の発達心理学における研究手法では困難であるという点が挙げられる．従来の発達心理学の研究手法は, 実際の絵本読み聞かせ場面の映像を収録し，その内容を人手で一つ一つ分析するというものであり，データの規模を拡大するためには, 膨大な時間と労力が必要となる. そこで, 本論文では, 日本最大級の絵本 - 児童書専門サイト 「絵本ナビ」1)に投稿された, 絵本に対するレビュー を情報源とすることで, 絵本に対する子どもの認知発達的反応および絵本の分類を行う.

本論文では，0 4 歳の手・指の動きを伴う子どもの反応について, 子どもの反応の分析を行う. 手指の動きを伴う子どもの反応は認知発達と関連があるとされ, 発達心理学では多数の研究事例のある重要な反応にも関わらず，絵本を用いた研究事例はきわめて少ない。それに対し，本論文では，絵本読み聞かせ場面を描写したレビューから手・指の動きを伴う子どもの反応を大規模に収集し，それらの反応における特徴に応じて絵本の特徴が類型化できること, およびその類型化結果を示す.

## 2 絵本レビューサイト「絵本ナビ」

本論文では, 絵本情報サイト「絵本ナビ」に読者が書き込んだレビュー(以降，レビュー)を分析の対象とする。絵本ナビは，絵本および児童書約 89,700 タイトルに関する出版社, 著者, あらすじなどの基本情報の他, 大量のレビュー (2021 年 12 月現在で約 42 万 2 千レビュー) が書き込まれる国内最大級の絵本および児童書に特化した情報サイトである.多くのレビューにおいて, 絵本の読み手 (以降, レビュアー)の感想や行動を描写した記述と，聞き手である子どもの反応を描写した記述が混在している. 文献 $[13,14]$ では, 絵本ナビ中のレビューを人手分析し, 絵本に対する子どもの反応の描写が含まれる割合について報告している。特に，文献 [14]では，手・指を用いたジェスチャーに焦点を当て，子どもの認知発達的事例の類型化を人手で行なっている. そして, それらの類型と, 発達心理学分野におけるこれまでの知見との間で比較分析を行なった。一方，本論文では，手・指を用いたジェスチャーに焦点を当て, 絵本レビューより抽出される子どもの認知発達的反応およびその際に用いられた絵本タイトルを分析するとともに，事例数の規模について推定を行い, 発達心理学分野における従来からの知見と, 絵本レビューから収集可能な定量的情報との間の比較分析を行うことを目的としている.
表 1 認知発達的反応 (手・指の動きを伴う反応) の類型

(a) 身振りを伴う子どもの反応

 &  & 代表的な呼称 & 反応類型の概要 & レビュー中の例 & 文献中の例 \\

(b) その他の手・指の動きを伴う子どもの反応

 & 反応類型番号 & 反応類型の概要 & レビュー中の例 \\

## 3 発達心理学における身振りを伴う 子どもの反応特徵の類型

発達心理学においては, 手・指を含んだ身体の動きを伴う反応のうち, 身振りと呼ばれる反応が主に扱われ，それらを類型化して分析を行っている.発達心理学文献における主な身振りの類型に関して, 本論文中での類型の通し番号 (反応類型番号) $\cdot$概要・発達心理学文献における代表的な呼称・レビューおよび文献中の例を表 1(a)に示す.これらの類型のうち, 反応類型番号がRL から始まる類型は,発達心理学文献・レビュー中両方に出現する類型であり, 反応類型番号が $\mathrm{L}$ から始まる類型は, 発達心理学文献にのみ出現する類型である. また, 本論文において調査した, 各類型を扱った発達心理学文献数を，表 2(a) に示す。

## 4 レビュー中の子どもの認知発達的反応の分析

本論文では, 絵本レビュー中に描写されている手・指の動きを伴う子どもの反応を，まず表 1 (a) における身振りの類型に分類した。この過程において, これらの類型には分類不可能な反応が多数見つかった. 発達心理学における身振りとは, 空間的情報や身体の動きに関する情報を表現する動き [2] であり，ここには，絵本そのものを操作するなど，何かを表現することを意図しない動きは含まれない. しかし, 絵本レビューには, こうした何かを表現することを意図しない手・指の動きを伴う反応が多数含まれている。そこで，これらをその特徴に基づいてグルーピングし, 独自に類型 $\mathrm{R} 1 \sim \mathrm{R} 8$ を作成した.表 1(b) に, これらの類型の本論文中での類型の通し番号 (反応類型番号) ・概要・レビュー中の例を示す.絵本レビュー中の手・指の動きを伴う子どもの反応を, 表 1 に示す類型に分類した場合の, 各類型における年齢別の反応頻度 (「指さす」以外については観察サンプル数 10 での推定値, 「指さす」については観測サンプル数 20 での推定値) および反応表現種類数を表 2(b), および，表 2(c) に示す.

## 5 絵本の分類および発達心理学文献 の調査

4 節において類型化された反応に基づいて, 絵本の類型化を行った結果, 表 3 に示す類型が得られた.この類型化によって作成された類型は 40 であり，そこに含まれる手・指の動きを伴う子どもの反応の頻度は 826 , 反応表現種類数は 91 であった。ま

た, 同種の反応が含まれる発達心理学文献についても調査し, その結果を, 表 3 の「同種の反応に言及している発達心理学論文・書籍」欄に示す. 同種の反応に言及している発達心理学文献が見つかった類型は 40 の絵本類型のうち 6 類型であり, 文献数は 11 であった.

## 6 おわりに

本論文では, 従来の発達心理学研究における方式とは異なり, 絵本のレビューが書き込まれるサイトを情報源として, 絵本に対する子どもの認知発達的反応が描写された絵本レビューを分析対象とする方式を提案した。具体的に，本論文では，絵本レビュー中の手・指の動きを伴う子どもの反応に関して, それらの反応および絵本の類型化を行い, 発達心理学文献との比較を行った. その結果, 子どもの反応における特徴に応じて絵本の特徴を類型化することができた。表 2 発達心理学文献およびレビューにおける各反応類型の分布

(a) 各反応類型を含む発達心理学文献数

} & \multicolumn{2}{|c|}{ |反応事例の描写なし } & 4 & 3 & 6 & 0 & 3 & 1 & 2 & 6 \\

(b) 各反応類型のレビュー中の頻度分布 (推定値)

(c) 各反応類型のレビュー中の反応表現種類数分布

表 3 絵本レビュー中の子どもの認知発達的反応 (手・指の動きを伴う反応) に基づく絵本の分類および

 & 絵本の特徵 &  & 説明 &  & 頻度 & 絵本タイトル &  \\

{[1]}\end{array}\right.$} \\

## 参考文献

[1] Ş. Özçalişkan and S. Goldin-Meadow. Do parents lead their children by the hand? Journal of Child Language, Vol. 32, No. 3, pp. 481-505, 2005.

[2] 小林春美, 佐々木正人. 新・子どもたちの言語獲得.大修館書店, 2008.

[3] J. M. Iverson, O. Capirci, and M. C. Caselli. From communication to language in two modalities. Cognitive Development, Vol. 9, No. 1, pp. 23-43, 1994.

[4] E. Nicoladis. Some gestures develop in conjunction with spoken language development and others don't: Evidence from bilingual preschoolers. Journal of Nonverbal Behavior, Vol. 26, No. 4, pp. 241-266, 2002.

[5] L. Acredolo and S. Goodwyn. Symbolic gesturing in normal infants. Child Development, pp. 450-466, 1988.

[6] 藤井美保子. コミュニケーションにおける身振りの役割. 教育心理学研究, Vol. 47, No. 1, pp. 87-96, 1999.

[7] Ş. Özçalişkan, D. Gentner, and S. Goldin-Meadow. Do iconic gestures pave the way for children's early verbs? Applied Psycholinguistics, Vol. 35, No. 6, pp. 1143-1162, 2014.

[8] 山本正志, 山本博香. 1 健常幼坚における身ぶりの発達. 聴能言語学研究, Vol. 10, No. 1, pp. 8-15, 1993.

[9] E. Bates, D. Thal, K. Whitesell, L. Fenson, and L. Oakes. Integrating language and gesture in infancy. Developmental Psychology, Vol. 25, No. 6, p. 1004, 1989.

[10] 高井直美, 高井弘弥. 初期シンボル化における身ぶり動作と音声言語との関係. 発達心理学研究, Vol. 7, No. 1, pp. 20-30, 1996.

[11] 山本正志, 山本博香. 健常幼览における身ぶりの発達 (2). 聴能言語学研究, Vol. 13, No. 3, pp. 205-212, 1996.

[12] 平澤順子. 保育所 1 歳児クラスの絵本の読み聞かせ場面における自発的身ぶりの検討. 日本女子大学大学院紀要, Vol. 24, pp. 113-122, 2018.

[13] 上原宏, 馬場瑞穂, 宇津呂武仁. 発達心理学の観点から見た絵本レビュー中の子供の反応の分析. 言語処理学会第 21 回年次大会論文集, pp. 832-835, 2015.

[14] H. Uehara, M. Baba, and T. Utsuro. Analyzing developmental characteristics of infants' finger/hand gestures text analysis of picture book reviews 一. 言語処理学会第 23 回年次大会論文集, pp. 430-433, 2017.