# 木置換文法による語彙と文法の教師なし同時学習に関する検討

相良陸成 ${ }^{1}$ 田口亮 ${ }^{1}$
1名古屋工業大学大学院 工学研究科
r.sagara.628@nitech.jp taguchi.ryo@nitech.ac.jp

## 概要

人の言語学習能力をロボットにより構築する研究が行われており, 単語とその意味, 文法の教師なし学習モデルが提案されている. 一方, 木構造の文法と語彙を同時に学習するモデルは提案されていない.本研究では木置換文法により音節列から語彙と文法を教師なしで同時学習する手法について検討する。木置換文法において構文木を構成する単位である基本木として，単語と構文を同じ形式で学習する。小規模なデータセットを用いた実験により，基本木として単語と構文を抽出可能であることが示された。 このような学習は，語彙と文法を連続体として捉える認知言語学との親和性があるものと考える。

## 1 はじめに

人間の幼児は大人とのインタラクションを通じて，単語とその意味, および文法を学習する能力を持つ. この能力の数理モデル化を目的の一つとして, ロボットによる語彙・概念の獲得に関する研究[1]-[3]や, ロボットによる文法学習の研究[4], [5]が行われている。一方，語彙と文法を統一的なモデルで学習する手法は提案されていない。人間は学習した「赤い」

「赤」「緑」という単語から「緑い」という単語を作り出せるように, 学習した単語から単語を生成する規則を学習することが可能である. このような学習をロボットにより実現するには，語彙と文法を統一的なモデルで学習する必要があると考える. このため本研究では，木置換文法を用いることにより，単語と構文を統一的な形式で教師なし学習する方法について検討する。

## 2 木置換文法

木置換文法（TSG: Tree Substitution Grammar）は，文脈自由文法の生成規則の右辺を木構造へと一般化し, 生成規則に確率を対応させた形式文法である. この生成規則の右辺の木は基本木（elementary tree）
と呼ばれる。図 1 に示すように，基本木の末端にある NP などの非終端記号を基本木で置換することにより，構文木を導出する. ここでは Cohn らの提案した木置換文法[8]について述べる。この木置換文法により, 品詞列から教師なしで依存構造解析ができることが示されている.

## 2.1 確率モデル

木置換文法において，非終端記号列 $y$ は以下の式により生成される.

$
\begin{aligned}
& p(y)=\sum_{t: \operatorname{yield}(t)=y} p(t) \\
& p(t)=\sum_{\text {e:tree }(\mathbf{e})=t} p(\mathbf{e}) \\
& p(\mathbf{e})=\prod_{c \rightarrow e \in \mathbf{e}} p(e \mid c, \mathcal{L})
\end{aligned}
$

ただし， $t$ は構文木， $\mathbf{e}$ は基本木の列， Lは木置換文法のパラメータ集合， $c \rightarrow e \in \mathbf{e}$ は基本木の列 $\mathbf{e}$ に含まれる基本木 $e$ が非終端記号 $c$ から生成される規則を表す。また， $y \operatorname{ield}(t)$ は構文木 $t$ の終端記号列を表し, $\operatorname{tree}(\mathbf{e})$ は基本木の列 $\mathbf{e} により$ 作られる構文木を表す. 非終端記号 $c$ から生成される基本木 $e$ の分布 $p(e \mid c, \mathcal{L})$ は基本木の出現頻度に基づくが，一度も出現していない基本木にどのように確率を割り当てるかが問題となる。Cohn らは階層 Pitman-Yor 過程に

図 1 木置換文法

より, 一度も出現していない基本木の確率を, 文脈自由文法の生成規則の出現頻度に基づいて割り当てている.これによりモデル全体を確率的生成モデルで表現可能とした. 詳細は文献[8]を参照されたい.

## 2.2 パラメータ推定

確率モデルのパラメータ推定に一般に用いられる Metropolis-Hastings 法を用いる. 基本木からなる構文木のサンプリングには, inside アルゴリズムによる動的計画法の結果を用いる. サンプリングされた基本木からなる構文木は, Metropolis-Hastings 法のプロセスの中で, 尤度に基づいて確率的に受理または棄却される.

## 3 木置換文法による語彙 ・ 文法学習

本研究では Cohn らの木置換文法を用いて, 音節列から語彙と文法を学習することを試みる. 図 2 に模式図を示す. 音節列に対して木置換文法を適用し，得られた基本木を単語および構文と解釈する。図では実線で繋がれた部分木を基本木として表しており，点線は基本木の置換 (接続) 部を表している. 図 2(a) は「きをつけて」を一つの単語とした場合であり，図 2(b)は「き/をつけて」のように 3 単語とした場合である.このような分割候補に対して生成確率を取得できる.このため, ロボットのセンサ情報から得られた意味情報を加味して分割候補を選択するなどの拡張が考えられる。また， n-gram とは異なり，意味を対応付ける単位として構文を抽出可能である。

図 2 の学習を木置換文法で実現するために, 図 2 の葉ノードは音節に対して一意に決まる前終端記号とし，そこから音節の終端記号が導出されるとする。学習に用いる非終端記号の性質は事前に与えられず，非終端記号の数のみが与えられる.

(a) 1 単語とする場合

(b) 単語に分ける場合図 2 木置換文法による単語と文法の学習

## 4 実験

木置換文法により単語および構文の教師なし学習が可能であるかを検証する.

## 4.1 実験条件

データセット $\mathrm{A}$ ，データセット $\mathrm{B}$ のそれぞれを用いて実験した. データセット A 45 の音節列からなり, 3 種類の色, 3 種類の物体, 5 種類の動作を表す単語のすべての組み合わせからなる. すべての音節列は「色・物体・動作」の順に並んでおり, 例として「あかいはこのせて」のような音節列が存在する. データセット B はロボットに位置を教示する 104 の音節列からなる. 4 種類の絶対位置 (例: リビング）, 6 種類の相対位置（例: 後ろ）, 4 種類の物体（例: テレビ）の単語が含まれる。「ここわ X です」のような 19 種類の発話パターンの Xに，「（物体）の（相対位置）」または「（絶対位置）」をあてはめ，「ここわてれびのまえです」のような音節列を生成した. データセット A とは異なり, 単語の出現頻度および 2 単語の共起頻度には偏りがある.

付録に全データを記載する。

非終端記号の個数を 3, 4,5の 3 つの值に設定してそれぞれ実験した。構文木の根ノードには特別な記号を用いず，全ての非終端記号が等確率で出現可能とした. Metropolis-Hastings 法のサンプリング回数は 1000 回とした。最終イテレーションにおいて得られた木置換文法のパラメータを用いて，各入力音節列から事後確率最大となる基本木の列を取得し，評価に用いた。データセットと非終端記号の組み合わせごとに，初期值を変えて 10 回ずつ実験した.

## 4.2 実験結果と考察

## 4.2.1 データセット A

非終端記号を 3 個としたときの学習例を図 3 に示す. 図の PT は前終端記号を, NT は非終端記号を表す. 点線部は基本木の境界を表している．点線で繋がれた 2 つのノードは構文木としては同一のノードであるが，実線で繋がれた部分木を基本木とみなせるよう，視認性のために分割して描画している。アスタリスク $(*)$ は, 基本木の境界ノードではないことを表す.この学習例において, 基本木は「あかい」

「はこ」「のせて」の3つの単語の基本木に正しく分割されていることが分かる。 また，単語は音節列だけでなく，他の単語との接続に関する情報を持っ

図 3 データセット A の学習例 （非終端記号 3 個）

た, 構文として学習された.この実験では 45 の音節列すべてが正しく 3 つの単語に分割された。また, この実験結果ではすべての物体の基本木の根ノードは NT2, すべての動作の基本木の根ノードは NT3 であり, 構文木上の 3 単語の関係は全て同じであった。 これは, 各単語の品詞とそれらの関係, 寸なわち文法が学習されたと考えることができる。なお，構文木の構造については誤って学習されたが，これは全ての音節列「色・物体・動作」という語順で出現し,「色・物体」のみの音節列がなかったためであると考える．音節列のバリエーションを増加させることにより，構文木としても正しい結果が得られるようになると考えられる。

次に，定量評価について示す. データに含まれる全単語を対象として, それらが基本木として抽出された割合を算出した. 非終端記号が $3,4,5$ 個の時に抽出された割合は, 10 回の実験の平均でそれぞれ 99.7\%, 99.3\%, 96.1\%となった. いずれも高い精度で音節列から単語を抽出できていることがわかる. 非終端記号を増やすことで基本木の内部ノードとして活用されることを期待したが，非終端記号が少ない方が精度は高かった. 基本木の置換部の非終端記号の方が重要であり, 内部ノードがどの非終端記号になるかは学習に大きく影響を及ぼしていないと考えられる。

## 4.2.2 データセット B

非終端記号を5個としたときの学習例を図 4(a)および(b)に示す. 音節列が基本木としておおよそ正しく単語に分割できていることがわかる. また，位置を表す「りびんぐ」と「てれびのまえ」は単語数が異なるが，それらを統べる部分木の根ノードはどちらも非終端記号 NT5 であった。これは，NT5 が「位置」という抽象的な単位として学習されたと考えることができる.これにより，これまでの n-gram では学習できなかった，単語数に依存しない AXB 形式の構文を学習可能となり, それに従う単語列を生成可能となることが期待される。ただし, この学習結果では NT5 は他の基本木の置換部にも用いられており，現段階では単語列の生成は正しくできないと考えられる．5 つある非終端記号がすべて置換部に用いられることを期待したが，同じ非終端記号を複数回用いる傾向が見られた. 基本木が根ノードを伴って学習されるために根ノードを変更することが難しく, 局所解に留まっている可能性がある。この点の改善は今後の課題である.

また, データセット A と同様に単語が抽出された割合を算出した。評価対象は，絶対位置の単語，物体の単語, 「まえ」以外の相対位置の単語とした.非終端記号が 3, 4, 5 個の時，想定した単語に分割された割合は，10 回の実験の平均でそれぞれ 59.4\%, 52.9\%, 46.6\%となった. ただしこのデータセットにおいては，この值が高いほど望ましい学習結果であるとは限らない。想定した単語に分割されなかった例として，「のひだり」や「いすのうしろ」を基本木とする場合が見られた（付録を参照）。「ひだり」 の前の音節は必ず「の」であるため，「ひだり」と 「のひだり」の出現回数は等しい．また，「うしろ」 は「いすのうしろ」の形でしか出現せず，「いすのうしろ」の出現回数は「リビング」と同じ 8 回である.このように高頻度に出現する音節列を，「気を付ける」と同様に一つの単語と解釈し，それを意味と対応付ける単位として学習することは一つの妥当な結果であると言える。このような学習は, 語彙と文法を連続体として捉える認知言語学[6]との親和性があるものと考える。

(a) 非終端記号 5 個「そこわりびんぐだよ」

(b) 非終端記号 5 個「そこわてれびのまえです」

図 4 データセット $\mathrm{B}$ の学習例

## 5 制約

Cohn らの木置換文法を音節列からの語彙と文法の教師なし学習に利用できることを示したが，いくつかの制約が存在する. まず, Cohn らの木置換文法を教師なし学習するためには二分木とする必要があり, 過度に内部ノードを必要とする点が挙げられる。 これはパラメータ推定に用いる inside アルゴリズムが二分木を前提としているためである。生成規則が 「ここわ・X・です」「て・れ・び」のような 3 つ子を持つことができれば，内部ノードを削減でき，分析が容易になると考える。また，単語学習時に基本木の根ノードの非終端記号を定める必要がある点は，学習を難しくするだけでなく，認知言語学の観点からも不自然な仮定であると考えられる。このような技術的制約を取り払い，より認知言語学からの説明が可能なモデルに改良したい。さらに, データセットが小さいにも関わらず計算コストが大きい点が挙げられる. データセット $\mathrm{A}$ を用いた非終端記号 3 個での実験では, Intel Core i7-7820X CPU 3.60GHz のシングルコアでの実行で 3 時間 11 分を要した. また，非終端記号の数を増加させると実行時間は指数的に増大し, 非終端記号が 8 個の場合は 54 時間 46 分を要した. このため, 大規模なデータセットへの適用は困難である。 RNN や Transformer を用いた統語構造の学習モデル[8], [9]を用いるなど，高速な学習を可能とする方法について検討したい.

## 6 おわりに

本研究では，木置換文法により音節列から語彙と文法を教師なし学習する手法について検討した。小規模なデータセットを用いた実験で，木置換文法により基本木という単位で単語と構文を抽出できることを確認した。

本研究では言葉の意味（概念）を扱っていない.文献[2], [3]では, 語彙学習とセンサ情報からの概念学習を統合することで, 語彙学習の精度が向上することが示されている. また認知言語学においては,構文は音韻と意味のペアとして抽象化されていくと考える.このため意味の抽象化についても同時に扱い，意味を伴って文法を学習可能なモデルに発展させたい.

本研究では発話音声から音節列が得られたものと仮定し, 音節列を観測値として学習している. 完全な教師なし学習の実現のためには, 発話音声からの音素・音節の獲得との統合が必要である. 谷口らは,発話音声から音素と単語を教師なし学習する手法を提案している[10]. この手法で学習される文法は 2gram であり, AXB のような文法は学習できない. この手法の音素の獲得を取り入れることなどにより，完全な教師なし学習として発話音声からの語彙・文法学習を実現したい。

## 謝辞

本研究は, JST 次世代研究者挑戦的研究プログラム JPMJSP2112 の助成を受けたものです.

## 参考文献

[1] T. Nakamura, T. Nagai, K. Funakoshi, S. Nagasaka, T. Taniguchi, and N. Iwahashi, "Mutual learning of an object concept and language model based on MLDA and NPYLM," in 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2014, pp. 600-607.

[2] A. Taniguchi, T. Taniguchi, and T. Inamura, "Unsupervised spatial lexical acquisition by updating a language model with place clues," Rob. Auton. Syst., vol. 99, pp. 166-180, Jan. 2018.

[3] R. Sagara et al., "Unsupervised lexical acquisition of relative spatial concepts using spoken user utterances," Adv. Robot., vol. 36, no. 1-2, pp. 54-70, Jan. 2022.

[4] A. Aly, T. Taniguchi, and D. Mochihashi, "A Probabilistic Approach to Unsupervised Induction of Combinatory Categorial Grammar in Situated HumanRobot Interaction," in 2018 IEEE-RAS 18th International Conference on Humanoid Robots (Humanoids), 2018, pp. $1-9$.

[5] M. Spranger, "A basic emergent grammar for space," Experiments in Cultural Language Evolution, ed. L. Steels (Amsterdam: John Benjamins), pp. 207-232, 2011.

[6] T. Cohn, P. Blunsom, and S. Goldwater, "Inducing tree-substitution grammars," J. Mach. Learn. Res., vol. 11, pp. 3053-3096, 2010.

[7] R. W. Langacker, Foundations of Cognitive Grammar: Volume I: Theoretical Prerequisites. Stanford University Press, 1987.

[8] C. Dyer, A. Kuncoro, M. Ballesteros, and N. A. Smith, "Recurrent Neural Network Grammars," in Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California, 2016, pp. 199-209.

[9] P. Qian, T. Naseem, R. Levy, and R. F. Astudillo, "Structural Guidance for Transformer Language Models," in Proceedings of the 59th Annual Meeting of the Association- 452 for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume1: Long Papers), Online, 2021, pp. 3735-3745.

[10] T. Taniguchi, R. Nakashima, H. Liu, and S. Nagasaka, "Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals," Adv. Robot., vol. 30, no. 11-12, pp. 770783, Jun. 2016

## A 付録

## A. 1 データセットB の全データ

$
\begin{aligned}
& \begin{array}{l}
\text { そのばしょわりびんぐだね } \\
\text { そこわりびんぐだよ }
\end{array} \\
& \text { りびんぐだ d } \\
& \text { そこのなまえわりびんぐ } \\
& \text { そこわりびんぐです } \\
& \begin{array}{l}
\text { そばしょわりびんぐだよ } \\
\text { そのばしょわりびんぐだね }
\end{array} \\
& \text { そのばしょわりびん }
\end{aligned}
$

$
\begin{aligned}
& \text { そのばしょわきつちんです } \\
& \begin{array}{l}
\text { きつちんにきまたした } \\
\text { そうわきちんで }
\end{array} \\
& \text { きちんにいるよ } \\
& \text { そのばしょわきつちん }
\end{aligned}
$

$
\begin{aligned}
& \text { そこのなまえわげんかん } \\
& \text { げんかんにいるよ } \\
& \text { そのばしょわげんかん } \\
& \text { んかんにいる } \\
& \text { げんかんです } \\
& \text { そこわげんかんだね } \\
& \text { こばしょわしんじっだよ } \\
& \text { そこのなまえわしんしつです } \\
& \text { こんしついるね } \\
& \text { そこのなまえわしんしつだね } \\
& \text { そこわしんしつだよ } \\
& \text { しんしつにきました } \\
& \text { そこのなまえわしんしつです } \\
& \text { そこのなまえわてれびのまえだよ } \\
& \text { そこわてれびのまえです } \\
& \text { そこわのなれまえわすえですまえ } \\
& \text { てれびのみぎだよれれびのみぎです } \\
& \begin{array}{l}
\text { てひびのみみ゙だね } \\
\text { てれびのみです }
\end{array} \\
& \text { それびのみぎですびのひたれ゙けだね }
\end{aligned}
$

$
\begin{aligned}
& \text { そこわてれびのひだりだね }
\end{aligned}
$

$
\begin{aligned}
& \text { ごっどのまえです }
\end{aligned}
$

$
\begin{aligned}
& \begin{array}{l}
\text { そこわべっどのみみ } \\
\text { そこわべっどのみ }
\end{array} \\
& \text { ごっどのみぎにいるよ }
\end{aligned}
$

$
\begin{aligned}
& \begin{array}{l}
\text { ながしだいのまえです } \\
\text { ながしだいのまえです }
\end{array} \\
& \text { ながしたいのまえで }
\end{aligned}
$

$
\begin{aligned}
& \text { そのばしょわながしだいのひだりだよ } \\
& \text { ながしだいのひだりにいるね } \\
& \text { そのばしょわいすのうしろる。 } \\
& \text { そこのなまえわいすのうしろです } \\
& \text { いす } \\
& \text { そこのなまえわいすのみぎです } \\
& \text { そこわい年のみぎだね } \\
& \text { そこのなまえわいすのみぎです }
\end{aligned}
$

$
\begin{aligned}
& \text { そのばしょわいすのまき } \\
& \text { そこなまえわいすのまえだよ } \\
& \text { いすのうしろです } \\
& \text { そのばしょわいすのうしろだね }
\end{aligned}
$

$
\begin{aligned}
& \text { そこわいすのひだり } \\
& \text { スドりにいキひだり } \\
& \text { いすのひだりにきました }
\end{aligned}
$

$
\begin{aligned}
& \text { そのばしょわてれびのてまえだょ } \\
& \begin{array}{l}
\text { てれびのおくです } \\
\text { てれびのおくです }
\end{array} \\
& \begin{array}{l}
\text { てひびのおくです } \\
\text { てれびるおくにいる }
\end{array}
\end{aligned}
$

## A. 2 データセット Bによる学習結果

図 A. 1 「のひだり」と学習された例

図 A. 2 「いすのうしろ」と学習された例


# 第二言語としての日本語学習者が産出する文法的誤りに対する生成文法理論からのアプローチ : 生成誤り分析

山田敏幸
${ }^{1}$ 群馬大学共同教育学部英語教育講座
t-yamada@gunma-u. ac. jp

## 概要

本研究は, 第二言語としての日本語学習者に焦点を当て，学習者が産出する文法的誤りに対して生成文法理論からアプローチ寸る, 生成誤り分析の効果検証を行なう。これまで生成誤り分析は第一言語獲得研究, 第二言語習得研究両分野において有効であることが確かめられてきた。本研究では第二言語習得において, 新たなデータの提供及び分析を行なう.日本語学習者の文法的誤りを分析した結果, 生成誤り分析が予測するように，母語でも学習目標言語の日本語でもない, 他の言語で文法的に容認されることが分かり, 第一言語獲得者同様, 第二言語習得者も人間言語の生得的規定内で文法的誤りを犯すことが明らかになった．理論的示唆を考察する。

## 1 はじめに

人間は第一言語であれ第二言語であれ，学習過程において文法的誤りを犯す. 言語学習は通常, 正文 （当該言語で文法的に容認できる文）を入力として進むので，文法的誤りを含む非文（文法的に容認できない文）を出力することは興味深い．ただ，どのようなメカニズムで文法的誤りが生じるのか，どのように文法的誤りを分析すれば有意義な議論を展開し精緻な理論構築ができるのかなど, まだ追究すべき課題がある.

例えば，日本語を第一言語として獲得しようとする日本語览は 2～3 歳時に，（1）のような文法的に容認されない単語列を発することが報告されている [1]（*は当該データが文法的に容認されないことを示す)。

（1）*赤いのかばん（Cf. 赤いかばん）

興味深いことは, 日本語では（1）は文法的に容認さ
れないため，日本語坚が（1）をそのままの形でインプットとして受け取ることはない。それにもかかわらず，日本語览が（1）をアウトプットすることは，人間の言語獲得は生後外界から与えられる言語経験をインプットとしてそのまま記憶してアウトプットする、いわばオウム返しのような過程ではないことを意味する。

本研究は，人間は生まれつき言語的に規定されており，全ての人間言語が共通基盤を持っているとする生成文法理論に立脚し $[2,3]$, その言語生得説を,目標言語の学習過程に見られる文法的誤りを他の言語から分析するアプローチによって実証することの有効性を検証する．生得説は，言語学習者の文法的誤りが生得的に規定された範囲内で生じることを予測する。その予測どおり，第一言語獲得研究では，

(1)のようなデータを生成文法理論の枠組みから分析し，人間は理にかなった文法的誤りを犯すことが示唆されている．例えば，（2a）を日本語の文法からみると文法的に容認できないとみなされるが，

（2b）のように英語の文法からみると文法的に容認できると考察できる.

（2）a.*赤いのかばん

b. the bag that is red

つまり，（2a）のように日本語の文法では文法的に容認されない過剩生成された「の」とみなされるものを，（2b）のように英語の文法における名詞を修飾するための関係代名詞と捉えるのである。このことにより，日本語览は，日本語の言語経験を受けながら，誤って英語のような文法を試した結果，「の」 が過剩生成されたと考えられる. 子どもはどの言語が目標言語であるかは分からずに学習しているので，生得的な規定の範囲内で許されている人間言語の選択肢を（誤って）使った可能性があると分析できる
$[1,4]$.

人間の言語獲得において, インプットどおりにはアウトプットがなされないことに加え, 子どもは生後どの言語を獲得している最中にいるのかという意識もなく, 母語を獲得する.つまり, 子どもは生後,自分が獲得しようとしている目標言語において何が文法的に容認され, 何が文法的に容認されないのかを知らずに, 生後外界からの言語経験に基づいて,自分の母語に収束していくことになる. この現象について, 生成文法理論では, 生得的な言語知識として普遍文法を仮定し, 原理と媒介変数による普遍文法へのアプローチを試みている $[3,5]$. すなわち，人間は生まれ落ちれば，原理を獲得する必要はなく，言語獲得は生後外界からの言語経験によって媒介変数（例えば，日本語のように音形を伴わない空主語を許すかどうか) を自分の言語に設定していく作業ということになる. 人間の言語獲得において驚くべき点は, 人間は生得的に, どの個別言語でも獲得できる能力をもって生まれる. 生成文法理論ではこの生得性に対する理論を普遍文法と呼び，それに対して原理と媒介変数によるアプローチを採用している。普遍文法への原理と媒介変数にアプローチ（以下、 $P \& P$ と呼ぶ）によると, 人間は言語獲得について生得的に規定されており, 言語獲得時に犯す誤りも生得的に規定されている.つまり（2）のように，一見すると誤りでも世界の言語のどれかと照らし合わせれば理にかなった, 文法的に容認されるものであることを予測する. 本紙では, この視点による誤り分析を「生成誤り分析」と呼ぶことにする。

## 2 先行研究

ある言語学習者の文法的誤りを当該学習者の母語や学習目標言語ではない他言語からアプローチする,生成誤り分析はこれまで, 第 1 節の（2）のように，第一言語獲得研究で主に採用されてきた. しかし近年, 第二言語習得研究にもその方法は援用され, 第二言語学習者をとおした予測の検証が進んでいる.例えば，英語を外国語として学習する日本語母語話者は（3）のような文法的誤りを産出する $[6,7,8 ， 9$, $10]$.

(3) a. *What do you think did John buy?

b. *What do you think what John bought?

c. *Do you think what John bought?

(cf. What do you think John bought?) （3a）は，埋め込久節において did の過剩な倒置が起きているため非文であるが，これは P\&P の観点から, ベルファスト英語では文法的に容認されると分析できる[11]. また，（3b-c）も非文であるが，P\&P の観点から，（3b）のような wh の複写や（3c）のような wh の部分的移動はドイツ語では文法的に容認されると分析できる[12].

日本人英語学習者は (4) のような文法的誤りも犯すことが報告されている[13,14].

(4) a. *He was arrived yesterday.

(cf. He arrived yesterday.)

b. *The most memorable thing was happened yesterday.

(cf. The most memorable thing happened yesterday.)

（4a-b）は一見すると受け身文だが，当該自動詞は受動化できないため非文である。（4a-b）はともに，意図している意味は受け身ではなく, 過去の出来事である.したがって, 過剩使用されている be 動詞は, P\&P の観点から，イタリア語の完了形では have 相当ではなくbe 動詞相当を使うという事実を踏まえると文法的に容認されると分析できる[15].

さらに日本人英語学習者は (5) のような文法的誤りも示す[16].

(5) *This is a portable shrine in English, and it moves around the my town.

(cf. This is a portable shrine in English, and it moves around my town.)

（5）は定冠詞の過剩使用のため非文であるが，これは P\&P の観点から分析すると, イタリア語やギリシア語では文法的に容認される $[17,18]$.

## 3 本研究

本研究の目的は, 新たな第二言語学習者データを分析し, 生成成誤り分析のさらなる有効性を検証することである. 第 2 節でみたように, 日本人英語学習者の文法的誤りの分析を踏まえて, 本研究では第二言語としての日本語学習者に焦点を当て, 文法的誤りデータが当該学習者の母語でも, 学習目標言語の日本語でもない, 他の言語によって文法的に容認されるかどうかを分析する.

## 3.1 仮説と予測

本研究が検証する P\&P に基づく生成誤り分析は以下の仮説と予測をもつ[cf. 19].

(6) 仮説

言語学習者の文法的誤りは第一言語であれ, 第二言語であれ，生得的に規定された範囲（媒介変数）内に収まっている.

この仮説から導かれる, 第二言語としての日本語学習者の文法的誤りに対する予測は以下である.

(7) 予測

a. 当該学習者の母語で文法的に容認される.

b. 当該学習者の母語や学習目標言語の日本語ではない他言語で文法的に容認される。

（7a）は従来母語からの転移と呼ばれてきた現象であり，第二言語学習者が母語に許されている生得的な媒介変数值を採用した場合に生じる文法的誤りである。また，当該学習者が目標言語に許されている媒介変数値を採用した場合には正文となる. 本研究では（7b），つまり日本語学習者が当該学習者の母語や目標言語の日本語ではない他の言語に許されている媒介変数値を採用しているどうかに焦点を当て，文法的誤りを分析する. なお, 本研究では, 生得的

語運用上の一時的な逸脱と捉え, 言語知識の文法発達上の継続的な冕脱であるエラーとは区別する $[22$, 23] (当該誤りがミステイクとエラーのどちらであるかを厳密に峻別するのは容易ではないため，今回は本稿の射程外とする）。

## 3.2 方法

人間言語の生得的規定（媒介変数による，生得的に許されている選択肢）を踏まえて[24], 日本語学習者の文法的誤りを分析した。

## 3. 2.1 材料

材料として, 外国人学習者の誤用を集めた文献 [25]を基礎資料とした. [25]は誤用に加えて, 当該学習者の母語に関わる情報が記されているため, デー タ分析上主要な資料として使用した。

## 3. 2.2 手続き

まず，材料の資料から，P\&P の観点を踏まえて，分析するためのデータを収集した. 次に，分析対象の文法的誤りについて, 生成誤り分析の観点から,当該学習者の母語, 学習目標言語の日本語, 他の言語の文法的特徴によって分析した.

## 3.2. 3 データ分析
（6）の仮説を踏まえて，
（7）の予測どおりに日本語学習者の文法的誤りが説明できるかどうかを分析した. 具体的には，予測（7b）に焦点を当てて，当該の文法的誤りが, 当該学習者の母語や学習目標言語の日本語ではない他言語で文法的に容認されるかどうかを分析した. なお, 分析は, P\&P の観点から，人間言語の生得的規定（媒介変数）を踏まえて行なった[24].

## 3.3 結果

今回は主に，（8）のデータを得た（データは一部改変，強調は原文のまま）。

（8）a.*きのう新しいの辞書を買いました.

[25: 682]

b. きのう新しい辞書を買いました.

[25: 682]

c. *その時成田空港はあまりこんでいました.

[25: 28]

d. その時, 成田空港はあまり込んでいませんでした.

[25: 28]

（8a）は英語を母語する日本語学習者による誤用である.（8b）と比べて分かるように，「の」の過剰生成が観察される。これは当該学習者の母語である英語の関係代名詞の転移と考えられるので, 予測

（7b）ではなく予測（7a）に関わる文法的誤りであるが，第 1 節でみたように日本語を第一言語として獲得する学習者と同じ誤り（上記（1））を犯していることは興味深い.

次に，（8c）は韓国語を母語とする日本語学習者による誤用である。（8d）と比べると，直説法の否定文脈で用いるべき項目「あまり」を肯定文脈で用いていることが分かる. この文法的誤りについて,

（9）から分かるように, 当該学習者の母語である韓
国語で「あまり」に相当する「kutaci」も肯定文脈ではなく否定文脈で用いられる（データは一部改変,強調追加）.

(9) i kay=nun kutaci khu-ci

この犬=TOP それほど大きい-NMLZ anh-ta.

NEG-DECL [TOP: Topic marker; NMLZ:

Nominalization;NEG: Negation; DECL:

Declarative]

ここの犬はあまり大きくない。，

[26: 220]

韓国語の（9）は日本語の（8d）同様, 否定辞が共起している.ここで, ヨーロッパ・ポルトガル語の (10) をみてみたい（データは強調追加）。

(10) a. Este livro é do caraças.

this book is of.the.MASC.SG caraças [MASC: Masculine; SG: Singular]

'This book is awesome.'

[27: 120]

b. Este livro não vale um caraças. this book neg be.worth a.MASC.SG caraças [neg: negation; MASC: Masculine; SG: Singular]

'This book is not worth anything.'

[27: 120]

ヨーロッパ・ポルトガル語には（10）の「caraças」 が示すように，肯定文脈 (10a) でも否定文脈 (10b) でも用いることができる項目がある.すなわち, (8c) の文法的誤りは, P\&Pを踏まえた生成誤り分析からすると, 予測 (7b）どおり, 韓国語を母語とする日本語学習者が, 母語の韓国語や目標言語の日本語ではない他の言語, ここではヨーロッパ・ポルトガル語に許されている人間言語としての選択肢を誤って適用した可能性がある.

## 4 考察と今後の展望

本研究は第二言語としての日本語学習者の文法的誤りを $\mathrm{P} \& \mathrm{P}$ の観点から, 生成誤り分析によって, 当該誤りが母語でも学習目標言語でもない他の言語によって文法的に容認されるかを分析した. 結果として, 英語を母語とする日本語学習者において母語の英語では文法的に容認されるような文法的誤りが見つかり, 当該誤りは日本語を第一言語として獲得しようとする学習者にも観察されることが分かった。 また, 韓国語を母語とする日本語学習者において母語の韓国語でも目標言語の日本語でもない，ヨーロッパ・ポルトガル語では文法的に容認されるような文法的誤りが見つかった.

第二言語学習者の文法的誤りはこれまで当該学習者の母語からの転移として分析されてきた.だが，最近の研究で分かってきたように，第二言語の文法的誤りは母語からの転移というように単純に説明できるものではなく, 当該学習者の母語に関わりなく普遍的に生じる誤りもあり, その理論的な説明が課題となっている. 本研究も新たなデータを基に, 第二言語学習者の文法的誤りは, 目標言語を第一言語として獲得しようとする学習者が犯す文法的誤りと類似していること, 母語でも目標言語でもない他の言語の文法的特徴によって説明できることを示した。 これは, 人間が言語的に生得規定されており, 文法的誤りは第一言語であれ第二言語であれ, 生得的に規定された範囲内で生じることを示唆している。さらに, 本研究で示したように, もし韓国語を母語とする日本語学習者が学習過程でヨーロッパ・ポルトガル語の文法的特徴を使用していたとしたら, 母語や学習目標言語のアジア圈の言語を超えて, 無意識のうちに生得的規定の範囲内で許容されているョー ロッパ圈の言語にアクセスしている可能性を示唆しており, 言語生得性は第一言語からだけでなく, 第二言語からもアプローチできることを意味する。

今後の展望として, 生成誤り分析のさらなる効果検証を進めるためにも，質的・量的双方による研究が必要である. 具体的には, より多言語の母語話者を対象に, ある特定の目標言語での文法的誤りを複言語的に分析することによって, 豊かな質的研究が可能になる. また, ある特定の母語をもつ話者に限定し, ある特定の目標言語や多種類の目標言語からの文法的誤りを収集し分析することで，量的データを得ることが可能になる. このようにして，母語,目標言語, 他言語として設定する言語の種類をより幅広くしたり，また第一言語獲得と第二言語習得の学習者データを比較したり, さらに産出データだけでなく理解データ（文法性判断など）によって検証したりして，文法的誤りをより多角的・多面的に分析することで，人間言語の生得的規定，特に媒介変数が規定する可能な言語の範囲を浮き彫りにすることができる. その点においても, 生成誤り分析のさらなる効果検証は, 人間言語に対するより深い理解に重要であるだけでなく, その理解は自然言語処理研究の発展に寄与することが期待される.

## 謝辞

本研究は JSPS 科研費 JP19K13288 の助成を受けたものです.

## 参考文献

1. Murasugi, K. (1991). Noun phrases in Japanese and English: A study in syntax, learnability and acquisition [Unpublished doctoral dissertation]. University of Connecticut.

2. Chomsky, N. (1965). Aspects of the theory of syntax. MIT Press.

3. Chomsky, N. (1981). Lectures on government and binding: The Pisa lectures. Foris Publication.

4. Sugusaki, K. (2003). Innate constraints on language variation: Evidence from child language [Unpublished doctoral dissertation]. University of Connecticut.

5. Chomsky, N. (1995). The minimalist program. MIT Press.

6. Wakabayashi, S., \& Okawa, I. (2003). Japanese learners' errors on long distance wh-questions. In $\mathrm{S}$. Wakabayashi (Ed.), Generative approaches to the acquisition of English by native speakers of Japanese (pp. 215-245). Mouton de Gruyter.

7. Radford, A., \& Yokota, H. (2006). UG-constrained wh-movement in Japanese learners' English questions. Second Language, 5, 61-94.

8. Schultz, B. (2011). Syntactic creativity in second language English: wh-scope marking in Japanese-English interlanguage. Second Language Research, 27(3), 313-341.

9. Yokota, H., \& Radford, A. (2012). Acquisition of goals for wh-movement by Japanese L2 learners of English. Second Language, 11, 59-94.

10. 野地美幸. (2019).「日本人学習者による英語の長距離 wh 移動の習得 : 部分的 wh 移動と wh 複写に焦点を当てて」。『上越教育大学研究紀要』，第 39 巻第 1 号, 155-163.

11. Henry, A. (1995). Belfast English and standard English: Dialect variation and parameter setting. Oxford University Press.

12. McDaniel, D. (1989). Partial and multiple wh-movement. Natural Language \& Linguistic Theory, 7(4), 565-604.
13. Hirakawa, M. (2003). Unaccusativity in second language Japanese and English. ひつじ書房.

14. 遊佐典昭. (2005). 「普遍文法に基づく SLA 研究」. JACET SLA 研究会, (編).『文献から見る第二言語習得研究』（pp. 37-46）. 開拓社. 15. 遊佐典昭. (2004).「第二言語獲得における刺激貧困の問題」. 佐藤滋 - 堀江薫 - 中村渉, （編）.『対照言語学の新展開』（pp. 209-228）。ひつじ書房.

16. Yamada, T. (2022, October 22-23). What grammatical errors of second language learners tell us about the innateness of human langugae [Paper presentation]. The 22nd International Conference on the Japanese Second Language Association (J-SLA 2022), Tokyo, Japan.

17. Burzio, L. (1986). Italian syntax: A government-binding approach. Springer.

18. Alexiadou, A. (2014). Double determiners and the structure of DPs. John Benjamins Publishing Company.

19. White, L. (2003). Second language acquisition and universal grammar. Cambridge University Press.

20. Thomas, M. (1991). Do second language learners have "rogue" grammars of anaphora. In L. Eubank (Ed.), Point counterpoint: Universal grammar in the second language (pp. 375-388). John Benjamins Publishing Company.

21. Klein, E. (1995). Evidence for a 'wild' L2 grammar: When PPs rear their empty heads. Applied Linguistics, $16,87-117$.

22. Corder, S. P. (1967). The significance of learners' errors. International Review of Applied Linguistics in Language Teaching, 5, 161-170.

23. Corder, S. P. (1982). Error analysis and interlanguage. Oxford University Press.

24. Roberts, I. (2019). Parameter hierarchies and universal grammar. Oxford University Press.

25. 市川保子.（編）. (2010). 『日本語誤用辞典：外国語学習者の誤用から学ぶ日本語の意味用法と指導のポイント』．スリーエーネットワーク．

26. 黒島規史. (2018).「朝鮮語の否定、形容詞と連体修飾複文」.『語学研究所論集』, 第 23 号, 219-227.

27. Pinto, C. (2020). Polarity, expression of degree and negation: The vernacular form caraças. Estudos de Lingüística Galega, 12, 115-139.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 人間の多次元的な心的表象に基づく 幼児語彙獲得モデルの構築

藤田守太 ${ }^{1}$ 南泰浩 1
1 電気通信大学情報理工学研究科
f2131139@edu.cc.uec.ac.jp minami.yasuhiro@is.uec.ac.jp

## 概要

人間がどのように語彙を獲得しているのかという課題に対して深層強化学習を用いて幼児の語彙獲得機構をモデル化する研究分野がある.これらの研究で扱われる物体の特徵量は画像データから恣意的に決められた次元数が多く種類の少ない特徴量である.しかし, 人間の心的表象に関する研究では人間が多くの特徴量を組み合わせて物体を認識していることがわかっている. 本研究では人間の心的表象に注目し, 49 個の特徴量から語彙獲得を行う機構を構築し, 実験により,その選択傾向から幼児が自律的に特徵量の選択に制約を課す機構を獲得することを確認した.

## 1 はじめに

幼児の語彙獲得では, 親が幼児に向けて対象の物体または行動（これを以降, 実態と呼ぶ）を示し, 実態に対する語を示すことで語彙獲得が進むと考えられる.しかし，幼児から見ると親が指し示している実態は多数存在し, 具体的に対象が何を示すのか判定することは難しい. また, 同じ名称を持つ物体は複数存在し, 似ているものでも違う名称を持つ物体がある. それらの物体の境界線を決めることは難しい. このため, 幼児の語彙獲得は非常に困難な課題である [1].

この困難な課題に対して幼児が語彙を獲得する際に, 幼児が語の実態の可能性に制限を課す機構の存在を仮定する仮説がある。その中でも主要な理論として Markman らによる制約アプローチ [2] と Tomasello らによる社会-語用論理論 [3] がある. Markman らによる制約アプローチは, 幼児には生得的に制約を行う機構が備わっているため, 語彙獲得をスムーズに行えるというものである。一方， Tomasello らによる社会-語用論理論は, 幼児が持つ認知的スキルである「共同注視」，「意図の理解」などの母子間の相互行為によって語の実態の可能性に制限を与える. 制約アプローチでは，「相互排他性制約」と「事物全体制約」の 2 つの制約が主張されている. しかし, 相互排他性については, 語彙獲得の早い段階で，一つの実態に対して 2 つ以上の語が対応することを幼児が受け入れることが確認されている $[4,5,6]$. また, 事物全体制約についても, 親の意図を理解している幼児が未知の実態に対して,物体ではなく行為として認識する例が報告されている [7]. このことから,必ずしも, 事物全体制約が生得的に存在していない可能性も示唆されている.このように生得的に制約を獲得しているという制約アプローチでは数々の事象を説明できない。一方, 語彙獲得を通して制約を獲得するという Tomasello らの社会-語用論理論 [3] では, 以上の事象について説明可能であり,幼览の語彙獲得機構のモデル化に適している。

現在, 語彙獲得のモデル化に関する先行研究として語彙獲得機構を機械学習を用いてモデル化する研究がある $[8,9]$. これらの研究では語彙獲得機構のモデル化を通して, その解明に寄与している.しかし， これらの研究では母子間の相互行為や心理学的要因について生得的な機能として捉えている。一方で母子間の相互行為や心理学的要因について Tomasello の「幼児が持つ認知的スキルである『共同注視』，『意図の理解』などの母子間の相互行為によって語彙獲得における語の意味の可能性に制限が与えられる」という主張に従い, 深層強化学習を用いた幼児語彙獲得機構のモデル化を行い, 事前知識のない状態から語彙を獲得するモデルを構築する研究がある $[10,11,12]$. これらの研究では, 母子間の相互行為を用いることで事前知識のない状態から意図の理解を通して語彙を獲得するとともに, 語の意味の可能性に制限をかける機構を獲得することに成功している.しかし, 幼児が取得する物体の特徴量に関して
「色」「味」「形」という 3 つの特徴量を恣意的に決定していること, 特徵量の情報量が膨大な代わりにその種類が少ないため, 幼児語彙獲得モデルの特徵量選択の傾向が不明瞭であることが挙げられる. 実際に Martin らによる研究 $[13,14]$ では人間は物体を 49 個の次元で捉えており, それらの特徴量を組み合わせることで物体を判別していることが確認されている. また, 従来手法 $[10,11,12]$ では母子間の相互作用による語彙獲得を考量している反面, 幼児自身が持つ好奇心による語彙獲得への影響も考慮していない. そこで本研究では従来の恣意的な特徵量ではなく, Martin らの研究から判明した 49 次元の特徴量を用いて, 幼児の持つ好奇心と母子の相互作用を組み合わせた語彙獲得モデルを構築する。

## 2 考慮する心理学的要因

## 2.1 母子間の相互行為

共同注視共同注視とは, 非言語的コミュニケーションの一つであり, 親, あるいは, 幼児が何かに注目しているときにもう一方も同じ対象に注目する行動である. 語彙獲得を行うには, 親と幼児が共通の対象を注視することが必要条件であると言われている [15]. また, Tomasello は 6 組の母子に共同注視の時間と語彙数について実験を行い，母子間で共同注視を確立し, 維持することが言語発達と高い相関を示すことを確認した [16]. このことから, 幼児の語彙獲得において親と幼児が相互に同じ対象に注視しようとする性質は語彙獲得において重要な働きをしていると言える.この性質は語彙獲得の初期段階の幼坚においても同様に見られる [17].

意図の理解母親が幼児の注意を追うことと語彙数の間には強い相関があることが分かっている $[18,19,20]$ が, 幼児は語彙獲得において受動的な存在であるわけではない. Baldwin の実験 [21] では幼児は親の意図について積極的に理解しようと試みており, 親と幼児による相互行為によって語彙獲得は進められていることが示された. また, Tomasello が行った 3 つの実験では「親の表情から正解の物体を選択できること」[22, 23], 「単純な親の表情で判断するのではなく, その背景にある意図を理解していること」[24],「親が注視している最中でなくても推論から意図を理解することができる」[25] といったことが確認された. これらのことから幼児は複雑な状況下においても自ら親から意図を汲み取ろうと
し, 適切な語彙獲得を行うことができることが分かる.このように語彙獲得は母子間での共同注視だけでなく, 親の意図の理解によって進められている.

制約の獲得幼児の語彙獲得において注目する実態について無限の選択肢から選択することは不可能である.そのため,これまでは生得的な制約を考えてきた [2]. しかし, 実際には生得的な制約で説明できない事象も存在する $[4,5,6,7]$. そこで本研究では, このような制約が母子の相互行為によって後天的に獲得されることを示す。

## 2.2 人間の心的表象

人間がどのように物体を捉えているかは幼児の語彙獲得において重要な課題の一つである. 特に物体をどう心的表象として保持しているかは語彙獲得における物体の特徴量設計に必要な指標である.この人間の心的表象に関する研究として Martin の研究では幼坚の言語獲得のモデル化をおこない, 物体間の潜在的な類似性構造に注目し，ペア選択タスクを通して, 説明可能な 49 次元の心的表象を提言している [13,14]. これらの心的表象は再現性が高く,カテゴリ分類, 典型性判断, 特徴量評価など, 特定のタスクだけでなく普遍的な心的表現であることも確認されている.

本研究ではこの心的表象に注目し, Martin の心的表象に基づいて人手で評価した特徴量を幼坚の物体に対する特徵量として用いる。

## 2.3 幼児の内発的な動機付け

多くの生物が報酬がない場合であっても, 探索的,遊び的, 好奇心主導での行動を取ることが発見されている [27]. それは人間であっても例外ではなく,好奇心による行動を行うことが認知的な発達において重要な要素であり, 人間が本来持っている興味に基づいて行動することは知能を成長させることに繋がります [28]. これは幼児の語彙獲得においても確認されており, 幼児の語彙獲得は対象となる語を一律に獲得するのではなく, 時期により集中的に獲得されている [29]. これは外発的な動機付けでは, 説明できない現象であり, 幼览自身が内発的な動機付けにより, 語彙獲得を行なっていると言える.

本研究では従来手法が外発的動機付けに基づく語彙獲得がなされていたのに対して,このような幼児の内発的動機付けも考慮した語彙獲得モデルを構築する。

## 3 幼児語彙獲得モデル

## 3.1 モデルの概要

モデルの構造幼児語彙獲得機構モデルに深層強化学習を用いる. その理由として, 強化学習とは環境の中で試行錯誤を繰り返しながら報酬を最大化して学習する手法であり, 幼児の語彙獲得のプロセスと酷似していることが挙げられる. また, 語彙獲得における状態数は無限に近いため, 深層学習を用いる必要があることも挙げられる. モデルはLSTM（緑）と二つの DQN（青）からなる. LSTM は幼児の心的状態を表し, 二つの DQN はその心的状態に基づき, 幼児の行動を出力する. DQN1 は物体の特徴量を選択する行動を出力し. DQN2 は幼児が思い描く物体の名前を答える行動を出力する.

図 $1:$ 幼児語彙獲得モデルの構造

報酬従来の幼児語彙獲得モデルでは母子間の相互作用の中で正解か不正解かのみを報酬とする DRQN[30] を用いていた.

$
r_{t}^{e}= \begin{cases}1 & \text { 正解のとき } \\ -1 & \text { 不正解のとき }\end{cases}
$

しかし, 本研究では物体の特徴量の種類が従来研究の 4 個から 49 個と増えており, 学習の初期段階で物体の名称を正解するのに必要な特徴量を選択することが難しく,学習初期の段階では物体の名称を正しく答えられないため, DRQN モデルでは正の報酬を与えることが困難であった. また, 実際の幼児の語彙獲得は母子間の相互作用のみではなく, 幼児自身が未知のものに対して関心を持つことで進む.

そこで本研究では新たな特徴量を探索した際に報酬を与えるという内部報酬を導入した NGU[31]を基にしたモデルを構築する. 具体的には従来の報酬 $r_{t}^{e}$ に加えて内部報酬 $r_{t}^{i}$ を考慮した以下の報酬 $r_{t}$ を従来の報酬の代わりとする. ただし, 本実験では同エピソード内で状態の遷移が不可逆に進むため, 同エピソードで同じ特徴量の選択状態になる可能性は前ステップの状態と同一な時のみである. そこで現在の状態が前ステップと同一かを判定し, その状態を訪れた回数 $n$ の逆数をエピソード報酬とする. また， L は任意の定数, $\alpha_{t}$ は RND[32] で提案されている值を用いる。

$
\begin{aligned}
r_{t}^{i} & =\frac{1}{n} \times \min \left(\max \left(\alpha_{t}, 1\right), L\right) \\
r_{t} & =r_{t}^{e}+r_{t}^{i}
\end{aligned}
$

## 3.2 学習の流れ

語彙獲得は母子間の意図の理解を介して行われる. 図 2 は幼児語彙獲得モデルの一連の語彙獲得の流れであり，語彙獲得のアルゴリズムを以下に示す. まず, 共同注視と意図の理解により母子間で共通の物体に対する注視が起こり, 語彙獲得が始まる. 次に,物体の特徵量と幼児の行動を持った初期状態 s0 を心的状態を表す LSTM に入力する. その出力結果 （心的状態）をDQN1 に入力として与える.これにより, DQN1 はどの特徵を選択するかを出力した後, 選択した行動の種類とその選択に対応する特徴量を s1 に追加する.この $\mathrm{s} 1$ を次の LSTM に入力し, その出力結果（心的状態）を DQN2 の入力として与えることで, DQN2 は語の選択を行い, 親へと伝える. 選択された語が親の意図した物体と一致していれば正の報酬を, 不正解ならば負の報酬を与える.この処理を語が一致するか定められた回数まで繰り返す。

本研究で構築する幼児語彙獲得モデルは初期状態では事前知識を持たず, 特徴の選択をランダムに行うが, 語彙獲得が進むにつれて, 語彙を決定するのに適した特徴の選択すなわち制約を獲得する.

図 2: 語彙獲得の一連の流れ

## 4 実験

## 4.1 実験設定

データセットデータセットには「apple, orange, ball, book, dog, cat, horse」の7つの語について Martin の研究で $[13,14]$ で言われている 49 次元について人手でのラベルの付与を行い, ランダムなノイズを加え, 各語あたり 100 物体を作成, $80 \%$ 学習用, $20 \%$ 検証用に分割して実験のシミュレーションを行なった。
実験の流れ「幼坚モデルが物体に対して事前に与えられた語候補の内のいずれかを答える」を1ステップ，「モデルが正解の語を答えるか, ステップ数が打ち切り回数を超える」を 1 エピソードとした. 本実験ではエピソード数を 100000 回, 打ち切り回数を 10 回とした. また, 1000 エピソード学習する毎にテスト用のデータセットで正答率を測定した.

比較モデルベースラインは田口らによる DRQN モデル [11] と学習を行わないランダムモデルをベースラインとして用いた。

## 4.2 実験結果

語彙獲得ベースラインとの比較結果を図 3 に示す.本研究では, 従来研究とは異なり一つの特徵量が持つ情報量が極めて少ない情報量空間で特徴をいかに組み合わせるかが重要であったが, ベースラインとの比較から, 提案手法が顕著に語彙獲得に成功していることがわかる.

特に, DRQN モデルとの差から従来の研究と異なり, 幼児語彙獲得モデルが報酬を得られるまでに時間がかかる状況の中でも幼児の内発的な動機付けである好奇心を表す内部報酬を用いることで適切な探索を行えており, 学習に成功していることがわかる. これらから幼児の持つ好奇心が語彙獲得に有効に働くことがわかる.

図 3: 語彙獲得の結果

特徵量の選択回数幼坚語彙獲得モデルが正解するまでに必要な特徴選択回数を表 1 に示す. まず, 特徴選択回数についてだが, 学習の初期段階では平均回数が 6.15 回と多く,多くの特徵量を取得する必要がある.しかし, 学習終盤では, 2.35 回と少ない回数で理想値である 1.94 回に近い回数で答えることが可能となっており,物体を識別するのに必要な特徴量を適切に選択できていることがわかる。表 1: 特徵量の選択回数

特徴量の木構造化選ばれている特徴量について, 10000 回あたりの学習の中で選択回数が 10 回以下, あるいは, 親ノードの $1 / 10$ 以下の選択回数である特徵量を枝切りし, 木構造化したものを図 4 に示す. 学習途中での特徴量選択が複雑な形であるのに対して, 学習後の特徴量選択はシンプルな形になっていること,木構造の葉の数と物体の数が一致していることから最適化されていることがわかる.これらのことから幼児語彙獲得モデルは母子間の相互行為を通した語彙獲得によって自律的に特徴量に優先度を付け, 語彙獲得を行う機構を獲得したことがわかる.

これは幼児が名詞を提示し続けることで世の中には名詞が多いことを認識し, 名詞を判別するための制約, 例えば, 形状を最初に注目することと等しい. すなわち, 形状バイアスのような制約を獲得したと考えられる [33].

(a) 20000 回時点

(b) 100000 回時点図 4: 選択された特徴量の木構造化

## 5 おわりに

本研究では人間が物体を認識する際に用いられる心的表象に注目すると共に幼児の内発的な動機付けである好奇心を導入することで幼坚の語彙獲得機構のモデル化を行った. 実験結果により, 提案手法が 49 個の特徴量の組み合わせで語彙獲得を行えることが確認された。

また, 特徴量の選択規則を扱う物体の数に最適な木構造化することから生得的とされていた制約も，語彙獲得の過程で, 幼児語彙獲得モデルが自律的に獲得できる可能性を示すことが出来た.

## 参考文献

[1] W.V.O.Quine. Word and Object. MIT Press, 1960

[2] E.M.Markman. Constraints on word learning: Speculations about their nature, origins, and domain specificity. In M.R.Gunnar \& M.Maratsos (Eds.), The Minnesota symposia on child psychology, Vol.25.Modularity and constraints in language and cognition pp.59-101, 1992.

[3] M.Tomasello, A.C.Kruger and H.H.Ratner. Cultural learning. BEHAVIORAL AND BRAIN SCIENCES vol.16, pp. 495552, 1993.

[4] C.B.Mervis, R.M.Golinkoff and J.Bertrand. Two-Year-Olds Readily Learn Multiple Labels for the Same Basic-Level Category. CHILD DEVELOPMENT, vol.65, Issue4, pp. 11631177, 1994.

[5] G.O.Deak, and M.Maratsos. On having complex representations of things: Preschoolers use multiple words for objects and people. Developmental Psychology, vol. 34 no.2, pp. 224240, 1998.

[6] E.V.Clark and T.A.Svaib. Speaker perspective and reference in young children. First Language, Vol 17, Issue 49, 1997.

[7] M.Tomasello and N.Akhtar. Two-Year-Olds Use Pragmatic Cues to Differentiate Reference to Objects and Actions. Cognitive Development, vo. 10, pp. 201-224, 1995.

[8] Joe Nishihara, Tomoaki Nakamura. Online Algorithm for Robots to Learn Object Concepts and Language.IEEE Transactions on Cognitive and Developmental Systems vol. 9, Issue: 3, September 2017.

[9] O.Rasanen and K Khorrami. A computational model of early language acquisition from audiovisual experiences of young infants. In Proceedings of Interspeech, vol. 2019-September, Interspeech-Annual Conference of the International Speech Communication Association, International Speech Communication Association, pp. 3594-3598, Interspeech, Graz, Austria, 2019 .

[10]野口輝, 南泰浩. DRQN による幼児の語彙獲得のモデル化. 言語処理学会第 24 回年次大会発表論文集 pp. 1260-1263, 2017.

[11] 田口真輝, 南泰浩. ニューラルネットワーク強化学習を用いた幼児語彙獲得のモデル化. 電子情報通信学会. HCS2019-73, 2020.

[12] 藤田守太, 南泰浩. 母子間の相互行為に注目した幼児語彙獲得機構のモデル化. 電子情報通信学会信学技報, vol. 122, no. 103, TL2022-7, pp.36-40, 2022.

[13] Martin N. Hebart, Charles Y. Zheng, Francisco Pereira, Chris I. Baker. Revealing the multidimensional mental representations of natural objects underlying human similarity judgments. Nature Human Behaviour. 4, pp. 1173-1185, 2020.

[14] Charles Y. Zheng, Francisco Pereira, Chris I. Baker, Martin $\mathrm{N}$. Hebart. Revealing interpretable object representations from human behavior. ICLR 2019

[15] J.Bruner. Child's Talk: Learning to Use Language. Oxford University Press, vol. 1, Issue. 1, 1985

[16] M.Tomasello and J.Todd. Joint attention and lexical acquisition style. First Language, vol 4, Issue 12, 1983.

[17] M.Carpenter, K.Nagell, M.Tomasello, G.Butterworth and C.Moore. Social Cognition. Joint Attention, and Communicative Competence from 9 to 15 Months of Age. Monographs of the Society for Research in Child Development, Vol.63, No.4, Social Cognition, Joint Attention, and Communicative Competence from 9 to 15 Months of Age, pp.1-174, 1998.

[18] M.Tomasello and M.J.Farrar. Joint Attention and Early Language. Child Development, vol. 57, no. 6 December, pp.14541463, 1986.
[19] P.J.Dunham, F.Dunham, A.Curwin. Joint-attentional states and lexical acquisition at 18 months. Developmental Psychology, vol. 29 no.5, pp.827-831, 1993.

[20] N.Akhtar, F.Dunham and P.Dunham. Directive interactions and early vocabulary development: The role of joint attentional focus. Journal of Child Language, vol. 18 no. 1, pp. 41-49, 1991.

[21] D.A.Baldwin. Infants' contribution to the achievement of joint reference. Child Development, vol.62, no.5, pp.875-890, 1991.

[22] M.Tomasello, R.Strosberg, and N.Akhtar. Eighteen-month-old children learn words in non-ostensive contexts. Journal of Child Language, vol. 23, no.1, pp.157-176, 1996.

[23] M.Tomasello, and M.E.Barton. Learning words in nonostensive contexts.Developmental Psychology, vol. 30, no.5, pp.639-650, 1994

[24] N.Akhtar and M.Tomasello. Two-year-olds learn words for absent objects and actions. Developmental Psychology, vol.14, Issue.1, pp.79-93, 1996.

[25] N.Akhtar, M.Carpenter and M.Tomasello. The Role of Discourse Novelty in Early Word Learning. CHILD DEVELOPMENT, vol.67, Issue.2, pp.635-645, 1996.

[26] White, R. W. Motivation reconsidered. Psychological Review, 66, pp.297-333, 1959.

[27] Sandra O Mollenauer. Shifts in deprivation level: Different effects depending on amount of preshift training. Learning and Motivation, Volume 2, Issue 1, pp.58-66, 1971.

[28] Richard M. Ryan, Edward L. Deci. Intrinsic and Extrinsic Motivations: Classic Definitions and New Directions. Contemporary Educational Psychology, Volume 25, Issue 1, pp.54-67, 2000.

[29] 小林哲生, 南泰浩. 日本語習得児における語彙カテゴリ構成の発達的変遷. 電子情報通信学会技術研究報告信学技報 vol. 114 no. 68 , pp.67-72, 2014.

[30] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., and Hassabis, D. Human-level control through deep reinforcement learning. Nature, vol. 518, no.7540, pp.529-533, 2015.

[31] Adrià Puigdomènech Badia, Pablo Sprechmann, Alex Vitvitskyi, Daniel Guo, Bilal Piot, Steven Kapturowski, Olivier Tieleman, Martín Arjovsky, Alexander Pritzel, Andew Bolt, Charles Blundell. Never Give Up: Learning Directed Exploration Strategies. Published as a conference paper at ICLR 2020.

[32] Yuri Burda, Harrison Edwards, Amos Storkey, Oleg Klimov. Exploration by random network distillation. ICLR 2019.

[33] Susan S. Jones, Linda B. Smith. How children know the relevant properties for generalizing object names. Developmental Science, vol.5, no.2, pp.219-232, 2002


# 並列構造を含む日本語文の構文解析と単文分解

北川創一 ${ }^{1}$ 池本 浩次 ${ }^{1}$ 田辺 利文 ${ }^{2}$ 吉村 賢治 ${ }^{2}$
1 福岡大学大学院 工学研究科2福岡大学 工学部
$\{$ td212004, td212001\}@cis. fukuoka-u. ac. jp
\{tanabe, yoshimura\}@fukuoka-u. ac.jp

## 概要

本研究では, 並列構造を含む日本語文の構文解析における並列構造の推定と単文分解の手法を提案する. 構文解析は, 日本語句構造文法(JPSG)に基づく単一化文法を用いてチャート法で行う．並列構造のうち名詞並列と述語並列については CFG の枠組みで処理し, CFG の枠組みで記述できない部分並列に対して特別な処理を行う. 従来の手法[1]では入力文が並列構造を含む場合，単文に分解して構文解析を行っていたが, 本稿では単文に分解せずに並列構造の情報を保持したまま解析し，解析結果から単文に分解する手法について提案する.

## 1 はじめに

並列構造は、二つの文を共通部分でまとめて一つの文にしたときに生じる同等の機能を持つ単語列の対である. 並列構造を用いることで，複数の文を一つの文として表現し, 文の冗長性を無くした簡潔な記述を可能としている.

日本語の構文解析において, 並列構造の処理に関する先行研究の手法[2][3]では, 文節間の類似度を求め, 最も類似した二つの文節を並列構造として推定する.この手法は, 様々な並列構造を含む文に対して高い精度が得られているが，「太郎がタンクに水、 フィルタに豆を入れる」のように並列構造が不完全な文節を含む場合に対して誤った推定をしてしまう。本稿では文節ではなく非終端記号列の比較をすることで並列構造を推定する手法を提案する。

2 章で述べるように基本的な並列構造は, 名詞並列, 述語並列と部分並列に分類される. このうち名詞並列と述語並列については JPSG の枠組みで記述可能であるため, 本研究では部分並列に対してのみ特別な並列構造処理を行う. 従来の手法[1]では入力文が述語並列や部分並列を含む場合には構文解析が失敗した後で並列構造の推定を行い, 入力文を単文に分解してから構文解析をやり直していたため一度作成した構文情報が無駄になっていたが，本稿では単文に分解せずに並列構造の情報を保持したまま解析を継続し, 解析結果を単文に分解する手法について提案する。

## 2 並列構造

並列構造は，次のような三つの特性を持つ.
- 並列構造は同じ形式の部分木の列である並列要素で構成される。

・ 並列要素を接続する働きを持つ文字列である並列キーが存在する。
- 文から並列キーと片方の並列要素を取り除いても意味が通る。

また，並列構造には，次のような種類がある。

例文では\{と\}で囲まれた文字列が並列要素である.

a) 名詞並列：並列要素が名詞句であるもの ex.『太郎が紅茶に $\{$ 砂糖 $\}$ と \{ミルク\} を入 re ru』

b）述語並列：並列要素が動詞句であるもの ex. 『太郎が $\{お$ 菓子を食 be $\}$ 、\{コーヒーを飲 $\mathrm{m}\} \mathrm{ru} 』$

ex. 『\{太郎がお菓子を食 be $\}$ 、\{次郎がコーヒ一を飲 $\mathrm{m}\} \mathrm{ru}$ 』

c) 部分並列 : 並列要素が部分木の列であるもの

を入 re ru』

さらに，上記の並列を組み合わせた並列構造とし

て，次のような種類がある。

d) 入れ子並列 :

並列要素の中に並列構造を含むもの

ex.『太郎が\{ (コーヒーに砂糖)，(紅茶にミル

ク)を入 re\}，\{お菓子を食 be \} ru』

e) 多重並列: 三つ以上の並列要素を含むもの ex.『太郎が $\{$ コーヒーに砂糖 $\}$ ，\{紅茶にミルク\}, \{水に氷 $\}$ を入 re ru』
本稿ではa) c)を対象とし, 特別な並列構造処理を行うのはc)のみである.

## 3 単一化文法

単一化文法は, CFG の非終端記号を素性構造で表現し, 素性構造間の単一化によって言語の文法的制約を表す文法である. 代表的な日本語の単一化文法である日本語句構造文法(Japanese Phrase Structure Grammar, JPSG)[4][6][6]に基づいて, その原理と素性構造を拡張する. JPSG に示す一つの書き換え規則と素性構造の単一化に関する原理で構成する。

$
\mathrm{M} \rightarrow \mathrm{CH}
$

ここで，M,C,H はそれぞれ素性構造で $\mathrm{M}$ を親, $\mathrm{C}$ ，

$\mathrm{H}$ を子と呼ぶ. 特に, $\mathrm{H}$ は日本語における右側主要部の規則から主辞(head)と呼び，左側の子 C と区別する. C と H は, 補語構造, 付加構造, 等位構造 ${ }^{1}$ の関係にあるときに結合し, 原理に従ってそれぞれの素性構造から M の素性構造が計算される.

## 3.1 素性

素性には, 表 1 に示すものがある。pos や pform, gr は複数個の中の一つを値とする多値素性であり， また, 三つ共に主辞素性である為, head 素性の値である素性構造を構成する要素となる.

## 表 1 素性名と値

JPSG の代表的な原理に主辞素性の原理(head 素性)と下位範疇化素性の原理(subcat 素性, adjacent 素性)があり, 基本的な日本語文の記述に必要な原理として, 意味素性の原理(sem 素性), 付加素性の原理 (adjunct 素性)がある。

## 4 構文解析

## 4. 1 チャート法

チャート法は, 文脈自由文法による構文解析手法の一つである。チャートは, 項(term)と呼ばれるデー 夕構造 $\langle\mathrm{i}, \mathrm{j}, \mathrm{C} \rightarrow \alpha \cdot \beta\rangle$ の集合である.この手法による構文解析は，二つの項を結合し，その二つの項よりも長い単語列が導出可能であること意味する項を新たにチャートに追加して, 最終的に単語列全体が導出可能であることを意味する項がチャート内にできれば，構文解析が成功したと判断する。

本研究では, ボトムアップで幅優先に木を成長させるアルゴリズムを利用し, 完全な部分解析木に対応する項を表す弧(不活性弧)のみを用いてチャートを作成し解析を行う.(図 1)

$\mathrm{S} \rightarrow \mathrm{PP} \mathrm{VP}$.

## 図 1 チャートのグラフ表現（一部）

本研究における先行研究[7]では, 構文解析で CYK アルゴリズムを用いて行っていたが，チャート法に比べて, 拡張性に乏しい. 空所(gap)に対する特別な語彙項目 $\varepsilon$ の仮定を行う必要があった場合, CYKアルゴリズムで生成された表を再生成しなければならない。しかし，チャート法は，項を用いることで操作寸る為，特別な処理に対して容易に拡張できる.

本研究では, この項の基本的なデータ構造を(2),特別な並列構造処理を行う為の項を(3)とした.

$
\langle\mathrm{i}, \mathrm{j}, \mathrm{fs}, \text { pos, [subcat, adjacent], [adjunct] }\rangle
$

$\langle\mathrm{i}, \mathrm{k}, \mathrm{fs}$, [subcat, adjacent], [adunct],

$
\text { l, j, [rcsi, rcsj], [lcsi, lcsj] }\rangle
$

ここで, i, j, k, l は単語の境界位置の番号であり, i は始点, j は終点, fs は素性構造, pos は品詞である. [subcat, adjacent]はその項が要求する品詞のリスト, [adjunct]はその項が修飾する品詞のリストである.末尾の要素 [rcsi, rcsj], [lcsi, lcsj]は, それぞれ後方と前方の並列要素の始点と終点の対である.

## 4. 2 構文解析の流れ

本稿で述べるシステムでは形態素に分割された入力文に対し構文解析を行う．ただし形態素は学校文法ではなく音韻論的文法に基づいたものである [6]. 4.1 のアルゴリズムは並列構造を含まない単文の構文解析を行うアルゴリズムである.このアルゴリズムで解析に失敗した場合，文中に並列構造があるものとみなして並列構造の解析を行う. 構文解析の流れは以下のようになる。

1. 入力文をチャート法で解析する

2. 成功すれば解析終了

3. 解析に失敗した場合， $\varepsilon$ が挿入されていなければ $\varepsilon$ を挿入して 1 へ $\varepsilon$ が挿入済みである場合は 4 へ

4. 既に並列構造の処理を行っていれば解析失敗, そうでなければ並列構造の推定を行い 1 へ

## 4.3 並列構造の推定と解析

並列キーは「、」などの単語や記号であることが分かっており個数も限定されるため, 並列キーは網羅的に登録できる. 並列構造を構成する個々の並列要素は, 並列キーの前方と後方にそれぞれ一つずつ存在することが分かっている.

並列構造を構成する個々の並列要素は, 共に同じ構造を持つ部分木列で構成されると考えられるため,並列キーを中心とした前後の任意の範囲で，部分木列を調べ，同じ構造を持つ部分木列の組を検出し，並列構造の候補とする. エラー! 参照元が見つかりません。の場合, 前方後方共に後置詞句, 名詞が存在し，共に同じ部分木列で構成されているため，「夕ンクに水」「フィルタに豆」の組み合わせは並列構造であると推定する。

図 2 並列構造の推定の例

先行研究[1]では, 並列構造の推定後, 単文に分解しチャートを新しく作り直すことで並列構造の構文解析を行っていた. しかし本研究では, 推定した並列構造を特別な項(並列項)で表現し, 並列構造の解析を行う前までに作成していたチャートを利用する、並列項は並列構造を構成する並列要素中の対応する部分木ごとに作成する. 図 2 の場合，「タンクに水」「フィルタに豆」が並列構造であると推定できるため並列項は, 先頭の後置詞句である「タンクに」と 「フィルタに」を結合したものと末尾の名詞である 「水」「豆」を結合した 2 個を作成し, 二つの並列要素の解析を並行して進める(図 3).

構文解析を再開し，並列項と基本の項が単一化される(図 4). 既に作成したチャートと重複した基本の項が存在するため並列項の末尾にある要素([rcsi, rcsj], [lcsi, lcsj])を用いて推定された並列構造の外側から単一化する条件が必要である.しかし，並列項同士を単一化する場合, 条件は必要ない.

図 3 並列項を作成した後の解析(一部)

図 4 並列項を作成した後の単一化(一部)

## 5 述語並列の単文分解

部分並列を含む文に対する単文分解の処理については, 図 4 の 6 で処理が完了しているため, ここでは述語並列を含む文の単文分解について述べる。

入力文が述語並列を含む場合, 単文分解はチャー ト法による構文解析が成功した後に, 出来上がったチャートにある項の情報を用いて行う．チャートは (2), (3)式のような項を要素に持つ. 述語並列を含む文における並列要素の推定及び単文分解の流れは以下のようになる(図 5).

1. チャートから, 述語並列における並列キーに該当する項を取り出す.

2. 1 の項の前後から動詞句の項を取り出す.

3. 取り出した項から, 並列要素に該当する動詞句を取り出す(図 6).

4. 入力文から取り出された並列要素と述語並列の並列キーの項を除いた共通要素の項を取り出寸.

5. 共通要素及び並列要素の項から, 単文を生成する(図 5 下).

図 5 述語並列の推定及び単文分解

図 6 並列要素となりうる動詞句の例

図 7 上のような例文の場合, 並列要素 A が「太郎がお菓子を食 be」, 並列要素 B が「コーヒーを飲 $\mathrm{m}\rfloor$ となるような二つの並列要素が推定される, 並列要素 A に主語がついている理由は，「太郎が」の部分木が並列要素 A の部分木に含まれており, 共通要素として識別されないからである。その為, 並列要素 B を構成する単文は，「誰かが」は「太郎が」を包含すると推定され、「(誰かが) コーヒーを飲 $\mathrm{mru}$ 。」 となる。

図 7 曖昧性が生じる場合の単文分解

## 6 おわりに

本稿では，並列構造を含む日本語文の構文解析における並列構造の解析と単文分解の手法を提案した.今後の課題として, 現時点ではシステムの検証に必要な語彙項目しか単語辞書に登録していないため,網羅的な解析実験を行うために単語辞書の拡充が必要である.

## 謝辞

本研究は JSPS 科研費 JP17K00116 の助成を受けたものである.

## 参考文献

1. “日本語単一化文法における並列構造の解析”.内野皓介. 田辺利文. 乙武北斗. 吉村賢治.火の国情報シンポジウム 2022. 2022.

2. “長い日本語文における並列構造の推定”. 黒橋禎夫. 長尾真. 情報処理学会論文誌. 第 33 巻. 第 8 号. 1022-1031. 1994.

3.“並列構造の検出に基づく長い日本語文の解析”. 黒橋禎夫. 長尾真. 自然言語処理. 第 1 巻. 第 1 号. 35-37, 1994.

4. 自然言語, 郡司隆男, 日本評論社, 1994.

5. “HPSG のもとづく日本語文法について一実装に向けての精緻化・拡張”. 大谷朗. 宮田高志, 松本裕治. 自然言語処理. 第 7 巻. 第 5 号. 19-49. 2000

6. “日本語単一化文法による形態素解析と構文解析の融合”. 吉村賢治. 福岡大学工学集報.

15-21. 2017.

7. “単一化文法を用いた日本語文の構文解析における並列構造の処理”. 中村健. 乙武北斗. 田辺利文. 吉村賢治. 情報処理学会第 81 回全国大会. 2019.


# 分散表現を用いたブランド名の語義曖昧性解消と 小規模学習データへの応用

尾城 奈緒子 ${ }^{1}$ 竹村 彰浩 $^{1}$ 白石 空 ${ }^{1}$
${ }^{1}$ 株式会社インテージ
\{oshiro. 44969, takemura-a, shiraishi-s\}@intage.com

## 概要

従来の語義曖昧性解消で用いられてきたデータセットは、周辺単語が豊富なため辞書などの外部知識を用いた同形異義語の語義の特定が容易であることが多い。一方で、SNS で投稿される短文では、特定のブランド名であるか、判断がつかないことがある。このようなブランド名の語義曖昧性解消において、教師あり手法を適用する際の学習データの作成にかかる人的コストは軽視できない。本項では特定ブランドの外部知識と、その分散表現によって素性を構成し、小規模学習データにおいても高い精度で語義曖昧性解消を可能にする手法を紹介する。ブランド名を含む Twitter 投稿文を取得、データセットを整備し、提案手法の有効性を検証した。

## 1 はじめに

同形異義語とは、同じ表記で異なる意味を持つ語であり、このような多義性を持つ語の語義を特定するタスクを語義曖昧性解消と呼ぶ。SNS を用いたマーケティングでは、投稿文を分析する際にブランド名をキーワードに検索するが、対象のブランド名以外の同形異義語が含まれてしまう。例文(1)、(2) はマックで検索した場合抽出できる文である。エスティーローダー社メイクアップブランド「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ を対象とした場合、(1)はコスメという語が含まれるため対象であるが、(2)はポテトという語からマクドナルドの略称と推察できるため対象外と判断できる。単純な検索では、対象外の投稿文も抽出してしまうため、語義曖昧性解消が必要となる。

(1) 対象. マックのコスメ欲しい

（2）対象外．マックのポテト食べたい

語義曖昧性解消に関する先行研究は、語義の推定に周辺単語を用いる手法 $[1,2]$ 、分散表現を用いる手法 $[2,3]$ 、知識ベースに基づく手法 $[2,4]$ が知られている。先行研究で用いられているデータセットで
の語義の特定は、辞書を確認することで人が見て明確に推定できるものが多い。一方でブランド名のように情報の改廃が頻繁に行われ、辞書への掲載が間に合わない、知識べースの更新が追いつかない場合、辞書や WordNet などの知識ベースを用いることは困難である。また、SNS 投稿で多く見られる短文では、様々な情報が省略されるため周辺単語が少なく、テキストだけでは対象のブランド名であるか判断がつかないことがある。

教師あり手法で学習したモデルが高い精度で語義曖昧性解消が可能であることは先行研究で示されているが、学習データの作成にかかる人的コストは軽視できない。そのため、なるべく小規模の学習デー タで、対象の語義を特定するのが難しいブランド名の語義曖昧性解消を行う手法が求められている。本項では、小規模学習データにおいて対象のブランド名を判別する手法を提案し、SNS 投稿文に適用した結果について述べる。

## 2 関連研究

語義曖昧性解消では、教師あり手法においてさまざまな素性が提案されている。Raganato ら(2017) は、乱立した語義曖昧性解消において、統一の評価フレームを作成し、既存の教師あり手法と知識ベー スの手法の比較実験を実施した結果、教師あり学習の中でも分散表現を用いた手法が優れていることを示した[2]。教師あり手法で、対象単語の周辺単語に加え単語の分散表現を用いて精度を上げた研究として、菅原ら(2015)の word2vec の Skip-gram モデルを用いたもの[3]、曹(2019)の BERT Multi-head attention を用いたもの[5]が挙げられる。

菅原ら(2015)では、一般的に教師あり手法を用いた語義曖昧性解消では、モデルにサポートベクトルマシン $(\mathrm{SVM})$ が用いられることが多いことにも言及している。本項では、素性が学習に与える影響を検証するため、より簡易なロジスティック回帰(LR)を

図 1 提案手法の概要

用いた。松田・津田(2019)は、企業名の語義曖昧性解消を目的として、データセットと外部知識に日経新聞の記事、有価証券報告書をそれぞれ用いて、tfidf 値が一定以上の名詞と単語分散表現を素性とした教師あり手法の精度が高かったことを示した [6]。本研究では、松田・津田(2019)の教師あり手法を比較手法として参照した。

## 3 手法

本項では、企業が名付けた商品名称、ブランド名称、サービス名称を総じてブランド名として定義する。提案手法は Raganato ら(2017)にならい、分散表現を素性に組み込んで教師あり学習を行うアプロー チを採用した。また、辞書未登録単語の形態素解析の結果が信頼できないことに対する対応策として、 ブランドに関連すると考えられる単語と短文を外部知識として、それらの分散表現ベクトルを計算し、素性として用いた。

## 3.1 提案手法

図 1 に提案手法の概要を示す。本手法において用いる素性は 3 種類で構成される。1) ブランドベクトル : ブランド名そのものに関する単語の分散表現、2) キーワードベクトル: ブランドや当該カテゴリにおける関連すると考えられた単語の分散表現、3) トピックベクトル：分類に関連すると考えられた記事のタイトルの分散表現、である。 まず、分類対象の投稿文に対し、形態素解析を行
い、名詞のみを抽出する。そして、抽出した名詞の平均ベクトル、三つの素性から生成されたベクトルと投稿文から生成したベクトルのコサイン類似度を最終的な素性とする。

SNS 投稿では情報が省略されるため、例えばメイクアップブランドの上位概念である化粧品カテゴリに関する直接的な情報は投稿文中に含まれないことが多い。そこで、ブランドが含まれる上位概念の単語をいくつか定義し、それらと共起する単語を用いて上位概念の特徵ベクトルを構成することとする。この特徴ベクトルを用いることで、上位概念に関連するキーワードを網羅的に指定することなく、投稿文と上位概念の類似度が計算できる。同様に、 ブランドコンセプト、ブランド名からイメージされる情報、広告のキャッチコピーから構成されるトピックの特徴ベクトルとの類似度を含めることで、より効果的に曖昧性解消ができると考えられる。

分散表現には日本語学習済み fastText $^{1}$ [ $[7]$ を用いた。形態素解析には MeCab[8]を利用し、辞書には mecab-ipadic-NEologd[9]を用いた。

## 3.2 比較手法

本項では、1) 名詞のみの形態素(以下、形態素)、 2) 日本語学習済み $\mathrm{BERT}^{2}$ )を用いたブランド名の Embedding(以下、BERT)、3) 名詞の tf-idf 值と外部情報として有価証券報告書を用いた fastText の分散表現の組み合わせ(以下、有報)、の三つの素性を比較手法とした。
1) https://fasttext.cc/docs/en/crawl-vectors.html
2) https://github.com/cl-tohoku/bert-japanese
表 1 素性として用いたキーワード・記事の一部

 &  \\

## 4 実験

## 4.1 データセット

検証では三つのブランド名を対象とした：1) エスティローダー社メイクアップブランド

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、$ 2) カネボウ化粧品メイクアップブランド「KATE」、3) 日本コカ・コーラ社コーヒーブランドの「ジョージア」である。それぞれ対象外の語義として 1) マクドナルドの略称やアップル社のコンピュータブランド、2) 人名や服飾ブランド、

3) 国名や州名、が挙げられる。

ブランド名を含む、2020 年 4 月 2022 年 3 月の

Twitter 投稿文（引用・返信・リツイート）を 1 ブランドにつき 2 万件、合計 6 万件抽出し、投稿ごとに、それが対象のブランド名を含むかアノテーションを実施した。まず、投稿文から容易に類推できる範囲で対象のブランド名であるかどうかの判断を行い、投稿文のみでは判断が難しいと考えられた場合は、当該ユーザの前後の投稿やプロフィール欄といった、SNS 特有の周辺情報を見て判断を行った。周辺情報確認後も判断がつかなかつた場合は対象外とした。それぞれの対象ブランドについて、提案手法で使用するキーワード・記事を公式ホームペー ジ、公式 SNS、Wikipedia から取得した。表 1 に例として検討した素性のキーワード・トピックの一例を示す。

## 4.2 実験設定

小規模学習データでの提案手法の効果を測るため、提案手法 4 パターンと比較手法 3 種の合計 7 種すべての素性を用いて、学習データ 100 件をランダ厶抽出し、対象・対象外の 2 值判別を実施した。また、学習データ件数増加による精度への影響を確認するため、学習データ数を 100 件から 3,000 件まで 100 件刻みで増加させていった際の精度の比較を実表 2 素性とモデル精度(学習データ 100 件) $\mathrm{Br}$. ブランドベクトル、Ke.:キーワードベクトル、To.: ト

ピックベクトル、 $\mathrm{M}: \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 、 \mathrm{~K}: \mathrm{KATE} 、 \mathrm{G}:$ ジョージア

施した。2 值判別を実施するにあたり、対象が含まれる割合が低いもの $(\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}: 6 \%)$ 、中程度のもの (KATE:26\%)、高いもの(ジョージア:54\%)をデータセットとして用意した。語義曖昧性解消で用いられるデータセットである SemEval-2010 Japanese WSD Taskデータセット[10]では、学習データとして単語あたり例文が 50 文用意されるのに対し、 100 件あたりの出現数では「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」(6$ 件 $)$ と「KATE」(26 件)は少ない。また、用意したデータセットは不均衡のものが含まれるため、評価にはF1-score を用いた。

## 4.3 実験結果

## 4.3.1 提案手法の有効性検証

表 2 に学習データ 100 件での各モデルの F1-score を示す。まず提案手法と比較手法の比較より、ブランドベクトルのみの素性でどの比較手法よりも高い精度を得ることができた。また、提案手法の素性の比較より、ブランドベクトルにキーワードベクトル、トピックベクトルのどちらを追加しても精度が向上しているため、ブランドカテゴリとトピックの情報が有用な特徴であるといえる。二つのベクトルを追加した提案手法は、不均衡データである

$\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor 、 「 \mathrm{KATE} 」 に$ 関しては精度が向上したが、「ジョージア」に関してはトピックベクトルのみの情報を用いた方が、精度が高いことがわかつた。小規模学習データでも偏りの少ない場合は、ブランドベクトルよりもトピックベクトルの方が有効な情報であるといえる。

図 $2\lceil\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C}\rfloor$ 学習データ件数と精度の推移

## 4.3.2 学習データ件数増加による精度検証

$「 \mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ の学習データ件数増加による精度を図 2 に示す。他二つのブランドは付録に示した。図 2 より、比較手法は学習データ 500 件まで精度が急激に上がっているが、提案手法は学習データ 100 件から精度の上昇は緩やかである。また、この結果は不均衡データである「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ と「KATE」のときに顕著であったことからも、提案手法は不均衡かつ小規模学習データに対して有効な素性であるといえる。

提案手法と形態素を比較すると、学習データ 3,000 件まではどのブランドでも提案手法の精度が高かった。小規模学習データでは出現する単語の豊富さの影響をより強く受けていると考えられる。有報を素性とした場合、形態素に比べて精度向上が見込めるが、提案手法の方が多くのケースで精度が高かった。ブランド名の語義特定においては、有価証券報告書の情報よりも、ブランドカテゴリやイメー ジワードから類似度を計算した素性のほうが有効であると考えられる。素性に BERT を用いた結果は、不均衡かつ小規模学習データの場合、どの手法よりも大きく劣ったが、均衡なデータで学習データ件数を増加させると、提案手法よりも精度が高くなった(付録図 3 : 「ジョージア」)。

## 5 考察

4.3.1 項の実験結果より、学習データが 100 件程度の小規模データでは、提案手法の有効性が確認できた。小規模学習データでも判別が上手くいく要因として、SNS 投稿文は、事業内容よりもブランド
カテゴリやコンセプト・イメージに関連する投稿が多いためと考えられる。提案手法は、特に対象出現率が低い「 $\mathrm{M} \cdot \mathrm{A} \cdot \mathrm{C} 」$ データに対して有効であったため、ブランド・トピックのブランド名と類似したカテゴリやイメージは、学習データに情報が足りない場合に補える素性であるといえる。

ブランド名の語義曖昧性について本項で検証した範囲では、ブランドコンセプト・イメージ・想定シ ーンといった素性の有効性も確認できた。本項では、外部情報としてブランドに関連するキーワー ド・トピックを含めることで、精度の向上が見込めることは検証できたが、キーワード・トピックは主観で選定しており、客観的に統一した条件や検証を行っていない。

## 6 まとめ

本項では、語義曖昧性の解消の手法を用いて、 SNS 投稿文のようにラベルが明確でない小規模学習データに対して対象のブランド名を判別するモデルを提案した。提案手法は、特に学習データが少ない場合に、既存手法より高い精度を出すことが可能である。特にブランド名の語義を推定する上で有効であったのは、外部情報として追加したブランドカテゴリ、コンセプトやイメージを反映するトピックであることを示した。外部情報として指定するキー ワードの客観的な条件を指定し、既存研究で用いられているモデルを用いた精度検証を今後の課題とする。

## 謝辞

本研究は株式会社インテージホールディングスグループ R\&D センターの助成を受けている。デー タセット作成にご協力くださった株式会社インテー ジの高崎綾子さん、岩元くるみさんに深く感謝申し上げます。

## 参考文献

[1] David Yarowsky. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. In ACL, pp. 189-196, 1995.

[2] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word Sense Disambiguation: A

Unified Evaluation Framework and Empirical Comparison. In EACL, Vol1, pp. 99-110, 2017.

[3] 菅原拓夢, 笹野遼平, 高村大也, 奥村学, 単語の分散表現を用いた語義曖昧性解消, 言語処理学会第

21 回年次大会発表論文集, pp648-651, 2015.

[4] 松田耕史, 高村大也, 奥村学. 知識ベースに基づいた語義曖昧性解消における教師データの活用. 第 26 回人工知能学会全国大会論文集，2012

[5]曹鋭, 田中裕隆, 白静, 馬ブン, 新納浩幸. BERT を利用した教師あり学習による語義曖昧性解消. 言語資源活用ワークショップ発表論文集，vol. 4, pp.273-279, 2019.

[6] 松田裕之, 津田和彦. 有価証券報告書を活用した企業名の語義曖昧性解消の一考察. 第 33 回人工知能学会全国大会論文集, 2019.

[7] Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. arXiv preprint arXiv:1607.01759, 2016.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis, In EMNLP, pp.230-237, 2004. [9] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書きシステム NEologd の運用--文書分類を例にして. 情報処理学会自然言語処理研究会研究報告. Vol. NL-229, no. 15, pp.1-14, 2016.

[10] Manabu Okumura, Kiyoaki Shirai., Kanako Komiya., and Hikaru Yokono. SemEval-2010 task: Japanese WSD. In: SemEval, pp. 69-74, 2010

## A 付録
4. 3.2 項の「KATE」、「ジョージア」における学習データ件数が増加した際の精度の推移を図 3、4 に示す。

学習データ増加による精度の推移

図 3 「KATE」の学習データ件数と精度の推移

学習データ増加による精度の推移

図 4 「ジョージア」の学習データ件数と精度の推移


# 特定のドメインに特化した日本語同義語獲得の検討

勝又智 1 飯田大貴 1,2
1 株式会社レトリバ 2 東京工業大学
\{satoru.katsumata, hiroki.iida\}@retrieva.jp

## 概要

自然言語処理を特定のドメインのテキストに応用する際，Entity に関する情報はドメイン特有の知識となることが多く，公開されている同義語辞書だけでなく，特定のドメインの同義語辞書の作成が求められる。しかし，この同義語辞書は人手で作成することが多く，非常に高コストである。本研究では同義語辞書作成支援を目的として, ベースライン及び評価用データの構築，人手評価を実施した。実験の結果，単語間類似度タスクで有効な分散表現作成手法が，本タスクでは有効ではなく，またその逆が起こりうることがわかった.

## 1 はじめに

自然言語処理技術の活用現場では，同義語辞書の作成が課題としてあげられることが多い，例えば，情報検索の分野では同義語辞書を使用することで精度が向上することが知られている [1]. WordNetなどのオープンドメインにおける同義語辞書よりも，特定のドメインに沿った同義語辞書を使うことでさらなる精度向上が期待できる. 特に, Entity の同義語情報はドメイン特有の知識となることが多く,特定のドメインに応じて作成する必要がある. しかし，特定のドメインに特化した同義語辞書作成は，人手で行われることが多く非常に高コストである. そのため，同義語辞書作成を支援する必要がある.

支援方法として有効な方法の一つに，対象の Entity に対する同義語候補をランキングで示す方法がある.このような形式のタスクに Zero-shot Entity Linking (EL) [2] がある. Zero-shot EL は訓練中に現れない Entity に対して, Entity 集合を適合度順にランキングするタスクである。しかしながら，この Zero-shot EL においては, Entity に関する説明文を利用可能な知識としているが，説明文を利用できないケースは応用上多い.

そこで，本研究では Entity の情報のみから， Entity

図 1 同義語獲得タスクの概要図

集合を適合度順に並べるタスク（同義語獲得タスク）を実施する。ところが，このような評価デー タセットは我々の知る限り存在しない。本研究では，特定のドメインのテキストに対して Entity 抽出器を用いて Entity 集合（mention 集合）を作成する. また，ユーザーが入力するクエリ Entity（term）を別途用意し，このクエリに対して mention 集合を適合度順に並べるタスクを行う。概要を図 1 に示す。 ベースラインとして編集距離によるランキングと分散表現を用いた類似度によるランキングを行い，人手によって性能を評価した。

## 2 同義語獲得タスク

## 2.1 同義語獲得タスクの問題設定

同義語辞書を含む，様々な知識を活用した研究が盛んに行われている。日本語同義語辞書については，日本語 WordNet [3] や ConceptNet [4], Sudachi 同義語辞書 [5] などの公開されている辞書が存在する. しかし，これらの同義語辞書は一般ドメインに対して構築されており，特定のドメインに関する Entity は含まれていないことが多い，そこで，本研究では特定のドメインのテキストから同義語辞書を作成する支援を行うタスクを検証する。

今回取り扱う問題設定は Zero-shot EL [2] と類似した設定としている．本問題設定では，図 1 のよう
表 1 分散表現作成手法一覧

に同義語の探索を行いたい特定のドメインのテキストに対して Named Entity Recognition (NER) を行い，取得した全ての種類の Entityを mention 集合とする。別途用意した term をクエリとして， mention 集合を適合度順に並べるタスクとして設定した。つまり，本問題設定は Zero-shot EL における Entity を，ユー ザーが入力する termとして定義した. また，先行研究では明示的な EL のデータを学習に使用しているが，実応用上ではそのようなデータを用意することは難しいため，本研究では EL データは使用しない。本研究に類似した問題設定として，単語間類似度タスク $[6,7]$ が挙げられる. 近年の単語間類似度タスクは，分散表現による単語間の類似度について，人間の判断との近さを評価するタスクである. 本研究の問題設定との違いとして，入力の性質が異なることが挙げられる。具体的には，本研究では単語として連続した形態素を想定しており，この単語は全て Entity であるため，ドメイン特有の知識が分散表現作成に必要となる点が異なる。本研究ではこれらの差異による影響を確認するため，単語間類似度夕スクと同義語獲得タスクとの相関を調査した。

## 2.2 適合基準

2.1 節の通り，同義語獲得タスクは同義語辞書作成支援を目的としている．そのため，本研究では評価として各システムの出力のうち，最も適合度が高い mention について，入力された term の同義語かどうかの人手評価を実施した. 同義語の適合基準として，互換性と同位語性という概念を導入した。

互換性は，term と最も適合度が高い mention を入れ替えても意味が同じである性質としている. 具体的には， term とその term が出現する文 Context $t_{\text {term }}$ を用意し，この文が最も適合度が高い mentionを term

どうか確認した.

しかし，互換性のみでは，term が上位語，最も適合語が高い mention が下位語の場合といった上位下位概念の場合に対して評価が難しいものとなる．例

 &  &  \\

えば termとして ‘動物’が入力され，最も適合度の高い mention が ‘犬’， term が出現する文が ‘動物を飼う。，の場合，これらの関係が互換性を満たすかどうかは判断が分かれると考えられる。そこで本研究では，これらの場合を区別するため同位語性を導入した。同位語性は，term と最も適合度が高い mention の関係について，上位下位概念ではなく，共通の上位概念を持つ語（同位語）である性質としている。同位語性を導入することにより，上記の例の関係を，互換性は満たすが，同位語性は満たしていないとすることができる．本研究ではこのように， term と最も適合度が高い mention について，互換性があるかないか，同位語性があるかないかのアノテーションを行った．本論文では，互換性があり同位語性もある場合を強い同義語と呼称する。

## 3 実験

## 3.1 分散表現作成手法

本研究は term と mention の適合度推定に分散表現のコサイン類似度計算を用いた．検証した分散表現作成手法を表 1 に記載する。また，分散表現ではなく，編集距離を用いた場合も検証した. 以下に各分散表現の概要を記載し，詳細は付録 A に記載する.

fasttext 単語ベクトルを元にした手法として，日本語 Wikipedia1) で学習した fasttext [8] を用いた. term 及び mention の分散表現作成の際は，各形態素をべクトル化し，それらの平均を計算した.

BERT 大規模モデルを用いた手法として，学習済み BERT ${ }^{2}$ [9]を用いた. term 及び mention の分散表現は BERT の各サブワードごとの出力を平均したベクトルを使用した.

1）本研究では 2022 年 6 月 20 日時点でのファイルを利用した.

2）特に明記しない限り BERT 関連のモデルは全て cltohoku/bert-base-japanese-v2 を使用.
表 3 同義語獲得検証結果. 左の数值が強い同義語を正解とした時の精度で,右の数値が互換性または同位語性を満たした場合を正解とした時の精度.

SimCSE 近年, 文間類似度などのタスクで研究されている SimCSE [10] についても検証を行った. 公開されている BERT モデルに対して, Unsupervised SimCSE を用いて特定のドメインのデータで学習を行ったモデルを使用する. term 及び mention の分散表現作成方法については BERT と同様である.

BLINK Wu ら [2]が提案したモデル（BLINK）についても検証を行った. 本研究では他の手法との公平な比較のため，BLINK モデルのうち，Bi-Encoder の構造のみ用いた. Bi-Encoder の学習は, 公開されている BERT に対して日本語 Wikipedia を用いて行った. term ベクトル作成時に必要となる説明文は空白としている. mentionベクトル作成時に必要となる mention の前後文脈は，特定のドメインのコー パス中で出現したものを使用した。また，彼らは BERT の出力として [CLS] に対応するべクトルを使用しているため，本研究でも同様の処理を行った.

LUKE Entity の分散表現作成手法として研究されている LUKE $^{3)}$ [11]についても検証を行った. LUKE は Entity が出現する文脈を使用するため, mention については BLINK と同様に, mention が出現した文脈を LUKE に入力してべクトル化を行った. term については出現する文脈は想定していないため，その語のみを入力しべクトル化を行った。

## 3.2 データ

本研究では特定のドメインのテキストコーパスとして表 2 のデータを使用した. 各データの詳細については付録 Bに記載する。

ユーザーが大力する term の模擬として，本研究では Wikipedia 記事のタイトルを使用した。各特定のドメインのテキストとWikipedia 記事の対応関係を， Piratla ら [12] が提案した情報検索システムを利用した関連文書獲得手法で取得し, その中で関連度が高

い 100 記事のタイトルを term として用いた。特定のドメインのコーパスから mention 集合を作成する際の NER モデルとして, 本研究では GiNZA モデル4)を元に Wikipedia のアンカータグを利用して学習したモデルを用いた。

## 3.3 評価

本研究では 2.2 節で述べた適合基準を用いて評価を行う，具体的には，評価者に term と term に対して最も適合度が高いと推定された mention， term を含む文書を提示する．term は Wikipedia の記事タイトルであるため，対応する記事タイトルの定義文書が存在しており, 本研究ではこの文書を提示している。評価者はこれらから， term と mention 間について互換性と同位語性についてそれぞれ満たすかどうかアノテーションを行った。なお，このアノテー ションは 1 人で行っている.

評価尺度としては，強い同義語を満たす場合のみを正解とした場合の accuracy 及び，term と mention 間で互換性または同位語性を満たす場合を正解とした場合の accuracyを計測した。

## 3.4 実験結果

各特定のドメインのテキストに対する評価結果を表 3 に示す. 表 3 の右端列に各ドメインの精度を平均した結果を示している.この結果から，BERT， SimCSE，BLINK は同程度の結果となっていることがわかる。これらの場合について, 強い同義語の場合で 0.14 から 0.15 , 互換性または同位語性を満たす場合でも BERT の 0.21 が最大という結果となり，同義語辞書作成支援に本システムを使用した場合，およそ $1 / 7$ から $1 / 5$ のクエリに対して適切な同義語候補が出力されることが想定される.本検証ではさまざまなデータで検証を行ったが，

表 4 単語間類似度実験. 上段は各手法の結果を，下段は同義語獲得検証（強い同義語）との相関を示している.

どのデータでも BERT，SimCSE，BLINK が他の手法と比べて高い精度となっている. 表 1 の通り, BERT, SimCSE，BLINK といった手法は学習に特定のドメインのデータの使用や，文脈の使用，類似度計算の際に部分文字列を使うかどうかといった違いはあるものの, これらの違いが本タスクに対して大きく影響することはないと思われる。同じくBERT の構造を元にした手法で LUKE のみ精度が低い結果となったが，これはおそらくLUKE のべクトル作成の構造が本タスクに向いていないためと思われる. LUKE は Entity ベクトル作成の際に Entity Vocabulary を使用する. 本研究での mention ベクトル作成には NER の抽出結果を入力しているため, mention ベクトル作成時の多くの場合で未知 Entity に対するべクトル作成となり, 効果的なべクトル作成が行われないと思われる。

## 3.5 単語間類似度タスクとの比較

同義語獲得タスクと単語間類似度タスクとの相関を確認するため, 各分散表現作成手法について単語間類似度タスクを実施した。評価データは Sakaizawa and Komachi [13] の名詞に関するデータを用いた. 評価尺度として Wang ら [14] が提案したランキング形式の尺度も用いた. 本検証の詳細は付録 C に記載する．実験結果を表 4 に示す.

同義語獲得検証と単語間類似度実験の結果を比較すると，相関がほとんどないことがわかる．例えば同義語獲得タスクで比較的精度が低かった fasttext が単語間類似度タスクでは高い精度となっている。 また，BERT についても同義語獲得タスクでは精度が高い結果であったが，単語間類似度タスクでは Hits@1を除く指標で精度が低い結果となった.これらの結果はおそらく, 同義語獲得タスクと単語間類似度タスクの入力単語の単位の違いによるものだと思われる. 表 4 の下段の各指標ごとの相関から表 5 同義語獲得タスクの出力例及びアノテーション例

も，このタスク間で相関はほとんどないことが確認できる.このように，同義語獲得タスクは単語間類似度タスクと異なる性質を持つタスクと考えられる。

## 3.6 同義語獲得検証の具体例

表 5 に Amazon Review データの electronics カテゴリに含まれる例を示す. term として‘コンパクトカセット’を入力した場合, BERT と SimCSE は‘カセットテープをを最も類似した mentionとして出力し, BLINK は ‘カセット'を出力した. ‘カセットテープ，“カセット’のどちらについても，“コン

と入れ替えた文 Context の意味が変わらないとして，互換性は満たすとアノテーションしている。これらの単語間では，上位概念として ‘オーディオ用磁気記録テープ, を置くことができると考え，同位語性も満たしているとした。

一方で, 編集距離と fasttext と LUKE の出力に関しては全て関連なしと評価した.この例から，編集距離や fasttext は表層的な類似は反映されるが，意味的な類似がうまく反映されていないと考えられる。

## 4 おわりに

本研究では，特定のドメインに依存した同義語辞書作成支援を目的として，ベースラインおよび評価用データセットの構築，人手評価を実施した. ベー スラインとして, 表層の特徴のみを使用する手法,単語単位の分散表現を拡張した手法，BERT やそれを派生した手法，Entity の分散表現を作成する手法を比較し，BERT及びそれを派生した手法が優れた結果となった。また，実験の結果から単語間類似度タスクと同義語獲得タスクでは異なる性質を持つタスクであることがわかった. 今後は，この単語間類似度タスクと同義語獲得タスクの違いを調査し, これらのタスクの異なる性質を明らかにしていく。

5）この定義文の詳細は付録 D に記載.

## 謝辞

本研究実施に当たって，株式会社レトリバの西鳥羽二郎様，木村大翼様には有益な助言をいただきました。この場を借りて深く御礼申し上げます.この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託業務（JPNP18002）の結果得られたものです.

## 参考文献

[1] Hui Fang. A re-examination of query expansion using lexical resources. In Proceedings of Annual Meeting of the Association for Computational Linguistics, 2008.

[2] Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing, 2020.

[3] Francis Bond, Hitoshi Isahara, Kyoko Kanzaki, and Kiyotaka Uchimoto. Boot-strapping a wordnet using multiple existing wordnets. In International Conference on Language Resources and Evaluation, 2008 .

[4] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[5] 高岡一馬, 岡部裕子, 川原典子, 坂本美保, 内田佳孝.詳細化した同義関係をもつ同義語辞書の作成. 言語処理学会第 26 回年次大会 (NLP2020), 2020.

[6] Herbert Rubenstein and J. Goodenough. Contextual correlates of synonymy. Communications of the ACM, Vol. 8, pp. 627-633, 1965.

[7] Eneko Agirre, Enrique Alfonseca, Keith Hall, Jana Kravalova, Marius Paşca, and Aitor Soroa. A study on similarity and relatedness using distributional and WordNet-based approaches. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2009.

[8] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2016.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 2021.

[11] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[12] Vihari Piratla, Sunita Sarawagi, and Soumen Chakrabarti. Topic sensitive attention on generic corpora corrects sense bias in pretrained embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[13] Yuya Sakaizawa and Mamoru Komachi. Construction of a Japanese word similarity dataset. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018.

[14] Bin Wang, C.-C. Jay Kuo, and Haizhou Li. Just rank: Rethinking evaluation with word and sentence similarities. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, 2022.

[15] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

## A 分散表現作成手法の詳細

fasttext 本検証で使用したモデルは，Wikipedia に対して $\left.\mathrm{MeCab}^{6}\right)$ で分かち書きしたテキストで学習を行い作成した。 term 及び mention の分散表現は，各形態素の分散表現について平均を取ることで作成した.

BERT 本研究では学習済み $\mathrm{BERT}^{7}$ )を用いた。term 及び mention の分散表現は BERT の各サブワードごとの出力を平均したベクトルを使用した。

SimCSE 本研究で扱う SimCSE は Unsupervised SimCSE で学習したモデルを使用した。具体的には，同義語候補である各 mention について，異なる Dropout を適用して BERT でエンコードしたベクトルを正例，バッチ中の異なる mention を負例として学習を行った. term 及び mention の分散表現作成方法は BERT と同様である.

BLINK 本検証では, Wu ら [2] で提案された手法のうち, Bi-Encoder 構造のみ用いている.この Bi-Encoder の学習には，日本語 BERT に対して fasttext と同じ Wikipediaを使用して行っている. また，彼らはEntity のベクトル表現作成の際に， '[CLS] EntityTitle [ENT] 説明文 [SEP]' といったように Entity の説明文を付与している。一方で，本研究で Entity に相当する term には説明文を与えていないので， term のベクトル作成時にはこの説明文は空白としている。また, mention のベクトル表現作成の際には, '[CLS] 左側文脈 $[\mathrm{Ms}]$ mention $[\mathrm{Me}]$ 右側文脈 $[\mathrm{SEP}]$ ' といったように，文脈付きで行っている. こちらについては，本研究でも特定のドメインのコーパス中における mention の前後文脈を使用した。

LUKE 本研究では LUKE モデルとして, 公開されている日本語モデル8)を使用した. LUKE は Entity のベクトル作成を目的に BERTを拡張したモデルであり，Entity が出現する文脈も使用するため， mention については BLINK と同様に， mentionが出現した文脈も LUKEに入力してべクトル化を行った. term については他の手法と同様に出現する文脈は想定していないため，その用語のみを入力しベクトル化を行った。

## B 同義語獲得検証で使用したデータの詳細

本研究では特定のドメインのテキストコーパスとして Amazon Reviewデータ，リコール文書，Twitter データを使用した. Amazon Reviewデータは MARC [15] について，日本語データに対してカテゴリ単位で抽出したものを使用している. リコール文書はリコール情報公開サイト99) から抽出し，登録されているカテゴリで区分けを行った. Twitter に関しては, COVID-19日本語データセット10)で意見・感想とアノテーションされている文書を使用した.

## C 単語間類似度タスクの実験設定

本研究の単語間類似度タスクでは, Sakaizawa and Komachi [13]の名詞に関するデータを用いて行った. 評価として，アノテーションされている人手評価との相関及び，Wang ら [14] 亿よって提案されているランキング形式の尺度も用いた. Wang らは単語間類似度データセットの中で, 類似度が高い上位 $25 \%$ （5,514ペア）を正例として定義している。彼らは単語間類似度データセットに含まれる全ての単語について，分散表現などを利用して類似度順に並べ，上位に正例を推薦できているか検証している。本研究でも同様の処理を行い，日本語名詞単語間類似度データセットのうち，276 ペアを正例として使用した．また，Wang らは単語間類似度に含まれる単語だけでなく，ランキングの候補単語として Wikipedia の頻度上位 20,000 単語を使用している. 一方で, 本研究では正例の数に合わせて日本語 Wikipedia の頻度上位 1,000 単語の名詞を使用した.なお，この名詞かどうかの判断関してはUniDic（v3.1.0) ${ }^{11}$ をを用いた。

また，この検証での SimCSE はデータセット中に含まれる単語を利用して Unsupervised SimCSE の学習を行った. 具体的には各単語について異なる Dropout を適用して BERT でエンコードしたベクトルを正例，バッチ中の異なる単語を負例として学習を行った。

## D 同義語獲得検証の具体例の詳細

入力となる term の定義文を含む具体例を表 6 に示す.

表 6 定義文を含む同義語獲得タスクの出力例及びアノテーション例

6）IPADIC を使用.

7） cl-tohoku/bert-base-japanese-v2 を使用.

8) studio-ousia/luke-japanese-base を使用.

9）国交省: https://www.mlit.go.jp/jidosha/carinf/rcl/index.html; 消費者庁: https://www.recall.caa.go.jp

10） https://www.db.info.gifu-u.ac.jp/covid-19-twitter-dataset/

11) https://github.com/polm/unidic-py


# 単語埋め込みのバイアス評価における RNSB と WinoBias との 相関関係の分析

加藤大晴 宮尾祐介
東京大学大学院情報理工学系研究科コンピュータ科学専攻
\{kato_taisei, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本研究では単語埋め込みの直接バイアス評価手法であるRNSB と、間接バイアス評価の WinoBias との相関関係を調査する。単語埋め込みは膨大なテキストコーパスから単語の意味を実数ベクトルの形で学習することができるが、同時にバイアスも学習してしまう。バイアスの評価手法としては直接評価と間接評価があるが、両者の関係を調査した研究は少ない。そこで本研究では既存研究に倣って様々な度合いのバイアスを持つ単語埋め込みを作成し、RNSB、WinoBias 両方でそのバイアスを測定し、両者の相関係数を計算した。結果として RNSB は WinoBias と負の相関を持つことが分かった。

## 1 はじめに

自然言語処理技術が進歩していく中で、これらの技術が我々の日常生活に与える影響も拡大している。一方でこれらの技術が男女差別や人種差別といった偏見、バイアスを助長しているという問題点にも注目が集まっている $[1,2]$ 。本研究ではこういったバイアスに対処する一歩として単語埋め込みのバイアス評価手法に焦点を当てる。

単語埋め込みは膨大なテキストコーパスを用いて単語の分布的意味を事前に学習することで、様々な後段の自然言語処理タスクにおいて性能の向上を図ることができる技術である。有用性が高い反面、テキストコーパスに含まれているバイアスを学習し、 それが後段の多くの自然言語処理タスクに影響を与える危険性を孕んでいる。それゆえ単語埋め込みのバイアスを正確に測定し、自然言語処理技術がバイアスなく動作することを担保することは重要な課題となる。

単語埋め込みのバイアス評価には大きく分けて直接評価 (Intrinsic bias metric) と間接評価 (Extrinsic bias metric) の二種類がある。直接評価では単語埋め込み表現そのものに着目し、ある単語とある単語の距離が適当かどうかなどを以ってしてバイアスを評価する。それに対し、間接評価では評価対象の単語埋め込みを用いてある自然言語処理システムを学習させ、そのシステムがバイアスのかかった挙動を示すかどうかを以ってして元の単語埋め込みのバイアスの有無を判断する。間接評価では単語埋め込みが実際に自然言語処理システム内で用いられたときの振る舞いを見るという、より現実に即したシナリオでバイアスの分析を行なっており、バイアスが社会に与える影響が分かりやすいという利点がある。一方、直接評価では調べたいバイアスを単語集合を指定することで決められるので、比較的自由に様々な種類のバイアスを調べることができる。直接評価と間接評価、それぞれに長所があるため両方の視点を以ってバイアスの問題に取り組む必要がある。

しかし、両者の関係性はよく分かっているとは言い難い。Goldfarb-Tarrant et al. (2021) [3] は広く使われる直接バイアス評価手法の WEAT [2] と間接バイアス評価が多くのケースで相関しないことを発見した。ただ、その他の直接バイアス評価も同じ問題を持つのかはまだ分かっていない。そこで本研究では別の直接バイアス評価手法である RNSB [4] と間接バイアス評価との相関関係を調査する。RNSB は直接バイアス評価の枠組みの中にありながら、間接バイアス評価と同様に機械学習モデルを学習させてバイアスを計測するプロービング手法を取っている。 このことから間接バイアス評価との相関が高いことが予想される。

実験方法としては Goldfarb-Tarrant et al. (2021) に倣い、様々な度合いのバイアスを持つ単語埋め込みを作成し、WEAT、RNSB、間接バイアス評価でバイアスを測定する。その結果 RNSB は間接バイアス評価と負の相関を持つことが示された。一方で相関の強

さは WEAT よりは高く、改良次第で信頼に値する直接バイアス評価になりうることも示唆された。

## 2 関連研究

## 2.1 バイアス評価指標

ここでは本研究で使用した直接バイアス評価・間接バイアス評価指標について概説する。

## 2.1.1 WEAT

WEAT は Caliskan et al. (2017) [2] によって設計された、広く使われる単語埋め込みの直接バイアス評価指標である。WEAT はバイアスの対象となる概念 2つを表す、等しい大きさの単語集合 (ターゲット語集合) $X, Y(|X|=|Y|)$ と、何を基準にそのバイアスを調べるのかを定める 2 つ単語集合 (アトリビュー 卜語集合) $A, B$ を必要とする。例えば、理系科目・文系科目におけるバイアスをジェンダーの目線から調べたいのであれば、理系科目にまつわる単語集合 $X=\{$ science, math, $\ldots\}$ 、文系科目にまつわる単語集合 $Y=\{$ art, history, ... $\}$ をターゲット語集合に、男性にまつわる単語集合 $A=\{$ man, he, brother, ... $\}$ と女性にまつわる単語集合 $B=\{$ woman, she, sister, ... $\}$ をアトリビュート語集合として指定する。このように $X, Y, A, B$ が与えられたとき、WEAT におけるバイアスの評価値は $c(X, A)+c(Y, B)-c(X, B)-c(Y, A)$ と定義される。ここで $c(T, A)=\sum_{t \in T} \frac{1}{|A|} \sum_{a \in A} \cos (t, a)$ であり、 $\cos$ はコサイン類似度を表している。 $c(T, A)$ はターゲット語集合 $T$ とアトリビュート語集合 $A$ との類似度を表している。前に挙げた例では、もし理系科目にまつわる単語と男性にまつわる単語の類似度、文系科目にまつわる単語と女性にまつわる単語の類似度が、他の組み合わせの類似度よりも高ければ、WEAT の値も大きくなり、単語埋め込みがバイアスを孕んでいると言える。逆に文系にまつわる単語と男性にまつわる単語が、理系にまつわる単語と女性にまつわる単語の類似度の方が高ければ、 WEAT は負の値を取る。これもバイアスを孕んでいると言える。よって WEAT の値が 0 に近ければ近い程バイアスが少ない単語埋め込みと言える。

## 2.1.2 RNSB

RNSB [4] はプロービングの手法を用いる直接バイアス評価指標である。RNSB では 2 つのターゲッ卜語集合 $X, Y$ と任意個のアトリビュート語集合 $A_{1}, \ldots, A_{n}$ を取る。本来の RNSB ではアトリビュー 卜語集合の大きさはどれも 1 だが、後に Badilla et al. (2020) [5] によって任意の大きさのアトリビュー 卜語集合を取れるように拡張された。この拡張版について記す。

まずロジスティック回帰モデル $M$ を、 $X$ を負例に、 $Y$ を正例として学習させる。学習後、 $M$ に単語 $w \in A:=A_{1} \cup \ldots \cup A_{n}$ を与え、それが正例である確率 $p_{w}$ を計算させる。本来であればアトリビュート語集合とターゲット語集合の間には関係はないはずなので、 $p_{w}$ はどれも近い值となるはずである。この $p_{w}$ の分布と一様分布との差が RNSB でのバイアス評価値となる。具体的には $\sum_{w \in A} p_{w}=1$ となるように $p_{w}$ を正規化して $p_{w}$ が $A$ における確率分布と見做せるようにし、それと一様分布 $U$ との KL ダイバージェンス $D_{\mathrm{KL}}(p, U)$ をバイアスの評価值と定義する。

## 2.1.3 WinoBias

WinoBias [6] は共参照解析システムのバイアス評価のためのデータセットであり、本研究では間接バイアス評価を行うために用いられた。WinoBias は Type 1 と Type 2 とに分離されており、各 Type がさらにステレオタイプセット、反ステレオタイプセットに分離されている。例えば、Type 1 のステレオタイプセットには “The physician hired the secretary because he was overwhelmed with clients.” のような文が含まれており、ここでは “The physician”と “he”が共参照関係にある。これは「医者は男性である」というステレオタイプを反映している。一方反ステレオタイプセットには “he”を“she”で置き換えた文が含まれており、“she”と “The physician” が共参照関係にある。男女のバイアスを持たない共参照解析システムであれば、ステレオタイプセット・反ステレオタイプセットでの性能の差は生じないはずなので、その差がバイアスの評価值となる。Type 2 には "The secretary called the physician and told him about a new patient.” のように文構造も共参照解析の手がかりとなる文が含まれている。

## 2.2 WEAT と間接バイアス評価の関係

直接バイアス評価と間接バイアス評価の関係性を調べた研究としては Goldfarb-Tarrant et al. (2021) [3] が挙げられ、本研究でもその手法を踏襲する。 Goldfarb-Tarrant et al. (2021) は様々な度合いのバイア

スを持つ単語埋め込みを作成し、WEAT と間接バイアスの值を計測し、その散布図から両者の関係性を調査した。

バイアスの度合いを調節するためにはデータセットバランシング [7] と ATTRACT-REPEL アルゴリズム[8] が用いられた。データセットバランシングは機械学習モデルの学習に使うデータセットに含まれているアンバランスさを解消することで、よりバイアスの少ないモデルを入手する方法である。ここではステレオタイプな文を sub-sampling することでバイアス削減が、反ステレオタイプな文を削除することでバイアスの強化が行われた。ある文がステレオタイプ、反ステレオタイプかどうかは WEAT でも用いられたターゲット語集合 $X, Y$ 、アトリビュー 卜語集合 $A, B$ を用いて判断する。ある文が $X, A$ 両方の単語、もしくは $Y, B$ 両方の単語を含んでいればステレオタイプであり、逆に $X, B$ の単語、 $Y, A$ の単語を含んでいれば逆ステレオタイプである。 ATTRACT-REPEL アルゴリズムは元々は単語埋め込みを強化するために考案されたアルゴリズムである。類義語集合と反義語集合を受け取り、元々の単語埋め込みの形を保ちつつ、類義語同士の埋め込みを近づけ、反義語同士の埋め込みを遠ざける。バイアス削減にはステレオタイプな単語の組み合わせを反義語集合に、反ステレオタイプな単語の組み合わせを類義語集合としてアルゴリズムが実行された (バイアス強化の際はその逆を行う)。ここでも同様にターゲット語集合 $X, Y$ 、アトリビュート語集合 $A, B$ が必要となる。ステレオタイプな単語の組み合わせの集合は $X \times A \cup Y \times B$ であり、反ステレオタイプな単語の組み合わせの集合は $X \times B \cup Y \times A$ となる。

実験の結果、WAET は多くの場合で間接バイアス評価と相関しないことが示された。

## 3 実験手法

基本的には Goldfarb-Tarrant et al. (2021) [3] の手法を踏襲して実験を行う。様々な度合いのバイアスを持つ単語埋め込みをバイアス調整手法を用いて生成し、WEAT、RNSB でバイアスを評価する。その単語埋め込みを元に共参照解析モデルを学習させ、WinoBias でバイアスを評価し間接バイアス評価とする。そして直接・間接バイアス評価の相関係数を計算する。単語埋め込みの学習用コーパスには Wikipedia [9]を使用する。Wikipedia データは表 1 WEAT 6, 7, 8 [2] の詳細

NLTK [10] によってトークン分割し、頻度が 10 未満

最終的に 3,121,412,445 個のトークンのコーパスが得られた。そこから Word2Vec [11]を用いて次元数 300 の単語埋め込みを生成する。共参照解析の学習用コーパスには OntoNotes [12]を用いる。直接バイアス評価のためのターゲット、アトリビュート語集合には WEAT の元論文 [2] で使われたジェンダーにまつわるバイアスを測定するための単語のセットである WEAT 6,7,8 (表 1)を使用する。元々の WEAT 6 の男女を表す単語には人名が用いられているが、 WinoBias のデータセットには人名は現れないため、 WEAT 7 で使用されているのと同じ一般名詞や代名詞で置き換えたものを使用する。バイアス調整のために使用するターゲット、アトリビュート語集合としては WEAT 6, 7, 8 に加えて、それらの単語の和集合をとり Lauscher et al. (2020) [13] の方法を用いて拡張したものを用いる。具体的には spaCy [14] の事前学習済み単語埋め込みを用いて、WEAT の各単語について spaCy 上で最も近い 100 個の単語を追加する。ただし、その単語が元々の WEAT に含まれていた場合は無視する。これら 4 個のターゲット、アトリビュート語集合のペアを用い、バイアス調整手法は 2 通り、各手法でバイアス削減・強化を行うので、生成される単語埋め込みの数は、バイアス調整を受けない単語埋め込みを合わせて 17 個となる。

学習した単語埋め込みに ATTRACT-REPELアルゴリズム [8] 適用してバイアス削減・強化を行う。 また Wikipedia にデータセットバランシング [7]を適用し、バイアス削減・強化されたテキストコーパスを作成し、単語埋め込みを学習する。こうして得られた複数の単語埋め込みについて WEAT、RNSB の計測を行う。

また、これらの単語埋め込みを用いて Lee et al. (2017) [15] の共参照解析モデルを学習させ、 WinoBias でバイアスを計測する。間接バイアス評価には WinoBias のステレオタイプセットの適合率、再現率から反ステレオタイプセットの適合率、再現率を引いたものを用いる。適合率、再現率の算出には MUC [16], B-CUBED [17], CEAF [18] での尺度の
表 2 WEAT、RNSB と WinoBias との相関係数。行は直接バイアス評価を、列は間接バイアス評価を表す。第一列はどのターゲット、アトリビュート語集合のペアを用いたのかを表す。

表 3 WEAT と RNSB の相関係数

平均を取ったものを用いる。

RNSB の計測には WEFE [5] というバイアス評価フレームワークを使用する。共参照解析モデルの実装には AllenNLP [19] が用いられる。実験は Wisteria/BDEC-01 スーパーコンピュータシステム上で行う。

## 4 結果と考察

実験の結果を表 2 に示す。WEAT と WinoBias との相関係数はどれも正なのに対し、RNSB と WinoBias との相関係数は負の値を取った。一方で相関の強さ (絶対値) に着目してみると、WEAT 7-Type 1 の場合を除いて RNSB の方が大きく、WEAT 7-Type 1 の場合でも同程度の相関の強さがある。

また、直接バイアス評価同士の相関関係を表 3 に示す。直接バイアス評価同士の相関係数は、 WinoBias との相関係数と比較しても分かるように非常に小さな値となった。

表 2 では WEAT とRNSB で全く異なる相関関係が得られたが、原因として両者が取りうる値の範囲が考えられる。今ターゲット語集合として $X, Y$ が、 アトリビュート語集合として $A, B$ が与えられているとして、単語埋め込みに $X$ を $A$ と関連づけ、 $Y$ を $B$ と関連づけるようなバイアスがあれば、WEAT でもRNSB でもバイアス評価値は正となる。ここでバイアス削減の結果、この関係が反転し $X$ が $B$ に、 $Y$ が $A$ に結びつけられるようになると WEATでは負の値を取るのに対し、RNSB では KL ダイバージェンスを用いるため依然として正の值を取ることにな
る。つまり WEAT ではステレオタイプなバイアスは正の值として、反ステレオタイプなバイアスは負の値として計測されるが、RNSBでは両者を区別することができない。WinoBias の方ではバイアスの度合いをステレオタイプセットの性能から反ステレオタイプセットの性能を引いて求めているため、 WEAT と同様に二種類のバイアスを見分けることができる。そのため RNSB とは上手く相関しなかったのではないかと考えられる。実際に単語埋め込みのバイアス評価值を観察すると WinoBias で負の値が確認されたのは 1 回だけだったが、WEAT においては負の値を取っているものが一定数見られた。 RNSB でも WEAT のようにステレオタイプなバイアスと反ステレオタイプなバイアスを区別できるようになれば正の相関を持つ可能性がある。

表 3 では直接バイアス評価同士で相関がないことが示されたが、これは Badilla et al. (2020) [5] での結果に反する。Badilla et al. (2020) ではジェンダーバイアスの評価については WEAT や RNSB などのバイアス評価手法で相関があることを発見した。この齯踣は相関関係の計測の仕方によるものと推測される。本研究では相関関係の計測には単純に相関係数を使用したのに対し、Badilla et al. (2020) では各バイアス評価手法で単語埋め込みを順位づけし、その順位間の相関を調査した。WEAT は単語埋め込みのコサイン類似度について線形に変化するが、RNSB ではロジスティック回帰モデルや KL ダイバージェンスが関係するためより複雑に変化する。この両者を線形な関係を前提とする相関係数で計測しようとしたために䶡軥が生じた可能性がある。

## 5 おわりに

本研究では Goldfarb-Tarrant et al. (2021) [3] に倣ってRNSB と WinoBias との相関関係を調査した。結果としては負の相関が観測され、RNSB が信頼に值する直接バイアス評価手法となるような証拠は得られなかった。一方で、相関の強さのみをみると WEAT よりも大きな相関を示しており、改良によっては WEAT を上回る直接バイアス評価ともなり得る可能性も示唆された。

## 参考文献

[1] Latanya Sweeney. Discrimination in online ad delivery. Communications of the ACM, Vol. 56, No. 5, pp. 4454, 2013.

[2] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science, Vol. 356, No. 6334, pp. 183-186, 2017. Publisher: American Association for the Advancement of Science.

[3] Seraphina Goldfarb-Tarrant, Rebecca Marchant, Ricardo Muñoz Sánchez, Mugdha Pandya, and Adam Lopez. Intrinsic bias metrics do not correlate with application bias. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1926-1940. Association for Computational Linguistics, 2021.

[4] Chris Sweeney and Maryam Najafian. A transparent framework for evaluating unintended demographic bias in word embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1662-1667. Association for Computational Linguistics, 2019.

[5] Pablo Badilla, Felipe Bravo-Marquez, and Jorge Pérez. WEFE: The word embeddings fairness evaluation framework. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, pp. 430-436. International Joint Conferences on Artificial Intelligence Organization, 2020.

[6] Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, and Kai-Wei Chang. Gender bias in coreference resolution: Evaluation and debiasing methods. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 15-20. Association for Computational Linguistics, 2018

[7] Lucas Dixon, John Li, Jeffrey Sorensen, Nithum Thain, and Lucy Vasserman. Measuring and mitigating unintended bias in text classification. In Proceedings of the 2018 AAAI/ACM Conference on Al, Ethics, and Society, AIES '18, pp. 67-73. Association for Computing Machinery, 2018.

[8] Nikola Mrkšić, Ivan Vulić, Diarmuid Ó Séaghdha, Ira Leviant, Roi Reichart, Milica Gašić, Anna Korhonen, and Steve Young. Semantic specialization of distributional word vector spaces using monolingual and cross-lingual constraints. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 309-324, 2017.

[9] Wikipedia. https://www.wikipedia.org/.

[10] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python. O' Reilly Media Inc., 2009.

[11] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[12] Ralph M. Weischedel, Eduard H. Hovy, Mitchell P. Mar- cus, and Martha Palmer. Ontonotes : A large training corpus for enhanced processing. 2017.

[13] Anne Lauscher, Goran Glavaš, Simone Paolo Ponzetto, and Ivan Vulić. A general framework for implicit and explicit debiasing of distributional word vector spaces. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 5, pp. 8131-8138, 2020. Number: 05 .

[14] spaCy $\cdot$ industrial-strength natural language processing in python. https://spacy.io/.

[15] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 188-197. Association for Computational Linguistics, 2017.

[16] Marc Vilain, John Burger, John Aberdeen, Dennis Connolly, and Lynette Hirschman. A model-theoretic coreference scoring scheme. In Sixth Message Understanding Conference (MUC-6): Proceedings of a Conference Held in Columbia, Maryland, November 6-8, 1995, 1995.

[17] Amit Bagga and Breck Baldwin. Entity-based crossdocument coreferencing using the vector space model. In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Vol. 1, pp. 79-85. Association for Computational Linguistics, 1998.

[18] Xiaoqiang Luo. On coreference resolution performance metrics. In Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing - HLT '05, pp. 25-32. Association for Computational Linguistics, 2005.

[19] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson H. S. Liu, Matthew E. Peters, Michael Schmitz, and Luke Zettlemoyer. A deep semantic natural language processing platform. 2017.


# Efficiently Learning Multilingual Sentence Representation for Cross-lingual Sentence Classification

Zhuoyuan Mao Chenhui Chu Sadao Kurohashi
Kyoto University
\{zhuoyuanmao, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp
}

\begin{abstract}
Massively multilingual sentence representation models benefit cross-lingual sentence classification tasks. However, multiple training procedures, the use of a large amount of data, or inefficient model architectures result in heavy computation to train a new model for preferred languages and domains. To address this, we introduce an approach to efficiently learn multilingual sentence representation, using cross-lingual sentence reconstruction and sentencelevel contrastive learning as training objectives. Empirical results show that our model yields significantly better or comparable results on two cross-lingual classification benchmarks. We release our model, which supports 62 languages: https://github.com/Mao-KU/EMS.
\end{abstract
## 1 Introduction

Cross-lingual sentence representation (CSR) models [1, $2,3,4,5,6]$ prove to be essential for cross-lingual transfer on sentence classification tasks without the need for initial training and monolingual model. Thus, CSR models benefit low-resource languages without sufficient training data. However, existing multilingual CSR models, LASER [1], SBERT-distill [4], and LaBSE [3], require a considerable amount of data, complicated model architectures, or monolingual/multilingual pre-trained language models, for which the efficient model training has not been explored.

In this study, we present a computationally lite and effective architecture for training CSR without relying on any large-scale pre-trained language model, which makes it computational lite to train a CSR model according to our preferred domains or language groups and may have a promising future for deploying pre-trained CSR models on memory-limited devices. In particular, we propose cross- lingual token-level reconstruction (XTR) and sentencelevel contrastive learning as training objectives. XTR captures the target token distribution information, whereas the contrastive objective serves to recognize translation pairs. We claim that these two objectives lead to effective language-agnostic sentence representation for the encoderonly model without language model pre-training, and the encoder-only model results in highly efficient model training. Compared with previous work, our CSR model can be trained using significantly fewer training data and less GPU consumption.

Despite the small amount of training data and low-cost training, experimental results demonstrate that our model learned a robustly aligned multilingual sentence representation space. We evaluate the language-agnostic representation based on two classification tasks in a zeroshot manner, document genre classification based on MLDoc [7], and sentiment classification based on Amazon Review dataset version-1 [8]. Empirical results show that our model outperforms LASER and SBERT-distill on MLDoc and Amazon Review dataset and yields comparable performance with LaBSE on Amazon Review dataset.

## 2 Proposed Methods

We conduct massive multilingual CSR learning by employing the dual transformer encoder as the backbone of the training framework and jointly optimizes it with generative and contrastive objectives.

## 2.1 Architecture

We introduce the dual transformer sharing parameters to encode parallel sentences along with several linear layers to extract cross-lingual information and compute the generative and contrastive losses (Fig. 1).

Specifically, as shown in Fig. 1, assume that we have

Figure 1 Training architecture of our model. $\mathbf{u}$ and $\mathbf{v}$ are language-agnostic sentence representations for inference, and the model components in the red dashed rectangle are used for inference. $\mathbf{u}_{l a}$ and $\mathbf{u}_{l a}$ are the target language token representations. $\oplus$ denotes the hidden vector concatenation. A batch sample of the training data is given in the blue dashed box. Orange arrows and dashed box denotes the gold token distributions within the generative objective.

a parallel corpus $\mathbf{C}$ that includes multiple languages $\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, and each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$ contains a sentence in language $l$ and its translation in language $l^{\prime}$, where $l, l^{\prime} \in\left.\{l_{1}, l_{2}, \ldots, l_{N}\right.\}$, as shown in the blue dashed box in Fig. 1. We use the dual transformer encoder $E$ sharing parameters to encode each sentence pair. Assume that the transformer encoder outputs of $S_{l}$ are $\left(\mathbf{h}_{1}^{\mathrm{T}}, \mathbf{h}_{2}^{\mathrm{T}}, \ldots, \mathbf{h}_{\left.\|S_{l}\right.\|}^{\mathrm{T}}\right)$, where $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. We use the mean-pooled hidden states as the languageagnostic sentence representation $\mathbf{u}$ :

$
\mathbf{u}=\frac{1}{\left.\|S_{l}\right.\|} \sum_{i} \mathbf{h}_{i}
$

Similarly, we can obtain $\mathbf{v}$ for $S_{l^{\prime}}$.

Using $\mathbf{u}$ and $\mathbf{v}$, two groups of MLPs are employed to construct two training objectives. After completing the model training, given a sentence in any language, we use the transformer encoder to infer the language-agnostic sentence representation. We can implement cross-lingual downstream tasks in a zero-shot manner using $\mathbf{u}$ or $\mathbf{v}$, as they are representations independent of the specific language.

## 2.2 Generative Objective

Generative objective plays an essential role for CSR learning. Inspired by LASER, we include the generative objective for the one-run model training. However, the presence of the transformer decoder in LASER increases the computational overhead. Instead, we propose XTR to improve the training efficiency while retaining the quality of sentence representation, which circumvents using a decoder.

We compute a target language representation for each sentence by employing a language embedding layer $L_{l a}$ to encode the target language token (e.g., $<2$ en $>$ if the target language is English) to notify the model what the target language is. For each sentence pair $S=\left(S_{l}, S_{l^{\prime}}\right)$,

$
\begin{aligned}
\mathbf{u}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l^{\prime}} \\
\mathbf{v}_{l a} & =\mathbf{W}_{l a} \mathbf{h}_{l}
\end{aligned}
$

where $\mathbf{W}_{l a} \in \mathbb{R}^{d_{l a} \times d_{v c b}}$ denotes the parameters of $L_{l a}$. $\mathbf{h}_{l}$ and $\mathbf{h}_{l^{\prime}}$ respectively denote the one-hot embedding of $<2 l\rangle$ and $\left.\langle 2 l^{\prime}\right.\rangle . d_{l a}$ and $d_{v c b}$ denote the dimension of
the language embedding and the size of the vocabulary.

Subsequently, we concatenate the language representation with the sentence representation and use a fully connected layer $L_{f c}$ to transform the concatenated representation for extracting the cross-lingual information. Finally, we use another linear embedding layer $L_{e m b}$ followed by Softmax to transform the representation to present two probability distributions, which are formulated as:

$
\begin{aligned}
q_{S_{l}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{u}_{l a} \oplus \mathbf{u}\right)\right)\right) \\
q_{S_{l^{\prime}}} & =\operatorname{softmax}\left(\mathbf{W}_{e m b} \sigma_{x t r}\left(\mathbf{W}_{f c}\left(\mathbf{v}_{l a} \oplus \mathbf{v}\right)\right)\right)
\end{aligned}
$

where $\mathbf{W}_{e m b} \in \mathbb{R}^{d_{v c b} \times\left(d_{l a}+d\right)}, \mathbf{W}_{f c} \in \mathbb{R}^{\left(d_{l a}+d\right) \times\left(d_{l a}+d\right)}$, and $d$ indicates the dimension of $\mathbf{u}$ (or $\mathbf{v}$ ). $\sigma_{x t r}$ is the activation function in $L_{f c} . \oplus$ indicates concatenation.

Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$. Then, the training loss of the XTR objective for the $\mathbf{B}_{i}$ is formulated as follows:

$
\mathscr{L}_{X T R}^{(i)}=\sum_{S \in \mathbf{B}_{i}}\left(\mathscr{D}_{K L}\left(p_{S_{l^{\prime}}}(\mathbb{W}) \| q_{S_{l}}\right)+\mathscr{D}_{K L}\left(p_{S_{l}}(\mathbb{W}) \| q_{S_{l^{\prime}}}\right)\right)
$

where $\mathscr{D}_{K L}$ denotes KL-divergence and $\mathbb{W}$ indicates the vocabulary set. As illustrated in the orange dashed box in Fig. 1, we use discrete uniform distribution for the tokens in $S_{l}$ to define $p_{S_{l}}$. For each $w \in \mathbb{W}, p_{S_{l}}(w)$ is defined as:

$
p_{S_{l}}(w)=\left.\{\begin{array}{rr}
\frac{N_{w}}{\left.\|S_{l}\right.\|}, & w \in S_{l} \\
0, & w \notin S_{l}
\end{array}\right.
$

where $N_{w}$ indicates the number of words $w$ in sentence $S_{l}$, and $N_{w}$ is 1 in most cases. $\left.\|S_{l}\right.\|$ indicates the length of $S_{l}$. Similarly, we can obtain the definition of $p_{S_{l^{\prime}}}(\mathbb{W})$.

Herein, we use the KL-divergence to measure the similarity between the token distribution of the sentence in the target language and the model output of the sentence in the source language, which helps align the language-agnostic representation space.

## 2.3 Contrastive Objective

We employ a sentence-level contrastive objective as an assisting objective to force the model to grasp similar information of sentences across languages. We demonstrate that the sentence-level contrastive objective is a beneficial model component to jointly assist the generative objective.

Specifically, we employ in-batch sentence-level contrastive learning by discriminating between positive and negative samples for each sentence. Given a sentence, its translation (paired sentence in another language) is deemed as a positive sample, whereas other sentences within the batch are used as the negative samples. Assume that $\mathbf{B}_{i}$ is a batch sampled from the training corpus $\mathbf{C}$, and the j-th sentence pair of $\mathbf{B}_{i}$ is $S^{(i j)}=\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right)$. Then the sentence-level contrastive objective for $\mathbf{B}_{i}$ is formulated as:

$
\begin{array}{r}
\mathscr{L}_{\text {cntrs }}^{(i)}=-\sum_{S^{(i j)} \in \mathbf{B}_{i}}\left(\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i k)}\right) / T\right)}\right. \\
\left.+\log \frac{\exp \left(\operatorname{sim}\left(S_{l}^{(i j)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}{\sum_{S^{(i k)} \in \mathbf{B}_{i}} \exp \left(\operatorname{sim}\left(S_{l}^{(i k)}, S_{l^{\prime}}^{(i j)}\right) / T\right)}\right)
\end{array}
$

where $T$ denotes a temperature hyperparameter to scale the cosine similarity. $\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)$ is defined as:

$
\begin{gathered}
\operatorname{sim}\left(S_{l}, S_{l^{\prime}}\right)=\cos \left(\mathbf{h}\left(S_{l}\right), \mathbf{h}\left(S_{l^{\prime}}\right)\right) \\
\mathbf{h}\left(S_{l}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{u}\right) \\
\mathbf{h}\left(S_{l^{\prime}}\right)=\mathbf{W}_{1} \sigma_{\text {cntrs }}\left(\mathbf{W}_{2} \mathbf{v}\right)
\end{gathered}
$

where $\mathbf{W}_{1} \in \mathbb{R}^{d_{\text {cntrs }} \times d}$ and $\mathbf{W}_{2} \in \mathbb{R}^{d \times d}$ mean the weights of two fully-connected layers. We use ReLU [9] for $\sigma_{\text {cntrs }}$.

## 2.4 Joint Training

We train the model by jointly optimizing the losses of the proposed generative and contrastive objectives. Specifically, we simultaneously train each batch with:

$
\mathscr{L}^{(i)}=\frac{1}{\left.\|\mathbf{B}_{i}\right.\|}\left(\mathscr{L}_{X T R}^{(i)}+\mathscr{L}_{c n t r s}^{(i)}\right)
$

where $\left.\|\mathbf{B}_{i}\right.\|$ denotes the number of sentence pairs within batch $\mathbf{B}_{i}$, namely, the batch size.

## 3 Evaluation

We used 143M parallel sentences to train a multilingual sentence representation model supporting 62 languages with the above training objectives. Refer to Appendix A for training details.

In this section, we evaluate the performance of our model for two cross-lingual sentence classification tasks in a zeroshot manner. Two evaluation tasks include the MLDoc benchmark [7] and cross-lingual sentiment classification on the first version of the multilingual Amazon Review corpora [8]. We compare with LASER [1], SBERT-distill [4], and LaBSE [3]. ${ }^{1)}$

Table 1 MLDoc benchmark results (zero-shot scenario). We report the mean value of 5 runs.

Table 2 Results of the cross-lingual sentiment classification of Amazon Review. We report the mean value of 5 runs.

## 3.1 MLDoc: Multilingual Document Classification

We evaluate the model performance based on the MLDoc classification task. MLDoc ${ }^{2)}$ is a benchmark to evaluate cross-lingual sentence representations, which contain datasets for eight languages [10]. Following [1], we conduct the evaluation in the zero-shot manner using 1,000 sentences in language $l_{1}$ for training, 1,000 sentences in language $l_{1}$ for validation, and 4,000 sentences in language $l_{2}$ for test. Specifically, we train a multilayer perceptron classifier based on source language representations and test the classifier for the target language. We list the average results of 5 runs for 7 language pairs and 14 directions in Table 1. We significantly observe higher accuracies of our model in most directions than those of LASER and SBERT-distill. These results demonstrate the effectiveness of the proposed training method.

## 3.2 CLS: Cross-lingual Sentiment Classification

Moreover, we gauge the quality of language-agnostic sentence representation based on the sentiment classification task. We use Amazon Review version-1 dataset for evaluation. The dataset [8] includes the data for English-German, English-French, and English-Japanese on "books," "dvd," and "music" domains for each language pair. For each language pair and domain, we use 2,000 sentences in language $l_{1}$ for training, 2,000 sentences in language $l_{1}$ for validation, and 2,000 sentences in language $l_{2}$ for test. Same as on MLDoc, we train a multi-layer percep-

tron using the language-agnostic sentence representations in language $l_{1}$ and test the classifier for another language. As listed in Table 2, our model significantly outperforms LASER and SBERT-distill, and performs comparably to LaBSE, which proves the effectiveness of our model.

## 3.3 Training Efficiency

We used 143M parallel data for training, which is much less than competing models. The loss nearly converged after being trained for 0.5 epochs and converged completely after 3 epochs, whereas LASER is trained for 17 epochs till convergence. Concerning the training time, SBERTdistill and LaBSE rely on large-scale pre-trained models; thus, both their pre-training and fine-tuning require heavy computation. LASER is trained with 80 V100 GPU $\times$ days, while our model requires 5 V100 GPUxdays to nearly converge and 20 V100 GPUxdays to converge fully, which indicates 4 16 times speedup compared with LASER.

## 4 Conclusion

This study presents an efficient method to train languageagnostic sentence representation for cross-lingual sentence classification. To improve training efficiency while retaining the quality of sentence representations, we propose a novel framework to jointly train "XTR" generative and sentence-level contrastive objectives. The empirical results based on two cross-lingual sentence classification tasks demonstrate the effectiveness of our model. We plan to further shrink the model architecture based on knowledge distillation for faster inference experience in the future.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22J13719 and Samsung, SDS.

## References

[1] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. Trans. Assoc. Comput. Linguistics, Vol. 7, pp. 597-610, 2019.

[2] Yinfei Yang, Daniel Cer, Amin Ahmad, Mandy Guo, Jax Law, Noah Constant, Gustavo Hernández Ábrego, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, and Ray Kurzweil. Multilingual universal sentence encoder for semantic retrieval. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, ACL 2020, Online, July 5-10, 2020, pp. 87-94. Association for Computational Linguistics, 2020.

[3] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 878-891. Association for Computational Linguistics, 2022.

[4] Nils Reimers and Iryna Gurevych. Making monolingual sentence embeddings multilingual using knowledge distillation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pp. 4512-4525. Association for Computational Linguistics, 2020.

[5] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Lightweight crosslingual sentence representation learning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021, (Volume 1: Long Papers), Virtual Event, August 1-6, 2021, pp. 2902-2913. Association for Computational Linguistics, 2021

[6] Zhuoyuan Mao, Prakhar Gupta, Chenhui Chu, Martin Jaggi, and Sadao Kurohashi. Learning cross-lingual sentence representations for multilingual document classification with token-level reconstruction. 言語処理学会第 27 回年次大会, pp. 1049-1053, 2021.

[7] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018. European Language Resources Association (ELRA), 2018.

[8] Peter Prettenhofer and Benno Stein. Cross-language text classification using structural correspondence learning. In ACL 2010, Proceedings of the 48th Annual Meeting of the Association for Computational Linguis- tics, July 11-16, 2010, Uppsala, Sweden, pp. 11181127. The Association for Computer Linguistics, 2010.

[9] Vinod Nair and Geoffrey E. Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th International Conference on Machine Learning (ICML-10), June 21-24, 2010, Haifa, Israel, pp. 807-814. Omnipress, 2010.

[10] David D. Lewis, Yiming Yang, Tony G. Rose, and Fan Li. RCV1: A new benchmark collection for text categorization research. J. Mach. Learn. Res., Vol. 5, pp. 361-397, 2004.

[11] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. Wikimatrix: Mining 135m parallel sentences in 1620 language pairs from wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pp. 1351-1361. Association for Computational Linguistics, 2021.

[12] Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. XTREME: A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 4411-4421. PMLR, 2020.

[13] Zeljko Agic and Ivan Vulic. JW300: A wide-coverage parallel corpus for low-resource languages. In Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp. 3204-3210. Association for Computational Linguistics, 2019

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A Training Details

## A. 1 Training Data

We collected parallel corpora for 62 languages from OPUS. ${ }^{3)}$ The 62 languages that we selected cover all the languages in [11] and the languages suggested by the crosslingual generalization benchmark, XTREME [12]. Parallel corpora used for training include Europarl, GlobalVoices, ${ }^{4)}$ NewsCommentary, ${ }^{5)}$ OpenSubtitles, ${ }^{6)}$ Ted, ${ }^{7)}$ UNPC, ${ }^{8)}$ WikiMatrix, ${ }^{9)}$ Tatoeba. ${ }^{10)}$

The aforementioned training data leads to a $143 \mathrm{M}$ parallel corpus, which is much less than LASER. Moreover, we excluded the JW300 [13] corpus and pruned OpenSubtitles and UNPC corpora and included less training data than SBERT-distill. ${ }^{11)}$ In addition, [3] used 6B parallel data to fine-tune the pre-trained mBERT, which leads to enormous computational resource consumption and is impractical to reproduce. However, the proposed model used a limited number of parallel sentences while retaining the sentence representation performance.

## A. 2 Training Details

We employed Transformer [14] encoder as the basic unit of the training architecture (Fig. 1). We conducted a grid search for optimal hyperparameter combinations by observing the validation loss on the WikiMatrix validation datasets (Table 3).

As a result, the dual transformer encoder sharing parameters has 6 layers, 16 attention heads, a hidden size of 1,024 , and a feed-forward size of 4,096. The transformer encoder can be substituted by encoders with other structures. $d, d_{v c b}, d_{l a}$, and $d_{c n t r s}$ are $1,024,60,000,128$, and 128, respectively. We set 0.1 for the temperature $T$ of the contrastive objective.

For the model training, we fed the parallel sentences into the dual transformer encoder and truncated the sentences up to 120 tokens. ${ }^{12)}$ We trained three epochs for the entire

3) https://opus.nlpl.eu/

4) http://casmacat.eu/corpus/global-voices.html

5) https://statmt.org/

6) opensubtitles.org

7) https://opus.nlpl.eu/TED2020.php

8) https://opus.nlpl.eu/UNPC.php

9) https://opus.nlpl.eu/WikiMatrix.php

10) https://tatoeba.org/

11) [11] used JW300 and all of the entire corpora we used.

12) Although LASER and SBERT-distill allowed much longer sen-
Table 3 Values of the hyperparameters tuned by grid search. Bold denotes the best hyperparameter combination.

training corpus with the Adam optimizer [15], the learning rate of 0.0003 with the linear warm-up strategy of 10,000 steps, a weight decay of 0.00001 , and a dropout ${ }^{13)}$ of 0.1 for the transformer encoder. We used four V100 GPUs to conduct the model training with a batch size of 152 parallel sentences.

## A. 3 Model Release

We release our model at https://github.com/ Mao-KU/EMS. Our model supports the encoding of the following 62 languages: af, ar, bg, bn, ca, cs, da, de, el, en, eo, es, et, eu, fa, fi, fr, gl, gu, he, hi, hr, hu, hy, id, it, ja, jv, ka, kk, ko, ku, lt, lv, mk, ml, mn, mr, ms, my, nb, nl, pl, pt, ro, ru, sk, sl, sq, sr, sv, sw, ta, te, th, tl, tr, uk, ur, vi, yo, zh. $^{14)}$

tences during the training phase, we demonstrate that 120 tokens are sufficient for a single sentence with the complete semantics. For the evaluation, documents longer than 120 tokens can be separated into several sentences, which would not limit the usage of our model.

13) the hidden and attention dropouts

14) Refer to https://en.wikipedia.org/wiki/List_of_Iso_ 639-1_codes for language codes.