# 変更極小性を考慮した改正後法令文の機械翻訳

山腰貴大 ${ }^{1,3}$ 小川泰弘 ${ }^{2}$ 外山勝彦 1
1 名古屋大学大学院情報学研究科 2 名古屋市立大学データサイエンス学部
3 リーガル AI 株式会社
yamakoshi@legalai.jp ogawa@ds.nagoya-cu.ac.jp
toyama@is.nagoya-u.ac.jp

## 概要

一部改正に伴い既存の法令文を翻訳し直す際には，改正前の訳文の表現を維持し，改正により変化した部分のみを翻訳対象にすることが望ましい. この要件を変更極小性と呼び，改正後法令文の翻訳においては，流暢性，妥当性に並ぶ要件である。本研究では，変更極小性を考慮した機械翻訳の実現を目指し, 改正前後の法令文のコーパスの構築, Transformer ベースの機械翻訳手法の開発，変更極小性の評価指標の開発を行った. また，改正後法令文の翻訳実験により，提案手法の有効性を検証した.

## 1 はじめに

法令は，一度制定すれば終わりではなく，社会，経済，自然環境等の変化に応じて適宜改正される。例えば，2023 年にわが国において制定された法律は 89 件であるが，そのうち 70 件は，もっぱら既存の法律の一部を改正する一部改正法律である.

また，国際間取引等のトラブルを防ぐために，法令の翻訳を提供することが重要であるが [1], 法令改正の際には，その内容を国際的に周知するために，翻訳に速やかに反映することが望ましい，わが国では，法務省が日本法令外国語訳データベースシステム JLT (Japanese Law Translation Database System) ${ }^{1)}$ によって主要法令の日本語・英語対訳をウェブ上で提供しているが，時間や人手等の不足により, 法令改正のペースに英訳の修正が追いついていない.

機械翻訳は，この問題を解決できる技術の一つである. 昨今の技術発展により, 人手による翻訳に近い品質の訳文を機械翻訳によって迅速に得られるようになった. しかし, 改正によって一部修正された法令文を翻訳する際には，通常とは異なる注意を払う必要がある．具体的には，改正によって変化しな

1) https://www.japaneselawtranslation.go.jp/ja
い箇所の訳は変えないということである．そのような箇所の訳を不用意に変更すると，当該箇所も改正されたと訳文の読者に受け取られるおそれがある. この要件を変更極小性 (focality) と呼び，改正後法令文の翻訳においては，通常の機械翻訳の要件である流暢性，妥当性と並ぶ第三の要件である．変更極小性は，法令に限らず，文の一部を改正することによりアップデートする文書，例えば，利用規約や製品マニュアルなどの翻訳でも重要となる要件である.

変更極小性を確保した改正後法令文の機械翻訳の実現のため，(1)コーパス，(2) 機械翻訳手法，(3)評価指標を開発した。(1) については，変更極小性を考慮した改正後法令文コーパスを人手で構築した. (2) については, 翻訳対象の文 (改正後の原文) だけでなく, 改正前の訳文も入力し, 後者の表現をコピーできる機構を備える Transformer [2] ベースの機械翻訳手法を開発した。(3) については，変更極小性を測定できる評価指標 ISDIT (Inclusive Score for DIfferential Translation)を開発した。

## 2 背景

法令の一部改正について 2.1 節で述べ，本研究で扱うタスクとその要件を 2.2 節で整理する.

## 2.1 法令の一部改正

わが国において，法令の一部改正を行う際は，いわば「ソフトウェアパッチ」の要領で被改正法令を書き換える[3]. すなわち，文字列や条項を置換，挿入，削除する指示（改め文）を一部改正法令において定め，改め文を改正対象に対して適用することにより法令を改正する. 改め文の例を図 1 に示す. 改め文によって規定される指示は，次のように整理できる [4].
1. 文の一部に対する
(a) 置換,
(b) 挿入,
(c) 削除

民法等の一部を改正する法律（令和元年法律第34号）から抜粋

図 1 改め文

図 2 図 1の改め文に対する新旧対照表

2. 条，項，号等の法令構造に対する

(a) 置換，(b)挿入，(c) 削除.

3. 法令構造に付与された番号の (a) 変更，(b) 割当，(c) シフト.

4. 法令構造の番号と見出しの変更

一部改正の際には，改正法令の適用前後を比較できる新旧対照表が作成される。図 2 は，図 1 の改め文に対する新旧対照表の例である. 改め文により変更を指示された箇所は，下線を付して表される。

## 2.2 改正後法令文の翻訳

本研究は，前節の分類 1. (文の一部に対する修正） に伴う翻訳を扱う．以降，改正前の原文を旧原文， その訳文を旧訳文，改正後の原文を新原文，その訳文を新訳文といい，旧原文，旧訳文，新原文，新訳文からなる組を四つ組という。本研究のタスクは，既存の旧原文と旧訳文を参考に，新原文から新訳文を翻訳するタスクである。その際，新訳文に求める要件は，流暢性（訳文が自然な言い回しであること） と妥当性（原文の意味が訳文に過不足なく含まれていること）だけではない. その例を表 1 に示す.

表 1 に示す二つの新訳文\#1 と\#2は，どちらも，言い回しは自然であり，新原文の意味を反映している. すなわち，どちらも流暢かつ妥当である。 しかし，新訳文\#2 では，旧訳文中の “a document stating” を“writing describing”に変えているが，これは改正の対象ではない. そのため，日本語の分からない読者が旧訳文と新訳文\#2を読んだとき，上述の変更も改正によるものだと誤解するおそれがある. この点で，新訳文\#2は新訳文として適切ではない。した
がって，本タスクにおいては，流暢性，妥当性に加えて，「改正の影響を受けていない部分の翻訳を不必要に変更しない」という要件も必要となる. 本研究では，この要件を変更極小性 (focality) と呼ぶ.

## 3 関連研究

機械翻訳において変更極小性を高めるための方法に，原文と関連する文（以下「関連原文」という.） の訳文（以下「関連訳文」という.）中の単語をコピーする方法がある．統計的機械翻訳（SMT）でこの方法を導入した手法として，Koehn らの手法 [5] や，それを改正後法令文の翻訳に特化させた小酒井らの手法 [6] がある．これらの手法は，原文と関連原文の間の不変化部分を特定し，その不変化部分と対応する関連訳文中の翻訳を固定し，その他の部分のみをSMT によって新たに翻訳する。

ニューラル機械翻訳（NMT）にこの方法を導入した手法として，Junczys-Dowmunt らの手法 [7] やそれを改良した Huang らの手法 [8] などがある. これらは，Transformer [2] をべースとし，原文に加えて関連訳文を入力する。訳文は，一単語ずつ生成していくが，その際に，語彙だけでなく，関連訳文中の単語からも選択する。具体的には，関連訳文中の各単語について「コピーの尤度」を求め，語彙中の各単語の「生成の尤度」と足し合わせることによって，最終的な尤度を計算する。

改正後法令文翻訳のための言語資源として，小酒井らが構築した四つ組データがある [6]. この四つ組データは，JLT の法令対訳データのうち，改正に伴う複数の版が存在する法令 17 件から構築され,四つ組 158 組と改正部分の情報を含む.しかし，訓練データとして用いるには，四つ組の量が極めて少ない。また，改正と無関係の変更を含む新訳文が存在し，変更極小性は完全に保たれていない [9].

## 4 提案手法

本研究では，変更極小性を考慮した改正後法令文翻訳のために，コーパス，機械翻訳手法，評価指標を開発した。本節では，それぞれについて述べる。

## 4.1 コーパス

JLT は，改正に伴い版の異なる法令対訳データを提供しており，それを用いて四つ組を構築することはできるものの，版の間の変更極小性は考慮されていない. そこで，JLT のデータを旧原文・旧訳文，

 &  \\
 &  \\
新訳文\#2 &  \\

e-Gov 法令検索のデータを新原文とし2），旧訳文からの変更極小性を保った新訳文を人手で作成することにより，四つ組コーパスを構築した [9]. 2023 年 11 月までに，148 改正 4,630 組の四つ組を構築し，今後も拡充する予定である.

## 4.2 機械翻訳手法

流暢性，妥当性，変更極小性の鼎立を目指した機械翻訳手法として，Copiable Translation Transformer (CTT) を開発した [10]. CTT の構造を図 3 に示す. CTT は，旧訳文と新原文を入力とし，新訳文を生成する Transformer ベースの手法であり，旧訳文中の単語をコピーできる Copying Mechanism [11]を備えている。具体的には，単語出力の際に，語彙中の各単語の「生成」の尤度と，旧訳文中の各単語の「コピー」の尤度を求め，もっとも高い尤度の単語を出力する. その際，「生成」「コピー」の別の情報，また,「コピー」の場合は，旧訳文中の何番目の単語をコピーしたのかの情報を併せて出力する.

Copying Mechanism を備える手法に，3 節で述べた Junczys-Dowmunt らの手法 [7] やそれを改良した Huang らの手法 [8] などがある.これらの手法は，語彙中の各単語について，生成の尤度とコピーの尤度を合算したうえで最終的な尤度を求めている。 そのため, 出力文中の各単語からは，その単語が生成されたのかコピーされたのかを区別できない.一方，CTT は，出力文中の各単語について，「生成」「コピー」の別，後者の場合はコピー元の単語の場所も出力する. この情報を用い，旧訳文中においてコピーされなかった単語と新原文中において生成された単語をマーキングすることにより，新旧対照表の英訳を下線情報込みで自動生成できる。

2） e-Gov 法令検索（https://elaws.e-gov.go.jp/）は，日本の法令を公開しているデジタル庁所管のウェブサイトである. 同サイ卜は法令改正を速やかに反映する一方，JLT はそうではない．

図 3 Copiable Translation Transformer の構造

## 4.3 評価指標

訳文の自動評価で広く用いられる BLEU [12] や RIBES [13] では，変更極小性は評価対象になっていない. そこで，変更極小性を評価するための指標 ISDIT (Inclusive Score for DIfferential Translation) を開発した [9]. ISDIT の式を以下に示す.

$
\begin{aligned}
& \operatorname{ISDIT}\left(S_{\text {出力文 }} ; S_{\text {旧訳文 }}, S_{\text {参照訳 }}\right)= \\
& \operatorname{Pre}\left(S_{\text {出力文 }} ; S_{\text {参照訳 }}\right) \cdot \operatorname{Rec}\left(S_{\text {出力文 }} ; S_{\text {旧訳文 }}, S_{\text {参照訳 }}\right) .
\end{aligned}
$

ISDIT は，(1) 参照訳に対する出力文の $n$-gram 適合率 $\operatorname{Pre}\left(S_{\text {出力文 }} ; S_{\text {参照訳 }}\right)$ と (2) 参照訳と旧訳文に共通して出現する $n$-gram に対する出力文の $n$-gram 再現率 $\operatorname{Rec}\left(S_{\text {出力文 }} ; S_{\text {旧訳文 }}, S_{\text {参照訳 }}\right)$ の積によって求める. すなわち，参照訳の表現が出力文においてより多く出現するほど，また，旧訳文に存在する表現を出力文がより多く拾えているほど高い評価となる。

## 5 実験

改正後法令文の翻訳実験について述べる.
表 2 比較システム

## 5.1 実験設定

機械翻訳手法として広く用いられている Transformer [2], 変更極小性に強い手法である小酒井らの手法 [6], Huang らの手法 [8] を提案手法と比較する．比較するシステムの一覧を表 2 に示す．表 2 中の「四つ組コーパス」は, 4.1 節の四つ組コーパスであり, 四つ組 4,630 組中 4,297 組を学習データとして用いた. なお, Huang 及び CTT の学習には, 新原文，新訳文，旧訳文を用い， $\mathrm{Trm}_{S}$ の学習には，新原文と新訳文を用いた。表 2 中の「対訳コーパス」 は，JLT から取得した対訳文 391,758 組から構築し， すべて学習データとして用いた. テストデータとして, 上述の四つ組 4,630 組から学習データとは別に 201 組を選択して用いた. コーパスの規模による性能差を調査するため, Transformer は, $\mathrm{Trm}_{S}$ と $\mathrm{Trm}_{L}$ の 2 モデルを学習させた.

各手法は，BLEU，RIBES，ISDIT で評価した. 学習時のハイパーパラメータは，付録 A に示す。

## 5.2 結果

実験結果を表 3 に示す. BLEU, RIBES, ISDIT において最大スコアを記録した手法は，それぞれ, Kozakai, $\operatorname{Trm}_{L}$, CTTであった. Kozakai が BLEU, ISDIT で高いスコアを獲得したのは，改正の対象外と判断した旧訳文の表現を固定し，当該表現を出力文中で確実に反映できたためと思われる。一方， RIBES は語順の一致度により評価するため, 流暢な文を出力できる NMT の手法 $\operatorname{Trm}_{L}$ が高いスコアを獲得したと考えられる．CTT は，規模の小さい四つ組コーパスを用いて学習したが，対訳コーパスを用いた Kozakai や $\operatorname{Trm}_{L}$ と並ぶ結果となった.

出力例を表 4 に示す. CTT, Kozakai は, 改正内容である「前二項」から「前三項」への修正を反映し, その他の表現は旧訳文のものを維持できた。一方， $\mathrm{Trm}_{L}$ は, 流暢かつ妥当な翻訳であるが, 改正対象ではない「証明書」を “a certificate of identification” に変更してしまうなど，変更極小性が損なわれている.表 3 実験結果

表 4 出力例（実線の下線が改正箇所）

 \\

## 6 まとめ

本稿では，改正後法令文向けに開発した機械翻訳手法について述べた. 改正後法令文の翻訳においては，流暢性，妥当性に加えて変更極小性も翻訳の要件となる。 そこで，変更極小性を考慮した改正後法令文コーパス，機械翻訳手法 CTT，評価指標 ISDIT を提案し，提案手法を実験により評価した. 今後は，コーパスの拡充と CTT の改善に取り組む.コー パスの拡充は, NMT の学習データとしては規模が依然小さいため，自動生成によるコーパスの大幅拡充を検討する．CTT は，旧訳文をそのまま出力することが多く $($ 付録 B),この問題の解決を目指す.

## 謝辞

本研究は JSPS 科研費 JP21H03772, JP22H03901 の助成を受けたものです.

## 参考文献

[1] 外山勝彦, 小川泰弘. 自然言語処理の応用に基づく法令外国語訳支援. 人工知能学会誌, Vol. 23, No. 4, pp. 521-528, 2008.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of Advances in Neural Information Processing Systems 30, pp. 6000-6010, 2017.

[3] 法制執務研究会（編）. 新訂ワークブック法制執務第 2 版. ぎょうせい, 2018.

[4] Yasuhiro Ogawa, Shintaro Inagaki, and Katsuhiko Toyama. Automatic consolidation of Japanese statutes based on formalization of amendment sentences. New Frontiers in Artificial Intelligence: JSAI 2007 Conference and Workshops, Revised Selected Papers, Lecture Notes in Computer Science, Vol. 4914, pp. 363-376, 2008.

[5] Phillip Koehn and Jean Senellart. Convergence of translation memory and statistical machine translation. In AMTA Workshop on MT Research and the Translation Industry, pp. 21-31, 2010.

[6] 小酒井款雄, 小川泰弘, 大野誠寛, 中村誠, 外山勝彦. 新旧対照表の利用による法令の英訳修正. 言語処理学会第 23 回年次大会論文集 (NLP2017), pp. 859-862, 2017.

[7] Marcin Junczys-Dowmunt and Roman Grundkiewicz. MS-UEdin submission to the WMT2018 APE shared task: Dual-source transformer for automatic post-editing. In Proceedings of the Third Conference on Machine Translation: Shared Task Papers, pp. 822-826, 2018.

[8] Xuancheng Huang, Yang Liu, Huanbo Luan, Jingfang $\mathrm{Xu}$, and Maosong Sun. Learning to copy for automatic post-editing. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 61226132, 2019.

[9] Takahiro Yamakoshi, Takahiro Komamizu, Yasuhiro Ogawa, and Katsuhiko Toyama. Evaluation scheme of focal translation for Japanese partially amended statutes. In Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp. 124-132, 2021.

[10] Takahiro Yamakoshi, Yasuhiro Ogawa, and Katsuhiko Toyama. Differential-aware transformer for partially amended sentence translation. In Yasufumi Takama, Katsutoshi Yada, Ken Satoh, and Sachiyo Arai, editors, New Frontiers in Artitificial Intelligence, JSAI 2022 Conference and Workshops, Revised Selected Papers, Lecture Notes in Computer Science, Vol. 13859, pp. 5-22, 2023.

[11] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor O.K. Li. Incorporating copying mechanism in sequence-to-sequence learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1631-1640, 2016.

[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[13] 平尾努, 磯崎秀樹, 須藤克仁, Kevin Duh, 塚田元, 永田昌明. 語順の相関に基づく機械翻訳の自動評価法.自然言語処理, Vol. 21, No. 3, pp. 421-444, 2014.

[14] Takahiro Yamakoshi, Takahiro Komamizu, Yasuhiro Ogawa, and Katsuhiko Toyama. Differential translation for Japanese partially amended statutory sentences. In Naoaki Okazaki, Katsutoshi Yada, Ken Satoh, and Koji Mineshima, editors, New Frontiers in Artificial Intelligence. JSAI-isAl 2020. Lecture Notes in Computer Science, Vol. 12758, pp. 162-178, 2021.

## A 学習時のハイパーパラメータ

$\mathrm{Trm}_{S}, \operatorname{Trm}_{L}$ 及び CTT の学習における主なハイパーパラメータは，次のとおりである。

・隠れ層の数 : 6

・アテンションヘッド数 $: 8$

・次元数 : 512

・バッチサイズ： 8

・ドロップアウト率 $: 0.1$
- 最大系列長 : 256

-反復数 : $20,000\left(\mathrm{Trm}_{S}\right), 2,000,000\left(\mathrm{Trm}_{L}\right)$

・ビームサーチ数 : 4

Huang の学習におけるハイパーパラメータは，以下を除き，著者 GitHub リポジトリ ${ }^{3)}$ が提示する設定を使用した。

・バッチサイズ：1,000（実際のバッチサイズは,入力系列の長さに基づいた可変長であり，平均 15 程度である. )
- 反復数 : 20,000

・Evaluation step を実行しない
- Pre-training しない

なお, $\operatorname{Trm}_{S}, \operatorname{Trm}_{L}$, CTT, Huang は, Google Colabを用いて学習した。

## B 提案手法の失敗例

提案手法において，旧訳文をそのまま出力した事例が多く見られた。表 5 にその例を示す。

表 5 の CTT\#1 から CTT\#4 は，ビームサーチによる CTT の 4-best 出力であり, CTT\#1 がベスト出力 （すなわち，提案手法の出力）である. CTT\#1 は，旧訳文そのままである一方, CTT\#4 は, 改正内容である「又は異議申立人」の削除を適切に反映した.また，Kozakai や $\operatorname{Trm}_{L}$ は，旧原文と新原文の間で実質的な変化がない4）「審査請求人」の訳を変えた点で変更極小性を達成できなかったものの, 前述の改正内容を反映した文を出力した.

そのため, CTT の各出力候補を Kozakai や $\operatorname{Trm}_{L}$等の出力文と比較し, 最適な出力候補を選択するアプローチ [14]を導入することにより，旧訳文をそのまま出力する問題の改善が期待できる.

3) https://github.com/THUNLP-MT/L2Copy4APE

4）改め文は，文字レベルの単純な差分ではなく，一定の意味のまとまりを改正対象とする [3] ため，文字列として実質的な変化がない表現を改正対象に含みうる。表 5 旧訳文をそのまま出力した例

 \\

旧訳文 the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the requestor for review or the petitioner for objection.

参照訳 the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the requestor for review.

Kozakai the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the applicant for examination for the .

$\operatorname{Trm}_{L}$ the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the applicant for examination of such date and place.

CTT\#1 the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the requestor for review or the petitioner for objection .

CTT\#2 the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding paragraph, and notify the requestor for review or the petitioner for objection.

CTT\#3 the minister of economy , trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the request the requestor for review or the petitioner for objection .

CTT\#4 the minister of economy, trade and industry must specify the date and place of the hearing of opinions prescribed in the preceding article, and notify the requestor for review.


# 言語の固有次元を測る

上田亮 ${ }^{1}$ 横井祥 ${ }^{2,3}$
1 東京大学 2 東北大学 ${ }^{3}$ 理化学研究所
ryoryoueda@is.s.u-tokyo.ac.jp yokoi@tohoku.ac.jp

## 概要

言語の複雑性に関する問題は言語学や計算機科学に属する複数のドメインで長い間探求されてきたが，近年では特に深層ニューラルネットワークモデルが獲得する自然言語文の表現の複雑性に注目が集まっている.これまでの表現学習モデルがどのような言語の複雑性を捉えてきたのか，またこれからのモデルがどのような複雑性を獲得していけばよいのかを考える契機となることを目的として，本稿では，固有次元の観点から言語の複雑性を推定する。実験の結果，最近のモデルから得られた表現であっても固有次元の推定値は数〜十数程度となり，言語の持つ本質的な次元の小ささが示唆された.

## 1 はじめに

本稿の目的は, 固有次元の観点から自然言語の複雑性について考えることである. 固有次元 (Intrinsic Dimension) とは，大雑把に言えばデータセットの表現するのに必要最小限の変数（軸）の個数のことである．表現学習によって推し進められた言語表現の複雑さを固有次元というレンズを通じて検討することで，十年来の表現学習のモデルの進化によっていかなる意味の軸が追加されてきたのか, 大規模言語モデルの次元をどこまで上げれば良いか，といった困難な問題を解き明かすための一歩としたい.

言語の複雑性に関する探究は古くから存在する. 20 世紀の統語理論や形式言語理論においては，オー トマトンや文脈自由文法，文脈依存文法，Turing 機械などの形式的な道具立てを用いて言語をモデル化しようとする試みがなされ，Chomsky 階層という概念としてまとめられるに至った ${ }^{1)}$.また，計算言語学やコーパス言語学の方面においては, Zipf の法則

1）特に近年では，文脈自由文法と文脈依存文法の間に位置する弱文脈依存文法が文の統語構造を良くモデル化できるという説が有力視され，組合せ範疇文法 $[1,2,3]$ を代表とする弱文脈依存文法を用いた形式的・実験的な検証が 21 世紀の今日でも盛んに行われている.
[4] や Heaps の法則 [5] などが知られている.これらの統計的普遍性質は共通して言語コーパスが大きければ大きいほど，そこに出現する語彙 (単語の種類数) も無際限に多くなっていくことを示唆しており，言語におけるスケールフリー性として知られている。また計算モデルの観点からの複雑性に関する議論も盛んである。言語データはマルコフ過程程度では到底モデル化できないような非常に長い距離の依存関係を有しているという指摘もある (e.g., 長相関) $[6,7]$. Pitman-Yor 過程に代表されるような，言語を記号の生成過程としてモデル化し，言語と同等の複雑さをもつような生成過程を探求する向きもある $[8,9]$. エージェント (ロボット) 間にゼロからコミュニケーションプロトコルを創発させる記号創発 [10] や言語創発 [11] も，言語現象を観察する代わりに構成 (construct) することを通して言語の複雑性に迫る試みである。 さらには，Montague やその後に続く論理学者たちが行ってきたような形式意味論的アプローチも, Frege の原理 (構成性原理) を前提として，文と意味の関係性に関する考察を重ねてきたという点において，言語の複雑性に関する一連の探究と見做せるかもしれない.

本稿では，言語のモデルおよびこれらのモデルが捉えるコーパスの複雑さを，固有次元の観点から明らかにすることを試みる。深層学習の利用が主流となっている近年の自然言語処理では，自然言語文 $x \in \mathcal{X}$ は往々にして何らかの(ニューラルネットワーク) モデル $f_{\theta}: \mathcal{X} \rightarrow \mathcal{Z}$ を用いて表現 (representation) $z \in \mathcal{Z}$ に変換される.このやり方によって多くの自然言語処理タスクが高い精度で解けていることから，深層学習モデルから得られる文の表現は，自然言語文の持つ様々な意味の情報を適切に保持していると考えられている2)。また通常，表現 $z$ は固定次元の実数ベクトル，すなわち連続的な

2) 特に近年では大規模言語モデル (LLM) の性能向上が目覚ましく，もしかしたら (人類の知識や常識をも含めた) 言語の複雑性は高々数十〜数百億個程度のパラメータに保存可能なのではないかとさえ思わせるほどである.
量として表されるため, 離散シンボル列である生の自然言語文 $x$ よりもデータの性質を調べる上で扱いが容易である．以上のような理由から，本稿では， モデルから得られる表現と, 表現の複雑さの度合いを自然に測れる固有次元推定という道具を通して， モデルとコーパスの複雑さの問題に迫ってみたい.

連続表現の集合の複雑さを表す量のひとつである固有次元の推定方法としては, 近年高次元データ解析の文脈 [12] でしばしば用いられる TwoNN [13]を採用する. TwoNN はデータ点 $\boldsymbol{z}, \boldsymbol{z}^{\prime}$ 間の距離 $d\left(\boldsymbol{z}, \boldsymbol{z}^{\prime}\right)$ の情報を必要とするが，表現 $z$ は固定次元の実数べクトルであるから，自然な距離として Euclidean 距離などを考えることができる 3 ). 実験では，(ニュー ラルネットワーク) モデルとして Glove や BERT, GPT-2, SimCSE などの幅広いモデルを用いた. さらに，表現 $z$ を介さずに距離を定義できる Levenshtein 距離を用いた検証や，単純な単語の頻度情報を並べてべクトルとしただけの表現 (Bag-of-Words) をべー スラインとして比較した。

実験の結果，今回用いたモデルやコーパスにおいては, 自然言語文の推定固有次元は数〜十数程度であることが明らかになった。

## 2 TwoNN を用いた固有次元推定

大規模な高次元データは自然言語をはじめ自然界に幅広く存在するため，これを適切な方法で処理・分析するための方法が模索されてきた. 高次元デー タの分析においては，しばしば多様体仮説が前提とされる. 多様体仮説というのは, 現実世界から得られる高次元データセットは，実は見かけよりも次元の小さな多様体上に分布しているはずだ，という考え方である.この上で，データセットが張る多様体の次元一固有次元 (Intrinsic Dimension; ID) —を推定することが，高次元データの分析における主要課題の一つとなっている. 固有次元の推定はいくつかの難しさを伴う．たとえば，高次元データに潜む多様体は往々にして非 Euclidean であり，捩じれたり曲がったりしているものである。また，実際に得られるデータセットが潜在的な多様体の上に均一に分布しているとは限らない.

これに対し， [13] は TwoNn という新たな固有次元推定アルゴリズムを提案し，上に挙げたような問題がある程度克服できることを理論・実験の両面か
$ を介ざに直接文間の距離 $d\left(\boldsymbol{x}, \boldsymbol{x}^{\prime}\right)$ を定めることのできる関数を用いてもよい.
}

ら示した。

興味を持たれる読者のために，TwoNN の直感的な計算手順と利点を詳述する. TwoNN はデータ $\boldsymbol{z}, \boldsymbol{z}$ 間の距離 $d\left(\boldsymbol{z}, \boldsymbol{z}^{\prime}\right)$ の情報を用いて固有次元を推定する. 各データ $z$ について, 距離関数 $d$ に関して $z$ に最も近い別のデータ $z^{(1 \text { st })}, 2$ 番目に近いデータ $\boldsymbol{z}^{(2 \mathrm{nd})}, 3$ 番目に近いデータ $\boldsymbol{z}^{(3 \mathrm{rd})}, \cdots \cdots$ と順にデータを並べていく状況を考えてみよう．このとき， $z$ が属している多様体の次元が大きいほど $z^{(1 \mathrm{st})}, \boldsymbol{z}^{(\text {2nd) }}, \boldsymbol{z}^{(\mathrm{rrd})}, \ldots$ の系列が $z$ から “遠ざかっていくスピード”も大きくなっていくはずである．特に，潜在的な多様体が全体的には抳じれたり曲がっていたりしたとしても，最初の 2 点 $\boldsymbol{z}^{(1 \text { st) }}, \boldsymbol{z}^{(2 \mathrm{nd})}$ は $\boldsymbol{z}$ にごくごく“近い”場所にあるはずなので，多様体の複雑な構造の影響をそれほど受けることなく $z$ の周りで “均一に” 分布しているデータのサンプルと思うことができ，それ故により正確に“遠ざかっていくスピード”を推定できそうである.このことを理論面から丁寧に説明し, シンプルなアルゴリズムとしてコンパクトにまとめたことが [13] の主要な貢献であり，TwoNN の利点である.

TwoNN の具体的なアルゴリズムは以下の通り。 データセット $\left.\{\boldsymbol{z}^{(i)}\right.\}_{i=1}^{N}$ および距離関数 $d: \mathcal{Z} \times \mathcal{Z} \rightarrow$ $\mathbb{R}_{\geq 0}$ を入力として，

1. 各点間の距離 $\left.\{d\left(\boldsymbol{z}^{(i)}, \boldsymbol{z}^{(j)}\right)\right.\}_{1 \leq i<j \leq N}$ を測る.

2. 各 $1 \leq i \leq N$ について, 計算した距離に基づき $\boldsymbol{z}^{(i)}$ に最も近い $2 \supset の$ 点を見つけ，その距離をそれぞれ $r^{(1 \text { st })}, r^{(2 \mathrm{nd})}$ とする。

3. 各 $1 \leq i \leq N$ について $\mu^{(i)}=r^{(2 n d)} / r^{(\text {1st })}$ とおく.
4. $\left(\mu^{(1)}, \ldots, \mu^{(N)}\right)$ を昇順に並べ替えた結果得られる順列を $\sigma:\{1, \ldots, N\} \rightarrow\{1, \ldots, N\}$ とし，各 $1 \leq i \leq N$ について $F^{\mathrm{emp}}\left(\mu^{(\sigma(i))}\right)=i / N$ とおく.
5. $\left.\{\left(\log \mu^{(i)},-\log \left(1-F^{\mathrm{emp}}\left(\mu^{(i)}\right)\right)\right.\}_{i=1}^{N}\right.$ という形で表されるデータセットを考え，これに当てはまるように直線回帰をする. 回帰の結果得られる傾きが固有次元の推定値である.

## 3 問題設定と実験設定

## 距離の取り方について

特に今回は「文」を分析の単位とし，文間の距離を定めた上で TwoNNにより固有次元を推定する. すなわち，距離が入っている空間（ないしそれを計算可能にする各文埋め込み空間）のそれぞれで，文

の集合がどの程度の固有次元（広がり）を持つのかを推定する。具体的な距離構造・表現モデルとして以下を扱う：

・文字を単位とする Levenshtein 距離 (編集距離).
- 単語を one-hot 符号化しておき，文に出現する単語の one-hot 符号を足し合わせて得られるべクトルを文の表現 (Bag-of-Words; BoW) としたときの，表現間の Euclidean 距離.

・単語を Word2 Vec 系モデルで符号化しておき，文に出現する単語の符号の平均をとって得られるべクトルを文の表現 (所謂分散表現) としたときの，表現間の Euclidean 距離.

・BERT 系 Transformer モデルに文を入力したときに得られる，[CLS] の埋め込み表現を表現としたときの, Euclidean 距離.

・GPT 系 Transformer モデルに文を入力したときに得られる，最後のトークンの最終層の隠れ状態を表現としたときの，Euclidean 距離.

Word2Vec 系のモデルとしては，GenSim ライブラリ [14] から得られる 'glove-wiki-gigaword-50' (以降 Glove-50 とする) 及び 'glove-wiki-gigaword-300’ (Glove-300) [15] を用いた. BERT 系のモデルとしては, HuggingFace ライブラリ [16] か得られる 'bert-base-uncased' (BERT) [17] 及び対照学習モデルである 'princeton-nlp/unsup-simcse-bert-base-uncased' (SimSCE) [18] を用いた. GPT 系のモデルとしては, HuggingFace ライブラリから得られる 'gpt2' (GPT-2) [19]を用いた.

## 取り扱うコーパスについて

また，今回対象とする自然言語は，NLTK ライブラリから簡単にダウンロードできる幾つかの英語のデータセットとする。具体的には The Reuters-21578 benchmark corpus, ApteMod version (reuters) と Web Text Corpus (webtext)を採用する.これらのデータを文ごとに区切り, 小文字に統一し, 改行文字を取り除き,連続するスペース文字列を 1 文字に置き換えた。

今回採用するコーパスには，それぞれ数万文が収録されている．各コーパスに含まれるすべての文ぺアについて距離を計算するのは計算コストがかかるので，今回はコーパスから 1,024 文ずつ非復元サンプリングをしてミニバッチとし，ミニバッチ内で固有次元を推定したのち，それらの平均と標準誤差を掲載するという形をとることにする。勿論十分な時間と計算リソースをかければ全ての文ペアについての距離を計算することは可能である。これについては今後の課題とする.

## 4 実験結果

表 1 TwoNN を用いた固有次元の推定結果. 小数点第 3 位を切り捨てて表示している。(土) は標準誤差を表すにちらも小数点第 3 位切り捨て).

TwoNN を用いて自然言語文の固有次元を推定した結果を表 1 に示す. 少なくとも今回の設定においては，推定固有次元は数〜十数次元程度に収まるようである．ただし，今回対象としている文の表現 (representation) がある種の不可逆圧縮になっている可能性に注意する必要がある. BoW は言語の語順に関する情報を捨てているし，Word2Vec (Glove-50， Glove-300) はそこからさらに one-hot 符号化された単語を embedding として圧縮していることになる. BERT や SimCSE の [CLS] トークンはあくまでテキスト分類に役立つ情報を保持しているにすぎず，文の情報全てを保存しているとは限らない. GPT-2 に関しては，最後のトークンに対応する隠れ状態のみを用いているため，せいぜい次のトークンを予測するのに役立つ程度の情報しか保持されていないかもしれない。つまり，仮に文の情報全てを保持する表現があったとするならば，その表現の固有次元は今回得られた結果よりも大きい可能性がある.

個別の結果を見ていくと，まず Glove-50/300 の推定固有次元が，BoW のそれより小さいことに気が付く. reuters に関して言えばその差はわずかである. これは, one-hot 符号化された単語を embedding として大幅に圧縮しているしていることに起因すると考えられる。また，BoW の推定固有次元がせいぜい数〜十数程度しかないことを踏まえれば，one-hot 符号ではなく，高々数十次元程度の embedding として表現する Word2Vec の方法論の合理性が伺える。また，BERT と SimCSE の結果を比べると SimCSE の
推定固有次元のほうが小さくなっている.これは,対照学習によって表現が単純化されたことに起因すると考えられる. テキスト分類のタスクにおいて， しばしば事前学習済みの Transformer モデルに線形分類器を取り付けたものが用いられることを踏まえれば，こうした単純化は (線形写像にも分離可能な単純な空間を作るという意味において) 合理的に思われる。なお，GPT-2 の推定固有次元は Word2Vec のそれよりも小さいが，これは上でも述べたように，次のトークンを予測するのに役立つ程度の情報しか保持していない可能性が考えられる。

## 5 構造を保つ写像としての言語：言語創発の観点から

本節では，言語創発の分野と関連付けながら，言語の複雑性に関するさらなる考察を綴る。人工エー ジェントの間でコミュニケーションをさせ，言語の創発をシミュレーションを試みる言語創発 (創発コミュニケーション; EC) は，構成論的なアプローチによって言語の複雑性に迫ろうという挑戦的な分野である。人工エージェント間に生じるコミュニケー ションプロトコル—創発言語—は，しばしば(“話す”行為に相当する) 意味 $\boldsymbol{z} \in \mathcal{Z}$ から記号 $x \in \mathcal{X} への$ 写像 $S: \mathcal{Z} \rightarrow \mathcal{X}$ もしくは (“聞く”行為に相当する) 記号から意味への写像 $R: \mathcal{X} \rightarrow \mathcal{Z}$ として定義される.創発言語は我々人間の話す自然言語とは当然異なるので，何らかの方法で創発言語の「自然言語らしさ」 を評価する必要があるのだが，言語創発でよく用いられるのは Topographic Similarity (TopSim) [20, 21] という評価指標である. 大雑把にいえば，TopSim は写像 $S$ の等長写像的な振舞いを評価する指標である. 即ち, ある固定の $k \in \mathbb{R}_{>0}$ が存在して, 任意の $\boldsymbol{z}, \boldsymbol{z}^{\prime} \in \mathcal{Z}$ について $d_{\mathcal{Z}}\left(\boldsymbol{z}, \boldsymbol{z}^{\prime}\right)=k d_{\mathcal{X}}\left(S(\boldsymbol{z}), S\left(\boldsymbol{z}^{\prime}\right)\right)$ となるとき，TopSim は最大值になる ${ }^{4)} . d_{\mathcal{Z}}, d_{\mathcal{X}}$ はそれぞれ $\mathcal{Z}, \mathcal{X}$ 上の距離関数である. TwoNN の理論とアルゴリズムが示唆しているように，データ間の距離はデータセットの固有次元の情報を含んでいるわけであるから，TopSim は暗に「意味空間と記号空間の (固有次元的な意味での) 複雑性を同等にせよ」あるいは「写像 $S: \mathcal{Z} \rightarrow \mathcal{X}$ は距離構造を保存する写像であれ」という要請を評価の基準にしていることになる. 興味梁いことに, EC の研究者は TopSim のことを構成性 (Compositionality) の評価指標だと思っている. 関数の等長写像性という観点から TopSim を

紹介された後に，それが構成性の指標であるといわれるとなんだか不思議なことのように思われるかもしれない。しかし, ECにおける「構成性」は, Type Logical Grammar (TLG) [22] のような, 形式的に構成性を取り扱う言語理論分野における「構成性」と案外よく似た考え方をしているのではないかと考えられる，TLGにおいては，文や意味を群に似たものとして定義し，構成的な semantic parser を群準同型に似たような形で定義する5)。つまり，TLGにおいては (距離ではなく) 何らかの演算によって作られた構造を保存するような写像が構成的な言語であると考えられているわけである．従って，ECにおける 「構成性」もTLGにおける理論言語学的な「構成性」 も，「何らかの構造を保つように写像すること」という点で価値観を共有している。

Frege の原理 (構成性原理) がある程度正しい想定であると信じる場合，“聞く”行為や“話す”行為は単に「(ある程度) 構造を保存する写像」であるということになる．写像としての言語に何らの制約も課さないとなると議論のしようがなくなってしまうので，こういった制約を課すこと自体は至極当然のことと思える．ただし，そうだとすると，本稿で我々が言ってきたような言語の複雑性や固有次元といったものの正体は「意味」にあって，単に言語は「意味」の複雑性を投影する「記号」にすぎないということなのだろうか？逆に，言語にまつわる統計的必然性に関する研究が主張しているように，「記号」 こそが複雑性の正体であって，それを「意味」に投影するから人間は複雑な意味を操作できるようになったのであろうか？ あるいは，重要なのは「意味」と「記号」の相互作用であって，どちらか一方だけで十分な複雑性が生じることはないのであろうか？恐らくどれも作業仮説としては妥当な問いである。重要なのは，今後も様々な問いを通して言語の複雑性を探求していくことであろう.

## 6 まとめと今後の展望

本稿では，言語の複雑性を測ることを目的として，自然言語文の固有次元を TwoNN を用いて推定した. 結果として，今回の設定では自然言語文の推定固有次元は数十数程度となった. より多くの言語やコーパス，モデルを対象とする調査は今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP23KJ0768，JP22H05106 の助成を受けたものです.

## 参考文献

[1] Mark Steedman. Surface structure and interpretation, Vol. 30 of Linguistic inquiry. MIT Press, 1996.

[2] Mark Steedman. The syntactic process. Language, speech, and communication. MIT Press, 2000.

[3] 戸次大介. 日本語文法の形式理論-活用体系・統語構造・意味合成-. 日本語研究叢書 (フロンティアシリーズ）.くろしお出版, 2010.

[4] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[5] H. S. Heaps. Information Retrieval: Computational and Theoretical Aspects. Academic Press, Inc., 1978.

[6] Henry W. Lin and Max Tegmark. Critical behavior in physics and probabilistic formal languages. Entropy, Vol. 19, No. 7, 2017.

[7] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[8] Y. W. Teh. A Bayesian interpretation of interpolated Kneser-Ney. Technical Report TRA2/06, School of Computing, National University of Singapore, 2006.

[9] Yee Whye Teh. A hierarchical Bayesian language model based on Pitman-Yor processes. In Nicoletta Calzolari, Claire Cardie, and Pierre Isabelle, editors, Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 985-992, Sydney, Australia, July 2006. Association for Computational Linguistics.

[10] Tadahiro Taniguchi, Yuto Yoshida, Akira Taniguchi, and Yoshinobu Hagiwara. Emergent communication through metropolis-hastings naming game with deep generative models, 2023.

[11] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era, 2020.

[12] Alessio Ansuini, Alessandro Laio, Jakob H. Macke, and Davide Zoccolan. Intrinsic dimension of data representations in deep neural networks. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6109-6119, 2019.

[13] Elena Facco, Mariad' Errico, Alex Rodriguez, Alessandro Laio. Estimating the intrinsic dimension of datasets by a minimal neighborhood information. Scientific reports, Vol. 7, No. 1, p. 12140, 2017.

[14] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.

[15] Jeffrey Pennington, Richard Socher, and Christopher Man- ning. GloVe: Global vectors for word representation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar, October 2014. Association for Computational Linguistics.

[16] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Huggingface's transformers: State-of-the-art natural language processing, 2020.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[19] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[20] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[21] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[22] Michael Moortgat. Chapter 2 - categorial type logics. In Johan van Benthem and Alice ter Meulen, editors, Handbook of Logic and Language, pp. 93-177. NorthHolland, Amsterdam, 1997.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 意味変化の統計的法則は 1000 年成り立つ

川崎義史 ${ }^{1}$ 高村大也 ${ }^{2}$ 永田亮 ${ }^{3}$
1 東京大学 2 産業技術総合研究所 3 甲南大学
ykawasaki@g.ecc.u-tokyo.ac.jp takamura.hiroya@aist.go.jp
nagata-nlp2024@ml .hyogo-u.ac.jp.

## 概要

本稿は，ラテン語とロマンス語を対象として，意味変化の統計的法則が 1000 年にわたり成り立つことを示す。単語間の意味のずれは，対応する分散表現の余弦距離で測る。分散表現は聖書をコーパスとして学習した。回帰分析の結果，頻度が高い・多義性の低いラテン語語源ほどロマンス語形との意味のずれが小さくなる傾向が見られた。これは，意味変化の統計的法則が，ラテン語とロマンス語を隔つ長期間にわたり成り立つことを示唆する。

## 1 はじめに

Hamilton らは分散表現を用いて複数の言語の通時的意味変化を分析した [1]。意味変化の度合いは，対応する単語間の分散表現の余弦距離で測った。そして，下記の意味変化の統計的法則を発見した：

$\cdot$高頻度語ほど意味変化の度合いが小さい

・多義語ほど意味変化の度合いが大きい

しかし，分析の射程は直近 200 年程度であり，この法則が長期にわたり成り立つかは自明ではない。

そこで本稿では，ラテン語とロマンス語を対象として，この法則を再訪する。ロマンス語とは，フランス語（仏)，イタリア語（伊），スペイン語（西）, ポルトガル語 (葡)，ルーマニア語（羅）など，ラテン語から派生した姉妹言語の総称である $[2,3,4]^{1)}$ 。母体であるラテン語まで最大 2000 年程度遡ることができる，ラテン語のデータが比較的豊富に存在する，複数の姉妹言語間で比較ができる点で，ロマン入語は長期の通時的変化の分析に適している。本稿で扱うロマンス語は仏伊西葡羅の 5 つとする。ラテン語語源とそのロマンス語形の単語ペアの

例を表 1 に示す 2$)$ 。例えば，ラテン語 HABERE「持つ」 は，仏 avoir，伊 avere，西 haber，葡 haver，羅 avea に対応する。仏伊羅では元来の「持つ」という意味を保持している一方，西葡ではこの意味は失われ，存在表現や完了時制を作る助動詞として使用される。 このように，ロマンス語形ではラテン語語源の意味や用法から乘離することがある。

ラテン語語源とロマンス語形の意味のずれは，対応する分散表現の余弦距離で測る $[1,5]$ 。各言語の分散表現は，聖書をコーパスとして学習する3)。次いで，全言語の分散表現のアラインメントを取る。 その後，余弦距離を従属変数，ラテン語語源の頻度と多義性を説明変数として回帰分析を行い，変数間の統計的関係を分析する。そして，ラテン語とロマンス語を隔つ 1000 年以上の長期にわたり意味変化の統計的法則が成り立つことを示す。

## 2 関連研究

Hamilton らは，分散表現を用いて複数の言語の通時的意味変化を分析し，高頻度語ほど意味変化の度合いが小さく，多義語ほど意味変化の度合いが大きくなるという統計的法則を発見した [1]。しかし，分析の射程は 1800 年から 2000 年代までの約 200 年であり，この法則がより長期にわたり成り立つかは自明ではない。ロマンス語の意味変化を扱った研究は複数存在する $[6,7,8,9]$ 。Uban らは，ラテン語語源とロマンス語形との意味のずれを分析した [7]。 しかし，ラテン語の分散表現は Wikipedia のラテン語記事で学習したため，典型的なラテン語を反映し

2）ラテン語はスモールキャピタルで表す。

3）旧約聖書と新約聖書をまとめて聖書と呼ぶことにする。

ているとは言えない。Kawasaki らは，ラテン語語源の頻度や多義性に基づいてロマンス語同源語間（例えば，仏 avoir と西 haber）の意味のずれを分析し，上記の法則がおよそ成り立つことを示した [9]。しかし，ラテン語語源とロマンス語形との意味のずれを直接測ったわけではない。そこで本稿では, 両者の意味のずれを適切な手法で測り，意味変化の統計的法則が長期にわたり成り立つか調査する。

## 3 データ

本稿では，多言語の分散表現のアラインメントを取る必要がある。学習コーパスの違いが，対応する単語間の分散表現のずれを誘発しないように，各言語の分散表現を内容が均質なコーパスで学習することが理想的である。そこで，聖書をコーパスとして用いた。聖書はトークン数は少ないものの，言語に依らず同一内容のため本稿の目的に適している。

聖書のテキストは Christodouloupoulos \& Steedman $[10]^{4}$ から入手した。使用した聖書の翻訳年，トークン数，語彙サイズを表 2 に示す5)。ロマンス語聖書の翻訳時期は合わせることが理想的だが，本稿では利用可能性なこれらの版を用いる。ラテン語とロマンス語の聖書には 1100 年以上の年代差があるため，長期の通時的分析が可能になる。

## 4 手法

まず，テキストデータの基本形化と品詞タグ付けを行った。ラテン語には lamonpy6)を，ロマンス語には spaCy 3.7.27)の各言語の core_news_lg モデルを使用した。両タガーの品詞タグ統一のために, spaCy の出力の AUX を VERB に, CCONJ と SCONJ を CONJ に，DET をADJ に，PART と SYM を OTHERS に変換した。両タガーは固有名詞の認識が苦手だったため，後述のシード語ぺアのみ主格

と斜格の全変化形を列挙し，人手でタグ付けした。 その後, gensim の Word2Vec $[11]^{8}$ で各言語の分散表現の学習を行った。聖書のトークン数が少ないのを補うために epochs=100とした。それ以外は，デフォルトのハイパーパラメータを用いた。分散表現の次元数は 100 である。

次いで，ラテン語語源とロマンス語形の意味のずれを測るために，各ロマンス語の分散表現をラテン語のべクトル空間に写像した。関連研究 $[12,9]$ と同様に，プロクラステス解析 [13] により言語間のアラインメントを取った。シード語として, 人名 (「アブラハム」，「イエス」等）や地名（「エルサレム」，「エジプト」等）のような固有名詞に加えて，数詞，人称代名詞 (「私」，「君」等)，接続詞 (「そして」，「もしくは」等)，文末記号など高頻度の約 230 ペアを用いた。これは, 語彙サイズの 1 - $2 \%$ に相当する。聖書は同一内容のため, シード語の分散表現は言語間でほぼ一致すると仮定した。シード語の例を表 3 に示す。シード語は必ずしも同源語とは限らず，言語によりペア数は若干変動する。

後述の回帰分析の対象とする単語ペアは，ラテン語聖書において頻度が 200 以上の内容語（動詞, 名詞，形容詞）と，そのロマンス語形とした。ロマンス語形の同定は, Wikitionary ${ }^{9}$ や辞典 ${ }^{10)}$ の語源欄を参照して行った。すべてのラテン語語源がロマンス語に継承されているわけではない。表 4 に示すように，単語ペア数は言語により変動する。特にルーマニア語は単語ペア数が少ない。これは，スラブ語との接触や地理的隔絶のために, 多数のラテン語語源が継承されなかったためである $[2,3,4]$ 。

ラテン語語源とロマンス語形の意味のずれは,対応する分散表現間の余弦距離 $d\left(w_{l a}, w_{r o}\right)_{c o s}=$ $1-\cos \left(w_{l a}, w_{r o}\right)$ で測った。ここで, $w_{l a}$ はラテン語語源， $w_{r o}$ はロマンス語形を表す。この余弦距離を従属変数, ラテン語語源の頻度 $f r_{l a}$ と多義性 poly la $_{l a}$

表 4 回帰分析の対象としたラテン語語源とロマンス語形の単語ペア数

を説明変数として回帰分析を行い，変数間の統計的関係を分析する。ラテン語語源の頻度は聖書での生起回数，多義性は辞典 [14] 掲載の語義数とした。用いる変数やモデルは Hamilton ら [1] に従った。ただし, Hamilton ら [1] が定義する多義性は頻度と高い相関を示す [15] ため，本稿では採用しなかった。全変数を対数変換後，平均が 0 ，分散が 1 になるように標準化した上で回帰分析を行った。回帰モデルを式（1）に示す：

$\log d\left(w_{l a}, w_{r o}\right)_{c o s}=\beta_{0}+\beta_{1} \log f r_{l a}+\beta_{2} \log$ poly $_{l a}+\epsilon$

ただし， $\left.\{\beta_{0}, \beta_{1}, \beta_{2}\right.\}$ は推定すべきパラメータ， $\epsilon \sim$ $\mathcal{N}\left(0, \sigma^{2}\right)$ は誤差とする。パラメータは statsmodels $0.14 .1[16]^{11)}$ で求めた。

## 5 実験

以下の説明ではスペイン語を例として示すが，他の言語でもほぼ同様の結果が得られた。

## 5.1 多言語分散表現

ラテン語とスペイン語のシード語ペア 227 対の余弦距離の平均 (標準偏差) は 0.15 (0.06), 両言語から 1 語ずつ無作為に選んだ同数のランダム単語ぺアでは 0.87 (0.09) となった。シード語ぺアの距離は小さく, ランダム単語ペアの距離は大きいことから，最低限のアラインメントは取れている。

図 1 は，回帰分析の従属変数となるラテン語語源とロマンス語形の余弦距離の分布を示している。余弦距離はおおよそ正規分布に従っている。表 5 は，言語別の余弦距離の平均と標準偏差（カッコ内）を示している。いずれの言語でも全体平均は約 0.64 となった。この値は, Kawasaki ら [9] のロマンス語同源語間の余弦距離の平均の約 0.4 に比べ大きい。本稿では, シード語ぺアの大半が固有名詞という特殊な単語群のため，アラインメントが不十分な可能性がある。また，学習コーパスが小さいため，そもそ

11) https://www.statsmodels.org/stable/index.html

図 1 ラテン語語源とロマンス語形の余弦距離の分布

も分散表現の学習が不十分な可能性もある。あるいは，ラテン語とロマンス語には，この程度のずれが内在しているのかもしれない。

表 6 に, 余弦距離が最小・最大となるラテン語語源とスペイン語形のペア 5 対を示す。余弦距離が最大になるのは CAPUT「頭」と cabo「先端」のペアである。確かにスペイン語では cabo を「頭」の意味で使うことはない。一方で, CAPUT の最近隣語が cabeza「頭」（0.60）となるのは適切と言える。他の言語でも，CAPUT の最近隣語は，「頭」を表す伊 testa（0.59），葡 cabeça（0.55）, 羅 cap（0.57）となり直感に合う。ただし，仏では aigu「鋭い」（0.58） が最近隣語となり, tête「頭」(0.66) はやや離れる。

## 5.2 回帰分析

ラテン語語源とスペイン語形の余弦距離を従属変数とした回帰分析の結果を表 7 に示す。その他の言語の回帰分析の結果は付録 A に示す。

## 6 考察

## 6.1 回帰係数

回帰係数の値は, 頻度が-0.37, 多義性が 0.37 で, どちらも有意だった ${ }^{12)}$ 。この結果は，意味変化の統計的法則が，ラテン語とスペイン語を隔つ 1000 年以上にわたり成り立つことを示唆する。値の大小はあるものの，他の言語でも同様の傾向が見られた。 つまり，上記の法則はロマンス語全般に成り立つといえる。回帰係数の絶対値はスペイン語ではほぼ等しいが，他の言語では頻度の方が多義性よりも大きくなった。これは，頻度の方が多義性よりも意味変化に大きな影響を与えることを示唆する。

12）本稿では有意水準を $5 \%$ とする。
表 5 ラテン語語源とロマンス語形の余弦距離の平均と標準偏差（カッコ内）

表 6 ラテン語語源とスペイン語形の余弦距離が最小・最大となる単語ペア：id. (idem) はラテン語語源と同義であることを表す

表 7 ラテン語語源とスペイン語形の余弦距離を従属変数とした回帰分析の結果 $(N=147, A d j . R 2=0.18)$

## 6.2 決定係数

自由度調整済み決定係数（以下，決定係数）の値 0.18 は，ラテン語語源の頻度と多義性が全分散の約 20\%を説明することを意味する。これは，頻度と多義性の影響は限定的で，意味変化に寄与する言語内外の要因が他にも存在することを示唆する [15]。決定係数は仏 $(0.13)<$ 葡 $(0.16)<$ 西 $(0.18)<$ 伊 $(0.21)$ <羅 (0.25) の順で大きくなった。ロマンス語聖書の翻訳年には最大 350 年の開きがあるが，翻訳年と決定係数には有意な順位相関は見られなかった $(\rho=0.10 ; \quad p=0.87)$ 。つまり，ラテン語聖書との年代差が大きいからといって，説明変数以外の要因の影響が大きくなるわけではないようである。

## 6.3 品詞の影響

余弦距離は，全言語で名詞<動詞<形容詞の順で大きくなった（表 5)。品詞の区別の有効性を吟味するため，線形混合効果モデル [17] で分析を行った。品詞のランダム効果を表すために，品詞ごとに異な
る切片を設けた。パラメータはR $9 ~ l m e 4 ~[18]^{13)}$ で求めた。後述の尤度比検定のために最尤法で推定を行った [17]。回帰モデルを式（2）に示す。

$
\begin{aligned}
& \log d\left(w_{l a}, w_{r o}\right)_{c o s}= \\
& \beta_{0}+\beta_{\text {pos }}+\beta_{1} \log f r_{l a}+\beta_{2} \log \text { poly }_{l a}+\epsilon
\end{aligned}
$

ここで $\beta_{p o s}$ は品詞ごとのランダム切片を表す。

ランダム切片は名詞<動詞<形容詞の順で大きな値となった。しかし, 尤度比検定の結果, 品詞のランダム効果は有意ではなかった。つまり，ラテン語語源の頻度と多義性の固定効果のみで十分であり, 品詞の区別は有効ではないことが示唆された。 また，品詞ごとに傾きが異なる可能性があるため, ランダム傾きを含むモデルも検討した。しかし，ランダム効果の分散が極めて小さいため，モデル推定は不首尾に終わった。ただし，これはデータ量が少ないことに起因する可能性もあり，今後データを増やした上で改めて分析する必要がある。

## 7 おわりに

本稿は，ラテン語とロマンス語を対象として，意味変化の統計的法則が長期にわたり成り立つか調査した。単語間の意味のずれは，対応する分散表現の余弦距離で測った。分散表現は聖書をコーパスとして学習した。回帰分析の結果，頻度が高い・多義性の低いラテン語語源ほどロマンス語形との意味のずれが小さくなる傾向が見られた。これは，意味変化の統計的法則が，ラテン語とロマンス語を隔つ 1000 年にわたり成り立つことを示唆する。

今後の課題として，以下の 3 点が挙げられる。まず，ロマンス語形の同定を進め，データ数を増やす必要がある。第二に，ラテン語文献のロマンス語訳などを用いて，本稿の結果が，聖書以外のコーパスで分散表現を学習した場合にも成り立つか確認する必要がある。第三に，文脈付き単語埋め込みを活用した手法 [19] や言語間のアラインメントを必要としない手法 [20] も検討したい。

13) https://cran.r-project.org/web/packages/lme4/ index.html

## 謝辞

本研究は JSPS 科研費 JP23K12152 の助成を受けたものです。

## 参考文献

[1] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1489-1501, Berlin, aug 2016. Association for Computational Linguistics.

[2] Ti Alkire and Carol Rosen. Romance Languages: A Historical Introduction. Cambridge University Press, New York, 2010.

[3] Adam Ledgeway and Martin Maiden, editors. The Oxford Guide to the Romance Languages. Oxford University Press, 2016.

[4] Adam Ledgeway and Martin Maiden, editors. The Cambridge Handbook of Romance Linguistics. Cambridge University Press, Cambridge, 2022.

[5] Andrey Kutuzov, Lilja Øvrelid, Terrence Szymanski, and Erik Velldal. Diachronic Word Embeddings and Semantic Shifts: A Survey. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, aug 2018. International Committee on Computational Linguistics.

[6] Ana Sabina Uban, Alina Maria Ciobanu, and Liviu P. Dinu. Studying Laws of Semantic Divergence across Languages using Cognate Sets. In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 161-166, Florence, aug 2019. Association for Computational Linguistics.

[7] Ana-Sabina Uban, Alina Maria Ciobanu, and Liviu P Dinu. Crosslingual Laws of Semantic Change. In Nina Tahmasebi, Lars Borin, Adam Jatowot, Yang Xu, and Simon Hengchen, editors, Computational Approaches to Semantic Change, chapter 7, pp. 219-260. Language Science Press, Berlin, 2021.

[8] Ana Sabina Uban, Alina Maria Cristea, Anca Dinu, Liviu P Dinu, Simona Georgescu, and Laurentiu Zoicas. Tracking Semantic Change in Cognate Sets for English and Romance Languages. In Proceedings of the 2nd International Workshop on Computational Approaches to Historical Language Change 2021, pp. 64-74, Online, aug 2021. Association for Computational Linguistics.

[9] Yoshifumi Kawasaki, Maëlys Salingre, Marzena Karpinska, Hiroya Takamura, and Ryo Nagata. Revisiting Statistical Laws of Semantic Shift in Romance Cognates. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 141-151, Gyeongju, Republic of Korea, oct 2022. International Committee on Computational Linguistics.

[10] Christos Christodouloupoulos and Mark Steedman. A Massively Parallel Corpus: the Bible in 100 Languages. Language Resources and Evaluation, Vol. 49, No. 2, pp. 375-395, 2015 .

[11] Radim Řehůřek and Petr Sojka. Software Framework for Topic Modelling with Large Corpora. In Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks, pp. 45-50, Valletta, 2010. European Language Resources Association.

[12] Hiroya Takamura, Ryo Nagata, and Yoshifumi Kawasaki. Analyzing Semantic Changes in Japanese Loanwords. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, Vol. 1, pp. 1195-1204, Valencia, apr 2017. Association for Computational Linguistics.

[13] J C Gower. Generalized Procrustes Analysis. Psychometrika, Vol. 40, No. 1, pp. 33-51, 1975.

[14] P.G.W. Glare, editor. Oxford Latin Dictionary. Oxford University Press, Oxford, 2nd edition, 2012.
[15] Haim Dubossarsky, Eitan Grossman, and Daphna Weinshall. Outta Control: Laws of Semantic Change and Inherent Biases in Word Representation Models. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1136-1145, Copenhagen, sep 2017. Association for Computational Linguistics.

[16] Skipper Seabold and Josef Perktold. Statsmodels: Econometric and statistical modeling with python. In 9th Python in Science Conference, 2010.

[17] Bodo Winter. Statistics for Linguists: An Introduction Using R. Routledge, New York and London, 2019

[18] Douglas Bates, Martin Mächler, Ben Bolker, and Steve Walker. Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, Vol. 67, No. 1, pp. 1-48, 2015.

[19] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing Lexical Semantic Change with Contextualised Word Representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 39603973, Online, jul 2020. Association for Computational Linguistics.

[20] Ryo Nagata, Hiroya Takamura, Naoki Otani, and Yoshifumi Kawasaki. Variance Matters: Detecting Semantic Differences without Corpus/Word Alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 15609-15622, Singapore, dec 2023. Association for Computational Linguistics.

## A 回帰分析の結果

スペイン語以外のロマンス語の回帰分析の結果を下表に示す：

表 8 ラテン語語源とフランス語形の余弦距離を従属変数とした回帰分析の結果 $(N=123, A d j . R 2=0.13)$

表 9 ラテン語語源とイタリア語形の余弦距離を従属変数とした回帰分析の結果 $(N=149, A d j . R 2=0.21)$

表 10 ラテン語語源とポルトガル語形の余弦距離を従属変数とした回帰分析の結果 $(N=143, A d j . R 2=0.16)$

表 11 ラテン語語源とルーマニア語形の余弦距離を従属変数とした回帰分析の結果 $(N=81, A d j . R 2=0.25)$


# Exploring Metalinguistic Awareness in Pre-trained Language Models through the International Linguistics Olympiad Challenges

Junehwan Sung Hidetaka Kamigaito Taro Watanabe
Nara Institute of Science and Technology
\{sung. junehwan.sl9, kamigaito.h, taro\}@naist.ac.jp
}

\begin{abstract}
Despite significant advances in natural language processing, the degree to which these models mimic "humanlike" linguistic cognition remains uncertain. This study explores the metalinguistic awareness of Pre-trained Language Models (PLMs), focusing on their ability to comprehend the structure of language. We utilise the challenging Rosetta Stone problems from the International Linguistics Olympiad (IOL), which entail translating sentences from an unknown language solely relying on limited information. ByT5 was selected as our model due to its byte-level unbiased tokenisation and its aptness for translation tasks. Our empirical findings reveal that whilst ByT5 can learn implicit linguistic patterns without supervision, it exhibits limited metalinguistic awareness, particularly in zero-shot learning scenarios. These results highlight the need for ongoing research to enhance the depth and breadth of language understanding in PLMs and to bridge the gap towards human linguistic capabilities.
\end{abstract
## 1 Introduction

Recent advances in language models have significantly reshaped human-computer interactions across a wide range of domains. However, a pivotal question remains: To what extent do these models replicate "human-like" linguistic capabilities? This paper explores this question by investigating the metalinguistic awareness of Pre-trained Language Models (PLMs), with a particular focus on their capacity to comprehend and analyse the structure of language.

We assess this aspect of language models using the International Linguistics Olympiad (IOL) ${ }^{1)}$ challenges, specif-

ically the "Rosetta Stone" problems [1]. These challenges, fundamentally translation tasks, require participants to decipher and translate sentences from an unknown language based on limited context, making them ideal for evaluating metalinguistic awareness. We selected ByT5 [2] as our model of choice, owing to its byte-level, unbiased tokenisation that is adept at handling the diverse and lesser-known languages encountered in IOL. ByT5's proven proficiency in translation tasks is also well-aligned with the translationcentric nature of the IOL challenges.

Our experiments range from single-language tasks to more complex zero-shot scenarios, utilising IOL past papers. The findings demonstrate ByT5's ability to learn implicit linguistic patterns unsupervisedly, but also reveal its limitations in metalinguistic awareness, particularly evident in zero-shot learning contexts.

In conclusion, whilst significant progress has been made in language models, a notable gap persists in achieving human-like metalinguistic awareness. Our research provides a foundational step towards future efforts aimed at enhancing PLMs, steering them towards a deeper, more human-like understanding of language.

## 2 Related Work

The work "PuzzLing Machines: A Challenge on Learning From Small Data" by Şahin et al. [3] is a seminal study that investigates the learning capabilities and limitations of various models, from basic statistical algorithms to sophisticated architectures, using Rosetta Stone puzzles. The study illuminates the difficulties these models face in tasks requiring the understanding and manipulation of language, particularly when they are trained on small data sets. This difficulty points to a significant gap in the models' abilities to engage in deep, abstract linguistic reasoning, simi-

Preprocessing

Figure 1: Left: A Rosetta Stone problem of Inuktitut excerpted from the 2021 IOL paper ${ }^{2}$. Right: Preprocessing example, showing Inuktitut sentences converted through character mapping, retaining their English translations.

lar to the demands of the Rosetta Stone challenges in the IOL, which suggests they may focus on memorising surface patterns rather than engaging in human-like abstract reasoning.

Building upon the findings of Şahin et al., our research extends the examination of language models' abilities to a multilingual context. Whilst their study provides a benchmark for the current capabilities of various approaches in linguistic reasoning, our paper aims to further explore the metalinguistic awareness and deductive reasoning abilities in multilingual pre-trained models. By incorporating a diverse array of languages and data augmentation techniques, we delve deeper into the potential and limitations of language models, aiming to deepen our understanding of how "human-like" they are in the cognition of language.

## 3 Dataset

## 3.1 International Linguistics Olympiad

The International Linguistics Olympiad (IOL) is a prestigious competition that tests advanced linguistic skills and metalinguistic awareness - key abilities in understanding and applying language rules. In this Olympiad, the Rosetta Stone challenges [1], as shown in Figure 1, are of particular interest to our study. They feature pairs of sentences: one in a lesser-known language and its translation in the participant's native language. Participants must then translate new sentences using only these provided pairs, which tests their deep understanding of language without needing extra knowledge beyond a high school level. In case of the example in Figure 1, the solvers are asked to translate sentences in (a) and (b), using the 12 sentence pairs given.

These challenges are essential for assessing the metalinguistic abilities of Pre-trained Language Models (PLMs). By engaging PLMs with these complex translation tasks, we aim to gauge their language comprehension and their ability to mimic human cognitive processes in language analysis.

For our experiments, we have used a dataset compiled from IOL past papers dating from 2003 to 2022, focusing solely on Rosetta Stone puzzles due to their relevance in measuring metalinguistic awareness. We limited our study to translations from various source languages to English, resulting in a collection of 125 problems in 27 different languages.

## 3.2 Preprocessing

Inspired by Radford et al. [4], we adopted a concatenated data format diverging from traditional sentence pairings. Source sentences follow their English translations, separated by ' $=$ ', and distinguished from subsequent pairs by ';'. Consequently, the input takes the form ' $S_{1}=T_{1} ; S_{2}=T_{2} ; \ldots S_{n}$, where $S_{i}$ represents the $i$ th source sentence, and $T_{i}$ is its corresponding English translation. The model's task involves translating the contextually embedded source sequence $S_{n}$, with $T_{n}$ serving as the label during training. This structure, validated through extensive testing, was found to be most effective for our purposes, focusing on the model's accuracy in translating these sequences.

2) https://ioling.org/2021/

## 3.3 Data Augmentation

Recognising the proven link between dataset size and model performance [5], we devised a data augmentation strategy tailored for the distinctive challenges of IOL problems. Our approach entails creating permutations of each language's unique character set and pairing these permuted sequences with their original translations to form new sentence pairs that are structurally distinct yet retain the linguistic features of the original. The process is as follows:

1. Identifying unique characters: Catalogue the unique characters from the language, ordering them in ascending sequence.

2. Generating permutations: Implement a derangement algorithm that rearranges the characters ensuring none remain in their original position, thereby producing a comprehensive set of permutations that grow exponentially with the number of characters.

3. Augmenting data: Combine the original character list identified in step 1 with its deranged counterpart. Subsequently, transform the source sentences using this new mapping to foster a dataset that exposes the model to diverse linguistic structures whilst preserving syntactic coherence.

For visual reference, please see Figure 1. This augmentation technique generates a novel linguistic dataset that preserves both the solvability of translation tasks and the authenticity of the original linguistic features, thereby constructing a platform to simulate metalinguistic awareness in our models. The training dataset used in the following experiments composed exclusively of these augmented sequences, deliberately excluding any unmodified original text, to test the model's ability to infer linguistic rules from purely metalinguistic signals. We varied the augmentation size from 1 to 2,000 to rigorously assess this capability.

## 4 Experiment

To examine metalinguistic awareness in language models, we conducted a series of experiments using the ByT5 model [2]. Chosen for its byte-level tokenisation and proficiency in translation tasks, ByT5 is well-suited for the IOL challenges dealing with translations in extremely minor languages. Each experiment was replicated five times with a fixed seed for consistency. We employed BLEU-2 [6] as our metric, given the brevity of our dataset's sentences. The following sections will outline our methodologies and findings, highlighting how the models process and understand language structures in a manner similar to human cognition. This research primarily explores translation into English, setting aside reverse translation for future work. For detailed results, please refer to Table 1 and Appendix A.

## 4.1 Single Language Experiment

In our initial experiment, we adopted the simplest setup by focusing on a single language. Madak was selected due to its extensive set of questions, providing the largest dataset for translation from English. The training set consisted exclusively of augmented synthetic sequences derived from Madak's original texts, whilst the originals were deliberately omitted. The validation and test sets, however, included Madak's questions in their original, unaugmented form. This setting enables us to emulate a multilingual environment where each language reflects the unique features of the Madak language.

The results exhibit a general upward trend, confirming the model's ability to learn and analyse implicit linguistic patterns unsupervisedly. Despite a sudden drop in BLEU-2 scores at an augmentation size of 200 , there is a consistent improvement as the augmentation size increases. Notably, the scores steadily rise until they reach a peak at an augmentation size of 1,000 . This ascending pattern underscores the model's growing adeptness at deciphering Madak's language structure, demonstrating the solvability of the tasks and the efficacy of our data augmentation strategy.

## 4.2 Multilingual Adaptability with Added Languages

To evaluate the model's learning ability with diverse linguistic features, we expanded our experimental setup by introducing additional languages alongside Madak. The training split now comprises augmented sequences ${ }^{3}$, from both Madak and another language, whereas the validation and test splits retained Madak's original questions, consistent with our initial experiment design.

For this expanded approach, we selected two distinct languages: Kilivila, sharing the same language family as Madak, and Inuktitut, from a different language family. This choice was strategic, aimed at exploring the impact of

3) the un-augmented original sentences were excluded from the set

Table 1: BLEU-2 scores of the test split for each experiment

linguistic diversity on the model's learning capabilities.

When Kilivila was added, the BLEU-2 scores showed a marked improvement even with smaller augmentation, compared with the Madak-only scenario. The addition of Inuktitut further accentuated this trend, indicating not only the model's adaptability to linguistic variety but also its enhanced translation capabilities. These results suggest that incorporating diverse linguistic inputs can significantly bolster a model's learning process, highlighting the benefits of multilingual training environments for developing more robust language models.

## 4.3 Zero-Shot Learning and metalinguistic Awareness

In our final experiment, we established a zero-shot learning environment, where the training set with augmented sequences from all 26 languages except Madak, deliberately excluding the un-augmented data. Conversely, the validation and test sets comprise solely the original, unaugmented Madak sequences, aligning with the methodology of prior experiments. Such a design is to assess whether the model could extrapolate its learnt structures to an unseen language, thereby demonstrating metalinguistic awareness. This approach contrasted with earlier experiments, focusing exclusively on augmentation sizes of 1,000 and 2,000 - identified as the data volumes where BLEU-2 scores were most optimal in prior trials.

Although we observed a slight upward trend in BLEU-2 scores as the augmentation size increased from 1,000 to 2,000 in this zero-shot scenario, the overall scores remained low, peaking at just around 3. This suggests that whilst there is a marginal improvement with increased data, the model's performance did not reach a level that could be characterised as demonstrating metalinguistic awareness. This plateau in performance, even with substantial data augmentation, points to the limitations of the current model in adapting to new languages without direct training. The modest increase in scores with larger augmentation sizes, however, offers a glimmer of hope that with even more data or perhaps a refined approach to training, the models might begin to show signs of the desired metalinguistic capabilities.

## 5 Conclusion

The initial experiment with the Madak language has successfully verified that models are capable of learning language structures with increased data augmentation in an unsupervised manner. This was particularly evident when the data augmentation size reached 1,000 , where we saw the models' performance peak, affirming the effectiveness of our approach.

In the subsequent experiment, the introduction of languages from both the same and different families as Madak resulted in consistent performance improvements. This was especially pronounced with the addition of Inuktitut, suggesting that linguistic diversity is potentially beneficial to model learning and adaptability.

Finally, the zero-shot experiment tested the models' ability to apply learnt knowledge to an unseen language. Although there was a marginal improvement in performance with larger augmentation sizes, the models did not demonstrate a strong metalinguistic awareness, as indicated by the BLEU-2 scores capped at 3.

These findings collectively point to a nuanced understanding of language models' current state. Whilst promising strides have been made, particularly in terms of handling linguistic diversity, there is still a considerable gap in achieving genuine metalinguistic awareness. Future research, potentially involving more extensive data augmentation or new training methodologies, can be considered to bridge this gap. Our study lays a foundational step towards such future explorations, aiming to empower language models with human-like linguistic abilities.

## 6 Acknowledgement

We wish to express our heartfelt gratitude to all those who contributed to the success of this research. We are also immensely grateful to the organisers of the International Linguistics Olympiad for providing the datasets and problems that formed the basis of our study.

## References

[1] Bozhidar Bozhanov and Ivan Derzhanski. Rosetta stone linguistic problems. In Ivan Derzhanski and Dragomir Radev, editors, Proceedings of the Fourth Workshop on Teaching NLP and CL, pp. 1-8, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[2] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. Byt5: Towards a token-free future with pre-trained byte-to-byte models. CoRR, Vol. abs/2105.13626, , 2021.

[3] Gözde Gül Şahin, Yova Kementchedjhieva, Phillip Rust, and Iryna Gurevych. PuzzLing Machines: A Challenge on Learning From Small Data. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1241-1254, Online, July 2020. Association for Computational Linguistics.

[4] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[5] Houman Mehrafarin, Sara Rajaee, and Mohammad Taher Pilehvar. On the importance of data size in probing fine-tuned models. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 228-238, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, ACL '02, p. 311-318, USA, 2002. Association for Computational Linguistics.

## A Appendix

Augmented Madak (Train); Madak (Valid, Test)

Figure 2: Experiment 1 - Single Language (Madak)

Madak + Kilivila (Train); Madak (Valid, Test)
- valid = test " " madak_only_valid " " madak_only_test

(a) Madak + Kilivila (same family)
Madak + Inuktitut (Train); Madak (Valid, Test)

(b) Madak + Inuktitut (different family)

Figure 3: Experiment 2 - Madak + Another Language (compared with Madak-only)

Madak (7 questions)

Data augmentation size

Figure 4: Experiment 3 - Zero-shot


# 意味の集中度に基づいた意味変化検出

永田亮 ${ }^{1}$ 高村大也 ${ }^{2}$ 大谷直輝 ${ }^{3}$ 川崎義史 ${ }^{4}$
1 甲南大学 ${ }^{2}$ 産業総合技術研究所 ${ }^{3}$ 東京外語国語大学 ${ }^{4}$ 東京大学
nagata-vmf @ ml.hyogo-u.ac.jp.

## 概要

本稿では，二つのコーパスで意味が異なる単語を検出する手法を提案する．提案手法は，単語ベクトルの方向のばらつきから算出される「意味の集中度」という新しい指標に基づく.これにより，コー パスや単語ベクトルに対する条件が緩和され，適用範囲が広がる．また，計算量も低減され，大規模なコーパスにも適用可能である. 更に，意味の差異を検出するだけでなく, 意味の広狭の判定および意味が異なる事例の抽出も可能となる.

## 1 はじめに

本稿1)では，「意味の集中度」という新しい指標に基づいた意味変化の検出手法を提案する. 意味変化の検出とは，二つのコーパスで意味が異なる単語を検出するタスクのことである．例えば， 1800 年代/2000 年代の文書から，そのような単語として dynamo（元々の「発動機」という意味に加えて，近年では「エネルギッシュな人」という意味でも使われる）などを検出するタスクである，なお，本稿では，通時的変化以外にも，任意の二つのコーパスにおけるの意味，用法の違いも検出対象とする。

2 節で詳述するように，従来は，文脈なし単語べクトルを利用する手法が主流である。しかしながら，このアプローチは，比較対象のコーパスや単語ベクトルに強い仮定を必要とするという問題がある.そのため，任意のコーパスペアに必ずしも適用できるわけではない（例：母語話者／非母語話者コーパス).また, 複雑な処理を要し, 時間的計算量が大きいという課題もある.

本稿では，意味の集中度に基づいて，従来の問題を解決する手法を提案する。提案手法の特徴と本稿の寄与は次の 7 点にまとめられる. (1) 提案手法は，シンプルで計算コストも低い；（2）また，コー パス／単語ベクトルに対する仮定を必要としない；
（3）それにもかかわらず，SemEval-2020 Task1 で最高検出精度（0.73）を達成する；（4）意味の差異の有無だけでなく，意味が広がったのか狭まったのかも判定できる；（5）更に，意味の差異を表す代表的な事例をコーパスから抽出できる；（6）実際に，提案手法を用いて，母語話者／非母語話者英語における意味に差異がある単語を代表な事例と共に明らかにする；（7）提案手法には，von Mises-Fisher 分布という数学的裏付があることを示す.

## 2 関連研究

意味変化検出の代表的な手法に，文脈なし単語べクトルを用いた手法 $[2,3,4,5,6,7]$ がある. これらの手法では，対象コーパスに対する強い仮定を必要とするという課題がある．例えば，文献 $[3,4]$ の手法では，二種類のコーパスから得られた単語べクトルが線形変換により対応付け可能であると仮定する. 意味変化検出は，意味的対応がつかない単語を検出するというタスクであるため，この仮定は好ましくない. より最近の手法 $[5,8,9]$ では，仮定の緩和が試みられているが，対象単語以外は意味変化が起こらないなど，依然，一定の仮定を必要とする。一方, 提案手法は, これらの仮定は一切必要としない.

文脈付き単語ベクトルを用いる手法 $[6,10]$ もある.しかしながら，これらの手法は，クラスタリングなどで対象単語の持つ意味の数を推定するなど，別の難しいタスクを解く必要がある.

両アプローチに共通する課題として計算量が多いということもある．例えば，コーパスに出現する単語タイプ全てに対してクラスタリングを行うということは計算量の観点からも好ましくない．提案手法は，計算量が少なく，大規模なコーパス中の全単語を対象にして意味変化の検出が行える.

1）本稿は，文献 [1]の内容を拡張したものである.

## 3 手法

## 3.1 意味変化検出手法

提案手法では，ある単語における意味の多様性を文脈付き単語ベクトル（以降，単に単語ベクトルと表記する）の方向の多様性として捉える。すなわち, 単語ベクトルが様々な方向を向いている単語ほど，幅広い意味を持つと考える。極端な場合，ある単語が，常に同一の文脈（よって，常に同じ意味） で使われる場合，得られる単語べクトルも同一となり，その方向は一点に集中することになる.

以上を考慮して，単語ベクトルの方向の集中度合いを「意味の集中度」と定義する．幸い，ベクトルの方向の集中度合いは, von Mises-Fisher 分布 [11] で定量化が可能である.この分布は, $d$ 次元の単位べクトル $\mathbf{x}$ に対して，

$
f(\mathbf{x} ; \boldsymbol{\mu}, \kappa)=z_{\kappa} \exp \left(\kappa \boldsymbol{\mu}^{\boldsymbol{\top}} \mathbf{x}\right) .
$

と定義される.ここで， $\boldsymbol{\mu}(\|\boldsymbol{\mu}\|=1)$ と $\kappa(\kappa \geq 0)$ は， それぞれ，平均方向と集中度と呼ばれるパラメータである. また， $z_{\kappa}$ は正規化定数である. この分布は, ベクトル $\mathrm{x}$ （の先端）は平均方向 $\mu$ を中心に集中度 $\kappa$ で超球面上に分布するとみなす。これを流用し, 提案手法では, ベクトル $\mathbf{x}$ を単語ベクトルに対応させ，кが意味の集中度を表すと考える。

より厳密な議論のために, 次の記号を導入する。 ある単語タイプに対応する（文脈付き）単語べクトルを $\boldsymbol{x}$ とする（その次元を $d$ とする）. ただし， $\|x\|=1$ となるように正規化した単語べクトルを想定する。また，(ある単語タイプについて) 平均した単語ベクトルを $\bar{x}$ と表す（以降，平均単語ベクトルと呼ぶ).また，そのノルムを $l$ で表す. 更に, 比較対象の二種類のコーパスを $S$ (ソース）と $T$ （ター ゲット）と表す. 例えば， $l_{S}$ はソースコーパス $S$ から得られた平均単語べクトルのノルムを表す。

以上の記号を用いて，意味変化のスコアを

$
c(S, T)=\log \frac{\kappa_{T}}{\kappa_{S}}
$

と定義する。すなわち，二つのコーパスにおける意味の集中度の比により意味変化の度合いを定量化する. 対数をとるのは，スコアの符号により意味の広狭を表すためである；スコアの値が負の場合，ソー スコーパス $S$ に比べ，ターゲットコーパス $T$ では意味が広がったことを意味する（ $\kappa$ が小さいほど意味が広いことに注意されたい).式 (2)を評価するためには， $\kappa$ の值が必要となる.文献 [11]によると， $\kappa$ の最尤推定の近似解は，

$
\kappa \approx \frac{l\left(d-l^{2}\right)}{1-l^{2}}
$

となる.この式を，式(2)に代入すると，

$
\log \frac{\kappa_{T}}{\kappa_{S}}=\log \frac{\frac{l_{T}\left(d-l_{T}^{2}\right)}{1-l_{T}^{2}}}{\frac{l_{S}\left(d-l_{S}^{2}\right)}{1-l_{S}^{2}}} \approx \log \frac{l_{T}\left(1-l_{S}^{2}\right)}{l_{S}\left(1-l_{T}^{2}\right)}
$

となる. ただし，最後の近似は， $d \gg l^{2}$ であることを用いた。式 (4)より，スコアは平均単語べクトルのノルムのみで決定され, 非常にシンプルであることがわかる．このことは，使用される文脈が多様であるほど，対応する単語べクトルの方向も多様になり, その平均べクトルが短くなると直感的には理解される；極端な場合，常に同一の文脈であれば，各単語ベクトルと平均ベクトルは同一となりノルムは最大の 1 となる.

このスコアを用いた意味変化検出は次の 5 ステップからなる：(1）コーパス $S, T$ 中の全単語を言語モデルにより単語べクトルへ変換; (2) 単語ベクトルをノルム 1 となるように正規化；（3）単語タイプごとに，平均単語べクトル $\overline{\boldsymbol{x}}_{S}$ と $\overline{\boldsymbol{x}}_{T}$ とそのノルム $l_{S} ， l_{T}$ を算出；（4）式 (4) で定義されるスコアの降順に単語タイプをソート；（5）結果を出力.

## 3.2 意味変化の代表事例の抽出手法

片方のコーパスで頻繁に使われ，もう片方のコー パスではほとんど（もしくは全く）使われない意味の事例を抽出する手法について説明する。この条件を, von Mises-Fisher 分布の枠組みで解釈すると，片方のコーパスでは確率が高く，もう片方のコーパスでは確率が低い $x$ を見つける問題と捉えることができる. すなわち，二つのコーパスから得られる対数尤度（LLR）の絶対値が大きい単語ベクトルに対応する事例を抽出すればよい。式 (1) より,

$
\operatorname{LLR}=\log \frac{z_{\kappa_{S}} \exp \left(\kappa_{S} \boldsymbol{\mu}_{S}^{\top} \boldsymbol{x}\right)}{z_{\kappa_{T}} \exp \left(\kappa_{T} \boldsymbol{\mu}_{T}^{\top} \boldsymbol{x}\right)}
$

となる。詳細は付録 $\mathrm{A}$ に示すが，この比較は，

$
\left(\frac{1}{1-l_{S}^{2}} \overline{\boldsymbol{x}}_{S}-\frac{1}{l-l_{T}^{2}} \overline{\boldsymbol{x}}_{T}\right)^{\top} \boldsymbol{x}
$

の比較に帰着される.この值が大きい $x$ に対応する事例を抽出することで，コーパス $S$ のみに頻繁に表れる意味の事例が得られる。逆に，值が小さい場合は，両コーパスに共通した意味と解釈される。

このスコアを用いた意味変化の代表事例抽出は次の 4 ステップからなる：(1) 対象単語タイプの平均単語ベクトル $\overline{\boldsymbol{x}}_{S}, \overline{\boldsymbol{x}}_{T}$ を算出; (2) $S$ 中の対象単語タイプの各事例に対して式 (6)を計算; (3) その値の降順に事例をソート；（4）ソート結果を出力.

## 4 評価実験

## 4.1 使用データと実験条件

歴史コーパス CCOHA [12] と英語学習者コーパス ICNALE [13] を用いた. 前者は, 意味変化の検出精度，意味の広狭判定に用いた，後者は，母語話者／非母語話者の英文から意味の差が大きい単語を代表事例と共に抽出する実験に用いた. いずれの場合も頻度が 10 より大きい単語タイプのみを対象とした.

単語ベクトルの取得には，BERT [14]を用いた (最終層の出力を単語べクトルとした). 定量評価には， 'bert-large-cased’を，定性評価には， 'bert-large-uncased’を用いた.

## 4.2 意味変化検出精度

SemEval-2020 Task 1 [15] sub-task 1 の英語データを対象にして意味変化の検出精度を評価した. 同タスクは, CCOHA の 1810〜1860 年代と 1960〜2010 年代の文書における 37 種類の単語に対して, 意味変化の有無を判定する. 提案手法では, 37 の単語に対して意味変化スコアを算出し, $k$-means++クラスタリングを適用して，意味変化のあり／なしの 2 クラスタに分類した（値が高いほうを変化ありとした）。

表 1 に検出精度を示す. 提案手法に加えて， SemEval-2020 Task 1 で最高性能を達成した手法 [16], von Mises-Fisher 分布の平均方向を利用した手法 ( $1-\cos \left(\overline{\boldsymbol{x}}_{S}, \overline{\boldsymbol{x}}_{T}\right)$ をスコアとした), 平均方向と集中度を使用した手法 $\left(1-\cos \left(\overline{\boldsymbol{x}}_{S}, \overline{\boldsymbol{x}}_{T}\right)\right.$ と式 (4) の平均値をスコアとした）の検出精度も示している.表 1 より，提案手法は最高性能手法 [16] と同等の検出精度を達成していることがわかる. 文献 [16] の手法は, 単語ベクトルの次元削減とクラスタリングという複雑な処理を要する。一方, 提案手法は平均単語ベクトルのノルムを計算するだけで非常にシンプルである. それにもかかわらず同等の性能を示すことは特筆すべきことである. また，平均方向を利用した手法は，提案手法よりも検出精度が低い. このことは, 平均ベクトルの方向よりも集中度のほうが意味変化の検出には重要である可能性を示唆する。表 1 意味変化検出精度.

## 4.3 意味の広狭判定性能

我々が知る限り，意味の広狭判定用の公開評価データは存在しない。そこで, DWUG [17]を利用して独自データを作成した. DWUGは，上述の 37 種類の単語に対して，人手で意味の同一性を判定したデータを収録している．更に，その結果にクラスタリングを適用し，意味ラベルを付与した事例も収録している（元コーパスは SemEval-2020 Task 1 の一部である）。の意味ラベルの相対頻度を確率とみなして算出したエントロピーを意味の多様性の指標としたとした（意味ラベルの種類が多いほど，分布が一様であるほどエントロピーは高くなる)。最終的に，二つの年代 $(1960 \sim 2010$ 年と 1810〜1860 年) の文書から求められたエントロピーの差を意味の広狭の指標とした（正負が意味の広狭に対応する）. このエントロピーの差と提案手法の意味変化スコアとのピアソンの積率相関係数で性能を評価した。

その結果を散布図と共に図 1 に示す. 図 1 から, エントロピーと意味変化スコアは正の相関を示し，意味変化スコアにより，意味の広狭の判定がある程度できることがわかる．ただし，エントロピーの差が負となる単語（すなわち意味が狭まった単語）に対して，意味変化スコアでは正の値が与えられることが多いことも見て取れる。一つの可能性として，主に現代の文書で訓練された BERT が 1800 年代の文書に対して十分に機能しないということが考えられる（文脈に応じて単語べクトルの方向を十分に分散させられない).この予想が正しいとすると，意味変化スコア 0 でなく，より大きい值が意味の広狭の境目となる.この点については，更なる調査が必要である. ただし, 前節や以降の節のように, 単語タイプ同士を比較して意味変化が大きい順に並べる場合には，影響が少ないことが予想される。なぜなら，意味変化スコアは集中度の比をとるため，二つのコーパスにおける集中度のスケールの差異は, 単語タイプの比較では共通するためである.

図 1 意味ラベル分布に対するエントロピーの差と意味変化スコアの関係.

## 4.4 定性評価：母語話者/非母語話者の比較

ICNALE の母語話者と非母語話者の文書に提案手法を適用し，意味の差異が大きい単語を代表事例と共に検出した. 紙面の関係から，詳細な結果は付録に示すが結果は次のようにまとめられる。

イディオム／比喻的表現：母語話者の文書では,比喻的な用法が多く検出された. 例えば, place という単語は，母語話者／非母語話者とも，字義的な 「場所」という意味で頻繁に使用するが，母語話者は加えて, in place や fall into place など比喻的に使用することも多い. イディオムが逆の働きをするケー スも見られた. 例えば，非母語話者は，course を of course というイディオムで頻繁に使用していた. 驚くべきことに，course の 87\%は当該イディオムとし出現していた. 一方，母語話者は，「授業」などのより広い意味で使用しており，相対的に当該イディオムの頻度が低くなっていた（63\%が該当）。

品詞／構文の違い：典型例は near と knowledge である. near は，母語話者コーパスに 11 回出現したが，意味の差異がある代表事例は副詞で「ほとんど」と訳される事例であった. この用法は非母語話者コーパスにおける near の 267 事例には確認出来なかった. したがって，ICNALEの非母語話者は，この用法を習得していない可能性が高い. 更に，この例は，提案手法が低頻度な単語に対してもある程度有効であることを示す（母語話者コーパス中に near は 11 回しか出現しなかったが，それでも，非母語話者コーパスに比べ意味が広い事例を捉えられている). 同様なことが，knowledge についてもいえる。 knowledge は，母語話者コーパスに 16 回しか登場していない。この 16 回のうち，代表事例上位 2 件は，主語 it の内容が，that 以下で説明される構文での出現であった（knowledge は，主語 it と be 動詞で結ばれるため，knowledge の内容を that 以下が表しているとも解釈できる)。この構文は，非母語話者の 574 の knowledge の事例のうちたった 2 件しか該当しなかった（コーパスを確認したところ， knowledge that という表現は，22 件存在し，19 件が関係代名詞，2 件が当該構文，残り 1 件は誤りにより判断がつかなかった)。この例は, BERTから得られた単語べクトルに，この構文と that-関係代名詞を区別するための情報が内在していることを示唆しており興味深い。

## 5 考察

前節の評価実験より，意味の集中度に基づいた提案手法の有効性を確認した。 3.1 節で示したように，意味の集中度の計算は，平均単語ベクトルの算出に帰着される。このことにより，従来手法のような仮定を必要としない，計算コストも低いという利点が得られる. 更に，表 1 は，意味の集中度（言い換えれば，分散の逆数）が，意味変化の検出において重要なことを示唆する。同様なことを，Aida ら [18] は，ガウス分布の平均と共分散に基づいた手法で示している（ただし，彼らの手法は, 平均も使っており，共分散だけの効果は明らかでない)。従来は，平均のみで意味変化を捉える試みが多く，分散も重要であることを示したこの二つの研究は，意味変化検出の新しい方向性を示したといえる.

更に，4.3 節で示したように，提案手法は意味の広狭も判定できる。これもまた，意味の集中度がもたらす利点である．すなわち，集中度の大小で，意味の広狭を自然に表すことができる。一方で，従来研究で主流である平均（ベクトル）に基づく手法で，意味の広狭を定量化することは困難である.

## 6 おわりに

本稿では，「意味の集中度」という新しい指標を提案し，意味変化の検出とその代表事例の抽出に有効であることを示した．また，意味の広狭判定に対しても一定の効果があることも示した. 提案手法には，（1）従来手法より制約が少なく適用範囲が広い，（2）計算量も少ないという優位な点がある．更に，提案手法を用いて母語話者／非母語話者英語における意味変化の具体的な事例を示した．以上の優位な点は，von Mises-Fisher 分布という数学的裏付けに起因することを示した。

## 謝辞

本研究の一部は JSPS 科研費 JP22K12326 および

JP23K12152により実施した。

## 参考文献

[1] Ryo Nagata, Hiroya Takamura, Noki Otani, and Kawasaki Yoshifumi. Variance matters: Detecting semantic differences without corpus/word alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2023.

[2] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA, June 2014. Association for Computational Linguistics.

[3] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. In Proceedings of the 24th International World Wide Web Conference, 2015.

[4] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining.

[6] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[7] Matej Martinc, Petra Kralj Novak, and Senja Pollak. Leveraging contextual embeddings for detecting diachronic semantic shift. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 48114819, Marseille, France, May 2020. European Language Resources Association.

[8] Haim Dubossarsky, Simon Hengchen, Nina Tahmasebi, and Dominik Schlechtweg. Time-out: Temporal referencing for robust modeling of lexical semantic change. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 457-470, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Taichi Aida, Mamoru Komachi, Toshinobu Ogiso, Hiroya Takamura, and Daichi Mochihashi. A comprehensive analysis of PMI-based models for measuring semantic differences. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Compu- tation, pp. 21-31, Shanghai, China, 11 2021. Association for Computational Lingustics.

[10] Kazuma Kobayashi, Taichi Aida, and Mamoru Komachi. Analyzing semantic changes in Japanese words using BERT. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 270-280, Shanghai, China, 11 2021. Association for Computational Lingustics.

[11] Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh, and Suvrit Sra. Clustering on the unit hypersphere using von Mises-Fisher distributions. Journal of Machine Learning Research, Vol. 6, No. 46.

[12] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, 2020.

[13] Shinichiro Ishikawa. A new horizon in learner corpus studies: The aim of the ICNALE project. University of Strathclyde Publishing, Glasgow.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky, and Nina Tahmasebi. SemEval-2020 task 1: Unsupervised lexical semantic change detection. In Proceedings of the Fourteenth Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[16] David Rother, Thomas Haider, and Steffen Eger. CMCE at SemEval-2020 task 1: Clustering on manifolds of contextualized embeddings to detect historical meaning shifts. In Proceedings of the Fourteenth Workshop on Semantic Evaluation, pp.187-193, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[17] Dominik Schlechtweg, Nina Tahmasebi, Simon Hengchen, Haim Dubossarsky, and Barbara McGillivray. DWUG: A large resource of diachronic word usage graphs in four languages. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7079-7091, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[18] Taichi Aida and Danushka Bollegala. Unsupervised semantic variation prediction using the distribution of sibling embeddings. In Findings of the Association for Computational Linguistics: ACL 2023, Toronto, Canada, July 2023. Association for Computational Linguistics.

## 付録

## A 式 (6) の証明

式(5)は,

$
\begin{aligned}
\operatorname{LLR} & =\log \frac{z_{\kappa_{S}} \exp \left(\kappa_{S} \boldsymbol{\mu}_{S}^{\top} \boldsymbol{x}\right)}{z_{\kappa_{T}} \exp \left(\kappa_{T} \boldsymbol{\mu}_{T}^{\top} \boldsymbol{x}\right)} \\
& =\log \frac{z_{\kappa_{S}}}{z_{\kappa_{T}}}+\left(\kappa_{S} \boldsymbol{\mu}_{S}-\kappa_{T} \boldsymbol{\mu}_{T}\right)^{\top} \boldsymbol{x}
\end{aligned}
$

と変形できる. この式の平均方向 $\mu$ の最尤推定は $\mu=\frac{\bar{x}}{l}$ で与えられる [11]. $x$ に関しては，式 (7)の二行目の第二項のみが大小関係に影響を与える。したがって $\boldsymbol{\mu}=\frac{\bar{x}}{l}$ と式 (3)で表される $\kappa$ の最尤推定を第二項に代入すると $\left(\frac{d-l_{S}^{2}}{1-l_{S}^{2}} \overline{\boldsymbol{x}}_{S}-\frac{d-l_{T}^{2}}{1-l_{T}^{2}} \overline{\boldsymbol{x}}_{T}\right)^{\top} \boldsymbol{x}$ が得られる. ここで， $d \gg l^{2}$ に注目すると，式 (6) が得られる.

## B 母語話者/非母語話者の比較

学習者コーパス ICNALE に収録されている母語話者/非母語話者コーパスに提案手法を適用し，意味，用法に差異がある単語を代表事例と共に検出した. 頻度が 10 より大きい単語を対象とした. また,複数のサブワードに分割される単語，アルファベット以外の文字を含む単語，エッセイのプロンプトに含まれる単語は対象外とした。

表 2 に，母語話者コーパスでより広い意味を持つと判定された単語上位 10 件を示す. 代表事例カラムの $S_{i}$ は，ソースコーパス（母語話者コーパス）から抽出された代表事例の $i$ 番目であることを示す ( $T_{i}$ も同様の意味である). 表 2 の結果は，4.4 で論じたように，「イディオム／比喻的表現」と「品詞／構文の違い」の二グループに大きくまとめられる.

表 3 に，非母語話者コーパスでより広い意味を持つと判定された単語上位 10 件を示す. 形式は，表 2 と同様である. 表 3 から, 綴り誤り (form vs. from),文法誤り (hope money, a man who responsible)，コロケーションの違い (great damage; 母語話者はポジティブな語との共起が中心）などが見て取れる.

表 2 母語話者コーパス（Source）で非母語話者コーパス（Target）より幅広い意味を持つと検出された単語上位 10 件. $f_{S}, f_{T}: S, T$ での出現頻度.

表 3 非母語話者コーパス（Source）で母語話者コーパス（Target）より幅広い意味を持つと検出された単語上位 10 件. $f_{S}, f_{T}: S, T$ での出現頻度.


# 動詞派生前置詞の文法化の定量化

永田亮 ${ }^{1}$ 川崎義史 ${ }^{2}$ 大谷直輝 3 高村大也 ${ }^{4}$
1 甲南大学 2 東京大学 3 東京外語国語大学 4 産業総合技術研究所
nagata-dprep @ ml.hyogo-u.ac.jp.

## 概要

動詞派生前置詞とは，動詞から派生し，前置詞のように振る舞う語句（例：following）を指す. 動詞派生前置詞が，動詞の性質を失い，前置詞の機能を果たすようになる文法化現象について様々な仮説が言語学で知られている. しかしながら，仮説検証の規模について改善が必要なことが指摘されている。本稿では，動詞派生前置詞の文法化度を自動的に定量化する手法を提案し，大規模なコーパスを対象にして，文法化に関する三つの仮説の検証を行った。 その結果，提案手法は全ての仮説を支持する結果となった.

## 1 はじめに

本稿では，動詞派生前置詞の文法化に関する仮説を計算言語学的なアプローチで検証することを試みる，動詞派生前置詞とは，動詞から派生し, 前置詞のように振る舞う語句を指す (例：considering, according to). また，文法化とは，内容語が文法的な機能を果たすようになる変化のことを指す [1].

2 節で詳細を述べるように，言語学では，動詞派生前置詞の文法化に関する様々な仮説が提案されている。主な仮説は次の 3 点に要約される：

1. 動詞派生前置詞は完全には文法化しておらず，動詞と前置詞の中間カテゴリに位置する [2, 3]

2. 文法化の度合いは連続的であり, 動詞派生前置詞により異なる $[2,3,4]$

3. 文法化の度合いは，前置詞性と動詞性という二つの極性に基づいて判定可能である $[3,4]$

言語学において動詞派生前置詞に関する豊富な知見があるものの，Hayashi [3] が指摘するように，分析対象の種類と事例数という点で従来研究には改善の余地がある. より頑健な理論の構築のためには,多様な事例に対して仮説の検証を行うことが重要であるが，従来研究は事例分析や内省に基づくため，分析の規模を大きくすることは容易でない. 関連して，従来の文法化度の判定には一部矛盾するところもある．例えば，文献 [2] と文献 [3] では，following に対して正反対の結論を下している。

本稿では，より頑健な理論の構築を目指して，動詞派生前置詞の文法化度を定量化する計算言語学的な手法を提案する。まず，複数の手法を吟味し，言語学の知見と最も整合する手法を明らかにする。その手法を用いて，上述の三つの仮説の検証を行う.更に，従来研究にみられる文法化度の不一致の解消を試みる。最後に，文法化度の可視化を行い通時的変化について分析を行う。

## 2 関連研究

言語学では, 動詞派生前置詞の文法化に関する研究が盛んに行われている（例えば，文献 $[2,3,4,5,6,7,8]$ など). 多くの研究では，質問紙法またはコーパス中の事例に対する言語学的なテストにより文法化度を定量化する。両アプローチとも，動詞派生前置詞が at や on などの典型的な前置詞の特性を満たすかどうかの判定に基づき文法化度を決定する (一部の研究では動詞の特性も考慮する). 例えば， Kortmann ら [2] は，言語学的なテストを用いて，19 種類の動詞派生前置詞を 5 段階の文法化度で分類している。また，Hayashi [3] は，前置詞の特性を満たすかどうかを問う二種類の質問紙法を用いて，37 種類の動詞派生前置詞に文法化度 (0 10 の連続値）を割り当てている. 参考として，両研究における文法化度の判定結果を付録 A に示す.

このような研究により，1 節で述べた三つの仮説の提案と検証が進められているが，依然，十分でないことを Hayashi [3] が指摘している. 特に，分析の規模（動詞派生前置詞の種類と事例数）を大きくすることが求められている．理想的には，大規模なコーパス中の多様な事例に対して検証を行うことが望ましい。本稿は，計算言語学的なアプローチを用いることで，そのような検証を実現する。

## 3 文法化度の定量化手法

本稿では，文脈なし単語べクトル（具体的には， word2vec [9]）に基づいた手法と文脈付き単語べクトル（BERT [10] の最終層のベクトル）に基づいた手法を提案する. 両手法に共通する手順として，動詞派生前置詞の認識がある。構文解析器 $\left(\mathrm{spaCy}^{\mathrm{1})}\right)$ を用いて，次の二つの条件を満たす単語を動詞派生前置詞とした：(1) 表層形が付録 A の表 3 または表 4 に示す動詞派生前置詞と一致 (大文字小文字の違いは無視する)； (2) 依存構造ラベルが, prep (前置詞) または $a d v c l$ (副詞節). 以降の処理用に，入力コーパス中で，この条件を満たす語句にタグを付与する.

## 3.1 文脈なし単語べクトルに基づいた手法

2 節で述べたように，従来研究では，対象の動詞派生前置詞が，前置詞の特性を持つかどうかの判定により文法化度を決定する。本節の手法もこの考え方を踏襲するが，より直接的に定量化を行う. 具体的には，動詞派生前置詞と前置詞との間の類似度を文法化度とする. 更に, Hayashi [3] に従い, 動詞との類似度も考慮する。

ここで，類似度をどのように定義するかが問題となる。本稿では，単語ベクトル間の余弦類似度を利用した，次の 3 種類を提案する。

平均前置詞 : 前置詞の単語ベクトルの平均を利用する。本稿では，付録 B に示す前置詞 52 種類についての平均べクトルを用いる. この前置詞の平均ベクトルと動詞派生前置詞の単語ベクトル間の余弦類似度を文法化度とする。したがって，対象とする動詞派生前置詞が平均的な前置詞にどれぐらい類似しているかで文法化度を定量化することになる。なお，複数の語からなる動詞派生前置詞については，見かけ上一単語となるように事前処理 （例：according to であればaccording_to とする）を行う（以降の類似度でも同様である）。

平均動詞 : 平均前置詞のように, 動詞の平均べクトルと動詞派生前置詞の単語ベクトル間の余弦類似度を文法化度とする。ただし，動詞との類似性は動詞性に対応するため，余弦類似度の符号を反転した值を文法化度とする. 平均は, 最頻 200 の動詞を対象とする. 大力コーパス中に出現する動詞の原型と変化形について合算した頻度で最頻 200 の動詞を決定する（ただし，動詞派生前置詞の派生元の動詞

（例：consider）は含めない最頻 200 件とする). 平均は，同様に，200 の動詞における原型および変化形全ての単語ベクトルを考慮したものとする。

平均前置詞 \&平均動詞：上述二つの指標の平均を文法化度とする。この指標は，「動詞派生前置詞は動詞性を失い，前置詞性を獲得しつつある」という文献 $[3,4]$ の考え方を反映したものになっている.

## 3.2 文脈付き単語ベクトルに基づいた手法

基礎となる考えは，「機能語の文脈は多様であるため，その文脈付き単語ベクトルの方向も多様であり，もし動詞派生前置詞が文法化しているのであれば，同様な傾向を示すはずである」というものである.この考えに基づき，文脈付き単語ベクトルの方向のばらつきを文法化度とする。

幸いなことに, ベクトルの方向のばらつきは, von Mises-Fisher 分布 [11] を通じて定量化が可能である.この分布は， $d$ 次元の単位ベクトル $\mathrm{x}$ に対し $\tau, f(\mathbf{x} ; \boldsymbol{\mu}, \kappa) \propto \exp \left(\kappa \boldsymbol{\mu}^{\top} \mathbf{x}\right)$ と定義される. ここで, $\boldsymbol{\mu}(\|\boldsymbol{\mu}\|=1)$ と $\kappa(\kappa \geq 0)$ は, それぞれ平均方向と集中度と呼ばれるパラメータである。

本稿で重要となるのは，集中度 $\kappa$ である. von Mises-Fisher 分布では，単位ベクトル $\mathbf{x}$ は平均方向を中心に集中度 $\kappa$ で等方的に分布すると考える. 言い換えれば， $\kappa$ は， ベクトルの方向の集中度を表しており, 上述の考えに合致する. 集中度 $\kappa$ の最尤推定は，近似的に，

$
\kappa \approx \frac{l\left(d-l^{2}\right)}{1-l^{2}}
$

になることが知られている [11].ここで， $l$ は，観測データの平均ベクトルのノルムである $(d$ は上述の通り，ベクトルの次元である）。ただし，文脈が多様なほど文法化が進んでいると考えるので，集中度の逆数 $1 / \kappa$ を文法化度とする。なお，文脈付き単語ベクトルは単位ベクトルとは限らないため, ノルムが 1 となるように事前に正規化しておく。

## 4 評価実験

文献 [2,3] に記載された文法化度を用いて各手法の評価を行う。それぞれ，付録の表 3 と表 4 に記した動詞派生前置詞のうち, 下記コーパス中で頻度が 30 以上となる 16 種類と 32 種類を評価対象とした.評価尺度はスピアマンの順位相関係数とした。

単語ベクトル取得のためのコーパスとして CCOHA [12] を用いた. CCOHA は，1820〜2019 年
表 1 人手による文法化度と提案手法による文法化度との間のスピアマンの順相関係数：カッコ内の数値は $p$ 値.

の文書を収録した歴史コーパスである．本評価実験では，2000 年代の文書を用いた（残りのコーパスは 5 節での通時的考察で利用する).

文脈なし単語ベクトルの取得には, Gensim の word2vec ${ }^{2}$ を用いた. 文脈付き単語ベクトルについては，bert-large-uncased ${ }^{3}$ を用いた. 最終層の出力ベクトルを単語ベクトルとした. ハイパパラメータを含む実験設定の詳細は付録 Cに示す.

表 1 に結果を示す. 参考として，人の判定同士 （Kortomann ら [2] と Hayashi [3]）の順位相関係数も示している. 表 1 より, 前置詞の情報に基づいた手法がより高い相関を示すことがわかる.このことは, 前置詞性に基づいて動詞派生前置詞の文法化が定量化できるという言語学の仮説 $[2,3]$ を支持する. ただし, Kortmann との比較においては，相関係数の值が全体的に小さい. これは, Kortmann の文法化度は五段階しかなく, 同順位となる動詞派生前置詞が多数あるためである. このことは，人同士の比較においてもみられる。同順位となるものがなくなるように，各カテゴリからランダムに一つの動詞派生前置詞を選んだ場合, 平均前置詞 \&平均動詞の相関係数は $0.7(p=0.19)$ となった（Hayashi に対しては $0.9(p=0.04))$.

また，動詞の情報のみは有効ではないが，前置詞と組み合わせると相関が高まることも確認できる。 これは, 文献 $[3,4]$ の「動詞派生前置詞の文法化度は, 前置詞性と動詞性の両方を考慮して測られるべきである」という主張と整合する。このことをより明確にするために, 図 1 に, Hayashi の文法化度と平均前置詞および平均前置詞\&平均動詞の文法化度を散布図として表す.この図より, 前置詞の情報のみでも，ある程度の相関を示すが，動詞の情報を考慮することでより適切に文法化度の調整が行われてい

2) Gensim 4.3.1: https://radimrehurek.com/gensim/models/ word2vec.html

3) Hugging Face transformers: https://huggingface.co/docs/ transformers/model_doc/bert

図 1 Hayashi [3] および提案手法の文法化度の関係.

ることがわかる．特に，人の判定で文法化度が低い動詞派生前置詞 (例: facing) においてこの傾向が顕著である．文法化度が低い動詞派生前置詞は，動詞の特性を比較的強く持っており，そのことが単語ベクトルに反映される. そのため, 平均動詞べクトルとの類似度を引くことで文法化度のスコアが下がる. 一方で，文法化度が高い動詞派生前置詞は，動詞との類似度は低いため, 文法化度のスコアは相対的に高いままである.

文脈付き単語ベクトルに基づいた手法については，人の判定との相関は低い.この理由として，動詞派生前置詞は完全に文法化されておらず，機能語ほど文脈の多様性が高くないためということが考えられる。適切に文法化度を推定するためには, 文脈なし単語べクトルに基づいた手法のように前置詞の情報など他の情報が必要となる可能性が高い. ただし，この手法では，前置詞や動詞など他の単語の情報は直接使っていないため, 更なる改良を加えることで，他の単語にも適用可能な文法化度の一般的な尺度となる可能性もある。

## 5 考察

前節の評価実験により，文脈なし単語べクトルに基づいた手法が人の分析に基づいた文法化度に対して一定の相関を示すことをみた．特に，前置詞，動詞，それぞれの平均べクトルを用いることが効果的であることを確認した。この手法により，動詞派生前置詞とその事例に対して, 更に幅広い文法化の分析が行えることが期待される. 本節では，平均前置詞\&平均動詞（以降，本節では提案手法と省略）を用いて，三つの分析事例を示す。

まず，従来の言語学に見られる動詞派生前置詞の
表 2 Kortmann [2] と Hayashi [3] で文法化度の判定が異なる動詞派生前置詞と提案手法の定量化結果.

文法化度の不一致について解消を試みる。具体的には，表 2 に示した 5 種類を吟味する．同表により， following について, Kortman ら [2] と Hayashi [3] で大きく判断が異なることがわかる. 前者では文法化度が二番目に低いカテゴリに分類されている。一方, 後者の文法化度 6.4 は, 37 種類の動詞派生前置詞のうち, past, during に次いで三番目に高い值であり, 最も文法化度が高い部類に属する. 提案手法においても，この三種類の動詞派生前置詞について Hayashi と同一の順位付けとなった. その他の動詞派生前置詞についても，表 2 の第四カラムに示すように，提案手法は全て Hayashi の結果を支持する.

次に，1 で述べた仮説 1 「動詞派生前置詞は完全には文法化しておらず，動詞と前置詞の中間カテゴリに位置する」，2「一部の動詞派生前置詞は他の動詞派生前置詞より文法化が進んでおり, 文化の度合いは連続的である」の吟味を行う。そのため，前置詞の文法化度を動詞派生前置詞と共にヒストグラムとして表す（図 2）. 対象としたのは付録 B に示した 52 の前置詞である. ただし, 文法化度の算出の際には，当該前置詞を除いた他の前置詞についての平均ベクトル（と動詞の平均ベクトル）を用いた. 図 2 より，動詞派生前置詞の文法化度は，前置詞に比べて低いレンジに分布することが分かる．ただし，中には前置詞と同程度以上の文法化度を示すものも存在し, 文法化度が連続的であることもわかる. この結果は，上の二つの仮説を支持する。

最後に，通時的な分析の例を示す. CCOHA の文書を 10 年ごとに分割し，文法化度を算出した（全てのサブコーパスで頻度が 30 以上となる 31 種類の動詞派生前置詞を対象とした). 図 3 に，その結果を年代と文法化度の関係を表すグラフとして示す（可読性のため, Hayashi の文法化度の高い順に 4 グループに分割している). 図 3 から，第一のグループ（上部の四つの線）は，緩やかに上昇しているように見える。これら既に文法化度が高い動詞派生前置詞は, 文法化の最終段階にあり, 文法化が加

図 2 前置詞と動詞派生前置詞の文法化度の分布.

図 3 動詞派生前置詞の文法化度の通時的変化.

速されているという可能性がある．その他については，大域的には平坦な線となっている．いずれの場合も，文法化度が（大域的に）減少することはみられない。利用可能な情報からは断定はできないが，文法化の一方向性 [13] に対応する可能性もある．時間的により幅広いコーパス（例：Early English Books Online $\left.{ }^{4)}\right)$ を用いた分析など更なる調査が待たれる.

## 6 おわりに

本稿では，動詞派生前置詞の文法化度を定量化する手法を提案し，三つの仮説の検証を行った. 評価実験の結果，前置詞と動詞それぞれの平均ベクトルに基づいて定量化した文法化度は人による判定と一定の相関を示すことを確認した. 更に，提案手法は，言語学で知られる三つの仮説を全て支持することを報告した．最後に，提案手法を用いた文法化の通時的変化に関する分析の可能性についても報告した.

4) https://quod.lib.umich. edu/e/eebogroup/

## 謝辞

本研究の一部は JSPS 科研費 JP23K12152により実施した.

## 参考文献

[1] Paul Hopper. On some Principles of Grammaticalization, pp. 17-35. John Benjamins Publishing Company, 1991.

[2] Bernd Kortmann and Ekkehard König. Categorial reanalysis: The case of deverbal prepositions. Linguistics, Vol. 30, pp. 671-698, 1992.

[3] Tomoaki Hayashi. Prepositionalities of deverbal prepositions: Differences in degree of grammaticalization. Papers in Linguistic Science, Vol. 21, pp. 129-151, 2015.

[4] Teruhiko Fukaya. The Emergence of -ing Prepositions in English: A Corpus-Based Study, pp. 285-300. Taishukan, Tokyo, 1997.

[5] Arne Olofsson. A participle caught in the act. on the prepositional use of following. Studia Neophilologica, Vol. 62, No. 1, pp. 23-35, 1990.

[6] Tomohiro Kawabata. On the development of considering: The prepositional conjunctive and adverbial usages. Studies in Modern English (The Twentieth Anniversary Publication of the Modern English Association), pp. 138-152, 2003.

[7] Matti Rissanen. Despite or notwithstanding? On the development of concessive prepositions in English, pp. 191-203. Gunter Narr Verlag, Germany, 2002.

[8] Jacqueline Visconti. Conditionals and subjectification: Implications for a theory of semantic change, pp. 169-192. John Benjamins Publishing Company, Amsterdam/Philadelphia, 2004.

[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems 26, pp. 31113119, 2013.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh, and Suvrit Sra. Clustering on the unit hypersphere using von Mises-Fisher distributions. Journal of Machine Learning Research, Vol. 6, No. 46, pp. 1345-1382, 2005 .

[12] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 6958-6966, 2020.
[13] Paul J. Hopper and Elizabeth Closs Traugott. Grammaticization. Cambridge University Press, New York, second edition, 2003.

## 付録

## A 動詞派生前置詞カテゴリ

言語学で提案されている動詞派生前置詞カテゴリを示す. 表 3 は，Kortmann ら [2] によるもの，表 4 は， Hayashi [3] によるものである.

表 3 Kortmann ら [2]による動詞派生前置詞の文法化度：值が大きいほど文法化が進んでいる.

表 4 Hayashi [3] による動詞派生前置詞の文法化度 : 值が大きいほど文法化が進んでいる.

Instance (prepositional score)

past (7.8), during (7.4), following (6.4), starting (6.0), regarding (5.8), according to (5.4),

preceding (5.3), succeeding (5.2), including (5.1), pertaining to (5.0), depending on (4.9),

owing to (4.4), related to (3.9), given (3.9), respecting (3.9), excluding (3.8), concerning (3.7),

pending (3.7), except (3.6), allowing for (3.5), lacking (3.4), barring (3.3), granting (3.3),

save (3.3), touching (3.3), confronting (3.2), notwithstanding (3.1), considering (2.8),

failing (2.7), covering (2.5), granted (2.3), wanting (2.3), saving (2.1), bar (1.9),

facing (1.5), excepting (1.4), bating (1.3)

## B 対象とした前置詞

文脈なし単語べクトルに基づいた手法で対象とした前置詞は次の通りである：aboard, about, above, across, after, against, along, amid, among, around, as, at, before, behind, below, beneath, beside, besides, between, beyond, by, despite, down, for, from, in, inside, into, like, near, of, off, on, opposite, outside, over, round, since, through, to, toward, towards, under, underneath, unlike, until, up, upon, via, with, within, without.

## C 評価実験の詳細設定

分析対象コーパス CCOHA に次のような前処理を行った。ノイズと思われる文書は除外した. 具体的には，「@@年.txt」（例：@@1525.txt）のように年とファイル名と思われる文字列を含む文書は分析対象外とする.また，文書中のタグ（

など）は除去した．更に，伏字が含まれている文（CCOHA では，著作権の制限により, 一定の割合で文章の一部が伏字になっている）も除外した.

文脈なし単語べクトルの取得には，Gensim の word2vect)を用いた。ハイパパラメータは次の通りである：最小頻度 5 ; ベクトルサイズ 200 ; 窓幅 $10^{6}$; それ以外はデフォルトの值を使用.

5) Gensim 4.3.1: https://radimrehurek.com/gensim/models/word2vec.html

6）この他， 5 と 20 も試したところ，結論の概要は変わらなかったため本稿では 10 の結果を報告する.


# どのような言語モデルが不可能な言語を学習してしまうのか？一語順普遍を例に一

栗林樹生 $\lambda$ 上田亮爪 吉田遼爪 大関洋平介
Ted Briscoe ${ }^{\lambda}$ Timothy Baldwin ${ }^{\lambda}, \lambda$
${ }^{\wedge}$ MBZUAI $介$ 東京大学 ^メルボルン大学
\{tatsuki.kuribayashi, ted.briscoe, timothy . baldwin\}@mbzuai.ac.ae
\{ueda-ryo796, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

ニューラル言語モデルは，自然言語の範囲を超元，プログラムなど系列データ一般を処理するための基盤的な道具立てとなった。一方言語学では, 自然言語のみを受理 (学習) し, 可能言語と不可能言語を区別する計算モデル（形式言語など）が探求されており，両分野の向かう方向は異なる. そこで本研究では, 両視点から, 自然言語らしくないデータをモデリングできない言語モデルを探求することで, 自然言語の性質に迫る.今回は特に語順に焦点を当て，どのような言語モデルが，自然言語における語順普遍から逸脱した不可能語順をもつデータを学習してしまうのか調查する. 認知的に動機づけられた言語モデルが相対的に可能語順のみを学習しやすい傾向にあることなどがわかった。

## 1 はじめに

ニューラル言語モデルは，系列データを処理するための汎用的な道具立てとなり，様々な言語，プログラム, 画像チャンク, さらには自然言語らしくない性質をもつデータ [1] までも学習できてしまう。一方言語学では, 自然言語をたらしめる特徴に関心があり, 自然言語のみを受理（学習）できる必要十分な計算モデル（形式文法など）が探求されてきた.このような言語学的立場から見れば，いかなる系列データも学習できてしまうニューラル言語モデルは, 自然言語そのもののモデルではないと批判される [2]. しかし実際のところ, ニューラル言語モデルがどの程度, 自然言語らしくない不可能言語を学習できてしまうのか，また何か工夫を施すことで可能言語のみをうまく学習する言語モデルが構築できるのかといった知見は乏しい。

図 1 言語モデリングのしやすさによって, 自然言語に存在する可能語順と存在しない不可能語順を（柔らかく）区別できるのか調査する，具体的には，類型的に高頻度な自然言語らしい語順ほど言語モデリングがしやすいことを期待する。様々な言語モデルを分析し，どの言語モデルがこの観点で望まれる性質をもつかが焦点となる。

本研究では，自然言語の語順普遍に着目し，どのような言語モデルが語順普遍から逸脱したデータの学習の難しさを創発するのか探求し，構成論的な方法で語順普遍の根源に迫る，具体的には，自然言語に存在する可能語順をもつ人工言語コーパスや，そうでないコーパスをそれぞれ作成し，可能語順でのみ低いパープレキシティを示す言語モデルを探す。認知的に動機づけられている言語モデルも含め, 20 種類の言語モデルの学習 (帰納) バイアスについて体系的に調査する.

実験結果から，おおよそ全ての言語モデルにおいて, 可能語順は学習しやすい傾向にあることがわかった。これは次の単語を予測しやすいという特性が自然言語の語順を形付けている可能性を示唆し，言語モデリングという枠組みが自然言語に特有な一側面を説明できることを支持している。また通常の言語モデルと認知的に動機づけられた言語モデルで
表 1 語順パラメータと語順の例

 &  &  \\

語順設定（頻度順）

図 2 自然言語における語順設定の頻度分布

は，自然言語の語順分布について異なる側面を創発することがわかった. 例えば通常の Transformer 言語モデルは, 句横断的に主要部が左か右いずれかに偏るという調和的な語順を選好することが観察された. 一方で認知的に動機づけられた言語モデルの語順選好は，語順の頻度分布全体とより相関しやすい傾向にあった。後者の知見については，自然言語の語順の設計に人間の認知的なバイアスが反映されていることの概念実証と見ることができ，計算心理言語学と言語類型論の繋がりを示唆している.

## 2 実験設定

## 2.1 自然言語における語順の偏り

本研究では，まず語順に関する 6 つのパラメー タ（表 1）を導入し，世界の言語を分類する．各パラメータは特定の種類の句における語順（枝分かれ方向）を示しており ${ }^{1)}$, 例えば $s$ S主語が述語に先行するのかを決定する. 以降これらのパラメータの組み合わせを $\mathrm{L} / \mathrm{R}$ からなる 6 文字の系列で表し， $\left[s_{i}^{\mathbf{S}}, s_{i}^{\mathbf{V P}}, s_{i}^{\mathbf{P P}}, s_{i}^{\mathbf{N P}}, s_{i}^{\mathbf{R e l}}, s_{i}^{\text {Case }}\right]$ の順に語順設定を表す.例えばLRLLLR は，VP と Case のみ右枝分かれで，他の句では左枝分かれとなる語順設定である. 日本語の語順は完全な左枝分かれ型であり LLLLLL と表される. 図 2 に，自然言語における $64=2^{6}$ 通りの

1）主要部に対して従属部が右/左に現れる場合をR/Lとする。語順の頻度分布を示す. The World Atlas of Language Structures (WALS) [3] 中 1,616 言語の情報に基づいて推定したものである。なお 6 つ語順パラメータ全てについて情報が付与されている言語は限られていたため, 語順の頻度について単純な平滑化をしている (付録). 特定の語順, 特に LLLLLL や LRRRRL といったLとRどちらかが支配的な調和的語順の頻度が高いことがわかる [4]. このような偏りは人間の認知バイアスに紐づくという見方もある [5].

## 2.2 言語モデルの語順選好

次に言語モデルの語順選好を定量化する. 既存研究で作成された人工言語コーパスの集合 [6] を用いる。このデータは 64 の人工言語コーパス $l_{k}$ からなり，いずれも人工的に設計した確率文脈自由文法（PCFG）で作成されており，互いに語順設定のみが異なる. 64 コーパスのそれぞれは，\$2.1で定義したそれぞれの語順設定（LRLLLR など）に対応している。それぞれのコーパスで言語モデルを訓練し，どの設定でパープレキシティ （PPL）が低くなるのかを観察する。この PPL 分布を $\boldsymbol{p}=[$ PPL(LLLLLL), PPL(LLLLLR), $\cdots$, PPL(RRRRRR)] とし，自然言語における語順分布と比較する。なお，全てのコーパスは対応する文法のもとで同じ生成確率をもつため, PPL の違いはモデルの帰納バイアスによってのみ生じる.

## 2.3 評価尺度

複数の指標を用いて，PPL 分布が可能語順と不可能語順を（柔らかく）区別できているのか多角的に評価する。

全体相関 PPL 分布 $\boldsymbol{p}$ と, 各語順の頻度分布 $f=[$ freq(LLLLLL), freq(LLLLLR), $\cdots$, freq(RRRRRR) $]$ の近さを報告する．具体的には，両者の負のピアソン相関 $-\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{f})$ を報告する.このスコアが高いほど語順選好の言語類型論的な妥当性が高い. 以降 Corr はピアソン相関を表す。

部分相関部分的な相関として，SOV (LL...), $\mathrm{SVO}(\mathrm{LR} \ldots), \mathrm{OVS}(\mathrm{RL} \ldots), \operatorname{VOS}(\mathrm{RR} \ldots$. それぞれの部分集合における相関の平均も報告する：

$
\begin{aligned}
& -\frac{1}{4}\left(\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{LL}}, \boldsymbol{f}_{\mathrm{LL}}\right)+\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{LR}}, \boldsymbol{f}_{\mathrm{LR}}\right)\right. \\
+ & \left.\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{RL}}, \boldsymbol{f}_{\mathrm{RL}}\right)+\operatorname{Corr}\left(\boldsymbol{p}_{\mathrm{RR}}, \boldsymbol{f}_{\mathrm{RR}}\right)\right)
\end{aligned}
$

ここで $\boldsymbol{p}_{\mathrm{XY}}$ および $\boldsymbol{f}_{\mathrm{XY}}$ は,$s^{\mathrm{S}}=\mathrm{X}$ かつ $s^{\mathbf{V P}}=\mathrm{Y}$ を満たす言語に限った PPL および頻度分布である.
可能語順峻別度不可能な語順設定に対して，可能な語順設定をどれだけ選好できるのかが本研究の重要な論点である. 今回用いた 64 語順設定の内， WALS において語順設定の完全一致する言語が存在するものを可能語順 $\mathscr{L}_{p}$ とし ${ }^{2)}$, それらに対して相対的に良い PPL が割り振られているのかを報告する. 具体的には, 可能語順の検索問題とみなし, PPL の低い順に 64 語順を並べ，可能語順の平均逆順位を求めた：

$
\frac{1}{\left|\mathscr{L}_{p}\right|} \sum_{l_{k} \in \mathscr{L}_{p}} \frac{1}{\operatorname{rank}\left(l_{k}\right)} .
$

調和性自然言語では $L$ まはRのどちらかが支配的な調和的語順が好まれることを踏まえ [4], 言語モデルがそのような語順をモデリングしやすいのかを報告する：

$
\begin{aligned}
& -\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{c}), \\
& \boldsymbol{c}:=[\max (\# \mathrm{~L}(l), \# \mathrm{R}(l)) \text { for } l \text { in } L] .
\end{aligned}
$

ここで，\#L($\cdot$) または \#R($\cdot$) は各語順設定における Lまたは R の数であり，両値の最大值は枝分けれ方向がどれだけ揃っているのかを示す. 例えば \#L(LLLLLL) は 6 となる. 自然言語における語順分布では，この值は 0.37 である.

左枝分かれ選好度モデルがどちらかの枝分かれ方向（LまたはR）を好む傾向にあるのかも合わせて報告する．具体的には以下の値を報告し，値が高いほど左枝分かれ構造が好まれることを表す：

$
\begin{aligned}
& -\operatorname{Corr}(\boldsymbol{p}, \boldsymbol{b}), \\
& \boldsymbol{b}:=[\# \mathrm{H}(l) \text { for } l \text { in } L] .
\end{aligned}
$

自然言語における語順分布では 0.11 となり，どちらかの枝分かれ方向に対する強い選好は存在しない.

## 2.4 モデル

20 種類の言語モデルを調査する.いずれも単方向言語モデルであり，BPEをコーパスに適用し，サブワード単位で学習されている。具体的には，まず通常の言語モデルとして, Transformer [7], LSTM [8],単純再帰型ニューラルネットワーク (SRN) [9], N-グラム言語モデルを対象とする. 代表的な大規模言語モデルとして，LLaMA2 (7B) [10] の few-shot learning による PPL も報告する. さらに，(1) 逐次的統語

2） WALS における報告バイアスを懸念し，対応する個別言語が 1 つなどの可能性境界付近の語順を除き，対応する個別言語が 3 言語以上存在する 8 語順を可能言語とした.的処理 [11,12],（2）逐次統語解析戦略 [13,14], (3)短期記憶の制限 $[15,16]$ という 3 つの観点で認知的に動機づけられた言語モデルも分析対象に加える. （1）と（2）の観点から，トップダウン型（TD）と左隅型 $(\mathrm{LC})^{3)}$ の再帰的ニューラルネットワーク文法（RNNGs）を用いる [19]. ${ }^{4}$ その理論的な性質により [13], 左隅型のモデルが妥当なバイアスを持つことを期待する。（3）の観点では RNNG の（双方向） LSTM を単純再帰型ニューラルネットワークに置き換えたSRNNG，さらにボトムアップ型（BU）を含む異なる解析戦略（TD，BU，LC）の元で作成した逐次統語解析操作系列上で $\mathrm{N}-$ グラム言語モデル （統語 $\mathrm{N}-$ グラム）を訓練し，短期記憶の制限された統語言語モデルとして対象に加える。なお，統語言語モデルの学習に必要な統語構造情報は, PCFG から文をサンプルする際に同時に手に入る.

## 3 実験設定

異なるシードを用いて 5 回実験を行い，各指標の平均値及び標準偏差を報告する. 各試行では, 20,000 文からなるコーパスを作成し，学習・開発・評価セットを 8:1:1 亿分割して実験する。可読性のため値を 100 倍して報告する．結果を表 2 に示す。

## 4 実験結果・考察

## 言語モデリングのしやすさは語順可能性を創発す

るまず，全体相関，部分相関，峻別度, 調和性において，おおむね全ての言語モデルがチャンスレー トよりも自然言語の分布に近い値を示している.このことは自然言語の語順が次単語予測をしやすいように設計されていることを示唆しており，言語の効率性の観点と接続できる [21, 22].

## 異なる言語モデルは語順可能性の異なる側面を創発する一方，特定の言語モデルがすべての指標で 特筆した選好を示しているわけでないこともわか る. 全体として, Transformer などの通常の言語モデ ルは峻別度・調和性の観点で高いスコアを示し，一方認知的に動機づけられた言語モデルは語順分布 との相関が全体・部分的に高いという傾向が見られ る. Transformer が最も自然言語に近い調和性スコア を示していることは，工学的な動機で設計されたモ デルが言語類型論的にも尤もらしい選好を創発して

表 2 各言語モデルの語順選好. 全体相関，部分相関，峻別度における上位 3 スコアと，自然言語に最も近い 3 スコアを太字にしている。また各モデルで最も PPLが低くなった 3 語順設定も併記する。

いる点で興味深い。一方全体・部分相関では，統語 N-グラムが自然言語に近い語順選好を示しており，通常の N-グラム言語モデルよりも相関が向上している点から，短期記憶の制約と共に統語構造を明示的に考慮する言語モデルの優位性を示唆している。言い換えれば，可能語順は限られた短期記憶で逐次統語解析しやすいと解釈できる. 短期記憶制限の優位性は，RNNG に対する SRNNG の優位性，SRN の全体・部分相関が Transformer や LSTM よりも良いことにも現れている（ただし峻別度などの観点では一部結果が逆転している)。なお, 統語解析戦略の違いに関して，特に統語 $\mathrm{N}-$ グラムモデルにおいては明確な差が観察されなかった. また，RNNG に関しても解析戦略に関わらず右枝分かれ言語を好むなど，必ずしも用いた戦略の理論的な性質 [13] がモデルの振る舞いに現れないことも確認された.

Transformer による調和的語順の創発 Transformer の調和的語順への選好と, 文脈内学習の成功との接続可能性について議論する. 既存研究 [23] では, Transformer が, 同じ関数 (関係) が異なる要素に繰り返し適用される文法（例えば，日本東京中国北京UAE アブダビのような国-首都関係）の推定に長けており，それが文脈内学習成功の鍵であるとしている. Transformerがこのような文法を推定できるのであれば，LLLLLL やRRRRRR といった，修飾語-被修飾語あるいは被修飾語-修飾語といった同じ関係のペアが一貫した順序で繰り返し出現する傾向にある調和的な語順（食べる急いでご飯たくさん人隣のなど）の単純さに気づき，うまく言語モデリングできるのかもしれない.

$\{\mathbf{S}, \mathbf{O}, \mathbf{V}\}$ 語順分布の創発の難しさ全体相関の値が部分相関に大きく劣ることから，言語モデルは主語・目的語・動詞の並び $\left(s \mathbf{S}\right.$ と $s^{\mathbf{V P}}$ の設定）の自然言語らしさを創発できていない，今回用いた人工言語では，主語と目的語は同様の名詞句集合からサンプルされており，一方自然言語では情報の新旧や句の長さなど両者に様々な非対称性が存在する $[24,25,26]$. この限界の原因がモデルにあるのか人工言語データにあるのかは，人工言語をより自然言語に近づけていくことで切り分ける必要がある.

## 5 おわりに

本研究では，言語学的な動機から，自然言語らしくないデータを学習できない言語モデルについて探求した. 特に自然言語における語順設定の偏りに焦点を当て，自然言語で頻発する語順設定の言語をモデリングしやすい言語モデルの探索を通して，語順の偏りが生じる要因について構成論的な検証を試みた.より自然言語に近いデータを用い，自然言語の理解へ知見を還元していくことを展望としたい.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Jeff Mitchell and Jeffrey Bowers. Priorless recurrent networks learn curiously. In Donia Scott, Nuria Bel, and Chengqing Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, pp. 5147-5158, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[2] N Chomsky, I Roberts, and J Watumull. Noam chomsky: The false promise of ChatGPT. NY Times, 2023.

[3] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online (v2020.3). Zenodo, 2013.

[4] Joseph H Greenberg, et al. Some universals of grammar with particular reference to the order of meaningful elements. Universals of language, Vol. 2, pp. 73-113, 1963.

[5] Jennifer Culbertson, Paul Smolensky, and Géraldine Legendre. Learning biases predict a word order universal. Cognition, Vol. 122, No. 3, pp. 306-329, March 2012

[6] Jennifer C. White and Ryan Cotterell. Examining the inductive bias of neural language models with artificial languages. In Proceedings of ACL-IJCNLP 2021, pp. 454-463, August 2021.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. NIPS, pp. 5998-6008, 2017.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Journal of Neural Computation, Vol. 9, No. 8, pp. 17351780, 1997.

[9] Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, No. 2, pp. 179-211, March 1990.

[10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and Fine-Tuned chat models. arXiv preprint, July 2023.

[11] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A Smith. Recurrent neural network grammars. In Proceedings of NAACL 2016, pp. 199-209, June 2016

[12] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan R. Brennan. Finding Syntax in Human Encephalography with Beam Search. In Proceedings of ACL 2018, pp. 2727-2736, 2018

[13] Philip Resnik. Left-Corner parsing and psychological plausibility. In Proceedings of COLING 1992, 1992

[14] Hiroshi Noji and Yusuke Miyao. Left-corner transitions on dependency parsing. In Proceedings of COLING 2014, pp. 2140-2150, 2014.

[15] Richard Futrell, Edward Gibson, and Roger P. Levy. Lossy-Context
Surprisal: An Information-Theoretic Model of Memory Effects in Sentence Processing. Journal of Cognitive Science, 2020.

[16] Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models more humanlike. In Proceedings of EMNLP 2022, pp. 10421-10436, December 2022.

[17] Adhiguna Kuncoro, Chris Dyer, John Hale, Dani Yogatama, Stephen Clark, and Phil Blunsom. LSTMs can learn SyntaxSensitive dependencies well, but modeling structure makes them better. In Proceedings of ACL 2018, pp. 1426-1436, July 2018.

[18] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars. In Proceedings of EMNLP 2021, pp. 2964-2973, November 2021.

[19] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of ACL-IJCNLP 2021, pp. 4340-4352, August 2021

[20] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of EMNLP 2017, pp. 1695-1700, September 2017.

[21] Edward Gibson, Richard Futrell, Steven P Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends Cogn. Sci., Vol. 23, No. 5, pp. 389-407, May 2019.

[22] Michael Hahn, Dan Jurafsky, and Richard Futrell. Universals of word order reflect optimization of grammars for efficient communication. Proc. Natl. Acad. Sci. U. S. A., Vol. 117, No. 5, pp. 2347-2353, February 2020

[23] Michael Hahn and Navin Goyal. A theory of emergent In-Context learning as implicit structure induction. arXiv e-prints, March 2023.

[24] John A Hawkins. A performance theory of order and constituency. No. 73. Cambridge University Press, 1994.

[25] Jeanette K Gundel. Universals of topic-comment structure. Studies in syntactic typology, Vol. 17, No. 1, pp. 209-239, 1988.

[26] Elisabeth Verhoeven. Thematic asymmetries do matter! a corpus study of german word order. Journal of Germanic Linguistics, Vol. 27, No. 1, pp. 45-104, 2015.

[27] Matthew S. Dryer. Order of subject and verb (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013

[28] Matthew S. Dryer. Order of object and verb (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[29] Matthew S. Dryer. Order of adposition and noun phrase (v2020.3) In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[30] Matthew S. Dryer. Order of adjective and noun (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013

[31] Matthew S. Dryer. Order of relative clause and noun (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.

[32] Matthew S. Dryer. Position of case affixes (v2020.3). In Matthew S. Dryer and Martin Haspelmath, editors, The World Atlas of Language Structures Online. Zenodo, 2013.
表 3 MALS データの統計

 \\

## A 語順分布

表 3 に語順分布の推定に用いた WALS データの詳細を示す. 収録されている 2,679 言語のうち，少なくとも 1 つ関連する語順パラメータが記録されている 1,616 言語の統計を用いた. 特定の語順パラメータの情報が欠落している場合は，記録されている他の語順情報と互換性のある語順設定候補全てに対して，1 票を分割して投票した. 例えば， LXLLXR (Xが欠損値) の場合, LLLLLLR, LELLRR, LRLLLER, and LRLLRR に $1 / 4$ 票投票した.

## B 人工言語

表 4 に，人工言語コーパス生成時に用いた文法を記す。平均文長は 11.8 単語であり, 統語構造の平均的な深さは 9.1 であった. 語彙には, 既存研究で作成された擬似単語を使っており，合計で 1,314 種類の単語が用意されている.表 4 人工言語コーパス生成時に用いた文法