# 文字列中からの単語の発見と感覚情報に基づく 単語の意味づけを通じた SIR 名付けゲームによる言語の創発

堀江孝文 ${ }^{1}$ 谷口彰 2 萩原良信 3 谷口忠大 ${ }^{2}$
1 立命館大学大学院 情報理工学研究科 2 立命館大学 情報理工学部
3 立命館大学 総合科学技術研究機構
\{horie.takafumi,a.taniguchi,yhagiwara,taniguchi\}@em.ci.ritsumei.ac.jp

## 概要

相互分節化仮説とは，複数のエージェントによる文のやり取りを通じ，文の分節化と状況の分節化が同時に行われることで，人間の言語が誕生したとする仮説である. 本研究では，相互分節化仮説に着想を得て，観測した感覚情報を表現する文字列のやり取りを通じ，エージェントが文字列中から単語を発見し, 単語と分類された感覚情報の関係を推論することで，言語が創発する過程のモデル化を目指す. そこで本稿では，教師なしで文を分節化するためのモデル NPYLM と, 色や形といった複数の属性を含む感覚情報と単語との結びつきを学習する交差状況学習のモデル CSL-PGMを統合してエージェントを構成し，二体のエージェントを接続したモデル Inter-CSL+NPYLM を構築する。また, エージェント間における推論を，文のやり取りに基づく言語ゲー ムである SIR 名付けゲームにより実現する. 実験では，提案手法が比較手法よりもエージェント間の発話の編集距離を小さくすることが確認された。一方で，提案手法が文の分節化誤りの影響を大きく受けたことで，エージェント間で多くの単語が共有されなかったことも明らかになった。

## 1 はじめに

相互分節化仮説とは，文を構成する文字列の一部と分節化された状況が対応付けられることで，言語が誕生したとする仮説である [1].この仮説では，複数のエージェントが共有された状況の中で発話する中で，発話された文の分節化と，状況の分節化が同時に行われていき，言語が創発したと考える. 本研究では，この相互分節化仮説に着想を得て，分節化されていない文字列のやり取りを通じ，エージェントが文字列を分節化しつつ，複数の属性を含む感

図 1: 本研究で扱う言語の創発の概要. 分節化されていない文字列のやり取りを通じ，エージェントが単語を発見しつつ, 単語と感覚情報を結びつける。

覚情報のカテゴリゼーションを行い, 単語と感覚情報を結びつけていくことで，言語が創発する過程のモデル化を目指す（図 1）.

切れ目のない文字列のやり取りを通じた言語の創発をモデル化するためには，文を分節化すること, 状況を分節化すること，分節化によって得られた単語を感覚情報と対応付けることが必要である.これに関し, 言語の創発の計算論的なモデル化を扱ったこれまでの研究が多数提案されている [2]. Chaabouni らは, 深層強化学習に基づいた言語ゲー ムを通して, 単語と感覚情報が結びつけられていく過程をモデル化した [3]. また萩原らは, エージェントが複数の単語を組み合わせて観測を説明する言語ゲームを通じて，記号が創発する過程をモデル化した [4]. しかし，これらのモデルは用いる単語の種類を制限しており，また切れ目のない文によるコ

ミュニケーションを扱っていなかった。

本研究では相互分節化仮説における文の分節化と状況の分節化を同時にモデル化するため， NPYLM [5] と Cross-situational learning with Bayesian probabilistic generative model (CSL-PGM) [6] という二つのモデルを統合する．NPYLM は，教師なしで文字列を分節化することができる言語モデルである. 本研究では，例えば図 1 で文を “mj gfqq dtz lwf $n x w j i "$ のように単語へと分割するために用いる. CSL-PGM は，交差状況学習に基づき，感覚情報を分類しつつ単語と結びつく属性・感覚情報を推論するモデルである. ここで交差状況学習とは，単語と感覚情報の共起を学習することで，単語と結びついている属性（例: “wji” は色属性，“lwf” は形属性など）と，感覚情報のカテゴリ（例: “wji” は赤，“lwf” は球など）を推論することである.

本稿では，CSL-PGM と NPYLM を統合したエー ジェントを構成し，そのエージェント二体を接続したモデル Inter-CSL+NPYLM を提案した. また, Inter-CSL+NPYLM 上での推論を，観測した感覚情報に結び付いた文をやり取りする言語ゲーム Sample Importance Resampling 名付けゲーム (SIR 名付けゲー ム，SIRNG)により定式化した。

## 2 提案手法: Inter-CSL+NPYLM with SIRNG

## 2.1 Inter-CSL+NPYLM

図 2 に Inter-CSL+NPYLM のグラフィカルモデルを示す. また，表 1 に各変数のうち後述の SIR 名付けゲームに関係するものの定義を示す. その他の変数の定義については Appendix を参照されたい。な

ある。

本研究では，隠れ単語列 $w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ おび文字列 (character sequence) $\ell_{d}$ の生成過程を, unigram rescaling [7] を用いて以下のように近似する。なお以下では，CSL-PGM に対応する部分の変数のうち， $w_{d}^{*}$ 以外のものに関する集合を $\Omega^{*}$ と表記する。

$
\begin{aligned}
& P\left(\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}} \mid \mathbf{v}^{\mathrm{A}}, T^{\mathrm{A}}, \mathbf{v}^{\mathrm{B}}, T^{\mathrm{B}}, \Omega^{\mathrm{A}}, \Omega^{\mathrm{B}}\right) \\
& \approx \propto \frac{P\left(\ell_{d} \mid w_{d}^{\mathrm{A}}, \mathbf{v}^{\mathrm{A}}\right) P\left(w_{d}^{\mathrm{A}} \mid T^{\mathrm{A}}\right) P\left(w_{d}^{\mathrm{A}} \mid \Omega^{\mathrm{A}}\right)}{\prod_{d, s} P\left(\ell_{d, s}\right) \prod_{d, n} P\left(w_{d, n}^{\mathrm{A}}\right)} \\
& \quad \times \frac{P\left(\ell_{d} \mid w_{d}^{\mathrm{B}}, \mathbf{v}^{\mathrm{B}}\right) P\left(w_{d}^{\mathrm{B}} \mid T^{\mathrm{B}}\right) P\left(w_{d}^{\mathrm{B}} \mid \Omega^{\mathrm{B}}\right)}{\prod_{d, n} P\left(w_{d, n}^{\mathrm{B}}\right)}
\end{aligned}
$

この近似により, $\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ の生成確率を各エー
ジェントの CSL-PGM 部分・NPYLM 部分の確率によって計算することができる。なお， $P\left(\ell_{d} \mid\right.$ $\left.w_{d}^{*}, \mathbf{v}^{*}\right), P\left(w_{d}^{*} \mid T^{*}\right), P\left(w_{d}^{*} \mid \Omega^{*}\right)$ の具体的な計算式については Appendix を参照されたい.

$\ell_{d}, w_{d}^{\mathrm{A}}, w_{d}^{\mathrm{B}}$ 以外の変数のうち, CSL-PGM 部分に対応する変数の生成・推論過程は，オリジナルの CSL-PGM と同様である [6]. また，NPYLM 部分に対応する変数は，階層 Pitman-Yor 過程 [5] により生成される。

## 2.2 SIR 名付けゲーム

Inter-CSL+NPYLM では，文のやり取りを通じたエージェント間の推論を，SIR 名付けゲームとしてモデル化する．これは，確率的生成モデルを接続する SERKET フレームワーク [8,9] における，SIR 法に基づいた手続きである。なお以下では，エージェント $\mathrm{A}, \mathrm{B}$ のうち話し手を $\mathrm{Sp}$ ，聞き手を $\mathrm{Li}$ とする。

SIR 名付けゲームは，式 (1)を重点サンプリングと SIR 法により近似する．SIR 名付けゲームの具体的な手続きを以下に示す。

(i)話し手側エージェントは，CSL-PGM 部分により, $w_{d}^{\mathrm{Sp}}$ の仮のサンプル $\overline{\bar{w}}_{d}^{\mathrm{Sp}(r)},\left(r=1, \cdots, R^{\text {speak }}\right)$ を得たのち，NPYLM 部分，および文字ユニグラム確率によって各サンプルの重み

$
\overline{\mathscr{W}}_{d}^{(r)}=\frac{P\left(\overline{\bar{w}}_{d}^{\operatorname{Sp}(r)} \mid T^{\operatorname{Sp}(r)}\right)}{\prod_{d, s} P\left(\overline{\bar{\ell}}_{d, s}^{(r)}\right) \prod_{d, n} P\left(\overline{\bar{w}}_{d, n}^{(r)}\right)}
$

を計算する。

(ii) $\overline{\mathscr{W}}_{d}^{(r)}$ に比例する確率で $\overline{\bar{w}}_{d}^{\operatorname{Sp}(r)}$ をリサンプリングし，発話される単語列のサンプル $\bar{w}_{d}^{\operatorname{Sp}(q)}(q=1, \cdots, Q)$ を得る. なお, $\overline{\bar{\ell}}_{d}^{(r)}$ は $\overline{\bar{w}}_{d}^{(r)}$ を $\mathbf{v}^{\mathrm{Sp}}$ によって変換し得られる文字列である.

(iii)話し手側の単語列 $w_{d}^{\operatorname{Sp}(q)}$ を $\mathbf{v}^{\operatorname{Sp}(q)}$ により変換し，切れ目のない文字列 $\ell_{d}$ のサンプル $\ell_{d}^{(q)}(q=1, \cdots, Q)$ を得る.

(iv)聞き手側エージェントは $\bar{\ell}_{d}^{(1)}, \cdots, \bar{\ell}_{d}^{(Q)}$ をそれぞれ分節化し $w_{d}^{\mathrm{Li}}$ の仮のサンプル $\bar{w}_{d}^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}(r=$ $\left.1, \cdots, R^{\text {segment }}\right)$ を得たうえで，各 $\bar{w}_{d}^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}$ に対し重み

$
\begin{aligned}
\mathscr{W}^{\prime(q, r)}= & \frac{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{T}^{\operatorname{Li}(q)}\right)}{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{\ell}_{d}^{(q)}, \overline{\mathbf{v}}^{\operatorname{Li}(q)}, \bar{T}^{\operatorname{Li}(q)}\right)} \\
& \times \frac{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \Omega^{\operatorname{Li}(q, r)}\right)}{P\left(\bar{w}_{d}^{\operatorname{Li}(q, r)} \mid \bar{\ell}_{d}^{(q)}, \overline{\mathbf{v}}^{\operatorname{Li}(q)}, \bar{T}^{\operatorname{Li}(q)}\right)}
\end{aligned}
$

表 1: Inter-CSL+NPYLM の各変数の定義

$\begin{array}{ll}N_{d}^{*} & \ell_{d} \text { 中の単語の数 } \\ \ell_{d} & d \text { 番目の観測に対応する文字列 }\end{array}$ $\left(\ell_{d, 1}, \cdots, \ell_{d, s}, \cdots, \ell_{d,\left|\ell_{d}\right|}\right)$

$w_{d}^{*} \quad \ell_{d}$ を生成する，単語のインデックスの列 $\left(w_{d, 1}^{*}, \cdots, w_{d, n}^{*}, \cdots, w_{d, N_{d}}^{*}\right)$

$F_{d}^{*} \quad w_{d}^{*}$ 亿対応尔了属性の列 $\left(F_{d, 1}^{*}, \cdots, F_{d, n}^{*}, \cdots, F_{d, N_{d}}^{*}\right)$

$\theta_{l}^{*} \quad$ 感覚情報カテゴリ $l$ での単語確率

$T^{*} \quad w_{d}^{*}$ を生成する n-gram 確率 $\left.\{T_{t^{\prime}, t}\right.\}_{\forall t^{\prime}, t}$. $T_{t^{\prime}, t}$ は単語列 $t^{\prime}$ の直後における単語 $t$ の確率

$\mathbf{v}^{*} \quad$ 単語辞書 $\left.\{v_{i}\right.\}_{\forall i} . v_{i}$ は単語インデックス $i$ に対応する文字列

$\rho^{*} \quad T^{*}, \mathbf{v}_{i}^{*}$ を生成するパラメータの集合

図 2: Inter-CSL+NPYLM のグラフィカルモデル

を計算する。ここで， $\Omega^{\prime \mathrm{Li}(q, r)}$ は $\bar{w}_{d}{ }^{\mathrm{Li}(\mathrm{q}, \mathrm{r})}$ をすべて用い， $\Omega^{\mathrm{Li}}$ のうち $F_{d}^{\mathrm{Li}}, \theta_{l}^{\mathrm{Li}}$ を Gibbs sampling で学習して得られる， $\Omega^{\mathrm{Li}}$ のサンプルである.

(v)求めた $\mathscr{W}_{d}^{(q, r)}$ に比例する確率で $\bar{\ell}_{d}^{\mathrm{Li}(q)}, \bar{w}_{d}^{\mathrm{Li}(q, r)}$ をリサンプリングし，最終的なサンプル $\ell_{d}^{\mathrm{Li}(q)}, w_{d}^{\mathrm{Li}(q)}(q=1, \cdots, Q)$ を得る.

聞き手は，以上の手続きで得たサンプル $\left.\{\ell_{d}{ }^{\mathrm{Li}(q)}, w_{d}{ }^{\mathrm{Li}(q)}\right.\}_{q=1}^{Q}$ を用いて CSL-PGM 部分, NPYLM 部分のパラメータを Gibbs sampling で学習する。

本稿では，各エージェントにおいて $\ell_{d}^{*}, w_{d}^{*}$ a から z のアルファベットで構成されるランダムな文字列で初期化し， $w_{d}^{*}$ と感覚情報を用いてあらかじめ CSL-PGM 部分を学習させたうえで凍結する．そのうえで，両エージェントが聞き手と話し手の立場を入れ替えながら SIR 名づけゲームのステップ (i)-(v) と凍結されていない部分の Gibbs sampling を繰り返すことで，モデル全体の学習を実現する。

## 3 実験

本研究では, 各エージェントが感覚情報と単語を対応付けられているか，またエージェントの間で単語とその語順が共有されているかを検証するため，実験を行った. エージェント間で単語・語順が共有されているかについては，同じ状況に対する発話の類似度を評価した。具体的には，編集距離を比較対象のうち長い方の文の文字数で割って得られる値 (以下，文字あたり編集距離）と，各エージェントが発話した単語列における tri-gram 確率の間の JS ダイ
バージェンスを用いた.

## 3.1 実験条件

実験においては，萩原らの先行研究 [4] で用いられていた感覚情報のデータセットを用いる。このデータセットには，感覚情報とエージェント間の共同注視の情報が含まれている，感覚情報は， iCub シミュレータを用いて取得された，各属性（ロボットの触覚と体性感覚: Action，物体の位置情報: Position，物体の形状情報: Object，物体の色情報: Color）の情報で構成されている.

実験では，三つの異なる手法を比較した。なおモデルのパラメータの設定については Appendix を参照されたい。

-SIRNG: 本研究の提案手法である InterCSL+NPYLM with SIRNG.
- no communication: Inter-CSL+NPYLM with SIRNG において，各エージェントが相手の発話を受け取らず，代わりに自分の発話を受け取る手法. エージェントがコミュニケーションを行っていない場合に相当する。
- no listener resampling Inter-CSL+NPYLM with SIRNG において, Speaker エージェントが相手の発話を受け取った際，文を単語へ分節化した後の resampling を行う手法. 聞き手が相手の発話をそのまま受け入れる場合に相当する。

図 3: 各エージェントの発話に含まれていた単語の例。（）内は単語の属性を示す。一部の単語が共有されていた一方，似た経りの語が異なる感覚情報と結び付けられる例が多く見られた。

## 3.2 実験結果と考察

## 3.2.1 感覚情報と単語の対応・共有

図 3 に，提案手法において学習後のエージェントが用いていた単語と，それに対応する状況の例を示す. 実験では，図の “gcc” や“hhhhh” のように，両エージェントが一部の単語を共有し, 同じ感覚情報を指す言葉として学習していることが確認された。 しかし，大部分の単語は共有されず，同じ状況に対して各エージェントが全く異なる単語で会話する現象がみられた。

エージェント間で共有されていない単語に注目すると，片方のエージェントでつかわれている単語とよく似ているのにもかかわらず，異なる感覚情報と結び付けられている単語が多数確認された. 具体的には，図 3 の “hjda” と “hjadaa” のように異なる属性の感覚情報を表す語として学習されているものや， “iiig” と“iii”のように同じ属性の異なる感覚情報を表す語として学習されているものが存在した。

これは, Inter-CSL+NPYLM のうち, 感覚情報と単語を結びつける CSL-PGM 部分において，単語の文字列としての類似度を考慮していなかったためだと考えられる. CSL-PGM 部分では，単語同士の文字列としての類似度を考慮せず，一字でも違う単語は全く別の単語として扱っていた。しかし，文のやり取りにおいては，聞き手の分節化誤りなどが発生し，本来同じである単語が異なる文字列で表現されることが考えられる。由えに，違う綴りの単語を全く異なる単語として扱ったことが，エージェント間における単語の意味の共有を妨げたと考えられる。表 2: エージェントの発話の類似度に関する定量評価. “編集距離” はエージェント間の文字あたり編集距離, “JS 距離” は文字 tri-gram の JS ダイバージェンスを示している

## 3.2.2 エージェント間での単語・語順の共有

表 2 に，エージェント間における発話の文字あたり編集距離，および単語 tri-gram 確率の間の JS ダイバージェンスを示す1).

表 2 を見ると，比較手法に比べ，提案手法の方が文字当たり編集距離が小さいことが分かる.このことから，聞き手が話し手の文をそのまま受け入れるのではなく，SIR 法に基づきリサンプリングすることが言語の共有を促すと考えられる。

一方で，どの手法も文字あたり編集距離が 0.7 を上回っていることや，エージェント間の単語 tri-gram 確率に関する JS divergence がほとんど同じになっていることも確認できる。これは3.2.1 節での議論の通り，エージェント間で単語の意味の共有が十分にできていないためだと考えられる.

## 4 結論

本稿では，切れ目のない文字列によるコミュニケーションを通じ，エージェントが単語を発見しつつ感覚情報を分類し，単語と感覚情報を結びつけることで，言語が創発する過程をモデル化した。具体的には， CSL-PGM と NPYLM に基づきモデル Inter-CSL+NPYLMを構築した. また，エージェント間での推論を文のやり取りとして実現する SIR 言語ゲームを提案した。

今後の展望としては，エージェント間で単語が共有されない問題を解決するため，単語と感覚情報を結び付ける際に単語の文字列としての類似度を考慮することが挙げられる。また，相互分節化仮説 [1]による言語の創発をシミュレーションするため，エージェントによる感覚情報の分類を，コミュニケーションと同時に行わせることも課題である.

1） mean はそれぞれ，5 回の実験で得た値の平均を示している. $\mathrm{t}$-test は提案手法との $\mathrm{t}$ 検定の結果を示しており, $\mathrm{p}$ 值が 0.05 以上である場合を n.s., 0.05 未満である場合を*， 0.01 未満である場合を**として示している.

## 謝辞

本研究は JSPS 科研費 JP21H04904 および

JP23H04835 の助成を受けたものです.

## 参考文献

[1] Kazuo Okanoya and Bjorn Merker. Neural substrates for string-context mutual segmentation: A path to human language. In Emergence of communication and language, pp. 421-434. Springer, 2007.

[2] Lukas Galke, Yoav Ram, and Limor Raviv. Emergent communication for understanding human language evolution: What's missing? In Emergent Communication Workshop at ICLR 2022, 2022.

[3] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4427-4442, Online, July 2020. Association for Computational Linguistics.

[4] Yoshinobu Hagiwara, Kazuma Furukawa, Takafumi Horie, Akira Taniguchi, and Tadahiro Taniguchi. Symbol emergence as interpersonal cross-situational learning: the emergence of lexical knowledge with combinatoriality. arXiv preprint arXiv:2306.15837.

[5] Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda. Bayesian unsupervised word segmentation with nested pitman-yor language modeling. In Proceedings of the ACL-IJCNLP, pp. 100-108, 2009.

[6] Akira Taniguchi, Tadahiro Taniguchi, and Angelo Cangelosi. Cross-situational learning with bayesian generative models for multimodal category and word learning in robots. Frontiers in neurorobotics, Vol. 11, p. 66, 2017.

[7] Daniel Gildea and Thomas Hofmann. Topic-based language models using em. In Sixth European Conference on Speech Communication and Technology, pp. 21672170, 1999.

[8] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi. Serket: an architecture for connecting stochastic models to realize a large-scale cognitive model. Frontiers in neurorobotics, Vol. 12, p. 25, 2018.

[9] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii, and Takayuki Nagai. Neuro-serket: development of integrative cognitive system through the composition of deep probabilistic generative models. New Generation Computing, Vol. 38, No. 1, pp. 23-48, 2020.
表 3: Inter-CSL+NPYLM の各変数の定義（補足）

 \\

## A 付録

## A. 1 Inter-CSL+NPYLM with SIRNG の補足

Inter-CSL+NPYLM の変数のうち，表 1 で省略したものの定義を表 3 に示す。また，SIRNG の流れをまとめたものを図 4 に示す.

## A. 2 近似式 (1) の詳細

式(1) における $P\left(\ell_{d} \mid w_{d}^{*}, \mathbf{v}^{*}\right), P\left(w_{d}^{*} \mid T^{*}\right), P\left(w_{d}^{*} \mid\right.$ $\left.\Omega^{*}\right)$ は，以下のように計算される:

$
\begin{aligned}
P\left(\ell_{d} \mid \mathbf{v}^{*}, w_{d}^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} \prod_{s=1}^{*} \delta\left(\ell_{d, S_{d,(n-1)}^{*}+S}^{*}, v_{w_{d, n}^{*}, s}^{*}\right) \\
P\left(w_{d}^{*} \mid \Omega^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} P\left(w_{d, n}^{*} \mid \Omega^{*}\right) \\
P\left(w_{d}^{*} \mid T^{*}\right) & =\prod_{n=1}^{N_{d}^{*}} \operatorname{Cat}\left(w_{d, n}^{*} \mid T_{w_{d, n-1: n-\zeta-1, w_{d, n}}^{\mathrm{word}}}\right) .
\end{aligned}
$

ただし,

$
\begin{aligned}
& P\left(w_{d, n}^{*} \mid \Omega^{*}\right) \\
& \quad= \begin{cases}\operatorname{Cat}\left(w_{d, n}^{*} \mid \theta_{\mathrm{x}}\right) & \left(\text { if } F_{d, n}=\mathrm{x}\right) \\
\operatorname{Cat}\left(w_{d, n}^{*} \mid \theta_{l=z_{F, n}^{*}, d, \Xi_{d}^{*}}\right) & \text { (otherwise), }\end{cases}
\end{aligned}
$

である.ここで，らは NPYLM 部分の単語 n-gram オーダー,$S_{d, n}$ は $d$ 番目の観測に対応する文字列における $n$ 番目の単語境界の位置， $\delta(\cdot)$ はクロネッカーのデルタ， $\operatorname{Cat}(\cdot)$ はカテゴリカル分布を示して

(a) 話し手側の手続き

(b) 聞き手側の手続き

図 4: SIR 名付けゲームの流れ. 話し手が発話する文を決定する際，および聞き手が分節化結果を評価する際に，SIR 法 $[8,9]$ による近似が行われている.

いる。また， $\mathrm{x}$ は，対応する単語が機能語もしくは分節化誤りであることを示す属性である.

## A. 3 実験におけるモデルのパラメータ

実験において，CSL-PGM 部分のハイパーパラメータについては全手法で $\alpha^{*}=1.0, \gamma=0.1$, $m_{0}^{*}=\mathbf{O}_{\mathrm{dim}^{*}}, \kappa_{0}^{*}=0.001, \quad V_{0}^{*}=0.01 I_{\mathrm{dim}^{*}}, v_{0}^{*}=\mathrm{dim}^{*}+2$ とする．ただし， dim* は属性 $*$ の感覚情報の次元数であり, $\mathbf{O}_{\mathrm{dim}^{*}}$ は $\operatorname{dim}^{*}$ 次元の零ベクトル， $I_{\mathrm{dim}^{*}}$ は $\mathrm{dim}^{*}$ 次の単位行列である. 属性列 $F_{d}$ の定義域 $\lambda$ については，集合 $\{\mathrm{a}, \mathrm{p}, \mathrm{o}, \mathrm{c}, \mathrm{x}\}$ の元からなる長さ $N_{d}$ の重複を許した順列全てとする。NPYLM 部分では，文字モデルを可変長 $n$-gram，単語モデルを trigram (3-gram) とする。また SIR 名付けゲームにおいては，毎回のイテレーションで文中の単語の数 $N_{d}$ を 3〜7 の一様乱数で設定している.


# 統語変形はコミュニケーションから創発するのか？

梶川康平 ${ }^{1}$ 窪田悠介 ${ }^{2}$ 大関洋平 ${ }^{1}$
1 東京大学 2 国立国語研究所
\{kohei-kajikawa,oseki\}@g.ecc.u-tokyo.ac.jp kubota@ninjal.ac.jp

## 概要

自然言語には合成性にもとづく統語構造が存在し、さらに統語構造を直接変形する操作 (統語変形) が存在する。先行研究において、合成性はコミュニケーションと学習可能性に関する圧力のトレードオフとして創発することが示されている。しかしながら、自然言語になぜ統語変形が存在するのかは明らかではない。本研究では、統語変形を必要とする統語現象として等位接続に注目した上で、統語変形もまたコミュニケーションと学習可能性に関する圧力のトレードオフとして創発するのかを検証する。

## 1 はじめに

自然言語の普遍性を理解するためには、どのように普遍性を理論的に記述することができるのかに加え、なぜそのような普遍性が存在するのかという問いも決定的に重要である。そして近年、自然言語の普遍性は、コミュニケーションや学習可能性に関する圧力のトレードオフとして創発するという説明を試みる研究が注目を集めている $[1,2,3,4]$ 。

Kirby らは、自然言語の普遍的な性質として合成性にもとづいた統語構造に注目し、合成性にもとづく統語構造が、コミュニケーションに関する圧力と学習可能性に関する圧力という相反する圧力が同時に働いたときに、両圧力のトレードオフとして創発するということを主張している $[2,5,6]$ 。たとえば、 [2] では、文法の複雑さが異なる 3 種類の言語を想定し、それらの、コミュニケーションと学習可能性に関する圧力への適応力を検証した。ここでの文法の複雑さとは、文法規則全体を表現する最小のコード長、すなわち、文法自体の圧縮可能性を指す。3 種類の言語とは具体的に、あらゆる意味を同一の言語表現で表現する縮退的言語 (degenerate)、合成性をもつ文法規則による合成的言語 (compositional)、あらゆる意味をそれぞれ単一の異なる言語表現で表現する総体的言語（holistic）を想定しており、縮退的言語から順に文法規則の数が増えている。つまり、順に文法の圧縮可能性が高くなっているという関係になっている。想定する言語の表現長はすべて同一であるという前提を置き、コミュニケーションに関する圧力により、より表現力の高い言語、すなわち、より曖昧性が少ない言語が求められるとする。一方、学習可能性に関する圧力により、より学習しやすい言語、すなわち、圧縮可能性の高い文法による言語が求められると考えられる。結果として、繰り返し学習モデル (iterated learning) によるシミュレーションにより、(i) コミュニケーションに関する圧力のみがかかる場合は、総体的言語が創発する、 (ii) 学習可能性に関する圧力のみがかかる場合は、縮退的言語が創発する、(iii) 2 つの圧力が同時にかかる場合は、合成的言語が創発する、ということを示した。

しかしながら、ここでの合成性にもとづく統語構造をもつ言語とは、文脈自由文法で表現することができる言語が想定されており、自然言語には文脈自由文法では表現しきれない複雑な統語現象が存在するという事実を十分に捉えられていない [7]。この事実は、理論言語学において、自然言語には統語構造を直接変形する操作（統語変形）が存在するという主張により直感的に捉えられてきた [8]。なお、全ての言語理論に「統語変形」という操作が存在するわけではないが、文脈自由文法では表現しきれない複雑な統語現象を捉えるための操作は、表現の仕方は違えど全ての言語理論に存在する $[9,10,11,12]$ 。

本研究は、統語変形もまたコミュニケーションと学習可能性に関する圧力のトレードオフとして創発するのかを検証することを目的とする。具体的には、統語変形を必要とする統語現象として等位接続に注目した上で、文法の圧縮可能性が異なる 3 種類の言語による等位接続を、コミュニケーションの効率性と学習可能性の観点から比較する。結果として、統語変形のある言語では、 2 つの圧力のトレー ドオフが成り立っていることを示す。

## 2 統語変形

自然言語には合成性にもとづく統語構造が存在し、さらに統語構造を直接変形する操作である統語変形が存在すると主張されてきた $[8]$ 。統語変形を仮定する言語理論では、まず文脈自由文法にもとづき文の基底構造が生成され、必要に応じて統語変形で基底構造を変形することで最終的な統語構造を派生すると考えられている。例えば、受動文は統語変形を必要とする代表的な統語現象であり、目的語位置にある名詞句を文頭に移動させ、主語位置にある名詞句を文末に移動させる。ここで重要なのは、移動させる名詞句も、その名詞句を移動させる位置も、統語構造を参照して決定され、単語列の線形順序を参照することは決してない。

同様に、本研究で対象にする等位接続も、統語変形を必要とする統語現象であると伝統的に考えられてきた $[8,13,14]$ 。例えば、John ran and swam. という等位接続文は、John ran and John swam. という等位接続文から、Mary kicked and punched John. という等位接続文は、Mary kicked John and Mary punched John. という等位接続文から、それぞれ統語変形によって派生されると考えられる（図 1)。具体的には、ここでは以下のような統語変形が用いられていると考えられる：

$
\begin{aligned}
& \left(Y+X_{1}+Z\right)+\text { conj }+\left(Y+X_{2}+Z\right) \\
\rightarrow & Y+\left(X_{1}+\text { conj }+X_{2}\right)+Z
\end{aligned}
$

([8], p.113, 一部改変)

$X$ は任意の統語範疇、 $Y, Z$ は任意の統語範疇もしくは文字列、conj は任意の等位接続詞、+は連結を表す。統語変形を仮定することで、任意の統語範疇について、同一の統語範疇同士であれば等位接続が可能であるという事実を説明することができる。1)

1）ここで示した「等位構造縮約変形（Conjunction Reduction Transformation)」による等位接続の分析のナイーブな定式化は 70 年代に Partee によって批判され [15]、後の 80 年代の形式意味論研究において、等位接続詞の意味を統語変形を用いずに高階論理で記述する「一般化等位接続 (Generalized Conjunction)」が代案として提案された $[16,17]$ 。「一般化等位接続」の手法は、証明論的な観点に立てば意味論レベルで統語変形を行っているものとみなすことができるため、等位接続の分析に (広い意味での) 統語変形の操作が必要であることを否定するものではない。本研究で問題にしているのは、この後者の、単語列から意味表示を得る過程のいずれかの段階における「構造に対する操作」という意味での「統語変形」の概念であるため、「等位構造縮約変形」と「一般化等位接続」の差は以下の議論では実質的に問題とならない。

Mary kicked John and Mary punched John

(a) 統語変形前

(b) 統語変形後

図 1: 等位接続の統語変形による分析

## 3 言語のデザインと圧力

本研究では、文法の圧縮可能性が異なる 3 種類の言語を検証する。これら 3 つの言語は、まず同一の文脈自由文法にもとづき生成した上で、その後 (1)統語変形を適用しない、(2) 統語変形を適用する、(3)非統語変形も適用することで構成している（表 1）:

1. no-transform 言語：統語変形が存在しない言語。文同士の等位接続のみ可能。

2. syntactic-transform 言語：統語変形が存在する言語。同一の統語範疇同士であれば等位接続が可能。

3. radical-transform 言語：統語変形による等位接続に加え、さらに「同一文中で既に使用した表現を削除する」という非統語変形が存在する言語。

表 1: 文法の圧縮可能性が異なる 3 種類の言語
学習可能性人間の一般認知能力として、同一のデータから学習されるパターンの中では最も単純なパターンが選好される [18]。以上の 3 つの言語の中では、no-transform 言語から順に 1 つずつ変形規則が増えているため、no-transform 言語が最も単純である。従って、学習可能性に関する圧力の下では、より文法長（同一のデータを記述するのに使う規則数）が短い圧縮可能性の高い文法が生成する言語が好まれると考えられる : no-transform 言語 $>$ syntactic-transform 言語 $>$ radical-transform 言語。

コミュニケーションの効率性圧縮可能性の高い文法による言語が、コミュニケーションに関する圧力の観点からも選好されるとは限らない。具体的には、no-transform 言語は、文法の圧縮可能性こそ高いが、統語変形が無いため生成される言語表現は長く冗長なものとなる。一方、radical-transform 言語は、文法の圧縮可能性こそ低いが、生成される言語表現は短く簡潔なものとなる。

先行研究では、コミュニケーションに関する圧力として、効率的なコミュニケーションを実現するため話し手もしくは聞き手にかかる圧力を想定することが多い $[19,20,21,22]$ 。効率的なコミュニケー ションとは、話し手が最小の労力を払いつつ、聞き手が最大の理解を得られる状況のことを指す [4]。 Kirby らは、表現長がすべて同一である言語を比較し、聞き手が高い理解を得られる言語、つまり曖昧性が低い言語がコミュニケーションに関する圧力によって創発するとした [2]。しかしながら、曖昧性は多くの場合に文脈によって解消されると仮定すると、より短い言語表現が要求される $[1]$ 。そこで、本研究では、この短く簡潔な言語表現への圧力をコミュニケーションに関する圧力として想定する。従って、コミュニケーションに関する圧力の下では、より表現長（同一の意味を表現するのに使う単語数）が短い言語が好まれると考えられる: radical-transform 言語 > syntactic-transform 言語 > no-transform 言語。

## 4 実験

## 4.1 データ生成

まず、文の基底構造を生成する文脈自由文法を仮定した上で、その文法から文をランダムにサンプリングし、さらに統語変形や非統語変形を適用し、3

図 2: 基底構造を生成する文脈自由文法

表 2: 基底構造と対応する意味

種類の言語を生成した。実際に用いた文脈自由文法を図 2 に示す。また、基底構造を生成する際、等位接続や埋め込みの影響で生成される文が指数関数的に増大することを防ぐため、同一文中に and は 1 つまで、 that は2つまでという制約を加えた。2)さらに、radical-transform 言語は、原理的に曖昧性が生じてしまうため、曖昧性が生じている文については、部分的に一部の単語にインデックスを付与し、曖昧性が解消されるように設計した。加えて、基底構造に対応する意味は、表 2 に示した通り、述語論理によって表現した。

## 4.2 モデル

モデルによる統語構造の理解を評価するため、文から対応する意味への翻訳タスクを実施し、その精度を測るという方法がある [24]。そこで、各言語の学習可能性を評価するため、アテンション付き RNN によるエンコーダ・デコーダモデル [25]を用いて、各言語における文から対応する意味への翻訳タスクを実施した。単語埋め込みは 200 次元とし、エンコーダ・デコーダは入力層、隠れ層ともに 256 次元の RNNを用いた。最適化は学習率を $5.0 \times 10^{-5}$ に設定した Adam [26] で行った。

2）加えて、John liked John. や John said that John ran. といった束縛条件 [23] に違反した文は生成しないように制約を加えた。

図 3: 各言語の学習可能性

図 4: 各言語のコミュニケーションの効率性

## 4.3 評価

学習可能性 4.1 節で導入した文法にもとづき、 3 節で導入した 3 種類の言語である no-transform 言語、syntactic-transform 言語、radical-transform 言語をそれぞれ 50,000 文ずつ生成する。その後、 train:test $=8: 2$ に分割し、[27] を踏襲した以下の条件で、各言語の学習可能性を評価した：

・モデルの出力した意味表現と、正解の意味表現が完全一致したときのみ正解とする。

・ test データについて、正解率が 0.99 を上回るまで、あるいは 50 エポック回すまで学習を続ける。

・正解率が初めて 0.99 を超えたエポック数を、その言語の学習可能性とする。

・上記のプロセスを、 30 回行う。

コミュニケーションの効率性各言語の平均表現長を計算することで、各言語のコミュニケーションの効率性を評価した。

## 5 結果・考察

各言語における学習可能性（平均エポック数）およびコミュニケーションの効率性（平均表現長）を、 それぞれ図 3 および図 4 に箱ひげ図で示す。

各言語における学習可能性およびコミュニケー ションに関する圧力に、統計的な有意差がある

表 3: 平均エポック数および平均文長について、それぞれ対応のある $t$ 検定とウィルコクソンの符号付順位検定の結果。は no-transform 言語、$\cdot$は syntactic-transform 言語、○は radical-transform 言語を表す。有意水準は、多重比較を補正するため、Bonferroni 補正により $\alpha=0.05 / 3=0.017$ とした。

かを確認するため、それぞれ対応のある $t$ 検定とウィルコクソンの符号付順位検定を行なった結果、全ての言語間で統計的な有意差が認められた (表3)。3）まず、各言語の学習可能性は、高い順に、予測通り、no-transform 言語 > syntactic-transform 言語 > radical-transform 言語という順になっている。一方、各言語のコミュニケーションの効率性も、予測通り、高い順に、radical-transform 言語 > syntactic-transform 言語 > no-transform 言語の順になっている。結論として、学習可能性とコミュニケーションに関する圧力のトレードオフとして、統語変形による等位接続を持つ syntactic-transform 言語が創発する可能性が示唆された。

## 6 おわりに

本研究は、統語変形が、コミュニケーションと学習可能性に関する圧力のトレードオフとして創発するのかを検証することを目的とし、結果として、統語変形のある言語では、2つの圧力のトレードオフが成り立っていることを示した。しかしながら、本研究は、そのようなトレードオフが最適であるか、 という観点や、そのようなトレードオフが実際に創発するか、という観点での検証はまだ行なっていない。今後、現状の自然言語のシステムが 2 つの圧力下での最適解であるか、また、Kirby らの繰り返し学習モデルを用いて、統語変形のある言語が創発するのかを検証することを課題とする。

## 謝辞

本研究は JST さきがけ JPMJPR21C2、JSPS 科研費 21K00541、国立国語研究所共同研究プロジェクト 「計算言語学的手法による理論言語学の実証的な方法論の開拓」の助成を受けたものです。

## 参考文献

[1] Steven T. Piantadosi, Harry Tily, and Edward Gibson. The communicative function of ambiguity in language. Cognition, Vol. 122, No. 3, pp. 280-291, 2012.

[2] Simon Kirby, Monica Tamariz, Hannah Cornish, and Kenny Smith. Compression and communication in the cultural evolution of linguistic structure. Cognition, Vol. 141, pp. 87-102, 2015.

[3] Charles Kemp, Yang Xu, and Terry Regier. Semantic typology and efficient communication. Annual Review of Linguistics, Vol. 4, No. 1, pp. 109-128, 2018.

[4] Edward Gibson, Richard Futrell, Steven T. Piantadosi, Isabelle Dautriche, Kyle Mahowald, Leon Bergen, and Roger Levy. How efficiency shapes human language. Trends in Cognitive Sciences, Vol. 23, No. 5, pp. 389-407, 2019.

[5] Simon Kirby and James R. Hurford. The Emergence of Linguistic Structure: An Overview of the Iterated Learning Model, pp. 121-147. Springer London, London, 2002.

[6] Simon Kirby, Tom Griffiths, and Kenny Smith. Iterated learning and the evolution of language. Current Opinion in Neurobiology, Vol. 28, pp. 108-114, 2014. SI: Communication and language.

[7] Stuart M Shieber. Evidence against the context-freeness of natural language. In Philosophy, language, and artificial intelligence, pp. 79-89. Springer, 1985.

[8] Noam Chomsky. Syntactic structures. Mouton, 1957.

[9] Aravind K. Joshi, Leon S. Levy, and Masako Takahashi. Tree adjunct grammars. Journal of Computer and System Sciences, Vol. 10, No. 1, pp. 136-163, 1975.

[10] Carl Pollard and Ivan A Sag. Head-driven phrase structure grammar. University of Chicago Press, 1994.

[11] Mark Steedman. Surface structure and interpretation. MIT press, 1996.

[12] Edward Stabler. Derivational minimalism. In Christian Retoré, editor, Logical Aspects of Computational Linguistics, pp. 68-95. Springer Berlin Heidelberg, 1997.

[13] Noam Chomsky. The Logical Structure of Linguistic Theory. Springer New York, NY, 1975 (=1955).

[14] John R. Ross. Constraints on variables in syntax. PhD thesis, MIT, 1967.

[15] Barbara Hall Partee. Negation, conjunction, and quantifiers: Syntax vs. semantics. Foundations of Language, Vol. 6, pp. 153-165, 1970.

[16] Gerald Gazdar. A cross-categorial semantics for coordination. Linguistics and Philosophy, Vol. 3, No. 3, pp. 407-409, 1980.

[17] Barbara Partee and Mats Rooth. Generalized conjunction and type ambiguity. Formal semantics: The essential readings, pp. 334-356, 1983.

[18] Nick Chater and Paul Vitányi. Simplicity: a unifying principle in cognitive science? Trends in Cognitive Sciences, Vol. 7, No. 1, pp. 19-22, 2003.

[19] George K. Zipf. Human behavior and the principle of least effort. Addison-Wesley, 1949.

[20] Steven T. Piantadosi, Harry Tily, and Edward Gibson. Word lengths are optimized for efficient communication. Proceedings of the National Academy of Sciences, Vol. 108, No. 9, pp. 3526-3529, 2011.

[21] Charles Kemp and Terry Regier. Kinship categories across languages reflect general communicative principles. Science, Vol. 336, No. 6084, pp. 1049-1054, 2012.

[22] Shane Steinert-Threlkeld. Quantifiers in natural language: Efficient communication and degrees of semantic universals. Entropy, Vol. 23, No. 10, 2021.

[23] Noam Chomsky. Lectures on Government and Binding. De Gruyter Mouton, Berlin, New York, 1981.

[24] Najoung Kim and Tal Linzen. COGS: A compositional generalization challenge based on semantic interpretation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9087-9105, Online, November 2020. Association for Computational Linguistics.

[25] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv, 2014.

[26] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR 2015, San Diego, CA, USA, 2015. Conference Track Proceedings.

[27] Shane Steinert-Threlkeld and Jakub Szymanik. Learnability and semantic universals. Semantics and Pragmatics, Vol. 12, pp. 1-39, 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 個別化認知モデルを用いた音韻意識推定手法評価のための音声 フィルタの検討

西川純平 1 森田純哉 1
1 静岡大学
nishikawa.jumpei.16@shizuoka.ac.jp
j-morita@inf.shizuoka.ac.jp

## 概要

言語が発達する過程の一部は，音声言語における音素やリズムなど音韻的側面への注意に関係する音韻意識という能力に支えられるとされる. 本研究は，計算機モデルを活用した音韻意識の形成を支援するシステムの開発を目指す。ユーザの音韻意識は，複数の計算機モデルを搭載したシステムにおける，モデルへの相対的選好として推定される. 本稿では，成人を対象とした実験設定でこの推定手法を評価する. システム出力 (単語の発声) に音声フィルタをかけることで，未成熟な言語学習者の状態を模擬する．実験では，音声フィルタ（に模擬される学習者個人の特性）がモデルの相対的選好に影響するという仮説を検証する．結果として仮説は支持されなかったが，参加者の行動のばらつきから音声フィルタ設計に関する示唆が得られた。

## 1 はじめに

言語学習者（子どもや第二言語学習者）は，その言語学習の過程においてさまざまな困難に直面する。言語が発達する過程の一部は，音声言語における音素やリズムなど音韻的側面への注意に関係する音韻意識という能力に支えられるとされる．音韻意識のような直接観察できない人の内部プロセスを理解・予測するためには計算機モデルの構築が有効である．このような考えから，著者らは，計算機モデルを活用した音韻意識の形成を支援するシステムの開発に取り組んできた。

本研究では，この長期的目標の実現に向け，著者らが提案してきた計算機モデルを利用した個人の音韻意識を推定する手法を評価する。言語学習者の特性を模擬した実験条件を用意することで，成人の参加者を用いて推定手法評価実験を実施した. 本稿で
はその実験の結果を報告する.

## 2 システム

先行研究 [1] において，認知アーキテクチャ ACT-R[2] を用いた音韻意識のモデルがすでに実装されている。このモデルは，ACT-R が持つ一般的な記憶検索のメカニズムを音韻意識と対応づけることで，未熟な音韻意識に対応づけられるしりとり中の誤りを表現した。具体的には，モデルが持つモー ラ1)の記憶には類似度が設定される。「似た音を取り違える」ことによるしりとりの誤りは，モーラをキューとした単語の検索に際した，モーラ間で設定された類似度の影響を受けた誤検索として表現できる. さらに，このモデルは ACT-R のパラメータを調整することでバリエーションを持つ. たとえば, モーラ間の類似度計算方法や，類似度の影響の大きさに対応する係数 $P$ の值が操作されている. このパラメータ調整により，一部のモデルは，子音脱落のような子どもに見られる特定の誤りに対応づけられている.

図 1 は音韻意識形成支援システムの概観である. このシステムには，先行研究に基づいた複数の音韻意識モデルのバリエーションが搭載される。システムは，単語選択制のしりとり（モデルの提示する選択肢から適切な単語を選び取ること）を提供する。 ユーザの音韻意識が，システムとの単語選択制しりとりを通して推定されると想定する．たとえば，子音脱落のような音韻処理の困難を抱える学習者は，自身と同様の傾向を有するモデルの誤りに気づかず，そのモデルへの相対的選好が生じることが考えられる。

図 1: システムのイメージ. ユーザが単語選択制しりとりをプレイするなかで音韻意識が推定される.単語は例.

図 2: 実験コンセプト. 無意味単語による単語選択制しりとり. システムの出力にフィルタをかけることで，個人の音韻意識の特性を模擬する。音声フィルタの例は Concat ベースフィルタを適用したもの.

## 3 実験デザイン

図 2 に実験のコンセプトを示す。この実験において，モデルのパラメータはモーラ類似度の計算方法で 2 水準 (Concat vs. Ave) ${ }^{2}$ と類似度の影響度合 $P$ で 2 水準 (10 vs. 30) で操作され, 計 4 体のモデルがシステムに搭載された。

あるユーザの音韻意識の状態を推定することは， そのユーザが持つ音声に対する聴覚的なフィルタのようなもの同定する課題として表現できる. この課題設定の妥当性を検討するにあたり，実ユーザ（つまり子どもや第二言語学習者）を対象とした実験ではユーザの持つフィルタを統制できないという困難がある.このことを踏まえて, 本研究では, 実験者が設定した音声フィルタの同定をテストする. つまり, ユーザの持つフィルタとしてシステムの出力音声にかかる音声フィルタを設定し，言語学習者（子どもや第二言語学習者) ではなく, 日本語を母語とする成人を参加者とする。

2）詳細は先行研究 [1]を参照. 類似度計算のためモーラをべクトル化する際，モーラに含まれる音素を結合 (Concat) するか，平均 (Ave) するかが異なる.
モデルは，100 種類のモーラを 3 つ結合することで生成された無意味単語 2,000 個を語彙として有すると仮定する3). 単語選択制しりとりにおいてモデルが提案する回答候補単語は，音声ファイルを再生することでシステムから出力される. モデルの語彙 2,000 単語についてテキスト読み上げサー ビス Amazon Polly) を利用して音声ファイル (mp3) を用意した。音声ファイルの作成で指定する SSML (Speech Synthesis Markup Language) では, alphabet タグに”x-amazon-pron-kana”を，ph タグにカタカナ（たとえば単語「てどお」に対して発音「チドウ」）を指定した。

システムの出力（モデルの回答候補単語の読み上げ）に音声フィルタが適用されることは，誤った発声の音声ファイルを用いることで実現できる. 音声ファイルを作成する際，正しく語彙を発声する音声ファイルに調整を加え，語彙を誤って発声する音声ファイルを用意する. 今回の実験では，複数の学習者個人の特性におけるモデルの選好を調査するため，2 種類の発声の誤りパターンを用意した. 2 種類の誤発声は 2 種類のモーラ類似度の計算方法 (Concat, Ave) に基づく. システム出力（単語の読み上げ）の都度，正誤いずれかの音声が確率的に使用 （発声）され，実験時間を通して聞き取りづらい状態を模擬する。

誤って発声される音声ファイルは, 誤発声に対応する文字列を Polly に入力することで生成される. モデルの語彙 2,000 単語のそれぞれについて, 語頭 1 モーラおよび語尾 1 モーラを置換することで誤発声を作成する. モーラ置換規則は以下の手順で作成される。手順に関連する例をそれぞれ上位 5 つずつ表 1 に示す.
1. 2 つのモーラの全組み合わせについて類似度を計算し類似度ランキングを作成する（表 1a)。 この類似度計算はモデルが持つ類似度テーブルに等しく 2 種類作成される (Concat/Ave).

2. 日本語辞書 [4] に収録された全単語から音素の出現頻度を数え，モーラの頻度ランキングを作成する（表 1b）。

3. モーラ類似度ランキングの上位から順にモーラのペアを取り出す. 取り出されたぺアに含まれるモーラのうち，より頻度が低順位のものを高

3）濁音・半濁音・拗音を含む．語頭に存在し得ない「ん」は，生成に利用したモーラから除外した. モーラの出現頻度は,日本語の辞書 [4] に登場する頻度に基づく。

4) https://aws.amazon.com/de/polly/
表 1: 誤発声ファイルを作成するためのモーラ置換規則の作成手順

(a) 類似度ランキング上位のモーラのペア.

(b) 日本語の出現頻度ランキング上位モーラ.

(c) 置換規則の例. 2 種類のモーラ類似度に基づくふたつの置換規則について，それぞれ上位 5 つを例として示す.

表 2: 音声ファイルの例

順位のものへ置き換える規則を追加する（表 1c）。ただし，連鎖する変換を防ぐため，現在の高順位モーラから変換する規則がすでに存在する場合は，現在のモーラペアを無視する。

表 2 は，この規則によって作成された誤発声の例である. 正しく発声される音声ファイルとふたつの誤って発声される音声ファイルについて，ひらがなで単語をとカタカナで発音を示した。

## 4 実験

これまでに述べた設定に基づいてオンライン実験を実施した. 音声フィルタ (に模擬される学習者個人の特性）がモデルの選好に影響するという仮説を検証するために，2 種類の音声フィルタについてそれぞれ 30 分間の単語選択制しりとりを実施し，システム中の各モデルが選択された回数を調査した.

図 3: 参加者の誤答選択数がモデルの誤答数に占める割合、エラーバーは $\mathrm{SE}$

## 4.1 方法

参加者はクラウドソーシングプラットフォーム Lancers ${ }^{5}$ で募集された. 実験は，2 種類の音声フィルタについてのカウンターバランスおよびサーバ負荷分散の観点から，4 回に分割して実施された. 4 回の募集を通して計 81 名（うち女性 26 名，無回答 2 名，平均年齢 43.7 歳， $S D=8.5 ）$ が参加した.

## 4.2 結果

結果を図 3 に示す.横軸はモデルに対応する。モデルが持つ類似度テーブルごとに値を集約（類似度の影響度合 $P$ について合算）した結果を示している. 縦軸は参加者の誤答選択数がモデルの誤答数に占める割合を示す. この指標は以下の式 1 で計算される。

参加者の誤答選択数がモデルの誤答数に占める割合 $=$参加者がモデルを誤提案を選択した回数モデルの誤提案の回数

図の最左にある青バーは Concat ベースフィルタ条件の 30 分間のしりとりにおいて, Concatテーブルのモデルに関する結果を示すものである．式 1 に当てはめれば，分子は参加者が Concat テーブルのモデルを選択しつつ誤答した回数である. 同様に分母は，同条件で Concat テーブルのモデルが誤答した回数となる。この指標は，参加者があるモデルを選んで誤答した回数を，そのモデルの誤答のしやすさによって正規化した値であると言える。この図において，フィルタ間でモデルの選択されやすさが異なるとはいえない，つまり，音声フィルタがモデルの相対的選好に影響するという仮説は支持されなかった.

5) https://www.lancers.jp

図 4: ある参加者による課題中の単語選択の事例.各単語のひらがながシステム内部で処理される単語で，カタカナはフィルタ適用後の発音. 実線矢印は参加者による実際の選択. 点線矢印は参加者にとっての正答. とくに橙矢印は，音声フィルタによって同じ音に聞こえるが実際には異なるモーラであるという，実験デザインから想定される誤りの例である.

## 4.3 参加者の選択に関する考察

単語選択制しりとり課題中の回答の事例をもとに，成人を参加者としてシステムの実現性を評価する実験デザインのための音声フィルタについて検討する. 図 4 に，参加者による単語選択の事例を示す. 参加者に聴こえる音声フィルタ適用後の発音は

である.

この事例で，音声フィルタの影響を受けた誤答として想定されるのは，「ねない（ネナイ）」のように問題の語尾と異なる語頭をもつ単語の選択である。参加者は「ネ」で始まる 3 つの選択肢を区別することはできないため，誤答に気づくことなく「ねない （ネナイ）」を選択する可能性があった．ただし， 4 つの選択肢のなかで「ねない」の他にふたつが「ネ」音で始まっており, これらの語頭音は問題の語尾と同じ「め」である. 参加者が選択肢を選ぶ際には UI 上の選択肢表示（色で区別されるロボットアイコン）に対する選好なども影響すると考えられるものの，このような多くの選択肢が同じように聞こえるしりとりが，参加者が判断の基準を定めることに対してのノイズとなった可能性がある。このような無作為な選択が，フィルタによる影響ではなく，参加者間のばらつきとして表れ，音韻意識の推定につながるモデルの相対的選好が観察できなかったことが考えられる。表 3: フィルタ適用前後のモーラの個数

## 5 まとめ

本稿では，個別化認知モデルを用いた音韻意識形成支援システムの実現に向け，音声フィルタの適用によって成人を参加者としてシステムの実現性を評価する実験を実施した. クラウドソーシングを用いた実験の結果として，音声フィルタがモデルの相対的選好に影響するという仮説は支持されなかった. ただし，参加者ごとの結果においては，選択割合にばらつきが見られた，今回設定した音声フィルタによるモーラの置換では，しりとり中の多くの選択肢が参加者にとって区別できないもの（たとえば 4 択のうち 3 つが正答に聞こえるなど）となっていることで，参加者の選択が無作為に近いものになっている可能性がある。

今後は，音声フィルタの設定を吟味が必要である. 困難を抱える子どもの特性（自閉スペクトラム症の特異な知覚）を再現する研究 [5] を参考に，知見に基づくフィルタを作成することで，より現実の困難に対応づいた検証が可能になる．これらの実験の結果を踏まえてシステムのブラッシュアップをした後，システムが本来対象とする言語学習者を対象としたシステム評価実験を実施する。

## 参考文献

[1] Jumpei Nishikawa and Junya Morita. Cognitive model of phonological awareness focusing on errors and formation process through shiritori. Advanced Robotics, Vol. 36, No. 5-6, pp. 318-331, 2022.

[2] John R Anderson. How can the human mind occur in the physical universe? Oxford University Press, 2007.

[3] Robert F. Port, Jonathan Dalby, and Michael O'Dell. Evidence for mora timing in japanese. The Journal of the Acoustical Society of America, Vol. 81, No. 5, pp. 1574 1585, 1987.

[4] 天野成昭, 小林哲生. 基本語データベース: 語義別単語親密度. 学習研究社, 2008.

[5] 長井志江. 自閉スペクトラム症の特異な視覚世界を再現する知覚体験シミュレータ. 精神看護, Vol. 19, No. 1, pp. 59-63, 2016.


# 共同図形配置課題を行うシステムの構築と分析

齋藤結 1 東中竜一郎 ${ }^{2}$ 南泰浩 1
1 電気通信大学 2 日本電信電話株式会社
s2231050@edu.cc.uec.ac.jp
ryuichiro.higashinaka@ntt.com
minami.yasuhiro@is.uec.ac.jp

## 概要

対話研究において，話者が知識や信念を共有する共通基盤の構築は重要な課題とされてきたが，その構築過程を分析した研究は多くない. 我々は先行研究において, 二名の作業者が共同で図形を配置する共同図形配置課題を対象に，共通基盤と考えられる図形への「名付け」に着目して様々な分析を行い多くの知見を得た. 本研究では，得た知見を基に共同図形配置課題を行うシステムの構築，システムへの確率構造の導入, システム同士の対話の分析に取り組んだ。その結果，構築したシステムが共同図形配置課題を行えること，相手の認識を想定して発話を生成する確率構造の導入が基盤構築を進め, 共同図形配置課題を成功に導くとの示唆を得た.

## 1 はじめに

対話において，話者が相互理解を行うためには話者間で共有される知識や概念といった共通基盤の存在が必要である $[1,2,3]$. しかし, 共通基盤の構築過程を分析した研究は多くない $[4,5,6]$. 我々は以前の研究で，共通基盤の構築過程を分析するために集められたデータ（共同図形配置コーパス [7]）を調査し, 共通基盤の構築過程では, 名付けが重要な役割を果たしている明らかにした。そして，データから名付けを取り出すための仕様の作成，および，アノテーションを実施した [8].

共同図形配置課題は，作業者それぞれの画面に表示される図形の初期配置が異なり，相手の画面を見ることが出来ない状況で，相手とテキストチャットを利用して対話し, 2 人で同じ図形配置を作る課題である。共同図形配置コーパスは共同図形配置課題を通して収集した [7].

図 1 に，2 名の作業者が図形を配置する共同図形配置課題における名付けのアノテーションの例を示

図 1 名付けを通じて共通基盤構築が進む人同士の対話の例，ID は発話 IDを表し，A，B は話者を表し，作業画面はそれぞれの話者が見ている画面を示す.

す.「風車」や「右の羽」という名付けを通じで作業が進んでいる $[9,10]$. 「風車」という作りたい配置に関する名付けがあるため，「右の羽」や「左の羽」 という名付けが連想され，作業が進みやすくなっている．著者らの過去の研究では，二次元配置分散分析を利用して名付けの有無による共通基盤の構築の進行度を比較して名付けの有効性を確認した。また，対話前半で目標設定の名付けをすることや，作業者間で確実に伝わる名付けをすると共通基盤の構築に効果的であることがわかった [11].

本稿では，これまでの分析の知見を用いて共同図形配置課題を行うシステムの開発に取り組む. 図 1 において，発話 $\mathrm{U}_{4}$ で話者 $\mathrm{B}$ は「ひっくり返った直角三角形」を作業画面緑枠で囲まれた「直角三角形」と考えて話者 B に提案している。しかし, 発話 $\mathrm{U}_{5}$ において話者 $\mathrm{A}$ は作業画面緑枠で囲まれた「直角三角形」を「ひっくり返った直角三角形」と考え

て配置し, その結果「風車」の配置がずれている. このような事例は共同図形配置コーパスに何件か含まれており，人同士の対話では相手の認識を適切に考慮せず自分の認識を優先させて発話をすることがある. 我々は，このように，自分の考えを優先させた場合，共通基盤の形成ができないと仮定した。共同図形配置課題を成功するには，相手の考えを想定することが必要である. 本稿ではは簡単化し, 自分から見た相手の名付けと図形の対応関係を共有し $\mathrm{P}($ 図形 $\mid$ 名付け) とし, 自分が考える図形が相手に正しく伝わった時，共通基盤が形成されたと考える.本稿では, この確率構造を導入した共同図形配置課題を行うシステムを構築し, 実際に共同図形配置課題を行わせたときの対話内容，共同図形配置コーパスの対話と比較して得た結果について報告する。

## 2 共同図形配置コーパス

共同図形配置コーパスでは，作業者 2 名がペアとなりツールを通じて図形の配置と対話を行う [7].各作業者の画面には, 共通の図形が異なる初期配置で表示される. 作業者は相手と対話をしながらマウスを使用して図形を動かし, 2 名で共通の図形配置を作る.このとき，各作業者は相手の図形配置を見ることはできない. 図形の数は 5 個または 7 個, 種類は重複あり, 大きさはランダムである. 図形の回転，縮小拡大，削除はできず移動のみが可能である. 相手と同じ図形配置を作成すればこの課題は成功となる。

共同図形配置課題で利用される図形は 2 つある. 1 つ目が三角や四角などの単純図形で, 2 つ目が建物などの前提知識を利用できる建物図形である. それぞれ 10 種類存在する. 先に示した図 1 は単純図形を利用した対話である.

共通基盤を定量的に測る尺度として，光田らは図形配置間距離を指標として考案した [7]. 図形配置間距離は, 図形配置に含まれる任意の 2 図形間の距離の総和であり, 共通基盤の構築の程度とみなすことができる. また, 共同図形配置課題では, 図形配置が完全に一致する場合を「成功」, 部分的に一致することを「中間」，それ以外の場合を「失敗」としている.

共同図形配置コーパスには，以前の研究で著者らが名付けのアノテーションを行い名付けのデータを作成した. 名付けデータには 2 つのラベルが存在する. 1 つ目が，個数・配置に関する分類である.こ
れは，名付けの対象となる図形の数，および，対象となる図形が発話時点で配置されているかについての分類であり,「図形|建物 1 つ」,「図形/建物複数・目標」,「図形建物複数・その他」の 3 種類ある. 2 つ目が，名称に関する分類である。これは，名付けがどのような事物かを表す分類で，「食べ物」や「登録名」など 15 種類ある $[8]$.

## 3 共同図形配置課題のモデル化

本研究では共同図形配置課題を行うシステムを構築する. 著者らの以前の研究で, 名付けが共通基盤の構築に有用であることが確認できたので，名付けを使用する．また，名付けでは，作りたい配置の構成要素となる名付けをする傾向があることも確認できたので，この名付けに絞る. 作る目標を決め, 目標の構成要素に名付けを行い図形配置課題を進めるには，対話履歴や図形の名付けの情報，図形の位置情報などを考慮する必要がある.これを行うため, 本稿では大規模言語モデルの 1 つである GPT-4 を使用する．特に，GPT-4 [12] の機能である Function calling を利用すれば，既存の大規模言語モデルであっても困難な名付けの検出も可能である. Function calling は API を呼び出す際に作成した関数も渡すことで，渡した関数に必要な引数を返す機能である.

確率構造は, 話し手と聞き手の名付けをした図形の認識が異なる場合を再現するために用いる.共同図形配置コーパスから，P(図形|名付け)を求め, 各図形配置課題で使用する図形の組に合わせて $\mathrm{P}_{\text {対話 }}($ 図形 $\mid$ 名付け)を用いて認識の相違を再現する.

## 3.1 システムの詳細

本稿では，共同図形配置課題を行うときにシステムが行うべき行動は以下の 4 つを設定した. 共同図形配置コーパスの分析から, 話者は図形に名付けをする，名付けした図形を動かす，作りたい配置に名付けをすることが多い. そのため「発話の生成」,「図形移動の検出」, 「名付けの検出」, 「目標の検出」 の 4 種類を定義する. 本研究では，これら 4 つの夕スクを GPT-4 [12]を用いて共同図形配置課題を実行する. 発話の生成は GPT-4 の発話生成機構を, 残り 3つの行動は GPT-4 の機能である Function calling を利用する. 以上の行動をブロック図として表したものを図 2 に示す.

まず，システムは相手からの発話，これまでの対

図 2 構築したシステムが処理する内容のその流れ

話履歴, 自分の図形配置の状況を入力として, 自身の発話を生成する. 次に自身が生成した発話には図形の移動が含まれる可能性があるため, 自身の発話に対し図形移動の検出を行う. 処理が終了したら，生成した発話を相手に送り，相手も同様の処理を行う。それぞれのシステムが配置が完成し相手と確認を取り「完成」と出力するまで対話を続ける.

## 3.2 検出処理の詳細

本節では，「図形移動の検出」，「名付けの検出」，「目標設定の名付けの検出」，それぞれの詳細について述べる。

## 3.2.1 図形移動の検出

図形移動の検出の処理の流れは以下の通りである.

1. GPT-4 の Function calling により「移動対象となる図形の名前」と「移動先の座標」を取得

2. 移動対象となる図形を移動先の座標に移動（対象の図形が複数個ある場合は一様分布に従い 1 つ選択)

3. 図形の位置情報を更新

Function calling により，移動する図形の名前と移動先の座標を取得する. 移動する図形の名前から移動する図形を特定する．状況によっては候補となる図形は複数個存在する可能性がある. 複数存在する場合は, 一様分布に従って図形を 1 つ選択し, 図形の位置情報を更新する。

## 3.2.2 名付けの検出

名付けの検出の処理の流れは以下の通りである.
1. GPT-4 の Function calling により「名付けをする対称の図形 ID」と「名付け」を取得
2. $\mathrm{P}_{\text {対話 }}$ (図形|名付け)を利用して，名付けを割り当てる図形をカテゴリカル分布に従い選択

3. 図形の名付け情報を更新

Function calling により, 名付けをする対象の図形 ID と名付けを取得する。本研究では，得られた図形 ID の図形に名付けを割り当てるのではなく, 前述の確率構造を利用して割り当てる図形を決定する．名付けを割り当てる図形が決め，図形の名付けの情報を更新する。

## 3.2.3 目標の検出

目標の検出の処理の流れは以下の通りである.

1. GPT-4 の Function calling により「目標」を取得

2. 目標の名付けに合わせて図形配置のレイアウトをSVG 形式で GPT-4 に生成させ，図形の座標を抽出

3. 次に移動する図形 1 つを決定

4. 作りたい目標の名付けの構成要素となるように，次に移動する図形に付ける名前を GPT-4 に 1 つ選択

5. 目標と図形の名付け情報を更新

Function callingにより，目標を取得する. 取得した目標を元に，図形の配置の設計図をSVG 形式で GPT-4 に生成させ, 図形の座標を抽出する. 次に,現状の図形配置から次に動かす図形を選択し，次に動かす図形に付ける名前を GPT-4 に選ばせるか生成させる. 後述の構成要素となる名付けがある場合は，候補の中から GPT-4 に名付けを 1 つ選択させ，無い場合は GPT-4 に生成させる. 設計図および次に
移動する図形とその名付けの情報を更新する。

現状の図形配置と設計図を比較して，次に移動する図形の選定を行う. 現状の各図形の座標と設計図の各図形の座標それぞれでユークリッド距離を求め，最大値を取る図形を次に移動する図形とする。

次に動かす図形に付ける名前は, 目標の構成要素となる名前とする. 使用する名前が目標の構成要素かどうかの判断には日本語語彙大系 [13] を使用した. 日本語語彙大系において，目標を親としたとき，子となる語彙を構成要素とした. 本研究では,共同図形配置コーパスで求めた $\mathrm{P}$ (図形 $\mid$ 名付け)を使用するため，共同図形配置コーパスの名付けかつ目標を親としたときに子となる語彙を構成要素となる名付けとし，複数個ある場合は GPT-4 に 1 つ選ばせた. 該当する名付けが 1 個も存在しない場合は, GPT-4 に共同図形配置コーパスの名付けから目標の構成要素となるような名付けを 1 つ選ばせた.

## 4 実験

## 4.1 実験設定

構築したシステム同士を対話させて，実際に共同図形配置課題を行う。共同図形配置課題で使用する図形の組み合わせや初期配置は, 後で共同図形配置コーパスと比較することを考慮し, 共同図形配置コーパスに含まれる単純図形 5 個を使用した成功対話を利用する。また，共同図形配置課題で作成する配置，つまり目標は著者が与えることとし，使用する目標の種類は 21 種類とする.

## 4.2 実験結果

図 3 に，システム同士で共同図形配置課題を行ったときの対話例を示す. 話者 $\mathrm{A}$ は作りたい配置に 「タワー型」と名付け，名付けや配置指示を行っている. 話者 B は話者 A の指示に従い図形を動かしているが，導入した確率構造により話者Ａの考える図形と話者 B が考える図形が異なり, 適切に図形配置を作ることが出来ていない. 同じ配置を作ることが出来ていないが確率構造の導入により, 共通基盤の構築はできると考える。つまり，聞き手の図形の認識に摇らぎがあると話し手が認識していれば，相手の状態は想定出来ていると仮定する.

今回の共同図形配置課題で使用している図形では，正方形は 3 個あるのでどの正方形であるか適切に伝えなければ相手はどの正方形を選べばいいか判

図 3 システム同士での対話例（赤枠と青枠はシステムが行った名付けと名付けの対象となった図形を表す.)

断できない。このように自分の発話に対して相手がどの図形を対応付けるのかを想定する確率機構の導入が必要である. 人同士で共同図形配置課題を成功している対話では，図形を一意に特定できる発話をしていることに加え，配置がほぼ終了する時に確認の発話も行っている. 図 3 の対話のように，頻繁に同じ図形を移動するような状況では，一度相手にどの図形を動かすべきなのか，などの確認をする機構を導入できれば，異なる図形配置を修正でき課題の成功率が上がることが期待できる.

## 5 おわりに

本稿では，これまでの分析で得た知見を用いて， システム同士で共同図形配置課題を行うシステムの開発に取り組んだ. GPT-4 や確率構造を導入し，人同士の対話に近いような対話をしながら共同図形配置課題を行うことが出来ることを確認した. 確率構造を導入した対話を分析し，相手の認識を想定発話を生成するための確率構造が導入できれば，基盤形成を更に進めながら共同図形配置課題を成功に導けると考えた. 今後は，構築したシステムの改善，特に情報共有の仕組みの導入や，強化学習を利用した共同図形配置課題の成功率の向上に取り組んでいく予定である.

## 参考文献

[1] Herbert $\mathrm{H}$ Clark. Using language. Cambridge university press, 1996.

[2] David R Traum. A computational theory of grounding in natural language conversation. Technical report, Rochester Univ NY Dept of Computer Science, 1994.

[3] Stefan Kopp and Nicole Kramer. Revisiting human-agent communication: The importance of joint co-construction and understanding mental states. Frontiers in Psychology, Vol. 12, , 2021.

[4] Kris Liu, Jean E Fox Tree, and Marilyn Walker. Coordinating communication in the wild: The Artwalk dialogue corpus of pedestrian navigation and mobile referential communication. In Proc. of LREC, pp. 3159-3166, 2016.

[5] Takuma Udagawa and Akiko Aizawa. An annotated corpus of reference resolution for interpreting common grounding. In Proc. of AAAI, pp. 9081-9089, 2020.

[6] Cristian-Paul Bara, Sky CH-Wang, and Joyce Chai. MindCraft: Theory of mind modeling for situated dialogue in collaborative tasks. In Proc. of EMNLP, pp. 1112-1125, 2021.

[7] Koh Mitsuda, Ryuichiro Higashinaka, Yuhei Oga, and Sen Yoshida. Dialogue collection for recording the process of building common ground in a collaborative task. In Proc. of LREC, pp. 5749-5758, 2022.

[8] 齋藤結, 光田航, 東中竜一郎, 南泰浩. 対話での共通基盤構築過程における名付けの分析. 言語処理学会第 28 回年次大会発表論文集 (NLP2022), pp. 38-42, 2022.

[9] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[10] Anya Ji, Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong, Robert D. Hawkins, and Yoav Artzi. Abstract visual reasoning with tangram shapes. In Proc. of EMNLP, pp. 582-601, 2022.

[11] 齋藤結, 光田航, 東中竜一郎, 南泰浩. 共通基盤の構築における名付けの有用性の分析. 言語処理学会第 28 回年次大会発表論文集 (NLP2023), pp. 1985-1989, 2023.

[12] Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, et al. Qwen technical report. arXiv preprint arXiv:2309.16609, 2023.

[13] 池原悟, 宮崎正弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦. 日本語語彙大系 CD-ROM 版. 岩波書店, 1999.


# 小規模言語モデルによる子供の過剩一般化のモデリング

芳賀あかり $^{1}$ 菅原朔 2 深津聡世 ${ }^{3}$ 大羽未悠 ${ }^{1}$
大内啓樹 1 渡辺太郎 1 大関洋平 3
1 奈良先端科学技術大学院大学 2 国立情報学研究所 3 東京大学
\{haga.akari.ha0, oba.miyu.ol2, hiroki.ouchi, taro\}@is.naist.jp
saku@nii.ac.jp \{akiyofukatsu,oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年，言語モデルの学習データを子供の入力に近づけることで学習効率向上が示されるなど，人間の言語獲得過程を模倣することの有効性が示唆されている。一方で子供の一般化の特徴を機械で説明しようという研究は長らくされているが，その多くは語の屈折を直接学習するなど子供の学習環境とは異なるものである. 本研究は, 子供が言語獲得過程で起こす誤りを模倣することで言語モデル (LM) が人間らしい学習過程を得られるという仮説のもと, 子供の入力に近いデータで学習した LM の誤りの選好を分析した. その結果, 子供の入力に近い学習データを用いるのみでは人間の学習過程の誤りの特徵は十分に捉えられない可能性が示唆された.

## 1 はじめに

近年の大規模言語モデル (LLM) の精度は飛躍的に向上しているものの，いまだに様々な誤りを起こす.しかしニューラルモデルのブラックボックス性から，誤りがどうして起きるのかは現在自明でないことがほとんどであり，その誤りを制御するための確立された知見は少ない. さらに，現在の LLM は学習に膨大なデータを必要とするため，データ収集コストや学習時間の観点から問題視されている。一方で乳幼児は低リソースで母語を獲得できることが知られており，LLM の一つである GPT-3[1] は学習に約 2,000 億語必要とするのに対し, 乳幼児は 1 億語程度の学習量しか必要としないと言われている [2]. 近年の研究では人間の言語獲得を模倣することによる効果が示されており, 子供向けの語彙や Child-directed-speech (CDS) を学習データに用いることで学習効率が向上することがわかっている [3][4].他方で，心理言語学や認知言語学の分野では子供の誤用やそれに伴って U 字を描く学習曲線について

I eated apples yesterday.

正 I ate apples
yesterday.

図 1: ミニマルペアデータを用いた誤りの選好の評価

の研究が多くされており，これらが子供の言語獲得プロセスについて示唆を与えると言われている [5].

以上の背景から，本研究ではLMで人間の誤りを模倣することで人間らしい学習過程を得られる可能性があるという仮説を立てる。また，人間らしい学習過程の実現に付随して，既存研究で示されているような学習効率の向上も期待できる。仮説の検証に向けた第一段階として，本論文では，既存の LM が人間の誤りの特徵をどの程度捉えているか分析するため，(1) 人間らしい学習曲線を描くか，(2) 間違いの種類は人間らしいかを観察する。

子供の言語獲得過程に見られる代表的な特徴の一つとして，得た言語知識を過剰に一般化することが知られており，例えば英語の動詞の過去形の屈折の学習は過剩な一般化を観察するためによく取り上げられる現象である. 本研究では，英語の動詞の過去形の過剩な一般化に注目し，CDS を学習データに用いたニューラル LM の, 英語の動詞の屈折の学習過程を観察する，具体的には，過剩な一般化が含まれる文と含まれない文のペアを用意し，図 1 に示すようなミニマルペアデータを用いた LM の選好の観察によって各ステップでモデルがどのような誤りを好むか評価を行った。 その結果，CDSで学習されたモデルよりも比較対象として用意した Wikipedia で学習されたモデルの方がより子供に近い U 字の学習曲線を示した. さらに，誤りの種類の選好はどの学習データでも子供とは異なる傾向を示し，言語モデル

の学習過程での誤りの選好は人間の特徴を十分に捉えていない可能性が示唆された.

## 2 関連研究

人間の学習過程の模倣による効果近年の研究では人間の学習過程の模倣による効果が示されており, Huebner らは, 人間が 6 歳までにふれるテキストを時系列順並べたデータで学習するモデル BabyBERTa を提案し，学習効率向上に成功している [3]. Eldan らは， GPT-3.5 および GPT-4 によって生成された，3４歳児が通常理解できる単語のみを含む短編小説のデータセット TinyStories でモデルを学習することで学習の効率向上に成功している [4].

子供の言語獲得過程で見られる一般化の特徵子供の言語獲得過程の代表的な特徴の一つは過剰に一般化を行うことである。例えば英語には規則変化動詞と不規則変化動詞があるが，子供は学習段階のある時点で多くの不規則変化動詞の過去形を規則変化形に一般化してしまう. つまりほとんど全ての動詞に-d, -ed を加えるという過剩な一般化が見られる. このような特徴から，子供の言語獲得には (1) 暗記を行う (2) 過剩な一般化を行う (3) 不規則/規則変化形両方を正しく使えるようになる，という 3 つのステージがあると言われている [6]. 重要なのは，ステージ (2) では新規単語に限らず，今まで正しく産出できていた単語も間違えるようになることである. そのため, 子供の学習曲線は $\mathrm{U}$ 字を描くと言われている [7]. 本研究では LM も同様に U 字の学習曲線を描くか分析を行う.

子供の言語獲得のモデリング子供の言語獲得,特に過剰な一般化が見られる代表的な現象である英語の過去形の獲得を機械でモデリングしょうという試みは長らくされてきている [8]. 1986 年には Rumelhart らが英語の原形から過去形への変換をニューラルモデルで学習し，子供のようなエラーの傾向やU字の学習曲線が観察された [7]. これに対し, Pinker らはこのモデルに多くの欠陥があることを示した [9]. しかし， Kirov らは近年のニューラルモデルを用いることで Pinker らの反論のほとんどが解消されることを主張している [10].

最近のニューラルモデルの進化により，ニューラルネットワークが子供の言語獲得過程をどの程度捉えることができるかに再び関心が集まっており， 2019 年以降も近年のニューラルモデルを用いて子供の言語獲得を模倣する研究はいくつかされてきて
いるが，どの研究も，動詞の原形から過去形への変換を直接学習しており，これは人との対話や大人同士の会話から学習する子供の言語獲得とは全く異なる設定である [11]. 本研究では，子供の自然な言語獲得過程をモデリングするために，語の屈折の直接の学習は行わず，CDS で学習した言語モデルを用いる。

## 3 提案手法

本研究では，CDS を学習データに用いてニュー ラル LMを学習し, 学習の各ステップでどのような一般化を好むか観察する. 先行研究では動詞の原形から過去形への直接の変換を学習しているため, 生成された過去形を評価するだけで十分だった. しかし, 本研究では過去形の生成を直接学習しないため, 別の評価方法が必要である. よって,図 1 に示すような，生成確率の比較によってモデルの選好を評価する，ミニマルペアに対する relative acceptability judgments を採用する. 本研究では子供の誤りの選好を評価するため，過剩汎化を起こしている文と，そうでない文のぺアを含む，子供の誤りのミニマルペアデータを作成する．モデルにこのぺアを強制的に生成させたとき，過剩汎化を含む文の生成確率がより高い場合は過剰汎化を好む，低い場合は過剰汎化を好まないと評価する。このような評価方法は，数年前に LM プロービングに初めて適用されて以来，広く普及している評価手法である [12]. 本研究で作成するデータは構文評価のためミニマルペアデータセットである BLiMP[13]を参考にしたものであり，BLiMP の文法生成手法をべースに過剩汎化用のスクリプトを実装し，一つの現象につき 1,000 ペアの自動生成を行う.

本論文では，子供の過剩な一般化が見られる代表的な現象である「英語の動詞の過去形の屈折」に着目する. 不規則変化動詞について，まず過剰汎化形 (write $\rightarrow$ writed など) と正しい過去形 (wrote) のペアを作成する。次に作成した過剩汎化形を含んだ文と，正しい過去形を含んだ文のペアを作成する。過剩汎化形とは全ての動詞の原形に「-d」または「-ed」を加えた形とし，ルールベースで作成する。

## 4 実験設定

本実験では，CDS で学習可能なことが示されている BabyBERTa を採用し，CDS を学習データとして実験を行う．学習データの比較のため, Wikipedia

のデータを追加した以下の 3 パターンの小規模デー タで学習を行う。

(i) AO-CHILDES [14]

(ii) Wikipedia [3]

(iii) AO-CHILDES+Wikipedia

(i), (ii) は Huebner の論文で使用されている訓練デー タと同じ設定を採用しており，(i) の AO-CHILDES とは子供と大人の会話を記録したデータセットである CHILDES[15] から，約 500 万語のアメリカ英語による子供に向けた発話が年齢順に書き起こされているデータである. (ii) は，英語の Wikipediaコーパスから無作為に 50 万文収集したデータである。(iii) は (i) と (ii)を結合しシャッフルしたものである. 各コーパスでは全ての文を小文字化し，3 単語より短い文は除外した. 全ての実験で 4 つの異なるシードで学習を行い，その平均の結果を報告する。

## 5 実験結果

正しい過去形と過剩汎化形の選好正しい過去形を含んだ文と過剰汎化形を含んだ分のうち，正しい過去形が選択されたぺアの割合を，動詞の過去形の学習曲線として図 2 に示す. 横軸は学習のステップを示し，縦軸は 0.5 より大きい場合正しい過去形を好む，0.5 未満の場合過剰汎化形を好むことを示している. 実験の結果，どの学習データを用いた場合も，学習後半まで過剩汎化形を好むことが示された. しかし，学習コーパスに多く含まれる正しい過去形 (実在語) よりも過剩汎化形 (非実在語) が学習後半でも好まれるのは非直感的である。このような結果となった原因として，今回の実験ではサブワー ドレベルでのトークナイザを使用しており，過去形の屈折形がそもそも分割されず，規則変化の過去形は末尾に-edがつくというような規則をモデルが学習できていない可能性が考えられる。今回使用したトークナイザの挙動を確認したところ，多くの動詞の過去形は分割されず 1 トークンとみなされていることがわかった。この問題の影響を確かめるため，過去形の屈折形が分割されるようにトークナイザを改変し，再実験を行った結果を図 3 に示す.その結果，0-50,000 ステップ付近まではモデルは過剰汎化形を好み，その後正しい過去形をより好むことが示された. 学習後半では, Wikipedia や AO-CHILDES+Wikipedia で学習したモデルは 7 割以上の正解率を示した. この正解率の妥当性を確かめ

図 2: 通常のトークナイズでのモデルの学習曲線

図 3: 屈折形が分割されるようにしたときの学習曲線

るため，RoBERTa [16] で同じ実験を行ったところ，学習済み RoBERTa-base, large モデル両方において正解率は 8 割程度であった. BabyBERTa での実験は RoBERTa と比較してパラメータ数や学習データが大幅に少ないことを考慮すると，この実験結果で得られた正解率は妥当であると考えられる。

base+ed と past+ed の選好子供の動詞の過剩な一般化には，動詞の原形の末尾に-edを付加する形 (以下，base+ed) の他に動詞の過去形の末尾に-ed を付加する形 (以下，past+ed) が稀に見られる [17]. Kuczaj ら [17] は, 子供の成長に伴って base+ed が増えるにつれて past+ed も増加し，学習後半では past+ed が base+ed より多く産出されることを観察している。また，past+ed が base+ed の産出を上回るのは，子供がほとんど過剰な一般化を起こさなくなったタイミングであるということが示されている. Rumelhart らは，彼らが学習した動詞の原形 $\rightarrow$過去形変換モデルがこの傾向を捉えていると主張した [7]. しかし，past+ed は，子供が動詞の過去形を原形だと思っているために産出されると考えられている [9]. そのため, Rumelhart らのモデルは入力として動詞の原形を明示的に与えており past+ed を生成するのは適切ではないとして Pinker らが批判を行っている [9]. しかし, 本研究はモデルに動詞の原形を明示的に与えないため base+ed と past+ed の選好の比較実験は有用と考えられる。

図 4: base+ed と past+ed の選好

したがって，本実験では past+ed と base+ed について CDS で学習したモデルが同様の選好を示すか観察する. 図 4 は, AO-CHILDES で学習したモデルが正しい過去形，base+ed，past+ed のうち base+ed を好んだぺアの割合と，past+ed を好んだぺアの割合を示す、トークナイザは，規則を学習できない問題を回避するため過去形の屈折形が分割されるように改変したものを用いた. その結果，どの学習データで学習した場合でも，学習初期には base+ed よりも past+ed が好まれる傾向が見られた. さらに, AO-CHILDES で学習したモデルは学習後半で base+ed が past+ed を上回り，子供の傾向とは異なる結果を示した.

## 6 考察

図 2 より，通常のトークナイザを用いた場合では, Wikipedia と AO-CHILDES+Wikipedia で学習したときの学習曲線は 0-100,000 ステップ付近で正解率が低くなり，その後緩やかに上昇している。これは，一見子供のU字の学習曲線を捉えているように見えるが，全体的に正解率が低く最後まで過剩汎化をより好むという点では子供の特徴とは相反している.この結果は対象とした全ての動詞の平均値あるため，一部の動詞で子供のような U 字の学習曲線が見られる可能性があり，更なる分析が必要である.

図 3 より, Wikipedia で学習したモデルの正解率は，0-15,000 ステップ付近まで $5 \%$゙上昇し，その後は 25,000 ステップ付近まで減少し, その後は上昇している.この学習曲線は子供の U 字の学習曲線とよく似ている. 他の学習データで学習したモデルでも学習前半に正解率が減少しているが，減少する以前の正解率は約 0.5 とランダムに近いため, 不規則動詞においても正しい形を答えられるステージ 1 には対応しないと考えられる。

AO-CHILDES のみで学習したモデルの正解率が最
も低い原因として，本実験では評価データを作成する際，BLiMP の語彙を用いており，AO-CHILDESに含まれない語彙が評価データに存在することが考えられる。ただし，評価データの語彙のうち，学習データには含まれているが学習初期ではまだ学習されていない語彙が存在するため全体的に正解率が低くなっている可能性がある. よって，学習データに存在する語彙のみを含む評価データを用意し，学習の各ステップで既に学習済みの動詞についてのみ評価を行う必要がある. 図 4 より, Wikipedia デー タを学習に用いたモデルでは学習後半で past+ed が base+ed の選好を上回っているがその差はごく僅かである.

本論文では CDS で学習可能なことが示されているモデルを採用したが，人間の言語獲得に近い学習を目指すためには，順方向に入力を受け取るモデルや音韻べースのトークナイザを用いた実験を行うのが自然である．今後は対象のモデルを変更した実験を検討している。

## 7 おわりに

本研究では，動詞の過去形の屈折の一般化に注目し，CDS を学習データに用いて学習したニューラル LM が学習過程でどのような一般化を好むかを分析した. 正しい過去形の学習曲線を観察したところ, CDS で学習されたモデルよりも Wikipedia で学習されたモデルの方がより子供に近いU 字の曲線を描くことが示された. モデルが過剰な一般化を選択した際の誤りの種類を分析したところ，どの学習データでも子供とは異なる傾向を示した. 実験の結果は,言語モデルを CDS で学習するのみでは，人間の学習過程の誤りの特徴は十分に捉えられない可能性を示唆している。今後は異なるモデルでの実験や，複数の誤りの種類にわたっての評価を行う予定である.

## 謝辞

本研究は JSPS 科研費 JP21H05054, JST さきが

け JPMJPR21C2, JPMJPR20C4 の助成を受けたものです.

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. 2020.

[2] Noam Chomsky. A review of B. F. Skinner's verbal behavior. pp. 26-58, 1959.

[3] Philip A. Huebner, Elior Sulem, Fisher Cynthia, and Dan Roth. BabyBERTa: Learning more grammar with small-scale child-directed language. In Proceedings of the 25th Conference on Computational Natural Language Learning, pp. 624-646, Online, November 2021. Association for Computational Linguistics.

[4] Ronen Eldan and Yuanzhi Li. Tinystories: How small can language models be and still speak coherent english? arXiv preprint arXiv:2305.07759, 2023.

[5] Melissa Bowerman. Starting to talk worse: Clues to language acquisition from children's late speech errors. In U shaped behavioral growth, pp. 101-145. Academic Press, 1982.

[6] Roger Brown. A first language: The early stages. Harvard University Press, 1973.

[7] David E. Rumelhart and James L. McClelland. On learning the past tenses of english verbs. Parallel Distributed Processing: Explorations in the microstructure of cognition, p. 216-271, 1986.

[8] Maria Corkery, Yevgen Matusevych, and Sharon Goldwater. Are we there yet? encoder-decoder neural networks as cognitive models of English past tense inflection. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3868-3877, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Steven Pinker and Alan Prince. On language and connectionism: Analysis of a parallel distributed processing model of language acquisition. Cognition, Vol. 28, No. 1-2, pp. 73-193, 1988.

[10] Christo Kirov and Ryan Cotterell. Recurrent neural networks in linguistic theory: Revisiting pinker and prince (1988) and the past tense debate. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 651-665, 2018.

[11] Charles Yang. The price of linguistic productivity: How children learn to break the rules of language.
MIT press, 2016.

[12] Tal Linzen and Brian Leonard. Distinct patterns of syntactic agreement errors in recurrent networks and humans. In Proceedings of the 40th Annual Conference of the Cognitive Science Society, p. 692-697, 2018.

[13] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[14] Philip A Huebner and Jon A Willits. Using lexical context to discover the noun category: Younger children have it easier. In Psychology of learning and motivation, Vol. 75, pp. 279-331. Elsevier, 2021.

[15] Brian MacWhinney. The CHILDES project: Tools for analyzing talk, Volume II: The database. Psychology Press, 2014.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[17] Stan A Kuczaj II. The acquisition of regular and irregular past tense forms. Journal of verbal learning and verbal behavior, Vol. 16, No. 5, pp. 589-600, 1977.


# 意味変化分析に向けた単語埋め込みの時系列パターン分析

木山朔 1 相田太一 ${ }^{1}$ 小町守 ${ }^{2}$ 小木曽智信 ${ }^{3}$ 高村大也 ${ }^{4}$ 松井秀俊 5 持橋大地 6

1 東京都立大学 ${ }^{2}$ 一橋大学 3 国立国語研究所 4 産業技術総合研究所

5 滋賀大学 6 統計数理研究所

\{kiyama-hajime, aida-taichi\}@ed.tmu.ac.jp mamoru.komachi@r.hit-u.ac.jp togiso@ninjal.ac.jp takamura.hiroya@aist.go.jp

hmatsui@biwako.shiga-u.ac.jp daichi@ism.ac.jp
## 概要

意味変化とは書かれた時代により単語の意味が変化する，という言語学的事象である。単語の意味がどのようにして変化するのか，という意味変化パターンの理解は将来的に意味変化する単語のモデル化に対し重要な示唆を与える. 本研究では，意味変化のパターンを分析するための前段階として，単語埋め込みの時系列分析手法を提案する. 時期ごとに単語埋め込みを学習し, 対象単語の埋め込みを時系列に並べることで時系列のパターン分析を可能にした. 分析の結果より, 特殊な振る舞いをするパター ンが存在することを示し, 時系列の分析に本手法が有効なことを示す.

## 1 はじめに

単語の意味は時代によって変化することがある.例えば，「こだわる」という単語は近代でネガティブな意味『執着する』を持っていたが，現代でポジティブな意味『追求する』を獲得した [1]. 通時的な単語の意味変化を捉えることは言語学の分析に有用である [2]. また，自然言語処理の分野への応用も期待されている。最近広く注目を集めている事前訓練済みの大規模言語モデルは，時代経過で訓練デー タの時代が古くなることで，最新の知識を持った入力に対応できなくなり，性能が低下することが言われている [3] が，時代間で意味が変化した単語を重点的に追加訓練することで，時代経過による性能低下を効率的に防ぐことができる [4].

意味変化のモデル化に向けて，意味変化のパター ンを理解することは，これまでに発生した単語の意味変化を説明するだけでなく，将来発生する意味変化を予測するために重要である. 先行研究では, 頻度や多義性によって意味変化のしやすさが説明でき

の年代ごとに学習しSVDで圧縮した際の単語「自在」の埋め込みの 2003-2020 年の変化. $x$ 軸， $y$ 軸, $z$ 軸の順に分散上位の $2,3,5$ 次元目を表す. 色が濃い方が古い年代，薄い方が新しい年代を表している.時系列の変化が確認できる.

ることや [5]，意味変化のパターンとして意味競争，意味協力といった語義同士の関係が示唆されている [6]. これらの分析ではなぜ頻度や多義性が意味変化のしやすさに関係するのか，なぜこのような語義同士の関係が存在するか，といったメカニズムが明らかにされていない.

そこで本研究では, 意味変化のパターンを分析するための前段階として, 複数の時期で学習された単語埋め込みの時系列特性を分析する。 図 2 に本研究の概要図を示す。まず，時期ごとに異なる単語埋め込みを同時に学習し, 対象単語の埋め込みを抽出する．次に，抽出された行列を特異值分解 (Singular Value Decomposition; SVD) や独立成分分析 (Independent Component Analysis; ICA) といった次元圧縮手法を用いて低次元に圧縮する．その後，圧縮された時系列データを関数データ [7] として扱い, クラスタリングを行う．最後に，時系列の埋め込みやクラスタの分析を行い時系列単語埋め込みのパターンを調査する．本研究の貢献は以下となる。

図 2: 単語埋め込みの時系列パターン分析手法

・単語埋め込みの時系列パターン分析手法を提案した. 時系列のパターンが分析可能となり，意味変化の分析につながることが期待できる.
- 分析結果より，単語群の非自明な時系列パター ンを発見した.これはデータの特徴にあったパターンであると考えられる。

## 2 関連研究

意味変化検出のための単語埋め込み意味変化検出タスクにおいては, BERT [8] のような動的埋め込みに時代や語義を考慮した追加訓練を行うことで, Skip-Gram with Negative Sampling (SGNS) [9] といった静的埋め込みよりも性能が高くなることが知られている $[10,11]$. しかし, 動的埋め込みの追加訓練にはコストがかかる．今回は学習のためのデー タサイズが十分ではなく，時期ごとに埋め込みを獲得したいため, 静的埋め込みを対象に分析を行う.

意味変化で使われる複数時期の静的埋め込みの学習方法として Kim らの SGNS init [12] と相田らの PPMI $_{S V D}$ joint [13]を取り上げる. 前者の SGNS init は時期 $t$ の埋め込みを学習する際に時期 $t-1$ の埋め込みを初期値として与える手法である. 後者の PPMI $I_{S V D}$ joint は, 対象単語と周辺単語の PPMI (Positive Pointwise Mutual Information) 行列を SVD で圧縮した埋め込みがSGNS と理論的に一致することを利用している [14]. SVDでの圧縮時に複数時期の PMI 行列を結合させ同時に圧縮することで，時期間の対応をとっている．本研究では，時期
のスパンを小さくした上でこれらの手法による埋め込みを獲得し，分析を行う。

意味変化の傾向・パターン意味変化の傾向とし $\tau$, Hamilton らが頻度, 多義性との関係を分析している [5]. 彼らは，頻度が低ければ意味変化しやすい傾向，単語の多義性が高ければ意味変化しやすい傾向を発見した. Giulianelli らは，BERTを用いた意味変化において，生態学的な観点から意味変化のモデル化を試みている [6].ここでは，意味競争，意味協力という概念を導入している．意味競争は，ある語義がその単語の主要な語義となるように，意味の割合が高くなるように奪い合う，という現象である. 意味競争により, 特定の語義が支配的になり, その単語の主要な意味として使われる. 意味協力は，似ている語義同士で共に語義の割合の増加または減少が発生する，という現象である。意味協力により主要な語義が増加/減少することで，主要な語義に似ている語義が増加/減少し, それ以外の語義が減少/増加する。

本研究では，上記に限らない意味変化の傾向やパターンを明らかにすることを最終的な目標として， まず短いスパンでの時系列の単語埋め込みの性質について分析し，意味変化への応用を探る.

## 3 分析手法

## 3.1 時系列単語行列の獲得

図 2 に分析手法の概要を示す. 単語埋め込みの次元数を $D$, 総単語数を $N_{\text {all }}$, 対象単語数を $N_{\text {target }}$ とする. それぞれの時期 $t \in\{1,2, \ldots, T\}$ で単語埋め込み行列 $E_{t} \in \mathbb{R}^{N_{\text {all }} \times D}$ が学習されている. これをまとめると全単語を対象にした時系列の単語埋め込みテンソル $E \in \mathbb{R}^{N_{\text {all }} \times D \times T}$ が得られる. ここで, 対象単語 $w$ の埋め込み $e_{t}(w) \in \mathbb{R}^{D}$ を縦に並べて, 時系列単語埋め込み行列 $X(w) \in \mathbb{R}^{D \times T}$ を得る.これを対象単語の $N_{\text {target }}$ 個だけ縦に並べた行列を時系列単語埋め込み行列 $X \in \mathbb{R}^{M \times D}\left(M=T \times N_{\text {target }}\right)$ とする.

$
X(w)=\left(\begin{array}{c}
e_{1}(w) \\
e_{2}(w) \\
\ldots \\
e_{T}(w)
\end{array}\right), \quad X=\left(\begin{array}{c}
X\left(w_{1}\right) \\
X\left(w_{2}\right) \\
\ldots \\
X\left(w_{M}\right)
\end{array}\right)
$

## 3.2 次元圧縮手法

一般的に単語埋め込みは数十から数百，大きいものだと数千の次元で学習されるため, 取り出した時

(a) 怠る $+\mathrm{SVD}$

(b) 怠る $+\mathrm{ICA}$

(c)引き受ける+SVD

(d) 引き受ける+ICA

の可視化. 横軸は次元，縦軸は時期を表す。縦軸に似た色が観察され，時期によらず似た埋め込みとなる.

系列単語埋め込み行列 $X$ はそのままでは解釈が困難となる．そこで本研究では，時系列単語埋め込み行列 $X$ に対して次元圧縮手法である SVD，ICAを適用して，圧縮された低次元空間の分析を行う 1).異なる二つの圧縮手法を比較することで，手法による違いなのか，データによる違いなのかを検証できる.また ICA は意味に沿った軸に分解されるという先行研究 [15] があり, ICA の軸の変化が意味変化を捉える可能性が高いため採用した.

SVD SVDとは，固有値分解を一般に拡張した手法である. ある $M \times D$ 次元の行列 $X \in \mathbb{R}^{M \times D}$ を $M \times d$ 次元 $(D \gg d)$ に圧縮する操作は次のように行われる。

$
X=U S V^{T}
$

ここで行列 $U S^{1 / 2}$ について分析を行う ${ }^{2)}$.

ICA ICA とは，入力された成分を独立になるように分解する手法である。 $M \times D$ 次元から $M \times d$ 次元へ変換する行列 $A \in \mathbb{R}^{D \times d}$ を求めることで，独立成分行列 $I \in \mathbb{R}^{M \times d}$ を獲得できる.

$
I=X A
$

独立成分行列 $I$ について分析を行っていく. 分析の際には，各軸での値の分布の歪度の絶対値が大きい順に軸を並び替える [15].

## 3.3 時系列データ分析

圧縮された埋め込みに対して，特定の次元に着目して時系列データを取得する. 本研究では, 時系列における傾向を調査するために，この単語の時系列データを関数データ [7] として扱い，関数データを軌跡とみなして軌跡単位での分析を行う. 系列デー タを関数として表現し，関数単位で分析を行う手法

1）各対象単語 $w$ ごとに取り出した $X(w)$ に対して分解を行うと単語間で軸の対応が取れず，次元の解釈ができない。そのため，すべての単語・すべての時期で同時に分解を行う.

2） $U S^{1 / 2}$ は $\mathrm{PPMI}_{\mathrm{SVD}}$ における単語埋め込みに相当する.
は，関数データ解析とよばれる。関数単位で分析を行うことで，観測誤差の除去やデータの次元の削減が期待できる．その後，関数データに対してクラスタリング（関数クラスタリング）を行い，クラスタ単位で軌跡のパターンの分析を行う．クラスタリングのアルゴリズムは $\mathrm{K}$ 平均法を使用する. クラスタ数の $K$ は 5 としており，これは特異な軌跡がクラスタとして判別できるように人手で判断して決定した. 距離はユークリッド距離を用いている.

## 4 実験設定

データセット比較的新しい年代の意味変化を調査する目的で，毎日新聞コーパスを使用した. 2003 年から 2020 年の 18 年分のコーパスを対象とし, 1 年毎に区切って 18 個の埋め込みを獲得する. 前処理として，空白・補助記号の削除，20 単語未満の文の除外，重複の削除，subsampling ( $\mathrm{t}=1 \mathrm{e}-05)$ を行った. 対象単語は各時期で 100 回以上出現する動詞,形容詞，形状詞（形容動詞に相当）の合計 1,226 単語とし， mecab+unidic ${ }^{3}$ を用いてレンマタイズした.名詞については，固有名詞などに広く影響されるため，今回の分析から除外した。

埋め込み手法埋め込みの学習では，単語埋め込みの次元数を 100 , 文脈空の大きさを前後 10 単語とした。埋め込み手法は SGNS init [12] と PPMI ${ }_{S V D}$

SGNS init においては最初の時期である 2003 年の埋め込みをランダムに初期化した状態から学習を行い，2003 年以降の学習で初期化手法を用いる ${ }^{4)}$.

## 5 分析結果

時系列のパターン PPMI $\mathrm{SVD}$ で学習した埋め込みを用いて「怠る」，「引き受ける」という単語の時系

3) https://taku910.github.io/mecab/

4）負例サンプリングの数は 10 , エポック数は 20 とした.

(a) SGNS init+SVD dim1

(b) SGNS init+SVD dim12

(c) $\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{ICA} \operatorname{dim} 14$

(d) PPMI $_{\text {SVD }}+$ ICA dim 29

図 4: 毎日新聞コーパスで埋め込みを学習し特定の次元を関数クラスタリングした結果. 横軸は時期，縦軸は圧縮値を示す。通常は (a)のような結果となるが，(b)，(c)，(d) のように特殊な振る舞いをする結果が存在する.

列埋め込みを次元圧縮した可視化を図 3 に示す. 圧縮手法によらず縦軸には近い値が集まっている5）。 これより時期が異なっても，同じ単語であれば似たような埋め込みが得られることがわかる. ICA の方が SVD より埋め込みのコントラストがはっきりしており，ICAによる圧縮では尖った形状を持つという先行研究 [15] と一致する.

3 次元での可視化学習し圧縮した埋め込みを分散でソートし，上位の 3 次元を可視化して分析を行う. $x$ 軸， $y$ 軸， $z$ 軸の順に上位 1 次元， 2 次元， 3 次元を表す。濃い青色が 2003 年，薄い黄色が 2020 年とし，時系列に並べて直線で結んでいる. 図 1 に PPMI $_{\text {SVD }}$ で学習し，SVDで圧縮した場合の「収める」の可視化を示す. 時間が経過するにつれ，濃い色から薄い色への変化がどれもみられることから時系列の変化を検出できていることがわかる ${ }^{6}$.

関数クラスタリング SGNS initで学習した埋め込みに対し，SVDで圧縮された埋め込みの特定の次元を関数クラスタリングした結果を図 4 (a) に示す.基本的にどの軌跡も平行線のような軌跡を描き，時系列の変化が見られない。しかし，一部の次元においては軌跡が極端に変化することを確認した．以下では，SGNS init+SVD と PPMI SVD $+\mathrm{ICA}$ の組み合わせに限って説明する 7 ).

図 4 (b) にSGNS init で学習され，SVDで圧縮された 12 次元目を関数クラスタリングした結果を示す.図 4 (a) で見たように，x 軸に平行線になるクラスタが見られるが，時期が新しくなるにつれ，值が小さくなるクラスタが存在する ${ }^{8)}$.

図 4 (c) に PPMI SVD で学習され, ICA で圧縮された 14 次元目を関数クラスタリングした結果を示す.

5）学習手法にもよらないことは付録 A にて示す.
6) $\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{SVD}$ 以外の 3 次元の可視化は付録 B に示す。

7） 極端な軌跡が見られたのがこの 2 手法であった.

8） 值が小さくなるクラスタ 4 の単語は付録 $\mathrm{C}$ に示す.
2011 年から急激に変化する軌跡が存在することから，東日本大震災により新聞の内容が変化したことが示唆される．5つのクラスタのうち，最も大きく変動しているクラスタ 2 に属する単語は「みたい」,「割る」，「稀」，「割れる」，「向く」，「領く」，「空く」，「掻く」の 8 単語である.

図 4 (d) に PPMI SVD で学習され，ICA で圧縮された 29 次元目を関数クラスタリングした結果を示す。 2006 年から 2012 年の期間において極端に值が小さくなり，それ以外の時期では極端に値が大きくなるクラスタが存在する。大きく軸に反応しているクラスタ 4 に属する単語は「突く」，「消す」，「打つ」，「詰める」，「逃げる」，「攻める」，「繰り出す」，「利く」，「打ち込む」，「仕掛ける」，「ぶつける」，「不味い」，「寄る」，「手厚い」，「躲す」，「有力」，「差す」，「引く」 の 18 単語である. 野球に使われる用語などが多く, スポーツ関連のクラスタであることが示唆される。震災やスポーツに関連したトピックが出現することは新聞データの特徴をつかめていると言える.

## 6 おわりに

本研究では，意味変化の分析に向けて単語埋め込みの時系列パターンの分析を行った. 時期ごとの単語埋め込みから，対象単語の埋め込みを時系列順に結合させ，次元圧縮を行い分析する手法を提案した. 関数クラスタリングにより時系列のパターンとして特殊な場合を検出できた。

今後の展望としては，今回の分析結果を元に単語の意味が変化する要因の特定，定量的に時系列の変遷を扱う方法の検討，関数主成分分析や関数独立成分分析を用いたより詳細な時系列分析，BERT といった動的な単語埋め込みを用いた時系列分析，そして擬似データや意味変化した単語がわかっているデータセットでの実験が挙げられる。

## 謝辞

有益なコメントや議論をしてくださった東京都立大学自然言語処理研究室のメンバーに感謝いたします。

## 参考文献

[1] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会年次大会, pp. 1166-1170, 2021.

[2] Paul Cook and Suzanne Stevenson. Automatically identifying changes in the semantic orientation of words. In LREC 2010, Valletta, Malta, May 2010.

[3] Angeliki Lazaridou, Adhiguna Kuncoro, Elena Gribovskaya, Devang Agrawal, Adam Liska, Tayfun Terzi, Mai Gimenez, Cyprien de Masson d'Autume, Tomáš Kočiský, Sebastian Ruder, Dani Yogatama, Kris Cao, Susannah Young, and Phil Blunsom. Mind the gap: Assessing temporal generalization in neural language models. In NeurIPS 2021, 2021.

[4] Zhaochen Su, Zecheng Tang, Xinyan Guan, Lijun Wu, Min Zhang, and Juntao Li. Improving temporal generalization of pre-trained language models with lexical semantic change. In EMNLP 2022, pp. 6380-6393, Abu Dhabi, United Arab Emirates, December 2022.

[5] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In ACL 2016, pp. 1489-1501, Berlin, Germany, August 2016.

[6] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In ACL 2020, pp. 39603973, Online, July 2020.

[7] J.O. Ramsay and B.W. Silverman. Functional data analysis (2nd ed.). Springer, New York, 2005.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL 2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019.

[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In NeurIPS 2013, Vol. 26, 2013.

[10] Guy D. Rosin and Kira Radinsky. Temporal attention for language models. In NAACL Findings 2022, pp. 14981508, Seattle, United States, July 2022.

[11] Pierluigi Cassotti, Lucia Siciliani, Marco DeGemmis, Giovanni Semeraro, and Pierpaolo Basile. XL-LEXEME: WiC pretrained model for cross-lingual LEXical sEMantic changE. In ACL 2023, pp. 1577-1585, Toronto, Canada, July 2023.

[12] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In ACL 2014 Workshop, pp. 6165, Baltimore, MD, USA, June 2014.

[13] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.異なる時期での意味の違いを捉える単語分散表現の結合学習. 自然言語処理, Vol. 30, No. 2, pp. 275-303, 2023.

[14] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In NeurIPS 2014, Vol. 27 , 2014.

[15] Hiroaki Yamagiwa, Momose Oyama, and Hidetoshi Shimodaira. Discovering universal geometry in embeddings with ICA. In $E M N L P 2023$, pp. 4647-4675, Singapore, December 2023.

## A 時系列パターン

(a) 急る $+\mathrm{SVD}$

(b) 急る $+\mathrm{ICA}$

(c)引き受ける+SVD

(d) 引き受ける+ICA

図 5: SGNS initで学習した埋め込みを用いて「急る」，「引き受ける」を圧縮した際の可視化. 横軸は次元，縦軸は時期を表す. 図 3 と比較しても似たような傾向が得られることから，学習手法によらない性質であると示唆される.

## B 3 次元での可視化

(a) 加わる $+\mathrm{PPMI}_{\mathrm{SVD}}+\mathrm{ICA}$

(b) 收める+SGNS init+SVD

(c) 味わう+SGNS init+ICA

図 6: 毎日新聞で学習し压縮した埋め込みの分散の上位 3 次元での可視化. $x$ 軸は上位 1 次元， $y$ 軸は上位 2 次元， $z$ 軸は上位 3 次元目を表す. (a) は $(7,20,37)$ ，(b) は $(3,1,4)$ ，(c) は $(51,89,72)$ である. 色が濃い方が古い年代，薄い方が新しい年代を表す。時代が進むにつれ変化する様子が観察される。

## c 関数クラスタリング

表 1: 図 4 (b) のクラスタ 4 に含まれる単語リスト。このように時系列パターンが特殊な単語群を発見できるが，これらの単語に共通するパターンが何かまでは特定できていない.

## クラスタ 4 に含まれる単語

濃厚，押さえ込む，下がる，久しい，競り勝つ，阻む，振り切る，力強い，取れる，苦しむ，戦う，抜く，輝く，走る，痛い，頑張る，振り返る，悔やむ，切れる，迎える，早い，鋭い，ビッグ-big，追い付く，絡める，押し出す，実る，印く，恵まれる，誇る，終わる，称える，抜け出す，留まる，沸く，封ずる，強烈，きつい，割り込む，光る，順調，打つ，真っ直ぐ，持ち込む，入れ替える，乗り切る，控えめ，保つ，巧み，必死，及ぶ勝ち上がる，転ずる，脱する，旨い，懸命，喫する，導く，苦い，決まる，終える，大きい，逃げる，緩む，合わせる，乱れる，涼しい，重ねる，制する，決める，擁する，縮める，途切れる，苦しい，押す，敗れる，勝つ，込む，任す，切り替える，踏ん張る，ぶつかる，攻める，出揃う，返す，抜ける，嬉しい，繰り出す，揃える，良い，優秀，誓う，投げる，利く，欠く，僅か，徹する，踏む，立て直す，豪快，滑る，素直，伸ばす，噛み合う，行う，粘り強い，揃う，めでたい，入る，凄い，粘る，放す，飛ぶ，外れる，大事，寒い，緩める，泣く，凌ぐ，悩ます，巻き返す，浮かべる，強力，落ちる，クール-cool，仕留める，続く，痛める，引っ張る，休む，暑い，押さえる，際立つ，掴む，積み重ねる，狙う，破る，臨む，響く，勝ち越す，零す，下す，上回る，伸び悩む，明ける，奪う，押し切る，引き締める，締め括る，並ぶ，落とす，引き分ける，握る，落ち込む，着実，期する，兼ねる，振る，絶妙，有利，フル-full，崩れる，浴びる，㴉む，焦る，沈む，劇的，背負う，遠ざかる，固い，負ける，退ける，泳ぐ，食い込む，見せ付ける，領く，押し上げる，悔しい，喜ぶ，果たす，上がる，見せる，退く，思い切る，手厚い，素晴らしい，突き放す，組む，確実，切る，熟す，乗り越える，鮮やか，噛み締める，躲す，絞る，伸びる，抜群，崩す，許す，上げる，取り戻す，厳しい，見事，零れる，強い，言い聞かせる，押し込む，飛ばす，単独，逃す，突き落とす，飾る，追い込む，追い上げる，淡々，下回る，放つ，見据える


# 節埋め込みの意味論に動機づけられたプロービング

船蔵嵐 ${ }^{1}$ 櫻川貴司 1 峯島宏次 ${ }^{2}$
1 京都大学大学院 2 慶應義塾大学
funakura.hayate.28p@st.kyoto-u.ac.jp sakura@i.h.kyoto-u.ac.jp
minesima@abelard.flet.keio.ac.jp

## 概要

本稿では、「Transformer に基づく事前学習済み言語モデルは節埋め込みの意味論において重要な情報をエンコードしているか？」という問いに答えるために、節選択性に応じた述語分類と意味タグ付与という 2 つのタスクを設計し、事前学習済み BERT に対するプロービングを実施した。実験の結果、BERT の出力する埋め込みべクトルを用いた節選択性の予測が一定程度可能であることが明らかになったが、よりミクロな視点からの調査が課題として残っている。

## 1 はじめに

本稿では、「Transformer に基づく事前学習済み言語モデルは節埋め込みの意味論において重要な情報をエンコードしているか？」という問いに答えるために、節選択性に応じた述語分類と意味タグ付与という 2 つのタスクを設計し、事前学習済み BERT に対するプロービングを実施した。

節埋め込みの意味論は、英語の know や日本語の 「知る」のように、目的語位置に節を取ることのできる述語を主対象とした形式意味論の領域である。この領域で特によく議論される節タイプとして、 that 節に代表される平叙節と、wh 節に代表される疑問節とがある。節埋め込み述語はそれが取ることのできる節のタイプにより大きく以下の三つに分類される [1]。

Responsive 平叙節と疑問節の両方（例: know)

Anti-rogative 平叙節のみ (例: believe)

Rogative 疑問節のみ (例: wonder)

このように、目的語位置に取ることのできる節のタイプが述語によって異なることを本稿では節選択性と呼ぶ。異なる言語の述語であっても意味が類似していれば取りうる節タイプが一致する傾向にある $[2$, etc. $]$ ことや、節選択制が推論と強く関連する $[3$, etc.] ことから、節選択性は意味論の問題として盛んに議論されている $[4,5,6$, etc.]。

ニューラルネットワークをはじめとする機械学習モデルが節選択性の知識をエンコードしているならば、節埋め込みの意味論に資する知見あるいは仮説をそのモデルから得られるかもしれない。また、ニューラルネットワークの持つ知識を解明するプロービングについては既に多くの研究がある [7] が、節選択性に関する調査は著者の知る限りで存在しない。本研究はこのような背景から冒頭の問いを立て、一つのケーススタディとして事前学習済み BERT の英語モデルを用いたプロービングを実施した。

具体的なタスクとしては、節選択性に応じた述語分類と、節選択性を反映する形に拡張された意味タグ付与という二つを設計した。前者については 2 節、後者については 3 節にて、それぞれの実験設定と結果を述べる。

## 2 実験 1: 節タイプ分類タスク

本実験では、文中に出現する節埋め込み述語を三つのカテゴリに分類するタスクを定義し、Hewitt ら [8] によって提案されたコントロール実験を行なった。以下では、このコントロール実験について説明し、そして使用したデータセットとモデルの設定について述べる。

## 2.1 コントロール実験

Hewitt ら [8] によって提案された実験手法は、目下の言語学的タスクの学習に加えて、そのタスクの分類ラベルがランダムに書き換えられたタスクの学習を行うというものである。後者のタスクをコントロールタスク (control task) と呼ぶ。二つのタスクで学習を行なった結果、それぞれのタスクに対する正解率の差を求めることができるが、この差を
selectivity と呼ばれる。この手法の背景には、モデルの言語学的な特性をよりよく反映するプローブは selectivity が大きい、という直観がある。

コントロールタスクは、素朴に言えば、ある程度の構造はあるが、言語学的な知識とは無関係のタスクである。コントロールタスクを定義する際、分類ラベルセットは元タスクと同一であり、書き換え後のラベルは語のトークンではなくタイプごとに決定される。すなわち、コントロールタスクはラベルの付与方法自体はランダムでありつつ、語のタイプが同じであれば同じラベルが付与されるという意味での構造を持っている。

## 2.2 データセット

本実験用のデータセットは Parallel Meaning Bank 4.0.0 (以下 PMB4) の英語パートをべースに作成した。このデータセットは $[9,10]$ で提案されたデー タセットの現行最新版であり、自然言語文に対して組合せ範疇文法の導出木、意味タグ系列、DRS による意味表示といった情報がアノテーションされている。

PMB4 に含まれるデータは、全てのアノテーションが人手で確認済みのサンプル群、アノテーションの一部が人手で確認済みのサンプル群、アノテーションの全てが人手では未確認のサンプル群という三つに分かれる。本稿ではこれらをゴー ルドデータ、シルバーデータ、ブロンズデータとそれぞれ呼ぶ。我々は PMB4 の英語ゴールドデータ 10813 文と、シルバーデータ 136491 文から、節埋め込み文（9158 文）を抽出した。より具体的には、語彙レベルの統語範疇に以下の統語範疇のいずれかが含まれる文を抽出した（ただし $x \in\{b, d c l, n g, p s s, p t\}, y \in\{d c l, e m, q e m\}) 。$
- $\left(S_{x} \backslash N P\right) / S_{y}$
- $\left(\left(S_{x} \backslash N P\right) / S_{y}\right) / N P$
- $\left(\left(S_{x} \backslash N P\right) / S_{y}\right) / P P$

そして、各文中の節埋め达み述語に対して、節選択性に応じた分類ラベルを付与した。ラベルは RE, AR, RO であり、それぞれ responsive, anti-rogative, rogative に対応する。以下は分類ラベルが付与されたサンプルの例である。

(1) a. I haven't decided $d_{R E}$ yet whether I will attend the party.

b. I think ${ }_{\mathrm{AR}}$ he ate about 10 oysters. c. Tom asked ${ }_{R O}$ Mary if she had been to Boston.

また、データセット内に出現する語タイプごとにランダムな分類ラベルを付与することで、コントロールタスク用のデータセットを作成した。作成したデータセットの、各語タイプと分類ラベルの対応は付録中の表 5 の通りである。

## 2.3 モデルの設定

先述のデータセットを用いて、本実験では事前学習済み BERT の出力する文脈を考慮した埋め込みベクトル列のうち、節埋め込み述語に対応するべクトル $\left(\in \mathbb{R}^{768}\right)$ を RE, AR, RO のいずれかに分類するモデル（以下プローブと呼ぶ）の学習を行なった。 BERT のパラメータは bert-base-uncased のものを採用した。このモデルに対応するトークナイザはサブワードトークナイザであるのに対して、本タスクは単語レベルの分類タスクである。本実験では、 トークナイザによって複数のサブワードに分割された語については、その語を構成する先頭のサブワー ドに対応する埋め込みべクトルをプローブへの入力とした。プローブとしては 1 層ニューラルネットワーク、決定木、ロジスティック回帰の三つを採用した。データは学習データ: テストデータ $=8: 2$ に分割し、学習データを用いた 5 分割交差検証によるコントロール実験を実施した。学習データ、 テストデータそれぞれの分類ラベルの分布は付録中の表 10 の通りである。また、 1 層ニューラルネットワークの学習における各種ハイパーパラメータは付録中の表 6 の通りに設定し、決定木とロジスティック回帰の各種ハイパーパラメータは scikit-learn 1.3.2 の DecisionTreeClassifier クラスおよび LogisticRegression クラスのデフォルト値を採用した。

後述の通り、最も selectivity が高かったのは 1 層ニューラルネットワークであった。このプローブについては、表 6 の設定下で学習データ全体を用いた学習を行い、テストデータに対する推論結果を確認した。

## 2.4 結果

コントロール実験の結果と、学習データ全体で学習した 1 層ニューラルネットワークのテストデータに対する推論結果について以下に述べる。

表 1 コントロール実験の結果。1 層ニューラルネットワークを FCNN、決定木を DT、ロジスティック回帰を LR とそれぞれ表記する。 5 分割交差検証により各分割での正解率を算出し、平均値 (標準偏差) の形式で掲載している。平均値と標準偏差はそれぞれ、小数第 2 位以下、小数第 4 位以下を四捨五入している。

表 2 学習データ全体で学習した 1 層ニューラルネットワークの、テストデータに対する混同行列。縦軸が正解ラベル、横軸が予測ラベルに対応する。

コントロール実験コントロール実験の結果を表 1 に示す。調査した範囲で最も高い selectivityを示したのは 1 層ニューラルネットワークであった。 2.1 節で述べた直観を受け入れるならば、BERT の埋め込みべクトル内で表現される節選択性に関する情報に対して、より敏感なのは 1 層ニューラルネットワークであるといえる。

テストデータに対する推論学習データ全体を用いて学習した 1 層ニューラルネットワークの、テストデータに対する推論結果を混同行列として表に示す。表の示す通り、正解ラベルが RE である事例に対して 18 件、ARである事例に対して 20 件、RO である事例に対して 3 件の予測誤りが確認された。そして、正解ラベルが RE である事例 18 件中 6 件が語タイプ doubt に対する予測誤り、正解ラベルが AR である事例 20 件中 6 件が語タイプ admit に対する予測誤り、正解ラベルが RO である事例 3 件中 3 件が語タイプ ask に対する予測誤りであり、いずれも特定の述語に誤りが偏る傾向が見られた（予測誤りの分布について詳細は付録中の表 7-9を参照のこと)。今後は、これらの予測誤りの要因や、予測を誤った事例に共通する性質について調査する必要がある。

## 3 実験 2: 意味タグ付与タスク

本実験では、[10] で提案された意味タグ付与 (semantic tagging) タスクをベースとし、節埋め込み述語の節選択性への理解を問う系列ラベリングタス

表 35 分割交差検証の結果。 5 分割交差検証により各分割での正解率を算出し、平均値 (標準偏差) の形式で掲載している。平均値と標準偏差はそれぞれ、小数第 2 位以下、小数第 4 位以下を四捨五入している。

クの設計とモデルの学習を実施した。後述するように、このタスクは 2.1 節の 3 値分類タスクと比較して、節埋め込み述語に対するより精緻な理解を要する。以下では、本実験のタスク定義を行い、そして使用したデータセットとモデルの設定について述べる。

## 3.1 意味タグ付与タスク

意味タグ付与タスクは、文中の各語に対して意味タグ (semantic tag) を付与する系列ラベリングタスクである。意味タグは各語の意味論的特徴を反映することが目指されている点で、品詞ラベル、固有表現ラベルといった他の系列ラベルと異なる。2.1 節でも使用した PMB4 に収録されている各文には意味タグ系列がアノテーションされている。以下はその例である。

(2)

[10] では 73 種類の意味タグを含むタグセットが提案されており、その中で一般動詞に割り当てられるタグは以下の 5 種類である。

EXS 時制な乙単純形

ENS 現在形

EPS 過去形

EXG 進行形

EXT 完了形

## 3.2 データセットの作成

我々は前小節で挙げた 5 つのタグの末尾に RE, AR，RO のそれぞれを付記した 15 種類のタグをタグセットに追加した。そして、PMB4 のゴールドデータに含まれる 170 の節埋め込み文に出現する節埋め込み述語に付与されている意味タグを、その述語の節選択性に応じて変更した。1）上記の変更を受けたデータセットに含まれる文の例を以下に示す。

(3) a. I PRO know $_{\text {ENS-RE }}$ that ${ }_{\text {SUB }}$ she $_{\text {PRO }}$ is $_{\text {NOW }}$ beautiful

1）本実験では、意味タグのアノテーション誤りによる影響の大きさを考慮して、ゴールドデータのみを使用した。

表 4 学習データ全体で学習した 1 層ニューラルネットワークの、テストデータに対する混同行列。縦軸が正解ラベル、横軸が予測ラベルに対応する。テストデータに出現しないラベルは省略している。

## -NIL

b. He PRO knows $_{\text {ENS }}$ none $_{\text {NOT }}$ of $_{\text {REL }}$ USPRO $\cdot$ NIL

このように、意味タグが変更されたのは実際に節を取る述語のみであり、(3-b) のような文脈に出現する述語は意味タグの変更を受けていない。つまり、変更後のデータセットによって定義される意味タグ付与タスクは、節選択性に応じた節埋め込み述語の分類だけでなく、その述語が実際に節埋め込み文脈に出現するかどうかの峻別も要求する。この意味で、本タスクは 2.1 節の 3 值分類タスクと比較して難易度の高いタスクであるといえる。

## 3.3 学習設定

本実験では、事前学習済み BERT の出力する文脈を考慮した埋め込みべクトル $\left(\in \mathbb{R}^{768}\right)$ を入力とし、その語の意味タグを予測するプローブの学習を行なった。プローブとしては 1 層ニューラルネットワークを採用した。2.1 節と同じく、BERT のパラメータはbert-base-uncased のものを採用した。意味タグ付与も単語レベルで予測を行うタスクであるから、複数のサブワードに分割された語については、その語を構成する先頭のサブワードに対応する埋め达みべクトルをプローブへの入力とした。また、学習は 2.1 節と同様に 5 分割交差検証と、学習データ全体を用いた学習の 2 通りを実施した。学習データ、テストデータそれぞれの新規意味タグの分布を付録中の表 11 に示す。また、 1 層ニューラルネットワークの学習における各種ハイパーパラメー タは 2.1 節と同じく表 6 の通りに設定した。

## 3.4 結果

交差検証の結果と、学習データ全体で学習した 1 層ニューラルネットワークのテストデータに対する推論結果について以下に述べる。

交差検証交差検証の結果を表 3 に示す。表には、正解ラベルが新規タグである語に限定して算出した正解率も併記している。新規タグのみに限定した場合の平均正解率は、タグ全体での平均正解率よりも 30 ポイント以上低く、分割ごとのばらつきも比較的大きい結果となった。この結果につながった要因は、再アノテーションを受けたサンプル数の不足をはじめ様々なものが考えうるが、要因の解明は今後の課題である。

テストデータに対する推論学習データ全体を用いて学習した 1 層ニューラルネットワークの、テストデータに対する推論結果を混同行列として表 4 に示す。予測誤りの傾向や要因の調査が今後の課題である。

## 4 結論

本稿では節選択性の観点から設計した二つの夕スクについて、事前学習済み BERT モデルの出力する埋め込みべクトルを入力とするプローブの学習・評価を行なった。実験 1 で調査した限りでは、 1 層ニューラルネットワークが selectivity の観点から最良であることが明らかになったが、プローブが予測に用いている情報が具体的にどのようなものかは未だ明らかではない。実験 2 にて構築したプローブは一定の傾向を持って予測を行うことは明らかになったものの、詳細なエラー分析は未着手である。いずれの結果についても、今後はよりミクロな視点での分析が必要であると言える。また、本研究では一貫して BERT の出力層をプローブへの入力として調査したが、節埋め込みの意味論と強く関連する情報が複数ある層のどこで表現されているかは自明ではなく、今後検討すべき問いである。

## 謝辞

本研究は JST CREST、JP-MJCR2114 の支援を受け

たものです。

## 参考文献

[1] Utpal Lahiri, et al. Questions and answers in embedded contexts, Vol. 2. Oxford University Press on Demand, 2002.

[2] Jane Grimshaw. Complement selection and the lexicon. Linguistic inquiry, Vol. 10, No. 2, pp. 279-326, 1979.

[3] Aaron Steven White and Kyle Rawlins. The role of veridicality and factivity in clause selection. In Proceedings of the 48th annual meeting of the north east linguistic society, Vol. 3, pp. 221-234, 2018.

[4] Lauri Karttunen. Syntax and semantics of questions. Linguistics and philosophy, Vol. 1, No. 1, pp. 3-44, 1977.

[5] Ivano Ciardelli, Jeroen Groenendijk, and Floris Roelofsen. Inquisitive Semantics. Oxford University Press, 2019.

[6] Wataru Uegaki. The semantics of question-embedding predicates. Language and Linguistics Compass, Vol. 13, No. 1, p. e12308, 2019.

[7] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A primer in bertology: What we know about how bert works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2021.

[8] John Hewitt and Percy Liang. Designing and interpreting probes with control tasks. arXiv preprint arXiv:1909.03368, 2019.

[9] Lasha Abzianidze, Johannes Bjerva, Kilian Evang, Hessel Haagsma, Rik van Noord, Pierre Ludmann, Duc-Duy Nguyen, and Johan Bos. The parallel meaning bank: Towards a multilingual corpus of translations annotated with compositional meaning representations. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 242-247. Association for Computational Linguistics, 2017.

[10] Lasha Abzianidze and Johan Bos. Towards universal semantic tagging. In Proceedings of the 12th International Conference on Computational Semantics (IWCS 2017) - Short Papers, pp. 1-6, Montpellier, France, 2017.

## 付録

 \\

表 52.2 節補足資料: コントロールタスク用データセットにおける語タイプと分類ラベルの対応

表 62.3 節補足資料: 1 層ニューラルネットワークのハイパーパラメータの設定。ここに記載されている值以外は Transformers 4.36.2 の Trainer クラスのデフォルト値を採用した。

表 72.4 節補足資料: 正解ラベルが RE である事例に対する誤りの分布

表 82.4 節補足資料: 正解ラベルが AR である事例に対する誤りの分布

表 92.4 節補足資料: 正解ラベルが RO である事例に対する誤りの分布

表 102.3 節補足資料: 節タイプ分類データセット内のタグ比率

 &  \\

ENSRE & 21 & 6 \\
EPSRE & 23 & 8 \\
EXGRE & 0 & 0 \\
EXTRE & 1 & 0 \\
EXSAR & 3 & 1 \\
ENSAR & 22 & 7 \\
EPSAR & 18 & 4 \\
EXGAR & 1 & 0 \\
EXTAR & 0 & 0 \\
EXSRO & 0 & 0 \\
ENSRO & 3 & 0 \\
EPSRO & 6 & 2 \\
EXGRO & 0 & 0 \\
EXTRO & 0 & 0 \\

表 113.3 節補足資料: 意味タグデータセット内のタグ比率（節選択に関連するもののみを抜粋）


# 逆強化学習による文章における人間らしさの推定

岸川大航 大関洋平
東京大学
\{d-kishikawa,oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

文章からの作者の個性の推定は、言語モデルにおける人間らしい文章生成、あるいは文章の定量的分析などに応用可能であるため、重要な研究課題であると考えられる。本研究では、言語生成過程をマルコフ決定過程によってモデル化し、報酬を推定する逆強化学習を用いることによって、報酬の形で文章の個性を推定することを提案する。計算機実験として、夏目漱石の文章とそれ以外の作家の文章を提案手法によって学習させ、文章が識別可能であること、推定報酬を用いた文章表現に対する定量的な評価が可能になることを示す。

## 1 はじめに

ある文章において、作者らしさ（作者の個性）をどのように定量的に評価するかは、自然言語処理において重要な研究課題である。文章における作者の個性を定量化することができれば、たとえば ChatGPT に代表される言語モデルに対し、非人間 （単純なマルコフ連鎖、あるいは言語モデルなど） の文章に対する人間の文章の「人間らしさ」を定量化することで、より人間らしい文章を生成することが可能となり、「日本語文章における日本人らしさ」 を定量化することによる日本語の非母語話者に対する語学教育などにも応用可能である。したがって、文章の個性を推定する手法の実用化が求められているといえる。

本研究では、文章生成が人間の意思決定の連続に基づくものであるとの考えから、文章生成過程をマルコフ決定過程によって定式化し、与えられた手本となる行動例（デモンストレーション）から報酬を推定する、逆強化学習を文章に対して適用し、報酬の形で文章の個性を推定することを提案する。推定された報酬を用いて、文単位で作者らしさを定量的に評価できるほか、各文において、具体的にどの表現が高い、あるいは低い報酬値となるかを可視化で
きるため、作者らしい文章表現を特定することも可能である。

## 2 準備

## 2.1 マルコフ決定過程 (MDP)

マルコフ決定過程 (Markov Decision Process; MDP)[1] は、強化学習 (Reinforcement Learning; RL) の基礎となる確率過程である。MDP は、状態 $s \in S$ 、行動 $a \in A$ 、状態 $s$ で行動 $a$ をった際に次状態 $s^{\prime}$ に遷移する状態遷移確率 $p\left(s^{\prime} \mid s, a\right)$ 、状態 $s$ で行動 $a$ をとった際の報酬 $r(s, a)$ 、割引率 $\gamma(0 \leq \gamma \leq 1)$ 、そして初期状態分布 $p_{0}(s)$ から構成される。MDP における最適方策 $\pi^{*}$ は、累積割引報酬を最大化する方策であり、式（1）によって表される。

$
\begin{array}{r}
\pi^{*}\left(a_{t} \mid s_{t}\right)= \\
\operatorname{argmax}_{\pi} \mathbb{E}_{s_{0} \sim p_{0}}\left[\sum_{t=0}^{\infty} \gamma^{t} r\left(s_{t}, a_{t}\right) \mid s_{t}, a_{t} \sim \pi\left(a_{t} \mid s_{t}\right)\right]
\end{array}
$

MDP 上において最適方策を学習する手法が強化学習（Reinforcement Learning; RL）であり、意思決定主体のことをエージェントと呼ぶ。エージェントは環境内に存在し、MDP に従いながら、試行錯誤によって最適方策を獲得する。

## 2.2 逆強化学習 (IRL)

RL が、与えられた報酬関数に対して最適方策を獲得する手法であるのに対し、逆強化学習 (Inverse Reinforcement Learning; IRL）[2] はその逆であり、最適方策をとるエージェント、エキスパートが存在し、エキスパートが累積割引報酬を最大化するという仮定のもとで、最適方策、または最適方策に従って、環境内で記録された状態から構成される時系列 （軌跡（trajectory）と呼ぶ）のデータセット、デモンストレーションを所与として、その背後に存在する報酬関数を推定する手法である。

具体的には、IRL は以下の過程に従って報酬を推
定する。

1. エキスパートデモンストレーションと、現在のエージェントの軌跡の乘離度を、何らかのダイバージェンスによって比較し、報酬関数を推定する。

2. 報酬関数に従って、エージェントに最適方策を獲得させる。

3. エージェントを環境内で行動させ、軌跡を記録する。

4. 1. に戻る。

この過程を繰り返し、最終的にダイバージェンスが 0 となった場合、エージェントは最適方策を獲得し、 その時推定中の報酬関数がエキスパートが持つ報酬関数となる。IRL は、報酬関数を設計することが難しいロボットの複雑な行動の学習や、本来の報酬関数が未知である人間や生物の意図分析 $[3,4]$ に用いられている。中でも、オフライン IRL 手法は 2 . が不要であるため、高速に学習可能である。

## 3 文章の個性推定のための IRL

文章を作成するエージェントが、形態素 $w$ を一つずつ出力しながら文章を生成する過程のことを文章生成過程と呼ぶことにする。文章生成過程は以下の過程からなる。

1. 時刻 $t$ のエージェントは、時刻 $t$ までの形態素からなる文章断片 $s_{t}=\left.\{w_{0}, w_{1}, w_{2}, \cdots, w_{t}\right.\}$ を現状態として観測し、自身の持つ方策（執筆方針にあたる） $\pi(a \mid s)$ に基づき、行動 $a_{t}$ として次の形態素 $w_{t+1}$ を出力する。

2. 次に環境は、次状態として $s_{t+1}=$ $\left.\{w_{0}, w_{1}, w_{2}, \cdots, w_{t}, w_{t+1}\right.\}$ を、何らかの文章断片に対する評価関数 $C(x)$ （文章断片 $x$ が好ましいほど $C(x)$ は高い值を返すものとする）を報酬值 $r_{t}=C\left(s_{t}\right)$ として返す。

3. 最後に、報酬 $r_{t}$ に基づいてエージェントは自身の持つ $\pi$ を学習し、観測した次状態 $s_{t+1}$ に基づき行動 $a_{t+1}$ を出力する。

4. 1. に戻る。

以上の定式化によって文章生成過程をモデル化するとき、エキスパートデモンストレーションにあたるのは特定の作者の文章である。文章を形態素解析によって形態素単位に分割し、状態にあたる形態素列 $s_{t}$ を、何らかの文章べクトル化手法 $f(x)$ による変換関数 $v_{t}=f\left(s_{t}\right)$ によっ
てべクトル化した系列を軌跡とする。すなわち、ある文章 $\sigma=\left.\{w_{0}, w_{1}, \cdots w_{T}\right.\}$ が $s_{0}=\left.\{w_{0}\right.\}, s_{1}=$ $\left.\{w_{0}, w_{1}\right.\}, \cdots, s_{T}=\left.\{w_{0}, w_{1}, \cdots w_{T}\right.\}$ という文章断片に分解されるとき、軌跡 $\tau=\left.\{v_{0}, v_{1}, \cdots, v_{T}\right.\}$ となる ( $T$ は文章の終端時刻を示す)。

## 4 計算機実験

計算機実験として、夏目漱石の作品とそれ以外の作家の作品の文章データから、夏目漱石らしさが推定できるかどうかを検証する。今回の実験において用いるのは、エキスパートとして夏目漱石の 12 作品、ベースラインとして森鴎外・泉鏡花・太宰治・島崎藤村の各 3 作品、計 12 作品を、それぞれ用いる。データは青空文庫 [5] のものを使用した。

・エキスパート：夏目漱石．..『こころ』『それから』『鬳美人草』『吾輩は猫である』『坑夫』『行人』『四郎』『草枕』『道草』『彼岸過迄』『坊っちゃん』『明暗』

・ベースライン：その他の作家 4 人
- 森鴎外 ... 『雁』『渋江抽斎』『青年』
- 泉鏡花…『黒百合』『日本橋』『婦系図』

-太宰治…『斜陽』『人間失格』『惜別』
- 島崎藤村 ... 『家』『新生』『夜明け前』

これらのデータを結合・全文シャッフル・重複を除去した上で、 train・dev・test データとしておおよそ 8:1:1 になるようにデータを分割し、train と $\operatorname{dev}$ 報酬の学習に使用した。また、報酬を出力するニュー ラルネットワーク（報酬モデル）を学習するための IRL アルゴリズムには LogReg-IRL[6] を用いた。

エキスパートおよびベースラインの test データにおけるスコアの分布をヴァイオリンプロットとして図 1 に示し、図 1 のX軸を範囲 $[-25,25]$ の範囲で拡大したプロットを図 2 に示す。また、各スコアの平均を表 1 に示す。ここでスコアとは、ある文章 $\sigma$ について、各文章断片 $w$ ごとの報酬值を足し合わせたもの、すなわち

$
\operatorname{score}(\sigma)=\sum_{t=0}^{T} r_{\theta}\left(s_{t}\right)
$

である。図1、図2 の縦軸がスコアを示す。

図1、図2、表 1 より、分布は非常に近いものの、総じてエキスパートのスコア平均はベースラインのスコア平均を上回っており、分離できていることがわかる。

エキスパートおよびベースラインにおける実際の

図 1 test データにおけるスコアのヴァイオリンプロット

図 3 夏目漱石作品（test データ）における報酬値

報酬值を可視化し、図 3、図 4 にそれぞれ示す。図の横軸は、最も左の形態素が文の最初の形態素であり、各形態素は文の冒頭からその形態素までの文章断片を示し、縦軸はその文章断片に対する報酬モデルの出力する報酬値である。まず図 3 であるが、これは『明暗』の一節である。文章の前半は負の報酬であるため、夏目漱石（すなわちエキスパート）らしくないと判定されているが、文末表現まで含めた場合は、報酬値が正であるため、全体として夏目漱石らしいと判定されている。一方、図 4 は島崎藤村の『新生』の一節である。こちらは対照的に、文の前半は夏目漱石らしいものの、文の後半が夏目漱石らしくないと判定され、全体として夏目漱石ではないと判定されている。これらの例では、文末表現が夏目漱石らしさを示す根拠として用いられているといえる。

## 4.1 未知のデータにおける検証

前節の test データは、 train・dev・test データとしておおよそ8:1:1 になるように分割されたデータであるため、基本的には学習に利用した学習に利用した文章と同一作品内での検証となり、スコアが特定

図 2 図 1 のX 軸を範囲 $[-25,25]$ において拡大したヴァイオリンプロット

図 4 ベースライン作品（test データ）における報酬値

の固有名詞（たとえば作品中の登場人物名）などの影響を大きく受ける可能性が考えられる。このような報酬モデルは、文章における個性の推定という点では適切ではなく、未知のデータにおいても個性を評価できるモデルの方が望ましいと考えられる。そこで、エキスパート・ベースラインともに、学習には利用していない、別の 12 作品のデータを利用し、前節で学習した報酬モデルの評価が一貫するかを検証する。利用した作品は次のとおりである。

・エキスパート：夏目漱石．..『一夜』『永日小品』『幻影の盾』『手紙』『硝子戸の中』『創作家の態度』『文鳥』『変な音』『夢十夜』『門』『野分』『倫敦塔』

・ベースライン : その他の作家 4 人

一森鴎外…『かのように』『阿部一族』『山椒大夫』
- 泉鏡花 …『三枚続』『式部小路』『草迷宮』

一太宰治．．『新ハムレット』『新釈諸国噺』『正義と微笑』

－島崎藤村 ...『桜の実の熟する時』『千曲川のスケッチ』『力餅』

エキスパートおよびベースラインの test データに

図 5 未知データにおけるスコアのヴァイオリプロット

図 7 夏目漱石作品（未知データ）における報酬値

おけるスコアの分布をヴァイオリンプロットとして図 1 に示し、図 5 のX 軸を範囲 [-25,25] の範囲で拡大したプロットを図 6 に示す。また、各スコアの平均を、test データと同様に表 1 に示す。ヴァイオリンプロットは前節と同様である。

図 5、図 6、表 1より、test データにおける結果よりは差が小さくなっているものの、総じてエキスパートのスコア平均がベースラインのスコア平均を上回っており、分離できていることがわかる。したがって、提案手法は未知のデータにおいても有効であるといえる。

報酬について、エキスパート、ベースラインをそれぞれ図 7、図 8 に示す。図 7（夏目漱石『一夜』の一節）では、文の冒頭部分、および文末表現まで入れた場合に正の報酬値が出力されており、夏目漱石らしいと判定されている。一方、ベースライン（泉鏡花『草迷宮』の一節）では、文の冒頭は正の報酬値が出ており、夏目漱石らしいと判定されているものの、文末までを含めると報酬値が負となり、夏目漱石ではないと判定されている。以上に述べた報酬の可視化による分析では、文末表現が報酬モデルの判断根拠であるという結論にいたったが、夏目漱石

図 6 図 5 のX 軸を範囲 $[-25,25]$ において拡大したヴァイオリンプロット

図 8 ベースライン作品（未知データ）における報酬値

作品の計量分析において文末表現に着目した研究 [7] が存在することからも、この結論は妥当であるといえる。

## 5 まとめ

本論文では、文章の個性を推定する手法として、 IRL を用いる手法を提案した。計算機実験として、夏目漱石とそれ以外の作家の文章から「夏目漱石らしさ」を推定することが可能かどうかを検証し、実際に両者が分離できること、報酬の可視化による判断根拠の説明が可能であることを確認した。今後は、人間および非人間の文章から、文章における人間らしさが推定できるかの検証を予定している。

表 1 夏目漱石作品および他作品におけるスコアの平均

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Richard S Sutton and Andrew G Barto. Reinforcement learning: An introduction. MIT press, 2018.

[2] Andrew Y Ng, Stuart J Russell, et al. Algorithms for inverse reinforcement learning. In IcmI, Vol. 1, p. 2, 2000.

[3] Shoichiro Yamaguchi, Honda Naoki, Muneki Ikeda, Yuki Tsukada, Shunji Nakano, Ikue Mori, and Shin Ishii. Identification of animal behavioral strategies by inverse reinforcement learning. PLoS computational biology, Vol. 14, No. 5, p. e1006122, 2018.

[4] Kris M Kitani, Brian D Ziebart, James Andrew Bagnell, and Martial Hebert. Activity forecasting. In European conference on computer vision, pp. 201-214. Springer, 2012.

[5] 青空文庫 Aozora Bunko. https://www.aozora.gr. jp/, 2024.

[6] Eiji Uchibe. Model-free deep inverse reinforcement learning by logistic regression. Neural Processing Letters, Vol. 47, No. 3, pp. 891-905, 2018.

[7] 土山玄. 文末表現の計量分析に基づく夏目漱石の小説の分類. 研究報告人文科学とコンピュータ $(\mathrm{CH})$, Vol. 2019-CH-120, No. 6, pp. 1-4, 2019.