# 共通基盤の構築に及ぼすイメージ生成の個体差に関する シミュレーション

由井 達也 ${ }^{1}$ 森田 純哉 ${ }^{1}$ 天谷 武琉 ${ }^{1}$ 東中 竜一郎 2 竹内 勇剛 1
1 静岡大学 2 日本電信電話株式会社
}

\{yui.tatsuya.20, amaya.takeru.19\}@shizuoka.ac.jp, \{j-morita,takeuchi\}@inf.shizuoka.ac.jp ryuichiro.higashinaka@ntt.com
## 概要

コミュニケーションの送り手が発した記号は，受け手の有する認知的フレームを介してイメージとして解釈される。つまりコミュニケーションを効率化するためには，送り手と受け手の間で認知的フレー ムをすり合わせる必要がある．本稿では，そのような送り手と受け手で共有されたフレームを共通基盤と呼び，タングラム命名課題を対象とした共通基盤形成のモデルを提示する．特に，本稿ではイメージ生成における個体差を，モデルに与えるノイズパターン（シード値）によって操作した 2 つのシミュレーションを示す.

## 1 はじめに

コミュニケーションとは，送り手が有する意図を，メディアを介し，受け手に伝達するプロセスである [1]. 人間のコミュニケーションにおける主要なメディアは（自然）言語である。世界には様々な言語が存在する、いずれも膨大な語彙を持ち，それらを定められた文法構造によって関係づけることで，複雑な意図を表現する．しかし，いずれの言語にも曖昧性があり，送り手の意図は完全には記述されない。また，言語を解釈するフレームの背景にある抽象性の高い知識・記憶の層は, そもそも他者からは直接アクセスできないという問題もある [2]. よって，人間のコミュニケーションを成立させるためには，言語表現を工夫するだけではなく，送り手と受け手の間で，意図と言語を対応づける認知的フレームを調整する必要がある。

本研究では，コミュニケーションを成立させる個人（送り手・受け手）が有する認知的フレームを共通基盤 (common ground) と呼び，その構築プロセスに焦点を当てる.コミュニケーションの共通基盤
は，過去，多くの認知科学的な研究によって検討されてきた $[4,5,6,7]$. しかし, 従来の共通基盤の構築に関する認知科学的なモデル $[6,7]$ は，コミュニケーションにおけるイメージ化のプロセスを扱っていない。実世界において，送り手の伝達意図は，物理的世界と接地するアナログなイメージを含み，離散的な記号のみでは表現しきれない。この観点に立てば，コミュニケーションの共通基盤は，送り手内部によるイメージから言語への変換プロセスと，受け手による言語からイメージへの変換プロセスの関係において検討されるべきである.

著者らは，上記の観点のもとで，Convolutional Neural Network (CNN), 画像生成モデル (Stable Diffusion) [8]，大規模言語モデル (GPT) [9] を組み合わせたモデルを検討してきた $[3,10]$. このモデルは，夕ングラム命名課題 [11] と呼ばれる抽象図形を題材とし，2 者間で共通の対象に同一の言語ラベルを割り当てる過程を表現する．特に，著者らによるはじめの研究 [10] は，送り手と受け手が固定された状況での一方向的なコミュニケーションが表現された. すなわち，送り手がタングラムからイメージを生成し，そのイメージを表現する言語を受け手に送信する. 受け手は言語からイメージを生成し，自身が見ているタングラムのいずれに当てはまるかを答える.ここで送り手の意図したタングラムと受け手の解釈したタングラムが一致した場合に，そのコミュニケーションは成功したものとみなす。

直近の報告 [3] では，著者らのモデルが，タングラム命名課題におけるチャンスレベルを有意に上回る正解率を示すこと，またイメージ生成に関わるモデルのパラメータを，コミュニケーションの成功事例をもとに調整することで，その成績が向上しうることを示した.

なお，この検討において，イメージの生成に利用

図 1 全体的発話の内部表現. [3] をの図 5 を改変.

されるシード値は単一の値に固定されていた.イメージ生成モデルにおけるシード值は，生成されるイメージの基となるノイズのパターンを決定する。 モデルは，与えられたプロンプトに即して，ノイズパターンを変形し，人間が意味を感じるイメージを生成する. この值をモデルごとに固定化することで，シード值は異なるプロンプト間で共通する，そのモデルによるイメージ生成のスタイルが表現される。

イメージ生成のスタイルは，人間同士のコミュニケーションにおいても重要な要因である。コミュニケーションの文脈によっては，イメージを簡略化するスタイルが好まれることもあれば，その逆も有り得る [5]. あるいは，イメージ生成のスタイルを文化（画派やジャンルに相当）と関連付けて考えることもできる．異文化コミュニケーションで生じる問題などを考えれば，送り手と受け手のスタイルを一致させることは，コミュニケーションの成功率に寄与すると考えられる. 本研究では, これらイメージ生成の個人差に関する仮説を著者らの先行研究のモデルを用いることで検討する（シミュレーション 1)、そのうえで，シード值による初期の成績の違いが，共通基盤の構築に及ぼす影響を検討する（シミュレーション2).

## 2 タングラム命名モデル

先行研究 [3] において提示したモデルの概略を述べる.はじめに，このモデルにおける送り手と受け手のコミュニケーションのフローを示し，その後にフローの出力を学習により変化させる方法を示す.

## 2.1 コミュニケーションフロー

コミュニケーションのフローは図 1 に示される.

図の各ステップは以下のように説明される。

送り手の処理

1. タングラムの知覚: 各タングラムの形状に対
して第一印象を形成する。本研究では一般物体認識のために構築された Convolutional Neural Network (CNN) を利用する。

2. イメージ生成：タングラムの第一印象を詳細化する. Stable diffusion の img2img を用いて，夕ングラムの画像と物体認識のラベルを組み合わせたイメージを生成する。

3. 発話生成：イメージ生成によって得られた画像にイメージキャプショニングを行う．言語生成には GPT-2を利用する。

## 受け手の処理

1. イメージ生成：送り手が生成した言語をもとにイメージを生成する. Stable diffusion 9 txt2img を使用する。

2. タングラムの同定 : 生成されたイメージと手元にあるタングラムの類似度を計算し，送り手の意図を同定する．類似度の計算には，送り手のはじめのステップと同じ構造を持つ CNN の出カベクトルを用いる.

## 2.2 学習

図 2 は，上記のフローを繰り返すことによる学習プロセスを表現している. 図の一番左（エピソー ド）は，図 1 のフローを縦方向に変形したものである. 各エピソードは, $N$ のタングラムと $K$ の角度の組み合わせに適用される。これら $N \times K$ のエピソー ドを 1 つの試行として，成功事例を抽出する。この教師データに対して，各ニューラルネットのパラメータを較正する. 特に先行研究 [3] においては最上部の CNN (図のハイライト部分（赤矢印）に対する学習が行われた. この学習は，入力されたタングラム画像と成功時における CNN の出力ベクトルのペアを教師データとした誤差逆伝播法によるものである [12].

図 2 学習プロセスの図解. 各ステップは図 2 のモジュー ルによって遂行される. [3] の図 4 を改変.

## 3 シミュレーション 1

## 3.1 目的と設定

1 節の最後に述べた仮説を検討するシミュレー ションを行った. すなわち，イメージ生成におけるシード値を変化させることで，コミュニケーションの成功率がどのように変化するのか. また，送り手と受け手のイメージ生成のスタイル（シード値）が一致することで，コミュニケーションの成功率がどのように変化するのか.これらを検討するために，以下の 2 つの条件を設定した。

1. 独立条件: 送り手と受け手のそれぞれのイメー ジ生成に利用するシード値を独立にサンプリングする.

2. 共変条件 : 送り手と受け手のイメージ生成に共通して利用するシード値をサンプリングする.

両条件とも，サンプリングの後に図 2 におけるトライアル (6 種のタングラムと 8 の角度からなる 48 エピソード)を 1 回のみ実行し（誤差伝播はおこなわず)，それを独立に 100 回繰り返した $(n=100)$.

## 3.2 結果

得られたエピソードの正解率を計算し，条件ごとに平均，最大値，最小値をまとめた（表 1). 表より，両条件ともに最小值と最大值に大きな違いがあることがわかる。つまり，イメージ生成のシー ド値を変化させることで. モデルによるコミュニケーションの成否に幅を持たせることができた.一方，両条件では平均値に大きな差が見られず $(t=0.45, p=0.65)$, モデル間でのシード値の共通性（イメージ生成スタイルの共通性）がコミュニ表 1 シード値を操作したシミュレーション結果

図 3 独立条件の最大値と対応付けられるシード值ぺアを用いた学習.

ケーションの成功に寄与するとは言えない結果となった.

## 4 シミュレーション 2

## 4.1 目的と設定

このシミュレーションでは，イメージ生成のスタイルによる初期のコミュニケーション成績の違いが，後続する共通基盤の構築にどのように影響するのかを検討する．具体的には，表 1 における独立条件の最大值と最小值と対応するシード値のペアを抽出し，それぞれに対して図 2 のトライアルを 10 回繰り返す学習を 10 回独立に実行した。

## 4.2 結果

図 3 と図 4 は，それぞれ独立条件の最大值と最小值と対応付けられるシード值ぺアによる学習の結果である。結果は対比的である．正解率の初期値が高い図 3 は，トライアルが進行するに従って正解率が減少した. それに対して, 正解率の初期値が低い図 4 は，トライアルの進行に伴い正解率が上昇した.

## 5 考察

本研究では，画像生成モデルと大規模言語モデルを組み合わせた共通基盤の構築モデルにおいて，イメージ生成におけるスタイル（シード値）の効果を 2 つのシミュレーションによって検討した. 結果は

図 4 独立条件の最小值と対応付けられるシード值ペアを用いた学習.

以下の 4 点にまとめられる.

1. イメージ生成のスタイルにより，コミュニケー ションの成績が変化する.

2. 送り手と受け手のイメージ生成のスタイルの一致は，コミュニケーションの成績に影響しない。

3. 初期に高いコミュニケーションの成績を示すイメージ生成スタイルの組み合わせは，学習によりコミュニケーションの成績を低下させる.

4. 初期に低いコミュニケーションの成績を示すイメージ生成スタイルの組み合わせは，学習によりコミュニケーションの成績を向上させる.

上記の結果のうち，1 は 1 節において事前に想定され，2 は想定されなかった. また，4 は設計された学習メカニズムに即したものであり， 4 は図 2 における学習メカニズムの有効性に疑問を投げかけるものといえる.

事前に想定された結果である 1 や学習メカニズムの有効性を示す 4 からは，人間のコミュニケーションのモデルとしての本研究のアプローチの有効性が示唆される．世の中には，多様なイメージ生成のスタイルを有する個人が存在し，その個人間でのコミュニケーションがなされている. よって，イメー ジ生成のスタイルを考慮するコミュニケーション支援は, 現代社会における複雑な問題の解決に貢献する可能性がある.

その一方で 2 は，送り手と受け手の認知的フレー ムが一致することがコミュニケーションに有効であるという素朴な仮定に疑問を投げかけるものといえる. なお，過去の認知科学的なモデル [7] においても，意図と記号を結びつけるルールが異なるモデル
により，コミュニケーション課題の達成が可能であることが示されている. そのような先行研究を考慮すれば，本研究のような送り手と受け手が明確に分離された状況で，送り手と受け手にとって有効なイメージ生成のスタイルが異なったという結果は不思議なものではないといえる。

トライアルの進行によりコミュニケーションの成績が低下した 3 については，図 2 の学習の欠点を示すものとみなせる. モデルが受け入力はいずれも似通った抽象図形である。また，学習においては成功事例のみが利用されるため，その事例における行動が極度に強化されやすい. 実際，このモデルにおいて, トライアルの進行により, 学習対象となった $\mathrm{CNN}$ の出力の画一化（同一のラベルの出力）が進行することが確かめられている. 著者らの別の研究は，このような過学習を，人間が，命名対象となるタングラム間を比較する分析的な処理によって抑制している可能性を示している [13]. 今後. そのような分析処理をモデルに含めることで，共通基盤の構築に関する全体的なプロセスを明らかにしていく必要がある。

## 6 まとめ

本研究では，コミュニケーションにおけるイメー ジ生成のスタイルを，画像生成モデルにおけるシー ド值と捉えた検討を行った. 2 つのシミュレーションによって, このアプローチの可能性と今後の課題が示された.

言語とコミュニケーションの創発に関する研究における本研究のアプローチの特徴は，コミュニケー ションのプロセスにアナログなイメージ生成のプロセスを含めたことにある．従来，言語進化におけるダイナミクスは，言語の有する曖昧性に起因するという議論がなされてきた $[14,15]$. 本研究で取り扱ったイメージ生成の個人差は，そのような曖昧性を自然かつ操作可能な形で表現する有効な手段である.このアプローチに即した研究を進めることで，人間レベルのコミュニケーションの創発に迫る計算論的な理解が導かれると考えている，

## 参考文献

[1] Claude Elwood Shannon. A mathematical theory of communication. The Bell system technical journal, Vol. 27, No. 3, pp. 379-423, 1948.

[2]名塩征史.「解釈の枠組み」の形成と共有:「何を表現しているか」を考え話し合う活動の事例研
究. メディア・コミュニケーション研究, Vol. 64, pp. 87-106, 2013.

[3] Junya Morita, Tatsuya Yui, Takeru Amaya, Ryuichiro Higashinaka, and Yugo Takeuchi. Cognitive architecture toward common ground sharing among humans and generative ais: Trial modeling on model-model interaction in tangram naming task. In Proceedings of the 2023 AAAI Fall Symposium on Integrating Cognitive Architectures and Generative Models. AAAI Press, 2023.

[4] Herbert H Clark and Deanna Wilkes-Gibbs. Referring as a collaborative process. Cognition, Vol. 22, No. 1, pp. 1-39, 1986.

[5] Simon Garrod, Nicolas Fay, John Lee, Jon Oberlander, and Tracy MacLeod. Foundations of representation: where might graphical symbol systems come from? Cognitive science, Vol. 31, No. 6, pp. 961-987, 2007.

[6] D. Reitter and C. Lebiere. A cognitive model of spatial path-planning. Computational and Mathematical Organization Theory, Vol. 16, No. 3, pp. 220-245, 2010.

[7] 森田純哉, 金野武司, 奥田次郎, 鮫島和行, 李冠宏, 藤原正幸, 橋本敬. 協調的コミュニケーションを成立させる認知的要因. ヒューマンインタフェース学会論文誌, Vol. 20, No. 4, pp. 435-446, 2018.

[8] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[9] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[10] 森田純哉, 由井達也, 天谷武琉, 光田航, 東中竜一郎,竹内勇剛. 抽象図形への命名を介したコモングラウンド形成モデルの構想. 言語処理学会第 29 回年次大会.

[11] 須藤早喜, 浅野恭四郎, 光田航, 東中竜一郎, 竹内勇剛. 推測的かつ暫定的な対話による共通基盤の形成過程. 電子情報通信学会和文論文誌 (D), Vol. 106,

[12] Maxim Lapan. Deep Reinforcement Learning HandsOn: Apply modern RL methods, with deep Qnetworks, value iteration, policy gradients, TRPO, AlphaGo Zero and more. Packt Publishing Ltd, 2018.

[13] 天谷武琉, 由井達也, 森田純哉, 東中竜一郎, 竹内勇剛. 効率的な共通基盤形成を行うための投機的な対話計画の提案. HCG シンポジウム 2023.

[14] Steven Pinker, Martin A. Nowak, and James J. Lee. The logic of indirect speech. Proceedings of the National Academy of Sciences, Vol. 105, No. 3, pp. 833-838, 2008 .

[15] Naoki Inoue and Junya Morita. A behavioral task for exploring dynamics of communication system in dilemma situations. Artificial Life and Robotics, Vol. 26, No. 3, p. 329-337, aug 2021.


# Metropolis-Hastings Captioning Game による 複数の視覚言語モデルのベイズ的統合

松井悠太 ${ }^{1}$ 山木良輔 ${ }^{1}$ 上田亮 ${ }^{2}$ 品川政太朗 ${ }^{3}$ 谷口忠大 ${ }^{4}$
1 立命館大学大学院 情報理工学研究科 2 東京大学
3 奈良先端科学技術大学院大学 ${ }^{4}$ 立命館大学 情報理工学部
\{matsui.yuta, yamaki.ryosuke\}@em.ci.ritsumei.ac.jp, ryoryoueda@is.s.u-tokyo.ac.jp
sei.shinagawa@is.naist.jp, taniguchi@em.ci.ritsumei.ac.jp

## 概要

本論文では分散的なベイズ推論に基づく記号創発のモデル化法である Metropolis-Hastings (MH) naming game をカテゴリカルなラベルを割り当てる名付け (naming) から画像に関するキャプションの生成 (captioning) へと拡張し, これが複数の視覚言語モデル（VLM）がその知識をベイズ的に統合する能力に関して基礎的な検証を行う。本稿ではVLMを確率モデルとして拡張した ProbVLMを導入し，2つの ProbVLMを結合した Inter-ProbVLMを定義することで，キャプション生成結果を表す共有ノードの推論アルゴリズムとして MH captioning game (MHCG) を提案する。本実験では ProbVLM が潜在空間上の確率分布に基づき画像とキャプションの一致度を判定できること，また，異なるデータセットで学習された 2 つの ProbVLM が MHCG を通してより妥当なキャプションを生成し，2体のエージェントの視覚情報表現に対する尤度を高めることを示し，VLM のべイズ的に統合に関する基礎的検証を行う。

## 1 はじめに

Metropolis-Hastings Naming Game (MHNG) は確率的生成モデルのための推論手法として提案され, マルチエージェントによる記号創発のモデル化に用いられてきた [1,2]. MHNG はマルコフ連鎖モンテカルロの一種である Metropolis-Hastings 法の理論に基づき，適切なサインの使用に収束することが保証されている.この過程において互いのエージェントは互いの内部変数に一切アクセスせずにサインを共有する.このことから，MHNG はサインに対する分散的べイズ推論であるとみなすことができる [3]. 谷口らの研究では確率的生成モデルであ
る Inter-GMM+VAE に MHNG を適用し，二体のエー ジェントがサインを共有することが示された [1].

しかし，MHNG は観察対象をカテゴリカルなサイン（たとえば単語）を用いて名付けることを前提としており，画像に対するキャプションのようにより複雑な対象をより複雑なサイン（単語系列としての文）を用いて表現する記号創発を構成できていなかった.

本論文では分散的なベイズ推論としての理論的基盤を持つ Metropolis-Hastings (MH) naming gameを力テゴリカルなラベルを割り当てる名付け（naming） から画像に関するキャプションの生成 (captioning) へと拡張する。このために視覚言語モデル (VLM) を確率モデルとして拡張した ProbVLM[4] 導入し， これに基づき二つの VLMを結合した Inter-ProbVLM を定義し，その共有ノードの推論アルゴリズムとして MH captioning game (MHCG) を提案する。本稿の実験では VLM を構成するネットワークの訓練自体は行わず，MHCG において相手のサインを受容する際に用いられる受容確率の妥当性についての検証と，2 体のエージェントが得る視覚情報を共に観測として持つ潜在変数として定義されるサイン （キャプションに相当）が分散的ベイズ推論としての MHCG を通して妥当な形で推論されることの検証を行った。

## 2 確率的生成モデル:Inter-ProbVLM

MHNG では，記号創発に参画する各エージェントを確率的生成モデル（PGM）で表現した上で，2つの PGM に共通の事前分布を持たせた Inter-PGM を定義する。本稿ではこの PGM を確率モデル化した VLM を用いて構成することで MHNG を MHCGへと拡張する。

(a) Inter-ProbVLM のグラフィ (b) 分割後のグラフィカルモカルモデルデル

図 1: Inter-ProbVLM

表 1: Inter-ProbVLM のパラメータ

ProbVLM は事前学習済み VLM が出力する埋め込み表現に対する確率的アダプターを導入し確率的な VLM を実現する [4]. CLIP[5] などの画像エンコーダとテキストエンコーダを持つ事前学習済み VLM が出力する埋め込み表現は決定論的である. ProbVLM では，ここで得られる決定論的な埋め込み表現に対して一般化ガウス分布を仮定し，そのパラメータを推定するように追加学習することで潜在変数の確率分布を推定することができる。

從來の Inter-PGM の構成と同様に確率的 VLM である 2 つ ProbVLM を結合することで Inter-ProbVLM を構成することが出来る. Inter-ProbVLM の生成過程を式(1)-(3)に，グラフィカルモデルを図 $1 \mathrm{a}$ に，各パラメータの説明を表 1 に示す.

$
\begin{aligned}
w_{d} & \sim p\left(w_{d}\right) & & d=1, \ldots, D \\
z_{d}^{*} & \sim p\left(z_{d}^{*} \mid w_{d}, \phi^{*}\right) & & d=1, \ldots, D \\
o_{d}^{*} & \sim p\left(o_{d}^{*} \mid z_{d}, \theta^{*}\right) & & d=1, \ldots, D
\end{aligned}
$

## 3 MHCG

MHCG は，観測に対してカテゴリカルなラベルを割り当てる (naming) MH naming game[1]を，観測に対するキャプションの生成 (captioning) へと拡張したものである. MHCG に参加する 2 体のエージェントは事前学習を通して言語知識を獲得した後に， それぞれの言語表現を揃えることを目的としてコ
ミュニケーションを行う．まず，話し手のエージェントは自身の信念に基づいて画像に対するキャプションを提案する。それを受け取った聞き手は自身の信念に基づいて相手のキャプションを受け入れるか受け入れないかを判断し，受け入れる場合は自身の信念を更新する。この過程を繰り返すことによって，両エージェントにとって尤もらしいキャプションを共有することができる.

まず，Inter-ProbVLM は Neuro-SERKET[6] に基づいて, 図 $1 \mathrm{~b}$ に示すようにエージェント A とエー ジェント B に分割される. このとき， $z^{*} と w^{*}$ の近似事後分布のパラメータとして $\psi^{*}$ とをそれぞれ導入する. MHCGでは，グローバルパラメータ $\xi, \phi, \psi, \theta$ を事前学習済みの VLM のパラメータで初期化する。つまり，各エージェントは事前に獲得した言語知識を持った状態からコミュニケーションを行う. 本研究では， $\phi, \psi$ は ProbVLM[4] の枠組み， $\xi$ は ClipCap[7] の枠組みに従って事前学習する。

MHCG において事前学習済みの VLM のパラメー タで初期化された 2 体のエージェント聞き手（Sp） と話し手 ( $\mathrm{Li}$ ) の役割を入れ替えながら (1) 知覚, (2) 提案，(3) 判定，(4) 更新の4 ステップを繰り返すことでキャプションの推論を行う.

(1)知覚：話し手のエージェントは式 (4) に示すように，自身の観測 $o_{d}^{S p}$ に基づいて潜在変数 $z_{d}^{S p}$ を得る。

$
z_{d}^{S p} \sim p\left(z_{d}^{S p} \mid o_{d}^{S p}, \psi^{S p}\right)
$

(2)提案 : 次に, 話し手のエージェントは式 (5)に示すように自身の潜在変数 $z_{d}^{S p}$ に基づいてキャプション $w_{d}^{S p}$ を提案する.

$
w_{d}^{S p} \sim p\left(w_{d}^{S p} \mid z_{d}^{S p}, \xi^{S p}\right)
$

(3)判定：聞き手エージェントは，話し手エージェントから受け取った $w_{d}^{S p}$ と自身が持つキャプション $w_{d}^{L i}$ に基づいて，式 (6) に示す受容確率を計算する。

$
r=\min \left(1, \frac{p\left(z_{d}^{L i} \mid \phi^{L i}, w_{d}^{S p}\right)}{p\left(z_{d}^{L i} \mid \phi^{L i}, w_{d}^{L i}\right)}\right)
$

この確率に基づいて相手のサインを受け入れるかを判定する. 受け入れる場合は $w_{d}^{L i}$ を $w_{d}^{S p}$ で更新する。

(4)更新：聞き手エージェントは判定した後のキャプション $w_{d}^{L i}$ に基づいて，グローバルパラメー タ $\xi, \phi, \psi, \theta$ を更新する ${ }^{1)}$. 更新には VLM の事

 \\
Lv. 3 & Rider at mountain viewpoint. \\
Lv. 2 &  \\
Lv. 1 &  \\

図 2: 実験 1 に用いる画像とキャプションの例

図 3: 正確性の異なるキャプションによる受容確率の違い前学習と同様の方法が用いられる.

MHCG が MHNG と異なる点はサイン $w$ に対する仮定とグローバルパラメータの更新方法である. MHNG ではカテゴリカルなサインを仮定していたのに対して，MHCGでは画像に対するキャプションを仮定している。

## 4 実験

## 4.1 実験 1: 受容確率の妥当性検証

実験 1 では，ProbVLM が推論する確率分布に基づいて計算される受容確率の妥当性について検証する. Inter-ProbVLM において，ProbVLM は相手が提案したキャプションを受容するか棄却するかを判断するための受容確率の計算に用いられる。ここで計算される受容確率は，自身が持つキャプションより正確なものを提案された時には高くなり，正確でないものを提案された時には低くなるべきである。 そこで，式 (6) に示す受容確率において， $w^{S p}$ と $w^{L i}$ に様々な正確性のキャプションを適用することで， $w^{S p}$ と $w^{L i}$ の正確性にどの程度差がある時にどの程度キャプションが受容されるかという受容割合を計算することでその妥当性を検証する。

ProbVLM の事前学習には MSCOCO[8] を使用する. $\mathrm{MSCOCO}$ は人間が生成したキャプションと画像のペアで構成されるデータセットである．実験では 566,435 個の画像キャプションのペアを使用する.

また，受容確率の妥当性の検証には，画像に対して 4 段階の正確性を持つキャプションを GPT-4[9] で生成したものを使用する．Lv. 4 は正しく詳細なキャプション，Lv. 3 は正しいが不十分なキャプション， Lv. 2 は誤った表現を含むキャプション，Lv. 1 は全く無関係なキャプションである。これらのキャプションは GPT-4[9]を用いて，各正確性ごとに 20 文ずつ，計 80 文を生成する．実験ではこれら 80 文のすべての組み合わせで $w^{S p}$ と $w^{L i}$ に適用し, 各正確性ごとに受容された割合を計算する。使用した画像と各正確度のキャプションの例を図 2 に示す。

結果正確性の異なるキャプションによる受容割合の違いを図 3 に示す. $w^{S p}$ が Lv. $4, w^{L i}$ が Lv. 1 のキャプションを ProbVLM に入力して受容確率を計算した場合，受容された割合は 0.945 となった。また $w^{S p}$ が Lv.2, $w^{L i}$ が Lv. 4 では受容確率が 0.185 となっている。これらのことから， $w^{S p}$ の正確性が高く, $w^{L i}$ の正確性の低い時に受容割合が高くなり,正確性の差が大きいほど受容確率も高くなる傾向が見られることがわかる。また逆に $w^{S p}$ の正確性が低く， $w^{L i}$ の正確性が高い場合は，受容割合が低くなる。以上のことから，ProbVLM は妥当な受容確率を計算できる確率的 VLM を構成できていると考えられる。

## 4.2 実験 2: VLM のベイズ的統合

実験 2 では, Inter-ProbVLM に対して MHCG の (4)更新を除いた過程を適用し，図 4 異なるデータセットで事前学習したエージェントが持つサインが，最終的に両エージェントにとって尤度が高くなるかについて検証する。MHCG を通して共有されるサインは両エージェントにとって尤度が高くなることが望まれる。ここでは，各エージェントは異なるデータセットで事前学習したパラメータで初期化し，MHCGの (4) 更新を除いた過程を行う.

MHCG の前段階としての事前学習において，エー ジェント A は Conceptual Captions[10]を，エージェ

表 2: MHCG の前後での各エージェントのキャプションと対数尤度の違い（付録参照)

図 4: 実験 2 における MHCG の概要

ント B は MSCOCO のデータセットを使用する. MSCOCO は実験 1 のデータと同様のものを使用する. Conceptual Captions は Web で収集した画像と， それに対応する代替テキストがペアとなったデー タセットであり，画像に対する抽象的なキャプションが多く含まれる。各エージェントは異なるデータセットにより事前学習を行うため，それぞれのデー タセット特有の言語表現を獲得する。MHCGによる推論で使用するデータは MSCOCO から抽出した 100 枚の画像で構成される. これらは事前学習で使用されなかったデータである.

各エージェントが持つサイン $w$ の尤もらしさは以下の式に示す対数尤度に基づいて評価する。

$
\log p\left(z^{A}, z^{B} \mid w\right)=\log p\left(z^{A} \mid w\right)+\log p\left(z^{B} \mid w\right)
$

$z^{A}, z^{B}$ は各エージェントが観測に基づいて推論した視覚言語表現の潜在変数である。両エージェントにとって尤もらしいサインに収束していれば対数尤度が高くなる。

結果 MHCGを100イテレーション行ったときのエージェント A とエージェント B のサインに対する対数尤度をそれぞれ図 5 の上図と下図に示す. 両図において，MHCG のイテレーションを通して両エージェントの対数尤度が高くなっている。.このことから，MHCGの (1)-(3) の過程を経て推論されたサインは，両エージェントの視覚言語表現に対して尤度を高めるものになっていることがわかる。

また，MHCGの前後で各エージェントが持つサインの例と，その時の対数尤度を表 2 に示す.この例ではエージェント B が MHCG 後に持つサインのキャプションは “my friend made this for me.”であった. これは，COCO で事前学習したエージェントが，エージェント A が事前学習に用いた Conceptual captions の持つ抽象的な表現を受け入れていることを示している。

図 5: 上: 対数尤度 $\log p\left(z^{A}, z^{B} \mid w^{A}\right)$ の遷移. 下: 対数尤度 $\log p\left(z^{A}, z^{B} \mid w^{B}\right)$ の遷移。

## 5 おわりに

本論文は，分散的ベイズ推論に基づく記号創発のモデル化法である MHNG を，画像に対するキャプション生成へと拡張した Metropolis-Hastings captioning gameを提案した. 2 つの ProbVLM を結合した Inter-ProbVLM を定義し，MHCG の理論について示した. 実験を通して，その基本的な検証を行った.

今後の展望として，グローバルパラメータの更新まで含めた MHCGによる推論を実現し，記号創発 （コミュニケーション創発）の枠組みにおいて，異なる VLM がコミュニケーションを通して動的かつ相互にお互いの言語表現と理解をアラインメントしていく言語創発モデルの構成を行なっていく．またこれを通して分散的な VLM のベイズ的統合を実現する手法の構成を目指す。

## 謝辞

本研究は JSPS 科研費 JP21H04904 および JP23H04835 の助成を受けたものです.

## 参考文献

[1] Tadahiro Taniguchi, Yuto Yoshida, Yuta Matsui, Nguyen Le Hoang, Akira Taniguchi, and Yoshinobu Hagiwara. Emergent communication through metropolis-hastings naming game with deep generative models. Advanced Robotics, Vol. 37, No. 19, pp. 1266-1282, 2023.

[2] Yoshinobu Hagiwara, Hiroyoshi Kobayashi, Akira Taniguchi, and Tadahiro Taniguchi. Symbol emergence as an interpersonal multimodal categorization. Frontiers in Robotics and AI, Vol. 6, p. 134, 2019.

[3] 谷口忠大. 分散的ベイズ推論としてのマルチエー ジェント記号創発. 日本ロボット学会誌, Vol. 40, No. 10, pp. 883-888, 2022.

[4] Uddeshya Upadhyay, Shyamgopal Karthik, Massimiliano Mancini, and Zeynep Akata. Probvlm: Probabilistic adapter for frozen vison-language models. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 1899-1910, 2023.

[5] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748-8763. PMLR, 2021.

[6] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii, and Takayuki Nagai. Neuro-serket: development of integrative cognitive system through the composition of deep probabilistic generative models. New Generation Computing, Vol. 38, pp. 23-48, 2020.

[7] Ron Mokady, Amir Hertz, and Amit H Bermano. Clipcap: Clip prefix for image captioning. arXiv preprint arXiv:2111.09734, 2021.

[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pp. 740-755. Springer, 2014.

[9] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023

[10] Piyush Sharma, Nan Ding, Sebastian Goodman, and Radu Soricut. Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2556-2565, 2018.
表 3: $\mathrm{MHCG}$ の前後での各エージェントのキャプションと対数尤度の違い

 & -54459.75 & -32795.40 \\

## A 付録

## A. 1 実験 2 : MHCG 前後の各エージェントのキャプションと対数尤度

表 3 に実験 2 で行った MHCG 前後での各エージェントのキャプションと対数尤度の違いを示す。一枚目の例では Conceptual Captions で事前学習したエージェント A が COCO のようなキャプション”a kitchen with a sink and some yellow towels.”を受容している.またこのキャプションは MHCG 前のキャプションよりも正確な表現を含んでいる。二枚目はエージェントＡが相手のサインを受容せずに棄却し続けた例である。三枚目は MHCGを通して相手のデータセット特有の表現を受け入れることは出来ているが，誤った表現を含んでいる例である.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模言語言語モデルを用いたエージェントベース進化モデル における形質表現の拡張

鈴木麗需 1 浅野誉子 1 有田隆也 ${ }^{1}$
1 名古屋大学
reiji@nagoya-u.jp asano.takako.u8@s. mail.nagoya-u.ac.jp arita@nagoya-u.jp

## 概要

大規模言語モデル（LLM）の豊かな言語的表現力を活用し，個体間相互作用に関するエージェントベース進化モデルの形質表現を拡張することで，リアルで複雑な集団の進化ダイナミクスを明らかにすることを目的とした 2 つの研究事例を概説する。一つは協力行動に関する多様な性格特性の進化であり，自然言語で記述した高次の心理・認知特性とその行動を LLM を用いて進化モデルに盛り込む試みである。もう一つは，LLMを用いて単語に関連する話し言葉を生成することで，無限に生じる会話卜ピック選好性の文化進化を表現する試みである。これらを通して，LLMによる言語表現に基づく多様で複雑な形質進化から示唆される社会進化ダイナミクスについて論ずる.

## 1 はじめに

ChatGPT 等の大規模言語モデル（以下 LLM）は人と AI との関わり方を急速に改変し知能や意識とは何かという人間の本質にかかわる問題に問いを投げかけている [1].この潮流において重要となるのは生成モデルに基づく主体間の相互作用 [2] や人が混在する社会の進化ダイナミクスの理解である.

関連する最近の研究として，LLM の認知機能（心の理論 [3]，メタ認知 [4]，ゲーム論的環境における行動と学習 $[5,6]$, ビッグファイブ性格特性 [7] など）の理解に関する取り組みが多数行われている。例えば Phelps と Russell は， GPT-3.5 が，社会的ジレンマにおける競争的，利他的，利己的，混合的な動機の自然言語記述を運用する能力を分析した [6]. その結果, LLM は利他主義と利己主義の自然言語記述を解釈でき，ある程度適切に協力行動に反映させることができるが，限界もあることが示された。 また，LLM の進化的アルゴリズムへの応用の取り組みも提案されている $[8,9,10,11]$. 例えば，LLM を突然変異や交叉の演算子として利用し，進化計算に創造性とオープンエンド性をもたらす研究がある [10,11]. Meyerson らは，いくつかのパターンを親として LLM に入力し，関連する新しいパターンを子孫として生成する，Few-shot プロンプトに基づく言語モデル交叉を提案した [10]. バイナリビット列,文章，方程式，テキストから画像へのプロンプト， Python コードの進化に成功している.

一方，社会集団の進化に対するモデルアプローチでは，従来，進化ゲーム論等の数理生物学や，計算社会学・エージェントベースモデル（以下 $A B M$ ）等の計算論的手法を用いた抽象的な枠組みに基づいて議論がされ，普遍的な知見がもたらされてきた. しかし，前述のように大規模言語モデルが生み出すような，多様な言語表現に基づく行動規則や，無限に生じる語彙のような自然言語の持つ複雑さをモデルに盛り込むことは容易でなかったといえる。

本研究は，大規模言語モデルの豊かな言語的表現力を活用し，社会における個体間相互作用に関するエージェントベース進化モデルの形質表現を拡張することで，リアルで複雑な集団の進化ダイナミクスを明らかにすることを目的とする。その初期的取り組みとしての 2 つの研究事例について報告する。一つは大規模言語モデルを用いた協力行動に関する多様な性格特性の進化であり，従来のシンプルな数理計算モデルでは表現が容易でなかった高次の心理・認知特性を言語的に記述し，その行動をLLMを用いて生成することで進化モデルに盛り込む試みである。もう一つは，LLMを用いて単語に関連する話し言葉を生成することで，無限に生じる会話トピック選好性の文化進化を表現する試みである。これらを通して，LLMによる言語表現に基づく多様で複雑な形質進化から示唆される社会進化ダイナミクスについて論ずる.

図 1 LLM を用いた性格特性遺伝子からの行動形質の生成と突然変異操作.

## 2 大規模言語モデルを用いた協力行動に関する性格特性の進化

人間の意図や性格，個性，埕好のような，行動に複雑に影響し無限の広がりを持つ高次の特徵を直接 LLMを用いて表現した進化モデル構築の試みとして，次のようなゲーム論的状況設定における自然言語で記述された遺伝的性格特性の進化モデルを構築した. 詳細は [12]を参照されたい.

$N$ 個体のエージェントの集団を考える。図 1 に示すように，各エージェントは協力的や裏切り的な性格特性に関する十数語から成る英文を性格特性遺伝子として持ち, これに基づいて行動する. その遺伝子から記憶長 4 の決定論的戦略である行動形質を決定するためにチャット型LLMを用いる. LLM に与えるプロンプトとして, 対象個体の性格特性, 繰り返し囚人のジレンマゲームの状況設定と利得, 対象個体と対戦相手の過去 2 回の行動履歴，および，次のラウンドの行動を答えさせる指示を与える. この方法を用いて可能なすべての履歴 $\left(2^{4}=16\right.$ 個 $)$ 対する応答を得ることで行動形質を得る. 単純化と計算コストの低減のため, 上記の行動形質は一意な性格形質遺伝子に対して一度だけ決定，保存され，以後同じ遺伝子が集団に出現する場合には既存の行動形質が使用される。

各組み合わせ $K$ ラウンドの繰り返し対戦からなる総当たり戦における平均利得を適応度とする. 対戦時はある確率 $p_{n}$ でエージェントが意図した行動と反対の行動をとるノイズを導入する．最初のラウンドでは行動はランダムに生成された履歴に基づいて決定される。適応度に比例したルーレット選択に基づくG世代にわたる進化実験を行う. 子個体の生成において，各個体についてある確率 $p_{m}$ で突然

図 2 協力・裏切りの入れ替わりが典型的に生じた 1 試行における，10 世代ごとにおける支配的な性格特性遺伝子平均の 2 次元潜在空間上の遷移. 色はその世代の協力割合を示す.

変異が起きる．その際，LLM に親の性格特性遺伝子を協力的なもの，もしくは，利己的なものに少し言い換えるように指示し (図 2(右)），その出力文を子孫の遺伝子として採用する。

$
N=30, K=20, M=10, p_{m}=0.05, p_{n}=0.05, G=
$
1000 ，ゲームの利得 $R=4, T=5, S=0, P=1$ を採用した. Huggingface 上で公開されている比較的小規模なチャット型の言語モデル (TheBloke/Llama-2-13bChat-GPTQ ${ }^{1)}$ )を用いた。

図 2 は，協力的な傾向と裏切り的な傾向とが入れ替わる進化シナリオが明瞭に観察された 1 試行において，2 次元潜在空間における 10 世代ごとの性格特性遺伝子の分布と推移を示したものである. 各世代について, SentenceTransformer を用いて全ての性格特性遺伝子をべクトル化し, さらに次元削減アルゴリズム UMAP[13]を用いて 2 次元べクトルに圧縮した. その後， 10 世代ごとの平均ベクトルを 2 次元平面上にプロットした. 点の色は対応する世代の協力割合（pc）を示し，いくつかの特徴的な世代における支配的な遺伝子が示されている.

性格特性空間は，集団の性格特性遺伝子と行動形質が協力的なものと利己的なものの間で変動する様子を示している. はじめに，集団は図中左中央から中央上部に向かって利己的な性格特性へと進化した。支配的な性格特性 (1:"Pursues personal gain consistently, neglecting mutual or group benefits entirely. (一貫して個人的利益を追求し，相互利益や集団利益をまったく無視する）”）は，この段階ではほぼ

完全に裏切り戦略であった。しばらくすると，何度か裏切り集団の侵入を受けつつも徐々に協力的傾向が高まり $(2 \sim 5)$, 最終的に最も協力的な集団 (6: "Thrives in teamwork, prioritizing shared growth and success.（チームワークに努め，成長と成功を共有することを優先する.）”）に進化し，右下に移動した. しかし，ほぼ完全な裏切り的性格の侵入が，集団を中央左へと導いた。一般的に，集団は裏切り的から協力的なものまで，徐々に性格特性が変化しながら進化した.

全体として，上記のような協力的性格と裏切り的性格の入れ替わりが繰り返し生じる過程が確認された. この挙動は, 行動形質をビット列とみなして遺伝子として，各ビットの確率的な反転で表現した対称実験と比べ，より裏切り集団の停滞期が長い傾向があり，裏切り的な特性のほうが多様な表現が生じる傾向が示唆された. また，集団中の性格特性遺伝子中に頻繁に表れた単語のうち, 協力行動をよりもたらすものとして "gently, fosters, establishes, harmony”や，より頻繁に相互裏切りや裏切り成功をもたらすものとして, “trampling, trumps, disregard, blatant and skepticism" といった利己的，投機的傾向に関する単語があることなどが分かり，性格特性遺伝子が表す言葉の意味が行動反映されつつ集団の進化が生じていることが示唆された。

総じて，自然言語で記述された性格特性について LLM を用いて行動傾向を生成し，それに基づいて協力行動を進化させることが可能であることが示された。

## 3 多様な会話トピック選好性に基づ く文化進化モデル

人間社会において繰り広げられる雑談や LLM エージェント同士の対話において，トピックに関する遺伝的選好性（個性）が相互作用にもたらす影響と，トピックの伝播に基づく文化進化を理解するため，LLM を発話の生成に用いることで多様な発話表現と膨大なトピックが創発しうるモデルを次のように構築した. 同様だがチャット版でない LLM を採用した初期のモデルの詳細については [14]を参照されたい.

集団における社会的な近さを表現した $W \times W$ の 2 次元空間上に $N$ 体の個体が存在し, 各個体は会話卜ピックの選好性を表す単語であり不変の遺伝形質 （個性）と他者から受け取る複数の文化形質を持つ (図 3). 各個体は，自身の持つ形質に関連する日本

図 3 会話文の生成と移動, トピック伝搬.

語の発話文を“あなたは、今 (遺伝・文化形質の列挙) という気持ちを持っています。文章内に必ず、 (遺伝・文化形質の列挙) という単語を入れた発話文を作ってください。発話文は 200 字以下出力は「承知しました。(改行)」で書き始め、発話文以外のことは出力しないでください。”というプロンプトによって LLM $^{2}$ に指示することで生成する. 各ステップにおいて確率 $p_{r}$ で再生成し，発話文を更新する。

各ステップにおいて，各個体は半径 $R_{i}$ 以内の他個体に対して，確率 $p_{t}$ で MeCabで単語に分化した発話文について，自身と相手の発話文の単語集合間の Jaccard 係数を測り，閾値 Dを超えた（以下の）場合にエージェント間の距離に反比例した引力（斥力）が発生する. すべての他個体からの力の合力方向に一定距離 $V$ だけ進み，他個体が存在しない場合はランダムな方向に進む。これは，現在話している内容が（表面的に）近い他者に興味を持ち，より親密に，積極的に会話に参加するふるまいを表現している.

加えて, ごく近い半径 $R_{t}\left({ }_{i} R_{i}\right)$ 以内に存在する各他個体の発話文に関して, 確率 $p_{t}$ でキーフレーズ抽出処理ライブラリである pke を用いてキーフレー ズを抽出し，自身の文化形質に加える。ただし，文化形質を保持する最大数 $L$ を超える場合は最も古いものを破棄する．その上で，現在の遺伝・文化形質を用いて発話文を再生成し更新する。これは，親密な会話によって他者の発話から新たなトピックに興味を持ち，それについて話し出す様子を表現している.

$W=100, N=30, V=5, \quad D=0.12, \quad R_{i}=20, \quad R_{t}=5, \quad L=5$ の条件で 200 ステップ実験を行った. 各個体の個性

(a) 遺伝形質（個性）のみ（文化進化なし） の場合の相互作用傾向

(b) 文化形質進化あり，遺伝形質の極性3条件における発話文の平均ベクトルの推移

図 4 (a) 遺伝形質（個性）のみ（文化進化なし）の場合の相互作用傾向. (b) 文化形質進化あり，遺伝形質の極性 3 条件における発話文の平均ベクトルの推移.

である遺伝形質の特徴が集団行動に与える影響に注目するため, 東北大学乾・岡崎研究室の日本語評価極性辞書（名詞編）を用いてポジティブ・ネガティブと判定される任意の単語, 全員ポジティブ語のみ，ネガティブ語のみ，ポジティブ・ネガティブ半分ずつをそれぞれ各個体の遺伝形質に割り当てるの 3 種の条件を想定した。

予備実験として，単語極性は半分ずつ，文化形質の伝播なし $\left(p_{t}=0.0\right)$, 再生成なし $\left(p_{r}=0.0\right)$ の条件で実験したところ，集団全体として複数の小グルー プが離散集合する動的な傾向が観察された（図 4). また，ポジティブ語を持つ個体は話題や話しぶりを共有しやすくグループを形成し維持しがちである一方，ネガティブ語を持つ個体は他人にとって受け入れやすさが異なり，グループから離脱して単独でさまよう傾向があることが分かった.

次に，発話の再生成と文化形質の伝播を有効 $\left(p_{r}=0.3, p_{t}=0.4\right)$ にして実験したところ，単語極性半分ずつの設定で上記と同様の傾向が確認されたが，全体としてはより動的になり，各個体がより多くの他個体と接して多様な個人間の相互作用が促進された. 図 4 は単語極性の 3 種の設定それぞれにおいて実験した際，各ステップにおける各個体の発話文を SentenseTransformer でベクトル化し, UMAP で 2 次元に圧縮したものの集団の平均をプロットしたものである，同図から，ポジティブ語のみ，ネガティブ語のみの集団とは異なる位置にポジティブ・ ネガティブ半分ずつの集団が位置しており，極性が異なる個体間の相互作用によって新たな語彙や発話内容が創発しうることが示唆された。

以上のように，各個人が言語的に持つ会話に関する個性が集団全体の相互作用に影響したり，文化の伝播で無数に生じる発話の多様性に影響しうることが示唆された。

## 4 おわりに

大規模言語モデルを活用することで，自然言語を用いたリアルで豊かな形質表現をエージェントベー ス進化モデルに盛り込む 2 つの試みについて概説した. 性格特性の進化モデルでは，協力的裏切り的な性格特性の言語的記述が侵入を繰り返す進化ダイナミクスが観察された. 本手法は，問題設定が言語で記述できればあらゆる状況において性格特性から行動を生成可能であり，より多様な環境や複数並列して存在する環境における高次の人間特性の進化を議論できる可能性があると考える．会話トピック選好性に関する文化進化モデルでは, 単語で表現され個性として遺伝的に保持するトピックの極性が個体自身や集団のダイナミクスに影響しうることや，近接個体からのトピック伝播に基づく文化進化がより動的な相互作用をもたらしたり，多様な遺伝的トピックの存在が新奇な文化進化をもたらしうることが示唆された。

このような LLM の活用により，従来は現実世界よりも単純であった進化モデルを現実世界と同じくらい複雑にでき，多様な形質の進化シナリオを議論することが可能になるといえる。本論文で概説した試みはこの方向への第一歩となると考えている.

## 謝辞

本研究の一部は，JSPS 課題設定による先導的人文学・社会科学研究推進事業 JPJS00122674991, JSPS 科研費 JP21K12058 の支援を受けた。

## 参考文献

[1] Arend Hintze. ChatGPT Believes It Is Conscious. arXiv e-prints, arXiv:2304.12898, March 2023.

[2] Joon Sung Park, Joseph C. O’Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, and Michael S. Bernstein. Generative Agents: Interactive Simulacra of Human Behavior. arXiv e-prints, arXiv:2304.03442, April 2023.

[3] Shima Rahimi Moghaddam and Christopher J. Honey. Boosting Theory-of-Mind Performance in Large Language Models via Prompting. arXiv e-prints, arXiv:2304.11490, April 2023.

[4] Yuqing Wang and Yun Zhao. Metacognitive Prompting Improves Understanding in Large Language Models. arXiv e-prints, arXiv:2308.05342, August 2023.

[5] Elif Akata, Lion Schulz, Julian Coda-Forno, Seong Joon Oh, Matthias Bethge, and Eric Schulz. Playing Repeated Games with Large Language Models. arXiv e-prints, arXiv:2305.16867, May 2023.

[6] Steve Phelps and Yvan I. Russell. Investigating Emergent Goal-Like Behaviour in Large Language Models Using Experimental Economics. arXiv e-prints, arXiv:2305.07970, May 2023.

[7] Greg Serapio-García, Mustafa Safdari, Clément Crepy, Luning Sun, Stephen Fitz, Peter Romero, Marwa Abdulhai, Aleksandra Faust, and Maja Matarić. Personality Traits in Large Language Models. arXiv e-prints, arXiv:2307.00184, June 2023.

[8] Benjamín Machín, Sergio Nesmachnow, and Jamal Toutouh. Evolutionary Latent Space Search for Driving Human Portrait Generation. arXiv e-prints, arXiv:2204.11887, April 2022.

[9] Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, and Tim Rocktäschel. Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution. arXiv e-prints, arxiv.2309.16797, 2023.

[10] Elliot Meyerson, Mark J. Nelson, Herbie Bradley, Arash Moradi, Amy K. Hoover, and Joel Lehman. Language Model Crossover: Variation through Few-Shot Prompting. arXiv e-prints, arXiv:2302.12170, February 2023.

[11] Joel Lehman, Jonathan Gordon, Shawn Jain, Kamal Ndousse, Cathy Yeh, and Kenneth O. Stanley. Evolution through Large Models. arXiv e-prints, arXiv:2206.08896, June 2022.

[12] 鈴木麗霊, 有田隆也. 大規模言語モデルを用いた協力行動に関する性格特性の進化モデル. 第 8 回人工生命研究会資料, 2023 .

[13] Leland McInnes, John Healy, Nathaniel Saul, and Lukas Großberger. UMAP: Uniform Manifold Approximation and Projection. Journal of Open Source Software, Vol. 3, No. 29, p. 861, 2018.
[14] 浅野誉子, 鈴木麗雵, 有田隆也. 生成モデルに基づき雑談するエージェントの会話トピック選好性に関する文化進化. 第 37 回人工知能学会全国大会論文集, Vol. JSAI2023, 4H3OS6b04, 2023.


# 指示ゲームの生成モデル的な再解釈

上田亮
東京大学
ryoryoueda@is.s.u-tokyo.ac.jp

## 概要

言語の創発をシミュレーションすることによって，言語の進化や動態を解き明かそうとする，創発コミュニケーション (EC) という分野がある. 本稿の目的は，ECにおいて頻繁に用いられるコミュニケーションモデルであるところのシグナリングゲー ムや指示ゲームを, 生成モデルに基づく変分推論として統一的に解釈することである。具体的には，ある種の Conditional VAE と見做すことのできる文脈付きシグナリングゲームという新たなゲームを定式化し，それが確かにシグナリングゲームや指示ゲー ムの一般化になっていることを確認する.

## 1 はじめに

本稿の目的な創発コミュニケーション (Emergent Communication; EC) [1] の分野でよく用いられるコミュニケーションモデルである，シグナリングゲームや指示ゲームをある種の生成モデルを用いた表現学習として再解釈することである。特に，本稿ではこれらのコミュニケーションモデルがある種の Conditional Variational Auto-Encoder (CVAE) $[2,3]$ としての統一的に再解釈できることを示す. EC は，言語の創発をシミュレーションすることによって，言語の成立や動態に何らかの示唆をもたらそうという構成論的なアプローチをとる進化言語学・計算言語学の関連分野である. 言語創発ともしばしば呼ばれる。言語の創発をシミュレーションしょうという挑戦的な試みは古くから存在するが，特に近年深層学習や表現学習，強化学習等の発展の恩恵を受け，再び注目を集めつつある．解き明かしたい言語動態の粒度や「何のために言語やコミュニケーションが存在するのか」という問いに対する作業仮説の採り方に依存して，具体的なコミュニケーションモデルの定式化の仕方は様々あり得る. 特に，構成性 (Compositionality) や文法構造のような比較的粒度の細かい言語の有り様に興味があ
り，かつ言語やコミュニケーションの存在意義にそれほど強い作業仮説をもたないという立場 (単に何らかの情報を伝達するシグナルであるという程度の考え方)をとる場合，分析のしやすさからシグナリングゲームや指示ゲームのようなシンプルなコミュニケーションモデルが採用されることが多いようである. シグナリングゲームには送り手 $S$ と受け手 $R$ と呼ばれる 2 人のプレイヤー(エージェント)のみが登場する. 各プレイにおいて，まず送り手 $S$ が情報 (意味) $x \in \mathcal{X}$ を 1 つ (ランダムに) 得

受け手 $R$ がそのメッセージ $\boldsymbol{m} \in \mathcal{M}$ を受け取り,元の情報 (意味) が何であったのかを推測し, 予測 $\hat{x} \in \mathcal{X}$ を出力する. $\boldsymbol{x}=\hat{\boldsymbol{x}}$ となればゲームは成功である．指示ゲームの場合，受け手 $R$ は情報 (意味) の集合 $\mathcal{X}$ 全体から予測値を選ぶ代わりに，正解 $x \in \mathcal{X}$ と不正解 $\boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(k-1)} \in \mathcal{X} \backslash\{\boldsymbol{x}\}$ を含む候補集合 $\left.\{\boldsymbol{x}, \boldsymbol{y}^{(1)}, \ldots, \boldsymbol{y}^{(k-1)}\right.\}$ の中から予測値を選ぶ. 送り手 $S$ ・受け手 $R$ は通常，ニューラルネットワークに基づく確率モデルとして表現され，ゲームが成功しやすくなるように最適化される．最適化の結果両者の間に生じるコミュニケーションプロトコルは，情報を伝達する記号体系という意味では言語的である.生じたコミュニケーションプロトコルのことを創発言語 (Emergent Language) という。

シグナリングゲームや指示ゲームを用いた EC 研究では，典型的には以下のような問いが研究の動機となる.1つ目の問いは「創発言語は自然言語と同様の性質をもつだろうか？」である．例えば，Zipf 短縮 $[4,5]$ や Harris の分節原理 [6] のような自然言語における統計的普遍性質を取り上げ，それが創発言語でも成り立つのかを検証する研究がこれにあたる $[7,8] .2$ つ目の問いは「創発言語が自然言語と同様の性質をもつかどうかをどのように評価したらよいのか？」である．例えば，自然言語の性質であるとされる構成性が，創発言語にも存在するかどうか (あるいは“度合い”)を測る指標として，これまでに

いくつかの指標が提案されてきた $[9,10] .3$ つ目の問いは「現実世界のどのような要因をモデル化すれば自然言語と同様の性質創発するのか？」である.単に情報伝達の成功のしやすさ (ゲームの成功のしやすさ)だけでは創発しない性質があるとき，このような問いが重要となる。例えば，世代交代をモデル化する Iterated Learning モデルは，構成性の創発を促すことが知られている [11].

他方で，EC 研究においてはニューラルネットワークを最適化する際の目的関数の数学的な扱いがやや疎かになっていた節がある. 場合によっては， そういった無頓着さが Zipf 短縮などの一部の統計的普遍性質の創発を妨げていた可能性があるという指摘もある [12]. EC が進化言語学や計算言語学 (の関連分野) を標榜する以上，モデル化の仕方が単なる “恣意的なハック” に陥ることなく, ある程度数学的に地に足のついたものであることが望ましい.このような考え方の下，上田ら [12] はシグナリングゲー ムをある種の生成モデル，即ち (beta-)VAE [13, 14] として再解釈すべきであるという提案した. 本稿では，このような再解釈を更に押し進め，シグナリングゲームだけでなく指示ゲームもある種の生成モデルとして再解釈する. 具体的には，これらがある種の Conditional VAE $[2,3]$ と見做すことで統一的に解釈可能であることを示す.

## 2 背景

## 2.1 シグナリングゲームと指示ゲーム

創発コミュニケーション (EC)においては，コミュニケーションを取り合って言語を創発する主体 (あるいはゲームのプレイヤー)のことをエージェン卜と呼ぶ. 言語の創発をシミュレーションするためには，エージェントを取り巻く環境を設定する必要がある. 節 1 で述べたように，ECにおいてはシグナリングゲームや指示ゲームが頻繁に用いられる.

## 2.1.1 シグナリングゲームの定義

集合 $\mathcal{X}$ を意味空間，集合 $\mathcal{M}$ をメッセージ空間と呼ぶことにする．意味の確率分布を $P_{X}(X)$ とする.確率モデル $S_{\phi}(M \mid X)$ を送り手エージェント, 確率モデル $R_{\theta}^{\mathrm{sig}}(X \mid M)$ を (シグナリングゲームにおける)受け手エージェントと呼ぶ. ゲームの直感的な手続きは節 1 で述べたような単方向通信であるが，典型的には以下の，オートエンコーダ的な目的関数が最適化対象となる：

$
\mathcal{J}_{\text {sig }}(\boldsymbol{\phi}, \boldsymbol{\theta}):=\mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m})\right]
$

## 2.1.2 指示ゲームの定義

意味空間 $\mathcal{X}$, メッセージ空間 $\mathcal{M}$, 送り手 $S_{\phi}(M \mid X)$ はシグナリングゲームのものと同じとする. 意味とメッセージから実数への関数 $R_{\theta}^{\text {ref }}: \mathcal{X} \times \mathcal{M} \rightarrow \mathbb{R}$ を (指示ゲームにおける) 受け手エージェントと呼ぶ. また，Kを 2 以上の整数とする．このとき，指示ゲームの目的関数は以下のように定義される：

$
\begin{aligned}
& \mathcal{J}_{\text {ref }}(\phi, \theta):= \\
& \mathbb{E}_{\boldsymbol{x}_{1: K} \stackrel{\text { swor }}{\sim} P_{X}(\cdot), S\left(\boldsymbol{m} \mid \boldsymbol{x}_{1}\right)}\left[\log \frac{\exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{x}_{1}, \boldsymbol{m}\right)\right)}{\sum_{i=1}^{K} \exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{x}_{i}, \boldsymbol{m}\right)\right)}\right]
\end{aligned}
$

ただし， $\boldsymbol{x}_{1: K} \stackrel{\text { swor }}{\sim} P_{X}(\cdot)$ は $K$ 個の非復元サンプリング (sampling without replacement)とする.ここでは, $x_{1}$ が正解，残りが不正解となっている. この目的関数は， $x_{1}$ と正例とし， $x_{2}, \ldots, x_{K}$ を負例とする InfoNCE [15] と見做すこともできる.

## 2.2 シグナリングゲームの beta-VAE とし ての再解釈

上田ら [12] はシグナリングゲームの目的関数を以下のように ELBO として定義しなおすべきであると主張している.

$
\begin{aligned}
\mathcal{J}_{\text {vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta):= & \mathbb{E}_{P_{X}(\boldsymbol{x})}\left[\mathbb{E}_{S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log R^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m})\right]\right. \\
& \left.-\beta \operatorname{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M)\right)\right] \\
= & \mathcal{J}_{\text {sig }}(\boldsymbol{\phi}, \boldsymbol{\theta}) \\
& +\beta \mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log P_{\boldsymbol{\theta}}^{\text {prior }}(\boldsymbol{m})\right] \\
& +\beta \mathbb{E}_{P_{X}(\boldsymbol{x})}\left[\mathcal{H}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x})\right)\right] .
\end{aligned}
$

これは要するに，シグナリングゲームの従来の目的関数 $\mathcal{J}_{\mathrm{sig}}(\boldsymbol{\phi}, \boldsymbol{\theta})$ にプライア $\log P_{\boldsymbol{\theta}}^{\text {prior }}(\boldsymbol{m})$ とエントロピー最大化項 $\mathcal{H}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x})\right)$ を (重み $\beta$ で) 加えよという主張である.

## 2.2.1 プライアを導入する根拠

まず，プライアを目的関数に加える根拠について説明する. 第一の根拠は「そもそも，従来の目的関数 $\mathcal{J}_{\mathrm{sig}}(\phi, \boldsymbol{\theta})$ にも暗黙のプライア $P_{\mathrm{unif}}^{\mathrm{prior}}(M)$ が存在する」というものである.このことは,

$
\nabla_{\boldsymbol{\phi}, \boldsymbol{\theta}} \mathbb{E}_{P_{X}(\boldsymbol{x}), S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})}\left[\log P_{\text {unif }}^{\text {prior }}(\boldsymbol{m})\right]=\mathbf{0}
$

となるようなプライアをうまく選べば，それを従来の目的関数 $\mathcal{J}_{\text {sig }}(\phi, \theta)$ に加えたとしても，勾配法を

ベースにする限りにおいては最適化に何らの影響ももたらさないという考え方から従う．上の式が成り立つように上手くプライアを選んでやるとすれば， $P_{\text {unif }}^{\text {prior }}(\boldsymbol{m})=|\mathcal{M}|^{-1}$ となる ${ }^{1)}$. 第二の根拠は「暗黙のプライアは Zipf 短縮の創発の妨げになっている可能性がある」というものである。ここで，自然な仮定としてメッセージ空間 $\mathcal{M}$ が「有限アルファベット $\mathcal{A}$ 上の長さ $T$ 以下の系列全ての集合」として定義されているとしょう．単なる組合せのパターン数の問題として， $\mathcal{M}$ には長さの小さい(短い)メッセー ジよりも長さの大きい (長い) メッセージのほうが圧倒的に多く含まれている. 故に，メッセージ空間 $\mathcal{M}$ 上の一様分布である $P_{\text {unif }}^{\text {prior }}(M)$ は (図らずも) 長いメッセージに不当に大きな質量を割り当てていることになり，この影響を受けながら最適化された創発言語も (不当に) 長くなってしまう. 第三の根拠は 「暗黙のプライアがもたらすアーティファクトを克服するには，プライアをある種の言語モデルとして陽に再導入しなおすのが自然ではないか」というものである。(暗黙の) プライアというのは，メッセー ジ空間上の確率分布を定めるという意味で言語モデルによく似た概念である. そこで，プライアを適当なパラメータ $\theta$ に依存する自己回帰的なニュー ラルネットワークモデル $P_{\boldsymbol{\theta}}^{\text {prior }}(M)$ として, 明示的に言語モデルとして再導入することを考える.これによって, 不自然な暗黙のプライア $P_{\text {unif }}^{\text {prior }}(M)$ がもたらすアーティファクトを自然に克服しつつ， シグナリングゲームに言語モデルの考え方を自然に当てはめることができる．また，ELBO に現れる $\log P^{\text {prior }}(\boldsymbol{m})$ というのは, 所謂サプライザル理論でいうところの (負の) サプライザルに対応しているとも考えられる。つまり，言語モデルとしてプライアを導入することは心理言語学的なアナロジーにもなっている.

## 2.2.2 エントロピー最大化項を導入する根拠

次にエントロピー最大化項を導入する根拠について説明する.これについての主な根拠は「そもそも，従来の目的関数にもエントロピー正則化項という (エントロピー最大化項に類似した) アドホックな補助関数がよく追加されるのだから，このような項が初めから陽に目的関数に出現する方が自然なのではないか」というものである. シグナリングゲームというのは，送り手エージェント側から見れ

ば (非定常な) マルコフ決定過程であり, 最適化手法も (送り手エージェント側だけ見れば) 方策勾配法そのものである. 方策勾配法においては，しばしば方策 $S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x})$ のエントロピーが低くなりすぎないように，何らかの制約をかける場合がある。 それにより, エージェントに探索を促し, 探索と活用のトレードオフのバランスがとれるようになる. 従来, シグナリングゲームにおいてはエントロピー正則化項 [16] がよく使われてきた. 一方で，ELBOに出現するのはエントロピー最大化項である。両者は厳密には別物であるが，方策のエントロピーを高めて探索を促したいというモチベーションにおいては一致している [17].

## 3 ゲームの再解釈

本稿の目的は，シグナリングゲームのみならず，指示ゲームをも生成モデルに基づく変分推論として捉え直すことである.これはそれほど自明なことではない. シグナリングゲームにおける受け手エー ジェント $R^{\mathrm{ref}}(X \mid M)$ はメッセージ $\boldsymbol{m}$ が与えられたときの意味 $x$ の条件付き確率モデルであるから，それが (beta-)VAE におけるデコーダに相当する概念であることが明らかであった。一方で，指示ゲームにおける受け手エージェント $R^{\text {ref }}: \mathcal{X} \times \mathcal{M} \rightarrow \mathbb{R}$ は実数値関数であり，目的関数が InfoNCE で表される. 故に，指示ゲームにおける受け手エージェントはVAE のデコーダというよりも，ある種の対照学習モデルである. 素朴に考えれば， $\mathcal{J}_{\text {ref }}(\phi, \theta)$ に (負の) $\mathrm{KL}$ 項 $-\beta \mathrm{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M)\right)$ を加えたものを新たな目的関数とすれば，ELBO によく似た定式化にはなる. これが何らかの意味で生成モデル的であることを確認しなければならない。

実は, (beta-)VAEを拡張して Conditional (beta-)VAE としてゲームを再解釈することで，この問題を解決することができる．本節では，シグナリングゲームや指示ゲームを一般化したゲーム (文脈付きシグナリングゲーム)を考え，その目的関数を定式化する. その後，それが確かにシグナリングゲームや指示ゲームを一般化したものであることを確認する。

## 3.1 文脈付きシグナリングゲーム

集合 $\mathcal{C}$ を文脈空間とする. 文脈上の確率分布を $P_{C}(C)$ とし，これを単に文脈分布と呼ぶことにする. また，文脈 $C$ が与えられたときの意味 $X$ の条件付き分布を $P_{X \mid C}(X \mid C)$ とする.これまで

に定義した送り手エージェント $S_{\phi}(M \mid X)$ のことを，文脈に無頓着な (Context-agnostic) 送り手と呼び直すことにし，これと対比して文脈を考慮する (Context-aware) 送り手を $S_{\phi}(M \mid X, C)$ と表すことにする。同様に，これまでに定義した受け手エー ジェント $R_{\theta}^{\mathrm{sig}}(X \mid M), R_{\theta}^{\mathrm{ref}}(\boldsymbol{x}, \boldsymbol{m})$ のことを文脈に無頓着な受け手と呼び直すことにし，これと対比して文脈を考慮する受け手を $R_{\theta}^{\mathrm{sig}}(X \mid M, C)$ と表すことにする。これまでに定義したプライア (言語モデル) $P_{\theta}^{\text {prior }}(M)$ も文脈に無頓着なプライアと呼び直すことにし，これと対比して文脈を考慮するプライア (言語モデル)を $P_{\theta}^{\text {prior }}(M \mid C)$ と表すことにする.

ここで，文脈付きシグナリングゲームを，以下のような手続きで実行するゲームとする：

1. 文脈をサンプリングする $: \boldsymbol{c} \sim P_{C}(\cdot)$.

2. 意味をサンプリングする $: \boldsymbol{x} \sim P_{X \mid C}(\cdot \mid \boldsymbol{c})$.

3. 文脈を考慮する送り手エージェントからメッセージをサンプリングする $: \boldsymbol{m} \sim S_{\boldsymbol{\phi}}(\cdot \mid \boldsymbol{x}, \boldsymbol{c})$.

4. 文脈を考慮する受け手エージェントが，メッセージと文脈から元の意味を予測する (意味の分布を計算する) $: \log R_{\theta}^{\mathrm{sig}}(X \mid \boldsymbol{m}, \boldsymbol{c})$.

上記のゲームの手続きに基づき，文脈付きシグナリングゲームの目的関数 $\mathcal{J}_{\mathrm{c} \text {-vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta)$ を以下のように定義する：

$
\begin{aligned}
\mathcal{J}_{\text {c-vae }}(\boldsymbol{\phi}, \boldsymbol{\theta} ; \beta):= & \mathbb{E}_{P_{C}(\boldsymbol{c}), P_{X \mid C}(\boldsymbol{x} \mid \boldsymbol{c})}[ \\
& \mathbb{E}_{S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{x}, \boldsymbol{c})}\left[\log R_{\boldsymbol{\theta}}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})\right] \\
& \left.-\beta \operatorname{KL}\left(S_{\boldsymbol{\phi}}(M \mid \boldsymbol{x}, \boldsymbol{c}) \| P_{\boldsymbol{\theta}}^{\text {prior }}(M \mid \boldsymbol{c})\right)\right] .
\end{aligned}
$

これは $c \in \mathcal{C}$ をラスラベルの情報とする Conditional VAE [2,3] と同一視できる.

## 3.2 シグナリングゲームは特殊形である

定義から明らかなように，文脈に無頓着な送り手 ／受け手／プライアは，それぞれ文脈を考慮する送り手/受け手/プライアの特殊形である (受け取った文脈を無視するようなモデルを考えればよい).式 (5) に現れる文脈を考慮するモデルをそれぞれ文脈に無頓着なモデルに置き換えれば， $\mathcal{J}_{\text {vae }}(\phi, \boldsymbol{\theta})$ に一致する．従って，シグナリングゲームは文脈付きシグナリングゲームの特殊形であるといえる.

## 3.3 指示ゲームも特殊形である

次に，指示ゲームも文脈付きシグナリングゲームの特殊形と見做せることを確認する。送り手/プラ
イアは文脈に無頓着であるとする一方で，受け手は文脈を考慮すると仮定する．文脈空間 $\mathcal{C}$ 及び確率 $P_{X \mid C}(X \mid C)$ を

$
\begin{aligned}
& \mathcal{C}:=\left.\{\left(\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{K}\right) \in \mathcal{X}^{K} \mid x_{i} \neq x_{j} \text { if } i \neq j\right.\}, \\
& P_{X \mid C}(\boldsymbol{x} \mid \boldsymbol{c}):=\frac{1}{K} \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}=\boldsymbol{c}_{i}}
\end{aligned}
$

とし，文脈を考慮する受け手エージェントを

$R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c}):=\frac{\exp \left(R_{\boldsymbol{\theta}}^{\mathrm{ref}}(\boldsymbol{x}, \boldsymbol{m})\right) \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}=\boldsymbol{c}_{i}}}{\sum_{\boldsymbol{x}^{\prime} \in \mathcal{X}} \exp \left(R_{\boldsymbol{\theta}}^{\mathrm{ref}}\left(\boldsymbol{x}^{\prime}, \boldsymbol{m}\right)\right) \sum_{i=1}^{K} \mathbb{1}_{\boldsymbol{x}^{\prime}=\boldsymbol{c}_{i}}}$

と定義する． $R_{\theta}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は非負であり，かつ $\sum_{\boldsymbol{x} \in \mathcal{X}} R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})=1$ であるから, $R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は確率分布である. 文脈空間の定義より $\boldsymbol{c}_{i} \neq \boldsymbol{c}_{j}(i \neq$ j)であるから，

$
R_{\boldsymbol{\theta}}^{\mathrm{sig}}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})= \begin{cases}0 & (\boldsymbol{x} \notin \boldsymbol{c}) \\ \frac{\exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{c}_{j}, \boldsymbol{m}\right)\right)}{\sum_{i=1}^{K} \exp \left(R_{\boldsymbol{\theta}}^{\text {ref }}\left(\boldsymbol{c}_{i}, \boldsymbol{m}\right)\right)} \cdot & \left(\boldsymbol{x}=\boldsymbol{c}_{j}\right)\end{cases}
$

$P_{X \mid C}$ の定義から $\boldsymbol{x} \notin \boldsymbol{c}$ となるような $\boldsymbol{x}$ がサンプリングされる確率は 0 であるから， $R_{\theta}^{\text {sig }}(\boldsymbol{x} \mid \boldsymbol{m}, \boldsymbol{c})$ は InfoNCE [15] と同一視できる. 従って，文脈付きシグナリングゲームは，指示ゲームの生成モデル的定式化を特殊形として含んでいることになる.

## 4 議論と今後の展望

発話とは，常に何らかの文脈を伴って行われる行為である。その意味では，文脈に無頓着なエージェントを用いるシグナリングゲームよりも，文脈を考慮する受け手エージェントを用いる指示ゲームのほうがより実態に近いかもしれない，今回，シグナリングゲームや指示ゲームを一般化する形で文脈付きシグナリングゲームを定式化したが，文脈 $c \in \mathcal{C}$ は必ずしも式 (6) のような形 (正例と $K-1$ 個の負例をタプル化したもの) をしている必要はないし， $P_{X \mid C}$ も単に候補集合から一様に意味をサンプルするような確率分布である必要も特にない． $K$ と可変にすることもできるし，指示する対象 $x$ に “位置情報”を追加して，送り手に近い場所にあるものほどサンプルされやすいという “物理的な常識”をモデル化しても面白いかもしれない. 本稿では，文脈 $c \in \mathcal{C}$ という概念を抽象的な形で導入したが，そこにどんな具体的なモデルを仮定して，いかに面白い問題を解くのかを考えるのが今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP23KJ0768 の助成を受けたものです.

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Durk P Kingma, Shakir Mohamed, Danilo Jimenez Rezende, and Max Welling. Semi-supervised learning with deep generative models. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[3] Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning structured output representation using deep conditional generative models. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pp. 3483-3491, 2015 .

[4] George K. Zipf. The psycho-biology of language. Houghton Mifflin, 1935.

[5] George K. Zipf. Human Behaviour and the Principle of Least Effort. Addison-Wesley, 1949.

[6] 田中久美子. 言語とフラクタル. 東京大学出版会, 2021.

[7] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[8] Ryo Ueda, Taiga Ishii, and Yusuke Miyao. On the word boundaries of emergent languages based on harris's articulation scheme. In The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1-5, 2023. OpenReview.net, 2023.

[9] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[10] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[11] Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, and Simon Kirby. Compositional languages emerge in a neural iterated learning model. In 8th International Conference on Learning Representations, ICLR 2020,
Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[12] Ryo Ueda and Tadahiro Taniguchi. Lewis's signaling game as beta-vae for natural word lengths and segments. CoRR, Vol. abs/2311.04453, , 2023.

[13] Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[14] Irina Higgins, Loïc Matthey, Arka Pal, Christopher P. Burgess, Xavier Glorot, Matthew M. Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[15] Aäron van den Oord, Yazhe Li, and Oriol Vinyals. Representation learning with contrastive predictive coding. CoRR, Vol. abs/1807.03748, , 2018.

[16] Ronald J. Williams and Jing Peng. Function optimization using connectionist reinforcement learning algorithms. Connection Science, Vol. 3, No. 3, pp. 241-268, 1991.

[17] Sergey Levine. Reinforcement learning and control as probabilistic inference: Tutorial and review. CoRR, Vol. abs/1805.00909, , 2018.


# RL-SPINN を用いた創発言語の汎化性能の評価

加藤大地 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
\{daichi5967, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

ニューラルネットワークで構成されたエージェン卜同士に会話の模倣をさせ、人工的な言語を創発させて、人間の自然言語と比較・解析する言語創発という分野が、近年注目を浴びている。しかし、エー ジェントのアーキテクチャとして、系列の順序に沿って厳密に左から右に文を読む標準的な RNNを採用することが多く、文の中の隠れた木構造を見出しながら文意を理解する人間の理解プロセスとは大きく乘離している。そこで我々は、強化学習を用いて教師なしで文の木構造を学習できる RL-SPINNをエージェントに組み込み、言語を創発させるモデルを提唱する。実験の結果、RL-SPINNを用いた創発言語は、既存のアーキテクチャを含む複数のベースラインに勝る汎化性能を持つことが確認された。

## 1 はじめに

人間は日々、意志疎通や情報伝達のために無意識のうちに言語を用いているが、言語自体がどのように創発し発展してきたのかという問いは、未だ謎に包まれたままである。この問いに対する突破口と成り得るものとして、最近注目を集めている研究分野に言語創発 [1] がある。ニューラルネットワークで構成されたエージェント同士に、人間の会話のシミュレーションを行わせ、その間に生じたメッセー ジのプロトコルを言語とみなす。この言語が、どのような側面で人間の自然言語に似ている・異なっているのかを調査し、創発した言語が自然言語に似た特徴を持つようになるための条件を探っていく。このような構成論的なアプローチでもって言語の発展の歴史を解き明かしていくことが、言語創発分野における大きな研究テーマの一つである。しかし現状の言語創発の研究においては、エージェントのアー キテクチャとして非常に簡易化されたものを採用することが多い。この問題に対処する研究の一例として、Ri ら [2] は、人間の言語認知プロセスを反映し
たアーキテクチャを含んだエージェントでの実験が少ないことを指摘し、人間の言語理解に重要とされる「注意機構」をエージェントに組み込んで既存のアーキテクチャとの比較評価を行った。

我々も Ri ら [2] と同様に、人間の言語理解のプロセスとエージェントのアーキテクチャとのギャップに問題意識を持った。その中で、言語創発分野における過去の研究の多くが、エージェントのアーキテクチャとして標準的な RNNを採用していること $[3,4]$ に注目した。人間はメッセージを受け取った際、系列ベースの理解 (=厳密な順番で最初のトー クンから最後のトークンに沿った理解）をするわけではなく、木ベースの理解（=文の構成要素を再帰的に合成しながら最終的な意味を作り上げるような理解）をするとされている[5]。これに対し、RNN は系列ベースに文の意味表現を構成することから、現状のエージェントによる人間の言語理解の模倣は、明らかに不十分である。

そこで我々は、木構造を教師なしで学習する RL-SPINN [6] を創発言語の枠組みに組み込むことを提唱する。言語創発分野において、言語を創発させる枠組みとして、シグナリングゲーム [7] が頻繁に用いられる。シグナリングゲームでは、送信者と受信者という 2 種類のエージェントが登場する。本研究では、受信者がメッセージから意味表現を構成するアーキテクチャとして RL-SPINN を適用し、それ以外の部分は従来と同じアーキテクチャを採用した。

また本研究では、評価指標として、訓練時には不可視なデータに対する性能である汎化性能を用いる。Yogatama ら [6] は、RL-SPINNが、自然言語の文意をより良く捉えられる方向へのバイアスがかかるように木構造を学習し、汎化性能が上昇すること実証した。我々も同様に、RL-SPINNを組み込んだ受信者が、送信者からのメッセージの意味をより良く捉えられるようになる木構造を学習し、メッセージごとに柔軟に意味表現を構成できるようになること

で、汎化性能がより上がるだろうという仮説を立てた。実験の結果、RL-SPINNを組み込んだゲームにおける汎化性能が高くなる傾向があることが示された。今後、RL-SPINN の性能をさらに引き出すための手法の開発や、異なる評価指標による評価が行われることが期待される。本研究は、言語創発において、人間の持つ木ベースの理解を模倣するエージェントを用いた初めての研究であり、言語創発分野における新たなトピックの示唆となり得るだろう。

図 1 RL-SPINNを組み込んだゲームの簡略図

## 2 背景: LSTM の木ベースな派生

## 2.1 Tree-LSTM

文の意味表現を、文の統語的な構造に沿って生成する研究は、以前から存在していた $[8,9]$ 。Tai ら [10] も同様に、文意と文の統語的特徴との関係に潜在的価値を見出し、当時複数の NLP タスクで高性能を出していた LSTM [11]を、木ベースなモデル Tree-LSTM に一般化することを試みた。標準的な系列ベース LSTM は、左から順にトークンを受け取って意味表現を作り上げていくのに対し、Tree-LSTM は入力として受け取る構文木に沿って意味表現を生成する ${ }^{1)}$ 。実験の結果、複数の意味理解タスクにおいて、Tree-LSTM は標準的な系列ベース LSTM を凌ぐ結果を得た。さらに後続の研究においても、木ベースのモデルは系列ベースのモデルに比べて、高い性能を出すことが確かめられている $[12,13]$ 。

## 2.2 SPINN

Tree-LSTM は、入力としてパーズされた結果が文毎に必要である。そのため、外部のパーザへの依存関係が生じるという問題点があり、使い勝手が悪いことが欠点であった。そこで Bowman ら [14] は、 shift-reduce parsing を行うパーザをモデル内部に持ち、文の意味表現を作ると同時に木構造を決定していく SPINN (Stack-augmented Praser-Interpreter Neural Network) というモデルを提唱した。

## 2.3 RL-SPINN

SPINN はテスト時には外部のパーザを必要としないが、訓練時には構文解析の教師データが必要となる。そこで Yogatama ら [6] は、下流タスクの結果を報酬とした強化学習を用いて、訓練時から教

1）この意味で標準的な系列ベース LSTM は、どんな文に対しても、構文木として完全に left-branching なものを受け取っている Tree-LSTM の特殊系であると言うことができる。

師なしで木構造を学習する RL-SPINN (Reinforcement Learning SPINN) を提唱した。言語創発分野の実験においては、実行毎に言語自体が大きく異なるため、それぞれの言語に対して人間がパーズして教師データを作るようなことは当然不可能である。そのため本研究では、教師なしで木構造を学習できる RL-SPINN を採用し、これを受信者に組み込むことで人間の言語理解の仕方を模倣することを試みる。

## 3 背景: シグナリングゲーム

創発言語を創発させるには、シグナリングゲーム [7] という枠組みを基にすることが典型的である。 ゲーム内には 2 種類のエージェント（送信者・受信

者）がおり、それぞれが別の役割を担う。入力集合

ムは以下のように進行する：

1. ランダムに $\boldsymbol{I}$ からサンプルされた入力 $\boldsymbol{i} \in \boldsymbol{I}$ を、送信者が受け取る。

2. 送信者は大力 $\boldsymbol{i}$ をとに、メッセージ $\boldsymbol{m} \in \boldsymbol{M}$ を生成し、受信者に渡す。

3. 受信者はメッセージ $\boldsymbol{m}$ のみをもとに、送信者が受け取っていたと思われる入力を推測し、出力 $\hat{i}$ を生成する。
4. $i, \hat{i}$ を比較し、同じであればゲームは成功、そうでなければ失敗とみなす。

上記のゲームを繰り返して学習を進めて行き、正答率が高くなったとき、メッセージ $\boldsymbol{m}$ は送信者・受信者双方にとって何らかの共通意味を持つ記号列であると言える。人間の自然言語が持つ重要な能力「物事を指し示すこと (referring)」ができるものとして、 このシンボルを「言語」とみなし、自然言語と比較・解析するのが、創発言語分野における試みである。

## 4 実験手法

## 4.1 入力集合・メッセージ集合の設定

入力集合 $I$ として、Chaabouni らの実験 [4] のものと同一の設定を用いる。任意の入力 $\boldsymbol{i}$ は、 $i_{\text {att }}$ 個の属性を持ち、それぞれの属性は $i_{\mathrm{val}}$ 種類の値を取り得るものとする。つまり、入力集合の大きさは $|\boldsymbol{I}|=i_{\text {att }}^{i_{\text {val }}}$ である。なお実装上、任意の入力 $\boldsymbol{i}$ は、各属性ごとの $i_{\mathrm{val}}$ 次元ワンホットベクトルを $i_{\mathrm{att}}$ 個連結したものとして表現される（つまり入力 $\boldsymbol{i}$ は $i_{\mathrm{dim}}=i_{\mathrm{att}} \times i_{\mathrm{val}}$ 次元のベクトルとして表現される）。

また、有限のアルファベットの集合 $\boldsymbol{V}$ に対し、 メッセージ集合 $\boldsymbol{M}$ の要素は $\boldsymbol{V}$ の要素を複数個並べた離散系列で表される。なお、 $\boldsymbol{V}$ の中には EOS として用いる $v_{E O S}$ が含まれており、このアルファベットはメッセージの最後尾にしか登場できないことに注意されたい。厳密には、 $\boldsymbol{V}$ の語彙数 $m_{\mathrm{voc}}(=|\boldsymbol{V}|)$ と、 メッセージの最大長 $m_{\text {len }}$ が与えられたとき、メッセージ集合 $\boldsymbol{M}$ は以下のように定式化される：

$
\begin{aligned}
M= & \bigcup_{l=1}^{m_{\mathrm{len}}-1}\left.\{v_{1} \cdots v_{l-1} v_{\mathrm{EOS}} \mid v_{i} \in V \backslash\left.\{v_{\mathrm{EOS}}\right.\}(i \neq l)\right.\} \\
& \cup\left.\{v_{1} \cdots v_{m_{\mathrm{len}}-1} v_{m_{\mathrm{len}}} \mid\right.
\end{aligned}
$

$\left.v_{i} \in V \backslash\left.\{v_{\mathrm{EOS}}\right.\}\left(i \neq m_{\text {len }}\right), v_{m_{\text {len }}} \in V\right.\}$

## 4.2 提案するシグナリングゲーム

図1のような、RL-SPINNを受信者に組み込んだシグナリングゲームを提案する。

送信者のアーキテクチャとして、Chaabouni ら [4] と同一のものを用いる。送信者の最初の層は、入力の $i_{\mathrm{dim}}$ 次元のベクトル表現を $n_{S, \text { hidden }}$ 次元の隠れべクトルに変換する線型層である。出力された隠れべクトルは、次の GRU [15] の初期ベクトルとして用いられ、順に 1 つずつアルファベット $v \in V$ を出力していく。なお、訓練時は $m_{\mathrm{voc}}$ 個のカテゴリを持つカテゴリカル分布からのサンプリングでアルファベットを選ぶのに対し、テスト時は貪欲に（つまり決定的に）アルファベットを選ぶ。

受信者は、送信者から受け取ったメッセージを使って、送信者が受け取っていた入力を推定する必要がある。まず RL-SPINNによって、メッセージから $n_{R \text {,hidden }}$ 次元の意味表現を生成する。モデルの実装は Bowman ら [14] の論文に準拠する。その後、意味表現を $i_{\mathrm{dim}}$ 次元のベクトル表現へと線型層で変換し、これを受信者の推測として出力する。

## 4.3 ベースライン

本研究では、木構造を教師なしで柔軟に学習することによって生じる RL-SPINN の帰納バイアスを明確にするため、left-branching、right-branching、 perfect-binary-branching 93 つのベースラインを用意する。公平な比較ができるよう、RL-SPINN のうち、木構造の生成を担う部分 ${ }^{2}$ のみに手を加えることで、これらのべースラインを実装する。

Left-branching、right-branching は、それぞれ完全に左に寄った木、完全に右に寄った木を決定的に生成するベースラインである。特に、left-branching については、トークンを左から順番に処理していくことになることから、標準的な系列ベース LSTM に対応するベースラインであると言える。また、 perfect-binary-branching は、完全に左右対称な木を決定的に生成するベースラインである。

## 4.4 最適化手法

Chaabouni らの実験 [16,4] では、送信者を REINFORCE [17] で、受信者を標準的な誤差逆伝播法で学習させる “hybrid” な手法が用いられた。本論文でも同様の手法で学習を行う（詳細は $\mathrm{A}$ を参照）。

## 4.5 各ハイパーパラメタの設定

送信者内、受信者内の隠れべクトルの次元数 $n_{S \text {,hidden }}, n_{R, \text { hidden }}$ はどちらも 500 に設定している。 $\left(i_{\text {att }}, i_{\text {val }}\right)$ として、 $(2,64),(3,16),(4,8),(6,4)$ を用いる。これらの全ての設定において、入力集合の大きさは同一の $|\boldsymbol{I}|=4096$ となる。入力全体は、9: 1 に分割され、それぞれ訓練データ、テストデータとなる。訓練データはエージェントの学習に用いられ、 テストデータは汎化性能の評価に用いられる。アルファベットの語彙数 $m_{\mathrm{voc}}$ は 4、メッセージの最大長 $m_{\text {len }}$ は 8 に設定する。各イテレーションにおけるバッチサイズは 5120 とし、一回の実験の中で 5000 イテレーション行う。各イテレーション毎に、テストデータを用いた汎化性能の評価を行う。

2）具体的には、RL-SPINN 内の shift-reduce パーザが shift/reduce のアクションを決定する部分を指す。

Test Accuracy where $\left(n_{\text {att }}, n_{\text {val }}\right)=(3,16)$

RL-SPINN

left

right

図 2 実験における汎化性能の評価結果。4つの図は、上から順に $\left(n_{\text {att }}, n_{\text {val }}\right)=(2,64),(3,16),(4,8),(6,4)$ の結果である。各図内横軸方向に関して、一番左は RL-SPINNを含む我々のモデルの結果であり、残り 3 つは左から順にそれぞれ、left-branching、 right-branching、 perfect-binary-branching ベースラインの結果を表す。縦軸方向はテストデータに対するシグナリングゲームの正解率を示す。箱ひげ図内の点線は、正解率の平均値を表す。

## 5 実験結果と解釈

第 4 章で記述した実験設定に従って、同じパラメタに対して random seed のみを変更しながら 24 回の実験を行った。各イテレーションでテストデータに対するシグナリングゲームの正解率を計算し、全てのイテレーションの中で最も高くなった正解率をそ

の実行における汎化性能とした。各実行における汎化性能の値を集め、図 2に示す。図からわかる通り、 RL-SPINN を含むモデルの汎化性能は、全体的に高くなっている傾向にある。特に、平均値、中央値の観点で結果を見ると、RL-SPINNを含むモデルの汎化性能は、他 3 つのベースライン全てを凌ぐ結果となった。

しかし、RL-SPINN モデルが学習した木構造を眺める中で、学習された木構造が left-branching や right-branching ベースラインに非常に似た構造になっていることを発見した。そこで、RL-SPINNが学習した木構造の平均の木の深さを計算してみたところ、5.8739) であった。メッセージの長さの平均が 7.1417 であるため、完全に左右のどちらかに寄った場合の平均の木の深さが $7.1417-1=6.1417$ になることを考慮すると、RL-SPINN が学習した木構造は left-branching や right-branching で使われる木構造に非常に近いと言える。ここから、現状の実験設定では、RL-SPINN の木構造を学習することにより得られる恩恵を、十分には享受できていない可能性が考えられる。

## 6 おわりに

本論文では、言語内の隠れた木構造を教師なしで学習し、文の意味表現を生成できるモデル RL-SPINN を、シグナリングゲームにおける受信者の中に組み込んだモデルを提唱した。創発した言語の汎化性能を評価する実験を行った結果、我々の RL-SPINN を用いたモデルは、既存の実験設定で頻繁に使われるアーキテクチャを含む複数のベースラインよりも、高い汎化性能を持つ言語を創発することを確認した。

しかし、現状の実験設定では、RL-SPINN の学習する木構造が、ベースラインにかなり近いものになっており、柔軟に木構造を利用できる強みを活かしきれていない可能性が示唆された。また、評価指標は汎化性能のみに限られたため、将来、創発言語の構成性を測る指標として度々用いられる TopSim $[18,19]$ など、他の指標に関しても、さらなる実験・考察が進められることが期待される。

3） $\left(n_{\text {att }}, n_{\text {val }}\right)=(2,64)$ の設定で計算、少数第五位を四捨五入。以降の数値も同一の設定である。なお、 $\left(n_{\text {att }}, n_{\text {val }}\right)$ が異なる設定においても同様の傾向を示す結果を得られる。

## 謝辞

本研究は JSPS 科研費 JP23KJ0768 の助成を受けたものです。本研究を進めるにあたり、有益な助言を頂いた Jason Naradowsky さんに感謝申し上げます。

## 参考文献

[1] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[2] Ryokan Ri, Ryo Ueda, and Jason Naradowsky. Emergent communication with attention. CoRR, Vol. abs/2305.10920, , 2023

[3] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[4] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalization in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, ACL 2020, Online, July 5-10, 2020, pp. 4427-4442. Association for Computational Linguistics, 2020.

[5] David Dowty. Compositionality as an empirical problem.

[6] Dani Yogatama, Phil Blunsom, Chris Dyer, Edward Grefenstette, and Wang Ling. Learning to compose words into sentences with reinforcement learning. In ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[7] David Lewis. Convention: A philosophical study. John Wiley \& Sons, 2008.

[8] Christoph Goller and Andreas Küchler. Learning taskdependent distributed representations by backpropagation through structure. In Proceedings of International Conference on Neural Networks (ICNN'96), Washington, DC, USA, June 3-6, 1996, pp. 347-352. IEEE, 1996.

[9] Richard Socher, Cliff Chiung-Yu Lin, Andrew Y. Ng, and Christopher D. Manning. Parsing natural scenes and natural language with recursive neural networks. In Lise Getoor and Tobias Scheffer, editors, ICML 2011, Bellevue, Washington, USA, June 28 - July 2, 2011, pp. 129-136. Omnipress, 2011.

[10] Kai Sheng Tai, Richard Socher, and Christopher D. Manning. Improved semantic representations from treestructured long short-term memory networks. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, July 26-31, 2015, Beijing, China, Volume 1: Long Papers, pp. 1556-1566. The Association for Computer Linguistics, 2015.

[11] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Comput., Vol. 9, No. 8, pp. 1735-
1780, 1997.

[12] Jiwei Li, Thang Luong, Dan Jurafsky, and Eduard H. Hovy. When are tree structures necessary for deep learning of representations? In Lluís Màrquez, Chris CallisonBurch, Jian Su, Daniele Pighin, and Yuval Marton, editors, EMNLP 2015, Lisbon, Portugal, September 1721, 2015, pp. 2304-2314. The Association for Computational Linguistics, 2015.

[13] Samuel R. Bowman, Christopher D. Manning, and Christopher Potts. Tree-structured composition in neural networks without tree-structured architectures. In Tarek Richard Besold, Artur S. d'Avila Garcez, Gary F. Marcus, and Risto Miikkulainen, editors, Proceedings of the NIPS Workshop on Cognitive Computation: Integrating Neural and Symbolic Approaches co-located with the 29th Annual Conference on Neural Information Processing Systems (NIPS 2015), Montreal, Canada, December 11-12, 2015, Vol. 1583 of CEUR Workshop Proceedings. CEUR-WS.org, 2015.

[14] Samuel R. Bowman, Jon Gauthier, Abhinav Rastogi, Raghav Gupta, Christopher D. Manning, and Christopher Potts. A fast unified model for parsing and sentence understanding. In ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers. The Association for Computer Linguistics, 2016.

[15] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1724-1734. ACL, 2014.

[16] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[17] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.

[18] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[19] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[20] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

## A 最適化手法の詳細

最適化すべきパラメタは、送信者のパラメタ $\phi$ 、受信者のパラメタ $\boldsymbol{\theta}$ である。また、我々のモデルに登場する確率分布は、以下の 4 種類である：

・入力集合 $\boldsymbol{I}$ から入力 $\boldsymbol{i}$ をサンプルする確率 $q_{\text {input }}(\boldsymbol{i})$

・送信者が $\boldsymbol{i}$ をとに、メッセージ集合 $\boldsymbol{M}$ からメッセージ $\boldsymbol{m}$ を生成する確率 $S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{i})$

・RL-SPINN 内部の shift-reduce パーザが、 $\boldsymbol{m}$ をとに、shift-reduce のアクションの系列 $\boldsymbol{a}$ を生成する確率 $P_{\theta}(\boldsymbol{a} \mid \boldsymbol{m})$

・受信者が $\boldsymbol{m}, \boldsymbol{a}$ をもとに、入力集合 $\boldsymbol{I}$ から推測出力 $\hat{\boldsymbol{i}}$ を生成する確率 $R_{\theta}(\boldsymbol{i} \mid \boldsymbol{m}, \boldsymbol{a})$

この状況のもと、我々は以下のような、入力 $\boldsymbol{i}$ と受信者の推測出力に関する確率分布の交差エントロピー誤差の期待値を最小化したい：

$
\mathbb{E}_{\boldsymbol{i} \sim q_{\text {input }}}(\boldsymbol{i}), \boldsymbol{m} \sim S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{i}), \boldsymbol{a} \sim P_{\theta}(\boldsymbol{a} \mid \boldsymbol{m})\left[\mathscr{L}\left(\boldsymbol{i}, R_{\theta}(\boldsymbol{i} \mid \boldsymbol{m}, \boldsymbol{a})\right)\right]
$

さてここで、やや天下り的だが、代理関数 $f$ を次のように定義する：

$
f:=\mathscr{L}\left(\boldsymbol{i}, R_{\theta}(\boldsymbol{i} \mid \boldsymbol{m}, \boldsymbol{a})\right)+\left(\left.\{\mathscr{L}\left(\boldsymbol{i}, R_{\theta}(\boldsymbol{i} \mid \boldsymbol{m}, \boldsymbol{a})\right)\right.\}-b\right) \log \left(S_{\boldsymbol{\phi}}(\boldsymbol{m} \mid \boldsymbol{i}) P_{\theta}(\boldsymbol{a} \mid \boldsymbol{m})\right)
$

ここで、 $\{\cdot\}$ は勾配停止記号、 $b$ はベースライン4)である。なお実験では、ベースラインとして Mean-baseline を用いる。(1) 式の勾配は、 $\nabla_{\phi \cup \theta} \mathbb{E}[f]$ に数学的に等しいことが簡単な計算からわかる。本実験では、最適化のためにこの事実を用いて学習を行う。

さらに、メッセージや shift-reduce のアクションの生成における探索範囲を広範にし、学習を促進するため、エントロピーを高く保つようになる正規化項を追加している。本実験においては、送信者、受信者のエントロピー正則化項にかかる係数はそれぞれ、0.5,0.01に設定している。

最適化アルゴリズムには Adam [20] を用いる。本実験では、学習率は $0.0001 、$ L2 正則化項の係数も 0.0001 に設定している。


# 分散的ベイズ推論による創発コミュニケーションに基づく マルチエージェント強化学習

江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

人は共同タスクを遂行する中で，他者や環境とインタラクションすることによって, 協調行動を学習することができる．また，互いの内部状態を表現したメッセージを伝達し合うことで，互いの状態を知ることができる．このように，コミュニケーションを通じて互いに理解できる記号が創発される過程のことを，創発コミュニケーションと呼ぶ. これまで，マルチエージェント強化学習によって協調行動を学習する研究が行われおり, これらの研究では主にエージェント同士をネットワークで接続して学習するアプローチが取られていた。しかしこれは，独立した個体同士の創発コミュニケーションの観点からすると，不自然な設定である。そこで本稿では，創発コミュニケーションとマルチエージェント強化学習を組み合わせることで，エージェント間をネットワークで接続することなく，協調行動を学習できるモデルを提案する. 実験では，エージェント同士が協調し，異なるゴールに到達する移動タスクを行い，適切な協調行動を学習できることを示す。また提案手法が，エージェント同士をネットワークで接続して学習する従来手法と同等の性能を発揮できることを示す.

## 1 はじめに

人間は他者や環境とのインタラクションによって，協調行動を学習することができる。また，他者の内部状態を表現したメッセージを通じて他者の状態を知ることにより，適切な行動を選択することができる.このようなコミュニケーションを通じて互いに理解できる記号が創発する過程は創発コミュニケーションと呼ばれており，記号や言語の形成を説明する創発コミュニケーションの構成論の探求は計算言語学において重要な課題である. 近年では，そのような創発コミュニケーションとマルチ
エージェント強化学習を組み合わせた研究が行われている [1-5]. これらの研究では，コミュニケー ションを通じて，複数のエージェントが協調行動を学習している. しかし, 従来手法の多くは中央集権 (Centralized Training: CT) 型の学習である. CT 型のモデルは，エージェント同士がネットワークを介して接続されており，学習時に他者の内部状態や観測から計算された誤差情報が各ネットワークに逆伝播することで，各エージェントは他者の状態を考慮した行動を学習できる。一方で，人間は独立した個体であり，他者の内部状態から計算された情報を直接利用することはできない，すなわち，独立した個体同士の創発コミュニケーションの観点から考えると， CT 型は不自然な設定だといえる．したがって，各エージェントが自身の内部状態のみからメッセー ジを創発し，独立して学習を行う分散 (Decentralized Training: DT）型の学習が適切だと考えられる.

一方，谷口は，記号は集合的な確率推論によって形成されているとする集合的予測符号化仮説 $[6,7]$ を提唱し，記号の推論手法としてメトロポリス・へイスティングス名付けゲーム (MHNG) [8,9]を提案した. MHNG は確率的生成モデルによって記号創発の過程を定式化し，独立したエージェント間で，共有される記号を創発できる手法である. さらに， MHNG によって，特定の記号創発タスクにおける人の行動も説明できることが示されている [10].

これまでに我々は，MHNG と強化学習を組み合わせることで，DT 型で協調行動を学習する手法を提案した [11]. しかし，この従来手法では離散的な状態・行動を用いていたため，限られたタスクのみにしか適用することができなかった．そこで，本稿では，MHNG と深層強化学習を組み合わせることで，連続的な状態行動空間で協調行動を学習できる DT 型のモデル MASAC-ECo (Multi-agent Soft Actor-Critic with Emergent Communication）を提案する。実験では，2 体のエージェントが創発されたメッセージを

図 1 提案手法のグラフィカルモデル. 各エージェントの状態・行動モデルである 2 ののマルコフ決定過程が， メッセージ $m^{t}$ で接続された確率的生成モデルである.

表 1 各変数の詳細

介してコミュニケーションすることで，協調行動の学習が可能であることを示す. また, CT 型の従来手法との性能を比較し，提案手法がそれらと同等の性能を発揮できることを示す.

## 2 提案手法

図 1 が，本稿で想定する確率的生成モデルのグラフィカルモデルである. 各変数の詳細は表 1 の通りである.このモデルは, 各エージェントの状態・行動モデルがマルコフ決定過程 (MDP) になっており， これらがメッセージ $m^{t}$ で接続されたモデルである. $m^{t}$ によって，各エージェントは他者の状態を間接的に知ることができるため，協調行動の生成が可能である. しかし, DT 型の学習でこれら全てのパラメータを推論することは困難である．そこで，本稿ではメッセージの推論部分と，MDP を学習す了強化学習部分に分割し, メッセージの推論には MHNG を，強化学習には soft actor-critic (SAC) [12] を用いる.

## 2.1 MHNG によるメッセージの創発

2 体のエージェントが協調行動するためには，互いの状態を伝達するための記号が必要となる. ここで，図1のように， $m^{t}$ という潜在変数から互いの状態 $s_{A}^{t}, s_{B}^{t}$ と協調行動の報酬 $r_{m}^{t}$ が生成されると仮定する。このモデルでは， $m^{t}$ は互いの状態の決定に影響を与えるため，この潜在変数 $m^{t}$ はメッセー ジと考えることができる.メッセージの創発は，各ステップのエージェントの状態 $s_{A}^{t}, s_{B}^{t}$ と協調行動の報酬 $r_{m}^{t}$ からメッセージ $m^{t}$ を推論することに相当する。

$
m^{t} \sim p\left(\cdot \mid s_{A}^{t}, s_{B}^{t}, r_{m}^{t}\right)
$

しかし，式 (1)は自身からは観測できない相手の状態が含まれており，直接計算することができない. そこで, 文献 $[8,9]$ と同様に MHNG を用いる. MHNG では，一方のエージェントの提案分布からサンプリングした $m^{t *}$ を相手に提案し，相手はそれを受理または棄却することを繰り返すことで，目標分布からのサンプルの生成が可能な手法である. まず，求めたいサンプルは両者の状態 $s_{A}^{t}, s_{B}^{t}$ と協調行動の報酬 $r_{m}^{t}$ の関係を表現したメッセージ $m^{t}$ であるため，目標分布は次式となる。

$
\begin{aligned}
P\left(m^{t}\right) & =p\left(m^{t} \mid s_{A}^{t}, s_{B}^{t}, r_{m}^{t}\right) \\
& \approx p\left(m^{t} \mid s_{A}^{t}, r_{m^{t}}^{t}\right) p\left(m^{t} \mid s_{B}^{t}, r_{m}^{t}\right)
\end{aligned}
$

式 (3)への変形には, Product of Experts (PoE) 近似を用いている. エージェント A がメッセージを提案する場合，提案分布は次式となる。

$
Q\left(m^{t *} \mid m^{t}\right)=p\left(m^{t *} \mid s_{A}^{t}, r_{m}^{t}\right)
$

式 (4) に従って, エージェント A は新たなサンプルを生成し，B提案する．B は提案された $m^{t *}$ を自身の予測に基づき，次式の受理確率 $\psi$ に従って受理または棄却する。

$
\begin{aligned}
\psi & =\frac{P\left(m^{t *}\right) Q\left(m^{t} \mid m^{t *}\right)}{P\left(m^{t}\right) Q\left(m^{t *} \mid m^{t}\right)} \\
& =\frac{p\left(m^{t *} \mid s_{A}^{t}, r_{m}^{t}\right) p\left(m^{t *} \mid s_{B}^{t}, r_{m}^{t}\right) p\left(m^{t} \mid s_{A}^{t}, r_{m}^{t}\right)}{p\left(m^{t} \mid s_{A}^{t}, r_{m}^{t}\right) p\left(m^{t} \mid s_{B}^{t}, r_{m}^{t}\right) p\left(m^{t *} \mid s_{A}^{t}, r_{m}^{t}\right)} \\
& =\frac{p\left(m^{t *} \mid s_{B}^{t}, r_{m}^{t}\right)}{p\left(m^{t} \mid s_{B}^{t}, r_{m}^{t}\right)}
\end{aligned}
$

式 (5) は式 (3) と式 (4) により，式 (6) のように変形できる. 式 (6)より，エージェント A から提案された $m^{t *}$ の受理確率は，エージェント B のパラメータのみから計算することができる．つまり，相手の状態を直接観測することなく，メッセージの受理/棄却を判断することができる.

以上の手順を役割を交代しながら繰り返し，最適なメッセージを推論する。このメッセージのやり取りをするコミュニケーションによって，2 体のエー ジェントは他者の状態を間接的に知ることができ，
両者の状態に応じた最適な行動を選択することができる.

## 2.2 状態 $s$ とメッセージ $m$ に基づいた行動決定

各エージェント $i \in\{A, B\}$ は，自身の状態 $s_{i}^{t}$ と 2.1 節で推論したメッセージ $m^{t}$ に基づき，次式から行動 $a_{i}^{t}$ を選択する。

$
a_{i}^{t} \sim \pi_{i}\left(\cdot \mid s_{i}^{t}, m^{t}\right)
$

$\pi_{i}$ は各エージェントの方策である. 各エージェントはメッセージによって間接的に相手の状態を知ることができるため，自身と相手の状態に応じた行動を選択することができる．つまり，メッセージには両者の行動を変化させる役割があり，コミュニケー ションによって協調を促すように両者の行動を調整できる。また，選択した行動 $a_{i}^{t}$ に対する価值 $v_{i}^{t}$ は，次式の行動価値関数 $Q_{i}$ から算出される.

$
v_{i}^{t}=Q_{i}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)
$

$\pi_{i}$ と $Q_{i}$ をニューラルネットワークで近似した soft actor-critic を用いて, これらの関数を学習する。 ネットワークのパラメータ $\varphi_{i}, \theta_{i}$ を用いて各エー ジェントの方策を $\pi_{\varphi_{i}}$, 行動価値関数を $Q_{\theta_{i}}$ と表すと，最小化する目的関数は次式となる.

$
\begin{aligned}
J_{\pi}\left(\varphi_{i}\right) & =E\left[\alpha \log \pi_{\varphi_{i}}\left(a_{i}^{t} \mid s_{i}^{t}, m^{t}\right)-Q_{\theta_{i}}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)\right] \\
J_{Q}\left(\theta_{i}\right) & =E\left[\left(Q_{\theta_{i}}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)-\hat{Q}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)\right)^{2}\right]
\end{aligned}
$

ただし

$
\hat{Q}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)=r_{i}^{t}+\beta r_{m}^{t}+\gamma E\left[V\left(s_{i}^{t+1}, a_{i}^{t+1}, m^{t+1}\right)\right]
$

$V\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)=E\left[Q_{\theta_{i}}\left(s_{i}^{t}, a_{i}^{t}, m^{t}\right)-\alpha \log \pi_{\varphi_{i}}\left(a_{i}^{t} \mid s_{i}^{t}, m^{t}\right)\right]$ (12) である。また， $\alpha$ はエントロピー正則化への重み， $\beta$ は協調行動の報酬の重み， $\gamma$ は割引率である。

## 3 実験

提案手法によって 2 体のエージェントが協調行動を学習できるかを検証するため，複数のエージェントが互いに協調し合い，それぞれ異なるゴールに到達することを目的とする移動タスクを行った.

## 3.1 実験設定

実験環境として, 図 2 に示す Cooperative Navigation タスク [13] 1)を使用した. 図 2 中の赤・青丸は各エージェント，黒点はゴールを表す。エージェントの状態 $s$ は, 2 次元の位置座標 $s=[x, y]$ である. 行動 $a$ は, 5 次元のベクトル $a=\left[a_{1}, a_{2}, a_{3}, a_{4}, a_{5}\right]$ であり，各次元はそれぞれ進行方向 [止, 左, 右, 上, 下]の

1) https://github.com/openai/multiagent-particle-envs

図 2 Cooperative Navigation のタスク環境

$p\left(s_{A} \mid m\right)$

$m=1$

$p\left(s_{A} \mid m\right)$

$p\left(s_{B} \mid m\right)$

$p\left(s_{B} \mid m\right)$

$p\left(r_{m} \mid m\right)$図 3 生成されたメッセージの例

重みを表している。報酬 $r$ は，各エージェントに近い方のゴールとの距離 $d$ の負の値 $-d$ とした. 協調行動の報酬 $r_{m}$ は，両者が衝突した場合は -1 とし，衝突していなければ 0 とした.メッセージ $m$ は，推論されたメッセージの要素を 1 とした 64 次元のワンホットベクトルとした.

本実験では，従来手法である MADDPG [2], BiCNet [14], CommNet [15] と提案手法の性能を比較した。また，提案手法からコミュニケーションを省いたモデルと比較することで，創発されたメッセー ジが学習に与える影響について検証した。従来手法は，全て CT 型であり，全エージェントの内部状態や観測情報が共有される。また，他者からの誤差情報が自身のネットワークに伝播することで，他者の状態を知ることができる。これに対し，提案手法は DT 型であり，エージェント同士がネットワークを介して接続されていない。そこで提案手法では，両者の状態を表現するメッセージを創発し，そのメッセージを介してコミュニケーションすることで協調行動を学習する。

## 3.2 メッセージの創発

エージェントとゴールをランダムに環境内に配置し，移動させることで得られたデータを用いて， メッセージを学習した. 1 エピソードを 25 ステップとし，1 エピソードが終了したら環境をリセットして，再び各エージェントとゴールをランダムな位置

図 4 生成された軌道の例

表 2 各手法の平均累積報酬と総衝突回数 $\left({ }^{*} p<0.05\right)$

 &  &  \\

に配置した。この工程を 1,200 エピソード分繰り返し, 計 30,000 個の学習データ $d_{i}^{t}=\left[s_{i}^{t}, a_{i}^{t}, s_{i}^{t+1}, r_{i}^{t}, r_{m}^{t}\right]$ を取得した。次に，取得したデータから，互いの状態を表現するメッセージ $m^{t}$ を MHNGによって推論した. 本実験で扱う MHNG のモデルは，状態が離散値であることを仮定している。そのため，状態空間を $5 \times 5$ のグリッドに区切って番号を振り，各エージェントが存在するグリッド番号を状態 $s_{i}^{t}$ として使用した．学習されたメッセージの例を図 3 に示す. 図 3 中の $p\left(s_{A} \mid m\right), p\left(s_{B} \mid m\right)$ は, 各エージェントが存在する確率分布を表す.また, $p\left(r_{m} \mid m\right)$ は， エージェントが高い報酬 $r_{m}=0$ を得られる確率を表す.よって， $m=0$ のメッセージは，互いが異なる位置に存在し，高い報酬が得られることを表現している. 対して， $m=1$ のメッセージは，互いが同じ位置に存在し，低い報酬が得られることを表現している.このことから，コミュニケーションによって互いの状態を適切に表現するメッセージを創発できたといえる。

## 3.3 協調行動の学習と性能評価

3.2 で得られた学習データ $d_{i}^{t}$ を用いて，オフラインで各モデルのパラメータを学習した. 提案手法の学習時のパラメータは，付録 4.1 に記載した通りである. 提案手法の各エージェント $i \in\{A, B\}$ の方策は，学習データ $d_{i}^{t}$ とメッセージ $m^{t}$ を用いて，互いに独立して学習した. MASAC ではメッセージを必要としないため, 各エージェント $i$ の方策は $d_{i}^{t}$ のみを用いて学習した。従来手法は他者の状態・行動が必要となるため，各エージェントの方策は両者のデータ $d_{A}^{t}, d_{B}^{t}$ を同時に使用して学習した.

各手法の性能を評価するため，学習済みモデルのパラメータを固定して追加で 200 エピソード実行
し，エピソード毎の平均累積報酬と総衝突回数を算出した。実験結果を表 2 に示す. 表 2 中の「*」は，各手法と MASAC-ECo の累積報酬に対して $t$ 検定を行った結果，有意水準 $5 \%$ で有意差が認められたことを表している．MASAC-ECoでは，相手の状態をメッセージを通して間接的に把握するため，CT 型の従来手法よりも不利な条件となっている. それにもかかわらず，表 2 より，MASAC-ECo と MADDPG との間に統計的な有意差はなく, 同等の性能となった. また，メッセージを使用しない MASAC と比較して, MASAC-ECo の方が累積報酬が高く, 衝突回数が少ないことが分かる．これらのことから，提案手法によって，両者が協調行動のための有益なメッセージを創発できたといえる.

図 4 は，生成された軌道の例であり，青のエー ジェントが赤のエージェントに道を譲り，初期位置から遠い方のゴールへ到達していることが分かる。 これは，メッセージによって相手の位置を把握し，協調を優先する行動へと変化したためだと考えられる.このことから，創発されたメッセージを介してコミュニケーションし，適切な協調行動を学習できたことが示された.

## 4 おわりに

本稿では，創発コミュニケーションと深層強化学習を組み合わせることで，協調行動を学習するモデル MASAC-ECo を提案した. 実験では，提案手法は DT 型であり，相手の状態を観測できない不利な条件であったが，相手の状態を直接観測できる CT 型の MADDPG と同等の性能を発揮した。この結果から，提案手法によって，協調行動のためメッセージを創発し, 協調行動を学習できることを確認した。 しかし, 現状の課題として，MHNGによるメッセー ジの推論はオフラインでしか行えないという点がある.そのため，今回の実験ではオフライン学習で性能評価を行った．今後は，この問題を解決するために，オンライン学習ができるように提案モデルを拡張することを考えている．また，創発コミュニケー ションの観点から，創発されたメッセージの持つ意味について分析することを考えている。
本研究は，JST ムーンショット型研究開発事業 JPMJMS2011，JSPS 科研費 JP21H04904, JP23H04835

の支援を受けたものである.

## 参考文献

[1] Jakob N. Foerster, Yannis M. Assael, Nando de Freitas, Shimon Whiteson, "Learning to Communicate with Deep Multi-agent Reinforcement Learning", Advances in Neural Information Processing Systems, Vol.29, 2016.

[2] Ryan Lowe, Yi Wu, Aviv Tamar, Jean Harb, Pieter Abbeel, and Igor Mordatch, "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments", Conference on Neural Information Processing Systems, 2017.

[3] Jiechuan Jiang, Zongqing Lu, "Learning Attentional Communication for Multi-Agent Cooperation", arXiv: 1805.07733, 2018.

[4] Angeliki Lazaridou, Marco Baroni, "Emergent MultiAgent Communication in the Deep Learning Era", arXiv:2006.02419, 2020.

[5] Rahma Chaabouni et al., "Emergent Communication at Scale", International Conference on Learning Representations, 2022.

[6] 谷口忠大, “集合的予測符号化仮説 - 記号創発ロボティクスと言語進化の新展開に向けて”, 人工知能学会全国大会，4H3-OS-6b-01，2023

[7] Tadahiro Taniguchi, "Collective Predictive Coding Hypothesis: Symbol Emergence as Decentralized Bayesian Inference", PsyArXiv preprint, doi: https://doi.org/10.31234/osf.io/d2ty6, 2023

[8] Tadahiro Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models", Advanced Robotics, Vol. 37, Issue 19, pp. 1266-1282, 2023

[9] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference", Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022.

[10] Ryota Okumura, Tadahiro Taniguchi, Yoshinobu Hagiwara and Akira Taniguchi, "Metropolis-Hastings algorithm in joint-attention naming game: Experimental semiotics study", Frontiers in Artificial Intelligence, vol. 6, 2023

[11] Tomoaki Nakamura, Akira Taniguchi, Tadahiro Taniguchi, "Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning", arXiv, 2307.05004, 2023

[12] Tuomas Haarnoja, Aurick Zhou, Pieter Abbeel, Sergey Levine, "Soft Actor-Critic: Off-policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor", International Conference on Machine Learning, 2018.

[13] Igor Mordatch, Pieter Abbeel, "Emergence of Grounded Compositional Language in Multi-Agent Populations", arXiv:1703.04908, 2017.

[14] Peng Peng et al. "Multiagent Bidirectionally-Coordinated Nets”, arXiv:1703.10069, 2017.

[15] Sainbayar Sukhbaatar, Arthur Szlam, Rob Fergus, "Learning Multiagent Communication with Backpropagation", Conference on Neural Information Processing Systems,

## 4.1 付録

実験 3.3 での提案手法の学習時のパラメータ詳細を以下の表 3 に示す。


# ガウス過程に基づく確率的生成モデルを用いた マルチモーダル情報に基づく連続的な記号の創発

劉智優 ${ }^{1}$ 江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(y_ziwoo,h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

記号システムはエージェントが他者や環境と相互作用しながら集団の中でボトムアップに創発する. この記号創発現象のメカニズムを明らかにするために，構成論的研究が進められている。 その一つとして，記号創発現象を集団的な潜在変数の推論と捉えた，集合的予測符号化仮説に基づく確率的生成モデルが提案されている.このモデルでは，分散的べイズ推論によって，2 体のエージェント間で共有された離散的な記号が創発されることを示した. ただし，このモデルでは記号を離散的な変数としてモデル化しているが，記号は必ずしも離散的なものに限定されるものではない，例えば，言語は離散的なテキスト列だと簡略化され捉えられがちであるが，人類は音声という連続的なメディアを通して言語を発達させている。この意味で連続的な記号メディアの創発の構成論を議論することは，離散的な記号の構成論を補う形でも重要である。 そこで本稿では，ロボットが取得するマルチモーダルな情報から，連続的な記号の創発が可能な確率的生成モデルを提案する. 観測の生成モデルにガウス過程を利用することで，マルチモーダルな観測から連続的な記号を創発することが可能である．実験では，マルチモーダルな観測から記号が創発されること，さらに創発された記号が正しくエージェント間で共有されていることを示す.

## 1 はじめに

サインとそれが指し示す対象に対し，それらを受け取った主体が自身の経験・状況から解釈することで記号となる。このような記号はエージェントが他者や環境とインタラクションすることでその集団の中で意味が共有され，創発する [1,2]. この過程を創発コミュニケーション (Emergent Communication) と

図 12 体のエージェントによる記号創発の確率的生成モデルの概要

呼ぶ。本稿では，そのような記号の創発が可能な確率的生成モデル Multimodal Gaussian Process Emergent Communication (MGPEmCom) を提案する. 図 1 が確率的生成モデルの概要である．提案モデルは共有された記号から両者の観測が生成される確率的生成モデルである． 2 体のエージェントが物体の視覚，聴覚，触覚の 3 情報を観測し，その物体を表現可能な共有された記号である潜在変数 $s$ を推論することで記号を創発する。

ただし，両者が記号 $s$ で接続されたモデルで推論することは，他者の内部状態をお互いが直接観測可能であることを表しており，個体として切り離されているエージェント同士の記号創発としては不自然である。この問題に対して谷口は，言語は集合的な確率的な推論によって形成されているとする集合的予測符号化仮説 $[4,5]$ を提唱し，記号の推論法としてメトロポリス・ヘイスティングス名付けゲー ム (Metropolis-Hastings Naming Game: MHNG) [6-8] を提案した．MHNG は，2 体のエージェントの記号を介したコミュニケーションにより，他者の内部状態を直接観測することなく共有された記号を創発し，その意味を獲得可能な手法である. 谷口らは， MHNG を用いて，2 体のエージェント間で離散的な記号を共有すると同時に，適切なカテゴリ化を行うことができることを示した. さらに，Okumura らは特定の記号創発タスクにおける人の行動を MHNG

図 2 提案手法 MGPEmCom のグラフィカルモデル

によって説明できることを示している [9].

しかし，記号は必ずしも離散的なものに限定されるわけではなく，例えば表情，ジェスチャ，鳴き声といった連続的なものも含まれる。 また，離散的に捉えられる言語であっても，音声によるコミュニケーションによって創発されており, 創発する過程では連続的である. 記号を表す潜在変数が連続的になることで，表現力の向上や潜在変数の内挿による新たな表現の生成なども可能になると考えられる。 そこで，我々は確率的生成モデルに GPLVM を利用することで，連続的な記号の創発 [3] を実現した。 ただしこの従来研究では，視覚情報のみの単一モダリティを用いた実験での，定性的な評価しか行っていなかった. 記号とは主体がその身体を通して得られるマルチモーダルな情報から創発するものである.そこで本稿では，この提案されたモデルをマルチモーダル拡張を行い，参照ゲームに基づく物体選択タスクにより定量的に性能を評価する。

## 2 提案手法

## 2.1 MGPEmCom の確率モデル

図 2 に MGPEmCom のグラフィカルモデルを示す. $s$ はエージェント間で生成される記号を表現する潜在変数であり， $o_{v}, o_{a}, o_{t}$ はそれぞれ，ロボットが物体から取得する視覚, 聴覚, 触覚の観測情報である.

記号の創発は，2 体のエージェントの観測を表現できる共有された潜在変数を推論することに相当する.したがって，記号は以下の式で推論することができる.

$
s \sim p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)
$

ただし，本稿では 2 体のエージェントは分離した個体であり，各エージェントは相手の内部状態や観測情報を観測することができないことを想定しており，このままでは計算することができない. そこで，個体間の $s$ を推論を実現するために， MHNG [6-8] を利用する.

## 2.1.1 Metropolis-Hastings Naming Game

MHNG は，メトロポリスヘイスティング法（以下 MH 法）に基づく推論法である。本稿では，事後分布（式 (1)）からのサンプルを生成するために，次式を目標分布とする。

$
\begin{aligned}
P(s) & =p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right) \\
& \approx C p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)
\end{aligned}
$

ただし， $C$ は正規化項であり，この式変形には Product of Experts 近似を用いた. 次に，エージェント Aがメッセージ $s^{*}$ を生成する提案分布 $Q\left(s^{*}\right)$ を

$
Q\left(s^{*}\right)=p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right)
$

とする。式(3) と式(4)より，MH 法における新たなサンプル $s^{*}$ の採択率は

$
\begin{aligned}
& =\frac{Q(s) P\left(s^{*}\right)}{Q\left(s^{*}\right) P(s)} \\
& =\frac{p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}{p\left(s^{*} \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}\right) p\left(s \mid o_{v}^{A}, o_{a}^{A}, o_{t}^{A}, o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)} \\
& =\frac{p\left(s^{*} \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}{p\left(s \mid o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)}
\end{aligned}
$

となる. すなわち，エージェント $\mathrm{A}$ から提案 $s^{*}$ を受け入れるかどうかはエージェント B の情報のみで決定することができ，その逆の場合も同様である.このプロセスを繰り返すことで式 (1)をみたす両者で共有される記号を創発することができる.

## 2.1.2 ガウス過程に基づく MHNG

ガウス過程において, $N$ 個の記号 $S=$ $\left[s_{1}, s_{2}, \cdots, s_{N}\right]^{T}$ が与えられた条件のもとで，モダリティ*に対応する観測情報 $O_{*}^{B}=\left[o_{* 1}^{B}, o_{* 2}^{B}, \cdots, o_{* N}^{B}\right]^{T}$ が生成される確率は

$
G P\left(O_{*}^{B} \mid S\right) \propto \frac{1}{|K|^{D_{*} / 2}} \exp \left(-\frac{1}{2} \operatorname{tr}\left(K^{-1} O_{*}^{B}\left(O_{*}^{B}\right)^{T}\right)\right)
$

となる。ただし， $D_{*}$ は $o_{*}^{B}$ の次元数であり，K は， $k$ をカーネル関数， $\beta^{-1}$ を観測のノイズを表すパラメータとして，その $i$ 行 $j$ 列の要素が $k\left(s_{i}, s_{j}\right)+\beta^{-1} \delta\left(s_{i}, s_{j}\right)$ となるグラム行列である. 観測の生成確率はガウス過程の積であり， $\left[w_{v}, w_{a}, w_{t}\right]$ を各モダリティの重みとしたとき，

$p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right) \propto G P\left(O_{v}^{B} \mid S\right)^{w_{v}} G P\left(O_{a}^{B} \mid S\right)^{w_{a}} G P\left(O_{t}^{B} \mid S\right)^{w_{t}}$

となる.したがって, $n$ 番目の観測に関して新たな記号 $s^{*}$ が提案された場合を $S^{(n)}=$ $\left[s_{1}, s_{2}, \cdots, s_{n}^{*}, \cdots, s_{N}\right]^{T}$ とすると，その採択率 $r$ (式

(7)) は

$
\begin{aligned}
r & =\frac{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S^{(n)}\right) p\left(S^{(n)}\right)}{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right) p(S)} \\
& =\frac{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S^{(n)}\right)}{p\left(O_{v}^{B}, O_{a}^{B}, O_{t}^{B} \mid S\right)}
\end{aligned}
$

となる. ただし， $p(S)$ は一様分布とした. このように式 (7) の採択率は，ガウス過程であっても計算可能である.

一方， $s$ を変数として見た場合の式 (8) で表される分布形状は複雑であり, そのままでは提案分布 $Q\left(S^{(n)}\right)=p\left(S^{(n)} \mid O_{v}^{B}, O_{a}^{B}, O_{t}^{B}\right)$ からサンプルを生成することは難しい。そこで，提案分布からのサンプルも $\mathrm{MH}$ 法で生成する。 $p(S)$ を一様分布とし, エー ジェント A が提案する記号の目標分布を

$
\begin{aligned}
P^{\prime}\left(S^{(n)}\right) & =p\left(S^{(n)} \mid O_{v}^{A}, O_{a}^{A}, O_{t}^{A}\right) \\
& \propto p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)
\end{aligned}
$

とし，提案分布を現在のサンプル $s$ と新たなサンプル $s^{*}$ に対して対称なガウス分布

$
Q^{\prime}\left(s^{*}\right)=\mathcal{N}\left(s^{*} \mid s, \sigma^{2}\right)
$

としたとき，その採択率は

$
\begin{aligned}
r^{\prime} & =\frac{Q^{\prime}(s) P^{\prime}\left(S^{(n)}\right)}{Q^{\prime}\left(s^{*}\right) P^{\prime}(S)} \\
& =\frac{\mathcal{N}\left(s \mid s^{*}, \sigma^{2}\right) p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)}{\mathcal{N}\left(s^{*} \mid s, \sigma^{2}\right) p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S\right)} \\
& =\frac{p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S^{(n)}\right)}{p\left(O_{v}^{A}, O_{a}^{A}, O_{t}^{A} \mid S\right)}
\end{aligned}
$

となる。式 (14) と式(17)を用いた MH 法により一方のエージェントからサンプルを生成し，もう一方のエージェントに提案する。 次に，もう一方のエー ジェントの情報を利用して式 (11)によりそのサンプルを受理または棄却する．以上のプロセスによってガウス過程に基づいた記号創発が可能である.

## 2.2 記号的コミュニケーション

参照ゲーム [11] [12] [13] は，創発コミュニケー ションの研究で用いられるタスクの 1 つである. 提案手法によって創発された記号を用いて，情報を適切に伝えることができるかを参照ゲームによって評価する．参照ゲームの手順は以下の通りである。

1. 参照対象の選択: 話し手が提示された観測物体から参照対象を選択

2. 記号の伝達: 話し手は，受け手に参照対象を表現する記号 $s^{*}$ をサインとして送信
3. 記号の理解: 受け手は複数の物体から $s^{*}$ が表現する物体を選択

受け手が，話し手が選択した物体と同じ物を選択した場合を成功とする。 MGPEmCom においてエー ジェント A が話し手でエージェント B が受け手とした場合，以下のように計算することができる.

## 2.2.1 Agent A による記号 $s^{*$ のサンプリング}

まず，Agent Aが学習済みモデルに基づき，参照対象を表現する記号 $s^{*} を$ 新たにサンプリングする. 学習時の Agent A の観測情報を, $O_{v}^{A}, O_{a}^{A}, O_{t}^{A}$, 創発された記号を $S=\left[s_{1}, s_{2}, \cdots, s_{N}\right]^{T}$ とする. これらが与えられた条件の下で，参照対象の観測情報 $o_{v}^{A^{*}}, o_{a}^{A^{*}}, o_{t}^{A^{*}}$ を表現する記号 $s^{*}$ の生成確率は

$
s^{*} \sim p\left(s^{*} \mid S, O_{v}^{A}, O_{a}^{A}, O_{t}^{A}, o_{v}^{A *}, o_{a}^{A *}, o_{t}^{A *}\right)
$

となる. しかし. 分布形状は複雑であるため, 式 (18)を目標分布とした MH 法を用いて参照対象を表現するの記号 $s^{*}$ をサンプリングする. 記号 $s^{*}$ はサインとして Agent B に送られる。

## 2.2.2 Agent Bによるサイン $s^{*$ の理解}

ガウス過程において，観測情報 $o_{*}^{B *}$ の予測分布は次式のガウス分布で表される.

$
\begin{aligned}
p\left(o_{*}^{B *} \mid s^{*}\right) & =\mathcal{N}\left(\mu_{*}, \sigma^{2}\right) \\
\mu_{*} & =k^{* T} K^{-1} O_{*}^{B} \\
\sigma^{2} & =\left(k^{* *}-k^{* T} K^{-1} k^{*}\right) E
\end{aligned}
$

$E$ は $D_{*}$ 次元の単位行列であり,$k^{*}$ と $k^{* *}$ は次式となる.

$
\begin{aligned}
k^{*} & =\left[k\left(s^{*}, s_{1}\right), k\left(s^{*}, s_{2}\right), \cdots, k\left(s^{*}, s_{N}\right)\right], \\
k^{* *} & =k\left(s^{*}, s^{*}\right)+\beta^{-1} \delta\left(s^{*}, s^{*}\right) .
\end{aligned}
$

したがって, 記号 $s^{*}$ からすべての観測情報を生成する対数尤度は，

$
\begin{aligned}
L\left(o_{v}^{B}, o_{a}^{B}, o_{t}^{B}\right)= & w_{v} \log \mathcal{N}\left(o_{v}^{B} \mid \mu_{v}, \sigma^{2}\right) \\
& +w_{a} \log \mathcal{N}\left(o_{a}^{B} \mid \mu_{a}, \sigma^{2}\right) \\
& +w_{t} \log \mathcal{N}\left(o_{t}^{B} \mid \mu_{t}, \sigma^{2}\right)
\end{aligned}
$

となる. $M$ 個の物体の観測情報 $\left.\{o_{v, m}^{B}, o_{a, m}^{B}, o_{t, m}^{B} \mid 1 \leq\right.$ $m \leq M\}$ が与えられたとき, Agent B は対象物体 $m^{*}$ を $m^{*}=\operatorname{argmax}_{m}\left(L\left(o_{v, m}^{B}, o_{a, m}^{B}, o_{t, m}^{B}\right)\right)$ に基づいて選択する.

## 3 実験

本稿で提案する MGPEmCom を評価するために 2 つの実験を実施した。

図 3 実験に使用した物体

## 3.1 マルチモーダル情報

実験には，文献 [10] の実験で用いた，ロボットが物体から取得した視覚, 聴覚, 触覚情報からなるマルチモーダル情報を用いた. 図 3 が，使用した 11 カテゴリに属する 67 個の物体である. それぞれ特徵量を抽出し, 聴覚情報は 50 次元, 触覚情報は 15 次元の特徵量を観測情報とした。また，物体の正面画像と背面画像から抽出した 512 次元の特徴量を, それぞれエージェント A と B の観測情報とした。

## 3.2 実験設定

物体を識別できる記号が創発されているか検証するために，カテゴリ間の物体選択と，カテゴリ内の物体選択の 2 つの実験を実施した. カテゴリ内の物体選択は物体の僅かな違いを伝える必要があり，カテゴリ間の物体選択よりも難しいタスクとなっている. 重みを $\left[w_{v}, w_{a}, w_{t}\right]=[1,300,30]$, 学習の反復回数を $J=30$ ，創発される記号は 3 次元の共有潜在変数として以下の手順で実施した。

## 3.2.1 カテゴリ間の物体選択

・テストセットは各カテゴリから 1 つずつランダムに選択した計 11 個の物体を使用し, 学習セットは残りの 56 個 (= 67-11)を使用した.

・テストセットの 1 つを参照物体とした参照ゲー ムを，その物体を変えながら 11 回試行した。

この手順を 5 回繰り返し，計 55 回 (=11 物体 $\times 5$ 回)実施し，正答率を算出した。

## 3.2.2 カテゴリ内の物体選択

・テストセットは特定のカテゴリからランダムに選択した 3 個の物体を使用し，学習セットは残りの 64 個 $(=67-3)$ を使用した.

・テストセットの 1 つを参照物体とした参照ゲー ムを，その物体を変えながら 3 回試行した.

テストセットには，物体数が多いペットボトル，お表 1 参照ゲームにおける物体選択の正答率 $(v$ : 視覚, $a$ :聴覚, $t$ : 触覚)

正答率

菓子 (箱型)，ぬいぐるみ (胴体あり）の３ カテゴリを使用した.この手順を各カテゴリで 20 回繰り返し, 計 180 回 (=3 カテゴリ $\times 3$ 物体 $\times 20$ 回) 実施し,正答率を算出した.

## 3.2.3 実験結果

実験結果を表 1 に示す．比較として，視覚情報のみを使用した場合 $[v]$ でも実施した。

まずカテゴリ間の物体選択では，観測可能モダリティが $[v]$ だけの場合と比較して $[v, a, t]$ の場合は, 95\% と高い正答率となった. モダリティを増やすことで，より物体の違いを知覚することができ，その違いを表現可能な記号が創発されたと考えられる。

次にカテゴリ内の物体選択では, 観測可能モダリティが $[v, a, t]$ の正答率は，カテゴリ間の場合に比ベて低いものの，チャンスレベル $(33 \%)$ よりも高い.すなわち，同じカテゴリに属する物体のわずかな違いを識別することができる記号を創発することができたと考えられる.

## 4 まとめ

本稿では，マルチモーダルな観測から連続的な記号の創発が可能な MGPEmCom を提案した. 推論に MHNG を利用することで，他者の内部状態を直接観測することなく記号の創発を実現した．実験では，参照ゲームによって創発された記号がカテゴリの識別だけでなく，さらに物体の僅かな違いまで表現できることが明らかとなった. だたし，今回 11 カテゴリ 67 物体を使用した小規模な実験であり，また他の手法との比較もできていない. そのため今後,大規模なデータを用いた評価と，離散的な記号を創発するモデルとの比較が必要だと考えている.

また，今回の参照ゲームでは，話し手はサンプリングした記号をそのまま受け手に伝え，受け手が物体選択をした. すなわち，サンプリング時の確率的な摇らぎによって適切に物体を表現する記号を生成できていない可能性がある．そこで，参照ゲーム時にも MHNGを用いることによって，各物体の記号を推論し，その受理確率を基に物体選択をすることで，精度が向上する可能性があると考えている。

## 謝辞

本研究は JSPS 科研費 JP21H04904，JP23H04835 および JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Taniguchi T, Nagai T, Nakamura T, et al.,"Symbol emergence in robotics: a survey.", Advanced Robotics, Vol. 30, Issue 11, pp. 706-728, 2016.

[2] Taniguchi T, Ugur E, Hoffmann M, et al.,"Symbol emergence in cognitive developmental systems: a survey.", IEEE Transactions on Cognitive and Developmental Systems, vol. 11, no. 4, pp. 494-516, 2019

[3] 中村友昭，鈴木雅大，谷口彰，谷口忠大，“ガウス過程潜在変数モデルとニューラルネットワークの統合によるマルチエージェント記号創発と潜在表現学習”, 日本ロボット学会学術講演会, 2J3-02, Sep. 2023

[4] 谷口忠大，“集合的予測符号化仮説記号創発ロボティクスと言語進化の新展開に向けて”，人工知能学会全国大会，4H3-OS-6b-01，2023

[5] Tadahiro Taniguchi, "Collective Predictive Coding Hypothesis: Symbol Emergence as Decentralized Bayesian Inference", PsyArXiv preprint, doi: https://doi.org/10.31234/osf.io/d2ty6, 2023

[6] Hagiwara Y, Kobayashi H, Taniguchi A, et al., "Symbol Emergence as an Interpersonal Multimodal Categorization.", Frontiers in Robotics and AI ,Vol. 6, pp. 134, 2019.

[7] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference.”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022.

[8] Tadarhito Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models.", arXiv: 2205.12392, 2022.

[9] Ryota Okumura, Tadahiro Taniguchi, Yoshinobu Hagiwara and Akira Taniguchi, "Metropolis-Hastings algorithm in joint-attention naming game: Experimental semiotics study", Frontiers in Artificial Intelligence, vol. 6, 2023

[10] Nakamura T, Ando Y, Nagai T, Kaneko M.,"Concept formation by robots using an infinite mixture of models.", IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp.4593-4599, 2015.

[11] Luc Steels and Martin Loetzsch."The Grounded Naming Game", John Benjamins Publishing Company, Vol. 3, pp. 41-590, 2012.

[12] Brian Skyrms."Signals: Evolution, Learning, and Information”, Oxford University Press, 2010.

[13] David Kellogg Lewis."Convention: A Philosophical Study”, Wiley-Blackwell, 1969.