# 短歌を読む際の情動に関する脳活動の解析

佐藤 杏奈 1 近添 淳一 ${ }^{2}$ 船井 正太郎 ${ }^{2}$
持橋 大地 ${ }^{3}$ 鹿野 豊 4 浅原 正幸 5 磯 暁 6 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ
3 統計数理研究所 4 群馬大学 5 国立国語研究所 6 高エネルギー加速器研究機構
\{g1920519, koba\}@is.ocha.ac.jp \{chikazoe_junichi, funai_shotaro\}@araya.org
daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp

## 概要

本研究では，詩や短歌といった言語芸術が誘起する情動がヒト脳内においてどのように表現されるのかを調査する. とくに本研究では短歌を取り上げ， fMRI 内で提示した短歌を読んだ際の被験者の脳活動を観測し，BERT や GPT などの汎用言語モデルを通じて抽出された言語特徴量を入力として脳内状態を推定する符号化モデルを構築し脳内状態を推定した. 被験者が「詩的である」,「詩的でない」と感じるのはヒト脳内でどのような処理が行われていることに起因しているのかについて調査を行った結果，GPT を用いた際に，情動と深く関係しているとされる大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じているとき強くなることが確認できた.

## 1 はじめに

近年では, 磁気共鳴装置 (fMRI) や脳磁図 (MEG) などの非侵襲的な脳機能計測技術の発展と, 深層学習に代表される機械学習技術の高度化により, ヒト脳内の情報処理プロセスの解明や定量的理解を行う研究が盛んになっている [1]. 論理的な情報処理能力と共に，情動に関する情報処理能力はヒトの知能を解明する上で重要であり, 本研究ではヒト脳内の情動に関する処理プロセスの解明を目的とし，統計モデルを通じた調査を行う。

## 2 関連研究

近年，脳神経科学において脳内に生起する意味表象が知覚カテゴリとしてどのように大脳皮質上に構成されるかについても明らかにされてきている $[2,3]$. とくに自然言語の単語の意味をべクトルとして表現する word2vec [4] が出現して以来，ヒト脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状態の推定に利用されるようになっている $[5,6,7]$. Schrimpf ら [5,6] は, 43 個の様々な汎用言語モデルを用いて言語刺激を特徴量として表現し，ヒト脳活動との対応関係を調査した. Caucheteux ら [7] は脳内状態を表現する特徴量として性能が良いとされる GPT-2 [8] について詳細な調査をしている.

ヒト脳活動における情動を対象に解析したものとして，Kim ら [9] は音楽刺激下の被験者の脳活動を fMRI で観測したデータから感情反応を推定し，人間の感情処理に関連する特定部位の反応が優位になったことを確認している. Koide-Majima ら [10] は，動画視聴時の脳活動を fMRIを用いて計測し， その刺激となった動画クリップに対して注釈づけされた 80 個の感情表現との相関をとり, 脳内における感情の分布を調べている。また，Satpute ら [11] は，言語が情動にどのような役割を担っているかについて神経科学の文献をレビューすることによって調査をしており，言葉の意味処理に関わる脳領域は，とくに情動に関する表現内容を保持するという考えを示唆する証拠が得られたことを報告している.

このようなアプローチに対して, 本研究では, 自然言語を処理する深層学習モデルを作業モデルとして利用し，様々な刺激下のヒト脳内に直接の反応として表出される感情を扱うのではなく，言語芸術である短歌によって誘起される感性や感覚に近いヒト脳内情動活動を対象に調査を行う。

## 3 言語刺激下の脳活動解析

## 3.1 実験概要

本研究の概要を図 1 に示す. 言語モデルの中間層から抽出した表現べクトルを特徴量として使用

図 1: 詩的と感じるまたは感じないときの脳の振る舞いの調査の流れ.

し，符号化モデル (3.3 節参照) を用いて脳活動を推定する。深層学習モデルの各階層が表現できる情報がどのように遷移するかを調べるため，各階層から符号化モデルを構築し. 予測された脳活動を用いて RSA(3.4 節参照)を行い，関心領域 (ROI) の振る舞いを表す，ROI $\times$ ROI の $\operatorname{RDM}($ 図 $1(※), 3.4$ 節にて後述) を作成する.

## 3.2 被験者実験

本研究の被検者は 18 歳から 34 歳までの日本人 32 名で，脳画像データは fMRIにより取得した. 実験では,『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる短歌と, 同じ 31 文字の平文各 150 文を fMRI 内で提示し, それが詩的と感じるかどうかを手元のボタンで解答させた. 短歌または平文は 3 行に分けて，それぞれ 3 秒間提示された後，「詩的であると感じますか？」と記載された質問スライドが 3 秒間提示される (図 1 参照). 1 試行の所要時間は 12 秒であり， 50 試行を 1 セッションとし，6セッションを行った. 文は各セッション内で参加者ごとにランダムな順に提示され, 各セッションは短歌 25 首，平文 25 文で構成される。脳画像データは, FreeSurfer ${ }^{1}$ を用いて解析を行い，それにより抽出された大脳皮質のボクセルのみを分析に用いた。また，脳領域区分アトラスには FreeSurfer で提供される Destrieux Atlas [12]を用いた。

## 3.3 符号化モデル

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [13] によるものを採用した. 符号化モデルの構築方法として, ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し, 計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する。一般的に線形回帰にはリッジ回帰が適用され, 回帰係数を観察することでボクセルに対する振る舞いを観察することなどが可能となる.

## 3.4 表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis, RSA) は, Kriegeskorte ら $[14,15]$ によって提案された手法である．RSAを用いることにより，比較対象となる二つのパターンの非類似性は，それらの距離に対応するものとして表現される. 全てのぺアの表現距離 (または非類似度)を測定することで, Representational Dissimilarity Matrix(RDM) を作成でき，また，RDM 同士の相関を計算し様々な表現を比較することが可能になる。本研究では非類似度として相関距離 (1-ピアソン相関係数) の值を使用する。

## 4 実験

## 4.1 符号化モデル作成

ヒト脳に与えられた刺激の特徴量から脳内状態を推定するために，符号化モデルを構築する． 1 枚のスライドが提示されている間，そこに表示されている文で埋めて言語データを構築し, 脳データと対応づけた。質問スライドが表示されている間は，直前に表示されていた短歌もしくは平文に，「詩的であると感じますか？」という文を加え，言語データとした.

言語モデルの中間層から抽出した言語特徴量を説

1) https://surfer.nmr.mgh.harvard.edu/
明変数として脳活動データを予測する符号化モデルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し, fMRI で観測された脳活動データをその 3 9TR2) 前の該当区間全ての言語特徴量から予測する形で回帰を行う. 全 6 セッションのうち, 1 セッションをテストデータ，残り 5 セッションを訓練データとし，各セッションの脳活動データを予測した. また, 訓練データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 $\alpha$ を $\left[10^{1}, 10^{6}\right]$ における 15 個の値の中から採用した。

## 4.2 実験設定

本研究では，言語特徴量を表現する言語モデルとして BERT [16] と GPT [17]を使用する. 事前学習モデルとして, $\mathrm{BERT}_{\text {large }}{ }^{3}$ ) と $\mathrm{GPT}_{1 b}{ }^{4}$ (共に 24 層) を採用し，以下の 2 ステップで Multi-step fine-tuning を行った.

短歌の学習それぞれ，BCCWJに含まれる実験で使用していない短歌 3571 首 (訓練データ $90 \%$ ) で fine-tuning を行った. 学習タスクはそれぞれ事前学習として採用されている, BERT は Masked Language Modeling(15\%), GPT は Causal Language Modeling を使用した.

詩的感覚の有無の分類被験者毎に, 実験に使用した短歌平文 300 文を, 被験者が fMRI 実験で詩的と感じる・感じないと回答した結果に合わせてラベル付けをし, huggingface $の$ transformers ${ }^{5}$ )で提供されている, BertForSequenceClassification と GPT2ForSequenceClassification を使用し fine-tuning を行った. この時, 符号化モデル構築時に訓練デー タとなる 5 セッションで提示された 250 文を訓練データとした.

また，解析では被験者間で平均をとるため，符号化モデルの精度が低い被験者のデータがノイズになってしまうことを鑑み，(1) 短歌もしくは平文, 詩的と感じる・感じないでラベル付けをしたとき，マクロ $F_{1}$ スコア >0.85であり，(2) 事前実験 (fine-tuning をしていない事前学習モデルから抽出した特徵量を使用)での予測脑活動が，実験で計測された脳活動に有意な正の相関がある $(p<0.01)$ 被験
=0.75$ 秒

3) https://huggingface.co/cl-tohoku/ bert-large-japanese

4) https://huggingface.co/rinna/japanese-gpt-1b

5) https://github.com/huggingface/transformers
}

BERT

GPT

図 2: 中間層 $\times$ 中間層の RDM.

者 7 名のみを解析の対象とした。

## 4.3 実験結果

言語モデル各階層の予測脳活動を詩的と感じる (Poetic)もしくは感じない (Unpoetic) に分け，それぞれで，ROI 毎に時間×時間の RDM を作成する. 本研究では. 実測脳活動と予測脳活動に相関がないという帰無仮説のもと. False discovery rate $(\mathrm{q}<0.05)$ 補正を適用する. 帰無仮説が棄却され. かつ. 実測脳活動との相関が正となったボクセルのみを使用して RSAを行う。

ROI 毎に作成された RDM を比較することで ROI $\times \operatorname{ROI}$ の $\operatorname{RDM}($ (図 $1(※))$ を作成する。その RDM を被験者間で平均をとったのち，各階層で詩的と感じるもしくは感じないで作成された (階層数 $\times 2$ ) 個の RDM を比較することで，層×層の RDM を作成した (図 2).

さらに上記 2 つの RDM を 1 つにしたRDMを UMAP [18] を用いて 3 次元に次元圧縮をし, 可視化する (図 3).

次に，他の様々な ROI と類似した情報表現を持つ，脳内情報のハブとなっている ROIを見つけるため, PageRank アルゴリズム [19]を用いて解析を行う。ROI 間の非類似度を表している RDM(図 $1(※))$ を， (1- 非類似度) とすることで相関行列を作成し， この相関行列を遷移確率行列として PageRankアル

図 3: RDM の次元圧縮結果.
(a) 7 層目

(c) 23 層目

図 4: GPT 各階層における PageRank 値の差分 (詩的と感じる (赤) vs. 詩的と感じない (青)).

ゴリズムを適用する。具体的に， $B_{P_{i}}$ は相関行列 $P_{j}$ から遷移する可能性のある相関行列の集合とし，相関行列 $P_{i}$ における PageRank である $r\left(P_{i}\right)$ をべき乗法で以下のように求める.

$
r_{k+1}\left(P_{i}\right)=\sum_{P_{j} \in B_{P_{i}}} \frac{r_{k}\left(P_{j}\right)}{\left|P_{j}\right|}
$

各階層, 詩的と感じる・感じないの各 RDM に対して上記 PageRank アルゴリズムを適用し, $\left(r\left(P_{\text {poetic }_{i}}\right)-r\left(P_{\text {unpoeti }_{i}}\right)\right)$ として差分を取ったものを図 4 に示す.ここでは，詩的と感じる・感じないの非類似性が高かった GPT の結果のみを示す.赤い部分が，減算後値が大きくなった,つまり詩的と感じる時により PageRank 値が高かった脳領域であり. 青い部分が詩的と感じない時により PageRank 値が高かった脳領域である。

## 4.4 考察

図 2 において, BERT では各階層同士で Poetic に対する Unpoetic の非類似度が他層に比べ低くなっている一方で，GPTではその値の低下は小さい. よって，GPT は詩的と感じているときと感じていないときでは. 各階層でより異なる情報表現を持っていると言える.

図 3 において, BERT と GPT どちらも徐々に情報が遷移していることから, 深層学習モデルの各階層が説明できる脳活動は階層が進むに従って変化していることがわかる.

図 4 では，低層，中層，高層として GPT の 7，16， 23 層目での PageRank 值の差分を可視化している.他の階層や BERT での結果については一部付録 6.3 節で示している。ほとんどの層において，後頭葉 (図 $4 \mathrm{a}$ 参照) で差分後の値が正，つまり，詩的と感じているときの方がより，後頭葉周辺のハブ性が強くなっていることがわかった。この値は低層の方が大きく，10 層目あたりをピークに層が進むにつれて小さくなっていった。また，殆どの層において左島皮質，左中心前溝 (図 $4 \mathrm{a}, 4 \mathrm{c}$ 参照) 周辺の值が大きくなった．島皮質は情動と密接な関係があるとされる大脳辺縁系の一部であり，BERT の高層でも同様にハブ性が強くなることが確認できた (付録 6.3 節参照).

中層では，帯状回周辺で值が大きくなる様子が見られた。帯状回は，大脳辺縁系の各部位を結びつける役割があり，感情の形成と処理に関わりを持つ領域と言われている。詩と散文を読んだときの脳活動を調査した先行研究 [20] では，文の情動性が上がるにつれて活性化した脳領域として，帯状回が挙げられている。また，高層では，情動の処理に重要な役割を果たしているとされている [21], 左眼窩前頭皮質 (OFC) が赤くなる様子が見られた.

## 5 おわりに

本研究では，詩的であるという情動がヒト脳内においてどのように表現されるのかを言語モデルの中間層から予測した脳活動に対して，RSAを用いて調査を行った. PageRankを用いて ROI のハブ性を調べた結果，GPT において情動と深く関係しているとされる大脳辺縁系の一部である島皮質，中層では帯状回，高層では眼窩前頭皮質のハブ性が詩的と感じているとき強くなることが確認できた。一方で，後頭葉や中心前溝など，情動と関係しているとされていない領域でもハブ性が見られた。

今後は，解析対象の被験者を増やした時の結果の考察を行うつもりである。また，短歌を読んだときのヒト脳内と深層学習モデルでの階層処理についての調査，考察も進めていきたい。

## 参考文献

[1] Daniel L. K. Yamins, Ha Hong, Charles F. Cadieu, Ethan A. Solomon, and James J. Seibert, Darren an d DiCarlo. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences, Vol. 111, No. 23, pp. 8619-8624, 2014.

[2] Alexander G Huth, Shinji Nishimoto, An T Vu, and Jack L Gallant. A continuous semantic space describes the representation of thousands of object and action categories across the human brain. Neuron, Vol. 76, No. 6, pp. 12101224, Dec 2012

[3] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Vol. 26, , 2013.

[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020

[6] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[7] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2018.

[9] Hyun-Chul Kim, Peter A. Bandettini, and Jong-Hwan Lee. Deep neural network predicts emotional responses of the human brain from functional magnetic resonance imaging. NeuroImage, Vol. 186, pp. 607-627, 2019.

[10] Naoko Koide-Majima, Tomoya Nakai, and Shinji Nishimoto. Distinct dimensions of emotion in the human brain and their representation on the cortical surface. NeuroImage, Vol. 222, p. 117258, 2020

[11] Ajay B. Satpute and Kristen A. Lindquist. At the neural intersection between language and emotion. Affective Science, Vol. 2, No. 2, pp. 207-220, 2021.

[12] Christophe Destrieux, Bruce Fischl, Anders M. Dale, and Eric Halgren. Automatic parcellation of human cortical gyri and sulci using standard anatomical nomenclature. NeuroImage, Vol. 53, No. 1, pp. 1-15, 2010.

[13] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, and Jack L. Gallant. Encoding and decoding in fmri. Neurolmage, Vol. 56, No. 2, pp. 400-410, May 2011.

[14] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, Vol. 2, p. 4, 2008

[15] Nikolaus Kriegeskorte and Rogier A Kievit. Representational geometry: integrating cognition, computation, and the brain. Trends Cogn Sci, Vol. 17, No. 8, pp. 401-412, Aug 2013 .

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. 2018. cite arxiv: 1810.04805 Comment: 13 pages.

[17] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018.

[18] Leland McInnes, John Healy, and James Melville. Umap: Uniform manifold approximation and projection for dimension reduction, 2018.

[19] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital Library Technologies Project, 1998.

[20] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[21] Junichi Chikazoe, Daniel H Lee, Nikolaus Kriegeskorte, and Adam K Anderson. Population coding of affect across stimuli, modalities and individuals. Nature Neuroscience, Vol. 17, No. 8, pp. 1114-1122, 2014.

## 6 付録 (Appendix)

## 6.1 実験データ

3.2 節にて述べた対象被験者は，男性 15 名，女性 17 名の合計 32 名である. 脳画像データの撮像は,生理学研究所に設置された 3.0 テスラの $\mathrm{MRI}$ (シー メンス社製) を用いて取得された. 解剖学的スキャンの撮像条件は，TR0.75 秒，ボクセルサイズ $2.0 \mathrm{~mm}$ $\times 2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm}$ である.

## 6.2 非類似度の可視化

図 2 では, BERT とGPTにおいて, 詩的と感じる・感じないときの各階層の非類似性を RDM で示した.このときの Poetic に対する Unpoetic の非類似度を示す (図 5).

layer

図 5: Poetic-Unpoetic 間の各階層における非類似度.
BERT と GPT2 どちらでも，8 層目あたりで非類似度があがり，その後は BERT は徐々に上がり, GPT では下がる様子が見られた。

図3の異なる角度からの可視化結果を示す。

図 6: RDM の次元圧縮結果 (図 3 別角度).

## 6.3 PageRank の差分結果

4.3 節で述べられているように, PageRank アルゴリズムを用いてハブ性を調査した。本文に掲載できなかった BERT と GPT の一部階層について，(詩的と感じる-詩的と感じない)の差分結果を示す.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

24 層目

図 7: BERT 各階層における PageRank 値の差分.

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

21 層目

24 層目

図 8: GPT 各階層における PageRank 値の差分.


# 分散的ベイズ推論としての マルチエージェント強化学習と記号創発

江原広人 ${ }^{1}$ 中村友昭 ${ }^{1}$ 谷口彰 ${ }^{2}$ 谷口忠大 ${ }^{2}$
1 電気通信大学 2 立命館大学
(h_ebara, nakamura)@radish.ee.uec.ac.jp
(a.taniguchi, taniguchi)@em.ci.ritsumei.ac.jp

## 概要

人間は会話や文章などの言語 (メッセージ) を通じて他者とコミュニケーションを取ることで，互いに協調した行動を学習することができる．ロボット同士が人間と同様のアプローチで協調行動を学習するためには，ロボット間で互いに理解できる共通言語を創発するモデルが必要となる. 本稿では，エー ジェント自らが創発した記号を用いてコミュニケー ションすることで，協調行動を学習・生成することができる確率的生成モデルを提案する．実験では，学習したモデルを実環境のタスクに適用し，2 台のロボットが創発した記号によるコミュニケーションを通して，環境に適した協調行動を生成できることを示す.

## 1 はじめに

人間は生まれてから未分化な認識世界の中で活動を始め, 外部の環境との相互作用を通じて様々な概念や言語，行動を獲得することができる. また，獲得した言語を用いて他者とコミュニケーションを取ることで，互いに協調した行動を学習することができる.このように，人間同士が記号を介してコミュニケーションを取ることで，両者の間で理解できる共通言語が形成されていく過程を，コミュニケー ションの創発と呼ぶ.これまでに，コミュニケー ションの創発に基づくアプローチで，エージェント同士で記号を創発し，タスクを実行する様々な研究がなされてきた $[1,2]$. さらに，近年ではコミュニケーションの創発を深層強化学習に拡張することで，より複雑なタスクへの応用が可能であることが示されている $[3,4,5,6]$. 一方で，谷口らによって，人間の言語獲得の基礎となる一部の発達過程を実現したメトロポリス・ヘイスティングス名付けゲーム

図 1 提案手法のグラフィカルモデル

図 2 M-H 法により分割したモデル

と呼ばれる言語ゲームが提案されている $[7,8]$. 文献 $[7,8]$ では，同ゲームを用いて 2 体のエージェントがコミュニケーションを取ることで記号を創発し，物体の概念を形成できることを示している。この手法では，確率的生成モデルを用いることでコミュニケーションの創発を実現している. しかし, このアプローチで協調行動を学習し，実環境のタスクを遂行できるようなモデルは，未だに確立されていない，そこで本稿では，メトロポリス・ヘイスティングス名付けゲームと強化学習と組み合わせることで，生成モデル的アプローチでエージェントが協調行動を学習することができるモデルを提案する. 実験では，学習したモデルを実環境のタスクに適用し，2 台のロボットが創発した記号を用いて環境に適した協調行動を選択できるかを検証した。

## 2 提案手法

## 2.1 モデルと生成過程

図 1 に提案手法のグラフィカルモデルを示す. $z$ はエージェントの内部状態を表現する潜在変数であり， $m$ はエージェント間で生成されるメッセー ジ（共通言語）を表現する潜在変数である. 提案モデルでは，2 体のエージェント間で共有されたメッセージ $m$ によって各エージェントの内部状態 $z, z^{\prime}$ を決定し，協調行動を生成することを仮定している。

$
\begin{gathered}
z \sim P(z \mid m) \\
o \sim P(o \mid m) \\
a \sim P(a \mid z) \\
x \sim P(x \mid z)
\end{gathered}
$

$x, a$ は各エージェントの観測と行動である. 本稿では，確率的な推論 (Control as Inference [9]) による制御に基づいた, 両エージェントの行動の最適制御問題を考える. そのため，一般の強化学習における報酬の代わりに，最適性変数と呼ばれる二値の確率変数 $o \in\{0,1\}$ を用いる. 最適性変数とは, 両エー ジェントの行動の適切さを評価する変数であり, $o=1$ が最適であることを表し, 行動の最適性を確率 $p(o=1 \mid m)$ で表現する.

## 2.2 メトロポリス・ヘイスティングス名付 けゲームによる $m$ の推論

内部状態 $z, z^{\prime}$ と最適性 $o$ から, 各エージェントの行動パターンと，それらに対する最適性の関係を表現するメッセージ $m$ を推論する.

$
m \sim p\left(m \mid z, z^{\prime}, o\right)
$

しかし，式 (5)では，自身からは観測できない相手の内部状態 $z^{\prime}$ が含まれており，直接計算することができない. そこで，文献 $[7,8]$ と同様に，メトロポリス・ヘイスティングス名付けゲームを用いる。この手法では Metropolis-Hastings (M-H) 法 [10] を用いることでモデルを図 2 のように分割することができ，互いに内部状態を知ることなくメッセージ $m$ を推論することができる．M-H 法では，両者は提案分布からサンプリングした $m^{*}$ を相手に提案し，相手はそれを受理または棄却することを繰り返すことで，目標分布からのサンプルを生成することが可能な手法である。まず，求めたいサンプルは両者の内部状態 $z, z^{\prime}$ と最適性変数 $o$ の関係を表現したメッ
セージ $m$ であるため，目標分布は次式となる。

$
\begin{aligned}
P(m) & =p\left(m \mid z, z^{\prime}, o\right) \\
& \approx p(m \mid z, o) p\left(m \mid z^{\prime}, o\right)
\end{aligned}
$

ただし，この式変形には Product-of-Experts (PoE) 近似を用いた。次に，エージェント A がメッセージを提案するため，提案分布は次式となる。

$
Q\left(m^{*} \mid m\right)=p(m \mid z, o)
$

この提案分布従い，エージェント Aが新たなサンプル $m^{*}$ を生成し，B に提案する。 B は提案された $m^{*}$ を自身の予測に基づき，次式の受理確率に従って，受理または棄却するかを決定する。

$
\begin{aligned}
r & =\frac{P\left(m^{*}\right) Q\left(m \mid m^{*}\right)}{P(m) Q\left(m^{*} \mid m\right)} \\
& =\frac{p\left(m^{*} \mid z, o\right) p\left(m^{*} \mid z^{\prime}, o\right) p(m \mid z, o)}{p(m \mid z, o) p\left(m \mid z^{\prime}, o\right) p\left(m^{*} \mid z, o\right)} \\
& =\frac{p\left(m^{*} \mid z^{\prime}, o\right)}{p\left(m \mid z^{\prime}, o\right)}
\end{aligned}
$

式 (9) は式 (7) と式 (8)を用いることで，式(11)のように変形することができ，エージェント Aから提案された $m^{*}$ の受理確率は，エージェント B のパラメータのみで計算できる。すなわち，相手の内部状態を知ることなく，M-H 法に基づく受理/棄却を判断することができる。

以上の手順を役割を交代しながら，収束するまで繰り返し，最適なメッセージ $m$ を推論する。本稿では，このメッセージ $m$ をやり取りすることがコミュニケーションであると考え，このコミュニケーションによってマルチエージェントの最適な行動選択が可能となる.

## 2.3 エージェントの内部状態 $z$ の推論

2.2 節で学習したメッセージと各エージェントの観測に基づき，次式のようにエージェントの内部状態 $z$ のパラメータを推論する.

$
z \sim p(z \mid m, a, x)=\frac{p(x, a \mid z) p(z \mid m)}{p(x) p(a)}
$

また，行動予測時にはクロスモーダル推論によって行動決定する。

$
a \sim p(a \mid m, x)=\int_{z} p(a \mid z) \frac{p(x \mid z) p(z \mid m)}{p(x)} d z
$

本稿では，このような潜在変数の推論とクロスモーダル推論が可能な Multimodal Latent Dirichlet Allocation(MLDA)[11] 拡張した手法 [12]を用いる.

## 2.4 メッセージの創発と行動決定

学習時には 2.2 節のコミュニケーションによるメッセージの推論と，2.3 節の各エージェントの内部状態の推論を Algorithm 1 のように繰り返すことで，各確率分布のパラメータを更新する. これにより, 各エージェントの観測 $x, x^{\prime}$ と最適性 $o$ から協調行動を表現するメッセージ $m$ を創発することができる.

行動決定時には，学習したパラメータを固定し最適性を $o=1$ として Algorithm 1 を実行し，メッセー ジ $m$ と内部状態 $z, z^{\prime}$ を推論する. 推論されたパラメータに基づいて，式(13)のクロスモーダル推論に基づき，行動決定することができる。

## 3 実験

実ロボットを用いたタスクにより，提案手法の有効性を確認した。

## 3.1 実験設定

実験環境を図 3 に示す、ロボットは ROBOTIS 社の turtlebot3(手前側) と turtlebot2(奥側)を使用した1).障害物 (大) の位置は固定，障害物 (小) は左右どちらかに配置し，両ロボットが衝突せずに障害物を回避

1) https://www. turtlebot.com

図 3 実験環境

するルートの選択が学習可能か検証した。両ロボットの頭部には，現在の位置から障害物までの距離を計測できるレーザーレンジファインダ (LRF) が搭載されており，これを用いて自己位置を推定し，障害物を回避して移動することができる。ここで問題となるのが，turtlebot2 の LRF の位置が障害物 (小) よりも高い位置にあり，障害物 (小)を検知できないという点である。これにより， turtlebot2 は障害物 (小) が置かれた方のルートを選択した場合，回避できずに障害物 (小) と衝突する可能性がある。そこで，提案手法を用いてロボット間でコミュニケーションを取ることで，障害物の位置に応じて最適な行動を選択できるよう，メッセージ $m$ を推論する必要がある.

観測 $x$ は正面から左右斜め $45^{\circ}$ までの障害物までの距離を $1^{\circ}$ ずつ計測した長さ 90 のべクトルとし,行動 $a$ は左または右回りの 2 パターンとした.また，最適性 $o$ は，互いが干渉せずに障害物を回避する行動を選択すれば $o=1$, それ以外は $o=0$ とした. 本実験でのタスクでは，両エージェントは障害物の位置に対して計 8 パターンの行動が考えられる. よって， $m$ は 8 次元の多項分布とし，各パター ンの行動ペアが 1 つのクラスに分類されるようにした.

以降，turtlebot3 をエージェント A， turtlebot2をエージェント B とする.

## 3.2 学習

数パターンの観測 $x$, 行動 $a$, 最適性 $o$ のデータを計 40 個を生成し，相互更新の回数 $T=20$ としてモデルを学習した. 学習されたメッセージ $m$ と最適性 $o$ の関係を表 1 に示す. 表より，最適性に基づきメッセージが学習されていることが分かる. $m=1$ では，エージェント A から見て左側に障害物が置かれ，AとBがそれぞれ左回りで移動する行動が表現

図 4 予測時の行動の様子

表 1 メッセージ $m$ と最適性 $o$ の関係

したメッセージであった. $m=7$ では，エージェント Aから見て右側に障害物が置かれ，AとBがそれぞれ右回りで移動する行動が表現したメッセージであった。このように，環境・行動・最適性を表現したメッセージを学習できていることが確認できた。

## 3.3 最適行動の予測

学習済みのモデルを用いて，障害物 (小) を左右ランダム置いた環境で，両エージェントが提案手法を用いてコミュニケーションすることで, 最適な行動を予測できるか検証した。予測の際の相互更新の回数は $T=5$ とし，障害物の位置をランダムに変更し 20 回試行した. 両エージェントの行動の一例を図 4 に，各障害物配置における行動の成功回数と生成されたメッセージを表 2 に示す. この表より，適切なメッセージを生成することで，障害物を回避し，衝突しない適切なルートを選択できていることが分かる。

次に，相互更新回数 $T$ ，すなわちコミュニケー ション繰り返す回数を変化させ，M-H 法によるコミュニケーションによるメッセージの生成の有効性を確認した. 図 5 が各相互更新回数 $T$ における最適行動を選択できた確率である. 図より,コミュニケーションの回数が増えるにつれて，最適な行動選択ができるようになっていることが分かる. エー ジェント A は障害物をどちらも知覚できるため，コ表 2 予測に基づく行動の成功回数と生成されたメッセージ

図 5 相互回数 $T$ における最適行動の選択確率

ミュニケーションしなくとも高い確率で最適行動を選択できている。一方，エージェント B は障害物 (小) を検知できないため，メッセージが内部状態の推定に反映されない $T=1$ では，自身の観測だけでは最適な行動を選択することはできていない。その後， $T$ が増加するに従い，メッセージによってエー ジェント B の欠損している障害物 (小) の情報を補うことができ，最適な行動を選択できている。

## 4 おわりに

本稿では，エージェント間でコミュニケーションを取ることで，協調行動を学習・生成できる確率的生成モデルを提案した．実験では，提案手法を用いて両ロボットがコミュニケーションを取り, 適切なメッセージを学習できることを確認した. また，コミュニケーションにより，最適な行動を選択できることを確認した。しかし，本稿で扱ったタスクは，最適性変数が即時的に決定するワンショットな意思決定タスクであり，累積報酬を最大化する必要があるタスクにはそのままでは適用できない。そこで，本手法を時間発展させ，より複雑なロボットタスクへと応用することを今後の課題とする.

## 謝辞

本研究は，JST ムーンショット型研究開発事業

JPMJMS2011 の支援を受けたものである.

## 参考文献

[1] Diane Bouchacourt and Marco Baroni, "MissTools and Mr Fruit: Emergent communication in agents learning about object affordances", in Proceedings of the 57th annual meeting of the association for computational linguistics (ACL), pp. 3909-3918, 2019

[2] Katrina Evtimova, Andrew Drozdov, Douwe Kiela, and Kyunghyun Cho, "Emergent Communication in a MultiModal, Multi-Step Referential Game", International Conference on Learning Representations, 2018

[3] Jiechuan Jiang, Zongqing Lu, "Learning Attentional Communication for Multi-Agent Cooperation”, arXiv: 1805.07733, 2018

[4] Angeliki Lazaridou, Marco Baroni, "Emergent MultiAgent Communication in the Deep Learning Era", arXiv:2006.02419, 2020

[5] Ryan Lowe, Yi Wu, Aviv Tamar, Jean Harb, Pieter Abbeel, and Igor Mordatch, "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments”, arXiv: 1706.02275, 2020

[6] Rahma Chaabouni et al., "Emergent Communication at Scale", International Conference on Learning Representations, 2022

[7] Tadarhito Taniguch et al., "Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models", arXiv: 2205.12392, 2022.

[8] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, Tadahiro Taniguchi, "Multiagent Multimodal Categorization for Symbol Emergence: Emergent Communication via Interpersonal Cross-modal Inference”, Advanced Robotics, Vol. 36, Issue 5-6, pp. 239-260, 2022

[9] Sergey Levine, "Reinforcement learning and control as probabilistic inference: Tutorial and review." arXiv preprint arXiv:1805.00909, 2018

[10] Hastings, W. K., "Monte Carlo sampling methods using Markov chains and their applications", Biometrika 57, pp. 97-109, 1970

[11] Tomoaki Nakamura, Takayuki Nagai, and Naoto Iwahashi, "Grounding of Word Meanings in Multimodal Concepts Using LDA", IROS2009, pp.3943-3948, 2009

[12] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi, "Serket: An architecture for connecting stochastic models to realize a large-scale cognitive model", Frontiers in Neurorobotics, vol.12, pp.1-16, 2018.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ホライゾン・スキャニングの自動化のための言語処理応用

石垣 達也 ${ }^{1}$ 西野 涼子 ${ }^{1,2}$ 鷲野 壮平 ${ }^{1}$ 五十嵐 広希 ${ }^{3}$ 村井 昭彦 ${ }^{1}$ 永井 由佳里 ${ }^{2}$ 鷲田 祐一 4
1 産業技術総合研究所 ${ }^{2}$ 北陸先端科学技術大学院大学 3 東京大学 4 一橋大学
\{ishigaki.tatsuya, s.washino, hk-igarashi, a.murai\}@aist.go.jp
\{suzuko_k, ynagai\}@jaist.ac.jp b101348r@r.hit-u.ac.jp

## 概要

本稿では未来学分野におけるホライゾン・スキャニング [1]の自動化を目指し，文書探索，コメント生成問題およびデータセットを提案する。ホライゾン・スキャニングは未来に起こりうる社会変化を分析する枠組みで，1) 新聞記事等を大量に収集し，2) 重要な記事には主観的な意見や記事の要約をコメントとして記述する. 収集された記事とコメントは専門家による社会変化についてのシナリオ記述に活用される. 本研究ではデータセットの分析, 探索およびコメント生成モデルを構築し自動評価および未来学の専門家が実際に使用することで評価し, 言語処理技術の応用可能性を検証する.

## 1 はじめに

未来学の分野では, 中長期的な未来に起こりうる大きな社会変化やリスクについて，シナリオを記述する取り組みが行われている，例えば，「自動消毒ロボットは将来, 駅だけでなくオフィスビルや飲食店など他の業種にも幅広く適用され，人手不足の深刻な人間の清掃員の代替となるだろう」というシナリオは, 企業や政府における意思決定に役立てられる。高品質なシナリオを生成するための手法について, 当該分野では活発に研究 [2] されているが，その多くは専門家による情報収集に依存しておりコストが問題となる．言語処理技術の応用はこのような課題の一助になりうる.本研究では代表的なシナリオ作成手法である Systemic Foresight Methodology (SFM) [3] に着目する. この手法は, シナリオ作成を 1) ホライゾン・スキャニング，2) プランニングという 2 つの部分問題に分割して解く，前者は情報収集を行うステップで，社会変化の兆候を示唆する情報を含む新聞記事等を大量に収集し, 各記事にコメントを付与する。後者はシナリオを記述するステップで, 収集した記事を専門家同士で議論しながら集約し最終的に数個のシナリオにまとめ
る. 本稿では後段の処理に影響を与えることからより重要なホライゾン・スキャニングに着目し，1) 未来を示唆する文書の探索問題, 2) 主観的な意見を含むコメント生成という自然言語処理における新たな問題設定と，3)これらのためのデータセットを提案する.

図 1 に現在専門家により手作業で行われている，ホライゾン・スキャニングの手順 $[4,1]$ を示す. 入力は大規模なテキスト集合で, 本研究では一例として日本語の新聞記事を想定する．出力は事前に定義されたフォーマットによる文書で，スキャニングマテリアルと呼ばれる。ホライゾン・スキャニングでは，まず入力記事集合から未来の社会変化を示唆する記事を探索する。例えば，図 1 の記事 2 のような「高輪ゲートウェイ駅での消毒ロボットの実証実験」についての記事は，鉄道以外の産業にも将来的にロボットが配置されるという社会変化を示唆するため，探索されるべき記事である。一方，記事 4 は天気予報であり，未来についての言及を含むが日常的に必要な情報を提示しているに過ぎず，中長期的な社会変化について示唆しない.よって，探索されるべきではない，スキャニングマテリアルは未来の社会変化を示唆する各記事に対し作成され, 記事タイトル, 要約, 主観的なコメントを含む. コメント部分には記事の短い要約, 主観的な意見, 主張や将来おこりうる社会変化などが記述される. 探索した新聞記事本文を入力し，主観的なコメン卜を自動生成する問題を 2 つ目の設定として扱う. 本研究では特にスキャニングマテリアル作成のための記事の探索とコメント作成に着目し, 記事タイトルと要約部分については要約技術等の既存技術を用いる想定ととし, 研究対象としない.

本研究で提案する文書探索問題は, 将来の社会の変化を示唆するか否かを考慮する点において，既存の文書探索の設定 (例えば [5] など) と異なる。コメント生成問題は言語生成問題の一つとみなすことができるが, 将来起こりうるイベントについて記述する点に特徵がある。

図 1 ホライゾン・スキャニングの手順.

2,266 の未来の社会変化を示唆する新聞記事を SFM の知識のある者が収集し, データセットを作成した.分析より, これらの一般的な新聞記事とは意味的な距離が離れており, 異なる特徴語を持つことがわかった.このデータセットから学習した文書探索モデルは，BERT による手法は適合率@100において 70\%の性能を示し, 専門家による実際のシナリオ作成の実用において，十分耐えうることを人手評価により確認した.コメント生成問題では, 要約タスク等において良い性能を示す BART [6] であっても，主観的なコメン卜を生成するのが難しく挑戦的な課題であることが分かった.

## 2 データセット作成

データセットの作成にはSFM に関する専門知識が必要となる. したがって, 本研究では専門知識を持つ者が未来の社会変化を示唆する記事を収集することが望ましい。そこで，ホライゾン・スキャニングに関する講義を担当する大学教員とその講義を受講し専門知識を持つ学生らが, 2003 年から 2020 年の 17 年間に渡り講義の一環として収集した記事の提供を受け, デー タセットとした. 合計 33 人が以下の指示の下, 記事収集とコメント付与を行った: 1) 中長期的な未来に起こりうる社会変化を示唆する多様な記事を Web 上から手作業で探索する, 2) タイトル, 要約, コメントを記述する.コメントには収集者の主観的な意見や将来に起こりうる中長期的な変化を記述する，3）最後に図 1 に例示するスキャニングマテリアルのフォーマットにまとめる. 最終的に 2,266 記事を収集し, 各記事に平均 2.8 文のコメントが人手で付与された.

## 3 分析

## 3.1 一般的な新聞記事との意味的な距離

探索されるべき記事は一般的な記事とは意味的な距離が離れており, 異なる特徴を持つことを定量的に確かめる. 2020 年の朝日新聞コーパス ${ }^{11}$ 中の記事を一般的な記事とし, 各記事中の名詞に対する日本語 word2vec [7] $]^{2}$ の平均ベクトルを記事を表現する分散表現とする。すべての記事に対し分散表現を計算し, その中心ベクトル $\mathbf{c}_{g}$ を一般的な新聞記事を表現したベクトルとみなす. $\mathbf{c}_{g}$ から提案データセット中の各記事を表現する分散表現 $\mathbf{d} へ$ の距離を，以下のようにコサイン類似度を用いて定義する: $\operatorname{dist}\left(\mathbf{c}_{g}, \mathbf{d}\right)=1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{d}\right)$. この距離の提案デー タセット中のすべての記事での平均は 0.34 であった.一方，中心ベクトルから朝日新聞コーパス中の記事への距離は平均すると 0.30 であった. この差が統計的有意であることを $\mathrm{t}$ 検定を用いて確認した.よって，一般的な新聞記事と意味空間上での距離が離れている特徴が確かめられた。

## 3.2 特徵語

探索されるべき記事の特徴を使用語彙の観点から分析する. 具体的には次の式のように単語出現頻度 (TF) の差を用い, 単語 $x$ が探索されるべき記事をどの程度特徴づけるかを表現するスコアを計算する: $\operatorname{diff}(x)=\operatorname{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)-\operatorname{TF}_{G}(x) \operatorname{IDF}_{C+G}(x) . ここ$ で, $\operatorname{TF}_{C}(x)$ と $\operatorname{TF}_{G}(x)$ はそれぞれ，探索されるべき記事の集合 $C$ と一般的な記事集合 $G$ での $x$ の出現頻度である. $\mathrm{IDF}_{C+G}$ は $C$ と $G$ 和集合における IDF で，機能語などの多くの文書に出現する一般的な語のスコアを抑制する. $\operatorname{diff}(x)$ が正の方向に振れると $x$ は探索対象とする記事の特徴語であり, $\operatorname{diff}(x)$ が負の方向に振れると一般的な記事の特徴語である.

結果，正の方向に振れた語には「ツイッターの新機能」「台湾での干ばつ」といったように，稀に起こるイベントについての言及はそれぞれ 22.31，20.88 と高いスコアを得た。また，「テクノロジー」のスコアは 2.34 であり, 技術分野に関する語も高いスコア得た。一方, 一般的な新聞記事を特徴づける語としては「知事の会見」「容疑者の逮捕」など，日常的に起こりう

表 1 意味ラベルの定義と例.

るイベントについての言及は-0.89, - 0.90 と負の方向に振れ，一般的な記事に特徴的な語と認識された。より詳細な単語-スコア対の一覧は付録に含める.

## 3.3 意味ラベル付与によるコメント分析

次にコメント部分についての分析を行う。提案デー タセットから無作為に 30 コメントを抽出し, 手作業でコメントに含まれる各文に対し表 1 に定義する, 意味ラベルを付与する. 付与作業においては 1 つの文に対し, 複数ラベルの付与を許容する. 例えば, 「トミーがバイオリンのおもちゃを発売した」という記事に対し,「様々なおもちゃが近年発売されている.」というコメント記述は“背景”とラベル付ける。

結果， $83 \%$ のコメント (30 のうち 25 ) は “要約”もしくは “背景”という事実について言及する文から始まり，“主張”や“見込み”といった主観的な意見へと続いた. 30 コメントのうち 4 コメントは事実を含まず，主観的な意見のみ記述された。ただ 1 つ例外的に主観的な意見を含まず，“感想” のみのコメントが存在した. 客観的な記述と主張などの主観的な記述を含む $83 \%$ 部分である 25 コメントに着目すると，うち $76 \%$ (25 のうち 19) は “要約” から始まり, 24\%(25 のうち 6) は元の記事には含まれない “背景” 情報を提示した。

## 4 モデル

文書探索モデルは記事集合を入力とし，各記事に対し中長期的な社会変化を示唆するか否か表現するスコアを計算し，スコアが高い順に並べ替え出力する。ス表 2 文書探索モデルの適合率, 再現率, $\mathrm{F}$ 値.

表 3 文書探索モデルのランキング性能.

コア計算の手法として，1) BERT [8] による二値分類,

2) 一般的な新聞記事からの距離および 3) IDF を用いたヒューリスティックを比較する．BERTによる手法は提案データセット中の記事を正例, 朝日新聞コーパスからサンプルした記事を負例として二値分類器を学習する。一般的な記事からの距離は朝日新聞コーパスからサンプルした記事集合の中心ベクトル $\mathbf{c}_{g}$ とスコアリング対象記事の分散表現 $\mathbf{x}$ を用い，スコアを $1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{x}\right)$ として計算する. ヒューリスティックによる手法は，探索されるべき記事には特異な語が多いと考え，スコアリング対象記事中の名詞のIDF の平均値をスコアに用いる: $\frac{\sum_{1}^{n} \operatorname{IDF}\left(x_{i}\right)}{n}$.

コメント生成モデルは探索した記事を 1 つ入力し， コメントを出力する. 本研究では単一文書要約において良い性能が報告されている BART [6] を提案データセットコメントを用いてファインチューニングする.

## 5 実験と評価

## 5.1 データとパラメータ

BERT の学習には提案データセットのうち 2020 年に発行された 320 記事を正例として用い，2020 年に発行された朝日新聞記事のうち 8000 件を無作為に抽出し負例とする.データセットを $3: 1: 1$ の割合に分割し, それぞれ学習, 開発, 評価セットとして用いる.二值分類器の出力スコアがしきい值 $\delta$ 以上の場合に分類対象記事を正例であると判定し, $\delta$ は開発セットを用いて決定する．BARTには京大の配布するモデル 3) を用いる。自動要約においてよく用いられるパラメー タ設定 ${ }^{4)}$ でファインチューニングする.
表 4 被験者が作成したシナリオについての統計.

## 5.2 文書探索の自動評価

表 2 に探索モデルの適合率, 再現率, $\mathrm{F}$ 値を示す. また，表 3 に適合率@ $\mathrm{N}$ をの値を 5 から 100 まで変化させた値を示す．BERTによる手法は $\mathrm{F}$ 値において 58.1 で，意味的な距離による手法の 10.5 や IDF の 13.7 よりも良い。適合率 $@ \mathrm{~N}$ におても， $\mathrm{N}=5$ の設定で BERT による手法は 0.80 を示し，意味的な距離やIDF による手法の 0.40 よりも高い值を示した。 $N$ の値を大きくすると, 教師あり学習に基づく手法は $N=100$ まで大きくしても值の低下は 0.70 に抑えられるのに対し, 意味的な距離に基づく手法および IDF による手法はそれぞれ 0.02 と 0.09 で，性能が著しく低下する。提案データセットによる教師あり学習は, 適合率 @N の観点からもより頑健なモデルといえる。

## 5.3 自動探索文書の実利用による人手評価

既存評価指標だけでなく, 自動探索記事を専門家によるシナリオ作成に実際に用いる実験を行い，実利用での効果を検証する。この実験では，まず，BERTが高いスコアを与えた 75 記事と人手収集した 75 記事を無作為に混ぜ合わせ，合計 150 記事からなる記事集合を作成する. SFM の知識を持つ 17 人に 150 記事を提示し，記事集合を目視しながら一人あたり 5 シナリ才を作成させ，合計 $85(17$ 人 $\times 5)$ のシナリオを得る。各シナリオは 1 つ以上の記事を基に作成され，シナリオ作成の際に参考にした記事も併せてアノテーションさせた. 結果， 1 つのシナリオは平均して 4.8 個の記事を基に作成された。表 4 に被験者が作成したシナリオの統計を示す. 85 シナリオのうち 71 シナリオは自動探索した記事と人手収集した記事を組み合わせて作成したものであった。探索文書のみを組み合わせ作成したシナリオが 11 存在し, これは人手収集記事のみを組み合わせ作成した 3 つのシナリオよりも多い。これらを合計すると， 85 シナリオのうち $96.4 \%$ (82 シナリオ) という高い割合で, 1 記事以上の自動探索記事が専門家たちに活用されたことが確かめられた。

表 5 コメント生成問題の自動評価結果。

## 5.4 コメント生成の自動評価

表 5 に ROUGE の値を示す.BART は ROUGE-1と ROUGE-Lにおいてリード 3 よりも高い値を示した.一方，ROUGE-2 においてはリード 3 法よりも低い值であった。 3.3 節で述べたように人間のコメントの冒頭部分には入力文書の要約が含めらやすく, この要約部分の多くは原文書を言い換えない抽出型の要約となっている．BART が原文書の言い換えを許容する生成型の要約手法であるのに対し，リード 3 は文抽出型の手法である。よって，正解コメントとリード 3 法の出力で単語の重複が多くなり, ROUGE-2 の値が大きくなる。実際の生成コメントは付録に例示する。

## 5.5 コメントの採点による人手評価

人手採点による評価結果を付録の表 6 に示す. 表に示す値は行に示す手法が列に示す手法より良いと判定された回数である.上から順に 1) 未来の変化を想起させるか，2）流暢さ，3) 正しさの 3 つの観点における值を示す．結果，未来の変化を想起させるかという観点では, BART が 51 回リード 3 よりも良いと判定されたのに対し, リード 3 は BART よりも良いと判定されたのは 41 回であった.よって, BART の出力にはリード 3 と比較し，より未来の変化を想起させる記述が含まれる。一方，参照コメントは BART よりも 72 回良いと判定されており，BART がより良いと判定された回数はわずか 18 回である. 付録の出力例に示すように，要約などの客観的な記述と意見などの主観的な記述を混在させた出力を得るのが難しい，言語生成モデルには言語の客観性，主観性の制御といた $\mathrm{t}$ 観点からの拡張が必要である。

## 6 おわりに

ホライゾン・スキャニングを自動化するため，文書探索及び言語生成とデータセットを提案した．BERT による手法は自動および人手評価により，実用的な性能が得られることを確認した。コメント生成は，最先端の言語生成モデルを用いたとしても主観的なコメン卜を正しく生成するのが難しく挑戦的な課題であることが分かった。主観的な記述と客観的な記述を正しく制御する新たな言語生成技術が必要であらう。

## 謝辞

本研究の成果は LREC2022 [9] およ

び KICSS2022(Nishino, Washida, Ishigaki, Washino, Igarashi, Murai, and Nagai 2022) の発表論文を基にした. 本研究は, JST 次世代研究者挑戦的研究プログラム JPMJSP2102 の支援を受けたものです. 整備したデータセットの元となる記事およびコメントを提供くださった一橋大学の MBA コース学生の皆様, ワークショップの参加者に感謝します. 人手評価におけるデータ収集は, JAIST の倫理審査委員会の承認を得ています. 計算には産総研の AI 橋渡しクラウド (ABCI) を利用しました。実験には朝日新聞コーパスを使用しました。

## 参考文献

[1] Ziauddin Sardar. The namesake: Futures; futures studies; futurology; futuristic; foresight - what's in a name? Futures, Vol. 42, No. 3, pp. 177-184, 2010.

[2] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. foresight, 2020.

[3] Ozcan Saritas. Systemic foresight methodology. In Science, technology and innovation policy for the future, pp. 83117. Springer, 2013.

[4] Yuichi Washida and Akihisa Yahata. Predictive value of horizon scanning for future scenarios. Foresight, Vol. 23, No. 1, pp. 17-32, 2021.

[5] Bhaskar Mitra, Nick Craswell, et al. An introduction to neural information retrieval. Now Foundations and Trends, 2018.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 7871-7880, Online, 2020. Association for Computational Linguistics.

[7] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 4171-4186, Minnesota, USA, 2019. Association for Computational Linguistics.

[9] Tatsuya Ishigaki, Suzuko Nishino, Sohei Washino, Hiroki Igarashi, Yukari Nagai, Yuichi Washida, and Akihiko Mu- rai. Automating horizon scanning in future studies. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 319-327, Marseille, France, June 2022. European Language Resources Association.

2. 入力記事:

徳島大学発のベンチャー企業グリラスは、食用コオロギ事業を拡大するため、総額 2 億 3000 万円を調達した。今回の資金調達を機に、株式公開に向けた体制整備を進める予定だ。グリラスは 5 月にジェイテクトと業務提携し、全自動生産システムを共同開発した。

人間:

最近、日本でも 10 匹と 30 匹のコオロギを使ったフィナンシェが発売され、2日で売り切れたそうだ。私はおせんべい以外、コオロギを使った食品を見たことがないが、いよいよ昆虫食が社会に浸透していく兆しがあるようだ。 BART:徳島大学発のベンチャー企業グリラスが、食用コオロギの事業拡大のため、ベンチャー キャピタルから総額 2 億 3000 万円の資金調達を行った。全自動生産システムの共同開発に取り組んでいる。

表 7 コメントの生成例.


# 所望の患者データを作る： Variational Auto-Encoder による症例報告生成

清水聖司，矢田竣太郎，荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{shimizu.seiji.so8,s-yada,aramaki\}@is.naist.jp

## 概要

医療言語処理の分野では，患者のプライバシーの問題から共有可能な医療ドメインコーパスが少ない.そのため，コーパスを自動生成する研究がなされている. 現状ではコーパス生成の手法として事前学習済みモデルを用いた，プロンプトを条件として生成する手法 (prompt-based の手法) が広く用いられているが，コントロール性の高い生成が困難である. Variational Auto-Encoder (VAE) を使った連続的条件からの生成では, prompt-based にはできないコントロール性の高い生成が実現できる可能性がある. 本論文では VAEベースの症例報告生成モデルを学習し, (1) 医学概念が潜在空間から再構成できるか，(2) 条件同士の距離関係と，生成される症例報告に含まれる医学概念の類似度の対応関係，の $2 \supset$ の観点から評価する。

## 1 はじめに

自然言語処理研究において，異なる手法の統一的な比較は，特定のタスクにおける手法の有効性の検証や，それに基づく手法の改善のために必須である.よって，そのような比較を可能にする共有可能なコーパスは，分野発展において重要である。しかし, 医療言語処理の分野では，患者のプライバシー の問題から共有可能な医療ドメインコーパスが少ない $[1,2]$. そのため，個人情報を削除する匿名化， またはコーパスの言語生成モデルを使った生成, といったアプローチで共有可能なコーパスを構築する試みがなされてきた。

生成を使ったアプローチにおいて，現状では事前学習済みモデルを用いたプロンプトを条件としてコーパスを生成する手法 (prompt-based の手法) が広く用いられている. しかし，この手法では，生成の条件が離散的であり，プロンプトのデザインが恣意的であるため，コントロールが困難である.

一方で，Variational Auto-Encoder (VAE)を使った連続的条件からの生成では，テキストを潜在空間に次元削減し，そこからテキストを再構成することによって，コーパス全体を一つの連続的なべクトル空間に埋め込むことができる。このような埋め込みが出来ると, Prompt-based の手法にはできないコントロール性の高い生成が実現できる可能性がある [3].

そこで，本論文ではVAEベースの症例報告生成モデルを評価した．具体的には，(1) 入力された症例報告を潜在変数に変換し，変換された潜在変数から元の症例報告に含まれる医学概念再構成できるか，(2) 条件同士の距離関係と, 生成される症例報告に含まれる医学概念の類似度が対応するかを評価した. 評価の結果，医学概念の再構成に関しては疾病、傷害及び死因の統計を国際比較するために用いられる ICD コードの, 頭文字の粒度で可能であることが示された. また，潜在変数の距離関係が，生成された症例報告に含まれる医学概念の類似度と対応することが示された。

## 2 関連研究

共有可能な医療コーパス構築において,コーパスを公開することで，患者のプライバシーが危険にさらされる可能性がある。この問題に対し, 主に匿名化または生成のアプローチが用いられる．匿名化はコーパスから個人情報を消す手法であり [4], 匿名化された有名なコーパスに MIMIC [5] がある。しかし，匿名化には，コーパスのサイズが大きくなるほど完全には個人情報を消しきれないという問題がある。

生成は近年発展を遂げたテキスト生成技術を用いて，人工的なコーパスを生成する手法である.この手法では，医療コーパスを用いて言語生成モデルを学習し，学習したモデルから自動的に医療テキスト
表 1 再構成された症例報告の例. 上段が，Optimus に入力された症例報告，下段が潜在変数から生成された症例報告で，下線は入力された症例報告から再構成されている要素を示す.

を生成することでコーパスを構築する.

## 2.1 医療テキスト生成

現状の医療テキスト生成には主に，Transformer ベースの学習済みモデルにプロンプトを条件として生成する手法が用いられている.

GPT-3 [6] を用いて病名を条件として，その定義を生成した手法 [7] や，医療ドメインにおけるファクトイド質問応答のために T5 [8] を用いて疑問文を生成した手法 [9] などが存在する. Amin-Nejad らは, Prompt-based の手法を用いて電子カルテを自動生成することでコーパスを構築し，構築されたコーパスを下流の分類タスクにおいて評価した [10]. この研究において，下流タスクにおいて，生成されたコー パスのみを用いた時の精度は，実際のコーパスを用いた時の精度に及ばなかった。

## 2.2 連続的条件からののテキスト生成

望ましい医学概念の分布を持ったコーパスを構築するには，コントロール性の高いテキスト生成が必要である．例えば，肺がんのあらゆるケースを想定して, 肺がん患者という医学概念を固定して，あらゆる年齢・性別などの個人特性を表す言語表現を持ったコーパスを構築できることが望ましい.

Prompt-based の手法を含む，学習済みモデルをそのまま Fine-tuning する手法は, 汎用的な使用を目的とした事前学習済みモデルをそのまま用いるため,望ましい医学概念の分布を持ったコーパス構築するという使用目的に適さない可能性がある. 特に, 文書同士のグローバルな関係性を捉えることができず，条件に対する操作もプロンプトの入力変更に限られているという問題がある。

一方で，VAE [11] は，連続的条件からの生成が可能であり，テキスト同士のグローバルな関係もモデルの内的表現として得ることができる. Liu らの研究では，潜在空間においてエネジー関数を学習し，学習したエナジー関数をもとに，生成の条件となる潜在変数数をサンプルすることで，ある特定の特性を持ったテキストを生成可能なことが示された [12]. この手法では，様々な初期条件から連続的に潜在変数を変化させ特定の特性を持ったテキストを生成可能であり，ある医学概念を固定して，他の特性を連続的に変化させるといった操作が実現可能である.

## 3 材料

本研究では，医療テキストデータとして 1975 年から J-Stage に投稿された論文データに含まれる症例報告論文を使用した. ここから以下の条件で，対象となる症例報告論文を抽出した。

1. タイトルに“症例”を含む

2. アブストラクトが“症例は”から始まる

3. アブストラクトの文字数が 350 文字以下である

以下で使う症例報告は, 上記全ての条件を満たすデータ 11,181 件のアブストラクトとし, JST-CR と呼ぶ.

## 4 生成手法

## 4.1 Optimus

VAE ベースの症例報告生成モデルとして Optimus [13] を用いた. Optimus はVAEをべースとして，Encoderに BERT+Linear 層を用い，Decoder に Linear 層+GPT2 を用いたモデルである.

Optimus の学習では，Decode の時に，潜在変数の情報が無視されて生成される KL collapse を防ぐために KL annealing が用いられる. KL annealing では,学習において，ハイパーパラメータ $\beta$ を周期的に変化させる. Optimus の学習の目的関数は以下の通り

である.

$
\begin{aligned}
L_{\beta} & =L_{E}+\beta L_{R} \quad \text { with } \\
L_{E} & =\mathbb{E}_{q_{\phi}(z \mid x)}\left[\log p_{\theta}(\mathbf{x} \mid \mathbf{z})\right] \\
L_{R} & =\operatorname{KL}\left(q_{\theta}(\mathbf{x}) \| p(\mathbf{z})\right)
\end{aligned}
$

$L_{E}$ は入力と出力が同じになるようにする Reconstruction Loss であり， $L_{R}$ は潜在変数の分布を事前分布と近くする KL Divergence Loss である. 症例報告生成のために, Encoder の BERT には UTHBERT [14], Decoder の GPT-2 には日本語コーパスで事前学習した GPT-2 [15] を用いた. UTH-BERT は東大病院に蓄積された約 1 億 2 千万文の電子カルテ文書を使って学習された BERT モデルである.

## 4.2 生成の流れと例

JST-CR のアブストラクトを入力として，Encoder により入力を潜在変数に変換，そして潜在変数を再構成し，アブストラクトを生成した. 学習した Optimus によって出力された文章の例を表 1 に示す.下線は入力された症例報告の要素がモデルによって再構成された部分を示す.この例では，元の症例報告の大部分を再構成できていることがわかる.

## 5 評価実験

潜在変数からの生成には，潜在空間において医学概念の関係性が表現されており, そこから症例報告の中に特定の医学概念を再構成できることが重要である．また，潜在空間での操作を生成に反映させるためには，ある潜在変数を変化させたときに，それに対応して，生成される医学概念が変化することが重要である。そこで，(1) 医学概念が潜在空間から再構成できるか (2) 条件同士の距離関係と, 生成される症例報告に含まれる医学概念の類似度が対応するかを評価した。

## 5.1 評価方法

医学概念の再構成は Optimus に入力された症例報告と Optimus から出力された症例報告を比較することにより評価した．潜在空間における条件同士の距離と, 生成される症例報告に含まれる医療概念の類似度が対応するかは，ある潜在変数に異なるノルムの摂動を加え，そこから生成される症例報告と元の潜在変数から生成される症例報告とを比較することにより評価した。

図 1 EvalCorr での潜在空間における操作．摂動なしは，摄動を加える前の潜在変数を表し，赤い点は様々な大きさのノルムの摂動が加えられた潜在変数を表す. それぞれの潜在変数から症例報告を生成し，評価した。

## 5.1.1 EvalRecon : 医学概念再構成の評価

医学概念が潜在空間から再構成できていれば，入力された症例報告と出力された症例報告は，その中に含まれる医学概念が類似するはずである．そこで，Optimus に入力された症例報告と Optimus から出力された症例報告の類似度を測ることで，医学概念の再構成の評価とした. 以下ではこの評価を EvalReconとする.

## 5.1.2 EvalCorr : 条件の距離と類似性の対応評価

潜在空間での操作が生成される症例報告に反映されるかを，条件同士の距離関係と，症例報告に含まれる医学概念の類似度が対応するかを基に評価した. 具体的には，まず，図 1 のように，評価データ中の症例報告を潜在変数に Encode して，その潜在変数に対して，0.01 から 10 のノルムを持つランダムな摂動を加え, 元の潜在変数から生成された症例報告と摂動を加えられた潜在変数から生成された症例報告の類似度を測った. ノルムが大きくなるにつれ，類似度がそれに対応して下がるかどうかを評価した．以下ではこの評価を EvalCorr とする。

## 5.2 評価指標

2 文書の症例報告の類似度を定量的に評価する。

そのために，参照文と生成文の n-gram ベースの一致度を測る指標である BLEU と，文中に含まれる医学概念の一致度を測る指標である NER一致度を用いた. NER 一致度の計算方法は以下の通りである。
1. 2 文書の症例報告に対して, $\mathrm{NE}$ 抽出器の RealMedNLP_CRJJA [16] を使いNER を施す.

2. NER 結果から病名と藏器・部位を抽出する。
表 2 EvalRecon の評価結果 (NER 一致度). Optimus に入力された症例報告と, Optimus から出力された症例報告に NER を施し，一致の Precision と Recall を計算した。

図 2 EvalCorr の結果. 縦軸は評価指標のスコア (F1),横軸は摂動のノルムに対し，常用対数を取ったものを表す.
3. 2 つの症例報告から抽出された病名と臟器・部位を比較し，Recallと Precisionを計算する。

病名の NER 一致度に関しては，NER の結果得られた病名を DNorm-Jにより正規化したものと，病名をICD10コードに変換し，その頭文字をとったもの (ICD) を使って NER 一致度を計算した。

## 6 結果と考察

実験では，JST-CRを 8:1:1 に分割し，それぞれを学習・検証・評価データとして用いた。学習したモデルを 5 章で述べた方法と指標で，JST-CR の評価データを使って評価した. EvalRecon の結果から， ICD の粒度では，医学概念の再構成ができていることが示唆される． EvalCorr の結果，ノルムの大きさに対応して，生成された症例報告に含まれる医学概念の類似度が下がっていることから，条件同士の距離関係と，生成される症例報告に含まれる医学概念の類似度が対応していることが示唆される。

## 6.1 EvalRecon

入力された症例報告と出力された症例報告に対して BLEU スコアと NER 一致度を計算した。評価データ全体の平均の BLEU スコアは 0.315 であった. NER 一致度は表 2 の通りである. ICD の NER 一致度は，Precision が 0.543 , Recall が 0.520 であった。

図 3 JST-CR の評価データにおける ICDコードの分布 (original) と, Optimus により生成されたコーパス (generated) における ICD コードの分布. 横軸は ICD コー ドの頭文字，縦軸は頻度を表す。

## 6.2 EvalCorr

各症例報告に対して 10 回ランダムな方向の摂動を施し，スコアを平均したものを一つの症例報告に対するスコアとした。ノルムと各スコアの相関係数は, BLEU が -0.970 , NER 臟器・部位が -0.875 , NER 病名が -0.885, ICD が -0.969 であった. 評価データ全体のスコアを摂動のノルムごとに平均した結果を図 2 に示す. 図 2 から臟器・部位以外はスコアがおおよそノルムと対応し，下がっていることがわかる.

## 6.3 ICD コード分布の比較

生成されたコーパスが，JST-CR 評価データの ICD コード分布をどの程度再現できるかを評価した. JST-CR の評価データに含まれる ICD コードの頭文字の分布と，生成された症例報告における ICD コードの頭文字の分布を図 3 に示す. 2 つの分布の KL Divergence は 0.020 ，分布内の順位相関係数は 0.941 （p 值 $\leq 0.01)$ であった. この結果から，生成されたコーパスは，ICD コードの頭文字の分布を再現できていることが示唆される。

## 7 おわりに

本研究では，VAEベースのモデルである Optimus を使い，症例報告生成を再構成して生成した。実験の結果，ICD の粒度で医学概念の再構成が可能であることと，症例報告に含まれる医学概念を，潜在空間における条件同士の距離に対応させて変化させることが可能であることを示した。

## 謝辞

本研究は，JST AIP 日独仏 AI 研究 JPMJCR20G9, JST CREST JPMJCR22N1, 国立情報学研究所 (NII) CRIS の支援を受けたものである.

## 参考文献

[1] Eiji Aramaki, Shoko Wakamiya, Shuntaro Yada, and Yuta Nakamura. Natural Language Processing: from Bedside to Everywhere. Yearbook of Medical Informatics, June 2022.

[2] Udo Hahn and Michel Oleynik. Medical Information Extraction in the Age of Deep Learning. Yearbook of Medical Informatics, Vol. 29, No. 1, pp. 208-220, August 2020.

[3] Dayiheng Liu, Jie Fu, Yidan Zhang, Chris Pal, and Jiancheng Lv. Revision in continuous space: Unsupervised text style transfer without adversarial learning. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8376-8383, 2020.

[4] Tawanda Sibanda and Ozlem Uzuner. Role of local context in automatic deidentification of ungrammatical, fragmented text. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 65-73, June 2006.

[5] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei H Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark. MIMIC-III, a freely accessible critical care database. Scientific data, Vol. 3, No. 160035, pp. $1-9,2016$.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[7] Bosung Kim and Ndapa Nakashole. Data augmentation for rare symptoms in vaccine side-effect detection. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 310-315, May 2022.

[8] Hermann Bujard, Reiner Gentz, Michael Lanzer, Dietrich Stueber, Michael Mueller, Ibrahim Ibrahimi, MarieTherese Haeuptle, and Bernhard Dobberstein. [26] a t5 promoter-based transcription-translation system for the analysis of proteins in vitro and in vivo. In Methods in enzymology, Vol. 155, pp. 416-433. Elsevier, 1987.

[9] Dimitris Pappas, Prodromos Malakasiotis, and Ion Androutsopoulos. Data Augmentation for Biomedical Factoid Question Answering. arXiv preprint, Vol. arXiv:2204.04711, , 2022.

[10] Ali Amin-Nejad, Julia Ive, and Sumithra Velupillai. Exploring transformer text generation for medical dataset augmentation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4699-4708, 2020.

[11] Diederik P Kingma and Max Welling. Auto-encoding vari- ational bayes. arXiv preprint arXiv:1312.6114, 2013

[12] Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen $\mathrm{Li}$, and Zhiting Hu. Composable text control operations in latent space with ordinary differential equations. arXiv preprint arXiv:2208.00638, 2022.

[13] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. arXiv preprint arXiv:2004.04092, 2020.

[14] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[15] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 169-170, 2021.

[16] Tomohiro Nishiyama, Mihiro Nishidani, Aki Ando, Shuntaro Yada, Shoko Wakamiya, and Eiji Aramaki. Naistsoc at the ntcir-16 real-mednlp task.

## A 参考情報

## A. 1 潜在空間の可視化

Optimus によって構築された潜在空間を可視化したものを図 4 に示す. タイトルに含まれる病名の ICD コードの頭文字 (ICD の軸) ごとに色分けした.

同じ ICD コードをもつ症例報告同士で固まっているのは $\mathrm{C}, \mathrm{K}, \mathrm{H}$ で，それぞれ腫瘍，消化器系，眼科・耳鼻科系の病気を表すコードである. このことから，これら 3 つに関する症例報告は，ある程度一貫した言語的特徴を持っていると推測される.

図 4 潜在空間の可視化. UMAPを用いて潜在変数を 2 次元に表現した. アルファベットは ICD コードの頭文字を表す。


# 食感の物性と言語表現の対応の推定

上原宏 ${ }^{1,2}$ 持橋大地 1
1 総合研究大学院大学統計科学専攻 2 立正大学 データサイエンス学部 3 統計数理研究所
\{uehara,daichi\}@ism.ac.jp

## 概要

レシピ共有サイトに記述される多様な食感表現は，レシピ材料の硬さ，粘り気などの違いによるところが大きいが，両者の関係はこのサイトの情報だけではわからない. 本研究では，材料構成と食感の物性（レオロジー）との関係を実証した調理科学研究データを収集し，それらとレシピ共有サイト上の食感表現との対応の推定を試みる。これにより様々な食感表現が，材料のどのような食感物性から知覚されるのかについて統計的なモデル化を行う。

## 1 はじめに

大量のレシピに記述される日本語の食感表現は約 450 種類あるとされ [1]，レシピ共有サイトにも，様々な食感の記述が見られる. 各レシピの食感表現の違いは，知覚の個人差はあるものの，主にレシピの材料構成によると考えられる. 調理科学の研究では，材料濃度構成の違いによる食感の違いを，食感物性（レオロジー）の測定により定量評価する実証研究が行われている ([2], [3]). しかし，食感物性が，人が知覚する食感としてどのようなものかは、限られた評価者による実証研究にとどまっている [7]. 本研究では, レシピ共有サイトの食感表現と材料濃度データにもとづき, 調理科学研究の食感物性データとの対応関係を推定する方法を提案し，食感表現が材料のどのような物性特徴によるものかを推定する。

次章で提案手法を述べ，3 章で適用対象のデータを説明する。続いて 4 章にてデータの解析結果および評価を記述し， 5 章にて結論を述べる.

## 2 提案手法

本研究では, ゼラチン, 寒天, アガーの 3 種類の凝固剤を用いたレシピ（以降，ゲルレシピ）を対象として，レシピ共有サイトから対象レシピを収集し，食感表現トピックと，材料濃度トピックのペア

図 1 食感表現と凝固剤濃度を生成する結合トピックモデル

からなる食感トピックを結合トピックモデル [4] を用いて推定する．材料濃度トピックは調理科学の食感物性測定条件と同様なデータ形式であり，食感物性との対応付けが可能となる. 以下，提案手法の詳細を述べる。

## 2.1 対象データの抽出

## 2.1.1 食感の固有表現の抽出

日本語の食感用語を網羅的に調査した “日本語テクスチャー用語体系1)”を辞書として，レシピ共有サイトからレシピ毎の食感の固有表現を抽出した。

## 2.1.2 材料濃度ベクトルの収集

レシピ共有サイトの材料リストより，凝固剤の濃度および，エマルション2)の濃度を算出し，レシピ毎に凝固剤ベクトル，エマルションベクトルを収集した。なお，濃度の微小な違いが食感に大きく影響することがあるため, 濃度を情報量 $(-\log )$ に変換した特徴量を用いている。

## 2.2 食感トピックの推定

## 2.2.1 生成モデル

図 1 のとおり，食感トピックは食感表現語彙の潜在トピック $\mathbf{Z} ＼mathrm{~ ， およひ ゙ それに対応する凝固剤の濃度 ~}$ ベクトルの潜在トピック $\mathbf{Y}$ のペアで構成する. 食感表現は， $\mathbf{Z}$ のもで， $\operatorname{Dir}(\gamma)$ をディリクレ事前分布

とする多項分布 $\operatorname{Mult}(\mathbf{W} \mid \phi)$ に従うとし，一方，凝固剂濃度ベクトル $\mathbf{g}$ は， $\mathbf{Y}$ のもとで， $\mathcal{N} \mathscr{W}\left(\beta_{g}, v_{g}, S_{g}\right)$ をガウスウィシャート事前分布とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mu, \boldsymbol{\Lambda})$ に従うとする. 調理科学では，凝固剤のみによる食感をべースラインとして，エマルションを混合した場合にどのような変化が顕れるかを実証したものが多い $[3,5,11]$. そこで，エマルションの濃度 $\mathbf{e}$ については, 凝固剤の潜在トピック $\mathbf{Y}$ のもとで,NW $\left(\beta_{e}, v_{e}, S_{e}\right)$ をガウスウィシャート事前分布とする正規分布 $\mathcal{N}(\mathbf{g} \mid \mathbf{m}, \mathbf{L})$ に従うとする. 生成モデル，および生成過程を以下に示す.

## 生成モデル

$p(\mathbf{W}, \mathbf{Z}, \theta, \phi, \mathbf{g}, \mathbf{y}, \mu, \boldsymbol{\Lambda}, \mathbf{e}, \mathbf{L})=$

$\operatorname{Dir}(\theta \mid \alpha) \operatorname{Dir}(\phi \mid \gamma) \prod_{n} \operatorname{Mult}\left(z_{d_{n}} \mid \theta_{d}\right) \operatorname{Mult}\left(w_{d_{n}} \mid \emptyset_{\mathbf{k}}, z_{d_{n}}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mu_{\mathbf{0}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \prod \operatorname{Mult}\left(y_{d} \mid \theta_{d}\right) \mathcal{N}\left(\mathbf{g}_{\mathbf{d}} \mid \mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}}, y_{d}\right)$

$\times \mathcal{N} \mathscr{W}\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{m}_{\mathbf{0}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right) \prod_{\mathbf{d}}^{\mathbf{d}} \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}}, y_{d}\right)$

## 生成過程

1. For $k \in 1, \ldots, K$ :

(a) $\phi_{\mathbf{k}} \sim \operatorname{Dir}(\gamma)$

(b) $\mu_{\mathbf{k}}, \mathbf{\Lambda}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right)$

(c) $\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \sim \mathcal{N} \mathscr{W}\left(\mu_{\mathbf{0}}^{\mathbf{e}}, \beta^{e}, v^{e}, \mathbf{S}^{\mathbf{e}}\right)$

2. For $d \in 1, \ldots, D$ :

(a) Draw $\theta_{\mathbf{d}} \sim \operatorname{Dir}(\alpha)$

(b) For $n \in 1, \ldots, N_{d}$ :

i. Draw $z_{d_{n}} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

ii. Draw $w_{d_{n}} \sim \operatorname{Mult}\left(\phi_{\mathbf{z}_{\mathbf{d}_{\mathbf{n}}}}\right)$

(c) Draw $y_{d} \sim \operatorname{Mult}\left(\theta_{\mathbf{d}}\right)$

(d) Draw $\mathbf{g}_{\mathbf{d}} \sim \mathcal{N}\left(\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)$

(e) Draw $\mathbf{e}_{\mathbf{d}} \sim \mathcal{N}\left(\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}\right)$

ここで，各変数は以下を意味する。

$\phi_{\mathbf{k}}$ : トピック $k$ 毎の食感表現語彙分布. 事前分布パラメータ $\gamma$.

$\mu_{\mathbf{y}_{\mathbf{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のゲル濃度分布. 事前分布パラメー タは, $\mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, \nu^{g}, \mathbf{S}^{\mathbf{g}}$

$\mathbf{m}_{\mathbf{y}_{\mathbf{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}: k$ 毎のエマルション濃度分布

$\theta_{\mathbf{d}}$ : 文書 $d$ (レシピ）毎のトピック分布パラメー

タ. 事前分布パラメータは， $\alpha$.

$z_{d_{n}}$ : 食感表現語彙 $w_{d_{n}}$ の潜在トピック.

$y_{d}:$ ゲル濃度 $g_{d}$ の潜在トピック

$\mathbf{g}_{\mathbf{d}}$ : 凝固剂濃度

$\mathbf{e}_{\mathbf{d}}$ : エマルション濃度

## 2.2.2 トピックの推定

Gibbs sampling により, 潜在トピック $z_{d_{n}}, y_{d}$ および，トピック毎の分布パラメータ $\phi_{\mathbf{k}}, \mu_{\mathbf{y d}_{\mathrm{d}}}, \Lambda_{\mathbf{y}_{\mathrm{d}}}, \mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathrm{d}}}$ を推定する．収束判定は，perplexity，および， $\phi_{k}$ の語彙確率の大小関係が一定になることによる.

1. 食感表現の潜在トピック $z_{d_{n}}$

$
\begin{aligned}
& p\left(z_{d_{n}}=k \mid \mathbf{W}, \mathbf{Z}^{-\mathbf{d}_{\mathbf{n}}}, \alpha, \gamma, \mathbf{y}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
& \quad \propto\left(N_{d k}^{-d n}+M_{d k}+\alpha\right) \frac{N_{k, w_{d n}}^{-d n}+\gamma}{N_{k}^{-d n}+\gamma \mathbf{V}}
\end{aligned}
$

ここで，各変数は以下を意味する.

$N_{d k}, M_{d k}: d$ で $k$ に所属する食感表現語彙数および，凝固剤べクトルの数 $N_{k}: k$ に所属する食感表現語彙の数 $N_{d}, M_{d}: d$ の食感表現語彙の数，および凝固剤ベクトルの数 $(=1)$

$N_{k w}: k$ に所属する食感表現語彙別の数

$N_{d k}^{-d n}: d$ において,$d_{n}$ を除き $k$ に所属する

食感表現語彙の数 (以降，左上添え字“-”は同様な除外を意味する)

2. 凝固剤濃度の潜在トピック $y_{d}$

$
\begin{array}{r}
p\left(y_{d}=k \mid \mathbf{W}, \mathbf{Z}, \alpha, \gamma, \mathbf{y}^{-\mathbf{d}}, \mathbf{g}, \mu, \boldsymbol{\Lambda}, \mu_{\mathbf{0}}^{\mathbf{g}}, \beta^{g}, v^{g}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \frac{N_{d k}+M_{d k}^{-d}+\alpha_{k}}{N_{d}+M_{d}-1+\sum_{k} \alpha_{k}} \times \mathcal{N}\left(\mathbf{e}_{\mathbf{d}} \mid \mu_{\mathbf{y}_{\mathbf{d}}}, \mathbf{\Lambda}_{\mathbf{y}_{\mathbf{d}}}\right)
\end{array}
$

3. 凝固剤濃度のトピック別分布 $\mu_{\mathbf{y}_{\mathrm{d}}}, \boldsymbol{\Lambda}_{\mathbf{y}_{\mathrm{d}}}$

$
\begin{array}{r}
p\left(\mu_{\mathbf{k}}, \boldsymbol{\Lambda}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{g}, \mu^{-\mathbf{k}}, \mathbf{\Lambda}^{-\mathbf{k}}, \mu_{\mathbf{0}}, \beta^{\mathbf{g}}, \nu^{\mathbf{g}}, \mathbf{S}^{\mathbf{g}}\right) \\
\propto \mathcal{N}\left(\mu_{\mathbf{k}} \mid \mu_{\mathbf{c}},\left(\beta^{\mathbf{g}} \boldsymbol{\Lambda}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\boldsymbol{\Lambda}_{\mathbf{k}} \mid v_{c}^{g}, \mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)
\end{array}
$

ここで，各変数は以下を意味する。

$
\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}=\left(\mathbf{S}^{\mathbf{g}}\right)^{-1}+\sum_{\mathbf{g}_{\mathbf{d} \in} \in \text { topic k }}\left(\mathbf{g}_{\mathbf{d}}-\overline{\mathbf{g}}\right)\left(\mathbf{x}_{\mathbf{d}}^{\mathbf{g}}-\overline{\mathbf{g}}\right)^{\mathbf{T}}+
$

$
\begin{aligned}
& \frac{N_{k} \beta g}{N_{k}+\beta^{g}}\left(\overline{\mathbf{g}}-\mu_{\mathbf{0}}\right)\left(\overline{\mathbf{g}}-\mu_{0}\right)^{\mathbf{T}} \\
& \overline{\mathbf{g}}=\frac{1}{N_{k}^{g}} \sum_{\mathbf{g}_{\mathbf{d}} \in \text { topick }} \mathbf{g}_{\mathbf{k}}, \mu_{\mathbf{c}}=\frac{N_{k}^{g} \overline{\mathbf{g}}+\beta^{g} \mu_{0}}{N_{k}^{g}+\beta^{g}}
\end{aligned}
$

$\boldsymbol{\Lambda}_{\mathbf{c}}=\left(N_{k}^{g}+\beta^{g}\right) \boldsymbol{\Lambda}_{\mathbf{k}}, v_{c}^{g}=v^{g}+N_{k}^{g}$

$\sum_{\mathbf{g}_{\mathbf{d}} \text { topic } \mathbf{k}}$ : topic $\mathbf{k}$ に所属する $\mathbf{g}_{\mathbf{d}}$ のレシピ数

4. エマルション濃度のトピック別分布 $\mathbf{m}_{\mathbf{y}_{\mathrm{d}}}, \mathbf{L}_{\mathbf{y}_{\mathbf{d}}}$

$
\begin{array}{r}
p\left(\mathbf{m}_{\mathbf{k}}, \mathbf{L}_{\mathbf{k}} \mid \mathbf{y}, \mathbf{e}, \mathbf{m}^{-\mathbf{k}}, \mathbf{L}^{-\mathbf{k}}, m_{0}, \beta^{\mathbf{e}}, v^{\mathbf{e}}, \mathbf{S}^{\mathbf{e}}\right) \\
\propto \mathcal{N}\left(\mathbf{m}_{\mathbf{k}} \mid m_{c},\left(\beta^{\mathbf{e}} \mathbf{L}_{\mathbf{c}}\right)^{-\mathbf{1}}\right) \mathscr{W}\left(\mathbf{L}_{\mathbf{k}} \mid v_{c}^{e}, \mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)
\end{array}
$

ここで， $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{e}}\right)^{-1}$ は，式 (4)の $\left(\mathbf{S}_{\mathbf{c}}^{\mathbf{g}}\right)^{-1}$ で $g$ を $e$ とした式で表す.また， $\sum_{\mathbf{e}_{\mathrm{d}} \in t o p i c \mathbf{k}}=\sum_{\mathbf{g}_{\mathrm{d}} \in \text { topic } \mathbf{k}}$ である。

なお，食感表現のトピック別分布パラメータ $\phi_{k}$, およびレシピ毎のトピック分布パラメータ $\theta_{d}$ は,
表 1 調理科学の実証研究 [7-12]にもとづくゲルレシピの分析データ.

(a) ゲル素材の濃度別食感物性

(b) ゲル (ゼラチン)・エマルション混合レシピの食感物性. 機器固有の測定単位は Rheology Unit (RU) に統一した. (生ク=生クリーム)

 & 砂糖 & I &  &  & 牛乳 &  &  \\

以下により求める.

$
\phi_{k v}=\frac{N_{k v}+\gamma}{N_{k}+\gamma V}, \quad \theta_{d k}=\frac{N_{d k}+M_{d k}}{N_{d}+M_{d}+\sum \alpha}
$

## 2.3 食感トピックと食感物性との対応推定

調理科学の食感物性実証での凝固剤濃度条件と,上記の凝固剤濃度トピックとの $\mathrm{KL}$ 情報量から，食感物性と食感表現トピックを対応付ける。なお，エマルション濃度のトピックは，対応を推定したトピック中での食感のバリエーションを分析する際に用いる。詳細は，分析結果と評価にて述べる.

## 3 データ

## 3.1 ゲルレシピの収集

レシピ投稿サイト $\mathrm{Cookpad}^{3)}$ より，タイトル，要約，および作り手によるレビュー（つくれぽ）に食感固有表現が出現するゲルレシピ約 10,000 件を抽出した. 更に， 3 種類の凝固剤のいずれかを含み， かつ材料リストの量表記に欠測等がないものを抽出した結果，対象データ数は約 3,000 となった.

図 2 食感物性測定機器の動作イメージ.

## 3.2 調理科学実証データの収集

材料と濃度の異なるゲルレシピに関する食感物性の測定結果を, 調理科学実証研究から抽出した [7-12]. 表 1(a) は， 3 種類の凝固剤について異なる濃度条件での測定結果を, 表 1(b) は， ゼラチンに異なる濃度のエマルションを混合した場合の測定結果である.いずれも材料濃度条件とそれに対応する食感物性值を示している。ここで物性値とは，人の咀嚼を模した測定器具 (図 2) により食品サンプルから検出される以下の 3 種類の応力（レオロジー）特徵量である。

硬さ： 1 回目の圧縮時に検出される最大応力 (図 2 の F1), 最初の咀嚼時に感じる硬さに相当する。

凝集性：1回目の圧縮時の総応力に対する 2 回目圧縮時の総応力の割合 (図 2 の $c / a$ ). 凝集性の小ささは，飲み込みやすさ，もろさに相当する。

粘着性: 1 回目の伸張時に検出される負の総応力 (図 $2 b$ ).

## 4 データ分析結果と評価

## 4.1 食感トピックと食感物性との対応推定

表 2 に食感表現トピック推定結果および，調理科学実証データ (表 1(a)(b)) との対応推定結果を示す.凝固剤，食感表現語彙は，それぞれ濃度，語彙分布確率の降順に小数点 3 位の値を持つものまで表記した. 各食感表現語彙には，日本語テクスチャー用語体系による類型を () 内に付記した。対応データ欄には，提案手法により対応付けた，表 1(a)(b) の各デー タ番号および料理名を示した.

例えば，トピック８の食感表現語彙は，変形しやすさを意味する “ふるふる”となっており，対応付けられたデータ 1,2 は比較的低濃度のゼラチンで，食感物性上の硬さは比較的小さい (表 1(a))，これに対して，トピック 3 では，“硬い”, “むちむち”のよう
表 2 食感表現トピックの検出結果と調理科学レシピとの対応

 \\

図 3 ババロア・ミルクゼリー調理科学レシピと投稿レシピとのエマルション濃度別食感特徴

な噛みごたえに関する語彙および凝集の小ささを意味する“ぽってり”が上位に出現する．対応データ 3,4 は比較的高濃度のゼラチンで，食感物性上の硬さは比較的大きく，凝集性は比較的小さい (表 1(a)). このように食感トピックは，調理科学にもとづく食感物性特徴から整合的に説明できることを示している.

## 4.2 エマルション混合レシピの食感表現と 物性特徴

同一食感卜ピック 3 に所属するババロア，ミルクゼリーの調理科学データ (表 1(b)) の食感のバリエー ションの特徴を図 3 に示す.これは，トピック 3 に所属する 38 個のゲルレシピ (表 2 レシピ数)を，それぞれに出現する硬さ，および凝集を意味する語彙頻度をもとに平面上にプロットし，更にエマルション濃度のババロア，ミルクゼリーに対する類似度 (KL 情報量) で色分けしたものである．濃い赤色ほ
ど類似度が高いことを示す。ババロアと類似するゲルレシピは，より硬くかつ凝集性が高い領域に集中する一方，ミルクゼリーでは，硬いが，凝集性は平均的な領域に集中する. これらバリエーションの特徵は，ババロア，ミルクゼリーおよびレシピ 3 の物性特徴 (表 1)と一致性を示している。

## 5 結論

本研究では，レシピ共有サイトから推定した食感表現特徴が，材料物性からどのように説明できるかを分析するため，結合トピックモデルを用いてレシピ共有サイトの言語データと調理科学実証データとの架橋を試みた。推定結果は，食感表現トピックと，対応する食感物性特徴の一致性を示した。これは提案手法が，食感の言語表現から食感の物性の予測，もしくはその逆の予測を可能にすることを示している.

## 参考文献

[1] 早川文代, “現代日本人の食感表現,” 日本家政学会誌, Vol. 60, No. 1 pp.69-72 ,2009. Other Food Attributes," Food Technology, Vol.17, pp.74-77.1963.

[2] T.Farjamia, and A.Madadloub, "An overview on preparation of emulsion-filled gels and emulsion particulate gels," Trends in Food Science \& Technology, Vol.86, pp.8594,2019 .

[3] 川端晶子, 澤山茂, “低メトキシルペクチンを用いたババロアのテクスチャーについて," 栄養と食糧, Vol.27, pp.55-63,1974.

[4] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP '09, Vol.2, pp.880-889,2009.

[5] 茂木美智子, “ゼリー食品のテクスチャーについて,”調理科学, Vol.1, pp.28-35,1975.

[6] D.Mimno, H.M.Wallach, J.Naradowsky, D.A.Smith, and A.McCallum, "Polylingual topic models," EMNLP' 09, Vol.2, pp.880-889,2009.

[7] 鈴野弘子, 澤山茂, 川端晶子, “愛玉子ゲルのテクスチャープロフィル,”日本家政学会誌, Vol.43, pp.525-531,1992.

[8] F.Kawamura, and S.Takayanagi, "Properties of Gelatin Gel and Sol Mixed with Whipped Cream," Science of cookery, Vol.13, pp. 284-288,1980.

[9] 大村公仁子, 赤羽ひろ, 中浜信子, “寒天ゲルの破断特性について,”家政学会誌, Vol.29, pp.22-27,1978.

[10] 栗本公恵, 森高初惠, 藤井恵子, 大越ひろ, 中濱信

力学特性,” 日本家政学会誌, Vol.48, pp.885-892,1997

[11] 河村フジ子, 中島茂代, 幸野礼子, “エマルジョン混合ゼラチンゾルとゲルの特性について," 家政学会誌, Vol.29, pp.356-361,1978.

[12]村山篤子,“カラギーナンゼリー,”調理科学, Vol.25, pp.353-359,1992.


# 広告文生成タスクの規定とベンチマーク構築

三田 雅人 $1 \quad$ 村上 聡一朗 1 張 培楠 $1^{1}$
1 株式会社サイバーエージェント
\{mita_masato,murakami_soichiro,zhang_peinan\}@cyberagent.co.jp

## 概要

人手による広告文制作の限界を背景に，広告文自動生成に関する研究が盛んに行われている. しかし，分野全体で享受できるベンチマークが存在しないことに加え，モデルの入出力を含め問題設定として十分に既定されていないため，既存研究は手法間の比較が困難な状況であった. そこで本研究では，広告文生成タスクの既定およびベンチマーク構築を行う．具体的には，まず広告文生成を応用横断的なタスクとして規定したうえで，広告文生成における初のベンチマーク CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA呈) を構築する。さらに,構築したベンチマークを用いた評価実験を通して，広告文生成の現状と今後の課題を示す.

## 1 はじめに

インターネット広告の需要拡大に伴い，人手による広告制作は限界を迎えつつある. 特に，検索クエリに関連する広告文を検索結果画面に提示する検索連動型広告（図 1）は，前年比約 $8 \%$ 前後で増加している膨大な検索クエリの対応に迫られているため，広告文制作の自動化が喫緊の課題となっている [1].

このような産業的な需要もあり, 広告文の自動生成に関する研究が盛んに取り組まれている [2]. 事前に定義したテンプレートに対して適切なキーワー ドを挿入することで広告文を生成するテンプレートに基づく手法 [3-5] に始まり，近年では機械翻訳や自動要約などで活用されているエンコーダ・デコー ダ型モデルを用いたニューラル言語生成に基づく手法 [6-8] など数多くの手法が提案されている.

一方で，広告文生成研究の評価には重大な課題が残っている. 英語や日本語など言語問わず分野全体が享受できる共通データセット（ベンチマーク）の欠如により, 既存研究はこれまで独自データを用いた個々の検証に留まっており，手法間の包括的な比較ができていない [2]. また, ベンチマークが存在

図 1 : 検索連動型広告の例.

しないゆえにモデルの入出力形式に関しても合意形成が取られていない。検索キーワードを入力に用い了研究 [9] もある一方で, 既存の広告文 [7] や広告文をクリックした遷移先のランディングページ（LP） などを大力に用いる研究 [8] も存在する.このことは，分野全体としてこれまで広告文生成の問題設定を十分に規定できていないことを示唆しており，べンチマークの欠如と併せて広告文生成技術の一般化の大きな妨げとなっている. ベンチマークの設計を通して問題を規定し，研究者間で共有できれば，手法を横並びに評価できる。その結果として，分野全体が取り組むべき本質的に重要な部分が明らかになり，技術の一般化が進むことが期待される.

そこで本研究では, 広告文生成の学術分野としてのさらなる発展を目指し, 広告文生成タスクの規定およびべンチマークの構築を行う，具体的には，まず広告の目的および要件を整理し，広告文生成 (Ad Text Generation）を応用横断的なタスクとして規定する.このとき，従来タスクとの違いや本タスク特有の課題を提示するとともに，研究題材としての学術的な意義について示す. 次に, 本研究では日本語における広告文生成ベンチマークのための共通データセット CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA元) を構築する ${ }^{1)}$ ，最後に，事前学習済みモデルの種類やマルチモーダル情報の使用有無といった観点で多様な複数の広告文生成モデルを用意し，構築したべンチマークを用いたベースライン実験を通して，提案ベンチマークの有用性および本タスクの現状と今後の課題を示す.

## 2 広告文生成タスクの規定

## 2.1 広告文の要件

広告の目的は，ある商材（取引の対象となる物品やサービス）があったとき，広告の受け手である消費者（ユーザ）の態度や行動に影響を与えることである。したがって，広告文生成の目的は，ユーザの購買行動を促す文を生成することになる。ここで，広告文とはどのような要件を満たしていれば広告文として成立するのだろうか. 本研究では，タスクを既定するにあたり, まず広告文の基本要件として次の2つを定めた:（1）商材内容と整合がとれている;

（2）商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている.

要件 1 は，広告制作現場で実運用するうえでは必要条件ともいえる。また，より具体的には 2 つに大別でき，(a）広告文が入力情報である商材内容に含意される場合は，忠実性 [10] の観点から整合がとれており，（b）入力情報に含意されない情報を含むが世界知識や常識的知識などの外部知識に基づいている場合は，事実性 [11] の観点から整合がとれている. 要件 2 について, 広告では限られたスペースで商材に関する特徴や魅力を短い文で表し, 即座にユーザの関心を惹き付けることも同時に要求される.このことから, 広告文は大力情報からユーザに訴求できる情報を取捨選択（情報圧縮）されている必要がある。

## 2.2 広告文生成タスク

2.1 節で整理した広告の目的および要件を踏まえ，広告文生成タスクを次のように定義する:

## タスク定義

商材に関する説明文書を $x 、$ 、ユーザの潜在的なニーズや関心を反映するユーザ信号を $\boldsymbol{a}$,広告文を $\boldsymbol{y}$ とする。このとき，広告文生成の目的は $p(y \mid a, x)$ をモデル化することである.

広告文生成タスクは，入力文書の内容との整合を保持しながら情報圧縮を行う点で，従来の文書要約タスクと関連が深く，特に文書要約の亜種であるクエリ重視要約（query-focused summarization） [12] とは入力にユーザからのクエリが用いられるために，問題設定として最も近いといえる. しかし，クエリ重視要約ではユーザが明示的に指定した特定のクエ
リ（顕在化されたニーズ）に対応する要約を返すのに対し，広告文生成ではユーザの潜在的なニーズに対応する必要がある点で異なる。ここで，広告文生成は広範囲な応用先を想定したタスクであるため， ユーザ信号 $\boldsymbol{a}$ は応用先，すなわち広告の形態に依存して変動することに注意されたい，例えば，検索連動型広告の場合はユーザ信号 $\boldsymbol{a}$ には，検索クエリやキーワードが考えられるが，ディスプレイ広告 ${ }^{2)}$ や $\mathrm{EC}$ 上の商品広告であれば，ユーザの購買履歴なども考えられる。

広告文生成特有の技術的な課題の一つは，このようなユーザ信号をもとにいかにユーザの潜在的なニーズを捉え，広告効果に繋がるような訴求性のある文を生成できるかであるが，広告効果は受け手であるユーザの心理的特性に大きく依存する。そのため，より高度な広告文生成の実現には，（究極的には）認知心理学や社会心理学を基礎とした広告心理学 [13] との接続も必要になってくるだろう. このように，広告文生成タスクは自然言語処理技術をよりユーザ中心にするためのよい題材の一つといえる.

## 3 広告文生成ベンチマークの構築

## 3.1 設計

本研究ではベンチマーク設計方針についてまず次の2つを定めた:（1）マルチモーダル情報が活用できる;（2）業種別に評価できる．1つ目の方針について，検索連動型広告を含め多くの広告形態では商材の特徴や訴求ポイントをユーザにより直感的に伝えるために，テキストだけでなくLP などの視覚情報を併せて用いている．また，LP と関連性の高い内容をユーザへ訴求することが，クリックを促す重要な役割を果たすと知られている。実際，広告文生成分野においても LP のレイアウト情報などを考慮することでモデルの生成品質が向上したという報告もある [14]. このように，広告文生成タスクにおいて，今後マルチモーダル情報の効果的な活用を探究することは重要である.

2 つ目の方針について，効果的な広告文を作成するためには具体的な訴求を入れることが重要であることが知られている。例えば，価格や割引などからお得感を訴求するには「送料無料」，「ポイント高還元！」のような訴求表現が用いられ，サービスや

2） Web サイトやアプリの広告枠にテキスト形式やバナー形式で表示される広告

図 2: データセット構築の流れ.

企業の実績を訴求したい場合は，「日本最大級の」，「売上 No.1」などの訴求表現が用いられる. ここで， どのような訴求表現（および訴求軸）を用いれば広告として効果的かは業種ごとに異なることが先行研究 [15] によって報告されている．そのため，より精緻な評価を実施し，頑健なモデルの開発を促進させるためにも業種別に評価できることは重要である.

## 3.2 データセット構築手順

データセット構築の流れを図 2 に示す. 元データとして，Web 上にある検索連動型広告を用いた。広告データには「(検索) キーワード」,「広告文」,「LP」 がそれぞれ付与されている。ここで，検索連動型広告は，広告見出しと説明文で構成される（図 1). 説明文では見出し文と比較して表示領域が広いため，訴求表現は含まれるものの一般的な自然文で書かれることも多い。一方で，見出し文は表示領域制限に加え，即時的にユーザの関心を惹き付ける役割を担っているため，人間が容認できる範囲で故意に文法を崩したり圧縮するなど広告特有の言い回しが多く含まれる。例えば，あるサービスにおける無料相談に関して訴求を行う場合，「簡単 30 秒！○○で無料相談」のような広告特有の表現が用いられる.このような一見非文にも思える広告特有の表現は人間の理解を妨げるどころか，注意を引く効果があることが広告心理学分野で報告されている [16]. 本研究では，より広告特有の言語現象に焦点をあてることのできるべンチマークとなるよう広告見出し文のみを広告文 $\boldsymbol{y}$ として抽出した。

次に，広告に紐づくLPから HTMLを解析し, Web ページの meta descriptionをその商材に関する説明文書（LPテキスト） $x$ として抽出した。また，設計方針 1 を踏まえ，マルチモーダル情報を活用できるようにするため，LP 全体のスクリーンショット処理を行い，LP 画像を取得した. さらにその LP 画像を用い, Cloud Vision API の OCR 機能 ${ }^{3}$ により, 矩形領域集合 $\boldsymbol{R}$ に対する画像 $\boldsymbol{I}$, レイアウト $\boldsymbol{C}$,テキスト $\left.\{x_{i}^{\text {ocr }}\right.\}_{i=1}^{|\boldsymbol{R}|}$ を取得した。

表 1: データセット統計量.

## 3.3 アノテーション

元データにはすでに運用実績のある広告文 (参照広告文）が 1 つ付与されているが，同一商材に対する妥当な広告文は本質的に多岐にわたると考えられる. そのため, 本研究では日本語母語話者，かつ広告アノテーションの専門家である 3 名のアノテー タにより，追加で 3 つの参照広告文を作成する。評価アノテーション用のデータを収集する際は，設計方針 2 を考慮して，事前に人手で業種ラベルと対応付けられたキーワードを用いて無作為抽出した. なお，本研究で使用した業種ラベルは，人材，EC，金融，教育の 4 種類である。次に，収集した広告デー 夕に対して，3名が独立的に編集し，各入力につき 3 つの参照を作成した ${ }^{4}$.

本研究で構築したデータセットの基本統計量を表 1 に示す. 本データセットは広告文生成のベンチマークを目的に開発しているため，予め訓練/開発/評価に分割しており，訓練（および開発セット）と評価セットの間でデータに重複がないようフィルタリング処理を行った，次に，データセットに含まれる入出力例を表 2 にそれぞれ示す。なお，本データセットには表 2 に記載の情報以外に，マルチモーダル情報（OCR データ・LP 画像）が付与されている.

## 4 実験

本節では，広告文生成の代表的なベースラインモデルを用意し，構築したベンチマークを用いた評価実験を通して，提案ベンチマークの有用性および広告文生成タスクの現状と今後の課題を示す.

## 4.1 実験設定

ベースラインモデル広告文自動生成分野で現在主流であるエンコーダ・デコーダ型モデルに基づく広告文生成モデルを構築した。まず事前学習済みモデルの種類の影響を調査するために, 2 つの異なるエンコーダ・デコーダ型の事前学習済みモデル（BART [17]，T5 [18]）に基づきベースライ

表 2: CAMERA データセットの基本入出力（評価データセットにおける実例）.

表 3: 実験結果（太字の数値は各列における最高値を表す）.

ンモデルを構築した. さらに，マルチモーダル情報の有用性を調査するため，村上ら [14] に従い， T5 に基づくモデルに対し，LP の画像情報を考慮した様々な設定を用意した。具体的には，LP の OCR 処理済みテキスト (lp_ocr;o)，LPのレイアウト情報（lp_layout; l), LP の BBox 画像特徴量 （lp_visual;v）の 3 種類のマルチモーダル情報を素性として用いた。その他の詳細な実験設定は付録 C に記載する。

評価尺度生成文の品質を評価するために，生成文と参照文の N-gram の一致率に基づく BLEU（B-4） 5) [19] および ROUGE-1（R-1） [20]を使用した.さらに，LP と広告文の関連性を評価するために，指定キーワードが生成文に含まれる事例の割合を表すキーワード挿入率（Kwd）[7] を用いた。

## 4.2 結果

表 3 に実験結果を示す 6)。まず，事前学習済みモデルの種類の影響を確認するために，BART および T5 の性能に着目する。全体としては，B-4 では BART が，R-1 および Kwd では T5 が高い傾向にあることを確認した。一方で，業種別にみてみると，人材では B-4 および R-1 の両方で BART が T5 を上回るなど結果にばらつきが生じている.そのため，妥当な事前学習済みモデルの選択は一概に言えず，評価の目的に応じて適切に選択する必要がある.

次に，マルチモーダル情報の有用性について確認する。全体としては，OCR 処理済みテキスト（+

5) https://github.com/mjpost/sacrebleu

6）マルチリファレンス評価が一般的な BLEU のみ全 4 つの参照広告文を使用し，R-1および Kwd は元データに付与された運用実績のある参照広告文 1 つをそれぞれ用いて評価した。
\{o\}）やLPのレイアウト情報（+ $\{0, l\} ） を$ 素性としてモデルに加えることで生成文の品質（B-4 および R-1）が改善することを確認した．しかし，業種別にみていくと，EC および金融における R-1 スコアにおいては LP の画像特徴量（+\{o,l,v $\} ） を$ 素性として加えることで性能がかえって悪化している．性能低下の要因として考えられるのは，LP 情報を活用することで一貫した性能向上を報告した先行研究 [14] では LP ファーストビュー7)のみ用いているのに対し，本研究では LP 全体を用いているため，LP の画像情報の一部がノイズとして機能してしまった可能性が考えられる。一方で，参照広告文の中には，LP ファーストビューの情報だけでは生成が難しい場合も存在する ${ }^{8)}$ 。そのため，今後の課題としては，LP 画像などマルチモーダル情報から重要な情報を適応的に取捨選択できるモデルの開発が期待される.

## 5 おわりに

本研究では，広告文生成を応用横断的なタスクとして既定し，初のベンチマークを構築した。さらに，構築したべンチマークを用いた評価実験により，広告文生成モデルの性能は業種毎に大きく変動すること，またマルチモーダル情報をいかに効果的に活用するかが今後の課題であることを示した．広告文生成は自然言語処理の有望な応用先の一つとしてだけでなく，自然言語処理技術をよりユーザ中心にするための重要かつ挑戦的な研究題材でもある.本研究が整備した研究基盤により, 広告文生成の研究開発が今後さらに促進されることを期待する.

7）LPをスクロールせずに最初に見える範囲

8）付録 Bにその実例を記載する。

## 謝辞

本研究のアノテーションを実施して頂いた，株式会社シーエー・アドバンスのアノテータ諸氏に感謝します.

## 参考文献

[1] Ogi Djuraskovic. Google search statistics and facts 2023 (you must know). Technical report, First Site Guide, 2022.

[2] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関す了最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 1P5GS601-1P5GS601, 2022.

[3] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, p. 1-9. Association for Computing Machinery, 2008.

[4] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, p. 179-188. Association for Computing Machinery, 2010.

[5] Stamatina Thomaidou, Ismini Lourentzou, Panagiotis Katsivelis-Perakis, and Michalis Vazirgiannis. Automated snippet generation for online advertising. CIKM '13, p. 1841-1844. Association for Computing Machinery, 2013.

[6] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '19, p. 2269-2277. Association for Computing Machinery, 2019.

[7] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. CIKM '20, p. 2653-2660. Association for Computing Machinery, 2020.

[8] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262. Association for Computational Linguistics, 2021

[9] 福田宏幸. キーワード条件つき変分 autoencoder による広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2019, pp. 2L4J903-2L4J903, 2019.

[10] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906-1919. Association for Computational Linguistics, 2020.

[11] Artidoro Pagnoni, Vidhisha Balachandran, and Yulia
Tsvetkov. Understanding factuality in abstractive summarization with FRANK: A benchmark for factuality metrics. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4812-4829. Association for Computational Linguistics, 2021.

[12] Hoa Trang Dang. Overview of duc 2005. In Proceedings of the 2005 Document Understanding Conference, 2005.

[13] Walter Dill Scott. The theory of advertising. Small, Maynard and Company, 1903.

[14] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也,奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 28 回年次大会, 2022 .

[15] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 69-78. Association for Computational Linguistics, 2022.

[16] Taifeng Wang, Jiang Bian, Shusen Liu, Yuyu Zhang, and Tie-Yan Liu. Psychological advertising: Exploring user psychology for click prediction in sponsored search. In Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '13, p. 563-571. Association for Computing Machinery, 2013.

[17] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880. Association for Computational Linguistics, 2020.

[18] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, 2022.

[19] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, 2002.

[20] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics, 2004.

[21] Diederik Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015), 2015.

## A アノテーションガイドライン

アノテータに与えた主要な指示は次の 3 点である：(1) 検索キーワードをユーザの意図として考慮；（2） LP に記載の商材内容と矛盾しないように広告文を作成;（3）広告文の長さは全角 15 文字以内 ${ }^{9 ）}$.

## BＬP 情報を考慮しないと生成が難しい例

表 4: LP を考慮しないと生成が難しい実例. 赤色下線部は LP 上段部（3a）に, 青色下線部は LP 中段部（3b） にそれぞれ対応した情報の記載がある。

(a) LP 上段部

(b) LP 中段部

## C ベースラインモデル実験設定

本実験で用いた広告文生成モデルは各事前学習済みモデルを CAMERA データの訓練セットを用いて finetuning を行うことで構築した。具体的には，BART に基づくベースラインモデル（以下，BART）は，京都大学が提供している日本語版 BART の事前学習済みモデル ${ }^{10)}$ における japanese_bart_base_2.0を，T5 に基づくベースラインモデル (以下，T5) は，村上ら [14] と同様に日本語版 T5 の事前学習済みモデル（sonoisa） 11）を使用した．次に，両モデルの学習時のハイパーパラメータを表 5 に示す. ここで，T5 における最大文長については，LPの BBox 画像特徴量を用いるモデル（+ $\{o, l, v\} ）$ のみ 712 に設定し，それ以外のモデルは全て 512 に設定している。また，開発セットに対する loss が T5 に関しては 3epoch 連続，BART に関しては 5epoch 連続で劣化した場合には早期終了した.

表 5: モデル学習時のハイパーパラメータ

9） Google レスポンシブ広告の見出し文に関する規定（https://support.google.com/google-ads/answer/12437745）に従った.

10) https://github.com/utanaka2000/fairseq/tree/japanese_bart_pretrained_model

11) https://huggingface.co/sonoisa/t5-base-japanese


# 大規模言語モデルによる脚本データの解析: プロダクト・プレイスメント挿入箇所の探索と評価

山木良輔 1 楢木悠士 ${ }^{2}$ 長沼大樹 3,4
1 立命館大学 ${ }^{2}$ 早稲田大学 ${ }^{3}$ モントリオール大学 ${ }^{4}$ Mila
yamaki.ryosuke@em.ci.ritsumei.ac.jp yuji.1277@akane.waseda.jp
naganuma.hiroki@mila.quebec

## 概要

本研究では，プロダクト・プレイスメントの自動化を実現するための手法を提案する．映像作品の脚本を大規模言語モデルによって解析することによって，脚本中において顕在性が高い箇所及び商品が登場する箇所をプロダクト・プレイスメントを挿入可能なシーンとして抽出する．映画脚本における実験の結果より，我々の提案手法が脚本中における重要シーン及びプロダクト・プレイスメント挿入可能シーンを抽出可能であることが示された.

## 1 はじめに

プロダクト・プレイスメント (PPL: Product Placement) とは,ドラマ・映画等の劇中において, 飲食物・役者の小道具・背景として実在する企業ロゴや商品を露出する広告手法である. 通常の広告に比べ, 映像視聴者が無理に宣伝されているストレスを感じにくく宣伝効果が高いとされているほか [1], 「ブランド認知施策」として欧米や韓国の映像コンテンツで注目を集めており, 例えば, 米国の 2019 年の PPL 市場は 1 兆 2500 億円と報告されている [2]. また, PPL は $\mathrm{CM}$ と違い映像コンテンツが視聴可能な期間中は広告効果を発揮し続けるため, 今後も更なる市場価値向上が見込まれている [3].

PPL を映画やドラマの作品に挿入する際には, 担当者が脚本を人力で解析して, PPLを打診する必要がある.この脚本の人力による解析においては, PPL を可能なアイテムの抽出だけではなく, そのアイテムがどれだけ注目されるかを担当者の経験値をもとに評価し, PPL の打診を行う.このプロセスでは, 担当者が脚本を受け取ってから, 広告主に打診するまでに数ヶ月かかることがある.

本研究では, 上記の課題を昨今の大規模言語モデルを用いることで解決可能であるかを検証する. 具体的には, 事前学習済みの GPT-2 [4] によって計算されるエントロピーの情報を活用することで，脚本中において顕在性が高く，注目が集まりやすい箇所を評価する指標を複数提案し，また，GPT-3 [5, 6] が持つゼロショット学習能力を活用することで PPLを挿入可能な箇所の抽出を行った. 実在の映画脚本を用いた実験により，我々の提案手法を定性的に評価し，有効性を示す結果が得られた。

## 2 提案手法

本研究では GPT-2 [4] 及び GPT-3 [5, 6] を活用することで脚本中の顕在性・重要性の高い箇所及び PPL 挿入が可能な箇所の抽出を行う。

## 2.1 GPT-2 を用いた顕在性評価

まず，GPT-2を用いた手法に関して説明する.ここでは GPT-2 によって計算されるサブワードの出現確率の情報を活用した 2 つの手法を提案する.

## 2.1.1 サブワードの出現確率に基づくエントロピー本手法では事前学習済みの GPT-2を用いること で，脚本中の部分サブワード列に関してサブワード あたりの平均エントロピーを計算する。そして，エ ントロピーが高いサブワード列を脚本中において顕在性が高い箇所として評価する。これは，エントロ ピーが高くなるようなサブワード列，すなわち脚本中での表現は周りの文脈から予測することが比較的 に難しく，他の部分に比べて顕在性が高いという筆者らの仮説に基づく.

まず，脚本中において $i$ 番目に登場するサブワード $w_{i}$ が出現する確率は文脈情報 $c_{i}$ に条件付けられた確率 $P\left(w_{i} \mid c_{i}\right)$ で表され，この確率は広範なデータセットによって事前学習された大規模言語モデルである GPT-2 によって計算する. そして,$N$ 個のサブワードを含む部分サブワード列
$S_{i}=w_{i: i+N}=\left[w_{i}, \cdots, w_{i+N-1}\right]$ に関して，サブワードあたりの平均エントロピー $H\left(S_{i}\right)$ は次式で計算される.

$
H\left(S_{i}\right)=-\frac{1}{N} \sum_{j=0}^{N-1} \log P\left(w_{i+j} \mid c_{i+j}\right)
$

ここで，文脈情報 $c_{i+j}$ はハイパーパラメータ $M$ を用いて次の通りに定義する。

$
c_{i+j}=w_{i-M: i+j}=\left[w_{i-M}, \cdots, w_{i+j-1}\right]
$

以上の定式化に従って，GPT-2 によって計算されるサブワードあたりの平均エントロピー $H\left(S_{i}\right)$ が高い箇所を, 脚本中において顕在性が高い箇所として評価する。なお，ハイパーパラメータである $N, M$ は全ての実験において $, N=30, M=100$ に設定した.

## 2.1.2 エントロピーの比率

前節で説明した手法では，特定の表現に関するサブワードあたりの平均エントロピー $H\left(S_{i}\right)$ のみを顕在性の評価指標として用いる。これに対して，本手法では，特定の表現に関する顕在性の評価指標として，その表現に関するエントロピー $H\left(S_{i}\right)$ とその次に続く表現のエントロピー $H\left(S_{i+N}\right)$ の比率の情報を用いる。これは，局面の切り替わりを示す表現においては，その表現自身のエントロピーは高くなることが予想されるが，それに続く表現のエントロピー は低くなるという筆者らの仮説に基づく．

$i$ 番目の表現 $S_{i}$ とそれに続く表現 $S_{i+N}$ に関するエントロピー $H\left(S_{i}\right), H\left(S_{i+N}\right)$ の比率を次のように定義する.

$
R\left(S_{i}\right)=\frac{H\left(S_{i}\right)}{H\left(S_{i+N}\right)}
$

この比率 $R\left(S_{i}\right)$ を脚本中での表現 $S_{i}$ に関する顕在性の評価指標とし, この値が大きいほど顕在性が高い箇所として評価する。

## 2.2 GPT-3 を用いた PPL 可能箇所の抽出

次に，GPT-3 [5,6] を用いた手法に関して説明する. GPT-3 は約 1750 億個のパラメータから構成される大規模言語モデルである. GPT-3 は広範かつ膨大なデータセットから学習された結果として高い汎化性能を獲得しており, 文書生成, 翻訳, 要約などの広範な自然言語処理タスクを指示プロンプトによるゼロショット学習で実現可能なことが知られている. そこで, 本研究では GPT-3 のゼロショット学習能力を活用した PPL 挿入可能箇所の抽出手法を $2 \supset$提案する.

## 2.2.1 GPT-3 のゼロショット学習

本手法では，GPT-3 に対して，特定カテゴリの商品が登場する文を抽出することを指示するプロンプトと脚本の一部分を与えることで，脚本中において PPL が挿入可能な箇所を抽出する．例えば，飲料の PPL を挿入可能な箇所を検索する場合には， GPT-3 に対して “Select all of the following sentences that contain beverages" というプロンプトと脚本の一部分を入力することで，脚本中において飲料に関する表現が登場する文の抽出を行う。ただし，前章で説明した GPT-2を用いた顕在性の評価手法とは異なり，本手法は必ずしも脚本中における表現の顕在性の高さを考慮することはできない.

## 2.2.2 SimCSE によるテンプレートマッチング

GPT-3 と SimCSE [7] を用いた商品登場箇所の抽出方法を検討する．SimCSE は対照学習を用いた文ベクトル獲得手法であり，文の等価性を評価する Semantic Textual Similarity タスクにおいて高い性能を示した. SimCSEでは，同じ文で異なるDropout から得られる 2 つの文ベクトルを正例，異なる 2 文から得られる 2 つの文べクトルを負例として対照学習を行うものである. 我々は SimCSE を 2 文の類似度を測る手法として用いることで，脚本中において商品が登場する箇所の抽出を行う.

商品登場箇所の抽出方法は次の 2 段階に分かれる. (I) 商品登場箇所のテンプレート生成と (II) テンプレートに類似した箇所の探索である。まず (I)では GPT-3 を用いて，特定カテゴリの商品が登場するような自然な文（テンプレート）を複数生成する. 例えば，飲料が登場する文を生成する場合には, “Generate 50 sentences in which a beverage appears, as it would be in a movie scenario.” のようなプロンプトを GPT-3 に与えることで, “She nervously sipped her coffee as she waited for her date to arrive." といったテンプレートを複数生成する。そして (II)では，(I) で生成したテンプレートと SimCSE による類似度が高い箇所をシナリオ中から探索する. これによって商品が登場すると考えられる箇所をシナリオ中から抽出できる。また，本手法も前節で説明した GPT-3 によるゼロショット学習と同様に，必ずしも脚本中における表現の顕在性の高さを考慮することはできない。

## 3 実験

前章で説明した各手法による映画脚本の解析を行う。なお，実応用の場面では，様々なカテゴリの商品が PPL の対象となりうるが，本研究では評価の簡便性のために，対象となる商品カテゴリを飲料に限定する。

## 3.1 実験データ

著名なハリウッド映画の脚本 3 本を $\mathrm{IMSDb}^{1)}$ から取得し実験に用いた. 脚本の選定にあたっては，アクション・コメディ・ロマンスの 3 つの異なるジャンルから 1 作品づつを選定した．以下が実験に用いた作品の一覧である。括弧は抽出候補となる表現の総数 (シーン数に比例)を示す.

・アクション：Top Gun (899)

・コメディ : The Hangover (326)

・ロマンス：La La Land (833)

## 3.2 事前学習済みモデル

GPT-2 の事前学習済みモデルには Hugging Face [8] で公開されている gpt2-xlを用いた。また，GPT3 には OpenAI API によってアクセスし, 事前学習済みモデルには text-davinci-003を使用した.さらに，SimCSE の事前学習済みモデルには sup-simcse-roberta-large を使用した.

## 3.3 評価方法

各提案手法において脚本から重要箇所または PPL 挿入可能箇所として抽出された表現を定性的に評価する．それらの表現が登場する映画中でのシーンが映画全体の中でどのように重要な局面か，また，そのシーンにおいて PPLを挿入することが可能か否かに関して分析を行い，手法間での比較を行った。サブワードあたりの平均エントロピー及びその比率を評価する手法においては，計算された評価指標が上位 10 \%以内の表現を抽出し, 定性評価を行った。

## 4 結果

実験に用いた 3 作品の脚本に関して，4つの提案手法がそれぞれ抽出したシーンの一部を抜粋したものを表 1，2，3 に示す. 各表において，Entropy， Ratio, GPT-3, SimCSE はそれぞれ 2.1.1 節，2.1.2 節， 2.2.1 節，2.2.2 節で説明した各手法を表しており，

図1 LaLaLandにおけるエントロピーの推移 Entropy 及び Ratio の列に記載した括弧付き数字は各手法において抽出された表現の総数を表している.

また，La La Land の脚本におけるサブワードあたりの平均エントロピーの推移を図 1 に示す. なお， グラフ中でネが付されている部分は，表 3 に記載した各シーンに含まれる表現が脚本中において出現した箇所を示している.

## 5 考察

## 5.1 解析手法間の比較

ここでは，実験結果より確認された各解析手法の特徴に関する考察を述べる。まず，サブワードあたりの平均エントロピーを評価する手法 (Entropy) は脚本中における多くの重要シーンを抽出することに成功している。例えば，表 2 の 3 つ目のシーンのように，物語の重要な転換点となるシーンを抽出することができている．また，飲料に関する表現を抽出することを主たる方策とはしていないものの，抽出されたシーンの中には実際に飲料が登場したり，飲料を登場させることが可能なものが含まれており， PPL 挿入の観点からも妥当な結果が得られていることがわかる.

一方で，エントロピーの比率を評価する手法 (Ratio) は多くの場合において適切なシーンを抽出できないことがわかった. 本手法では，急激なエントロピー変化を捉えることはできるものの，図 1 及び表 3 に示した 1 つ目のシーンのように，あるシーンに含まれる表現のエントロピーが継続的に高い，すなわち顕在性が高い状態が続いているシーンに関しては，隣接する表現間のエントロピーの比率が小さくなるため，このようなシーンを抽出することはできない.

次に，GPT-3 のゼロショット学習を用いた手法では，飲料が登場するシーンを高精度で抽出可能であることがわかった。一方で，本手法では表現の顕在性を考慮しないため，物語全体の流れにおいて重要
表 1 Top Gun から抽出されたシーン

 & (1) & $\times$ & $\times$ & 0 \\

表 2 The Hangover から抽出されたシーン

 & $\bigcirc(1)$ & $\times$ & $\bigcirc$ & $\bigcirc$ \\

表 3 La La Land から抽出されたシーン

 & $\bigcirc(5)$ & $\times$ & $\bigcirc$ & $\bigcirc$ \\

 & & & & \\

ではないシーンも抽出される傾向がある. また，飲料が明示的に含まれていない表現であっても, 周囲の文脈を考慮した上でその表現を飲料に関するものとして抽出可能であることがわかった.

最後に SimCSE を用いたテンプレートマッチングによる手法は，GPT-3 による手法に比べて飲料に関する表現をより網羅的に抽出可能であることがわかった。すなわち，飲料に関する表現の抽出に関して，再現率は高いが適合率が低くなる傾向がある。 これは，実験時に設定した表現間の類似度に関する閾値に依存するため，実応用を考えた場合にはこれらのハイパーパラメータを慎重に設定する必要があると考えられる。また，SimCSEが参照するテンプレート表現に関しても，より表現の多様性を大きくするなど，さらなる改善が必要であると考えられる。

## 5.2 映画ジャンル間の比較

ここでは，映画のジャンルごとに抽出されたシー ンの比較及び考察に関して述べる。まず，Top Gun のようなアクション映画では，戦闘シーンなどの日常生活とは乘離の大きいシーンが脚本中に多く含まれているため, 他ジャンルの映画に比べて PPLを挿入可能なシーンが相対的に少ない. そのため, 顕在性に基づいて抽出されたシーンの中で PPL が挿入可能なものは限られていた。

一方で, The Hangover のようなコメディ映画及び La La Land のようなロマンス映画では日常的描写が脚本中に多く含まれているため，比較的多くの PPL 挿入可能箇所が抽出可能である．ただし，The Hangover の場合には，表 2 の 2つ目のシーンのように，実際の商品露出による広告効果の観点から，商品にネガティブな印象を与えかねないシーンが抽出されてしまう．このため，実応用を考えた場合にはシーンの顕在性評価と感情分析を組み合わせた形で用いることが望ましいと考えられる。

## 6 おわりに

本研究では PPL の自動化という目的に対して，大規模言語モデルを用いて映像作品の脚本から顕在性の高い箇所及び商品が登場する箇所を抽出する手法を複数提案し，実験及び評価を行った。実験結果より，提案手法は映画脚本から重要シーン及び PPL 挿入可能シーンを抽出可能であることが示された.

本研究で提案した各手法にはそれぞれの長所及び短所が存在することから，実応用に向けて，これらの手法を統合することでさらなる改善を行っていくことが今後の課題として挙げられる.

## 謝辞

本研究は, 2022 年度 NEDO Technology Commercialization Program の支援を受けたものである.

## 参考文献

[1] Cristel Antonia Russell. Expanding the agenda of research on product placement: A commercial intertext. Journal of Advertising, Vol. 48, No. 1, pp. 38-48, 2019.

[2] Hanna Górska-Warsewicz and Olena Kulykovets. Product placement as an effective tool for the brand positioning. Brand Management: Advancing Insights on, Vol. 21, 2017.

[3] A Kjaernested and TM Nielsen. Product placement in tv shows-assessing product placement effectiveness and the influence on brand equity. MSc Marketing communications Management MSc International Marketing and Management. Department of Marketing, CBS, 2012.

[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8 , p. 9, 2019.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 18771901, 2020.

[6] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022.

[7] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings. arXiv preprint arXiv:2104.08821, 2021.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.


# 実世界における総合的参照解析を目的とした マルチモーダル対話データセットの構築

植田 暢大 ${ }^{1,2}$ 波部 英子 2 湯口 彰重 ${ }^{2,3}$ 河野 誠也 2 川西 康友 2,3 黒橋 禎夫 ${ }^{1,2}$ 吉野 幸一郎 2,3

1 京都大学 大学院情報学研究科 2 理化学研究所 ガーディアンロボットプロジェクト

3 奈良先端科学技術大学院大学 情報科学領域

\{ueda,kuro\}@nlp.ist.i.kyoto-u.ac.jp

\{hideko.habe, akishige.yuguchi, seiya.kawano\}@riken.jp

\{yasutomo.kawanishi,koichiro.yoshino\}@riken.jp
## 概要

実世界で話者同士が視覚情報を共有しながら行う対話では，物体に対する参照表現が多く出現する。 このような表現の参照先の解決のため, 本研究ではマルチモーダル参照解析タスクを提案し，本タスクのためのマルチモーダル対話データセットを構築する. 本データセットは実世界における対話動画および音声を基にしており，対話テキスト中のフレーズと一人称視点動画におけるフレーム内の物体領域が紐付けられている.この紐付けには同一のものを指す関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる。

## 1 はじめに

実世界で人間と対話を通して協働するロボットの実現には，視覚的文脈を含めた人間の発話理解が不可欠である。例えば「そのコップを取って」という発話を例にとると，「コップ」のテキスト上の意味を理解するだけでは不十分であり，実世界において参照しているコップの実体を知ることが必須となる.このように，発話中の表現と参照関係を持っている実世界における物体を特定することは発話理解の基礎となる。

発話中の表現と視覚情報を紐付けた対話データセットとして SIMMC 2.0 [1] がある. SIMMC 2.0 は 1,566 枚の CG 画像と 11,244 の対話テキストに対してテキスト中の名詞句と参照先の画像中の物体を囲む矩形が紐付けられたデータセットである。規模は大きいものの, SIMMC 2.0 は話者の写っていない静止画に基づいており, 物体の移動や操作が視覚的に提示されていない。また，SIMMC 2.0 の参照関係は

図 1 マルチモーダル対話データセットの例. 物体領域 (橙色矩形)，テキスト間照応関係（桃色吹き出し），テキスト・物体間参照関係（破線）が付与されている. 物体領域にはクラス名とインスタンス ID が付与されている.

テキストとして表出している名詞句にのみ付与されている。一方，日本語ではゼロ照応とよばれる参照元の表現が省略される現象が頻出する．例えば「そのコップを持ってきて」という発話では，持ってくる目的地にあたる二格の項が省略されている。このような省略された表現を SIMMC 2.0 は対象としていない.

本研究では，実世界での物体操作を伴う対話においてゼロ照応も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットを構築する. データセット構築のため, まずクラウドソーシングで対話シナリオを収集する，続いて，収集したシナリオに沿って実世界で対話音声と対話動画を収録

する. 最後に，対話音声の書き起こしと対話動画のフレームに参照関係を付与する。具体的には図 1 の 「スポーツドリンク」のように，対話テキスト中の名詞句に対して参照している物体を囲む矩形（物体矩形）を紐付ける. 加えて本研究ではゼロ照応も扱うため，テキスト中に言及がない場合でもテキスト中の述語からそのガ格やヲ格に対応する物体を紐付ける.

データセットの評価のため，既存手法 [2] を用いて名詞句のグラウンディングタスクを解いた. 結果, 物体検出の再現率は 0.18 程度であり, 本デー タセットが非常に挑戦的であることが示された. 現在，収録済みデータは 24 対話，フルアノテーション済みデータは 7 対話にとどまるが，今後さらに拡張させる予定である.

## 2 マルチモーダル参照解析

本研究では，実世界での対話的協働を想定したマルチモーダル参照解析タスクを提案する. 本タスクでは，動画あるいは画像と，対応するテキストが入力として与えられる．そのとき，テキスト中の名詞や述語における参照関係を，参照先として動画や画像中の物体も含めて解析する。本タスクは，テキス卜間照応解析，物体検出，テキスト・物体間参照解析の 3 つのサブタスクから構成される.

テキスト間照応解析は，テキスト中の単語や句の間に存在する照応・共参照関係を解析するタスクである. 本研究では先行研究 $[3,4]$ にならい, 述語項構造, 共参照, 橋渡し照応関係を解析する. 述語項構造は述語を中心とし，その述語の「誰が」や「何を」に相当する項からなる関係である. 図 1 では 「飲む」と「置い」について述語項構造が示されている. 共参照関係は実世界において同一の実体を指し示す名詞間の関係である. 橋渡し照応関係はある名詞（照応詞）と，その必須的な意味を補完する異なる名詞（先行詞）との関係である.

物体検出は，画像中から参照されている物体が存在する領域を特定するタスクである。図 1 においては画像中の物体矩形を推定することに対応する．入力が動画の場合は動画中のそれぞれのフレームに対して同様の処理を行う.

テキスト・物体間参照解析は, テキスト間照応解析における照応・共参照の対象を物体検出によって特定された物体領域から選択するタスクである. 図 1 においては単語と物体矩形を結ぶエッジを推定する
ことに対応する．表現が直接参照している対象を画像中から検出するタスクは phrase grounding [2, 5] や referring expression comprehension [6] として知られるが，本研究では述語項構造や橋渡し照応など，ゼロ照応を含む間接的な関係も扱う。

## 3 マルチモーダル対話データセット

本研究では，マルチモーダル参照解析のためのマルチモーダル対話データセットを構築する．本デー タセットは，実世界における 2 者の対話シーンにおいて動画，音声を収録し，音声書き起こし，照応・参照関係アノテーションを付与したデータセットである. 対話内容は，人間とお手伝いロボットの対話を想定する．対話場面は，家庭内のリビングとダイニングを模した 2 種類である. 本節ではマルチモー ダル対話データセットの構築方法について順に述べる.

## 3.1 対話シナリオ収集

多様かつ現実的な対話シナリオを得るため，クラウドソーシングを利用してシナリオを収集した. クラウドソーシングタスクではワーカーに対話収録に使用する部屋の状況と使用可能な物体の写真を提示した.その上で，人間とロボットの発話およびその際の動作や場面状況を記述してもらった. 発話数は長すぎず，かつ対話が十分な文脈を持つよう 10-16 発話に制限した. 収集したシナリオを実行可能性,十分な頻度の参照表現，十分な粒度の場面状況説明，の 3 つの観点からフィルタリングし，残ったシナリオを自然な対話になるよう修正した. 付録 Aに修正後のシナリオの例を示す.

## 3.2 対話収録

収集したシナリオに基づいて実際に対話を行い， データを収録した.シナリオは人対ロボットを想定しているが，今回はロボット役も人間の演者に依頼した．演者にはできる限りシナリオを暗記してもらい，対話中の振る舞いが自然になるようにした。なお，データセットにおいては実際に行われた発話に対応するよう，アノテーションの際にシナリオを元に台詞を修正する。

収録はリビングとダイニングを模した設備が備え付けられた実験室で行った. 2 人の演者にはそれぞれピンマイクを付けてもらい，発話を録音した。口ボット役の演者には頭部にカメラを付けてもらい，
対話中の 1 人称視点動画を撮影した.さらに，実験室に定点カメラを 4 箇所設置し，部屋全体の様子を撮影した。

## 3.3 アノテーション

収録した対話音声と動画に対してマルチモーダル参照解析のためのアノテーションを行った. まず対話音声はテキストに書き起こし, 1 人称視点動画は 1 秒ごとにフレームを抽出し画像系列に変換した。以下では，テキスト間照応解析，物体検出，テキスト・物体間参照解析に対応するアノテーションをそれぞれテキスト間照応アノテーション，物体領域アノテーション,テキスト・物体間参照アノテーションとよぶ.

テキスト間照応アノテーション書き起こされた対話テキストに対して述語項構造・共参照・橋渡し照応関係を付与した. これらはテキストの結束性を構成するエンティティ間の重要な関係である [4]. アノテーションの基準は京都大学ウェブ文書リードコーパス $[7,8]$ に準拠した.

物体領域アノテーション動画から抽出された全フレームについて，物体に物体矩形を付与した。また，それぞれの物体矩形に対して物体のクラス名およびインスタンス IDを付与した. クラス名は物体認識タスクにおいて広く利用される LVIS データセット [9] に定義されている 1,203 のクラスを使用した. アノテーションコストを減らすため, 付与対象の物体はゼロ照応も含め対話中で参照された物体に限定した. また, 一般物体認識器 Detic [10] の学習済みモデル ${ }^{1)}$ と複数物体追跡器 SORT [11] を使用してシルバーアノテーションを事前付与し, 手作業で修正した。

テキスト・物体間参照アノテーションテキスト中の (1) 名詞句および (2) 述語と, 画像中の物体矩形のすべての組み合わせについて参照関係を付与した. (1) 名詞句については, 直接参照している物体および橋渡し照応関係にある物体に矩形を付与した. (2) 述語についてはその項に対応する物体矩形を格ごとに付与した。

テキスト・物体間参照アノテーションは付与対象の関係が非常に多くなる。しかし，付与済みのテキスト間照応・共参照関係とインスタンス IDを利用することで大部分のアノテーションを省くこ

表 1 言語アノテーションの統計情報（24 対話）.

表 2 画像アノテーションの統計情報（12 対話）.

表 3 物体矩形と名詞句・述語の関係数の統計（7 対話）. $\Gamma=」$ は直接の参照関係を表す.

とができる。例えば，ある動画フレーム中の「コップ」に対して参照関係を付与した場合を考える.このとき，別フレームに同じインスタンス IDを持つ 「コップ」が出現したとしても自動的に参照関係を付与できる.

実世界対話における特有の現象として「ここ」や 「あそこ」など，場所を指す指示代名詞の使用が挙げられる．指し示された場所の特定は，人間との協働において不可欠である. 本研究では，このような名詞を領域参照表現とよび，テキスト・物体間参照アノテーションにおいて対応する領域を付与する.この領域は物体領域とは異なり矩形が一意に定まらないため，その位置・大きさはアノテータの主観に依存する。そのため，特殊なクラス名である「region」 を付与し，特殊な物体矩形として扱い，他の物体矩形とは区別する.

表 $1,2,3$ にそれぞれアノテーション済みの対話における統計情報を示す. テキスト・画像の両モダリティにおいて十分な参照関係が存在することが分かる. 付録 A にデータセットに含まれる対話数を示す.

## 4 実験

物体検出とテキスト・物体間参照解析は phrase grounding をサブタスクとして含む. 本節では既存の phrase grounding モデルを使用した本タスクの難しさを評価する実験について述べる. 述語項構造や橋渡し照応に対応する間接的な関係はモデルの性質上扱わない。

## 4.1 タスク設定

phrase grounding は，テキストと画像が与えられたときテキスト中のフレーズに対応する画像中の物体矩形を推定するタスクである $[2,5]$. マルチモーダル対話データセットは画像ではなく動画を元にした画像系列から構成される. すなわち，1 フレーズについてグラウンディング対象の画像が複数存在する. 本実験では，簡単のためフレーズが含まれる発話区間内の画像に限定する。

## 4.2 実験設定

phrase grounding モデルとして MDETR [2]を使用した. MDETR は Transformer アーキテクチャ [12] をべースとした, 物体検出と phrase grounding を end-to-end で行うモデルである. MDETR は学習済みモデル ${ }^{2}$ が公開されているが，英語テキストで学習されたモデルであるため直接利用できない．そこで我々は，Flickr30k Entities JP データセット [13]を使用してこのモデルを fine-tuning した. このデータセットは phrase grounding において標準的に使用される Flickr30k Entities データセット [14]を日本語に翻訳したものである. なお，マルチモーダル対話データセットは規模が小さいため fine-tuning には使用しなかった.

評価指標は Recall@ $k$ を使用した．MDETR は，それぞれのフレーズについて複数の物体矩形とその予測確率を出力する. Recall@ $k$ は正解の物体矩形のうち, 出力された予測確率上位 $k$ 件の物体矩形に含まれるものの割合である. ここで, 先行研究 [2] にならい予測された物体矩形が正解の物体矩形と 0.5 以上の Intersection-over-Union (IoU) を持つ場合に両者が一致すると判断した.

表 4 phrase grounding モデルの精度.

図 2 「こちらに捨てておきますね。」という発話に対する phrase grounding モデルの解析例. 黄色の物体矩形が正解データを表し，それ以外はシステムの出力である. システム出力にはシステムの予測確率が記載されている.

## 4.3 実験結果

実験結果を表 4 に示す. Flickr30k Entities JP で評価した場合に比べ，マルチモーダル対話データセットにおけるRecall@ $k$ のスコアは大幅に低い.このことから，既存手法では本タスクを解くことが難しいことが分かる.

図 2 にマルチモーダル対話データセットにおける解析例を示す.「コップ」や「ペットボトル」など具体的な物体名については正しく解析できた事例が多かったが，図に示した「こちら」等の曖昧な表現については正しい事例が少なかった。これは Flickr30k Entities データセットに出現する物体名の多くが具体的であるためと考えられる。

## 5 おわりに

本研究では，実世界において人間と対話しつつ協働するロボットの実現を目指し，テキスト・画像のマルチモーダル参照解析タスクを提案した. さらに，本タスクを解くためのマルチモーダル対話デー タセットを構築した. 本データセットは実世界における実際の対話を基に作成されており，より実用的な発話理解システムの実現に役立つと期待される.今後は，データセットの拡張と並行して，本タスクのための解析モデルに取り組む.

## 謝辞

本研究は，京都大学科学技術イノベーション創出フェローシップ事業の助成を受けたものである．本研究の一部は JSPS 科研費 22 H03654 の支援を受けたものである.

## 参考文献

[1] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4903-4912, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetrmodulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 17801790, 2021.

[3] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi. Japanese zero anaphora resolution can benefit from parallel texts through neural transfer learning. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920-1934, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, Jan Kautz, and Derek Hoiem. Contrastive learning for weakly supervised phrase grounding. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 752-768, Cham, 2020. Springer International Publishing.

[6] Yanyuan Qiao, Chaorui Deng, and Qi Wu. Referring expression comprehension: A survey of methods and datasets. IEEE Transactions on Multimedia, Vol. 23, pp. 4426-4440, 2020.

[7] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, Vol. 21, No. 2, pp. 213-248, 2014.4.

[8] Masatsugu Hangyo, Daisuke Kawahara, and Sadao Kurohashi. Building a diverse document leads corpus annotated with semantic relations. In Proceedings of the 26th Pacific Asia Conference on Language, Information and Computation (PACLIC), pp. 535-544, 2012.

[9] Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, 2019.

[10] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision ECCV 2022, pp. 350-368, Cham, 2022. Springer Nature Switzerland.

[11] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. In 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464-3468, 2016.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS2017, pp. 5998-6008. 2017.

[13] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[14] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. IJCV, Vol. 123, No. 1, pp. 74-93, 2017.

## 付録

表 5 収集したシナリオの例. 括弧内は場面状況であり台詞としては使用しない.

 &  \\

表 6 データセットに含まれる対話数.

## A データセットの詳細

表 5 に収集した対話シナリオの例を示す。括弧内のテキストは場面状況を表す。括弧外の発話には「あそこ」や「それ」などの参照表現が含まれ，視覚情報も含めなければ理解が困難な対話になっている.

表 6 に現在のデータセットに含まれる対話数を示す. 将来的にはシナリオ数も含め，さらに拡張する予定である.


# 実世界のマルチモーダル情報に基づく 指示語を含んだ言語指示の外部照応解析

大山瑛 ${ }^{1}$ 長谷川翔一 ${ }^{1}$ 中川光 ${ }^{1}$ 谷口彰 ${ }^{1}$ 萩原良信 $^{1}$ 谷口忠大 ${ }^{1}$
1 立命館大学
}

\{oyama.akira, hasegawa.shoichi, nakagawa.hikaru\}@em.ci.ritsumei.ac.jp

\{a.taniguchi,yhagiwara, taniguchi\}@em.ci.ritsumei.ac.jp
## 概要

ロボットが家庭環境で生活支援を提供するには，指示語を含む曖昧な言語指示から対象を特定する外部照応解析が重要になる。内部照応解析と異なり外部照応解析はテキスト外の情報を求めるため実世界の情報を総合的に用いて曖昧性を解消することが重要になる. 本研究では, 実世界のマルチモーダル情報を用いた外部照応により，指示語を含む言語指示における曖昧性の解消を目指す. 具体的には，物体カテゴリ，指示語，指差しの 3 つの情報とロボットが事前に環境を探索して得た物体知識を用いて外部照応を行う．家庭環境を模したフィールドにおいて，ユーザが指示した物体を特定するタスクを実施し, 複数の条件において物体特定の精度を評価した.この結果, 提案手法は複数のモダリティ情報を用いた外部照応により, ベースライン手法よりも高い精度で物体が特定できる事が明らかになった。

## 1 はじめに

「あれ取って」などのユーザの曖昧な言語指示を現場環境の情報に基づいて理解し，具体的なタスクを達成する事は, 生活支援ロボットにおいて重要な課題である [1]. 従来，自然言語処理の分野において照応解析の研究が実施されているが，その多くは言語情報のみを文脈として扱っている [2-4]. 照応解析とは代名詞や指示語のような照応詞の指示対象を推定することであり，内部照応と外部照応の 2 種類がある. 内部照応は文章中の照応詞の前後の文章からその照応詞にあたる語を予測することである.一方，外部照応はその場の環境のものから照応詞に対応するものを予測することである．答えや手掛かりが文章中にある問題の場合は内部照応により解決できるが，「あれ取って」などの指示語を含んだ

図1 本研究の概要図. ユーザからの曖昧な言語指示と環境内を事前に探索して得た情報からユーザが指示した物体を特定する．緑色の円はユーザが指示した物体が存在する確率が高い領域を表す。この場合は赤い四角で囲まれたコーヒーを指示物体として特定した。

言語指示を理解するには，言語以外の情報を参照する外部照応を解く必要がある [5]. また，指示語を含んだ言語指示では，指差しなどのジェスチャーも重要な情報となり, ジェスチャー情報に基づいて対象を推定する研究が報告されている [6-9]. Chen らは，画像と言語の大規模データセットから対象を特定する深層学習モデルを提案したが，画像内にユー ザと対象物体が含まれる制約がある [9]. Hu らは，物体と言語，指差し情報から空間における対象の位置を推定する手法を提案したが，指示語の情報は推定に用いられていない [7].

本研究では，実世界のマルチモーダル情報を外的な文脈として用いて，指示語を含んだ言語指示の外部照応解析の実現を目指す. 具体的には，物体カテゴリ，指示語，指差しの 3 つの情報を用いた外部照応解析により，指示語の指示対象における曖昧性を解消する手法を提案する. 図 1 に本研究の概要図を示す.ここで，物体カテゴリ情報は言語情報内の物

図 2 提案手法の概要図. 矢印の色はロボットのセンサ情報の流れを表す。青色矢印はロボットが家庭環境の事前探索により収集した情報，赤色矢印は言語情報，緑色矢印は視覚情報である。 $\boldsymbol{O}$ は物体の 3 次元位置， $\boldsymbol{P}_{\boldsymbol{O}}$ は各物体の信頼度スコア, $\boldsymbol{e}$ はユーザの目の 3 次元位置, $\boldsymbol{w}$ はユーザの手首の 3 次元位置, $\boldsymbol{P}_{\mathbf{1}}, \boldsymbol{P}_{2}, \boldsymbol{P}_{\mathbf{3}}$ は各推定器から出力される確率である。ロボットは環境で事前に観測した情報と指示語情報，物体カテゴリ情報，指差し情報を用いて 3 種類の推定器からそれぞれ確率を得て，それらを乗算することで目標物体を推定する.

表 1 指示語領域の予測に用いられる変数の定義

体カテゴリを表す語，指示語情報は言語情報内の指示語を表す語とする。例えば，図 1 のように“あのペットボトル取って”という発話がされた時，“ペットボトル”が物体カテゴリ情報，“あの”が指示語情報に該当する．また，指差し情報はユーザが指をさしている画像とする．実験では，指示語を含む言語命令から目標物体を特定するタスクを複数の条件で実施し，物体特定の精度をべースライン手法 [7,9] と比較し，提案手法の特性と課題を明らかにする。

## 2 提案手法

本研究では指示語情報，物体カテゴリ情報，指差し情報の 3 種類の外部照応情報からユーザがロボットに指示した物体を特定する手法を提案する。提案手法の概要図を図 2 に示す. 提案手法ではロボットの事前探索で収集した情報と外部照応情報を 3 種類の推定器に入力する. 各推定器は, 全ての候補物体についてその物体が指示対象である確率を推定する. ここで各推定器が出力した候補物体毎の確率を対象確率と呼ぶこととする.

図 3 ガウス分布による指示語領域の表現の例. Hの白丸はユーザ，R の黒丸はロボットであり，矢印はそれぞれの向きを表す．赤い領域がコ系列，青い領域がソ系列，緑色の領域がア系列の指示語領域を表す.

## 2.1 指示語領域に基づく確率推定器

指示語領域に基づく確率推定器は指示語情報，ロボットが事前に環境内を探索して得た 2 次元占有格子地図と候補物体の 3 次元位置, 指差し情報から得たユーザの体の部位の 3 次元位置の 4 つの情報を入力として対象確率を出力する. 対象確率を出力するために，図 3 のように指示語の系列毎にユーザが指示した物体が存在する可能性の高い領域を 2 次元占有格子地図上で予測する。ここで，物体が存在する可能性の高い領域を指示語領域と呼ぶ。また，候補物体の 3 次元位置とユーザの体の部位の 3 次元位置は地図の座標系における位置情報である。
各指示語系列にはそれぞれ異なる性質があり，コ系列は話し手から近い物体や人を参照する場合，ソ系列は聞き手から近い物体や人を参照する場合，ア系列は話し手からも聞き手からも遠い物体や人を参照する場合にそれぞれ用いられる. 本研究では各系列の性質を用いて 3 次元ガウス分布によって指示語領域を生成する. 指示語領域を生成する際にユーザやロボットの位置，指差しの方向なども考慮する必要がある. 指差し情報からユーザの体の座標を予測する方法については 2.3 節で述べる. 指示語領域に基づく確率推定器は指示語領域を生成する 3 次元ガウス分布に各候補物体の 3 次元位置情報を入力し,得られた確率を対象確率として出力する. 指示語領域の予測に必要な変数を表 1 に示す. 各系列の指示語領域を形成する 3 次元ガウス分布の平均と分散共分散行列の定義を図 3 の下の表に示す. 各パラメー タの設計指針は以下である。（詳細は付録 $\mathrm{A}$ 参照）

・コ系列の平均：ユーザに近い手首の座標

・ソ系列の平均：ロボットに近いユーザとロボットの内分点の座標

・ア系列の平均：ユーザから遠い指差しベクトルの延長線上の座標

・各系列の分散：ユーザまたはロボットの位置と指示語領域の平均の座標との距離に比例する値また，ユーザの手首や目の位置情報を得ることができなかった場合は，両肩の中央の座標などの代わりとなる位置情報を推定器に与える。

## 2.2 物体カテゴリに基づく確率推定器

物体カテゴリに基づく確率推定器は，物体カテゴリ情報とロボットが事前に探索して得た候補物体のカテゴリ確率を入力とし, 対象確率を出力する.対象確率を予測するために Objects365 [10] で事前学習済みの You Only Look Once version 5 (YOLOv5) [11] を物体検出器として用いる. YOLOv5を用いて事前に候補物体全てを検出し, 各候補物体が属する物体カテゴリの信頼度スコアを計算する．各候補物体の物体カテゴリ情報に対応する信頼度スコアを正規化したものを対象確率とする。

## 2.3 指差し方向に基づく確率推定器

指差し方向に基づく確率推定器は，指差し情報から骨格検出をすることで得たユーザの体の部位の 3 次元位置とロボットが事前に環境内を探索して得た候補物体の 3 次元位置を入力とし, 対象確率を出力する。骨格検出には MediaPipe [12] を用いる. 対象確率を予測するために，ユーザの目を始点とし，手首を終点とする指差しべクトルとユーザの目から各候補物体へのベクトルの 2 種類のベクトルを使用し，内積の定義式から 2 つのベクトルのなす角 $\theta$ を得る.ここで得た $\theta$ を用いて，確率変数に角度を用いる 2 次元フォンミーゼス分布から確率を得る. 指差し方向に基づく確率推定器はフォンミーゼス分布によって得た確率を対象確率として出力する.

## 3 実験

実験では物体カテゴリ情報，指示語情報，指差し情報の 3 種類の外部照応情報を用いて，ユーザが指示した物体をどの程度の精度で特定することができるか検証した．また外部照応情報の内，どの情報がどの程度外部照応に寄与するかを検証した。

## 3.1 実験条件

実験は家庭環境を模した実環境で行った. 本実験の環境の家具配置，物体配置，指差しを行う際の人とロボットの位置を予め設定し，実験を行った．実験環境の詳細な図は付録 B に記述した。また，口ボットには Human Support Robot (HSR) [13] を用いた、ロボットはユーザからの言語による指示を正確に認識でき，指示文から物体カテゴリ情報と指示語情報を正確に抽出することができると仮定する。

実験では 4 カテゴリの物体を使用し, “Bottle”, "Book", "Stuffed Toy", “Cup”を 1 カテゴリ 5 物体，計 20 物体をユーザが指示する物体とした。これらのカテゴリは Objects365 [10] に基づいて，筆者が一般的な家庭環境にあると考えられる物体を選択した。

## 3.2 検証方法

実験では 2 種類の検証を行い，提案手法の有効性を確認した，1つ目は，ベースライン手法と提案手法を比較した. 実験データには，外部照応情報が全て含まれた場合， 3 種類の情報の内いずれかの情報が欠けた場合，指差し情報を誤って得た場合の 5 種類を用いた．外部照応情報が全て含まれた場合は図 4 において各地点で 4 データ, 計 40 データ用意し，物体カテゴリ情報が欠けた場合と指示語情報が久けた場合は 40 データからそれぞれの情報を削除したものを用いた．また，指差し情報が欠けた場合と指差し情報を誤って得た場合は新たに 10 データ

ベースライン手法と提案手法における指示物体の特定精度の比較.（）内は分数表示. 太字は条件での最大值.

表 3 提案手法におけるアブレーションスタディの実験結果. チェックマークは確率推定器有りを示す.

ずつ用意した. 指差し情報を誤って得た場合はユー ザの体をユーザ自身が隠してしまう自己オクルー ジョンが発生した際などで得られる. 2 つ目は，提案手法の中でどの情報が外部照応にどの程度寄与するかを検証するために，アブレーションスタディを行った. 3 種類の推定器の内， 1 種類の推定器を削除した場合の 3 パターン，全ての推定器を用いたパターンの計 4 パターンを比較した.

実験ではベースライン手法を 2 種類設定した. 1 つ目は $\mathrm{Hu}$ らの研究 [7] を参考に，ユーザの指差しと物体カテゴリ情報を用いた手法を設定した. 基本的には，Huらの手法における目標領域を推測する手順と同じである．異なる点は，言語情報内に物体力テゴリ情報がない時は対象とする全ての物体で候補集合を作る点と，ユーザの指差しを観測できなかった場合は候補集合の中から目標物体をランダムに選択する点である. 2 つ目は Chen らの研究 [9] のモデルを用いた。このモデルにユーザが指差しを行っている画像, 指示語情報と物体カテゴリ情報を含んだ文を大力し, 得られた矩形領域から目標物体の予測が成功しているかを判断した。

評価指標は，ユーザが指示した物体をロボットが正しく特定できたかの精度である. 精度は $\frac{1}{N} \sum_{i=1}^{N} S_{i}$ で計算される. $N$ は試行回数, $S_{i}$ は $i$ 番目の試行が成功すれば 1 ，失敗すれば 0 が入力される.

## 4 実験結果

表 2 にベースライン手法と提案手法の比較を示す.まず Voice-Guided Pointing Robot Navigation for
Humans (VGPN) [7] に基づくベースライン手法と提案手法を比較した. 外部照応情報が全て含まれた場合は同じ場所に同じカテゴリの物体が 2 つ以上ないため, 両手法とも精度が 1.00 となったが，物体カテゴリ情報が欠損した場合と指差し情報が欠損した場合に精度に約 2 3 倍の差が見られた。また，指示語を考慮する提案手法において指示語情報が欠損した場合でも 0.85 という結果を示した.これらの結果より, 提案手法は 3 種類の外部照応情報の内 1 つが欠損した場合でも互いに補い，目標物体を予測できたと推察される。次に，YouRefIt [9] で用いられたフレームワークと提案手法を比較した. YouRefIt で用いられたフレームワークは画像内に目標物体がなければ正しく予測ができないため全体的に精度が低くなり，提案手法が上回る結果となった。

次に表 3 にアブレーションスタディの結果を示す. 物体カテゴリに基づく確率推定器を除いた場合，同じ場所に物体が複数配置される条件下では目標物体の特定は困難と考えられるが，0.53という精度を示した. この結果から, 残り 2 つの確率推定器により目標物体の候補を絞り込めたと考えられる。 また，指差し方向に基づく確率推定器を除いた時は精度が 1.00 となった. これは指示語領域に基づく確率推定器が指差し方向を考慮し, 目標物体が配置された領域を推定できたと考えられる．指差し方向に基づく確率推定器は同じ場所に同カテゴリの物体が 2 つ以上ある場合などに有効であると考えられる。

## 5 まとめ

本稿ではマルチモーダル情報を外的な文脈として用いて外部照応解析を行うためのモデルを提案した. 物体カテゴリ情報, 指示語情報, 指差し情報を用い，外部照応を行うことで外部照応にこれらの情報が有効であることを示した.

今後の展望として，指示語領域を形成する 3 次元ガウス分布のデータからのパラメータ推定や，自然な文からの指示語や物体カテゴリに対応する語の認識に取り組む予定である。

## 謝辞

本研究は【Moonshot R\&D - MILLENNIA Program】課題番号 JPMJMS2011，JSPS 科研費 JP22K12212 の助成を受けたものです.

## 参考文献

[1] Tadahiro Taniguchi, Daichi Mochihashi, Takayuki Nagai, Satoru Uchida, Naoya Inoue, Ichiro Kobayashi, Tomoaki Nakamura, Yoshinobu Hagiwara, Naoto Iwahashi, and Tetsunari Inamura. Survey on frontiers of language and robotics. Advanced Robotics, Vol. 33, No. 15-16, pp. 700-730, 2019.

[2] 村田真樹, 黒橋禎夫, 長尾真. 表層表現を手がかりとした日本語名詞句の指示性と数の推定. 自然言語処理, Vol. 3, No. 4, pp. 31-48, 1996.

[3] 関和広, 藤井敦, 石川徹也. 確率モデルを用いた日本語ゼロ代名詞の照応解析. 自然言語処理, Vol. 9, No. 3, pp. 63-85, 2002.

[4] 飯田龍, 乾健太郎, 松本裕治. 文脈的手がかりを考慮した機械学習による日本語ゼロ代名詞の先行詞同定. 情報処理学会論文誌, Vol. 45, No. 3, pp. 906-918, 2004

[5] 杉山治, 神田崇行, 今井倫太, 石黒浩, 萩田紀博, 安西祐一郎. コミュニケーションロボットのための指さしと指示語を用いた 3 段階注意誘導モデル. 日本ロボット学会誌, Vol. 24, No. 8, pp. 964-975, 2006.

[6] Dadhichi Shukla, Ozgur Erkent, and Justus Piater. Probabilistic Detection of Pointing Directions for HumanRobot Interaction. In International Conference on Digital Image Computing: Techniques and Applications (DICTA), pp. 1-8, 2015.

[7] Jun Hu, Zhongyu Jiang, Xionghao Ding, Taijiang Mu, and Peter Hall. VGPN: Voice-Guided Pointing Robot Navigation for Humans. In IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1107-1112, 2018 .

[8] Qi Wu, Cheng-Ju Wu, Yixin Zhu, and Jungseock Joo. Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 4095-4102, 2021.

[9] Yixin Chen, Qing Li, Deqian Kong, Yik Lun Kei, SongChun Zhu, Tao Gao, Yixin Zhu, and Siyuan Huang. YouRefIt: Embodied Reference Understanding with Language and Gesture. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1385-1395, 2021.

[10] Shuai Shao, Zeming Li, Tianyuan Zhang, Chao Peng, Gang Yu, Xiangyu Zhang, Jing Li, and Jian Sun. Objects365: A Large-scale, High-quality Dataset for Object Detection. In IEEE/CVF International Conference on Computer Vision (ICCV), pp. 8430-8439, 2019.

[11] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016.

[12] Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris
McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A Framework for Building Perception Pipelines. arXiv preprint arXiv:1906.08172, 2019.

[13] Takashi Yamamoto, Koji Terada, Akiyoshi Ochiai, Fuminori Saito, Yoshiaki Asahara, and Kazuto Murase. Development of Human Support Robot as the research platform of a domestic mobile manipulator. ROBOMECH journal, Vol. 6, No. 1, pp. 1-15, 2019.

A 各指示語系列の領域を形成するガウス分布の平均と分散の設定 A. 1 コ系列指示語領域のガウス分布の平均

コ系列の指示語は話し手から近い物体を参照する際に用いられるので，ユーザの手首の座標をガウス分布の平均とした. ガウス分布の平均を人の体の中心や足元の座標にせずに手首の座標を平均としたのは，ユーザの指示する方向を考慮するためである。

## A. 2 ソ系列指示語領域のガウス分布の 平均

ソ系列の指示語は聞き手から近い物体を参照する際に用いられるので，ロボットの足元とユーザの目をつなぐ線分を $\alpha:(1-\alpha)$ に内分する点の座標をガウス分布の平均とした. ロボットはユーザの体の部位の 3 次元座標を検出するために，ユーザの方向を向いているので，この内分点はロボットの向いている方向にあり, 平均がロボットの背後の位置になることはない. しかし，他人に物を取ってもらうことを考えたとき，頼んだものがその人の背後にあることよりもその人が見えていることの方が多いと考えられるので上記のようにガウス分布の平均を設定した.

## A. 3 ア系列指示語領域のガウス分布の 平均

ア系列の指示語は話し手からも聞き手からも遠い物体を参照する際に用いられるので，ユーザの指をさした方向にべクトルを $\mathrm{cl}$ だけ伸ばした先の点をガウス分布の平均とした。他人に物を取ってもらう場面を考えたとき，頼まれた人から遠すぎる物体はその人に頼まず，もっと近くにいる人に頼むなどの別の方法をとることが考えられる。この「遠すぎる」の程度を定義しているのが $c$ である. また，ア系列の平均は $l$ に比例し, これは話し手と聞き手の距離が遠いほど，聞き手からより遠い物体を指示する可能性が高くなるという仮定の下このように定義した.

## A. 4 各系列指示語領域のガウス分布の分散共分散行列

各系列の分散共分散行列は $\frac{\alpha}{\beta} l \boldsymbol{E}_{3}$ が共通箇所となっており, ア系列の分散共分散行列にのみ係数 $c$ が掛けられている。 $\beta$ は分散が小さくなりすぎないように調整するためのパラメータ, $\boldsymbol{E}_{\mathbf{3}}$ は $3 \times 3$ の単位行列である。

まず，ソ系列の分散を図 3 にある表で定義した理由を述べる，分散は目標の物体がユーザまたはロボットから離れているほど大きくなると考えられるので，目標物体がある確率に影響を与える $\alpha$ に比例するように定義した. ソ系列の指示語が観測された際の目標物体はロボットの近くにある確率が高いということはユーザと目標物体はおよそ $l$ の距離だけ離れていると考えられるので，分散は $l$ にも比例するように定義した。

コ系列の場合は目標物体はユーザの近くにある確率が高いのでロボットと目標物体はおよそ $l$ 離れていると考えられる。コ系列の指示語が観測された際もソ系列の指示語が観測された際もユーザまたはロボットと目標物体まではおよそ $l$ だけ離れているので，コ系列のガウス分布の分散もソ系列の分散と同じものを用いることとした.

また，ア系列の場合はユーザからもロボットからも目標物体はおよそ $c l$ だけ離れていると考えられるので， $c l$ に比例するように定義した.

## B 実験環境

本研究で使用した実験環境を図 4 に示す.

図 4 家庭環境を模した実験環境の家具配置，物体配置位置，指差しを行う人とロボットの立ち位置．緑丸がユーザの位置，青矢印がロボットの位置と方向，赤丸は物体が配置されている領域を表す. 緑色と青色の同じ数字はロボットに外部照応を行わせたときのシナリオを表している. 例えば，緑色の 1 番と青色の 1 番で $\mathrm{E}$ の領域内の物体を指差ししたシナリオがある。