# 国会議事録を使用した 政党ごとのスタンス变遷の分析

尾崎 慎太郎横山大作
明治大学 理工学部 情報科学科
\{ee207060, dyokoyama\}@ meiji.ac.jp

## 概要

昨今, 若者の政治に対する参加意欲の低下が日本では深刻化している. その原因には, 様々な理由があるが実際に実現されようとしているのかがわからないで似たような発言をしているなどの声が多い. 本研究では, 大量の国会議事録から政党ごとの政策に対するスタンスの変遷を分析し，一貫性があるかどうかを確認できることを目指した. そのため, 国会での発言から政党のスタンスを分類, また発言を要約することで議案を特定し，マニフェストに掲載された 5 つの代表的な政策について分析した. その結果,一貫性が見られた政党を確認できた一方で, 選挙公約で話していたことを実現していないように思われる政党も確認した.

## 1 はじめに

若者の政治への参加率が低いことが日本の社会問題として挙がっている. 例えば, 図 1 に示した, 総務省が公開した「国政選挙における年代別投票率について」[1]によると, 令和 3 年 10 月に行われた第 49 回衆議院議員総選挙に関して, 全年代を通じた投票率が $55.93 \%$ であるのに対し, 10 代が $43.21 \%, 20$ 代が $36.50 \%$ となっており，いわゆる若者が政治に参加していないことが目に見えてわかる.

図 1 国政選挙における年代別投票率

NHK の調査 [2] によると, 若者が投票しない理由として「自分たちが望む政策を掲げる政党に投票したものの, 実際に実現されようとしているのかがわ
からない」などが挙がった.この問題については, 国会議事録が Web 上で PDF として公開されており, それを読めば政策の議論について理解することができる.しかし, 議事録は発言したものを一言一句記録しており，また難しい専門用語などを使っているため全て読み通すことには困難が伴う. 実際に中身を見てみると, 2022 年の通常国会の中で最も発言が多かった 2 月 16 日の議事録には約 130 万文字の発言があった. そこで, 公開されている議事録の情報を用いて、政党の政策への取り組みを分析できるようなシステムを構築しようと考えた。

具体的に, 国会で発言した内容について反対なのかそうでないのかに分類し，またその内容を要約し答弁のテーマを取り出す. そして, まとめた文章とそれに合う政策を取得し比較することで，その政策を実現しようとするスタンスの一貫性を計った. 実験を行った結果, ある政党は一貫性が見られた一方で，一貫性が見られないように思われる政党があることも確認できた。

## 2 関連研究

猫本ら [3] は, BERTを使用した分類器を構築し,東京都議会の議会議事録に対してスタンス分類を行なっており, 賛否が不明確な討論文から議案に対する賛否を分類している. 本研究では, 猫本らが問題として挙げていたデータ数が非常に少ないという問題を，国会議事録を使用することによって解消する。

また大杉ら [4] は議題生成に取り組んでいた.ここでも, 東京都議会の議事録を使用して構造解析した質問と答弁のペアから Seq2Seq[5] モデルである Transformer[6] を使用して,議題文を生成した。

他にも, 議題の作成という観点では, キーワード抽出や生成の研究がある. 抽出したフレーズ候補を似た者同士でクラスタリングし、そのフレーズ候補集団一つ一つをトピックとし, トピックレベル

図 2 モデルの全体図

で重要度を評価することで, 重要なトピックからキーフレーズを一つづつ抽出することを可能にした TopicRank[7] や, 論文のタイトルと概要をペアで入力とし, キーワードを推論させる RNNを使用したキーフレーズ生成 [8] がある. 本研究では, 要約タスクとしてキーフレーズを見つけているが, 今後の展望としてこれらの手法を用いることも考えられる.

## 3 提案手法

まず大量の国会議事録に対して発言から,その発言が議題に対して反対なのかそうでないのか分類する. 並行して, その発言を要約することで何について話しているかまとめる.そして, まとめた文章とそれに合う政策を比較し, 分類したスタンスと選挙公約で話していた政策のスタンスを比較することで分析する. 本研究で実装した全体図は図 2 の通りであり,大きく賛否の分類, テーマ要約, 類似政策の検索の 3 つのタスクからなる。

賛否の分類議事録から発言者ごとにまとめた発言を対象に, 政策への賛否のスタンスを分類する. 分類モデルは東北大学が公開している BERT[9]を使用し, Fine-Tuningでは学習データとして NTCIR-14 の QA Lab PoliInfo[10] で用いられたデータセットを使用した.詳しくは, 3.2 節で述べる.

テーマ要約同じく発言者ごとにまとめた発言を対象に, 議論の対象となっている政策をよく表すような 1 つの要約文章を生成する. 事前学習済みモデルとして, タイトル生成を得意とする T5 モデル [11] を用い, 同じく学習データとして NTCIR-14 のデー タセットを用いた. 詳しくは, 3.3 節で述べる.

検索タスク集計したい対象の政策セットを用意する. 議事録の要約した文章ごとに, 議論のテーマが最も近い政策を求め, 分析する. 要約した文章と政策の比較には, Fundamental AI Research が公開している faiss[12]を使用した. 選挙ドットコム [13, 14] に記載されているマニフェストを参照するデータベースとして用意し, 要約した文章を入力とする. 詳しくは, 3.4 節で述べる.表 1 国会理事録 API で取得できるデータ

## 3.1 国会議事録データの準備

Web 上からの取得国立国会図書館のホームぺー ジ上で, 国会で発言されたものを議事録として保存されており, $\mathrm{API}^{11}$ を通じて発言データを取得することができる. 取得したデータは下記の表 1 の通りである.この他にも, 発言者の名前も取得することができるが, 本研究では使用しない. また, 本研究において使用したデータは 2021 年と 2022 年の発言を基に分析を行う.

国会議事録のクリーニング処理 API を通じて取得したデータには国会で発言したもの全てが含まれているためノイズが非常に多い. また,議題として上がっている話題とは異なった, 関係のない話であったり, 議題の方向性とずれた話があり, それらを除く必要がある. 本研究ではクリーニング処理の手段として,フィラーの削除, 定型文の削除, そして議題とは関係のない不必要な文章の削除を施した.

まず,フィラーに関して, 国会で頻繁に発言されることをデータを通じて確認することができた. しかし,これらは不必要であるため削除する.そして次に定型文の削除に関して, 国会で質問に返答する際に決まった定型文や, 発言をする際に「\{政党 $\} の\{$ 発言者名 $\}$ です.」と申し上げることが慣例として挙げられる.これらの情報はメタデータに含まれているため必要がないと判断し, $\{.\{1,10\}$ (党 $\mid$ の会 $\mid$ 組 $\mid$ 党.無所属｜の会. 無所属 $\mid$ 無所属クラブ | 政務官 $\mid$ 大臣 |. 新緑風会)(の|,)(.*)(です|でございます| と申します)＼$のような正規表現によって政党と発言者名を削 }$

除した.また, 決まった定型文の一例として, 「ご質問ありがとうございます」，「御答弁ありがとうございます」，「この際、一言ご挨拶申し上げます」などがあり,これらも削除した. 付録の図 4 に他の例も記載している。

他にも, 国会で発言をしている政党にはさまざまな種類がある. 例えば, 組み合わせが複雑なものとして「立憲民主党・無所属」や「国民民主党・新緑風会」，「公明党・国民の声」，「国民民主党・無所属クラブ」などがある. 本研究では議席数の多い 6 党 （「自由民主党」，「公明党」，「立憲民主党」，「日本共産党」, 「日本維新の会」,「社会民主党」) に絞って研究を行った. また, 国会議事録には具体的なテー マに触れず抽象的な発言が多くある. 本研究では, 明確に賛否がわかる文章のみを抽出することを目指し, 具体的に正規表現で「努めてまいります」，「承知しております」,「積極的にやりたい」,「すべきだと思うんです」,「お聞きしたいというふうに思います」などのような文章が含まれているものを分類並びにテーマ要約を行うための入力文章として抽出した. 最後に, 抽出前後の国会議事録の発言数を付録の表 6 亿記載する。

## 3.2 国会議事録の分類

Fine-Tuning には NTCIR-14 QA Lab PoliInfo で使用された公開されているデータセットをモデルの学習データとして使用した. 中身は東京都議会の議事録であり, 発言とそのスタンスがペアとして 31,807 件あった.データの中で発言とそのスタンスを使用する. Classification Task では賛成と反対, そしてそのどちらでもない (その他)の3 つのクラスに分類されたデータであったが, 本研究では反対か反対でないかの 2 分類にするために, 賛成とその他を 1 つのクラスとした. 背景として, 政策に対し中立の立場を取ることができてしまうと, 政党ごとに区別がつかなくなってしまうと考えたためである.このことにより，本研究では反対を 0 , 反対ではないを 1 として研究を進める. 学習データ 31,807 件の中身を見てみると, スタンスが 1 のものが 29,304 件, 0 のものが 2,503 件であり,不均衡のデータであったため,アンダーサンプリングを実行し, どちらも 2,503 件に絞って実験した. 事前学習済みモデルとして東北大学が公開した BERT[9]を使用した.ここに, 国会議事録をクリーニング処理したデータの発言を入力とし, その発言から反対かそうでないかを推論させる。

## 3.3 国会議事録の要約

要約では Fine-Tuning に NTCIR-14 QA Lab PoliInfo で使用された公開されている Summarization Task のデータセットを学習データとして使用した.こちらも中身は東京都議会の議事録であり, 発言とその要約文のペアが 742 件あった. また, 事前学習済みモデルとして T5[11]を使用した. ここに,クリーニング処理した発言を入力として, そこから要約したものを出力として得る.

## 3.4 政策と要約文のマッチング

Fundamental AI Research(FAIR) が公開している faiss $[12,15]$ を用いて実装した. ベクトル化したデー タストアには, 選挙ドットコム2) の政策一覧を用いた refsec:summarization 節で発言を要約したものを入力として近似最近傍探索を実行し, 最も近しい政策を得る.なお,データストアとする政策に関しては 2021 年 [13] は 6, 2022 年 [14] は 20 の政策を用意する.

各党の政策とそのスタンス正解データとして，選挙ドットコム $[13,14]$ の各党の政策一覧を用いることとする. 具体的に選挙ドットコムには政策一覧とそれぞれの政党ごとに賛成なのか反対なのか, また中立なのかが明記されている.今回は,この政策に書かれてある政策一覧を正解データと仮定して研究を進める.また, 政策一覧の中でスタンスを「やや賛成」や「やや反対」と明記されているものがあった. 本研究では，「やや」という文字を削除し，「反対」,「反対ではない」の2つにまとめた. そして, 長期間での一貫性の有無を研究するために, 2021 年度と 2022 年度のどちらの政策一覧にも掲載されていた 5 つの政策に絞って実験する. 5 つの政策は付録の図 5 に記載する.

一貫性のスコアの算出 3.3 節で, 議員の発言を要約し, 3.4 節で要約した文章と最も近しい政策を得られるのだが, その政策のスタンスと 3.2 節で発言を分類したものが同じかどうかでスコアリングを行う. 具体的に, 今回は

を行った.この scoreを一貫性と呼び, 選挙公約などで実現すると話していたことが, 実際にどれだけ行動に移せているかを表した数値として見ることができる. 本研究では, 実験結果として政党ごとの政策に

図 3 ヒートマップによる一貫性の可視化

対する一貫性を分析することとする。

## 4 評価

表 2 に分類モデル, 3 に要約モデルの評価を載せている.それぞれべンチマークとして, Fine-Tuning を行わなかった事前学習済みモデル (PLM) とモデルを使用せず全て反対でない (All-pros) とした場合を設定した. 分類問題の評価に適合率, 再現率と $\mathrm{F}$ 値を使用し, 要約問題の評価に ROUGE[16](表 3 では R), BLEU[17]を使用した。

表 2 と表 3 に検証結果を記す. 数值から分かるように, 上手く学習ができていたと考えられる. 分類モデルに関して，「全て反対ではない」と回答すると再現率が 1.0 になるのに対し, Fine-Tuning したモデルは 0.96 であった. 一見劣っているように思えるが，適合率をも比較すると, 結果的に Fine-Tuning したモデルの方がスコアが良いように思える.

また,一貫性があるかどうかを可視化したものが図 3である.この図から分かることとして, 教育の無償化に公明党と日本共産党は一貫性が強くあると見られ，また夫婦別姓問題に関しては国民民主党に一貫性が強くあると見られる. すなわち, 公明党と日本共産党は少なくとも 2021 年, 2022 年の 2 年間では教育の無償化という政策に懸命に取り組んでいたと考えられる. その裏付けとして, 公明党の HP[18] によると, 2019 年から教育の無償化という点に力を入れていることを確認できた.一方で, 日本維新の会が消費税の減税に関して, 一貫性が見られなかったという点がある.この点を言い換えると，「日本維新の会は消費税の減税を本当に推しているのかは不明である」と結論づけることができる. 日本維新の会の政表 2 分類モデルの評価

表 3 要約モデルの評価

策提言 [19] を確認すると,コロナ対応のための短期の景気対策として消費税減税を提言しており,長期的な成長戦略として消費税を $8 \%$ に減税することを提言している。

## 5 おわりに

本研究では, 政党ごとの政策に対するスタンスの一貫性という観点に着目して, 国会議事録を分析した. 代表的な 5 つの政策に絞って実験した結果,一貫して取り組んでいられるように思える政党が見られた一方で，そうでないと思われるような政党をも見つけることができた.

今後の展望として, データ量の拡張, 国会議事録のより良いデータセットの作成などがあげられる.今回は国会議事録の中でも一部を抽出した発言から一貫性という観点を検証したが, 議事録全体を入力できるように拡張すると結果が変わるかもしれない. そのためには, データのクリーニングが必要になってくると考える. また, 2020 年より大流行した新型コロナウイルス感染症であるが, この前後で感染症に対するスタンスなども変わっているかと思う.そのような転換期を考慮して変遷を分析するということも必要になってくると考える。

## 参考文献

[1] 総務省. 国政選挙の年代別投票率の推移につい $\tau$,(2023-12 閲覧). https://www. soumu.go.jp/ senkyo/senkyo_s/news/sonota/nendaibetu/.

[2] NHK. なぜ若者たちは投票に行かないの？投票率を上げるには？，（202312 閲覧）. https://www.nhk.or.jp/hokkaido/ articles/slug-n12893146ddae.

[3] 猫本隆哲, 秋葉友良, 増山繁. 議題への明示的な賛否表現を含まない議員発言を対象とした議会議事録のスタンス分類. 言語処理学会第 27 回年次大会, pp. 669-673, 2021.

[4] 大杉了斗, 秋葉友良, 増山繁. 議事録の質疑応答の対応関係に基づくクラスタリングによる議題の抽出. 言語処理学会第 27 回年次大会, pp. 1492-1496, 2021.

[5] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks, 2014.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[7] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Ruslan Mitkov and Jong C. Park, editors, Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 543-551, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[8] Rui Meng, Sanqiang Zhao, Shuguang Han, Daqing $\mathrm{He}$, Peter Brusilovsky, and Yu Chi. Deep keyphrase generation. In Regina Barzilay and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 582592, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Hugging Face. cl-tohoku/bert-base-japanese-v3, (2023-12 閲覧). https://huggingface.co/ cl-tohoku/bert-base-japanese-v3.

[10] NTCIR-14. QA Lab PoliInfo, (2023-12 閲覧). https://poliinfo.github.io/.

[11] Hugging Face. sonoisa/t5-base-japanesetitle-generation, (2023-12 閲覧). https://huggingface.co/sonoisa/ t5-base-japanese-title-generation.

[12] Fundamental AI Research. faiss, 2017. https: //github.com/facebookresearch/faiss.

[13] 選挙ドットコム. 衆院選 2021 の各党公約を一覧で比較!,(2023-12 閲覧). https://go2senkyo.com/articles/2021/ 10/25/63878.html.

[14] 選挙ドットコム. 参院選 2022 の各党公約を一覧で比較!，（2023-12 閲覧）.https://go2senkyo.com/articles/2022/ 07/07/69339.html.

[15] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with gpus. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535547, 2019.

[16] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Pierre Isabelle, Eugene Charniak, and Dekang Lin, editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] 公明党. いよいよ始まる「3つの教育無償化」,(2023-12 閲覧). https://www.komei.or. jp/content/p34280/.

[19] 日本維新の会. 政策提言維新八策, （2023-12 閲覧）. https://o-ishin.jp/about/ seisakuteigen/.

## A 付録

表 4 よく見られた定型文の一部

ご質問ありがとうございます

分かりました

御答弁ありがとうございます

以上です

終わります

ご指摘のとおりでございます

動議を提出いたします

この際、一言ご挨拶申し上げます

表 5 本研究で指標とした 5 つの政策

表 6 国会議事録の発言数


# 大規模言語モデルを用いたマイクロブログに対する絵文字予測

花一傑 1 宇津呂武仁 ${ }^{2}$ 陳嘉敏 3 鈴木良弥 1
1 山梨大学工学部メカトロニクス工学科 2 筑波大学システム情報系知能機能工学域
${ }^{3}$ IIJ 技術研究所

## 概要

昨今の SNS では，ユーザーが絵文字を自分の文章に付与することにより，文章の表す感情を増幅，補完することが多く，その絵文字付き日本語文章を利用した感情分析に関する研究も増えている. しかし，英語文章そのものの意味を理解し，その文章に相応しい絵文字を複数のクラスの中から予測し，正しいクラスに分類する絵文字予測タスク [1] [2] [3] は存在するが，日本語文章に対する絵文字予測を目的とした研究は存在しない。そこで本研究では，大規模言語モデル ChatGPT $^{1)}$ を利用し，マイクロブログ (X) の日本語ポスト文に対する絵文字予測を行い，ChatGPT の fine-tuning で高い精度を達成した。

## 1 はじめに

昨今の SNS では，ユーザーが絵文字を自分の文章に付与することにより，文章の表す感情を増幅，補完することが多い，絵文字はテキスト処理において無視できない存在になりつつある。多くの研究は絵文字を利用し，文章の意味を理解しようとしている. 例えば，Golazizian ら [4] の研究では，絵文字予測モデルを転移学習として利用し，アイロニー検出の精度の向上を達成している.

一方，絵文字がない文章からその文章に最も相応しい絵文字を複数のクラスの中から予測し，正しいクラスに分類する絵文字予測タスクも存在する．絵文字予測タスクは，SNS 上のポスト文への理解や意味分析において重要なタスクである。特に ChatGPT のような大規模言語モデルの分類タスクにおいては，従来の分類モデルと異なり，文章の意味だけでなく，その絵文字の意味や使い方も理解し，文章と絵文字を対応させる必要がある.

しかし，これまでの絵文字予測は全て英語を対象としており，日本語を対象とした絵文字予測に関する研究は存在しない。また，これらの関連研究で

1) https://platform.openai.com/docs/models/gpt-3-5
は，ラベルとしての絵文字の妥当性を考慮していない. 絵文字には使い方や意味が似ているものが存在する。従って，絵文字予測はこれまでの分類タスクと違い，予測を行う前にデータセット内の絵文字を適切な絵文字グループに統合する必要がある. そこで本研究では，マイクロブログ $(\mathrm{X})$ の日本語ポストを対象とし，グループ化した絵文字クラスを用い，大規模言語モデル ChatGPT 及び日本語 BERT ${ }^{2}$ で絵文字予測を行い，その結果についての分析を行う.

## 2 関連研究

絵文字予測は自然言語処理の様々なタスクに貢献できる．Felbo ら [5] は，絵文字予測モデルで感情分析，感情認識，皮肉検出のベンチマークにおいて，最先端の精度を達成している．Barbieri ら [1] の研究では，SemEval 2018 Task 2[2] のデータと改良した Felbo ら [5] のモデルを利用し，ラベルごとの attention 付き LSTM による絵文字予測を行い，絵文字予測の精度と絵文字・各単語間の関連の強さを調べている。この手法では，使用頻度の少ない絵文字の予測精度の向上，絵文字と各単語間 attention の可視化を達成している。また, Lee ら [3] の研究では,感情分類を補助タスクとした絵文字予測をマルチタスク学習で行っている.

絵文字予測タスクにおいては，適切にアノテー ションされているデータセットが存在しないことが問題となっている. そのため，Ma ら [6] の研究では，マルチクラスとマルチラベルのアノテーションを機械学習で行い，絵文字予測のためのデータセットを作成している。

## 3 マイクロブログ・データセット

マイクロブログの前処理をする上で二つの技術情報 (絵文字ステータス3) と絵文字バージョン) がある. 特に絵文字バージョンは ChatGPT による絵文

表 1 前処理の各手順後のポスト数

表 $2 M_{20}$ 内の絵文字及びその出現回数

字予測タスクにおいて，重要なフィルタとなる。

絵文字は，fully-qualified，minimally-qualified，unqualified の三つのステータスに分けられている. fully-qualified の絵文字が minimally-qualified と unqualified に含まれる場合，これらは同等の絵文字であるため， minimally-qualified と unqualified の絵文字を fully-qualified に置き換える.

絵文字には複数の絵文字バージョンが存在し， OpenAI 社のモデル gpt-3.5-turbo-1106 はv13.1の絵文字までしか正しく認識できず，gpt-4-1106-preview は v14.0の絵文字までしか正しく認識できない。したがって，本研究では，gpt-3.5-turbo-1106 に準じ， v13.1を認識の上限とする.

上記の絵文字の技術情報を考慮し，データセットの前処理を行う. 本研究では，2023 年 1 月までのマイクロブログ $(\mathrm{X})$ の日本語ポストを収集し，以下の手順で前処理を行う.

1. url およびユーザーへの@を削除し，unqualified と minimally-qualified の絵文字を fully-qualified に置き換える。

2. 本研究では，絵文字予測タスクをマルチクラス分類タスクとして扱うため，ポスト文に 1 種類の絵文字しか使われていないものを抽出する。

3. 前述した ChatGPT モデルの絵文字の認識上限表 3 絵文字グループと置き換え後のクラス

v13.1 以下の絵文字付きポストだけ抽出する.

4. 本研究では，全文の意味を理解し，絵文字を予測するため，絵文字が文の末尾にあるデータだけ抽出する。

5. 上記の手順で抽出したデータセットの中で出現回数上位 20 位の絵文字つきポストを抽出する.

前処理の各手順により抽出されたデータ数を表 1 に示す. 前処理で得られたデータ (約 31 万の絵文字つきポスト) を実験で使うマイクロブログ (X) データセット $M_{20}$ とする.

## 4 予測対象の絵文字

## 4.1 予測対象の絵文字の選定

3 節で作成された $M_{20}$ 内の絵文字及びその出現回数を表 2 に示す。従来のマルチクラス分類タスクにおいては，分類の対象となる文とクラスは一意に定まる。しかし，。と $\cdot$のように，絵文字には意味や使い方が似ているものが存在するため，一意に定まらない場合が多い。そこで，似た絵文字に対し，文とクラスが一意に定まるように絵文字のグループ化を行う．表 2 の絵文字に対し，表 3 のように絵文字をグループ化し，代表の絵文字で置き換える。本研究では，絵文字予測の精度を向上させるために，できるだけ多くの絵文字を第一著者の主観でグループ化している．置き換え前のクラス数は 20 であったのに対し，置き換え後のクラス数は 8 である. 置き換え後のマイクロブログデータセットを $M_{8}{ }^{4)}$ とする.また，6節の結果から，。， 08予測が難しい絵文字と判断し， ， 时きポストを $M_{8}$ から削除したマイクロブログデータセット $M_{6}{ }^{5)}$ を作成する.

4） $M_{8}$ のデータ数は $M_{20}$ と同様で 315,746 件.

5） $M_{6}$ のデータ数は 293,514 件.
表 4 ChatGPT 入力プロンプト

## 4.2 訓練・評価用データセット

人間にとって予測できるものを大規模言語モデルはどれほど予測できるかを検証するために，人手により絵文字予測可能なポストを抽出する。手順を以下に示す.

1. データセット $M_{8}$, もしくは $M_{6}$ の中から無作為に一つのポスト $p$ を取り出し，そのテキストを $t_{p}$ ，絵文字を $e_{p}$ とする。

2. 取り出したポスト $p$ のテキスト $t_{p}$ だけを見て,第一著者が $t_{p}$ に最も相応しい絵文字 $\hat{e}$ を予測する.
3. $\hat{e}=e_{p}$ の場合，ポスト $p$ を人手により絵文字予測可能なデータセット $M_{8 h}$, もしくは $M_{6 h}$ に追加する.

具体的な訓練データ，評価データ等の作成手順を以下に示す.

開発・評価データ $\quad M_{8 h}$ および $M_{6 h}$ から無作為に 400 件 (開発データ) もしくは 360 件 (評価デー タ)を選定した集合を，「人手により絵文字予測可能なポストから構成される開発データセットおよび評価データセット」とする。開発データセットとしては， $V_{8 h}$ および $V_{6 h}$ を作成し，評価データセットとしては， $T_{8 h}$ および $T_{6 h}$ を作成する. また，人手により絵文字予測可能か否かに関わらず， $M_{8}$ および $M_{6}$ から無作為に 360 件のポストを収集したデータセットを，それぞれ，評価データセット $T_{8 M}$ および $T_{6 M}$ とする. さらに，8クラスもしくは6クラスの絵文字の一様分布に従って 360 件のポストを収集したデータセットを，それぞれ，評価データセット $T_{8 u}$ および $T_{6 u}$ とする.
ChatGPT の訓練データ $\quad M_{8 h}$ から開発・評価データセットを削除した集合から，8クラスの絵文字の一様分布に従い，無作為に 40 件，80 件， 120 件， 160 件を選定した集合を，それぞれ， $R_{8}^{40}$ ， $R_{8}^{80}, \quad R_{8}^{120}, \quad R_{8}^{160}$ とする.

BERT の訓練データ $\quad M_{8}$ から開発・評価データセットを削除した集合 $R_{8 b}$ (314,928 件)を，BERT の fine-tuning 用訓練データとする.

モデルの訓練は 8 クラスのデータセットのみで行い，評価時のみ，8クラス，6クラスの両方を用いて行った. また, ChatGPT の訓練データ数の最適化および BERT 訓練時に用いる開発データとして, 開発データ $V_{8 h} ， V_{6 h}$ を使用した。

## 5 絵文字予測手法

本研究では，モデルに OpenAI 社の gpt-3.5-turbo1106, gpt-4-1106-preview, 東北大学の cl-tohoku/bertbase-japanese-v3 を用いる. 予測結果は正解率 (Acc) と F1 值で評価する。

## 5.1 ChatGPT

## 5.1.1 概要

4.2 節で作成された ChatGPT の各種データセットで zero-shot，few-shot，fine-tuning の精度を調べる.

Zero-shot では，評価データのテキストのみを gpt-3.5-turbo-1106, gpt-4-1106-preview に入力し, 予測結果の Acc と F1 値を計算する. Few-shot では, $R_{8}^{160}$ からクラスごとに 1,2 件のポストを抽出し, 8-shot，16-shot の shot とする. shot と評価データを gpt-3.5-turbo-1106, gpt-4-1106-preview に入力し, 予測結果の Acc と F1 值を計算する. fine-tuning では,
表 5 人手により絵文字予測可能な評価データ $\left(T_{8 h}, T_{6 h}\right)$ に対する評価結果 (「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1 を太字で示す. )

 &  &  &  \\

4.2 節で作成した訓練データで gpt-3.5-turbo-1106の fine-tuning を行う。開発データで訓練データ数とエポック数の最適設定を探索する. fine-tuning 後, 評価データのテキストのみを最適設定のモデルに入力し，予測結果の Acc と F1 値を計算する.

## 5.1.2 プロンプト

ChatGPT には日本語に対し，使い方や認識が間違っている絵文字がある。この問題を解決するために，絵文字の日本語においての一般的な使い方を ChatGPT に解説する．8クラスの「絵文字の使用法解説なし」と「絵文字の使用法解説あり」のプロンプトを表 4 に示す. 6 クラスの場合，選択肢の中からをとタ(及びそれらの使用法解説)を削除する.「絵文字の使用法解説なし」と「絵文字の使用法解説あり」の実験は同様に 5.1.1 節で述べた方法で行う.

## 5.2 BERT

4.2 節で作成された $R_{8 b}$ で fine-tuning を行う. 開発データでバッチサイズ, 学習率, エポック数の最適設定を探索する. fine-tuning 後, 評価データのテキストのみを最適設定のモデルに入力し，予測結果の Accと $\mathrm{F} 1$ 值を計算する。

## 6 評価

各モデルの $T_{8 h}, T_{6 h}$ に対する予測結果を表 5 に示す. $T_{8 M}, T_{6 H}, T_{8 u}, T_{6 u}$ に対する予測結果を付録の表 6, 表 7 に示す.

fine-tuning された gpt-3.5-turbo-11066)では $T_{8 h}$ に

6）「絵文字の使用法解説なし」に $R_{8}^{160}$, エポック数 3 ,「絵文字の使用法解説あり」に $R_{8}^{80}$, エポック数 3 を設定している.
おいての Acc，F1 スコアは $0.80,0.63$ であったのに対し，BERT では $0.76 ， 0.48$ であった.また， fine-tuning された gpt-3.5-turbo-1106 では $T_{6 h}$ においての Acc, F1 スコアは 0.83，0.76であったのに対し， $\mathrm{BERT}^{7)}$ では 0.80, 0.64 であった. fine-tuning された gpt-3.5-turbo-1106 では全ての ChatGPT モデルの設定かつ BERT を上回る精度を達成している。

gpt-3.5-turbo-1106 の fine-tuning では，「絵文字の使用法解説なし」と「絵文字の使用法解説あり」でほぼ同様な精度が得られたが，「絵文字の使用法解説なし」には 160 件の訓練データが使われているのに対し，「絵文字の使用法解説あり」の方には 80 件の訓練データが使われている. これは絵文字の使い方の解説が 80 件の訓練データと同じようにモデルに作用していることを意味している。すなわち， ChatGPT の fine-tuning に絵文字の使い方の解説をプロンプトに入力することで，「絵文字の使用法解説なし」より少ない訓練データで同様な精度が得られる。

## 7 おわりに

本研究では、大規模言語モデルによる日本語絵文字予測の精度を調べた. 絵文字のグループ化により，クラス数を減少させ，人手により絵文字予測可能なデータを選出することで高い予測精度を達成した.また，大規模言語モデルの fine-tuning に絵文字の使い方の解説をプロンプトに入力することで，「絵文字の使用法解説なし」より少ない訓練データで同様な精度が得られることが明らかになった。

## 参考文献

[1] F. Barbieri, L. Espinosa-Anke, J. Camacho-Collados, S. Schockaert, and H. Saggion. Interpretable emoji prediction via label-wise attention LSTMs. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4766-4771, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] F. Barbieri, J. Camacho-Collados, F. Ronzano, L. EspinosaAnke, M. Ballesteros, V. Basile, V. Patti, and H. Saggion. SemEval 2018 task 2: Multilingual emoji prediction. In Proceedings of the 12th International Workshop on Semantic Evaluation, pp. 24-33, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] S. Lee, D. Jeong, and E. Park. MultiEmo: Multi-task framework for emoji prediction. Knowledge-Based Systems, Vol. 242, p. 108437, 2022.

[4] P. Golazizian, B. Sabeti, S. Ashrafi Asli, Z. Majdabadi, O. Momenzadeh, and R. Fahmi. Irony detection in Persian language: A transfer learning approach using emoji prediction. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 2839-2845, Marseille, France, May 2020. European Language Resources Association.

[5] B. Felbo, A. Mislove, A. Søgaard, I. Rahwan, and S. Lehmann. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1615-1625, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[6] W. Ma, R. Liu, L. Wang, and S. Vosoughi. Multi-resolution annotations for emoji prediction. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6684-6694, Online, November 2020. Association for Computational Linguistics.

## A 評価結果の詳細

$「 M_{8}$ における 8 クラスの分布に従った評価データに対する評価結果」および「8クラスが一様分布に従った評価データ $\left(T_{8 u}, T_{6 u}\right)$ に対する評価結果」を，それぞれ，表 6 および表 7 に示す.

表 6 マイクロブログデータセット $M_{8}$ における 8 クラスの分布に従った評価データ $\left(T_{8 M}, T_{6 M}\right)$ に対する評価結果(「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1を太字で示す. )

 &  &  &  \\

表 78 クラスが一様分布に従った評価データ $\left(T_{8 u}, T_{6 u}\right)$ に対する評価結果 (「絵文字の使用法解説あり・なしモデル」・「8/6クラス」のクラスごとの最大 Acc / F1 を太字で示す. )

 &  &  &  \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模言語モデルにより生成した疑似データを用いた 自由記述アンケートの自動集約

銭本友樹 1 長谷川遼 2 宇津呂武仁 ${ }^{1}$
1 筑波大学大学院 システム情報工学研究群 2 筑波大学 理工学群 工学システム学類
\{s2220753, s2012166\}_eu.tsukuba.ac.jp utsuro_diit.tsukuba.ac.jp

## 概要

自由記述回答を用いたアンケート調査は，調査対象における新たな価值や意見の発見に貢献する重要な手法である。この自由記述回答の分析作業は，回答中の意見抽出や類似意見のクラスタリングなどの複数の人手作業が必要であり，一般に大規模な回答データを対象とした分析には大きなコストがかかる.そこで本研究では，大規模言語モデルを用いた自由記述回答中の意見抽出と類似意見のクラスタリングの自動化手法を提案する。「新型コロナ不満アンケートデータ」の自由記述回答を利用した実験により，提案手法が人手による分析に匹敵する精度の分析を低コストかつ短時間で行えることを明らかにした.

## 1 はじめに

自由記述回答を用いたアンケート調査は，調査対象における新たな価値や意見の発見に貢献する重要な手法である [1]. このような自由記述回答の分析は質的データ分析（QDA）[2,3] と呼ばれ，教育 [4] や医療 [5] などの様々な分野で行われている。しかしながら QDA では多くの複雑な人手作業が必要であり，大規模データを対象とした分析には非常に大きなコストがかかるという問題がある.

そこで本研究では，大規模言語モデル（LLM）[6] を用いて，QDA の代表的な手法であるグラウンデッド・セオリー・アプローチ (GTA) [7] の手順の一部を自動化する手法を提案する (図 1).この手法を用いることで，これまでは困難であった大量の自由記述回答のアンケートから意見を抽出し分析する作業が可能となる．また，LLM を用いた提案手法と手作業による分析にかかる時間と費用を比較し，提案手法の有用性を検証する。

## 2 GTA の分析手順

グラウンデッド・セオリー・アプローチ（GTA） は，調査対象の様々な価値観や側面を理解するために使用される質的研究方法である $[7,8,9,10]$. GTA の目的は，データを単に要約することではなく，アンケート回答やインタビュー対話などのデータに現れる現象のメカニズムを明らかにする「理論」を発見することにある．付録の表 4 のように，GTAには 「コーディング」という以下 4 つの人手作業，(1) 回答を異なる意見ごとに分割する切片化，(2) 切片ごとのプロパティ (切片に含まれる様々な属性や概念) とディメンション (プロパティの実際の状態) の抽出，(3) データの内容を要約したラベルの付与，(4)類似した内容の切片をまとめ，それらを端的に表すより抽象的なカテゴリの付与が必要である ${ }^{11}$. 本研究ではこれらの作業のうち, (1) 切片化と (4) カテゴリの付与の自動化を目標とする。

## 3 データセット

実験には，株式会社 Insight Tech が運営する Web サービス「不満買取センター」2) 上で 2020 年 3 月から 2021 年 1 月にかけて行われた COVID-19に関するアンケート調査データ [11]を使用する。アンケー トには，自由記述回答式と選択回答式の様々な質問が含まれている。本研究では，2020 年 3 月と 2020 年 6 月にそれぞれ収集されたアンケート中の自由記述回答型の質問「「新型コロナウイルス」に関して懸念していることや不満をお知らせください。」の 5,993 回答3)を対象とし，回答中に含まれる不満と時期ごとの不満の変化について分析する.

図 1 大規模言語モデルを用いた大規模な自由記述回答の分析の流れ

## 4 ChatGPT による擬似回答の生成

本研究で使用するアンケートデータは，利用規約により OpenAI 社が提供する ChatGPT [12] の入力に含めることができない．そのため本研究では，実回答を ChatGPT に直接入力するのではなく, ChatGPT を用いてローカル環境で動作可能な分析モデルを構築し，その分析モデルを用いて実回答を分析する。 ChatGPT には gpt-3.5-turbo-0613を用いる.

付録の表 5 に，疑似回答の生成に用いるプロンプトを示す．可能な限り実回答に類似した意見を生成するため，実回答で頻出したキーワードを含めた意見を生成するようにプロンプトを作成し，最終的に 3,002 件の疑似回答を生成した。

## 5 回答の切片化

実回答の切片化を自動で行うため，4 節で作成した疑似回答と ChatGPTを用いて，ローカル環境で動く切片化モデルを構築する。

## 5.1 アノテーション

切片化モデルの訓練と評価のため，以下 2 種類の切片化データを作成する ${ }^{4)}$.

## 疑似回答自動切片化データ

4 節で作成した疑似回答を ChatGPT で切片化したデータを作成する。付録の表 6 に, ChatGPT で切片化を行うためのプロンプトを示す. 切片化の結果 6,421切片が得られた.

## 実回答人手切片化データ

実回答を人手で切片化したデータを作成する.この人手による切片化は，2020 年 3 月と 6 月それぞれの回答からランダムに 520 件ずつ抽出した回答を対象として行った. 切片化の結果 1,716 切片が得られた。

## 5.2 切片化モデルの構築と評価

疑似回答自動切片化データを用いた切片化モデル (疑似回答切片化モデル) と実回答人手切片化データを用いた切片化モデル (実回答切片化モデル)を構築し，その性能を比較する。切片化モデルには事前学習済み言語モデルである東北大版 BERT [13] ${ }^{5)}$ を使用する．疑似回答切片化モデルは 8 割を訓練デー タ，2 割を検証データとして扱い，検証データでの損失が最小のモデルを実回答に対して適用する．実回答切片化モデルは，8 割を訓練データ，1 割を検証データ，残り 1 割をテストデータとして扱い 10

第二著者によって行われ，費用は時給 1,500 円で計算した.

5) https://huggingface.co/cl-tohoku/

bert-base-japanese-v3
表 1 切片化モデルの性能比較

分割交差検証を行う。

表 1 に，実回答人手切片化データを評価データとした 2 つの切片化モデルの評価結果を示す. 表 1 から，疑似回答切片化モデルよりも，実回答切片化モデルの方が $\mathrm{F} 1$ 值は高かった. 疑似回答切片化モデルは再現率が高く，元の回答を過剩に分割する傾向があった．また，疑似回答切片化モデルを実回答全体の 5,997 回答に適用したところ，12,490 切片に分割された。

## 6 カテゴリの生成と統一

GTA では類似した内容の切片をまとめ，その内容を端的に表す抽象的なカテゴリを付与する。しかし現段階では, データ全体にどのような内容がどの程度存在するかが不明のため，カテゴリの名前や数を指定することができない，そこで，まず切片ごとにその内容を端的に表す抽象的なカテゴリを自由に生成し, データ全体にどのような内容がどの程度存在するかを分析する。

## 6.1 アノテーション

ローカル環境で動くカテゴリ生成モデルを構築するため, 5.1 節で作成した疑似回答自動切片化デー タに対して，ChatGPT を用いてカテゴリ生成を行う. 付録の表 6 に, ChatGPT で切片化を行うためのプロンプトを示す.

## 6.2 カテゴリ生成モデルの構築

カテゴリ生成モデルには，大規模言語モデルである rinna 社の bilingual-gpt-neox-4b-instruction-sft ${ }^{6)}$ を使用し，LoRA [14]を用いて訓練を行う 7)６.1 節で作成したデータの 8 割を訓練に使用し, 残りの 2 割を検証データとして扱い，検証データでの損失が最小のモデルを実回答に対して適用する。

## 6.3 実回答への適用とカテゴリの統一

5.2 節で作成した疑似回答切片化モデルにより切片化された実回答の 12,490 切片に対してカテゴリ生

表 2 カテゴリ分類モデルの性能比較

成モデルを適用する. その結果，計 623 種類のカテゴリが生成された. 生成されたカテゴリの例を図 1 の右上の表中に示す. 続いて，この 623 カテゴリ中の類似したカテゴリを統一する．類似したカテゴリを見つけるため，623 カテゴリの文字列を文ベクトルに変換し，その文べクトルに対して k-means クラスタリングを適用する. 各カテゴリの文埋め込みには，日本語 Sentence-BERT モデル $[15]^{8)}$ を利用する. まず k-means 法により 623 カテゴリを 20 種類のクラスタにクラスタリングした後，この 20 クラスタを第一著者が確認し，第一著者の判断で図 1 に示されている 10 種類のカテゴリに統一した.

## 7 カテゴリの分類

最後に，5.2 節で作成した疑似回答切片化モデルにより切片化された実回答の 12,490 切片を，6.3 節で統一した 10 種類のカテゴリに分類する.

## 7.1 アノテーション

カテゴリ分類モデルの訓練と評価のため，以下 2 種類のカテゴリ分類データを作成する.

## 疑似回答自動カテゴリ分類データ

5.1 節で作成した 6,421 件の疑似回答自動切片化データを ChatGPTを用いて 10 カテゴリに分類する.付録の表 8 に ChatGPT ででカテゴリ分類を行うためのプロンプトを示す.

## 実回答人手カテゴリ分類データ

5.1 節で作成した 1,716 件の実回答人手切片化デー タを人手で 10 カテゴリに分類する.

## 7.2 カテゴリ分類モデルの構築と評価

疑似回答自動カテゴリ分類データを用いたカテゴリ分類モデル (疑似回答カテゴリ分類モデル) と実回答人手カテゴリ分類データを用いたカテゴリ分類モデル (実回答カテゴリ分類モデル)を構築し，その性能を比較する. 使用する言語モデルと訓練方法は, 5.2 節の切片化モデルの構築と同様である.

8) https://huggingface.co/sonoisa/ sentence-bert-base-ja-mean-tokens-v2

図 2 実回答の全 5,997 回答に対して切片化とカテゴリ分類を適用した結果の統計比較

表 3 データ作成に必要な時間と費用の比較

表 2 に，実回答人手カテゴリ分類データを評価データとした 2 種類のモデルの評価結果を示す.表 2 から，疑似回答カテゴリ分類モデルは実回答カテゴリ分類モデルよりも正解率が低いことがわかる. 疑似回答カテゴリ分類モデルは, 切片中の「政府」や「経済」などの単純な単語の有無でカテゴリを分類する傾向があり，切片全体の文脈を考慮できていないことが多かった.

## 8 実回答への適用と統計分析

最後に，実回答の全 5,997 回答に対して，実回答切片化モデルと実回答カテゴリ分類モデルを適用した結果 (図 2 左) と，疑似回答切片化モデルと疑似回答カテゴリ分類モデルを適用した結果 (図 2 右)を比較する。これらの図の比較から, ChatGPTを用いて自動で作成したモデルは，実際の回答を人手でアノテーションして作成したモデルと同等の統計結果を得られていることがわかる. 特に，2020 年 3 月と 6 月のカテゴリ間の大小関係は全てのカテゴリで一致していた. 加えて表 3 に人手と提案手法それぞれのデータ作成に必要な時間と費用の比較結果を示す. この表から，提案手法は人手の 4 分の 1 以下の時間と 17 分の 1 以下の費用での分析が可能であり，非常に効率的であることがわかる. しかしながら図 2 から，提案手法は政府カテゴリを誤って多く分類してしまう問題があることがわかる。これは，疑似回答中に政府に関する不満が多く含まれていたことが原因だと考えられる。

## 9 おわりに

本研究では, 本来多くの複雑な人手作業が必要である質的データ分析の一部を大規模言語モデルを用いて自動化する手法を提案した。また提案手法は人手分析と比較して，時間と費用の面で非常に優れていることを明らかにした. 提案手法を用いることで，大規模なアンケートの自由記述回答を対象として，データ全体にどのような意見がどの程度含まれているか不明な状態から, 図 2 のようなカテゴリごとの統計を出すことが可能である.

今後は疑似回答の生成方法を改善することで，切片化モデルとカテゴリ分類モデルの性能の向上を図りたい. 提案手法の切片化とカテゴリ分類の性能は，どちらも人手で作成したデータを用いたモデルよりも性能が低かった. 提案手法の各モデルの性能は ChatGPT により生成した疑似回答の品質に大きく依存しているため，疑似回答全体の言語的特徴をより実回答に近づける工夫や，データ数の増加により各モデルの性能向上は可能だと考えられる. また本研究では，グラウンデッド・セオリー・アプロー チにおける切片化とカテゴリ分類のみしか自動化できていないため，プロパティとディメンションの抽出，ラベル生成，カテゴリーの統一，すべての作業の自動化を目指したい.

## 謝辞

本研究では，NII のIDR データセット提供サービスにより株式会社 Insight Tech から提供を受けた「不満調査データセット」を利用した.

## 参考文献

[1] Ursa Reja, Katja Manfreda, Valentina Hlebec, and Vasja Vehovar. Open-ended vs. close-ended questions in web questionnaires. Adv Methodol Stats, Vol. 19, , 012003.

[2] Michael Quinn Patton. Qualitative Research \& Evaluation Methods: Integrating Theory and Practice. SAGE Publications, Inc., 4th. edition, 2014.

[3] Jane Ritchie, Jane Lewis, Carol McNaughton Nicholls, and Rachel Ormston. Qualitative Research Practice A Guide for Social Science Students and Researchers. SAGE Publications, Inc., 2nd. edition, 2014.

[4] Gaurav Nanda, Aparajita Jaiswal, Hugo Castellanos, Yuzhe Zhou, Alex Choi, and Alejandra J. Magana. Evaluating the coverage and depth of latent dirichlet allocation topic model in comparison with human coding of qualitative data: The case of education research. Machine Learning and Knowledge Extraction, Vol. 5, No. 2, pp. 473-490, 2023.

[5] Chao Fang, Natasha Markuzon, Nikunj Patel, and JuanDavid Rueda. Natural language processing for automated classification of qualitative data from interviews of patients with cancer. Value in Health, Vol. 25, No. 12, pp. 19952002, 2022.

[6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In $\mathrm{H}$. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[7] Anselm L. Strauss. Qualitative Analysis for Social Scientists. Cambridge University Press, 1987.

[8] Juliet Corbin and Anselm L. Strauss. Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory. SAGE Publications, Inc., 3rd. edition, 2008.

[9] Shigeko Saiki-Craighill. Qualitative nursing research in Japan: A state of the science and indications for future directions. In Routledge International Handbook of Qualitative Nursing Research, pp. 597-609. Taylor and Francis, April 2013.

[10] Shigeko Saiki-Craighill. Overview of grounded theory approach. Keio SFC Journal, Vol. 14, No. 1, pp. 30-43, 2014. (in Japanese).
[11] Insight Tech Ltd. Discontent questionnaire data on COVID-19. informatics research data repository, national institute of informatics. (dataset)., mar 2021.

[12] OpenAI. GPT-4 technical report, 2023.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[14] Ning Ding, Xingtai Lv, Qiaosen Wang, Yulin Chen, Bowen Zhou, Zhiyuan Liu, and Maosong Sun. Sparse low-rank adaptation of pre-trained language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 4133-4145, Singapore, December 2023. Association for Computational Linguistics.

[15] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.
表 4 グラウンデッド・セオリー・アプローチに基づく自由記述回答の分析例

 &  &  &  & 教育 \\

表 5 ChatGPT で疑似回答を生成するためのプロンプト (実際には具体例を3つ含めている)

「新型コロナウイルス」に関して懸念していることや不満をお知らせください.

というアンケートの回答とそのカテゴリを可能な限りたくさん生成してください.

回答には [keyword] を含めてください.

回答は可能な限り長い文章にし，多様な意見を含めてください。 \# 回答:

表 6 ChatGPT で疑似回答に対して切片化，プロパティとディメンションの抽出，ラベル名の付与，カテゴリの生成を行うプロンプト

The subsequent statement constitutes a response to the query: 「新型コロナウイルス」に関して懸念していることや不満をお知らせください.

Firstly, split the answer into different opinions. Then, extract the properties, dimensions, label and category from the answer.

Sentence: 感染のリスクを甘く見ている人が多く見受けられます. 特に，高齢者に感染した場合，致死率が高くなることを重視するべきだと感じています。

Opinion1: 感染のリスクを甘く見ている人が多く見受けられま ఫ.

Property=Dimension: 懸念の対象=感染リスクの軽視

Label: 感染リスクへの懸念

Category: 感染リスク

Opinion2: 特に，高齢者に感染した場合，致死率が高くなることを重視するべきだと感じています。

Property=Dimension: 懸念の対象=高齢者の致死率

Label: 高齢者が感染することへの懸念

Category: 高齢者の感染リスク

表 7 rinna モデルでカテゴリ生成を行うためのプロンプト

## \#\#\# 指示:

ユーザー: 以下の入力を文脈を考慮して要約してください。

システム: 分かりました。

ユーザー: 入力: [input]; 文脈: [context]

システム: [output]表 8 カテゴリ分類を行うためのプロンプト (実際にはカテゴリごとに 1 つの具体例を含めている)

The subsequent statement constitutes a response to the query: 「新型コロナウイルス」に関して懸念していることや不満をお知らせください.

Clustering the target opinion into following 10 categories
- 政府

-物資の不足
- 日常生活
- 経済・仕事
- 報道・デマ
- 感染予防
- 医療体制

一行事・イベント
- 教育
- 娛楽・旅行

Full Sentence: マスクをせずに外出する人が多くて，これ以上の感染拡大が心配. 特に電車やバスの中でマスクをしない人が多いのは困る. [SEP] マスクをするのは自己防衛のためだけでなく，他人への感染予防のためでもあることをもっと認識してほしい. Target Opinion: マスクをするのは自己防衛のためだけでなく，他人への感染予防のためでもあることをもっと認識してほしい。

Category: 感染予防

$\cdots$

表 9 人手でカテゴリ分類した実回答の具体例

 &  \\


# Visual Question Answering における 視線情報を用いた質問の曖昧性解消

稲積 駿 1,2 河野誠也 ${ }^{2,1}$ 湯口 彰重 ${ }^{3,2}$ 川西康友 ${ }^{2,1}$ 吉野 幸一郎 2,1
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト ${ }^{3}$ 東京理科大学
inazumi.shun.in6@naist.ac.jp akishige.yuguchi@rs.tus.ac.jp
\{seiya.kawano, yasutomo.kawanishi,koichiro.yoshino\}@riken.jp

## 概要

ユーザ (話者) と対話システムの会話には，指示語や省略に起因した曖昧さが含まれる。こうした曖昧さは，話者の視線や指差しといった情報で補完することが可能である. 本研究では視線情報を用いた話者の質問の曖昧性解消を，Visual Question Answering (VQA)のタスクにおいて実現する。このため，視線情報と曖昧な質問が紐づいた視線情報付き VQA データセット (GazeVQA), および注視対象の情報を活用した質問応答モデルを提案する. GazeVQAによる実験では，提案モデルが注視対象の推定を用いない既存モデルと比較して優れた性能を達成した。

## 1 はじめに

実世界の事物を考慮してユーザ (話者) と共同作業が可能な対話システムの実現に向けて，画像を交えた質問応答タスク（VQA:Visual Question Answering) $[1,2,3]$ がこれまで提案されてきた. 既存の VQA における質問はその意図が明確であり， その回答は所与の画像と組み合わせることで一意に決定できる. しかし, 実際の話者とシステムの会話には，指示語・省略に起因した曖昧性が含まれており [4,5], これらの曖昧性を VQA では陽に扱っていない。こうした問題は，とくに日本語では顕著である [6,7]. 例えば，「それ取ってきてくれる?」という質問は「それ」という指示語が原因で複数の解釈を持つ可能性がある. こうした指示語や省略の曖昧性は実世界の情報を参照することで解消可能な場合が多い. 例えば，話者の視線情報 [8] や指差し [9]，あるいは共同注視 [10] は，指示語・省略の参照先を明らかにする重要な手がかりである.

本研究では，視線情報を用いた質問の曖昧性

図 1 視線情報付きVQA データセットの質問と回答の例. 角括弧は省略された物体名. 視線元に対応する視線先の点が複数個付与されている.

解消を目的として，視線情報付きVQA データセット (GazeVQA) を提案する. 図 1 に示すように, GazeVQA は画像内の人物を話者とみなし，話者が発する指示語・省略が含まれる曖昧な質問に対し，話者の視線情報を考慮してシステムが回答する状況を想定する. Gazefollow [11] に含まれる一般物体認識用の画像データセット (COCO) [12]を対象に，注視対象に関する質問と回答をクラウドソーシングにて収集した。

本研究ではさらに，画像・質問に加え視線情報を利用するモデルを提案する. テキスト・画像をクエリとした物体セグメンテーションの研究 [13] に着想を得て，既存モデル [14] に線形層のアダプタ [15]を追加する。アダプタは注視対象を表す関心領域と全体画像を統合する役割を持ち，モデルは注視対象部分に焦点を置くことが可能となる. 実験の結果，提案モデルは GazeVQA における特定の質問タイプに精度良く回答ができ, ベースラインと比較して優れた性能を達成した。

## 2 関連研究

## 2.1 文脈情報付き VQA データセット

VQA は画像に関する質問に対してシステムが回答を与えるタスクである $[1,2,3]$. 本研究は視線情
報を持たない場合に曖昧になるような質問を研究対象としており，注視対象の物体名が明記されていない質問を意図的に収集した。

画像と質問に加え多様な文脈情報を収録した VQA データセットが提案されてきた $[16,17,18,19$, 20]. VQA-HAT [16] や VQA-MHUG [17] は, 質問を解く際に生じる人間の主観的な注視情報を用いることで，VQA タスクの精度改善を図った. Point and Ask [18] は，画像に与えられた点情報を用いて，代名詞を含む質問の曖昧性解消に焦点を当てている. GazeVQA は，追加の文脈情報として画像情報から得られる話者の注視情報を利用する点と日本語特有の主語や目的語の省略を含む質問を収録した点において，これらの先行研究とは異なる.

## 2.2 注視対象推定

注視対象推定は画像に映る人物の頭部画像から，その人物の注視先を推定するタスクである [11, 21, 22]. Gazefollow [11] は，人物の視線元と視線先のアノテーションが付与された注視対象推定のデータセットである. $\mathrm{COCO}$ [12]を含む様々な画像データセットから収集した人物を対象にしている。 Gazefollow に含まれる視線情報は，視線先が常に物体あるいは注視対象の具体的な名称と紐付いていない. そこで本研究では, Gazefollow の $\mathrm{COCO}$ サブセットの物体アノテーションを利用して，視線先の物体に関する質問と回答を収集した。また，実際に注視対象推定を行う際は, Gazefollow の視線元に対応付けられた人物の頭部画像を利用した [21].

## 3 視線情報付き VQA データセット

## 3.1 タスク設定

GazeVQA では質問をする話者がシステムの一人称視点画像に映っていることを想定している. GazeVQAのタスクは画像, 話者の質問，および話者の視線情報を考慮して回答を生成することを目標とする。本タスクを以下のように定義する。

視線情報付き VQA タスク全体画像 $I$, 質問 $\mathbf{q}$, および注視領域 $I_{S}$ から, 回答 $\mathbf{y}$ を出力する. 以後, このタスクを GazeVQAタスクと呼ぶ.

$I_{S}$ を取得するための注視対象推定タスクを次のように定義する。

注視対象推定タスク全体画像 $I$ と発話者の頭部画像 $I_{h}$ から $I_{s}$ を取得する.

## 3.2 データ収集

Gazefollow の COCO サブセットに含まれる画像 $I$ と物体情報から質問 $\mathbf{q}$ と回答 $\mathbf{y}$ をクラウドソーシングにより収集した。収集手順を以下に示す.

Step1: 画像と視線情報の選定質問と回答を収集する前に，前処理として視線情報の選別を行い，機械的に 14,000 件の画像・視線情報ペアを選定した. $\mathrm{COCO}$ の物体セグメンテーションを利用し，視線先が物体を差していないケースを除いた。

Step2: 質問と回答の収集クラウドソーシングにより，26,296 件の質問・回答を収集した. 視線情報が付与された画像と COCO の物体ラベルをもとに，ワーカは視線先の物体に関する質問とその回答を作成する．視線先の物体名は質問文中に含めないようワーカに依頼することで，回答に視線情報を要する質問を収集した。

Step3: 質問と回答の選別画像と対応していない質問を除くべく, 17,276 件の質問・回答を選定した. Step2 の作業中に，設問 (「本項目には何も入力しないでください」)を配置し，この設問に対して回答を与えたワーカの質問を手作業で確認した. この結果，作業を依頼した 246 名のワーカから，27名のワーカのアノテーションを全て除去した.

Step4: テストセットの整備 GazeVQA の訓練・開発・テストセットを, $13,785 \cdot 1,811 \cdot 1,860(0.8$ : $0.1: 0.1)$ とした. 先行研究 [1] にならって, 回答の多義性・多様性を GazeVQA の評価で考慮するためテストセットに回答を 10 件割り付けた. 具体的には，視線元と曖昧な質問 (AQ) のみをワーカに与え， テストセットの質問 1 件につき，9人のワーカが回答を追加で作成した. さらに，アノテータが，質問・回答・視線情報を参考に，注視対象の名称や特徵が補完された明確な質問 $(\mathrm{CQ})$ を，テストセットの質問全てに割り付けている。

## 3.3 従来データセットとの比較

表 1 より, GazeVQA ${ }^{1)}$ と日本語 VQA データセット (VQA-ja) [3] の統計量を比較する. GazeVQA のユニークな質問の割合 $(46.46 \%)$ は VQA-ja の割合 $(45.21 \%)$ よりも多く, 質問の平均文字長は GazeVQA の方が長い. また, GazeVQA のユニークな回答の割合 $(33.87 \%)$ は日本語 VQA $(17.10 \%)$ より多く, 回答の平均文字長は GazeVQA の方が長い.

## 4 ベースラインと提案モデル

GazeVQA タスクのベースラインとなる ClipCap [14]， ベースラインにアダプタを追加した提案モデル (ClipCap + Adapter), および注視領域を得るための注視対象推定プロセスを解説する。

## 4.1 ベースライン：ClipCap

ClipCap は事前学習済みの画像エンコーダ [23]・言語デコーダ [24] で構成された画像キャプションモデルであり [14], VQA タスクに対しても適用事例がある [25].

画像エンコーダ ClipCap の画像エンコーダは， RGB の全体画像 $I \in \mathbb{R}^{W \times H \times 3}$ を入力として, 画像系列 $\mathbf{r}=\left.\{r_{1}, \ldots, r_{n}\right.\}$ を出力する. ただし, $n$ は $\mathbf{r}$ の系列長であり， $\mathbf{r}$ の要素 $r_{i}$ は質問 $\mathbf{q}$ のトークン埋め込みと同次元である. CLIP [23] の画像エンコーダと単一の線形層 $f$ により, $I$ を画像系列 $\mathbf{p}=\left.\{p_{1}, \ldots, p_{n}\right.\}$ に変換する (式 1 ).

$
\left.\{p_{1}, \ldots, p_{n}\right.\}=f(\operatorname{CLIP}(I))
$

多層の Transformer ブロック [26](F) により $\mathbf{p}$ を同次元の画像系列 $\mathbf{r}$ に変換する (式 2).

$
\left.\{r_{1}, \ldots, r_{n}\right.\}=F\left(\left.\{p_{1}, \ldots, p_{n}\right.\}\right)
$

CLIP の画像エンコーダとデコーダを結ぶ，これらの Transformer ブロックを Mapping Network と呼ぶ.

言語デコーダ言語デコーダは，質問 $\mathbf{q}=$ $q_{1}, \ldots, q_{m}$ と画像系列 $\mathbf{r}$ から構成した入力系列 (式 3) から，回答系列 $\mathbf{y}$ を自己回帰的に出力する.

$
\left.\{r_{1}, \ldots, r_{n},[\mathrm{SEP} 1], q_{1}, \ldots, q_{m},[\mathrm{SEP} 2]\right.\}
$

ここで，[SEP1] と [SEP2] は，それぞれ“質問:”と“回答:"であり，デコーダへのプロンプトを表す.

## 4.2 提案モデル：ClipCap + Adapter

提案モデルは， Mapping Network の各ブロックの先頭に挿入されたアダプタ [15] により, 全体画像

図 2 左: 提案モデルの概要図. 右: 提案手法の詳細.

$I$ と注視領域 $I_{S}$ を統合する. $I_{S}$ を考慮した画像系列を言語デコーダの入力として，視線情報を要する曖昧な質問に対し，適切な回答を得ることを期待する. 具体的には, ClipCap の画像エンコーダの処理 (式 1) と同様に，I と $I_{S}$ から, 画像系列 $\mathbf{p}$ と注視領域の画像系列 $\mathbf{s}=\left.\{s_{1}, \ldots, s_{n}\right.\}$ を構成する. $\mathbf{p}$ と $\mathbf{s}$ の要素ごとのアフィン変換2)を計算し，それぞれの系列を Mapping Network に入力する (式 4).

$
\mathbf{p}_{l+1}^{\prime}=g(\mathbf{s}) \odot \mathbf{p}_{l}^{\prime} \oplus h(\mathbf{s}),
$

ただし, $g$ と $h$ は 1 層の線形層, $\mathbf{p}_{l}^{\prime}$ は $l$ 層目の Transformer ブロックの入力3)である.

## 4.3 注視対象推定

アダプタへの入力となる注視領域 $I_{s}$ を視線元の頭部画像 $I_{h}$ から取得する. CNN ベースのモデル [22]により，I と $I_{h}$ から，顕著性マップ $S$ を出力する。閾値 0 として $S$ を二値化し，注視対象のバウンディングボックスを求めて $I_{s}$ を取得する ${ }^{4)}$ [27].

## 5 実験

## 5.1 実験設定

データセット日本語 VQA データセット (VQAja) [3], 日本語画像キャプションデータセット (STAIR) [28] で VQA モデルを事前学習し, GazeVQA でファインチューニングした.

評価指標回答の多義性・多様性を考慮した VQA スコア $(A c c)[1]$ と回答フレーズの類似を考慮した BERT スコア $(B s)$ [29]を評価に用いた。

2）要素ごとの積 $(\odot)$ と和 $(\oplus)$ を意味する。

3） 1 層目のブロックの入力は, $\mathbf{p}^{\prime}{ }_{l}=\mathbf{p}$ である.

4） $S$ の各要素が全て 0 で $I_{S}$ の取得が困難である場合は擬似的に $I$ を $I_{S}$ とみなす。
(a)

$\mathrm{AQ}:$ それはどこにありますか？ $\mathrm{CQ}$ : 男性が見ているラップトップは ...

: 机の上

$\mathrm{I}_{\mathrm{s}}:$ 机の上 (b)

$\mathrm{AQ}$ : 彼女はどのようなアクセサリーをしていますか $\mathrm{CQ}$ : 黄緑色の服を着た女性は ... ? : ネックレス

I: 指輪,ピアス, ネックレス,
$I_{s}:$ 指輪,ピアス, 眼鏡

ǴT : ネックレス (c)

$\mathrm{AQ}:$ この人物が着ているものは何ですか？ $\mathrm{CQ}:$ 黒色のネクタイをした男性が ... ? A : (グレーの)スーツ, 背広

提案モデル出カ

1 : ユニフォーム, スーツ,シャッ ǴT : スート, スーツ, シャツ
I (d)

$\mathrm{AQ}:$ どんな場所で使われていますか $\mathrm{CQ}:$ どんな場所で携帯電話か使われていますか?

A : 屋外, 街中, 高層ビル街

図 3 提案モデルとベースラインの出力例. $\mathrm{AQ}, \mathrm{CQ}, \mathrm{A}$ はそれぞれ曖昧な質問，明確な質問，人手回答. VQAスコアが最も高いモデルの出力を太字で，GTと $I_{S}$ の範囲をそれぞれ赤枠，緑枠で示す.

## 5.2 定量評価

提案モデル対ベースライン表 2 より，アダプタに関心領域 $\left(I_{s}\right)$ を入力した提案モデル (ClipCap + Adapter $\left(I_{S}\right)$ )とベースライン (ClipCap) を比較する. Mapping Network と言語デコーダを訓練した場合，提案モデルはベースラインの性能を下回った. Mapping Network のみ，Adapterのみを訓練した場合，提案モデルの性能がベースラインの性能を上回った. ベースラインと比較して，提案モデルは $16 \mathrm{M}$ 程度のパラメータ更新で，曖昧な質問に対して精度良く回答を生成できることが判明した.

GazeVQA の精度向上に寄与する要素表 2 より， Mapping Network のみを訓練した提案モデルとベー スラインを比較する．アダプタに画像 $(I)$ を入力した提案モデル (ClipCap+ Adapter $(I)$ ) は，ベースラインと比較して性能が良く, 関心領域やその正例 $\left.{ }^{5}\right)$ $(G T)$ を入力とした提案モデル (ClipCap+ Adapter $\left(I_{s}\right.$, $G T) ）$ と比較して性能に差が無い. アダプタを追加することによる訓練パラメータの増加が, GazeVQA タスクの精度向上の一因であると言える.

## 5.3 定性評価

アダプタへの入力の差異が提案モデルの結果に与える影響を確認する．アダプタに $G T$ を入力した場合，物体の形状や名称など，注視対象の属性を問う曖昧な質問に対して，その回答が一意に定まる傾向にあった. 正確な回答を与えるに資する視覚情報が $G T$ に存在する場合, その傾向が顕著に現れる (図 3(a,b)). 注視対象を絞り込めていない場合，モデルは一貫性の無い回答を出力する (図 3(c)). アダプタ

表 2 提案モデルとベースラインの評価結果. GazeVQA での学習・評価を 5 回繰り返した際の平均値を報告する. $|\theta|$ はモデルの訓練可能なパラメータ数 $[\mathrm{M}]$.

に $I$ を入力した場合，画像全体の理解を要する質問に対し正確な回答を与える傾向にあった (図 3(d)).

## 6 おわりに

本研究では，人間の会話に生じる曖昧さの問題に視線情報を用いて対処することを目的として，視線情報付き VQA データセット，および視線情報を活用するモデルを提案した. GazeVQA の質問は，指示語・省略に起因する曖昧さを含み，回答に話者の視線情報を要する．GazeVQA による実験の結果，提案モデルがベースラインよりも GazeVQA タスクの性能が良いことが示された。とりわけ，視線情報を用いた提案モデルは，注視対象の属性に関する曖昧な質問に対して正確な回答を与えることができた.

## 謝辞

本研究は JSPS 科研費 JP22H04873 の助成を受けた.

## 参考文献

[1] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, and Devi Parikh. VQA: Visual Question Answering. In ICCV, pp. 2425-2433, 2015.

[2] Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, and Devi Parikh. Making the $\mathrm{v}$ in vqa matter: Elevating the role of image understanding in visual question answering. In CVPR, pp. 6904-6913, 2017.

[3] Nobuyuki Shimizu, Na Rong, and Takashi Miyazaki. Visual question answering dataset for bilingual image understanding: A study of cross-lingual transfer using attention maps. In COLING, pp. 1918-1928, 2018.

[4] Tadahiro Taniguchi, Daichi Mochihashi, Takayuki Nagai, Satoru Uchida, Naoya Inoue, Ichiro Kobayashi, Tomoaki Nakamura, Yoshinobu Hagiwara, Naoto Iwahashi, and Tetsunari Inamura. Survey on frontiers of language and robotics. Advanced Robotics, Vol. 33, No. 15-16, pp. 700-730, 2019.

[5] Osamu Sugiyama, Takayuki Kanda, Michita Imai, Hiroshi Ishiguro, and Norihiro Hagita. Natural deictic communication with humanoid robots. In IROS, pp. 1441-1448, 2007.

[6] Kazuhiro Seki, Atsushi Fujii, and Tetsuya Ishikawa. A probabilistic method for analyzing Japanese anaphora integrating zero pronoun detection and resolution. In COLING, 2002.

[7] Ryohei Sasano, Daisuke Kawahara, and Sadao Kurohashi. A fullylexicalized probabilistic model for Japanese zero anaphora resolution. In COLING, pp. 769-776, 2008.

[8] Nathan J. Emery. The eyes have it: the neuroethology, function and evolution of social gaze. Neuroscience \& Biobehavioral Reviews, Vol. 24, No. 6, pp. 581-604, 2000.

[9] Shu Nakamura, Yasutomo Kawanishi, Shohei Nobuhara, and Ko Nishino. DeePoint: Visual pointing recognition and direction estimation. In ICCV, 2023.

[10] Roberta Rocca, Mikkel Wallentin, Cordula Vesper, and Kristian Tylén. This and that back in context: Grounding demonstrative reference in manual and social affordances. In CogSci, 2018.

[11] Adria Recasens, Aditya Khosla, Carl Vondrick, and Antonio Torralba. Where are they looking? In NIPS, Vol. 1, pp. 199-207, 2015.

[12] Tsung Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, and Piotr Dollár. Microsoft coco: Common objects in context. In ECCV, pp. 740-755, 2014.

[13] Timo Lüddecke and Alexander Ecker. Image segmentation using text and image prompts. In CVPR, pp. 7086-7096, 2022.

[14] Ron Mokady, Amir Hertz, and Amit H Bermano. Clipcap: CLIP prefix for image captioning. arXiv:2111.09734, 2021.

[15] Vincent Dumoulin, Ethan Perez, Nathan Schucher, Florian Strub, Harm de Vries, Aaron Courville, and Yoshua Bengio. Feature-wise transformations. Distill, Vol. 3, No. 7, p. e11, 2018.

[16] Abhishek Das, Harsh Agrawal, Larry Zitnick, Devi Parikh, and Dhruv Batra. Human attention in visual question answering: Do humans and deep networks look at the same regions? In EMNLP, pp. 932-937, 2016.

[17] Ekta Sood, Fabian Kögel, Florian Strohm, Prajit Dhar, and Andreas Bulling. VQA-MHUG: A gaze dataset to study multimodal neural attention in visual question answering. In CoNLL, pp. 27-43, 2021.

[18] Arjun Mani, Nobline Yoo, Will Hinthorn, and Olga Russakovsky. Point and ask: Incorporating pointing into visual question answering. arXiv:2011.13681, 2020
[19] Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, and Dhruv Batra. Visual Dialog. In CVPR, pp. 326-335, 2017.

[20] Shubham Agarwal, Trung Bui, Joon-Young Lee, Ioannis Konstas, and Verena Rieser. History for visual dialog: Do we really need it? In ACL, pp. 8182-8197, 2020.

[21] Eunji Chong, Nataniel Ruiz, Yongxin Wang, Yun Zhang, Agata Rozga, and James M. Rehg. Connecting gaze, scene, and attention: Generalized attention estimation via joint modeling of gaze and scene saliency. In ECCV, pp. 397-412, 2018.

[22] Eunji Chong, Yongxin Wang, Nataniel Ruiz, and James M. Rehg. Detecting attended visual targets in video. In CVPR, pp. 53955405, 2020.

[23] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In ICML, Vol. 139, pp. 8748-8763, 2021.

[24] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[25] Dustin Schwenk, Apoorv Khandelwal, Christopher Clark, Kenneth Marino, and Roozbeh Mottaghi. A-okvqa: A benchmark for visual question answering using world knowledge. In ECCV, pp. 146162, 2022.

[26] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pp. 6000-6010, 2017.

[27] Edoardo Ardizzone, Alessandro Bruno, and Giuseppe Mazzola. Saliency based image cropping. In ICIAP, Vol. 8156, pp. 773782, 2013.

[28] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale Japanese image caption dataset. In ACL, Vol. 2, pp. 417-421, 2017.

[29] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In ICLR, 2020

[30] Mingxing Tan and Quoc Le. EfficientNet: Rethinking model scaling for convolutional neural networks. In ICML, Vol. 97, pp. 61056114, 2019.

[31] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.
表 3 GazeVQA の質問タイプの類型. 各質問は日本語表現に含まれる単語にもとづいて分類した。

## A GazeVQA の分析

## A. 1 統計的分析

表 3 に GazeVQA に含まれる質問タイプの類型を示す.表 3 より，GazeVQA に含まれる“what”形式の質問の割合は $81.85 \%$ である. Shimizu らの文献 [3] の Table 1 より, VQA-ja に含まれる “what”形式の質問の割合は $67.10 \%$ であることから, GazeVQA は VQA-ja よりも “what”形式の質問の割合が 1 割ほど多い. 物体の位置関係を問う“where”形式の質問や物体の個数を問う “how”形式の質問の割合は，あわせて $12.04 \%$ である. GazeVQAには，その他に，現在時刻を問う“when”タイプの質問や人物に関する“who” タイプの質問も収録されている。

## A. 2 定性的分析

GazeVQA における曖昧な質問とその回答の特徴を明確にするため, GazeVQA のテストセットに対する事例分析を実施する. 図 4 に GazeVQA のテストセットに含まれる質問と回答の実例を示す. 指示語による曖昧さを持つ質問 (図 $4(\mathrm{a})$ ), 日本語特有の省略による曖昧さを持つ質問 (図 4 (b)) であってもワーカ間の回答は一致する. さらに,注視対象の候補が 2 つ以上ある場合でも，質問の内容を考慮することで，その回答は一つに決定される (図 4 (c)). しかし, 視線情報や質問文の内容を考慮しても, 複数ワ一カ間の回答が一致しない質問は一部存在する (図 4(d)).

## B 実験設定の詳細

## B. 1 訓練対象

表 2 では, Mapping Network と言語デコーダのパラメー タ6)を訓練の対象とした結果を報告した. ベースラインは $410 \mathrm{M}$ ，アダプタは $16 \mathrm{M}$ ，提案モデルは $426 \mathrm{M}$ の訓練可能なパラメータを持つ. また，明示的にアダプタの重みを更新するべく, Mapping Network のみを訓練する場合およびアダプタのみを訓練する場合の結果も報告した. Mapping Network のみを訓練した場合，ベースラインは $74 \mathrm{M}$ ，提案モデルは 90M の訓練可能なパラメータを持つ.

6）機械学習モデルにおけるテンソルの要素数の総和を指す. (a)

$\mathrm{AQ}:$ それをどのようにして食べますか？ $\mathrm{CQ}:$ 芝生に座っている女性はサンドイツチを $\ldots$ ?手で持って食べます, ちぎって食べる, かぶりついて食べる

(c)

$\mathrm{AQ}:$ その人の背番号はいくつですか？ $\mathrm{CQ}:$ ボールの前に立っている選手の

6番

(b)

$\mathrm{AQ}:$ どこに取り付けられていますか？ $\mathrm{CQ}:$ テレビはどこに

A : 壁, リビングの壁

(d)

$\mathrm{AQ}:$ 彼のシャツは何色ですか？

$\mathrm{CQ}$ : 胡座をかいて座っている男性のシヤツは何色ですか？ : 青色, 紺色, 黒色, 白色取り付けられていますか?

図 $4 \mathrm{GazeVQA}$ のテストセットの実例.AQ・太字の回答は 3.2 節の Step3 で得た質問・回答である.CQ はアノテー タの作業により明確化した質問である。

## B. 2 実装詳細

CLIP の画像エンコーダは, ResNet ベースの $R N \times 4$ [30] を利用した ${ }^{7)}$. 画像 $I$ と関心領域 $I_{s}$ は, CLIP の正規化と同様の処理を行う.このため, CLIP の入力は, 縦横 224 画素にリサイズされた画像であり, 出力は 640 次元のべクトルである. Mapping Networkを 8 層の Transformer ブロックで構成し, 画像系列 $\boldsymbol{p}, \boldsymbol{s}, \boldsymbol{r}$ の系列長 $n=10$ とする. 言語デコーダは事前学習済み GPT-2 [24]を利用した ${ }^{8)}$.

実験では，STAIR [28] に収録された 123,287 枚の画像と 616,435 件のキャプション,VQA-ja [3] に収録された 99,208 枚の画像と 793,664 件の質問・回答ペア, GazeVQAによりモデルを学習した. 具体的には，バッチサイズを 32 ，学習率を 2e-5, オプティマイザを AdamW [31] として，各デー タセットで 10epochs ずつ学習した. GazeVQA の回答を推論する際は，デコーディングにサイズ 10 の Beam Search を用いた。

## B. 3 評価指標

式 5 に VQA スコア [1] の定義を示す.

$
A c c=\min \left(\frac{c n t}{3}, 1\right)
$

ここで, cnt は回答セットに含まれる 10 件の人手回答とモデルの予測が完全一致した回数を意味する. BERT スコアに関して，本研究では多言語 $\mathrm{BERT}^{9}$ ) の分散表現を評価に利用した.

7) https://github.com/openai/CLIP

8) https://huggingface.co/rinna/japanese-gpt2-medium

9) https://huggingface.co/bert-base-multilingual-cased


# SNS 上の絵文字位置パターンの分析と Levenshtein 距離を用いたサンプル抽出

山崎由佳 ${ }^{1}$ 西村綾夏 ${ }^{2}$
1 京都大学大学院 ${ }^{2}$ フリー
\{yk.ymzaki+ct, ayaka.nishimura.jp\}<@>gmail.com

## 概要

本研究は，SNS 上の投稿における絵文字の位置のパターンに着目する. SNS 上の投稿では，複数の絵文字が規則的に配されることを通じて，情報伝達を助ける機能が発揮されることがある。このような事象を探るにおいては，投稿中の絵文字単体のみでなく全体の位置を取り扱うことが有効である.

本研究は，特徵的なパターンを持つ投稿データを効率よく抽出するために，絵文字位置ラベルの列に対する Levenshtein 距離を用いたサンプル抽出（および分類）の方法を提案する．実際に，X（旧 Twitter） の投稿データを対象としてこれを実施し，得られた特徴的なパターンについて説明する。

## 1 研究背景

絵文字の位置については，自然言語処理の観点からも，言語学の観点からも触れられてきた. 自然言語処理的な処理を行う研究の例に，絵文字自動挿入を目的として挿入位置を計算する [1] や，共起語を利用した絵文字の意味推定手法を提案する [2] がある. ただし [2] は「単語の後ろや文末に付くことで単語や文を装飾している絵文字は，装飾している対象の意味と同じ意味を持つので,」と述べ，位置と意味の関係を前提のように扱っている。

一方で言語学的な観点からは，絵文字の役割や用法について分析する上で，絵文字の出現位置についても考察や分類がなされてきた. ケータイメールの絵文字を題材とした [3] は，絵文字について「句読点の置かれる場所に付されている」とも述べ，前後のコンテキストとともに絵文字を取り上げて絵文字の役割分類を探索的に行っている. [4] は，選択体系機能言語学 (SFL) の枠組みを用い，(i) 経験的意味に関係する ideational な機能，(ii) 関係性の制定に関
わる interpersonal な機能，(iii) 意味を首尾一貫したテキストに組織化するための資源を記述する textual な機能という 3 つのメタ機能のうち，(iii)にあたる “PERIODICITY system” の層で，絵文字位置（言語資源の前か後か間か）に対応した分類を提示している. [5] は文体パロディにおける絵文字の分析を行い，特定の絵文字が登場する位置を文体の特徴の一部として記述している.

ただし，コンテンツ中に存在する絵文字の位置がどのようなパターンをなしているのかという点，並びに，それと絵文字の役割・機能との関係については，踏み込む余地があるだろう。

実際に，絵文字の位置の反復性への着目を通じて語用論的な効果が見出せる例として, Instagram 上のある企業投稿を取り上げる（図 1)。

図1@uniqlo_jp. 2023. https://www.instagram. com/p/CyfoP3ju480/, accessed on 2023/12/28.

分析のため，まず，[3] が提示した絵文字の役割の 7 分類を用いる。「(1)事物そのものを表す」「(2)事象の表現に前置き／後置き」「(3)身体動作」「(4)プロ

ソディー」「の前接文に合わせた感情を示す」「の前接文とは異なる感情を示す」「⑦装飾・雾囲気，リズムとり，句読点，トピック転換」である. 図 1 における「度募期間」の「筒」は，「応募期間」という事象に対応しており，分類は(2)が最も適切だろう1). ただ，[3] は(2)の説明で「(2)も同様にアイコン的役割をもつが，その前後にすでに同じ意味を示す文字がある。にもかかわらず絵文字も使うのは，効率という観点からは無駄なのだが、メール全体の雾囲気を楽しくしたり和らげたりする効果を担っていると考えられる。と述べている。しかし，図 1 全体を見れば，「型」は数行後の「斤」や「』」とともに，テキスト中のまとまりの先頭に置かれていることがわかる. 個々のまとまりは形式的に空行で区切られるとともに，話題としてのまとまりもなしている。このことから，「些」「ケ」「』」には投稿中の話題整理の役割も担うのではないか，という推測が導かれる。絵文字が視覚的な際立ちを生じさせ，閲覧者における情報の構造化を助ける効果を与えるのである。このような使用は「無駄」ではないはずだ2). 留意すべきは，この効果は絵文字単体や絵文字を含む一行だけから生じるのではない，ということである.このため，コンテンツ全域（あるいは，閲覧者にある瞬間認識・記憶される範囲）における絵文字出現位置パターンを取り上げる意義があるといえよう。

そこで本研究は，SNS 上の投稿データを使用して絵文字の位置と機能を改めて分析するとともに，投稿データから特徴的な絵文字の出現位置パターンを抽出するための簡便な手法を提案する。

なお，先行研究における絵文字の位置の捉え方には，「テキスト文字列中の何番目か」「ある要素（たとえば絵文字の内容を表す語）との関係において前か後か」「一行あるいは一文において，先頭か末尾かそれ以外か」といったものが見受けられる。本研究は, ウェブ上, 特に SNS 上のテキストを題材とし，「行」3)における位置に着目する。

## 2 分析対象データの概要

ファッション小売チェーン「アダストリア」系列のブランドの，X（旧 Twitter）上の投稿を対象と

1）なお，(7については，2 文の間にある例や行末の例が挙げられ，「(7になると、絵文字と前接する文との関連性はほとんどなく，関連づけることさえ求められていない。」ある.

2）もっとも，[3] はケータイメールを対象とした研究であるのに対し，本研究では企業の投稿を扱うため，テキストの目的が異なる場合も多いだろう。

3）改行コードで区切られる範囲とする.
する. アダストリアは 2021 年〜2022 年において， ファーストリテイリング，しまむらに次ぐ業界 3 位である. 系列 20 ブランドの 2023 年 9 月 16 日における最新 200 投稿ずつを Twitter APIを用いて取得し，その中で絵文字を含む 2093 件を対象とする.

## 3 分析手法: Levenshtein 距離を用 いたサンプル抽出と分類

特徴的な絵文字位置登場パターンを抽出するため

に，Levenshtein 距離（編集距離）を用いて，サンプル抽出および分類を実行した。

大まかな流れは次の通りである。(i) 投稿中の各絵文字に対して位置ラベルを付与し，各ラベルをそれぞれ 1 文字として扱い，ラベルを連結し，得られた文字列に圧縮処置を施す。(ii) Levenshtein 距離を用いた計算を行い，データ中で最も中間的なパター ン 1 つ，それから最も「離れた」パターン 1 つ，…....等を抽出していき，これらのサンプルへの距離を用いた分類を行う。

詳細を以下の小節に記す。

## 3.1 ラベルの付与と文字列化

対象データ中の各投稿に対して，以下の処理を実行し，文字列を得る。

1. 投稿に含まれる各絵文字に対し， 1 文字ずつのラベルを付与する．用いるのは，行中での位置を表す 6 種類の位置ラベルである（「 $\mathrm{W}$ :行全体」「A: 行頭」「Z: 行末」「B: 行頭絵文字から連なる絵文字の塊に入る」「Y: 行末絵文字に連なる絵文字の塊に入る」「 $\mathrm{M}$ : それらのいずれでもない」）。なお，複数に該当する場合（W かつ A かつ Zなど）は先頭のラベルを適用する.4）

2. ラベルを連結して文字列を作成する.

3. 一部の位置ラベル $(\ulcorner\mathrm{B}, \mathrm{Y}, \mathrm{M}\rfloor)$ が連続する際には，1 文字分に圧縮（短縮）する処理を行う.

例：(@repipi_armario の投稿 $\left.{ }^{5}\right)$ より)“吊ェブストア改行] 秋の新商品が色々入ってきてますあ 6 600 ウェブの撮り方も秋に合わせてパープルに

4）なお，試行過程においては， 4 種類の位置ラベル（「 $\mathrm{w}_{\mathrm{w}}$ : 行

や，9 種類の絵文字カテゴリラベル (ウェブサイト Emoji Terra https://emojiterra.com/のカテゴリ分けをもととして絵文字に割り当てた意味的なカテゴリに対応）も試した。

5) https://twitter.com/repipi_armario/status/ 903215107974488064 , accessed on 2023/12/11.

クしてねびhttps://t.co/J8DE56Lk4e https://t. co/epq85pqsz3”には, “AZMMMMMMMM”という文字列を経由して，“AZM”が付与される。

## 3.2 サンプル抽出と分類

先述の処理で得た文字列をもとに，サンプル抽出と分類を行う ${ }^{6)}$.

## 3.2.1 Levenshtein 距離

2 つの文字列間の「離れ具合」を計算する方法の一つに，Levenshtein 距離がある。文字列に対し， 1 文字ごとの「挿入」「置換」「削除」といった 3 種の編集操作を許容する。ある文字列を別の文字列に一致させるための最小の操作回数が，両者間の Levenshtein 距離である7). たとえば，「A」と「B」の Levenshtein 距離は $1, 「 \mathrm{AB}\lrcorner と 「 \mathrm{BA} 」 の$ Levenshtein 距離は 2 となる.

今回この方法を選定する理由として，(i) 文字の順番が結果に影響すること, (ii) 計算過程がクリアで再現性があること，を挙げる。

## 3.2.2 サンプル抽出

まず，サンプル抽出の手法を大まかに述べる。 Levenshtein 距離に関して全体の中央値の $1 つ^{8}$ ) たるラベル文字列を初めの（0 番目の）サンプルとする．以降の探索範囲を初めのサンプルからある程度離れた文字列集合とし, 初めのサンプルから最も離れた文字列の 1 つを次のサンプルとする．回を重ねるごとに少しずつ探索範囲を狭めていくような形で，探索範囲からのサンプル取得および次の探索範囲の決定を行う。

より具体的には以下の通りである（例外処理を省いて述べる).

パラメータ $R \in \mathbb{N}$ (最初の探索範囲に確保したい個数）と $W \in \mathbb{N}$ （最大距離からの許容幅）を与えておく．対象データ9) 中の各投稿を，添字を用いて $d_{i}$ と記す.Iで添字の集合を表す。各投稿に付与したラベル文字列を $x_{i}$ で表し，Lをこれらをまとめた配列 $\left(x_{i}\right)_{i \in I}$ とする. $I_{0}:=I$ と置く. Levenshtein 距離に

6） 今回の手法は，各投稿が大体 10 行以下程度であるような状況を踏まえて作ったものである. もし対象の行数や含まれる絵文字の個数の最大値が非常に大きいような状況を扱うのならば，適宜変更が求められるだろう。

7）拡張として，3種の操作に対して異なる距離の加え方を与えるような距離を考えることもできる。

8）一般には中央值は一意とは限らない.

9）投稿数及び各投稿中の文字列長は有限であると仮定する.関する $L$ の medianを 1 つ求め ${ }^{10)} ， s_{0}$ で表す. $x_{i}=s_{0}$ となる添字 $i \in I_{0}$ のうち最小のものを $j_{0}$ とする.次のサンプル $s_{1}$ の探索範囲を以下のように作る.

$
\begin{array}{r}
u_{0}:=\max \left.\{u \in \mathbb{Z}_{\geq 0} \mid n\left(\left.\{i \in I_{0} \mid d\left(x_{i}, s_{0}\right) \geq u\right.\}\right) \geq \mathrm{R}\right.\} \\
I_{1}:=\left.\{i \in I_{0} \mid d\left(x_{i}, s_{0}\right) \geq u_{0}\right.\}, L_{1}:=\left(x_{i}\right)_{i \in I_{1}}
\end{array}
$

ただし, $d(\cdot, \cdot)$ で Levenshtein 距離を表し， $n($ 集合 $)$ で集合の要素の個数を表す。

ここから (2)のようにしてサンプル $s_{1}$ を抽出し， また次の探索範囲 $\left(I_{2}\right.$ および $\left.L_{2}\right)$ を定める.

$
\begin{array}{r}
d_{\max _{1}}:=\max _{x \in L_{1}} d\left(x, s_{0}\right) \\
j_{1}:=\min \left.\{i \in I_{1} \mid d\left(x_{i}, s_{0}\right)=d_{\max _{1}}\right.\}, s_{1}:=x_{j_{1}} \\
u_{1}:=\max \left.\{d_{\max _{1}}-W, 1\right.\} \\
I_{2}:=\left.\{i \in I_{1} \mid d\left(x_{i}, s_{1}\right) \geq u_{1}\right.\}, L_{2}:=\left(x_{i}\right)_{i \in I_{2}}
\end{array}
$

$d_{\max _{2}}$ 以降は， $I_{k+1}$ が空集合になるまで (2) 同様のプロセスを繰り返す11)。

## 3.2.3 分類

得たサンプル列をもとに，各データとサンプルの距離を用いた分類を実行する。ただし， パラメータとして，作成するクラスタ個数の上限 $(\in \mathbb{N})$ を与え， $N$ と記す. 分類番号は以下のように付与する.
- 文字列 $x$ に対しては，サンプルらの先頭 $N$ 個までの中で $x$ との距離が最小になるようなサンプルのうち，最も添字が小さいものの添字を与える.（サンプルの添字の集合 $J$ を $J:=\left.\{j_{k}\right.\}$ で定め, $J^{\prime}$ を $J:=\left.\{j_{k} \mid k \leq N\right.\}$ で定めると， $x$ に対して分類を行う関数 $\mathrm{cl}(x)$ は次のように表せる)

$
\begin{aligned}
& \mu: x \mapsto \min _{j_{k} \in J^{\prime}} d\left(x, j_{k}\right) \\
& \mathrm{cl}: x \mapsto \min \left.\{j_{k} \in J^{\prime} \mid \mu(x)=d\left(x, j_{k}\right)\right.\}
\end{aligned}
$
- 添字 $i$ や投稿 $d_{i}$ に対しては， $x_{i}$ を通して同様に分類番号が付与できる. これを実行する.

## 4 分析結果と考察

実際に抽出されたサンプルを通して，見出された特徴的なパターンについて述べる。
 \supsetneq \emptyset の$ 場合， $j_{k} \in I_{k}$ となることと， $u_{k} \geq 1$ となることから， $I_{k} \supsetneq I_{k+1}$ となるといえる。
}

はじめに，パラメータとして $R=20, W=10$ を指定して得られたサンプル列12)と，さらにクラスタ個数上限 $N=10$ を指定して得られた分類について述べる. まず，得られたサンプル列の長さは 39 で， クラスタのサイズは，サンプル $s_{0}$ (ラベル列「Z」) に紐づく分類番号 0 から順に，1838, 4, 17, 5, 46, 1, 100, 27, 1, 54 （合計 2093）であった. 各クラスタに入るサンプル個数は順に， $1,3,10,1,6,1,7,7,1,2$ であった. 以下，特徴的なパターンを数点，抽出されたサンプルに紐づく投稿例の説明とともに述べる.

$
\text { パターン例 }(\mathrm{A}) ：\ulcorner\mathrm{AZ} 」 \text { の反復・頻出 }
$

(A-1): 一行の先頭と末尾に同じ絵文字

(1) JUUNIVUE PARK' 23戸[改行][改行] 010 月 8 日出演。[改行] アカリトライブ [改行]山本彩さんからコメント略] ${ }^{13)}$

例 (1)（画面上表示例を付録に収録）は，サンプル $s_{1}$ に紐づき分類番号は 1 . 圧縮後の位置ラベル列は $「 A Z A Z A Z M Z A M 」$ ありり，3個の「AZ」にあたる部分には，テキストを同じ絵文字で挟み目立たせるような効果が見出される。一方で個々の絵文字では，告知であることと「』」，言及内容がライブであることと「J」，「アカリ」と「」」9間に関連があるといえよう. 形式（構造）と個々の絵文字の内容という二点で情報伝達に寄与するものだろう。

(A-2)：ブロック先頭に絵文字 $\rightarrow$ 中の行末に絵文字

(2) RT @up_6ch:こんにちは改行]きょうは… [改行][改行] 阱モリコロパークに誕生计 [改行] \#猫の城遊具を中継リポート留 [改行] \#猫の恩返し \#ジブリ [改行][改行] 蔧\#藤井七冠 [改行] 王座への道は開くか品 [改行]八冠への挑戦権は…[改行][改行] 朗大谷翔平が 40 号 ! 大台到達、“改行][改行] \#近藤千尋（@chipi1215 ...14)

例 (2) $\left(s_{17}\right.$, 分類番号 1）は，「RT」であり，元の投稿では“（@chipi1215”には“）さん大注目・改行] 暑い夏の此必需品改行] \#ペットボトルホルダー”と続いた。この例では，ニュースを述べるブロックが，空行を挟んで繰り返されている. 各先頭行の頭にある絵文字は，図 1 同様，情報整理を助
}$ の最大が 10 であったため, $W$ をこれより大きくしても同じ結果となる.

13) @nikoand. https://twitter.com/nikoand/status/ 1701060180732260362, accessed on 2023/12/27.

14）@LAKOLE_official.https://twitter.com/LAKOLE_official /status/1687365843028721664, accessed on 2023/12/26.
}

ける textual な働きを果たすものだろう。その 4 つ

は，テキストの内容（「猫」「王座」）やトピック（野球）と結びつく ideational な機能をも兼ねると考えられるが，最後の「び」の選定は異なる性質があると思われる。また，一部の行末には，ニュースへの評価や態度（語り手がどう受け止めているか，どう評価するかなど）を示し interpersonal な機能を持つと考えられる絵文字「゙」「」「蚔」」がある。 なお，各ブロックの二行目以降は字下げされており，これらの行頭に絵文字はない。こういったことも情報整理を支えると考えられる。

パターン例 $(\mathrm{B}) ： 「 \mathrm{AA} 」$ の反復

(3) ルーズジャケット [改行] Dhttps://t.co/ YZYCz190UI[略：「AA」パターン] ${ }^{15)}$

例 (3)（ $s_{3}$ ，分類番号 3）の省略部分では，前 2 行と同じような構造「(メダルを表す絵文字) アイテ么名 [改行] 『(URL)」が空行を挟み 3 回登場してい

上述の例 (2) と例 (3) では, 位置形式の反復自体が，投稿の構造化という点で textual な機能を果たしていると考えられる. ただし，例 (3) では絵文字の選択幅が狭く（メダルを表すものと「ロ」），メダル絵文字中の数字がブロックの順番と関わる一方，例 (2) 中では行頭にあたる絵文字は多様であった（な

に，反復されるもののあり方に着目し, 反復的構成の多層性を分析することが可能だろう。

## 5 おわりに

本研究は，絵文字単体ではなく位置のパターンに着目することにより，情報整理に役立つ絵文字の使い方が見出せることを提示した. また，位置のパターンに基づく投稿サンプル抽出方法を考え，実際に興味深い例を抽出した。

本手法の発展としては，位置ラベル文字列の処理方法を，言語学的分析の実感を踏まえて調整することが考えられる. また，今回は複数ユーザの投稿で構成されるデータを対象とした分析を提示したが，特定のユーザを対象として，投稿のバリエーションを探ることもできるだろう。

15） @lowrystwit. https://twitter.com/LOWRYSTWIT/status/ 1439932330190131205 , accessed on 2023/12/26.

## 謝辞

This work was supported by JST SPRING, Grant Number JPMJSP2110.

## 参考文献

[1] 橋本泰一. Twitterへの絵文字自動挿入システム. 言語処理学会第 17 回年次大会発表論文集, pp. 1151-1154, 2011.

[2] 高本健太, 町田翔, 延澤志保. 用法に着目した文中の絵文字の意味推定. 情報処理学会第 80 回全国大会講演論文集, Vol. 2018, No. 1, pp. 313-314, 032018.

[3] 三宅和子. ケータイの絵文字 : ヴィジュアル志向と対人配慮. 日本語学, Vol. 31, No. 2, pp. 14-24, 022012.

[4] Lorenzo Logi and Michele Zappavigna. A social semiotic perspective on emoji: How emoji and language interact to make meaning in digital messages. New Media \& Society, Vol. 25, pp. 3222 - 3246, 2021 .

[5] 西村綾夏. 文体における視覚的文体素の役割 : Twitter ユーザを対象とした文体パロディ中の絵文字を例に.言語科学論集, Vol. 23, pp. 19-38, 122017.

[6] Michael Halliday, et al. Language as social semiotic. Edward Arnold London, 1978.

[7] 小林一郎. 意味へのアプローチ：ハリデー言語学の観点から. 認知科学, Vol. 24, No. 1, pp. 8-15, 2017.

[8] Michele Zappavigna and Lorenzo Logi. Emoji in social media discourse about working from home. Discourse, Context \& Media, Vol. 44, p. 100543, 2021.

## 付録：結果補足資料

## サンプル一覧

$R=20, W=10, N=10$ を指定して得られたサンプル列と分類番号を提示する。

表 1 サンプル列（ $R=20, W=10 ）$ と分類番号（ $N=10 ）$

## 投稿例のキャプチャ

図 3 例 (1)

t7 LAKOLE/ラコレさんがリポスト

ドデスカ!+(メ〜テレ) [公式]

@dodeplus_6ch

こんにちは:

きょうは...

丹ク\#モリコロパークに誕生

\#猫の城遊具を中継リポート・

\#猫の恩返し \#ジブリ

悲井藤井七冠

王座への道は開くかや

八冠への挑戦権は...

## 朗大谷翔平が 40 号! 大台到達,

”进藤千尋 (@chipi1215) さん大注目..

暑い夏の必必需品

\#ペットボトルホルダー

図 4 例 (2)

図 5 例 (3)


# 基盤モデルと古典プランニングを用いた レシピ記述からの実世界調理計画認識実行ロボットシステム

金沢直晃 ${ }^{1}$ 河原塚健人 1 大日方慶樹 1 岡田慧 1 稲葉雅幸 1
1 東京大学大学院 情報理工学系研究科
\{kanazawa, kawaharazuka, obinata, k-okada, inaba\}@jsk.imi.i.u-tokyo.ac.jp

## 概要

ロボットによる調理実行においては，自然言語のレシピ記述に基づいて作業を行えることが望ましいが，大規模言語モデルが登場した現在においても依然として課題が存在する. 本研究では特に重要な 2 つの課題に着目し，大規模言語モデルと PDDL 記述の古典プランニングによる実世界で実行可能な口ボット調理行動計画と，視覚-言語モデルを用いた少数データからの食材状態認識学習を行うロボットシステムを提案した．実世界でロボットが調理を実行する実機実験により提案システムの有効性を確認した.

## 1 はじめに

日常生活に欠かせない家事である調理においては，環境.エージェント非依存なタスク記述であるレシピに従い，実行する環境の状況に合わせて調理作業を実行することが必要である。これまでも生活支援ロボットの文脈で，自然言語で記述されたレシピからロボットの行動計画及び実行を行う研究が数多く行われてきている $[1,2,3,4,5,6]$. また，自然言語の指示からのロボットの行動計画については,大規模言語モデル (LLM) [7] が登場し，ロボットの行動計画への応用 $[8,9]$ も進められていて，これまでのルールベースの処理よりも高度に自然言語指示に対応可能な行動計画が行えるようになってきている.しかし，ロボットがレシピ記述に基づいて実世界で調理作業を実行するためには依然として課題が存在する。本研究では特に重要である「実世界で実行可能な行動計画」と「食材状態変化の認識」の 2 つの課題に着目する。

1 つ目の「実世界で実行可能な行動計画」の課題は，実際の環境の状態からレシピに書かれた調理行動を順に実行していくために必要な行動を適宜補完

図 1:レシピからの調理実行ロボットシステム.大規模言語モデルによりレシピを関数シーケンスに変換，PDDL [10] 記述の古典プランニングにより実行可能なように補完した行動手順を計画。視覚-言語モデルを用いた少数データからの食材状態認識学習により調理中の食材の状態を認識しながらロボットが調理を実行.

していく行動計画が必要であるというものである. [6] で指摘されている通り，「ボウルの中の卵を鍋に注ぐ」ためにはその前にボウルを持つ必要があるなどの，人が無意識に行うためにレシピには省かれて記述されないが実際には必要な行動が存在する。また，その時のキッチン環境の状況によって，目標の調理行動を行うための準備として必要な行動も存在する、ロボットが実世界で調理行動を実行するためには，それらを補完して実行可能な行動手順を計画する必要がある。そこで本研究では，LLMを用いて自然言語のレシピ記述をプログラムが解釈可能な調理関数シーケンスに変換し，変換された調理関数を PDDL [10] を用いた古典プランニングにより必要な行動を補完して実世界で実行可能にする行動計画 [11]を行う.

2 つ目の食材状態変化の認識の課題は，調理では作業中に食材が大きく状態変化し，「水が沸騰するまで加熱する」「バターが溶けたら卵液を注ぐ」など

の食材の状態変化に条件付けられた記述を含むレシピに対応するために，それらの状態変化をロボットが認識する必要があるというものである. 食材の状態認識においても，これまでも専用のデータセットを用いて CNNを学習し状態分類を行う研究 $[12,6]$ などが行われてきている. しかし，調理においては様々な食材や状態変化が存在するためそれら全てのデータを大量に収集するのは困難であるため，必要なデータをなるべく少量にする工夫が必要であると考えられる. 本研究では, 視覚-言語モデル [13]を用いた少数データからの食材状態認識学習 [11]を行う.

以上を踏まえて本研究では，自然言語で書かれた料理レシピを基にロボットが実世界で実行可能な調理行動を計画し, 食材の状態変化を認識しながら調理を実行するロボットシステム (図 1)を提案する.

## 2 レシピからの実世界で実行可能な ロボット調理行動計画

本研究では，自然言語のレシピ記述からの実世界で実行可能なロボット調理行動の計画法 (図 2)を提案する。まず，大規模言語モデルを用いたレシピからの調理関数シーケンス生成 (2.1) により，レシピ記述をプログラムが解釈可能な調理関数のシーケンスに変換する. 次に，変換された調理関数のシーケンスを実世界で実行可能にするために PDDL [10] の記述を用いた古典プランニングによりレシピに省かれている行動や現在の環境の状態から目標の調理行動を実行するために必要な行動を補完する (2.2).

図 2: 自然言語のレシピ記述からの実世界で実行可能なロボット調理行動の計画法. 大規模言語モデルを用いて自然言語のレシピから調理関数シーケンスを生成し，ルールベースの処理と PDDL [10] 記述を用いた古典プランニングにより行動を計画することで，大規模言語モデルによる変換結果を実世界で実行可能なように補完した行動手順を計画.

## 2.1 大規模言語モデルを用いたレシピから の調理関数シーケンス生成

調理では，食材の状態をレシピの手順に従って変化させていき目標の食材状態を実現することで最終的な料理を完成させることが目的となる. そのため, 本研究では食材の状態を変化させる調理行動の関数については目標の食材状態の記述を引数として設定した行動関数記述を用いる。

本研究で対象とする目玉焼き，ポーチドエッグ， スクランブルエッグの 3 つの卵料理に含まれる調理関数表現として以下の 8 つの関数を考えた.
- pour(ingredient, vessel)
- mix(ingredient, ingredient, mixture, vessel, tool)
- set(stove, state)
- stir(ingredient, state, tool)
- heat(ingredient, state)
- $\operatorname{cook}$ (ingredient, state)
- boil(ingredient, state)
- sitr-fry(ingredient, state, tool)

ここで, ingredient は食材, mixture は複数食材の混合物であり ingredient の属性も持つ, vessel は容器, tool は道具を意味する変数である。

実験のために，目玉焼き，ポーチドエッグ，スクランブルエッグの 3 つの卵料理の日本語レシピ記述とその理想的な変換を人がアノテーションしたものを用意した. GPT-4 [7]を用いて，他の 2 つの料理についてレシピ記述とアノテーションを例示した Few-Shot Prompting によりレシピの変換を推論 (図 2) する実験を 3 つのレシピに実行した. 実験の結果，人のアノテーションとの細かい表現の差異はあるが，概ね正しい関数シーケンス変換が行えることを確認した (3).

図 3: GPT-4 [7] によるレシピ記述の調理関数シーケンス変換結果. 人のアノテーションと異なっている部分を赤字下線で示している.

## 2.2 PDDL を用いた実行可能な調理行動手順計画

本研究では，変換された調理関数シーケンスに対し，人は無意識に実行するためレシピには省かれてしまっている行動や，その時の環境の状態から目標の調理行動を実行するために必要な行動を補完し，目標とした調理行動を実世界で実行可能な行動手順計画を行う。

対象とする調理行動計画の問題を PDDL [10] の問題記述に落とし込み，PDDL の action として 2.1 で提案した調理関数の 8 つに加えて，直接食材の状態を変化させない行動も含めた調理に必要な行動として hold, place, move-to, open-tap, close-tap, turn-on-stove, turn-off-stove, transfer, fetch-water $の 9 \supset$ を追加した合計 17 の action を考える.これらの action と対応する precondition と effect $の$ predicates をそれぞれ定義し, 調理行動計画の domainを用意する. 実環境での実行可能性を考慮した計画にするために, これらの action や predicates には arm や spot などの調理関数には含まれていない要素も追加して定義する。これにより，双腕ロボットで実行するのに腕が 3 本必要な調理行動を実行する，その場所に存在していない物体を使おうとするなどの実行不可能な行動が計画されることを防ぐことができる.

2.1 で変換された調理関数シーケンスを，それぞれの関数に対応する PDDL の action の effect のシー ケンスに変換することで，目標調理状態のシーケンスを取得する。シーケンスの各ステップにおいて，開始時点での状態と目標状態を繋げるように PDDL 記述での古典プランニングを解き，目標状態の条件を満たした時点での状態を得る。それを次のステップの開始時点での状態として，古典プランニングを繰り返すことで実行可能な行動手順を計画する (図 2). また，人が調理する際と同じような自然な行動になるように，各ステップの目標状態には，変換された effect に追加してロボットは何も持っていない状態であるという条件を追加し，全てのシーケンス終了後はロボットは何も持っておらず，コンロも水道も off の状態であるという条件を追加している。目玉焼き，ポーチドエッグ，スクランブルエッグの 3 つの料理に対して関数表現シーケンスから行動手順計画を行い，実行可能な計画が行われていることを定性的に確認した。なお，今回の実験では最初の開始時点の状態である初期条件はそれぞれの料理に必要な材料がキッチンにセットされている状態から計画を行ったが，それぞれの材料や道具が決められた置き場にセットされているという条件や，ロボットが何らかの方法で認識した初期条件から計画することも可能である.

## 3 視覚-言語モデルを用いた少数 データからの食材状態認識学習

本研究では，CLIP の論文 [13] でも議論されている Linear-Probe を用いた少数データからの食材状態認識学習法 (図 4) を提案する。この Linear-Probe では， CLIP の Image-Encoder が出力する画像特徴量に対して線形識別器を学習し, 画像の分類を行う. 食材の状態認識としては，過去の食材状態変化時系列データについての人のアノテーション時刻より前の画像を変化前 (0)，アノテーション時刻以降の画像を変化後 (1) とラベルをつけて Linear-Probe を学習する.この方法では多次元の画像特徴量に対する識別器の学習を行っており, 実験を行う度に獲得される新規データを認識器の学習データに追加することが可能になりロバスト性を向上させていけるため，安定した食材状態認識が可能になる。

卵料理に含まれる「水の沸騰」，「バターの融解」，「卵のタンパク質の熱変性」の3つの状態変化のデー タを収集し，提案手法を適用する実験を行った (図 5). それぞれのデータの最初の画像に対して OpenVocabulary な物体検出器である GroundingDINO [14] を用いて自然言語のプロンプトからフライパンや鍋の中身もしくは全体の領域を取得した．以降はこの取得した領域を注視領域として状態変化認識の処理を行い，(a) 鍋やフライパンの中身領域と，(b) 鍋やフライパンの全体領域のどちらを注視領域としたほうが認識器の性能が良くなるかを比較した。

それぞれの状態変化について 2 つの時系列データを取得し，1つのデータを学習用データとして利用して提案手法により状態変化認識器を学習し，もう 1 つの時系列データに対して認識を行うことで提案手法の有効性を検証した (図 5). 時系列データの最初の時刻から順に画像の状態分類を実行し，変化後のラベルである 1 と最初に判定された時刻を状態変化の推論結果とした. この推論結果の時刻と, 人のアノテーション時刻を比較して性能を評価した．実験の結果，フライパンや鍋の全体領域よりもフライパンや鍋の中身領域を注視領域として利用した条件の方が認識結果が良くなり，妥当な状態変化認識を
行えることが確認できた。

図 4: 視覚-言語モデルを用いた少数データからの食材状態認識学習. GroundingDINO [14] を用いてフライパンや鍋の中身もしくは全体の領域を取得し注視領域とし，その領域の画像について CLIP [13] の Linear-Probe を用いた少数データからの食材状態認識学習によって状態変化を認識.

図 5: 食材状態変化認識の実験結果. 変化後ラベルの 1 と最初に判定された時刻を状態変化の推論時刻とし，人のアノテーション時刻と比較して性能を評価. フライパンや鍋の全体領域よりも中身領域を注視領域として利用した条件の方が認識結果が良くなり，妥当な状態変化認識を行えることを確認.

## 4 ロボットによる実世界での調理実行実験

提案したシステムを用いて，自然言語のレシピ記述から実世界で実行可能な調理行動手順を計画 (2) し，加熱中の食材の状態変化を視覚-言語モデルを用いた食材の状態認識 (3)をしながら順に調理行動を実行し，実世界でロボットが目玉焼きを調理する実機実験 (図 6)を行い，提案システムの有効性を確認した．今回の実験では動作部分については，人がダイレクトティーチにより教示した動作を実行している.

図 6: 実世界でのレシピ記述からのロボットの目玉焼き調理実行実験. 自然言語のレシピ記述に基づいて提案システムにより，行動計画及び食材状態認識を行って順に調理を実行し，実際に目玉焼きを調理できることを確認.

## 5 おわりに

本研究では自然言語で書かれた料理レシピを基にロボットが実世界で調理を実行可能にするために，大規模言語モデルと PDDL 記述の古典プランニングによる実世界で実行可能なロボット調理行動計画と，視覚-言語モデルを用いた少数データからの食材状態認識学習を行うシステムを提案した。実際に実世界で目玉焼きの調理を実行することで提案システムの有効性を確認した。

今後は，動作計画部分においてもレシピ記述に基づいた動作計画を行い，全体の調理実行ロボットシステムとして統合していくことで，より多くの料理やレシピ記述を多様な環境で実行できるように全体のシステムを拡張していく．調理関数表現をより多くの料理品目に対応可能なように拡張することで多くの料理やレシピに対応できるようになると考えられるが，その際にも本研究で提案した行動計画と食材状態認識が有効であると考えられる。

## 参考文献

[1] Michael Beetz, Ulrich Klank, Ingo Kresse, Alexis Maldonado, Lorenz Mösenlechner, Dejan Pangercic, Thomas Rühr, and Moritz Tenorth. Robotic roommates making pancakes. In 2011 11th IEEE-RAS International Conference on Humanoid Robots, pp. 529-536, 2011.

[2] Mario Bollini, Stefanie Tellex, Tyler Thompson, Nicholas Roy, and Daniela Rus. Interpreting and executing recipes with a cooking robot. In Experimental Robotics, pp. 481-495. Springer, 2013.

[3] Gayane Kazhoyan and Michael Beetz. Programming robotic agents with action descriptions. In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 103-108. IEEE, 2017.

[4] Masahiro Inagawa, Toshinobu Takei, and Etsujiro Imanishi. Analysis of cooking recipes written in japanese and motion planning for cooking robot. ROBOMECH Journal, Vol. 8, No. 1, pp. 1-13, 2021.

[5] David Paulius, Kelvin Sheng Pei Dong, and Yu Sun. Task planning with a weighted functional object-oriented network. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 3904-3910. IEEE, 2021.

[6] Kota Takata, Takuya Kiyokawa, Ixchel G Ramirez-Alpizar, Natsuki Yamanobe, Weiwei Wan, and Kensuke Harada. Efficient task/motion planning for a dual-arm robot from language instructions and cooking images. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 12058-12065. IEEE, 2022.

[7] OpenAI. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023 .

[8] Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, Byron David, Chelsea Finn, Chuyuan Fu, Keerthana Gopalakrishnan, Karol Hausman, et al. Do as i can, not as i say: Grounding language in robotic affordances. arXiv preprint arXiv:2204.01691, 2022.

[9] Marta Skreta, Naruki Yoshikawa, Sebastian ArellanoRubach, Zhi Ji, Lasse Bjørn Kristensen, Kourosh Darvish, Alán Aspuru-Guzik, Florian Shkurti, and Animesh Garg. Errors are useful prompts: Instruction guided task programming with verifier-assisted iterative prompting. arXiv preprint arXiv:2303.14100, 2023.

[10] Constructions Aeronautiques, Adele Howe, Craig Knoblock, ISI Drew McDermott, Ashwin Ram, Manuela Veloso, Daniel Weld, David Wilkins SRI, Anthony Barrett, Dave Christianson, et al. Pddl - the planning domain definition language. Technical Report, Tech. Rep., 1998.

[11] 金沢直晃, 河原塚健人, 大日方慶樹, 岡田慧, 稲葉雅幸. 対象物状態中心の調理行動記述に基づくレシピからの卵料理の実世界調理実行ロボットシステム.第 24 回 SICE システムインテグレーション部門講演会講演概要集, pp. 3G2-08, Dec 2023.

[12] Rahul Paul. Classifying cooking object's state using a tuned vgg convolutional neural network. arXiv preprint arXiv:1805.09391, 2018

[13] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pp. 8748-8763, 2021.

[14] Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. arXiv preprint arXiv:2303.05499, 2023.


# 実世界対話における フレーズグラウンディングモデルの評価と分析

植田暢大 ${ }^{1,2}$ 波部 英子 2 松井陽子 2 湯口 彰重 3,2 河野 誠也 ${ }^{2,4}$
川西康友 ${ }^{2,4}$ 黒橋 禎夫 $1,2,5$ 吉野 幸一郎 2,4
}

1 京都大学 大学院情報学研究科 2 理化学研究所 ガーディアンロボットプロジェクト

3 東京理科大学 先進工学部 4 奈良先端科学技術大学院大学 情報科学領域 5 国立情報学研究所

\{ueda,kuro\}@nlp.ist.i.kyoto-u.ac.jpakishige.yuguchi@rs.tus.ac.jp

\{hideko.habe,yoko.matsui,seiya.kawano,yasutomo.kawanishi,koichiro.yoshino\}@riken.jp
## 概要

実世界の共同作業における対話では，物体に対する参照表現が多く出現する。本研究ではフレーズグラウンディングの枠組みで，実世界対話における既存モデルの物体参照表現に対するフレーズグラウンディング性能を評価・分析し，課題を明らかにする。また，分析に基づいた改善手法の検討を行う。

## 1 はじめに

実世界で人間と協働する対話システムの実現には，対話中の参照表現の実世界へのグラウンディングが不可欠である．例えば「そのコップに注いで」 という発話では，「コップ」のテキスト上の意味を理解するだけでは不十分であり，実世界において参照しているコップの実体を知る必要がある.

フレーズが参照している実体を視覚情報, 特に画像中の物体矩形の形で特定するタスクはフレーズグラウンディングとよばれる $[1,2]$. このタスクではベンチマークとして Flickr30K Entities データセット [3] が広く用いられており，代表的な解析モデルである MDETR [1] や GLIP [4,5] は 80\%以上の精度1) を達成している. しかし, Flickr30K Entities は人間が恣意的に撮影した静止画とそのキャプションから構成されており，これらのモデルが実世界対話における参照表現を正しくグラウンディングできるかは明らかではない. 対話におけるフレーズグラウンディングを扱ったデータセットとして SIMMC 2.0 [6] がある. SIMMC 2.0 は代名詞の使用といった画像キャプションに現れにくい対話特有の現象も

1）Recall@1扱っているが，含まれる画像は $\mathrm{CG}$ の静止画であり実世界特有の視点の移動や物体の操作を含まない。

この問題に対処するため, 我々は実世界における対話を扱うデータセット（Japanese Conversation dataset for Real-world Reference Resolution; J-CRe3）を構築した [7]. 本研究ではこのデータセットを使用し，既存のフレーズグラウンディングモデルの実世界対話における性能を評価し，課題を明らかにする.また，明らかとなった課題に対する改善手法を提案し，評価する。

## $2 \mathrm{~J-\mathrm{CRe} 3$}

J-CRe3 は実世界における 2 者対話で 1 人称視点動画と音声を収録し，フレーズグラウンディングタグを含む種々の視覚的および言語的アノテーションを付与したデータセットである（図1）。対話内容は，家庭内の人間とお手伝いロボットの対話が想定されている。視覚的アノテーションに関しては，動画から抽出された 1 秒ごとのフレームそれぞれに，物体矩形およびその物体のクラス名，インスタンスID が付与されている（図 1 左）。言語的アノテー ションに関しては，日本語の発話書き起こしテキスト（同図中央）中のフレーズに対して述語項構造,共参照関係，橋渡し照応関係（同図右）が付与されている。また，フレーズの視覚的表現へのグラウンディングのためにテキスト中のそれぞれのフレーズに対して対応する物体矩形が付与されている. フレーズと物体矩形の関係には，「ここ」と「glass_3」 のような直接の参照関係だけでなく，「注いで」と 「glass_3」のような述語項構造における二格に対応する間接的な関係も含まれる．本データセットの統

計値を表 1 に示す.

## 3 フレーズグラウンディングモデル の評価と改善

本章では既存のフレーズグラウンディングモデルにおける参照解析の結果と分析を示す. さらに，分析に基づいて共参照および複数物体追跡を考慮したフレーズグラウンディング手法を提案する.

## 3.1 タスク設定

J-CRe3 では，フレーズと物体矩形間に様々な種類の関係が付与されているが，本研究では最も重要である直接的な参照関係に注目する。また，システムへの入力は発話の書き起こしテキストとあらかじめ動画から 1 秒ごとに切り出した画像系列とする. 画像とテキストが与えられたときテキスト中のフレー ズに対応する画像中の物体矩形を推定するタスクはフレーズグラウンディングとよばれる $[1,2]$. このタスクでは一般に，フレーズのグラウンディング対象は 1 枚の画像である. 本研究では動画フレームが複数存在するため，フレーズが含まれる発話の開始時刻から次の発話の開始時刻までの間のフレームをそれぞれグラウンディング対象とする.

テキスト間照応

$\mathrm{J}-\mathrm{CRe} 3$ の例

以降で述べるいずれの手法においても，リアルタイム対話での活用のためオンラインでの解析を想定する。 すなわち，ある発話とフレームの解析結果を得る際に，それ以降の発話や画像フレームに関する結果は使用しない.

## 3.2 ベースライン手法

ベースラインとして既存のフレーズグラウンディングモデルの一つである GLIP [4] を用いる. GLIP は物体検出をフレーズグラウンディングと同一の枠組みで扱うことで事前学習において大量の画像テキストペアの使用を可能にしたモデルである. GLIP を用いることで，広範囲にわたる物体を検出することができると期待される.

GLIP は事前学習済みモデル22)が公開されているもののいずれも英語テキストで訓練されており，直接利用できない．そこで， J-CRe3を含む日本語のフレーズグラウンディングデータセット等でこのモデルを fine-tuning する.

## 3.3 共参照および複数物体追跡の考慮

4.2 節にて詳しく述べるが，ベースライン手法では，曖昧な表現や小さな物体に対する精度が低いことがわかった. そこで共参照解析と複数物体追跡を組み合わせることでフレーズグラウンディングの精度向上を試みる。

共参照解析は実世界において同一の実体を指すテキスト中のフレーズを特定するタスクである．例えば，「テーブルの上にコップがあるからそこに注いで。」という文では「コップ」と「そこ」が同一の実体を指す。共参照解析を利用することで「コップ」 に対するフレーズグラウンディング結果を「そこ」

2) https://huggingface.co/GLIPModel/GLIP/tree/main

図 2 「あそうそう、おもちゃを置いた後で二段目の本を取ってきてほしいの。」という発話中の「おもちゃ」に対するべースライン手法の解析結果. 白色の物体矩形は正解を表し，その他の物体矩形が上位 5 件のシステム出力を表す. システム出力には予測確率が記載されている.

表 2 物体矩形の画面占有率と Recall の関係. テストセットと開発セットを合わせた 15 対話で評価した結果を示す. 括弧内の数値は正解した物体矩形数を表す。 Recall@1のみ分母に全正解数を示す.

に対する結果と同一視でき，曖昧な表現である「そこ」に対する精度の向上が期待できる。

物体追跡は動画中の物体矩形の系列から同一の物体を特定するタスクである [8]. 動画フレーム中の複数の物体を対象とする場合，複数物体追跡とよばれる. 1 人称視点動画では同一の物体でもフレームによってその大きさなど見え方は様々である. 複数物体追跡によって，一部のフレームで小さく写っている物体が，他のフレームで大きく写っている場合の情報を利用できることを期待する．具体的には， あるフレーズについてべースライン手法によって参照先物体矩形が得られたとき, 別フレームに存在する得られた物体と同一の物体を複数物体追跡によって特定する. 対象フレーズと特定された物体矩形集合との参照確率の中から最も高い確率を現在のフレームにおける参照確率とする。

## 4 実験

## 4.1 実験設定

ベースライン手法として GLIP-T モデル3)を用いた. 英語テキストで訓練されたこのモデルの言語エンコーダを多言語で訓練されたモデルに置き換え， fine-tuning した. fine-tuning には Visual Genome [9],

3) https://huggingface.co/GLIPModel/GLIP/resolve/ main/glip_tiny_model_o365_goldg.pth

図 3 「これはまだ飲みますか？洗っちゃいますか？」 という発話中の「これ」に対するベースライン手法の解析結果

表 3 参照表現の品詞と Recall の関係. テストセットと開発セットを合わせた 15 対話で評価し，頻度上位 5 種類の品詞を示す。

GQA [10]，Flickr30k Entities JP [11]，J-CRe3 [7] を使用した.

共参照解析システムについては Ueda ら [12] に倣い，事前学習済み日本語 DeBERTa モデル4)を京都大学テキストコーパス [13] 等5) で fine-tuning したものを使用した。J-CRe3 のテストセットにおける $\mathrm{F}$ 値は 0.75 だった。

複数物体追跡システムについては，まず一般物体認識器 Detic $[14]^{6}$ を動画各フレームに適用し， その結果を複数物体追跡器 BoTSORT [15] に入力した. J-CRe3 のテストセットにおける IDR [16] は 0.20 だった. その他設定の詳細は付録 $\mathrm{A}$ に示す.

評価指標はRecall@ $k$ を使用した. GLIP は，それぞれのフレーズについて複数の物体矩形とその予測確率を出力する. Recall $~ k k$ は正解の物体矩形のうち, 出力された予測確率上位 $k$ 件の物体矩形に含まれるものの割合である7).

4) https://huggingface.co/ku-nlp/ deberta-v2-large-japanese

5) https://github.com/ku-nlp/KyotoCorpus, https://github.com/ku-nlp/KWDLC, https://github.com/ku-nlp/AnnotatedFKCCorpus, https://github.com/ku-nlp/WikipediaAnnotatedCorpus

6) https://github.com/facebookresearch/Detic/blob/ main/docs/MODEL_ZOO.md

7） 先行研究 [1] に倣い，予測された物体矩形が正解の物体矩形と 0.5 以上の Intersection-over-Union (IoU) を持つ場合に両者が一致すると判断した。
表 4 共参照（Coref.）および複数物体追跡（MOT）を考慮した場合のフレーズグラウンディングの結果. oracle は解析器の出力ではなく正解タグを使用した結果を表す.

## 4.2 ベースライン手法の結果および分析

ベースライン手法の J-CRe3 のテストセットにおける結果は，Recall@ $\{1,5,10\}$ がそれぞれ 0.477, 0.700, 0.764 だった. 同モデルの Flickr30k Entities JP のテストセットにおける結果はそれぞれ 0.695, 0.881，0.915 であり，J-CRe3 におけるフレーズグラウンディングの難しさがわかる.

解析事例の一つを図 2 に示す.このフレームには 3 つのおもちゃがアノテーションされているが，システムは最も左に写っているミニカーの検出に失敗している. 図のように 1 人称視点動画では物体の一部のみが小さく写っている場合があり, 解析失敗の一因になっている．物体のサイズごとに Recall を評価した表 2 からも，小さく写っている物体に対する精度が低いことがわかる。

図 4 に他の対話における解析事例を示す. 図ではワイングラスが正解の物体となるが，物体名が言及されておらず皿に高い確率が与えられている．表 3 は参照表現の品詞ごとの Recall を示す. 具体的な物体名を含む普通名詞に対する精度に比べ，指示詞や形式名詞など曖昧な表現に対する精度が低い。これは GLIP の訓練に画像キャプションを元にしたデー タセットが多く使用されているためと考えられる.

## 4.3 共参照および複数物体追跡を考慮し た手法の結果および分析

ベースライン手法に対し，共参照解析と複数物体追跡および両者を組み合わせた場合の結果を表 4 に示す. 共参照の考慮について, ベースライン手法に対するスコアの向上は見られなかった. これは，解析単位である 1 発話内で，複数のフレーズが共参照関係にある場合が稀であるためと考えられる。

複数物体追跡を考慮した場合については, oracle

図4「これは良く切れますね。綺麗に研いでいて偉いですね。」という発話中の「これ」に対する MOT (oracle) の解析結果

の設定でのみスコアが向上した. 図 4 は MOT (oracle) の設定で解析に成功した例である. 正解である包丁について，ベースラインモデルの確率は 0.45 だったが，包丁がより大きく写っている前のフレームの結果から 0.71 の確率を割り当てることができた。しかし，一般物体認識器を使用した場合は包丁の検出に失敗しており, 確率は 0.45 のままだった. 今回利用した一般物体認識器の Recall は 0.76 ,複数物体追跡器の IDR は 0.20 程度であり, これら解析器の性能向上が必要である.

## 5 おわりに

本研究では，実世界において人間と対話しつつ協働するシステムの実現を目指し，実世界対話における既存のフレーズグラウンディングモデルの性能を分析した. さらに分析に基づき，共参照および複数物体追跡を考慮したフレーズグラウンディング手法を提案した。いずれもスコアの向上は見られなかったが，正解タグを用いた設定では効果が見られたため複数物体追跡器などの解析モジュールの性能向上が今後の課題である. また，今回はフレーズと物体の直接の参照関係のみを扱ったが，述語と項のような間接的な参照関係の解析にも取り組みたい。

## 謝辞

本研究は，京都大学科学技術イノベーション創出フェローシップ事業の助成を受けたものである. 本研究の一部は JSPS 科研費 22 H03654 の支援を受けたものである.

## 参考文献

[1] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel Synnaeve, Ishan Misra, and Nicolas Carion. Mdetrmodulated detection for end-to-end multi-modal understanding. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 1780-1790, 2021

[2] Tanmay Gupta, Arash Vahdat, Gal Chechik, Xiaodong Yang, Jan Kautz, and Derek Hoiem. Contrastive learning for weakly supervised phrase grounding. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision - ECCV 2020, pp. 752-768, Cham, 2020. Springer International Publishing.

[3] Bryan A. Plummer, Liwei Wang, Christopher M. Cervantes, Juan C. Caicedo, Julia Hockenmaier, and Svetlana Lazebnik. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. International Journal of Computer Vision (IJCV), Vol. 123, No. 1, pp. 74-93, 2017.

[4] Liunian Harold Li, Pengchuan Zhang, Haotian Zhang, Jianwei Yang, Chunyuan Li, Yiwu Zhong, Lijuan Wang, Lu Yuan, Lei Zhang, Jenq-Neng Hwang, Kai-Wei Chang, and Jianfeng Gao. Grounded language-image pre-training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10965-10975, June 2022.

[5] Haotian Zhang, Pengchuan Zhang, Xiaowei Hu, Yen-Chun Chen, Liunian Li, Xiyang Dai, Lijuan Wang, Lu Yuan, Jenq-Neng Hwang, and Jianfeng Gao. Glipv2: Unifying localization and vision-language understanding. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 36067-36080. Curran Associates, Inc., 2022.

[6] Satwik Kottur, Seungwhan Moon, Alborz Geramifard, and Babak Damavandi. SIMMC 2.0: A task-oriented dia$\log$ dataset for immersive multimodal conversations. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4903-4912, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] 植田暢大, 波部英子, 湯口彰重, 河野誠也, 川西康友,黒橋禎夫, 吉野幸一郎. 実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築. 言語処理学会第 29 回年次大会, pp. 2990-2995,沖縄, 2023.3.

[8] Mk Bashar, Samia Islam, Kashifa Kawaakib Hussain, Md. Bakhtiar Hasan, A. B. M. Ashikur Rahman, and
Md. Hasanul Kabir. Multiple object tracking in recent times: A literature review, 2022.

[9] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Fei-Fei Li. Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations. International Journal of Computer Vision (IJCV), Vol. 123, No. 1, pp. 32-73, 2017.

[10] Drew A Hudson and Christopher D Manning. GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering. Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[11] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phraseto-region linking. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4204-4210, Marseille, France, May 2020. European Language Resources Association.

[12] Nobuhiro Ueda, Daisuke Kawahara, and Sadao Kurohashi. BERT-based cohesion analysis of Japanese texts. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1323-1333, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[13] Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hasida. Construction of a Japanese relevance-tagged corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC'02). European Language Resources Association (ELRA), 2002.

[14] Xingyi Zhou, Rohit Girdhar, Armand Joulin, Philipp Krähenbühl, and Ishan Misra. Detecting twenty-thousand classes using image-level supervision. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, Computer Vision ECCV 2022, pp. 350-368, Cham, 2022. Springer Nature Switzerland.

[15] Nir Aharon, Roy Orfaig, and Ben-Zion Bobrovsky. Botsort: Robust associations multi-pedestrian tracking. arXiv preprint arXiv:2206.14651, 2022

[16] Ergys Ristani, Francesco Solera, Roger S. Zou, Rita Cucchiara, and Carlo Tomasi. Performance measures and a data set for multi-target, multi-camera tracking. In ECCV Workshops, 2016.

[17] Shuai Shao, Zeming Li, Tianyuan Zhang, Chao Peng, Gang Yu, Xiangyu Zhang, Jing Li, and Jian Sun. Objects365: A large-scale, high-quality dataset for object detection. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 8429-8438, 2019.
表 5 GLIP の fine-tuning 1 段階目におけるハイパーパラメータ

表 6 GLIP の fine-tuning 2 段階目におけるハイパーパラメータ

## A 実験設定の詳細

## A. 1 GLIP $の$ fine-tuning

ベースライン手法において，我々は GLIP [4]を fine-tuning して使用した. GLIP のアーキテクチャは大きく言語エンコーダ，画像エンコーダ，そしてこれらエンコーダから得られた表現を統合するモジュールから構成される。我々は事前学習済みモデルの知識をできる限り活用できるように，これらのモジュールを 2 段階に分けて fine-tuning した.

1 段階目は, モデルの日本語への適応を目的とする. 英語テキストのみで訓練された事前学習済み GLIP モデルの言語エンコーダ8)を，多言語で訓練されたモデルである mDeBERTaV3 base ${ }^{9}$ に置き換え, Visual Genome [9], GQA [10], Flickr30k Entities JP [11] を混合して fine-tuning する.このとき，英語テキストの過学習を防ぐため，言語エンコーダのパラメータは固定した。また，画像エンコーダの性能は言語非依存のため，画像エンコーダのパラメータも固定した。 ハイパーパラメータを表 5 に示す.

2 段階目は，モデルの 1 人称視点画像および対話形式テキストへの適応を目的とする. 予備実験にて J-CRe3 のみを使用して fine-tuning したところ GLIP の物体検出の性能が下がってしまったため, J-CRe3

8) https://huggingface.co/bert-base-uncased

9) https://huggingface.co/microsoft/mdeberta-v3-base表 7 共参照解析モデルのハイパーパラメータ

と Flickr30k Entities JP を混合して使用した.この際いずれのモデルパラメータも固定しなかった. ハイパーパラメータを表 6 に示す.

## A. 2 共参照解析システム

共参照解析システムについては，Ueda ら [12] の手法を使用した。本研究では，事前学習済み日本語 DeBERTaV2 large モデル10)を以下のデータセットで fine-tuning した.

・京都大学テキストコーパスズ

・京都大学ウェブ文書リードコーパス ${ }^{12)}$
- Annotated FKC Corpus ${ }^{13)}$
- Wikipedia Annotated Corpus ${ }^{14)}$

表 7 にハイパーパラメータを示す.

## A. 3 複数物体追跡システム

複数物体追跡システムについては，一般物体認識器 Detic [14] と, 複数物体追跡器 BoTSORT [15] を組み合わせて使用した. Detic は公開されているモデルの中で Objects365 データセット [17] における mAP が最も高いDetic_C2_SwinB_896_4x_IN$21 \mathrm{~K}+\mathrm{COCO}^{15)}$ を使用した. BOTSORT については， Re-identification モデルとして Torchreid ${ }^{16)}$ で公開されているosnet_ain_x1_0 $0^{17)}$ を使用した。

10) https://huggingface.co/ku-nlp/

deberta-v2-large-japanese

11) https://github.com/ku-nlp/KyotoCorpus

12) https://github.com/ku-nlp/KWDLC

13) https://github.com/ku-nlp/AnnotatedFKCCorpus

14) https://github.com/ku-nlp/

WikipediaAnnotatedCorpus

15) https://github.com/facebookresearch/Detic/blob/ main/docs/MODEL_ZOO.md\#cross-dataset-evaluation

16) https://github.com/KaiyangZhou/deep-person-reid

17) https://kaiyangzhou.github.io/ deep-person-reid/MODEL_ZOO\# msmt17-combineall-true-market1501-dukemtmc-reid


# 都市環境における歩行者支援のための 画像説明文生成用データセットの作成

西村 千恵子 1 栗田 修平 2 関 洋平 1
}

1 筑波大学大学院 2 理化学研究所

s2221661@s.tsukuba.ac.jp shuhei.kurita@riken.jp yohei@slis.tsukuba.ac.jp
## 概要

視覚障害者の歩行支援では、周囲の視覚情報を他の感覚に変換して提供することが必要である。そこで本研究では、画像説明文生成のデータセットを作成し、視覚言語モデルのファインチューニングを行った。現在の画像説明文の生成技術は、写真の意味理解等の分野においては大きく進歩したが、写真から特定の目的を持って説明するものはまだ少ない。そこで本研究では、視覚障がい者や晴眼者の歩行支援を目的とし、街頭の歩行動画から取得した画像から、歩行時の注意文を生成した。性能評価では、ファインチューニングを施したモデルにて、 ファインチューニング前よりも画像中の局所的な障害物について情報提供ができることが示唆された。

## 1 はじめに

本研究では、視覚障がい者やスマートフォンのながら歩きする人々などの安全な歩行を支援するための画像説明文生成のデータセットの構築を行う。これにより、視覚情報が制限される歩行者が、例えば 「信号の色」や「点字ブロックの位置」といった具体的なテキストフィードバックを通じて、安全に移動できるような注意文を生成することが可能になる。

現在の歩行支援研究では、物体検出技術に焦点が当てられているものが多い $[1,2,3,4]$ が、これは特定の物体の位置やクラスを把握するのみに限られる。対照的に、画像キャプションはより詳細で文脈を持った情報を提供し、歩行者が直面する状況や障害物に関するより包括的な理解を可能にする。したがって、本研究では、歩行支援に特化した画像キャプションのデータセットを構築し、評価を行う。

本研究の主な目的は、視覚障がい者やスマートフォン使用者の歩行中の安全を支援することである。このため、特に視覚障がい者にとって重要なオ

図 1 提案手法

ブジェクトや状況に焦点を当てた画像キャプションのデータセットを収集する。その後、収集したデータセットを活用して機械学習モデルのファインチューニングを行い、実際の環境での歩行支援に役立つテキストフィードバックの生成を目指す。

## 2 関連研究

本研究は、視覚障害者の歩行支援を目的とし、馬場ら [4] と Chou ら [5] の研究を基にしている。例えば馬場ら [4] は、日本の歩道上の移動に特化した物体検出データセットの開発を行った。公開されたデータセットを利用すれば、点字ブロックや横断歩道、歩行者用信号などを高精度に認識することが可能である。しかし、物体認識によるラベルや位置情報のみで歩行支援を行う場合、カメラ画像などから検出された人や物体が「人、手すり、看板」だと示すことができるとしても、それらの関係性までは使用者にフィードバックすることができない。Chou ら [5] はナレーション付きの $360^{\circ}$ ビデオが与えられたときに、そのビデオが注視している点 Normal Field of View（NFoV）を自動的にグラウンディング （位置決め）することを目指した。ただし、この研究のデータセットは公開されておらず、状況も歩行支援という文脈ではない。また、マルチコンテクス

トな $360^{\circ}$ 画像に対し、ユーザークエリに従って描写対象を決める画像キャプションモデルも存在する [6]。このように、画像理解とテキスト生成を用いた歩行支援では、「何に注目すべきか」と「それがどのような状態か」の二つを説明できることが望ましい。本研究では、これらの方法を参考に、より広範囲な情報提供を目指し、 $360^{\circ}$ 画像や動画からの詳細な説明を生成できるデータセットを作成する。

## 3 データセットの作成

本研究では画像説明文の生成に焦点を当てている。扱いやすさを考慮し、撮影した動画から画像を抽出し、画像に対してキャプショニングを行った。

## 3.1 動画の収集

多くの動画データセットは屋外・屋内問わず、通常の RGB カメラで撮影されている。例えば、一人称視点動画データセットである Ego4D[7] や EpichKitchen[8] などは、GoPro などのカメラを用いて撮影されている。しかし、本研究では、歩行時に役立つ広範囲の情報を提供するため、 $360^{\circ}$ カメラを用いて撮影を行い、人間が街を歩く際に近い広い視野角の情報を含んだ動画を収集することにし、 $360^{\circ}$ カメラである Ricoh Thetaを使用した撮影を行った。撮影者が映り込む部分は削除し、より自然な人間の視点を再現した。撮影手法は、カメラを持った撮影者が一定の距離を歩きながら、周囲の景色を歩行中に撮影するという方法を採用した。撮影場所は、日本とアメリカの二カ国の複数箇所である。最終的に、約 5 時間分の映像を収集した。1)

## 3.2 前処理

本研究は視覚障害者の屋外歩行に役立つ情報を自動生成するための研究用データセットを作成することを目指しており、動画中の人物の特定などを目的とはしていない。しかし、屋外歩行の際に周辺にいる人物が映り込むことは、当該人物を撮影の主な対象にはしていないとしても、ある程度は避けられない。そこで本研究では、 $360^{\circ}$ カメラで撮影した動画から画像を抽出し、プライバシー処理及び前処理を行った。まず最初に、プライバシー保護のため、顔やナンバープレートのぼかし処理とマスク処理を

1）撮影の際には、人物の特定などにデータセットが悪用されないように、特定の人物にフォーカスした撮影は避け、街を歩いた際に常識的に視野に入る路上物体などを主な対象とするようにした。施した。性能については、いくつかのサンプルを手作業で精度を検証した。次に、アノテーションのために、動画を 30 秒単位で分割し、 1 秒ごとの画像を抽出した。撮影された $360^{\circ}$ 画像はパノラマ形式に変換し、物体検出により後のアノテーション作業でバウンディングボックスが表示できるようにした。最後に、撮影データを訓練、検証、テストに分けた。

## 3.3 アノテーション

この研究では、日本とアメリカの画像データに英語のアノテーションを行った。クラウドソーシングサービスの Amazon Mechanical Turk2)を利用し、ワー カーにアノテーションタスクを依頼した。ワーカー は主に英語圏の住民で、 18 歳以上の登録者に限られ、報酬はシステムを通じて支払われた。アノテー ション作成の手順は図 2 の流れに従い行われた。

1. 画像の選択アノテーションの過程で、ワー カーは 30 秒間の動画から抽出された 30 枚の画像を確認し、関心を持った 3 枚に対してアノテーションを行うよう指示された。全ての画像にアノテーションを行わなかったのは、特定の画像に特徴的な要素がない場合、無理にアノテーションを加えると無意味な情報が含まれる可能性があるためである。

2. 言及する物体の選択アノテーションの過程でワーカーは選択した画像内で言及すべき物体を選択した。画像には事前に作成されたバウンディングボックスが表示され、ワーカーはこれらのボックスを基に対象物を選択することができる。また、ボックスで囲まれていない物体についても、必要に応じてボックスを移動させて言及する物体を選択した。

3. アノテーションの作成アノテーション作成では、「視覚障害者に伝えたいこと」というテーマで詳細な説明を付けるよう指示した。また、例文では、横断歩道や、階段、点字ブロックを例に挙げ、その方向や位置を説明するような内容を表示した。これは、物体検出だけでは伝わりにくい情報を視覚障害者に伝えることを目的としており、テキストフィー ドバックを通じて物体の危険性や位置などをより詳しく伝え、理解を深めることを目指すためである。 さらに、歩行に関係しない遠くの窓や、画像と関係のない一般的なアドバイス「気をつけて歩く」などは不適切な例として記述しないように指示した。

1. 画像の選択

2. 言及する物体の選択

## You are standing at an intersection and in front of you is a crosswalk.

図 2 アノテーションの流れ

表 1 データセットの統計情報: ビデオの数、総時間、およびアノテーションの数

## 3.4 品質管理

本研究で使用したクラウドソーシングサービスは、18 歳以上であれば誰でも登録できるため、タスクを正しく理解していないワーカーも存在した。 そのため、低品質なアノテーションの削除が課題となった。最初は評価が高いワーカーを指定するオプションを試みたが、十分な量のデータ収集ができなかった。そこで今回は、ワーカーごとに 10 件ほどの内容を目視で確認し、不適切な作業をしたワーカー のデータを全て除外するという方法を用いた。最終的に表 1 のように 7,744 件の学習用データ、249 件の検証用データ、212 件のテストデータを収集した。

## 3.5 品質管理

本研究で作成したデータセットの詳細を表 1 に示す。今回、30 秒の動画を合計で 1,140 の動画を収集した。そのうち、923 本（合計 7.6 時間）はアメリカのニューヨーク市、217 本（合計 1.8 時間）は日本の東京および関東地域の都市のものである。平均キャプション長は 14.72 単語、最短 7 単語、最長 53 単語、標準偏差は 5.25 となった。

表 2 は、アノテーションに含まれる上位 30 単語を分類分けしたものである。その結果、位置や方向に関連する単語が多く含まれていることが明らかになった。これは、物体の情報だけでなく、それにつ表 2 上位 30 単語の性質の分類分け

 \\

いて具体的な情報を提供することを指示したためと考えられる。また、横断歩道や歩道に関する言及はある程度行われていたが、信号機やバス停、駅などに関する言及は少なかったことが明らかになった。 この原因としては、遭遇率や、信号の視認の難しさの問題が考えられた。このように、位置や方向に関する単語が多く集まっていることが確認された他、 これらを組み合わせることで、例えば「フェンスまでの大まかな距離」のような表現も獲得できた。

## 4 実験

作成したデータセットを使用して、ファインチューニングを受けたモデルの性能を定量的評価とアンケートによる質的評価の両方で行った。

## 4.1 定量評価

自動評価指標を用い、テキスト生成タスクの性能を調査した。ファインチューニングに使用したモデ
表 3 今回作成したデータセットに関する画像キャプション指標との性能比較

ルは BLIP[9] の base と large、BLIP-2[10] の OPT-2.7B と OPT-6.7B で、ファインチューニングの有無で性能を比較した。評価指標には、BLEU、ROUGE_L、 METEOR、CIDEr、SPICEを使用した。

結果は表 3 のようになった。ファインチューニングしたモデルとゼロショットモデルの性能を比較し、ファインチューニングした BLIP-2 が最高の性能を示した。また、OPT-2.7B を使用した BLIP-2 モデルは、より大規模な OPT-6.7B よりも優れた性能を示した。通常、大規模モデルがより良い性能を示すとされる中、この逆の結果が見られた理由は、 データセットの規模不足による OPT-6.7B の過学習が原因と考えられる。

## 4.2 定性評価

ファインチューニングしたモデルの文章生成の質をアンケート調査を通じて評価した。ファインチューニングした文章の評価を調べるため、比較対象としてゼロショットモデルで生成した説明文とワーカーによって作成された文章も評価した。なお、これらが表示される順番はランダムである。評価は Amazon Mechanical Turk を使用し、正確性、詳細さ、全体の 3 つの指標で 5 段階評価を行った。 10 画像ごとの 3 つの文章に対する評価を 141 人のワー カーが行い、合計 1,410 の評価結果を収集した。

ファインチューニングのキャプションの品質を比較した。図 3 のようにファインチューニングされたモデルは、特定の対象（例えば、車や障害物）への言及においてより詳細で正確な情報を提供する傾向が見られた。これは、本研究の主な目的である、歩行に関連する局所的な対象を特定し、それらについて説明することが達成されていることを示している。一方で、ゼロショットモデルは画像全体の説明する傾向にあるが、図 4 駅構内や交差点のような場

図 3 ファインチューニングの高評価例

図 4 ゼロショットの高評価例

面での位置把握においては評価が高く、有効とされる傾向にあることも明らかになった。

## 5 おわりに

この論文では、歩行支援を目的とした画像説明文生成のために特化した 360 度都市画像のデータセットを作成し、その効果を評価した。アノテーションは $360^{\circ}$ カメラで撮影した動画から抽出した画像を用い、Amazon Mechanical Turk を活用して、重要な交通設備や障害物を中心としたデータを作成した。定量評価ではゼロショットより高い評価を記録し、定性評価では、ファインチューニングされたモデルが歩行に関連する局所的な対象を特定し、それらについて言及することに優れていることが示唆された。

## 謝辞

本研究は JST さきがけ JPMJPR20C2 および科研

費 JP22K17983, Microsoft Accelerate Foundation Models

Researchの支援を受けたものです.

## 参考文献

[1] Nazirah Hassan, Kong Wai Ming, and Choo Keng Wah. A comparative study on hsv-based and deep learning-based object detection algorithms for pedestrian traffic light signal recognition. In International Conference on Intelligent Autonomous Systems (IColAS), pp. 71-76, 2020.

[2] Rodrigo F. Berriel, André Teixeira Lopes, Alberto F. de Souza, and Thiago Oliveira-Santos. Deep learningbased large-scale automatic satellite crosswalk classification. IEEE Geoscience and Remote Sensing Letters, Vol. 14, No. 9, pp. 1513-1517, 2017.

[3] Gerhard Neuhold, Tobias Ollmann, Samuel Rota Bulò, and Peter Kontschieder. The mapillary vistas dataset for semantic understanding of street scenes. In 2017 IEEE International Conference on Computer Vision (ICCV), pp. 5000-5009, 2017.

[4] Tetsuaki Baba. Vidvip: Dataset for object detection during sidewalk travel. Journal of Robotics and Mechatronics, Vol. 33, No. 5, pp. 1135-1143, 2021.

[5] Shih-Han Chou, Yi-Chun Chen, Kuo-Hao Zeng, HouNing Hu, Jianlong Fu, and Min Sun. Self-view grounding given a narrated 360 video. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, 2018.

[6] Koki Maeda, Shuhei Kurita, Taiki Miyanishi, and Naoaki Okazaki. Query-based image captioning from multicontext 360cdegree images. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 6940-6954, Singapore, December 2023. Association for Computational Linguistics.

[7] Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abrham Gebreselasie, Cristina González, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jáchym Kolář, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Ziwei Zhao, Yunyi Zhu, Pablo Arbeláez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem,
Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 18995-19012, June 2022.

[8] Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), Vol. 130, p. 33-55, 2022.

[9] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation, 2022.

[10] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models, 2023.

## 倫理声明

この研究では都市部のビデオデータセットとキャプションを所属機関のルールに従って収集した。プライバシー処理を慎重に適用して、顔やナンバープレートを隠す処理を行った。私たちの研究の目的は都市のシーンにおける人々を記述することではなく、シーンからのテキストフィードバックを可能にすることであるため、これらのプライバシー処理がデータセットの目的を妨げることはないと考えている。

アノテーションの作業者には、都市部で視覚障害者が歩行するのに役立つオブジェクトを選択し、説明を付けるよう指示しました。しかし、私たちのデータセットが本当に視覚障害者にとって有効であるかを検証するためには、HCI 手法を用いた視覚障害者を対象としたユーザースタディ実験を行う必要があるが、今回はデータセット論文として発表する。