# 言語情報と地理情報を融合した魅力的な経路案内

大滝啓介 吉村貴克 徳久良子
株式会社豊田中央研究所
\{otaki, yoshimura, tokuhisa\}@mosk.tytlabs.co.jp

## 概要

経路案内アプリを用いる際、移動時間などの客観的な指標だけではなく、経路景観の「楽しさ」や 「美しさ」といった主観的な指標も用いることで、 より魅力的な経路案内が実現できると考えられる。本研究では、事前に収集された経路上の景観画像、景観画像の説明文、基盤モデルを用いて魅力度スコアを計算する枠組みを構築し、経路探索に組み込むことで、魅力的な経路を案内する手法を提案する。本稿では提案手法を実装したプロトタイプについて説明し、アンケート調査を行った結果を報告した上で、今後の課題や展望について述べる。

## 1 はじめに

移動行動は、人との交流や、情報・モノの獲得のための基本的な行動であり、健康維持や幸福感とも関連する $[1,2]$ 。しかし、オンライン会議やフードデリバリーなどのサービスの発展にともない、人々の移動行動が減少しつつある。移動行動の減少は、人々が集う街の持続的な発展にも悪影響を与えるため、重要な社会課題として認識されている。そこで我々は、人々の移動を活性化させる手段の一つとして、スマートフォンなどのデバイスが発展した現代の街歩きや移動に欠かせないナビアプリに介入することを考えている。

ナビアプリに実装される経路案内や経路推薦を通じて移動を活性化するためには、移動時間や距離などの客観的な情報だけではなく、街が持つ「楽しさ」や「美しさ」などの主観的な情報を考慮すると効果的であろう。しかし、これらの客観的な情報を統一的に扱うことは難しい。また景観に関する評価が個人の主観的な評価・感覚に依存するため、大規模な実験を行うことや、様々な地域で詳細なユーザ調査を行うことは、いずれも容易ではない。

近年発展している基盤モデルを活用することで、言語や画像・地理情報などの多様なデータを活用
した情報処理が可能になることが期待されている $[3,4]$ 。また地理情報処理の分野において、街の （知覚的な）歩行可能性（Walkability）を、深層学習技術を用いて評価する研究が注目されている $[5,6]$ 。本研究では、これらの技術を拡張して、個人の好みに適合した魅力的な経路を案内する経路探索手法を実現することを目指している。

個人に適合した経路を案内するためには、ユーザの経路選択を調査したデータセットが欠かせない。本稿では大規模なデータセットの構築に向け、知覚的な歩行可能性スコアを拡張した魅力度スコアを定義する。計算したスコアを経路探索アルゴリズムに埋め込んで複数の経路を計算し、データ収集を行うためのプロトタイプ環境を整備する。用意した環境を用いて小規模なアンケート調査を行い、経路の選択傾向と風景画像の関係性を調べる。最後に得られた結果や今後の展望について述べる。

## 2 手法

提案手法は以下の 2 段階の処理から構成される。

1. 対象地域から抽出した風景画像と風景を説明する文の類似度を、CLIP ${ }^{11}$ [7] により学習されたモデルを用いて測定し、魅力度スコアを計算する。

2. 魅力度スコアと移動距離を用いて多目的経路探索を行い、経路の候補を複数取得する。以降ではそれぞれの構成要素について述べる。

## 2.1 景観の魅力度評価

本稿では知覚的歩行可能性スコア [6] を拡張した魅力度スコアを定義し、経路の魅力度を評価する。以下、知覚的歩行可能性スコアについて概説し、それを拡張した魅力度スコアについて述べる。

知覚的歩行可能性スコア画像を説明する正と負のプロンプトを用意し、プロンプトと風景画像の類似度を測定する。具体的には、正と負のプロンプト

図 1: 知覚的歩行可能性スコア $S(I)=1.274$ を持つ画像の例。類似度の高い 3 つの文として、正のプロンプト「There are open green zone beside the road $\lrcorner$, $「$ There are playground beside the road」と負のプロンプト「There is a narrow sidewalk」が対応した。

の集合を $X_{p o s}, X_{\text {neg }}$ とするとき、ある画像 $I$ との関連度を確率値 $P\left(x_{i}\right)\left(x_{i} \in X:=X_{\mathrm{pos}} \cup X_{\text {neg }}\right)$ で計算し、画像 $I$ の知覚的歩行可能性スコアとして

$
S(I):=\sum_{x_{i} \in X} d_{i} p\left(x_{i}\right)+H\left(X_{\mathrm{pos}}\right)-H\left(X_{\mathrm{neg}}\right)
$

を定義する。ただし $d_{i}$ は $x_{i} \in X_{\mathrm{pos}}$ であれば +1 、そうでなければ -1 となる係数、 $H\left(X_{\mathrm{pos}}\right)$ と $H\left(X_{\text {neg }}\right)$ は正と負のプロンプト集合上で計算されたエントロピーを表す。例えば、図 1 の画像を入力として、風景を説明する文集合との類似度を計算すると、類似度の高い文として「There are open green zone beside the road」および「There are playground beside the road」 が検索される。逆に、類似度が低い文として「There is a narrow sidewalk」が検索される。式(1)によってスコアを計算すると、知覚的歩行可能性スコアは $S(I)=1.274$ となる。

魅力度定量化のための提案手法上記の知覚的歩行可能性スコアの考え方に基づき、プロンプトを設計することで魅力度スコアを定量化する。具体的には、知覚的歩行可能性スコアのプロンプト $X_{\text {pos }}, X_{\text {neg }}$ から、それぞれ魅力度 (Attractiveness) に相当する部分を抽出して拡張したプロンプトを表 1 のように定義して用いた。なお、プロンプトを最適化する手法（[8]など）を適用したり、専門家の知見を考慮したりして、より詳細なプロンプトを構築することは今後の課題である。

## 2.2 多目的経路探索

辺コストが複数付与された無向グラフ $G=$ $(V, E, \vec{c})$ における多目的経路探索は、2 点 $v_{s}, v_{g} \in V$表 1: 用いたプロンプトの一覧。ただし下線つきのインデクス $\underline{i}$ は [6] のプロンプトをそのまま利用したものである。

 & -1 \\

をつなぐ経路 $\pi_{v_{s}, v_{g}}$ のうち、コストベクトルが非支配な経路の集合を求める問題である（技術的な詳細は [9] などを参照)。本稿では紙幅に関係から詳細は述べないが、距離 $c_{\mathrm{dist}}(e)$ と鬿力度スコア $c_{\mathrm{attr}}(e)$ を用いて、2 次元の多目的経路探索を $\mathrm{BOA}^{2}$ *アルゴリズムで求める。ただし $c_{\text {attr }}(e)$ は大きい方が望ましい最大化問題となるため、定数シフトを行って最小化問題に変換した。このとき $\mathrm{BOA}^{2} *$ アルゴリズム単体では厳密なパレート最適解は求まらないため、後処理をして近似解を求めた。図 2 に、本稿の提案手法 (手法 2) と 3 章で用いるグラフ上で計算した多目的経路を可視化した例を示す。また図 2 中の最短経

図 2: 2 地点 (S と $\mathrm{G}$ ) を結ぶ最短経路 (赤) と魅力的な経路 (青)を Mapbox Static Image API で可視化した。

図 3: 最短経路と抽出された風景画像の例。

路（赤）に紐づいて選択された風景画像と経路の例を図 3 に示す。

魅力度スコアのグラフ構造への埋め込み一般に、ある道路ネットワークの辺上に複数枚の画像が対応する場合と、位置情報付きの画像データのスパース性から画像が存在しない場合が考えられる。本稿では以下の手法ですべての辺に魅力度スコアを付与する。まず複数画像が存在する場合、辺 $e$ に対応する画像の集合 $\mathscr{I}_{e}$ についての魅力度スコアの平均值 $\frac{1}{\left|\mathcal{F}_{e}\right|} \sum_{I \in \mathcal{I}_{e}} S(I)$ を辺 $e$ の魅力度スコアと $c_{\text {attr }}(e)$ として設定する。次に頂点の魅力度スコアを、接続する辺の魅力度スコアの平均值に設定した上で、辺の更新した魅力度スコアを両端点の魅力度スコアの平均とする。この操作をすべての辺に魅力度スコアが付与されるまで繰り返し、魅力度スコアが埋め込まれたグラフ構造を用意する。

## 3 実験と考察

本稿では 2 章で構築した手法を用いて図 3 に示す経路案内を複数作成し、風景画像が経路選択に与える影響を調査するアンケート調査を行った。実験の対象地域として東京都新宿区の東側を用いた2)。図 4 は Mapillary から収集したデータと OpenStreetMap

2) 緯度経度ではおおよそ $[35.6859,35.6989]$ と [139.6987, 139.7090] の領域を用いた

図 4: グラフ構造と収集画像の地点。赤色の辺は画像から魅力度スコアが最初に付与された辺を示す。 このグラフを入力として、2.2 節で述べた手法を用いて全ての辺にスコアを付与して用いる。

から作成した新宿区のグラフ構造を可視化したものを示す。得られたグラフ構造 $G$ は、頂点数 $|V|=1,509$ 、辺数 $|E|=1,850$ であった。

## 3.1 準備

データの準備表示する 2 つ経路 $\left(P, P^{\prime}\right)$ と付随する景観画像の情報を以下の手法で求めた。

1. 提案手法を用いて、対象地域から取得したグラフ $G$ に $c_{\text {atrr }}(e)$ を付与した。

2. 歩行距離が約 $500[\mathrm{~m}] 、 750[\mathrm{~m}] 、 1000[\mathrm{~m}]$ となる出発地・目的地のペアについて多目的経路を検索し、経路に対応する画像集合を取得した。

3. 最短経路 $P$ と風景画像集合 $\mathcal{F}(P)$ を取得した。

4. 風景画像の影響を調べるため、 $P$ 以外の経路 $P^{\prime}$ について、集合 $\mathcal{I}(P)$ と $\mathcal{I}\left(P^{\prime}\right)$ の Jaccard 係数が 0.3 未満となる経路のうち、歩行距離が最短のものを比較対象 $P^{\dagger}$ として設定した。

アンケート調査クラウドワークスス3)のタスク機能と JotForm ${ }^{4)}$ を用いて、2 経路 $P$ と $P^{\dagger}$ のうちどちらを歩いて移動するかをアンケート調査した。アンケート調査を実施する前に、弊社の倫理審査委員会の審査を受けた（番号: 23A-29）。アンケートページでは実験同意書を表示した後に、図 2 のように 2 地点（S と G）を結ぶ 2 経路を先に表示し、次に図 3 のように経路 A・経路 B のそれぞれについて経路上の風景画像を表示し、最後にどちらの経路を歩いて移動するかを聞いた。またアンケート中にはダミー

3) https://crowdworks.jp/

4) https://www.jotform.com/
表 2: 各経路を選んだ人数と表示された経路の距離

の質問を 2 つ追加し、両方に正答した回答者の回答結果のみを抽出した。

## 3.2 アンケート結果と考察

選択結果関東圈に居住する 30 人の回答者が、移動距離を $500[\mathrm{~m}] 、 750[\mathrm{~m}] 、 1000[\mathrm{~m}]$ 前後で作成した経路選択のアンケートに回答した。30 人の回答者の内、男性が 14 名、女性が 16 名であった。回答者の年代別の人数は、 20 代が 3 名、 30 代が 14 名、 40 代が 10 名、 50 代が 3 名であった。また 30 人の中で 16 名が東京在住であり、残りの 14 名は東京以外の関東地方の県在住であった。

3 つの経路選択の問題設定で、経路 A（最短経路） と経路 B（魅力的な経路）のどちらを選んで移動するかを聞いた結果を表 2 に示す。実験結果より、街歩きの際に、歩行距離が極端に延びない場合には、景観を考慮した経路が受け入れられる余地があることが分かった。

自由記述最後に自由記述で得られた結果を述べる。経路 B（魅力的な経路）に対するポジティブな意見として、「道が真っ直ぐのほうが分かりやすい感じがします」「歩くのであれば、車が少なく静かそうな道を選びたい」「数分くらいの違いであれば距離の近さより景色を優先したい」という意見が得られた。

一方で経路 B（魅力的な経路）に対するネガティブな意見として、「経路 B は遠回りだし、大通り沿いをただ歩く感じになると画像から感じるので選択したくないです」「階段があるので避けたいと思いました。」「全体的にうるささがない経路だと思い選びました。」という意見が得られた。

考察目的地到着までの余㗇時間に街歩きする状況を設定しているため、景観の良い経路を提示することや、風景画像を表示した上で経路を選択する夕スクに抵抗が少なかったと考えられる。回答全体を通じて、遠回りすることへの拒否感は少なかった。 この結果より、適切な指示と誘導によって、最短経路以外の経路へ誘導したり、街歩きに貢献しうる魅力的な経路を提示する余地があると考えられる。一方で景観が良い経路を選ぶにあたり無䭾な遠回りや、人間が不自然に感じる迂回路が発生することがあり、ネガティブな回答が得られる場合もあることが分かった。

実験の設定や経路計算の都合として、画像がない場所の扱いが難しく、アンケート調査に提示できる事例が限られた。より高精度なデータを用意することや、モデルのファインチューニングを通じてより差のつくぺア $P, P^{\prime}$ を提示することで、一般的な知見を調べられる可能性がある。また世の中の都市の景観評価・街歩きの評価などとの指標との関連性や整合性を調べることも重要である。先に述べたようにプロンプト自身を改良することで既存の手法と相関が高い魅力度スコアを自動評価できれば、マルチモーダル深層学習を活用した有用な技術となることが期待される。

## 4 まとめ

マルチモーダル深層学習モデルを活用し、魅力的な経路を案内するタスクに取り組んだ。具体的には、画像を説明する自然言語文を用いて魅力度スコアを計算し、経路案内に組み込み、経路とともに画像を提示するシステムを構築した上で、アンケート調査を実施した。結果より、景観の良い経路を提示する技術が受け入れられる余地があることを明らかにした。一方で、より自然な経路を計算したり、 データ不足を補う必要があることも明らかになった。今後はプロンプトの最適化やデータ増強、経路探索アルゴリズムの改良などを通じて、個人化経路探索手法を深化させるとともに、より大規模なユー ザ調査やUX 検証などを行う。

## 参考文献

[1] Aaron S Heller, Tracey C Shi, CE Chiemeka Ezie, Travis R Reneau, Lara M Baez, Conor J Gibbons, and Catherine A Hartley. Association between real-world experiential diversity and positive affect relates to hippocampal-striatal functional connectivity. Nature Neuroscience, Vol. 23, No. 7, pp. 800-804, 2020.

[2] Richard Layard and Jan-Emmanuel De Neve. Wellbeing: Science and Policy. Cambridge University Press, 2023.

[3] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.

[4] Ce Zhou, Qian Li, Chen Li, Jun Yu, Yixin Liu, Guangjing Wang, Kai Zhang, Cheng Ji, Qiben Yan, Lifang He, et al. A comprehensive survey on pretrained foundation models: A history from BERT to ChatGPT. arXiv preprint arXiv:2302.09419, 2023 .

[5] Filip Biljecki and Koichi Ito. Street view imagery in urban analytics and GIS: A review. Landscape and Urban Planning, Vol. 215, p. 104217, 2021.

[6] Xinyi Liu, James Haworth, and Meihui Wang. A new approach to assessing perceived walkability: Combining street view imagery with multimodal contrastive learning model. In Proceedings of the 2nd ACM SIGSPATIAL International Workshop on Spatial Big Data and AI for Industrial Applications, pp. 16-21, 2023.

[7] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In Proceedings of the ICML2021, pp. $8748-8763,2021$.

[8] Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, and Tim Rocktäschel. Promptbreeder: Self-referential self-improvement via prompt evolution. arXiv preprint arXiv:2309.16797, 2023.

[9] Zhongqiang Ren, Richard Zhan, Sivakumar Rathinam, Maxim Likhachev, and Howie Choset. Enhanced multiobjective a* using balanced binary search trees. In Proc. of SOCS2022, pp. 162-170, 2022.


# メンション文脈とエントリ属性を考慮した Transformer Bi-Encoder によるジオコーディング

中谷響 1 寺西裕紀 2,1 東山翔平 3,1 大内啓樹 $1,2,4$ 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 理化学研究所 3 情報通信研究機構 4 国立国語研究所
\{nakatani.hibiki.ni4, hiroki.ouchi, taro\}@is.naist.jp
hiroki.teranishi@riken.jp shohei.higashiyama@nict.go.jp

## 概要

ジオコーディングは，地名や施設名など，実世界の特定の場所を指す言語表現（メンション）に対し，経緯度あるいは地理データベース上のエントリを推定する基盤技術である。本研究では，類似の名前を持つエントリの曖昧性の問題に対処するため, メンションが出現する入力テキストの文脈情報および候補エントリの属性情報を捉えるジオコーディング手法を提案する．実験により，これらの情報を考慮することの有効性を確認した。

## 1 はじめに

ジオコーディングは，地名や施設名など，実世界の特定の場所を指す言語表現（場所参照表現またはメンション）の経緯度を推定する基盤技術である。 ジオコーディングの代表的なユースケースとして， POI（Point of Interests；関心のある場所）を表す表現や住所などのメンション文字列に適用して位置情報を取得する状況が挙げられ，地図検索などの応用で実用化されている. ジオコーディング技術を更に発展させ，文章を解析対象とし，文章中に出現するメンションに対して適用可能にすることで，新たな応用の実現も見込める. たとえば，SNS をはじめとするインターネット上の文章から，被災地に関連する災害情報を迅速に把握したり，感染症のクラスター 発生箇所を特定したりすることも可能になると期待できる. なお，文章中のメンションの抽出（ジオタギング）と，メンションの位置情報の推定（ジオコーディング）を合わせたタスクはジオパージング $[1,2]$ と呼ばれているが，本研究ではジオコーディングに焦点を当てる。

ジオコーディングの主流な方法には，(i) 位置情報を直接的に推定する方法と，(ii) 地理データベース

図 1 ジオコーディングの概要

（DB）の検索を通して間接的に位置情報を推定する方法の 2 つがある．前者は，システム (ジオコーダ) に緯度・経度に対応する 2 つの数値を出力させる。後者は，図 1 のように，まず地理 DB に問い合わせて適切なエントリを取得し, 経緯度も含むそのエントリに付随する属性情報全体を取得する [3]. この方法には，入出力が疎結合になることで，モデルが地理 DB の変更に対して頑健となる利点や，エントリに付随する様々な属性情報が利用可能となる利点があり，本研究ではこの方法を採用する。

ジオコーディングの主な課題として，類似または同一の名前を持つエントリの曖昧性を解消し，適切なエントリを特定する必要があることが挙げられる。たとえば，「熊野神社」は全国各地に存在するため，メンション文字列のみでは一意に特定できない.しかし，入力が「都庁前から徒歩で熊野神社に行きました」という文であった場合，人間が読むと都庁前駅付近にある「熊野神社」の可能性が高いと推測できる。こうした推論をシステムにより実現するには，曖昧性解消に有効な情報を含んだエントリの表現を用いることも必要である．具体的には，地理 $\mathrm{DB}$ 上で定義されエントリに割り当てられている施設種別などの属性情報や，エントリに紐づく経緯度を住所に変換した情報などが有効と考えられる。
本研究では，類似の名前を持つエントリに対処するために，(i)メンションが含まれる入力テキストの文脈情報と (ii) 地理 DB におけるエントリの属性情報を考慮するジオコーディング手法を提案する．旅行記テキストを用いたジオコーディングの実験の結果，文脈情報 - 属性情報ともに曖昧性解消の精度向上に有効であることを確認した。

## 2 提案手法

Wu ら [4] のエンティティリンキングモデルを参考に，入力テキストと DB エントリのベクトル化に異なるエンコーダを用いる Bi-Encoder 型のモデルを採用する. Wu らはエントリのランキングに Cross-Encoder も用いているが，本研究では Bi-Encoder の出力ベクトルのみを用いる簡易なランキング方法を採用する. 後述するエンコーダには事前学習済日本語 BERT モデル1)を使用し，ジオコー ディングタスクでの fine-tuning を行う.

メンションのベクトル化メンションが出現する文のトークン列 $x=\left(x_{0}, \ldots, x_{N}\right) \quad\left(x_{0}=[C L S] ） を\right.$入力とし, Transformer エンコーダによりベクトル表現の系列 $\mathbf{H}^{(\mathrm{t})}=\left(\mathbf{h}_{0}^{(\mathrm{t})}, \ldots, \mathbf{h}_{N}^{(\mathrm{t})}\right)$ に変換する. そし $\tau$ ，トークン系列 $x$ 中のメンション $m=\left(x_{i}, \ldots, x_{j}\right)$ $(1 \leq i \leq j \leq N)$ に対し，その内部トークンのベクトル表現 $\left(\mathbf{h}_{i}^{(\mathrm{t})}, \ldots, \mathbf{h}_{j}^{(\mathrm{t})}\right)$ を平均することでメンションのベクトル表現 $\mathbf{h}_{\mathrm{m}}^{(\mathrm{t})}$ を得る。つまり， $\mathbf{h}_{\mathrm{m}}^{(\mathrm{t})}=\frac{1}{j-i+1} \sum_{k=i}^{j} \mathbf{h}_{k}^{(\mathrm{t})}$ である. メンションの内部トー クンのベクトル表現として文脈化埋め込みを用いることで，外部の周辺文脈も考慮したメンションのべクトル表現が得られると期待できる。

エントリのベクトル化DB の各エントリを，その属性名と属性值を連結したエントリ文字列で表す.エントリの属性には特に制限を設けないが，住所の一部を表す文字列や，地形・施設の種別を表すようなカテゴリ値を値に持つ属性を想定する。たとえば，図 1 に示すような「十二社熊野神社」のエントリがあった場合, “[CLS] name=十二社熊野神社 $[S E P]$ prefecture=東京都 $[S E P]$ amenity= place_of_worship [SEP]”のように，先頭が [CLS]トー クンで始まり, 各属性が [SEP] トークンで区切られたエントリ文字列で表されるものとする.メンション用のエンコーダとは異なるエントリ用の Transformer エンコーダにより，エントリ文字列の

1) https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

ル表現の系列 $\mathbf{H}^{(\mathrm{d})}=\left(\mathbf{h}_{0}^{(\mathrm{d})}, \ldots, \mathbf{h}_{M}^{(\mathrm{d})}\right)$ に変換する. そして，[CLS]トークンに該当するべクトル表現 $\mathbf{h}_{0}^{(\mathrm{d})}$ をエントリのベクトル表現 $\mathbf{h}_{\mathrm{e}}^{(\mathrm{d})}$ とする.

エントリのランキング各メンション $m$ と候補エントリ集合 $E$ の各エントリ $e \in E$ について，それらのベクトル表現間の内積 $f(m, e)=\mathbf{h}_{\mathrm{m}}^{(\mathrm{t})} \cdot \mathbf{h}_{\mathrm{e}}^{(\mathrm{d})}$ により，メンションに対する候補エントリのランキングを行う.

損失関数ミニバッチ $B$ の各事例はメンション $m_{b}$ とその正解エントリ（エントリ文字列） $e_{b}$ のぺアから構成され, $B=\left.\{\left(m_{b}, e_{b}\right)\right.\}_{b=1}^{|B|}$ と表す. 各ミニバッチ $B$ について，以下の損失関数 $L$ によりエンコーダのパラメタ更新を行う.

$
\begin{aligned}
L(B) & =\frac{1}{|B|} \sum_{b=1}^{|B|} \ell\left(m_{b}, e_{b}\right) \\
\ell\left(m_{b}, e_{b}\right) & =-f\left(m_{b}, e_{b}\right)+\log \sum_{k=1}^{|B|} \exp \left(f\left(m_{b}, e_{k}\right)\right)
\end{aligned}
$

ここで，メンション $m_{b}$ の正例エントリは $e_{b}$ であるが，それに対する負例として，同一ミニバッチ内のエントリ $e_{k}$ が用いられている (In-batch random negatives [5]).

## 3 実験設定

提案手法の有効性を確認するため，ジオコーディングの実験を行った.

## 3.1 実験データ

実験データとして，日本語旅行記ジオパージングデータセット ATD-MCL ${ }^{2)}$ [6] を使用した. 本データセットは，「地球の歩き方旅行記データセッ $卜 」^{3)}[7,8]$ の日本国内旅行記に対し，メンションと，その参照先に対応する地理データベース OpenStreetMap (OSM $)^{4)}$ 上のエントリへのリンク情報が人手で付与されたものである. 本データセットのメンションには，固有名の表現と，一般名詞句や指示表現などその他の表現が含まれるが，本研究では固有名の表現5)のみ対象とした. 本研究では，リンク情報が付与されている 100 記事を，表 2 のように訓練・開発・評価データに分割して用いた。その

2) https://github.com/naist-nlp/atd-mcl

3) https://www.nii.ac.jp/dsc/idr/arukikata/

4) https://www.openstreetmap.org/

5）種別ラベルが LOC_NAME，FAC_NAME，LINE_NAME のいずれかであるメンション
表 1 テストデータにおけるジオコーディング精度. 手法 ( $\left.0^{\prime}\right)$ は “name=”を除外したエントリ文字列を用いる方法.

表 2 実験データの記述統計

他の実験設定の詳細は付録 B に示す.

DB として，OSM の原データ6)に対し，実質的に同一の場所を指すエントリを一つのグループにまとめ上げる前処理を行ったもの（グループ数： $1,828,617$ 件）を使用した. つまり，本実験では個々の DB エントリの代わりに，エントリのグループを単位として予測する設定を採用し，全件を候補エントリとした．前処理の詳細は付録 A に記載する。

## 3.2 比較手法

入力文の文脈情報と DB エントリの属性情報を考慮する提案手法に対し, 文脈または属性を考慮しない手法も比較対象に加え，「文脈あり」または「文脈なし」と「属性あり」または「属性なし」を組み合わせた 4 手法を比較する.

・文脈なし：入力文全体の代わりにメンションのみを大力する方法.

・属性なし：エントリ名（name 属性）のみからなる DB エントリ文字列 (例 : “[CLS] name=十二社熊野神社 [SEP]") を用いる方法.

また，文脈なしのメンションと属性なしのエントリ文字列に, 事前学習済日本語 BERT モデルをそれぞれ適用する fine-tuning なしのべースライン手法 （エントリ文字列に “name=”を含める場合と含めない場合の 2 通りの設定を適用）も比較する.

## 3.3 モデル学習

最適化関数 AdamW を使用し, 学習率を $2 e-5$ とした. スケジューラとして, warmup_steps を全体

6）http://download.geofabrik.de/asia/にて公開されていた japan-230601.osm.bz2を使用した.
の 10\%とする warmupLinearSchedule を用いた. バッチサイズを 128 として, 20 エポック学習を繰り返した. モデル選択の指標には後述する平均逆順位 （MRR）を使用し，開発データで MRRが最大となった学習エポックのパラメタを用いた。

## 4 実験結果

テストデータにおける各手法の精度として, Recall @ $\mathrm{k}(k \in\{1,5,10,100\})$ おび平均逆順位 （MRR）を表 1 に示す（手法 (1)-(4) の精度は 5 回の実行結果の平均 $\pm$ 標準偏差).

ベースラインとの比較ベースライン手法 (0), $\left(0^{\prime}\right)$ と比べ， fine-tuning を行った (1)-(4)の手法では, いずれの評価尺度でも精度が向上した. なお, ベー スライン手法においてエントリ文字列に “name=” を含める設定 $(0)$ と含めない設定 $\left(0^{\prime}\right)$ では，設定 $(0)$ での精度が著しく低く, fine-tuningを行わない状況では，メンションとの照合にこの文字列が悪影響を与えていることがわかる.

エントリ属性の有効性エントリ属性情報については，手法 (1)と (2)の比較および手法 (3)と (4)の比較から, Recall @ 1 において最大 0.07 ポイントの向上，他のほとんどの尺度でも向上を達成しており，属性情報の利用が有効であることがわかった.

メンション文脈の有効性メンション文脈情報については, 属性情報を使用しない手法 (1)と (3) の比較からは必ずしも有効性が確認できない。一方，属性情報を使用する手法 (2)と (4) の比較では, 手法 (4) で Recall@ 1 において 0.03 ポイント程度の向上が見られ，属性情報を考慮する条件下では文脈情報の利用が有効であった.この点は, エントリが名前以外の属性情報 (例: “prefecture=東京都”) を持たない状況では，メンションの文脈情報（例：「都庁前から徒歩で」）をエントリとの照合に役立てられないという理由が考えられる。

総括 Recall@ 1 では, 最良の結果でも 0.35 程度であり, 改善の余地が大きい。一方, fine-tuning を
行った各手法において，Recall@10 では 0.72-0.77, Recall@ 100 では 0.9 程度であり，正解エントリの大部分を拾えている.したがって，候補エントリの適切な絞り込みには成功していると言える。将来的には，我々の提案手法に加え，候補エントリの詳細なリランキングを行うステップを導入することで，より高精度なジオコーディングが実現できる可能性がある。

## 5 誤り分析

開発データにおける提案手法の予測誤りを分析したところ，メンション文字列を重視した推論を行い，類似した名前を持つエントリからの適切な曖昧性解消が行えていない事例が見られた。例として，「三仏堂の裏手にある護摩堂では新年の護摩法要が行われていました。」という文内のメンション「護摩堂」を挙げる. 同メンションには杤木県の寺院の堂を表す「大護摩堂」のエントリが正解として割り当てられていたのに対し，モデルは，富山県のランドマークを表す「護摩堂」のエントリを予測していた.この種の問題への対応策として，複数文の広い周辺文脈を入力としつつ，他のメンションが指す場所と候補エントリの間の地理的距離を考慮する方法が考えられる．前述の例では，周辺文に「日光東照宮」や「陰陽門」など栃木県の場所を表す表現が出現していることから,「護摩堂」も，これらの場所に近い栃木県の場所であるという予測が可能になると期待できる.

## 6 関連研究

英語テキストを対象としたジオコーディングの従来研究を以下に挙げる. Gritta ら [9] は，入力文中の注目するメンションとその他の単語を別の畳み込み層でベクトル化し，さらにメンションに関する人口分布を表すべクトル（MapVec）を素性に加え，全結合層によってメンションが位置する地球表面上のタイルを予測する手法 CamCoder を提案した．Wang ら [10], Zhang ら [11] は，メンションとの文字列類似性に基づくルールベースの候補エントリ抽出と， メンション・候補エントリ対のスコア付けによるランキングを行う 2 段階の手法を提案した. Wang らは，ランキングで LightGBMを使用し，素性として，人口などの候補エントリの数値的属性や，メンションの周辺文脈と候補エントリに対応する Wikipedia 記事先頭パラグラフとの各 Bag-of-Words 表現間の類似度などを使用している．Zhang らは，ランキングで fine-tuned BERTを使用し，メンションと候補エントリの名前と別名を [SEP] トークンで連結した文字列を BERT でベクトル化し，さらに候補エントリの $\mathrm{DB}$ 上での種別7)を表す one-hot ベクトルと人口の対数値を素性に加えてスコアを計算している。

日本語テキストに対するジオコーディング研究の例として，本研究における事前学習済日本語 BERT モデル $\left(0^{\prime}\right)$ と同様の方法を用いた大内ら [8] の研究の他に，Awamura [12]，関ら [13] の研究がある。関らは，メンションの周辺文脈に出現した地名を候補とし，関連文書中での候補地名の出現頻度をスコアとして，メンションの位置情報を大字以上の地名の粒度で同定するルールベースの手法を提案した。 Awamura らは，SNS 投稿に含まれる地名の曖昧性解消のため，投稿に含まれる他のメンションと候補エントリとの地理的距離と，一定時間内の過去の投稿中のテキストを素性として，SVM で候補エントリを推定する手法を提案した。

以上のように，従来研究でもメンションの周辺文脈を利用したものは多い. 本研究では，メンションの文脈化埋め込みを用いることで周辺文脈を考慮しつつ，任意の数のカテゴリ的属性をべクトル化したエントリ属性情報を使用し，両者の有効性を実験的に確認した. 従来研究で用いられた人口のような数值的なエントリ属性や，メンション・エントリ間の地理的距離などの情報も，更に追加することが有効であると考えられる。

## 7 まとめと今後の展開

本稿では，曖昧性を持つメンションの解消を目的として，メンションの周辺文脈とエントリの属性情報を利用したジオコーディング手法を提案した．実験により，周辺文脈およびエントリ属性を用いる有効性を示した。

今後の展望として，(i) リランキング機構の追加， (ii) より広範なメンション文脈の考慮，(iii) メンション・エントリ間の地理的関係性の考慮により，より上位の出力エントリに正解が含まれる精度を向上させる点，(iv) 指示表現・一般名詞句などの非固有名で言及されたメンションにもジオコーディング対象を広げる点を挙げる。

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けたものです. ATD-MCLを用いた実験において，「地球の歩き方旅行記データセット」を利用しました.

## 参考文献

[1] Jochen L Leidner. An evaluation dataset for the toponym resolution task. Computers, Environment and Urban Systems, Vol. 30, No. 4, pp. 400-417, 2006.

[2] Milan Gritta, Mohammad Taher Pilehvar, and Nigel Collier. A pragmatic guide to geoparsing evaluation: Toponyms, named entity recognition and pragmatics. Language resources and evaluation, Vol. 54, pp. 683-712, 2020.

[3] 久本空海, 西尾悟, 井口奏大, 古川泰人, 大友寛之, 東山翔平, 大内啓樹. 場所参照表現と位置情報を紐付けるジオコーディングの概観と発展に向けての考察.言語処理学会第 29 回年次大会発表論文集, 2023.

[4] Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[5] Daniel Gillick, Sayali Kulkarni, Larry Lansing, Alessandro Presta, Jason Baldridge, Eugene Ie, and Diego GarciaOlano. Learning dense representations for entity retrieval. In Mohit Bansal and Aline Villavicencio, editors, Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 528-537, Hong Kong, China, November 2019.

[6] Shohei Higashiyama, Hiroki Ouchi, Hiroki Teranishi, Hiroyuki Otomo, Yusuke Ide, Aitaro Yamamoto, Hiroyuki Shindo, Yuki Matsuda, Shoko Wakamiya, Naoya Inoue, Ikuya Yamada, and Taro Watanabe. Arukikata travelogue dataset with geographic entity mention, coreference, and link annotation. arXiv:2305.13844, 2023.

[7] Arukikata. Co., Ltd. Arukikata travelogue dataset, 2022. Informatics Research Data Repository, National Institute of Informatics. https://doi .org/10.32130/idr.18.1.

[8] Hiroki Ouchi, Hiroyuki Shindo, Shoko Wakamiya, Yuki Matsuda, Naoya Inoue, Shohei Higashiyama, Satoshi Nakamura, and Taro Watanabe. Arukikata travelogue dataset. arXiv:2305.11444, 2023.

[9] Milan Gritta, Mohammad Taher Pilehvar, and Nigel Collier. Which Melbourne? Augmenting geocoding with maps. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1285-1296, 2018.

[10] Xiaobin Wang, Chunping Ma, Huafei Zheng, Chu Liu, Pengjun Xie, Linlin Li, and Luo Si. DM_NLP at SemEval2018 task 12: A pipeline system for toponym resolution. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 917-923, 2019.

[11] Zeyu Zhang and Steven Bethard. Improving toponym resolution with better candidate generation, Transformer-based reranking, and two-stage resolution. In Proceedings of the 12th Joint Conference on Lexical and Computational Semantics ('SEM 2023), pp. 48-60, 2023.

[12] Takashi Awamura, Daisuke Kawahara, Eiji Aramaki, Tomohide Shibata, and Sadao Kurohashi. Location name disambiguation exploiting spatial proximity and temporal consistency. In Proceedings of the third International Workshop on Natural Language Processing for Social Media, pp. 1-9, Denver, Colorado, June 2015.

[13] 関龍, 乾孝司. 局所文脈と関連文書を用いた地名に対する地理的位置の同定. 2018 年度人工知能学会全国大会, 2018.

[14] 東山翔平, 大内啓樹, 寺西裕紀, 大友寛之, 井手佑翼,山本和太郎, 進藤裕之, 渡辺太郎. 日本語旅行記ジオパージングデータセット ATD-MCL. 言語処理学会第 30 回年次大会発表論文集, 2024 .

## A OpenStreetMap 前処理の詳細

実験に使用した OpenStreetMap（OSM）の前処理方法および前処理済みデータは, 文献 [14] で用いたものと同一である. 前処理の内容は次の通りである. まず，日本国内の場所を表す $2.8 \mathrm{~B}$ エントリから, name タグに値を持つ（つまりエントリ名を持つ） $2.8 \mathrm{M}$ エントリを抽出した. 次に, name の夕グ名・値に加えて, 後述する属性の名前および値を連結することでグループ ID を表す文字列を各エントリに割り当てた．そして，グループ ID が同一のエントリを同一グループとすることで， $1.8 \mathrm{M}$ 件のグループに集約した. たとえば，「スターバックスコーヒー奈良猿沢池店」に相当する OSM エントリ8)のグループ ID は，次の文字列である。

name=スターバックス|branch=None|prefecture=奈良県|city=奈良市|quarter=樽井町|road=猿沢遊歩道|amenity=cafe グループ ID 文字列の構成要素に含める属性として，OSM エントリの経緯度や郵便番号情報を基に取得・作成した表 3 上段の住所に関する属性9)10) と，主に地形や施設の種類を表すのに適度な内容のカテゴリ値を持つことから採用した表 3 下段の OSM タグ11を用いた。

表 3 エントリのグループ ID 文字列に含めた属性（上段：

住所関連属性，下段：OSM タグに相当する属性）

8) https://www. openstreetmap.org/node/8341902317

9）ＯSM エントリが郵便番号に関するタグ (addr: postcode または postal_code）を持つ場合は郵便番号データ（https: //www. post.japanpost.jp/zipcode/dl/kogaki-zip.html) を使用し，他の場合は経緯度を基にした逆ジオコーディング API (https://nominatim.org/release-docs/latest/api/ Reverse/）を利用し，住所情報を取得した。

10）エントリが特定の OSM タグ（admin_level, place, highway, railway, route, warterway）を持つ場合, その値に基づいてグループ ID 文字列に含める住所関連属性を調整するルールを適用した. たとえば，admin_level=7 (市町村・特別区に相当）のエントリでは prefecture のみ含め, railway のタグ（値は任意）を持つエントリではいずれの住所関連属性も含めないこととした.

11）OSMのタグの一覧は https://wiki.openstreetmap.org/ wiki/JA:Map_Features から参照可能.

## B 実験設定の詳細

ATD-MCL では，同一の場所を指すメンションの共参照クラスタ単位で DB エントリ（主にOSMで，一部は他のサイト）へのリンク情報が付与されている. 本実験では，リンク情報として，OSM エントリの URL が付与され，かつ best_ref_type=PARTOF でないもの（best_ref_type=OSMであるもの）に限定し，共参照クラスタ中の各メンションにリンク情報を割り当て，メンション単位でのジオコーディングを実施した。なお，PARTOF とは，メンション（の共参照クラスタ）が指す場所に直接対応する DB エントリがなく，当該場所を地理的に包含するような場所にあたる DB エントリが割り当てられていることを表す情報である.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語旅行記ジオパージングデータセット ATD-MCL

東山翔平 1,2 大内啓樹 2,3 寺西裕紀 3,2 大友寛之 ${ }^{4}$
井手佑翼 2 山本和太郎 2 進藤裕之 ${ }^{2}$ 渡辺太郎 ${ }^{2}$
1 情報通信研究機構 2 奈良先端科学技術大学院大学 ${ }^{3}$ 理化学研究所 ${ }^{4}$ CyberAgent, Inc.
shohei.higashiyama@nict.go.jp hiroki.ouchi@is.naist.jp
hiroki.teranishi@riken.jp otomo_hiroyuki@cyberagent.co.jp
\{ide.yusuke.ja6, yamamoto.aitaro.xv6, shindo, taro\}@is.naist.jp

## 概要

ジオパージングは，文章中に含まれる実世界の場所に関わる情報を解析する基盤技術である．本研究では，文書レベルのジオパージングシステムの開発・評価に向けた第一歩として, 日本語旅行記デー タセットの構築と現在のシステムの評価を行った.本データセットが，日本語ジオパージング研究の推進・高度化に貢献することを期待している。

## 1 はじめに

場所を指し示す言語表現（場所参照表現）は，人間の活動・移動や実世界で生じた事象の描写と共に文章に記述されることが多い。言語表現と実世界の場所を紐づけるジオパージング $[1,2]$ は，テキストを，地理的な観点に関わる様々な目的で活用するのに久かせない技術である. 文章として書かれた事物・事象に関する情報の地図上への可視化, 地理情報や地図を介したテキスト検索が可能になるほか，観光支援，災害対応，感染症サーベイランスなどの応用領域での活用も期待されている [3].

ジオパージングは，場所参照表現の抽出（ジオタギング）と，場所参照表現が指す場所を特定する曖昧性解消（ジオコーディング）の二つのサブタスクから構成される. ジオパージングでは，個々の場所参照表現を独立に解析することも可能であるものの，他の場所参照表現の情報を考慮した文書レベルの解析をすることで，高度な曖昧性解消が可能となる.というのも，同一文書中で複数の場所参照表現が共起する際，それらの情報は相互に役立つ場合があるためである．たとえば，図 $1\langle 3\rangle$ の「興福寺」 は，奈良県への旅行に関する文脈を考慮することで，他地域の興福寺ではなく奈良県の興福寺を指していると判定できる.

〈1) https://www.openstreetmap.org/relation/11532920

<2) https://www.openstreetmap.org/way/456314269

〈3) https://www.openstreetmap.org/way/1134439456

〈4) https://www.openstreetmap.org/relation/3227707

図 1 アノテーション済み文書の例. 場所参照表現とそのエンティティ種別（例「FAC-NAME」），共参照クラスタ ID（例「 $\langle 1\rangle\lrcorner ） ，$ 共参照クラスタに対応する OpenStreetMap エントリURL の情報が付与されている.

本稿では，我々が構築・公開したジオパージングデータセット ATD-MCL ${ }^{1}$ につて報告する。本デー タセットは, 日本語の旅行記に対し， 3 種類の地理的な情報，つまり (1) 場所参照表現，(2)それらの共参照関係，(3) 共参照クラスタから地理データベー ス（DB）エントリへのリンク情報を人手でアノテー ションしたものである（図 1). 我々の知る限り，第三者が入手・再現可能な日本語ジオパージングデー タセットは他にはない.

本データセットは文書レベルジオパージングに適した二つの特徴を持つ. 1 点目は， 1 文書中に場所参照表現が豊富に含まれることである．原文書が有するこの性質をモデル学習・評価時に活用可能にするため，様々な言語表現で表された様々なカテゴリの場所を指す場所参照表現を網羅的にアノテーションする方針を採用した。なお，この性質は SNS 投稿のような短いテキストを使用した既存データセット $[4,5]$ とは対照的である. 2 点目は, 1 文書中の場所参照表現の間に，共参照関係や，参照先の場所の
^{1}$ Arukikata Travelogue Dataset with Geographic Entity Mention, Coreference, and Link Annotation
}
地理的近さ・階層的関係といった地理的関連性があることである. 旅行記は，旅行者の移動が時系列的に記される文書の典型と捉えられるため, ニュース記事を用いた既存データセット $[6,7,8,2]$ よりも顕著にこの特徴を持つと考えている.

本データセットを用いて現在のエンティティ解析システムの精度を評価したところ, 場所参照表現抽出と共参照解析については高い精度が得られた一方，曖昧性解消においては改善の余地が大きいことが示された。

## 2 アノテーションデータの構築

設計方針原文書に出現する様々な場所参照表現（以降，メンションと呼ぶ）に対して網羅性の高いアノテーションを実現するため，二つの方針を設けた. 1 点目に，場所・施設に関連する広範な力テゴリの種別ラベル（§2.1で後述）を定義し，固有名に限らずそれら種別に該当する表現をアノテー ション対象とした. 2 点目に, 施設名に対しても高い割合で DB エントリのリンク情報を付与できるよう，施設エントリを豊富に含む地理 DB として OpenStreetMap（OSM）２を採用した。

データ準備原データとして,「地球の歩き方旅行記データセット」 $[9,10]$ を用いた. 同データ中で国内旅行記に分類されている文書のうち，文書長が長すぎないもの（500-3000 文字に相当する文書）に限定して 200 記事をランダムに抽出し, 更に日本語自然言語処理ライブラリ $\mathrm{GiNZA}^{3}$ [11] による固有表現抽出を適用し，作業用データとした。

アノテーション手順・ツールアノテーション委託先企業の日本語母語アノテータ（各ステップ 5～ 7名）により，(1)メンション，(2) 共参照，(3) リンクの三つのアノテーションステップを順に実施した. アノテーションツールとして, (1)と (2)では brat $^{4}$ [12], (3) では Microsoft Excel を使用した.

## 2.1 メンションアノテーション

本ステップでは，自動付与結果を修正し，入力文書中のメンションのスパンと種別ラベルを特定する作業を行った. 種別ラベルとして, 表 1 に示す 8 種類のラベルを定義した. LOC，FAC，LINE，TRANS は，固有名の表現であるか，その他の表現であるかに応じてサブ種別 NAME かNOM が付与される. LOC_ORG と
^{2}$ https://wiki.openstreetmap.org/

${ }^{3}$ https://github.com/megagonlabs/ginza

 }^{4}$ https://github.com/nlplab/brat

表 1 場所参照表現の種別ラベルと例

FAC_ORG はメトニミー的に組織を指す地名と施設名に対するラベル，LOC_OR_FAC は地域・施設両方を指乙得る非固有名の表現に対するラベル，DEICTIC は場所を指す指示表現に対するラベルである.

## 2.2 共参照アノテーション

本ステップでは，メンションへの特定性ラベル GENERIC およびメンション対への関係ラベル COREF を付与する作業を行った． GENERIC は，総称的な表現（例：図1の「お寺」）に付与するラベルであり,実世界の場所を指すが他メンションと共参照関係を持たないシングルトンと区別するために用いた. COREF は，実世界の同一の場所を指すメンション対（例：図 $1\langle 1\rangle$ の「近鉄奈良駅」と「そこ」）に対して付与するラベルである. ラベル付与作業の後, COREF の 2 項関係を介して連鎖的に繋がりを持つメンション全体は一つの共参照クラスタ，いずれのラベルも付与されていないメンションはシングルトン （例：図 $1\langle 2\rangle およひ ゙\langle 4\rangle ）$ として扱った.

## 2.3 リンクアノテーション

本ステップでは，OSM 検索およびウェブ検索結果を参照しながら，共参照クラスタに対して，その参照先の場所に相当する OSM エントリURL（例：図 1 の $\langle 1\rangle-\langle 4\rangle$ ）を割り当てる作業を行った. 参照先の場所に直接的に相当せず，その場所を包含するようなエントリのみ見つかった場合には，同エントリの URL と共に PART_OF ラベルを付与した. 適切なエントリが見つからない場合には，URL の代わりに NOT_FOUNDを割り当てた。
表 2 ATD-MCL の記述統計

## 2.4 データセットの記述統計

200 記事にメンション・共参照アノテーションを実施し，そのうち 100 記事にリンクアノテーションを追加で実施した 5 . 2 種類の情報のみ付与された 100 記事を Set-A データ， 3 種類の情報が付与された残り 100 記事を Set-B データとする。構築したアノテーションデータの記述統計を表 2 に示す. 単語数の計測には SudachiPy [13] モード B を用いた.

## 3 システム性能評価

本データセットを用いて，メンション抽出（MR）,共参照解析 (CR), エンティティ曖昧性解消 (ED) の 3 タスクの実験を行った. 本実験の目的は，既製公開モデル，fine-tuning モデルを含む現在のエンティティ解析システムによって達成可能な解析精度の水準を明らかにすることである。

データ分割 Set-B データ 100 記事を 10:10:80で訓練，開発，テストセットに分割した. MR および CR では更に Set-A データ 100 記事を訓練セットに加え，110:10:80 記事のデータを使用した. EDでは Set-B データの 10:10:80 記事を使用した.

## 3.1 メンション抽出

タスク定義 MRタスクを，入力文書からメンションのスパンと種別ラベルを特定する問題とする. 評価指標には, 正解メンションのスパン・種別ラベルとの完全一致の F1 值を用いる.

システム ATD-MCL 訓練セットで fine-tuning した 2 システム (spaCy-MR， mLUKE-MR）と，既製公開モデルの 2 システム（KWJA，GiNZA）を評価した. spaCy-MR は, 日本語 ELECTRA [14] 事前学習モデル6をベースに自然言語処理ライブラリ $\mathrm{spaCy}$ の遷移型モデル 7 を fine-tuning したシステムである. TLUKE-MR は, 多言語 LUKE [15] 事前学習モデ
^{6}$ https://huggingface.co/megagonlabs/ transformers-ud-japanese-electra-base-discriminator ${ }^{7}$ https://spacy.io/api/architectures\#parser
}

表 3 MR システムの精度（NAME，NOM は，それらサブ種別ラベル全体に対する精度のマイクロ平均)

ル8をベースに，我々が実装したスパン抽出型モデルを fine-tuning したシステムである. KWJA (version 2.1.1）[16] では base モデル, GiNZA（version 5.1.2) では ja_ginza_electra モデルを用いた.

実験結果各 MR システムのテスト精度を表 3 に示す. GiNZA と KWJA は, NAME メンションに対し, ある程度のカバレッジ（再現率 0.55-0.70）を示した. 一方，これらは固有表現に特化して学習されたモデルであるため，一般名詞句・指示表現などNAME でないメンションに対しては抽出に失敗している9. spaCy-MR と mLUKE-MR は, fine-tuning のおかげで F1 值 0.74-0.82 と比較的高い精度を示した. 両システムとも，NOM に比べて NAME に対する精度が低いのは, NAME の方が表層の多様性が大きく, 認識が難しいためと考えられる。

## 3.2 共参照解析

タスク定義 CR タスクを，正解メンションを所与とし，共参照関係にあるメンション同士を同一クラスタにまとめ上げる問題とする。評価指標には MUC [17], B3 [18], $\mathrm{CEAF}_{e}$ [19]（各 F1 値）と，それら F1 值のマクロ平均である CoNLL スコア [20]を用いる.

システム ATD-MCL 訓練セットで fine-tuning したシステム (mLUKE-CR), 既製公開モデル (KWJA),二つのルールベースシステム (Rule-CR-1 および 2) を評価した. ILUKE-CR は, 多言語 LUKE 事前学習モデル10をべースに，我々が実装した先行詞予測型の end-to-end CR モデル [21]を fine-tuning したシステムである. KWJAでは base モデルを使用し, 出
^{8}$ https://huggingface.co/studio-ousia/mluke-large-lite

${ }^{9}$ NOM に対する各精度は 0 である（表 3 には不記載）。

 }^{10} \mathrm{https}$ ://huggingface.co/studio-ousia/mluke-large

表 4 CR システムの精度（クラスタサイズ別）

力クラスタの和集合を正解メンション集合に一致させる後処理を適用した. Rule-CR-1 は，すべてのメンションをシングルトンとみなす. Rule-CR-2 は，表層文字列が同一のメンションを一つのクラスタとし，その他のメンションはシングルトンとみなす。

実験結果各 CR システムのテスト精度を表 4 に示す. シングルトンが多いデータの分布の表れとして，「何もしない」Rule-CR-1 でも，全クラスタ（サイズ $\geq 1$ 1）に対して 0.6 以上の $\mathrm{B}^{3}$ および $\mathrm{CEAF}_{e}$ スコアとなった. Rule-CR-2 では各指標で 0.61-0.84の精度となり，単純な表層情報が共参照関係を捉えるのに有効であることを示している. KWJA および mLUKE-CR の精度は，これら 2 システムが表層の異なるメンション間の共参照関係もある程度捉えられていることを示している. MR の結果と同様, fine-tuning を行っている mLUKE-CR が最も高い精度を示した。

## 3.3 エンティティ曖昧性解消

タスク定義 EDタスクを，正解エンティティ（=共参照クラスタ）を所与とし，各エンティティに対して全 DB エントリの中から適切なエントリを選択する問題とする ${ }^{11}$. 評価指標には Recall@ $k$ ，つまり，システムが出力した $k$ 個のエントリが正解エントリを含んでいれば正解とする尺度を用いる。

システム教師なし ED システム（BERT-ED）およびルールベースシステム（Rule-ED）を評価した.両システムとも, 入力エンティティに対し, 表層文字列が最長の NAME メンションをエンティティの 「名前」として扱い，それに基づいて DB エントリを割り当てる ${ }^{12}$. BERT-ED は，日本語 BERT [22] 事前
^{11}$ 厳密には，同一視可能な DB エントリをグループにまとめ,全 $1.8 \mathrm{M}$ エントリグループの中から適切なグループを選択を行うタスクとした．詳細は付録 A に示す.

 }^{12}$ NAME メンションを含まない入力エンティティに対してはエントリの推定を行わない.

表 5 ED システムの精度（“R”は Recall を表す）

学習モデル13を用いたシステムであり，名前文字列を基にしたエンティティベクトル，name 属性值文字列を基にした DB エントリベクトル14を計算し， コサイン類似度が上位 $k$ 件の DB エントリを出力する. Rule-EDでは，エンティティの名前と name 属性値が完全一致する DB エントリを抽出し, エントリの全属性值を連結した文字列を辞書式順序でソー トして上位 $k$ 件を出力する.

実験結果各 ED システムのテスト精度を表 5 に示す. ベクトルに基づくソフトなマッチングにより, $k>1$ で BERT-ED の方が高い精度を示し， $k$ が大きい時に精度差が顕著である. このように BERT のべクトル表現が有用である結果は示されたものの， $k$ が小さい時の精度は改善の余地が大きい.

## 3.4 議論

MR および CR では fine-tuning システムが高い精度を達成した一方，EDで用いた教師なしシステムは低い精度にとどまった. 改善方法の一つは，教師ありシステムの学習，つまり fine-tuning を実施することであるが，未知事例に対する予測精度が主な課題になると考える．もう一つの課題は，Wikipedia のような DB と異なり，OSM 含む地理 DB では自然言語の説明文が利用できないことである.しかし， OSM エントリは意味的な属性情報を有し，またエントリ間の距離や包含関係などの地理的な関係も取得可能である. エンティティや DB エントリのベクトル表現の学習にこのような地理的な関係を取り入れつつ，複数のメンションに関する文書レベルの情報を考慮するような発展が考えられる。

## 4 おわりに

本稿では，文書レベルジオパージングに利用可能な公開アノテーションデータセット ATD-MCL の構築と評価について報告した. 本データセットが，日本語ジオパージング技術の研究開発の推進・発展に貢献することを期待している.
^{13}$ https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking

14 入力文字列中の各トークンについての BERT 最終層の出力ベクトルの平均を用いた.
}

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けたものです. 本データセットの構築にあたり，「地球の歩き方旅行記データセット」を利用しました. 本研究の過程でご助言いただいた松田裕貴氏，若宮翔子氏，井之上直也氏，山田育矢氏に感謝申し上げます。

## 参考文献

[1] Jochen L Leidner. An evaluation dataset for the toponym resolution task. Computers, Environment and Urban Systems, Vol. 30, No. 4, pp. 400-417, 2006.

[2] Milan Gritta, Mohammad Taher Pilehvar, and Nigel Collier. A pragmatic guide to geoparsing evaluation: Toponyms, named entity recognition and pragmatics. Language resources and evaluation, Vol. 54, pp. 683-712, 2020.

[3] Xuke Hu, Zhiyong Zhou, Hao Li, Yingjie Hu, Fuqiang $\mathrm{Gu}$, Jens Kersten, Hongchao Fan, and Friederike Klan. Location reference recognition from texts: A survey and comparison. ACM Comput. Surv., Vol. 56, No. 5, 2023.

[4] Koji Matsuda, Akira Sasaki, Naoaki Okazaki, and Kentaro Inui. Geographical entity annotated corpus of japanese microblogs. Journal of Information Processing, Vol. 25, pp. 121-130, 2017.

[5] Jan Oliver Wallgrün, Morteza Karimzadeh, Alan M MacEachren, and Scott Pezanowski. Geocorpora: building a corpus to test and train microblog geoparsers. International Journal of Geographical Information Science, Vol. 32, No. 1, pp. 1-29, 2018.

[6] Michael D. Lieberman, Hanan Samet, and Jagan Sankaranarayanan. Geotagging with local lexicons to build indexes for textually-specified spatial data. In ICDE, pp. 201-212. IEEE, 2010.

[7] Ehsan Kamalloo and Davood Rafiei. A coherent unsupervised model for toponym resolution. In WWW, p. 1287-1296, 2018 .

[8] Milan Gritta, Mohammad Taher Pilehvar, and Nigel Collier. Which Melbourne? Augmenting geocoding with maps. In ACL, pp. 1285-1296, July 2018.

[9] Arukikata. Co., Ltd. Arukikata travelogue dataset, 2022. Informatics Research Data Repository, National Institute of Informatics. https://doi .org/10.32130/idr.18.1.

[10] Hiroki Ouchi, Hiroyuki Shindo, Shoko Wakamiya, Yuki Matsuda, Naoya Inoue, Shohei Higashiyama, Satoshi Nakamura, and Taro Watanabe. Arukikata travelogue dataset. arXiv:2305.11444, 2023.

[11] 松田寛, 大村舞, 浅原正幸. 短単位品詞の用法曖昧性解決と依存関係ラベリングの同時学習. 言語処理学会第 25 回年次大会発表論文集, 2019.

[12] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In EACL, pp. 102-107, 2012.

[13] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara,
Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a Japanese tokenizer for business. In LREC, 2018.

[14] Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. ELECTRA: Pre-training text encoders as discriminators rather than generators. In ICLR, April 2020.

[15] Ryokan Ri, Ikuya Yamada, and Yoshimasa Tsuruoka. mLUKE: The power of entity representations in multilingual pretrained language models. In ACL, pp. 7316-7330, 2022.

[16] Nobuhiro Ueda, Kazumasa Omura, Takashi Kodama, Hirokazu Kiyomaru, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. KWJA: A unified japanese analyzer based on foundation models. In ACL, Toronto, Canada, 2023.

[17] Marc Vilain, John Burger, John Aberdeen, Dennis Connolly, and Lynette Hirschman. A model-theoretic coreference scoring scheme. In MUC-6), 1995.

[18] Amit Bagga and Breck Baldwin. Algorithms for scoring coreference chains. In The first international conference on language resources and evaluation workshop on linguistics coreference, Vol. 1, pp. 563-566, 1998.

[19] Xiaoqiang Luo. On coreference resolution performance metrics. In HLT-EMNLP, pp. 25-32, October 2005.

[20] Sameer Pradhan, Alessandro Moschitti, Nianwen Xue, Olga Uryupina, and Yuchen Zhang. CoNLL-2012 shared task: Modeling multilingual unrestricted coreference in OntoNotes. In EMNLP-CoNLL Shared Task, pp. 1-40, 2012.

[21] Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. End-to-end neural coreference resolution. In EMNLP, pp. 188-197, September 2017.

[22] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 41714186, 2019.

[23] Satoshi Sekine and Hitoshi Isahara. IREX: IR \& IE evaluation project in Japanese. In LREC, 2000.

[24] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended named entity hierarchy. In LREC, 2002.

[25] Mandar Joshi, Omer Levy, Luke Zettlemoyer, and Daniel Weld. BERT for coreference resolution: Baselines and analysis. In EMNLP-IJCNLP, pp. 5803-5808, 2019.

## A データベース前処理

OSM の原データベース ${ }^{15}$ は非常に多数のエントリを含み，更に実質的に同一の場所を指すエントリも多く含む16. そこで，同一視できるエントリを一つのグループにまとめ上げる前処理を行い，ED の実験では個々のエントリではなくエントリのグループを単位として予測する設定を採用した。

前処理は次のように行った。まず，日本国内の場所を表す $2.8 \mathrm{~B}$ エントリから，name 属性値を持つ $2.8 \mathrm{M}$ エントリを抽出した. 次に, name 属性値に加えて住所や一部の属性値の情報を連結した文字列17を keyとし，key が同一のエントリを同一グルー プとした. その結果， $1.8 \mathrm{M}$ グループとなった.

## B システム詳細

§3で示した fine-tuning 済みシステムの精度は，いずれも 1 回の実行結果の精度である。

メンション抽出 spaCy-MR では, GiNZA の ja_ginza_electra モデルとほぼ同様のモデル設定とした ${ }^{18}$. mLUKE-MR は，LUKE Transformer モデルを用いてスパン（メンション候補）の分散表現を計算し，全結合層を用いてスパンをいずれかの種別ラベルまたは非メンションに分類した. 入力文 $(512$ トークンに達するまで周囲のトークンを連結）中の可能なすべてのスパンについて，それぞれスパンの先頭・末尾トークンの分散表現とエンティティの分散表現を連結してスパンの分散表現とした. KWJA の IREX [23] タグ，GiNZA の拡張固有表現 [24] タグの出力結果に対して, ATD-MCL のタグへ変換するルールを適用した ${ }^{19}$.

共参照解析 mLUKE-CR では，Joshi ら [25] のモデル構造に基づき， mLUKE-MR と同様の方法でメンションの分散表現を計算した ${ }^{20}$. KWJA へは，出
^{15} \mathrm{http}$ ://download.geofabrik.de/asia/にて公開されていた japan-230601.osm.bz2を使用した.

16我々のタスクで同一視可能な例として，name 属性値「東京」 を持つエントリ 72 件の中に，同一鉄道駅の異なるホームや異なる列車停止位置を指す複数のエントリがある。

17例: “name=スターバックス|branch=None|prefecture=奈良県|city=奈良市|quarter=樽井町|road=猿沢遊歩道|amenity= cafe"

${ }^{18} \mathrm{https}$ ///github.com/megagonlabs/ginza/blob/develop/ config/ja_ginza_electra.cfg ("transformer”および “ner”以外の pipeline は無効にした. )

${ }^{19}$ KWJA の出力 LOCATIONメンションに対しては，同一スパンでラベルを LOC_NAME, FAC_NAME, LINE_NAME のいずれかに変更した計 3 インスタンスに複製する再現率重視の処理を行った.

20ただし，メンションの unary スコア, coarse-to-fine 推論，メタデータに基づく離散素性は使用しなかった.
}

カクラスタの和集合を正解メンション集合に一致させる後処理 ${ }^{21}$ 適用した。

モデルハイパーパラメタ mLUKE-MR/CR のモデル学習で用いたハイパーパラメタは, 両モデル共通で linear learning rate decay, warmup ratio $=0.06$, dropout rate $=0.1$, weight decay rate $=0.01$, gradient clipping なし, Adam $\beta_{1}=0.9, \beta_{2}=0.98, \epsilon=1 e-6$ とし, $\mathrm{MR} / \mathrm{CR}$ モデル別で学習率 $1 \mathrm{e}-5 / 5 \mathrm{e}-5$, バッチサイズ $8 / 4$, 学習エポック数 $10 / 20$ とした（学習率と学習エポック数のみパラメタ探索を行った). spaCy-MR では，事前学習モデル（\$3.1）に加えて後述する設定ファイルの値を使用した．BERT-ED では事前学習モデル （§3.3）からの追加のハイパーパラメタはない.

## C アノテータ間一致率

メンション，共参照，リンクのアノテーションにおいて，各 10 記事， 10 記事， 5 記事について 2 人目のアノテータによるアノテーション作業を実施し， 1 人目のアノテータとの間の一致率を算出した.後述のように， 3 種類の情報いずれについてもアノテーションの一貫性がある程度高いことを示す一致率を得た。

メンションアノテーションの一致率として，一方の作業結果を正解とした場合の F1 值を算出したところ，NAMEメンションでは 0.835 , NOMメンションでは 0.867 ，全メンションでは 0.832 となった.

共参照アノテーションの一致率として，一方の作業結果を正解とした場合の CoNLL スコア（F1 値） を算出した. 全クラスタに対して 0.858 , サイズ 2 以上のクラスタに対して 0.792 となった.

リンクアノテーションの一致率として，2 名の作業結果（エントリURL または NOT_FOUND の割り当て）についての $\kappa$ 係数と，一方を正解とした場合の F1 值を算出した. (a) そのままの URL で比較する設定では $\kappa$ 係数 $0.707, \mathrm{~F} 1$ 值 0.722 となり，(b) 実質的に同一の場所を指す URL を同一視する設定（同一視可能かは第一著者が判断）では $\kappa$ 係数 $0.793, \mathrm{~F} 1$值 0.804 となった.
^{21}$ 正解メンションとスパンに重なりのある予測メンションは,正解メンションと同一視した. その上で，出力クラスタからどの正解メンションとも一致しない予測メンションを削除し, どの予測メンションとも一致しない正解メンションをシングルトンとして出力に加えた。
}


# 語形の分布状況のベクトル化による言語地図の分類方法

近藤 泰弘 ${ }^{1}$ 持橋 大地 $^{2}$
1 青山学院大学 2 統計数理研究所
yhkondo@cl.aoyama.ac.jp
daichi@ism.ac.jp

## 概要

本研究では, 異なる語に対する「言語地図」を機械学習によって自動分類する手法を提案した. 従来「言語地図」をコンピュータで自動作成する方法としては, 発表者の考案した単語語形音素の単語集合表現（BoW）による方法があったが, 今回の研究では, 新たに, 語形の地域による共起情報を FastText でベクトル化し, 語形情報と地理情報を埋め込んだ言語地図を様々な語について作成した. そして, その言語地図の持つべクトル情報を階層的クラスタに分類することで, 言語地図そのものを分類することを行った.これによって, 基本語・漢語などの分布と,文法要素の分布とでは, 異なった分布の様相を示すことが明らかになった。

## 1 はじめに

社会言語学の研究の中で, 方言語形を地点ごとに配置する，いわゆる「言語地図」を作ることが行われている. 近年は, このような言語地理学の分野でも， GIS の手法を用いて，電子的に表現する方法が一般的になってきた. 発表者も以前に，語形をべクトル化し，それをクラスター分析することで，語形をグループ化することを試みた [1]. 今回の発表では，ベクトル化の方法を変更し，語形情報だけでなく, 相互の位置も含めてべクトル化する方法を考案した. さらに，それによって作られた地図情報をさらにクラスタ分類して，分布状況のパターンを発見することを試みた。従来も，言語地図を処理することで語形の距離から，東日本・西日本・九州などのように方言区画を導き出す研究は多かったが，分布のパターンという考え方で研究されたものはなかった. 以下に、その方法を述べていく。

なお，研究対象としたのは，国立国語研究所で企画・開発された『全国方言分布調査』(FPJD) のデー タベース [2]である.

## 2 関連研究

日本語の言語地図をコンピュータで作成する試みとして，メインフレームの時代の荻野綱男の GLAPS[3],PC になってからの福嶋（尾崎）秩子の SEAL [4] などがある。大西拓一郎も，Adobeイラストレータや GIS 系のアプリを駆使して言語地図を発表している [5].

語形 (音形) のレーベンシュタイン距離を用いて,方言間の差異を計測した研究も多い [1] [6]. 日本語においても，方言分類を論じる場合に使われた。最近では, Heeringa・Inoueによる方言区画の研究がある [7].

また, 先に述べたように，発表者も，語形（音素） の BoWを用いたべクトル化によって言語地図を自動作成する研究を行っている [8].

## 3 提案手法

1 節で述べた通り, 本研究では, 単語の語形の音節（モーラ・仮名単位）を基本データとして用いた. そして，位置情報を反映させるために，各語形の採取地点の緯度・経度を 1 次元に圧縮し, その上に語形を配置した.これを一種のテキストであると考え, FastText によって語形を 100 次元にベクトル化した.これにより，地域で隣接する語形は近いべクトルを持つことになる. この 100 次元べクトルを PCA で 2 次元に圧縮し, K-Means で分類することで，語形の分類情報を得て，これを用いて言語地図を作成した. さらに, この各語形の持つ 100 次元べクトルの平均値をとり, さらに，地図内のすべての語形の持つ上記平均値をさらに平均して，ひとつの地図のもつべクトルの特徴量と考えた。この特徴量を階層化クラスタリングして，地図の分類を行った.

## 3.1 モデルと学習方法

各語形の採取地点の緯度・経度を 1 次元に展開し、それぞれの地点の採取語形、それぞれ 2000 個を順に配列する。

['カサブタ','カサブタ','カサブタ','カサビタ',' カサブタ', 'カサブタ', 'カサブタ', 'カサブタ', カサブタ','カサビタ','カサ','カサブタ','カサベタ', 'カサブタ', 'カサビタ', 'カサブダ', 'ガンベ', ’サブタ', ’カフサ','カサビタ', 'チノカタマリ','カサブタ', カサピタ', カサフタ', カタプタ', ’サ, , カサブタ', 'カサブタ','カサプタ', 'ガンベ','カサ', 'カサ','カサ','カサデキタ',(以下略）]

この語形を順に並んだテキストであると考え， FastText のモデルに学習させた. ハイパーパラメー タとしては

vector_size $=10$, window $=10$, min_n $=3$,

$\max \_\mathrm{n}=6, \mathrm{sg}=0$

とした. ここで作成されたモデルに，再度語形を入力して，各語形のベクトルを得て，得られた 100 次元の語形べクトルを PCAによって 2 次元とし，さらに K-Means でクラスタに分けて語形を分類し，それぞれの語形に色を定めた。その色を用いて，2 次元のベクトルの散布図および、地図上に語形アイコンを色わけして配置した。

Python のライブラリの gensim の FastText および scikit-learn の PCA を用いた. また，PCAによって次元圧縮し，いくつかの次元のデータを作成した後， 2 次元にすることを決定し，またその 2 次元データを K-Means で学習させることで，クラスタに分類したが，クラスタ数の最適化については，語形分類が実用的にできるかどうかを主として考え，エルボー法などで結果を裏付けた. こうしてベクトル化された地図の階層クラスタリングには， scipy.cluster.hierarchy のライブラリを用いた.

## 4 実験と結果

## 4.1 実験設定

提案手法の評価には，代表的な日本語方言の言語地図用のデータセットである「全国方言分布調査データベース（FPJD)」(国立国語研究所編）[2]を用いた. 公開されている「言語地図」データは Excel 形式で, 語形 (カタカナ), 地点番号, 緯度, 経度, などからなっている.

図 1 地図の分類（全体）

「全国方言分布調査」のすべての語形についてではなく，その一部について公開されているが，今回は公開されている部分すべてについての約 200 項目のデータを用いた。それぞれ，約 2000 件の地点数である．処理プログラムの実装には Python 3.8.16 と scikit-learn 1.0.を用いた。地図へのプロットには動的地図を作成できるため，folium 0.14.0を用いた.

## 4.2 結果

地図の持つ平均化したべクトルを階層化クラスタリングで分類した結果全体を図 1 に示した. その最上部と最下部を拡大したものが，図 2 , 図 3 である.

100 次元の語形ベクトルから平均値をとってそれを分類するとは，概略，2 次元の散布図を似た形で分類することと等しい. 例えば，クラスタ分類図の上部（図 2）にある語である，図 4 ・図 5 の「甘い」 の散布図では，重要な語形が独立してマッピングされていて，中央にその他の語形が位置する。このよ

図 2 地図の分類（上部）

図 3 地図の分類 (下部)

うな散布図が地図になると，主要語形が西日本四国や九州に地域ごとにブロックとして配置される. これに対して，クラスタ分類図の下部（図 3）にある語である図 6 ・図 7 の「行こうよ」では，全体に語形がばらばらに散布図に存在し, この場合は，地図の上でも，各語形がまだらに分布することになる.

また言語の内容面からは，大きく見て，ブロック状の分布の地図には，「本」（図 8）「本家」などの漢語・「あまい」「つらら」などの基本語が多く存在している. それに対して，まだら状の分布には，「行こうよ」「先生だろう」（図 9）などの文法要素を含む語形が多い. 漢語は渡来が新しいことによる固定化と思われる. 文法要素の語が比較的ばらばらに分布することの原因はつかみにくいが, 文法要素が様々な付加的な接尾辞により構成されているため, 地域差が大きいことが原因ではないかと考えられる.これについては，さらにこの方法を洗練させて，より詳しい分析が可能になるように改良を図りたい.

なお，完全には分類できず，一部例外的な地図も存在するが，それについては，今後の改良が必要で

図 4 「甘い」の散布図

図 5 「甘い」（ブロック状分布）

ある.

## 5 結論

本研究の方法によると, 言語地図自体を地域情報を含めてべクトル化して扱うことで，その分布の 「模様」を分類することが可能であることを示した. これにより，分布パターンと語の素性との関係という新しい研究分野が開拓可能である。

今後, ベクトル化の方法や，地図の分類方法をさらに探求し，より精度の高い分類ができる方法を試みたい. 特に南北型の分布や, 周圈分布といった特徵までも分類可能になるように方法を改善していきたい.

図 6 「行こうよ」の散布図

図 8 「本」（ブロック状分布）

図 7 「行こうよ」（まだら状分布）

図 9 「先生だろう」（まだら状分布）

## 謝辞

本研究の評価データセットに用いた『『全国方言分布調査』データベース」(FPJD)を開発した，国立国語研究所，サイトの保守にあたっている熊谷康雄氏，大西拓一郎氏，また調査関係者の皆様に感謝申し上げます。

## 参考文献

[1] Wolfgang Vierreck. The computer developed linguistic atlas of england, volumes 1 (1991) and 2 (1997). International Computer Archive of Modern English: ICAME journal, Vol. 1997, No. 21, pp. 79-90, 2015.

[2] 国立国語研究所. 『全国方言文法調査 (fpjd)』, 2018. https: //www2.ninjal.ac.jp/hogen/dp/fpjd/fpjd_index.html.

[3] 荻野綱男. コンピュータ言語地理学. 言語研究, Vol. 1978, No. 74, pp. 83-96, 1978 .

[4] 福嶋秩子. 言語地理学のへや, 2022. https://www.unii.ac. jp/chitsuko/inet/lg7.html.

[5] 大西拓一郎. 言語地図作成の電算化. 日本語学, Vol. 21, No. 11, 2002.

[6] 鑓水兼貴. 共通語化過程の計量的分析. 東京外国語大学博士論文, 2009.

[7] Heeringa Wilbert, INOUE Fumio. Exploring the japanese dialect dialectometorically - division and continuity -. Studies in Geolinguistics, No. 3, pp. 1-44, 2023.

[8] 近藤泰弘. 単語音素のベクトル化による言語地図作成. 言語処理学会第 29 回年次大会発表論文集, pp. 2381-2385, 2023.


# 地理的エンティティ情報が与えられた 文書ジオロケーションモデルの有効性検証

山本祐耶
筑波大学情報学群
s20120030s.tsukuba.ac.jp
}

乾孝司
筑波大学大学院 システム情報工学研究群
inui@cs.tsukuba.ac.jp
}

図 1 実世界上の実体を同定しモデルで利用 ランドへの言及であるのか、あるいは米国カリフォ ルニアに所在する Disneylandへの言及であるのかを 文書ジオロケーションモデルが把握できていること が望ましい。

文書ジオロケーションに外部知識を利用する研究 は既にあるものの $[4,5]$ 、実世界上の実体（エンティ ティ）を同定し、その情報の利用に注目した議論は なされていない。そこで本研究では、文書内に含ま れる言及からそれらのエンティティを同定し、同定 されたエンティティの情報を文書ジオロケーション に利用することに注目する（図 1)。具体的には、エ ンティティ情報を文書ジオロケーションモデルに取 り込むにあたり、エンティティ情報のうちどのよう な情報を、どのように埋め込み表現に変換し、どの ようにモデルに取り込むかについて議論する。
## 2 構成要素

本稿の主要な内容に入る前に、本研究の構成要素について説明する。

地理的エンティティ：文書ジオロケーションでは地名やランドマークなどの地理的位置に関する地理的エンティティが特に重要であると考えられる。そこで、本研究では地理的エンティティに対象を絞って検討する。具体的には、東北大学で公開されている日本語 Wikipedia エンティティベクトル1）に収録されているエンティティのうち、森羅プロジェク $r^{2)}$ の拡張固有表現ラベル ${ }^{3)}$ で組織名、地名、施設

図 2 エンティティ情報の取り込み例

名、イベント名に割り当てられるエンティティを地理的エンティティとして用いた。

文書ジオロケーション：入力文書に対して 47 クラスの都道府県を出力する都道府県レベルの文書ジオロケーション課題を扱う。さきほどの例『ディズニーランドに到着！』の場合、千葉県が期待される出力クラスとなる。また、文書ジオロケーションのモデルには BERT に基づく文書分類モデル [6] として、Huggingface ${ }^{4)}$ で公開されている BertForSequenceClassification を基本モデルとして採用した。本モデルの詳細設定を付録 A. 1 節に示す。

エンティティ・リンキング：文書内のある言及 (メンション）と実世界のエンティティを結びつける課題はエンティティ・リンキング課題と呼ばれ、特にエンティティとして Wikipedia ページを仮定した Wikification[7] に関する研究活動が盛んである。本研究でもWikificationを前提にして、Wikipedia ペー ジの情報をエンティティ情報として文書ジオロケー ションモデルに取り込む。使用した Wikipedia デー タ 5）は 2023 年 8 月に取得したダンプデータである。

## 3 エンティティ情報の取り込み

文書ジオロケーションモデルにエンティティ情報を取り込む例を図 2 に示す。この図は、Wikification によって言及「ディズニーランド」から東京ディズニーランドのエンティティ情報が得られた場合の取り込み例である。本研究では、言及に対するエンティティが与えられた時、エンティティ情報から埋め込み表現を獲得する手法（図 2 の黒矢印に相当）として、以下の 4 種類を検討する。図 3 に埋め込み表現獲得手法の違いの概略をまとめる。この内、EntityVec と MentionVec は既存研究で採用されている方法である。一方、ConvertedEntityVec と

4) https://huggingface.co/

5) https://dumps.wikimedia.org/other/cirrussearch/

図 3 埋め込み表現獲得手法の違い

ConvertedBERTVec は、文書ジオロケーション課題向けに本研究で提案する新規な方法である。
- EntityVec[8]：エンティティ（Wikipedia ページ） の見出し語から埋め込み表現を獲得する。実装としては、日本語 Wikipedia エンティティベクトルを用いる。これは、Wikipedia のリンク情報を考慮した word2vec[9] によって埋め込み表現を学習したものである。
- ConvertedEntityVec：予備調査から、都道府県名を含む文書であれば、エンティティ情報を取り込むことなく良好な分類性能を達成できることを確認した。そこで、EntityVecのようにエンティティの見出し語を使うのではなく、エンティティの所在都道府県のエンティティ情報（都道府県エンティティ）を利用する。元エンティティを都道府県エンティティに変換したあとの処理は EntityVec と同様である。元エンティティの所在都道府県は、Okajima ら [10] を参考に、元エンティティである Wikipedia ペー ジの本文に初めて登場する都道府県とした。
- ConvertedBERTVec: ConvertedEntityVec と同様にエンティティの所在都道府県情報を利用する。 ただし、ConvertedEntityVec のように埋め込み表現の獲得に EntityVec を用いるのではなく、 BERT の元入力テキストへ所在都道府県名を插入する。この操作によって、插入された都道府県名は元テキストとあわせて BERT の学習過程を通して埋め込み表現に変換される。

・MentionVec[11]：エンティティ情報を利用することの有効性を検証するための比較手法として、同定されたエンティティの情報ではなく、 エンティティ候補群の情報から埋め込み表現を獲得する。具体的には、エンティティ候補ごとに EntityVec で埋め込み表現を獲得し、その平均ベクトルを用いる。

つぎに、上記のいずれかの方法で獲得された埋め込み表現の取り込み位置（図 2 の黄矢印に相当）と

して、以下の 2 種類を検討する。
- concat：トークン列の末尾に特殊トークン [START] を加え、その後ろにエンティティ情報を取り込む。これは中本ら [12]を参考にした方法である。もし、エンティティ情報が複数ある場合は言及の出現順に並べて取り込む。
- infuse：トークン列に対して、言及の直前に特殊トークン [MENTION] を挿入、かつ言及の直後に [START] と [END] で挟む形でエンティティ情報を取り込む。これは Faldu ら [13] を参考にした方法である。図 2 は EntityVec を infuse で取り込む例である。

## 4 評価実験

## 4.1 実験設定

第 2 節で述べた BERTに基づく文書分類モデルに対して、前節の方法でエンティティ情報を取り込んだモデルをそれぞれ構築し、それらの性能を比較する。事前学習およびファインチューニングの詳細設定は付録 A. 2 節に示す。

文書ジオロケーション用の文書データには、観光ドメイン日本語 Twitter 投稿文書データ [14]を用いた。このデータセットは、2014 年から 2015 年にかけて 47 都道府県から投稿された日本語ツイートを基に構成されている。すべての投稿に付与されたジオタグを逆ジオコーディングすることで得られた投稿位置の都道府県情報を正解ラベルとして用いた。データセット中の文書数は、学習データが 197,741 件、検証データが 4,000 件、そして評価デー タが 7,000である。

エンティティ情報の取得対象メンションは文書を GiNZA ${ }^{6)}$ で解析した際、場所を表す固有表現クラス7)と認識されたフレーズとした。次に、あるメンション $m$ に対して、陰山ら [11] に倣い、Wikipedia

6) https://megagonlabs.github.io/ginza/

7）すなわち、Airport,Amusement Park Archaeological Place Other Bay,Bridge,Canal,Car Stop,City,Company,Continental Region Corporation Other,Country,County,Domestic Region Earthquake,Facility Other,Facility Part,Game,Geological Region Other GOE Other,Government,GPE Other,International Organization Island,Lake,Location Other,Mountain,Museum,Occasion Other Organization Other,Park,Port,Postal Address,Pro Sports Organization Province,Public Institution,Railroad,Religious Festival,Research Institute,River,Road,School,Sea,Show Organization,Spa,Sports Facility,Sports League,Sports Organization Other Station,Theater,Tumulus,Tunnel,War,Water Route,Worship Place,Zoo.表 1 実験結果

ページ内でメンション $m$ がアンカー文字列としてリンクしているエンティティ $e_{i}$ の集合 $E(m)$ を $m$ のエンティティ候補とした。ただし、以下の条件を満たすものは、ノイズとなる可能性が高いため、候補から削除した。
1. $e_{i}$ の見出し語と $m$ の間に文字列的な包含関係がない。

ンク回数が $1 \%$ 未満である。

結果として、エンティティ候補数が 0 になる場合がある。この場合は、続くエンティティ同定の処理はおこなわない。また、後述の評価実験でメンション数を数える際、エンティティ候補数が 0 になるメンションは数えないことにした。

エンティティ情報の有効性を検証するためには、可能な限り正確な情報を利用することが望ましい。 そこで、一部のメンションに対しては、人手で正確にエンティティを同定した。ただし、作業負荷の観点から全てのメンションへの人手作業は困難であるため、評価データに対しては人手で同定し、学習データに対しては自動的に同定することにした。人手同定では、候補生成時に得たリンク回数で並べられた候補の中からエンティティをひとつ選択する作業をおこなった。この際、必要に応じて該当する Wikipedia ページが参照できる作業環境を用意した。自動同定では、候補生成時に得たリンク回数が最も多いエンティティ候補を自動的に選択した。

評価尺度には以下の分類正解率を用いた。

$
\text { 分類正解率 }=\frac{\text { 正しく分類できた文書数 }}{\text { 入力文書数 }}
$

## 4.2 実験結果

実験結果を表 1 に示す8)。MentionVec とそれ以外の手法との間で符号検定を実施し、有意水準 $5 \%$ で有意差があった結果に「+」、有意水準 $1 \%$ で有意差があった結果に「++」を付けている。

8）参考情報として、エンティティ情報を取り込まない純粋な BERT 文書分類モデルによる分類正解率は、 74.33 であった。
表 2 文書内に含まれている言及数ごとの結果 (concat)

表 3 文書内に含まれている言及数ごとの結果 (infuse)

表 1 から、concat と infuse のどちらにおいても、 MentionVec に比べてそれ以外の手法では性能が向上しており、文書ジオロケーションモデルに地理的エンティティ情報を与えることが有効であることが確認できる。埋め込み表現の獲得手法間で比較すると、都道府県名への変換をおこなう ConvertedEntityVec および ConvertedBERTVec が EntityVec よりも分類正解率が高い。また、都道府県変換をおこなう両者の比較では、BERTを通して埋め込み表現を獲得する ConvertedBERTVec が良い結果となっていた。今回の設定では、BERTへ外部知識を取り込む際、BERT とは独立に獲得された埋め込み表現を利用するよりも外部知識を表層的に入力文書内に取り込んだ方が効果が高いことが示唆される。なお、取り込み位置に関しては、concat と infuse で明確な違いは見られなかった。

次に、文書内に含まれている言及数ごとの結果を表 2 および表 3 に示す。これらの表から、まず、言及数が 0 の場合は性能が著しく低くなることが確認できる。このことからも、言及情報が文書ジオロケーションにおいて有力な手がかりになっていることがわかる。文書内に言及が含まれている場合は言及数が増えるにつれて分類正解率が向上する傾向が伺える。ただし、言及数が 4 以上になると、分類正解率は下降している。言及数がある程度多い文書では、複数地点間を移動する内容であったり、あるいは複数地点間の比較に関する内容であったりと、内容が複雑化することが多く、このような原因から分類正解率が下降していると考えられる。

ConvertedBERTVec と concat によってエンティ
ティ情報を取り込んだモデルでの分類結果の例を以下に示す。事例（c1）は、エンティティ情報を利用することで正解に変化した事例である。この例では、「成田」からエンティティ「成田国際空港」の情報を経由してその所在地である「千葉県」の情報が与えられたことで正しく分類できるようになっていた。一方、事例（w1）は、EntityVecでは正解できていたが、都道府県名への変換処理を挟むことで誤りに変化した例である。蔵王連峰は山形県と宮城県の県境に所在するが、ConvertertedBERTVec では宮城県として埋め込み表現を獲得したことで、誤りに繋がっていた。この例のように、都道府県名への変換が悪い影響を及ぼす事例の存在も確認できた。

-(c1)【正解: 千葉県/出力: 千葉県】飛行機乗れなくて成田成田国際空港 (千葉県) で酔っ払うなう Sapporo $\Rightarrow$ Tokyo $_{\text {東京都 }}$ (東京都)

-(w1)【正解：山形県/出力：宮城県】雪だロロ蔵王藏王連峰 (宮城県) \#寒いわけだ...

## 5 おわりに

文書ジオロケーションモデルへの地理的エンティティ情報の取り达みについて述べた。評価実験の結果から、地理的エンティティの有効性を示した。特に、エンティティの所在情報に注目して獲得した埋め込み表現が有効に機能することがわかった。今後の課題としては、Wikipedia 等のエンティティ情報を拡充することや、LUKE [15] の枠組みによるエンティティ情報の埋め込み表現学習の検討等がある。

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{~K} 12137$ の助成を受けたものです。

## 参考文献

[1] Han Bo, Cook Paul, and Baldwin Timothy. Geolocation prediction in social media data by finding location indicative words. In Proceedings of COLING 2012, pp. 10451062, 2012.

[2] Jey Han Lau, Lianhua Chi, Khoi-Nguyen Tran, and Trevor Cohn. End-to-end network for twitter geolocation prediction and hashing. In Proceedings of the Eighth International Joint Conference on Natural Language Processing, pp. 744-753, 2017.

[3] Binxuan Huang and Kathleen Carley. A hierarchical location prediction neural network for twitter user geolocation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4732-4742, 2019.

[4] Taro Miyazaki, Afshin Rahimi, Trevor Cohn, and Timothy Baldwin. Twitter geolocation using knowledge-based methods. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pp. 7-16, 2018.

[5] 平川冬尉, 乾孝司. 地理的知識グラフを取り込んだニューラル文書ジオロケーションモデル. 情報処理学会論文誌, Vol. 63, No. 12, pp. 1870-1883, dec 2022.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[7] Rada Mihalcea and Andras Csoma. Wikify! linking documents to encyclopedic knowledge. In Proceedings of the sixteenth ACM conference on Conference on Information and Knowledge Management, pp. 233-242, 2007.

[8] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会, pp. 797-800, 2016.

[9] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Proceedings of the 1st International Conference on Learning Representations, 2013.

[10] Seiji Okajima and Tomoya Iwakura. Japanese place name disambiguation based on automatically generated training data. In Proceedings of the 19th International Conference on Computational Linguistics and Intelligent Text Processing, 2018.

[11] 陰山宗一, 乾孝司. 言及に対する地理的特定性指標の提案と文書ジオロケーションへの適用. 情報処理学会自然言語処理研究会 (NL-253-19), 2022.

[12] 中本裕大, 瀬在恭介, 元川凱喜, 麻生英樹, 岡崎直観.日本語大規模言語モデルにおける知識グラフを活用した意味理解性能の向上. 言語処理学会第 29 回年次大会, pp. 2140-2145, 2023.

[13] Keyur Faldu, Amit Sheth, Prashant Kikani, and Hemang Akbari. Ki-bert: Infusing knowledge context for better language and domain understanding, 2021.

[14] 平川冬尉, 乾孝司. 日本語地理的位置推定課題におけるインジケータ付 deepgeo 法の提案と評価.人工知能学会全国大会論文集, Vol. JSAI2020, pp. 3Rin473-3Rin473, 2020.

[15] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. Luke: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 64426454, 2020.

[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In Proceedings of International Conference on Learning Representations, 2017.

[17] Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How to fine-tune bert for text classification? In Proceedings of Chinese Computational Linguistics, pp. 194-206, 2019.

[18] 笹沢裕一, 岡崎直観. 属性情報を追加した事前学習済みモデルのファインチューニング. 言語処理学会第 27 回年次大会, pp. 765-770, 2021.

## A 付録

## A. 1 ベースとなる BERT 文書分類モデル の詳細

第 2 節で述べた本研究のベースとなる BERT 文書分類モデルの詳細設定について述べる。事前学習済み BERT モデルとして、東北大学が公開している bert-base-japanese-v3（2023 年 5 月公開 $)^{9 ）}$ を使用した。文書ジオロケーションのためのファインチュー ニングには、4節で述べた学習データを用いた。最適化手法には AdamW [16] を使用し、損失関数として Cross Entropy Lossを使用した。その他のハイパー パラメータの設定を表 4 に示す。BERT の Encoder Layer は、分類に用いる最終 4 層のみ学習対象としており、Sun ら [17]を参考に複数の学習率を使用している。Twitter 投稿文書はメタ情報を持っているため、大力文書として、投稿テキストを 1 文目、投稿者プロフィールの居住地情報を 2 文目として BERT への入力とした。

## A. 2 エンティティ情報を取り込んだモデ ルの詳細

エンティティ情報を取り込んだ文書ジオロケー ションモデルの詳細設定について述べる。基本的な設定は上述のベースモデルと共通であるが、エンティティ情報を取り込むため、中本ら [12]にならい全結合層を知識埋め込み層としてべースモデルに追加したネットワーク構成としている。エンティティ情報の埋め込み表現に加える Position表 5 エンティティ情報を取り込んだモデルの設定

Embeddings と Token Type Embeddings は事前学習済みの Word Embeddings と同じものを用いる。その他のハイパーパラメータのうち、ベースモデルと值が異なるものを表 5 に示す。ここで、エンティティ情報を取り込んだ文書ジオロケーションモデルではモデルを知識埋め込みに適応させるため、BERT の最終 4 層の Encoder Layer 以外の層も学習対象とした。 BERT 学習の学習率は、笹沢ら [18] を参考にし、埋め込み表現獲得手法ごとに変更した。各手法の学習率を表 6 に示す。知識埋め込み層や分類器の学習率と比べて小さな值である 1e-5 から 1e-6 までの間で精度が高かった値を採用している。

## A. 3 エンティティ情報の自動同定での実験結果

評価実験において、評価データに対しては人手で正確なエンティティを同定し、学習データに対しては自動的に同定した。参考情報として、評価データと学習データの双方に対してエンティティを自動同定した場合の実験結果を表 7 に示す。

表 7

9) https://huggingface.co/cl-tohoku/bert-base-japanese-v3


# 衛星画像の時系列変化説明に向けた LVLM の比較

辻本陵 ${ }^{1}$ 大内啓樹 $1,2,3$ 上垣外英剛 ${ }^{1}$ 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ 国立国語研究所
\{tsujimoto.ryo.tq0, hiroki.ouchi, kamigaito.h, taro\}@is.naist.jp

## 概要

衛星画像から時系列変化を説明することは，都市計画や環境モニタリングなどにおいて重要である. しかし，データセットの人手構築には高いコストがかかる.この課題に対処するため, 本研究では,衛星画像を用いた時系列変化の説明生成に焦点を当て, Large-scale Vision-Language Models (LVLMs) によって生成された時系列変化説明を比較する. 実験では, 複数のモデルと Prompting を検証し, 生成された説明における正解センテンス中の単語網羅率,説明の忠実性と情報性などを評価した. その結果,網羅性においては LLaVA-1.5, 忠実性と情報性においては GPT-4-vision-preview に衛星画像を直接入力する手法が最も有効であることを確認した。

## 1 はじめに

衛星データは，空間分解能と波長分解能の両面で飛躍的な進歩を遂げ，利用者が入手することのできる衛星データの種類も多くなった. 中でも，撮影時期の異なる 2 枚の衛星画像 (以下，二時期衛星画像）を用いた変化検出は，災害による被害状況の分析 [1]に用いられるなど，実応用上も重要な役割を果たしている.

二時期衛星画像からの変化検出として，従来はエッジ情報に基づいたハイライト [2] や，マルチスペクタルデータに基づいた面積変化量の検出 [3] などが検討されてきた. しかし，このような変化の検出だけではなく, その変化を言語化し, 一般利用者にも直感的に理解可能な形式にすることが望ましい. 二時期衛星画像の時系列的変化説明の例を図 1 に示す.ここでは, 荒れ果てた並木道が住宅地に変わっていることが説明されている。

このような時系列変化説明生成に向けた既存デー タセットとして, Chenyang ら [4] の Levir-CC ${ }^{1)}$ が存在する.しかし, その説明は変化箇所を端的に描写

1) https://github.com/Chen-Yang-Liu/RSICC

The desolate tree-lined street has been transformed into a bustling residential neighborhood with houses and parked cars.

図 1 衛星画像の時系列変化説明の例. 左の衛星画像は変化前，右の衛星画像は変化後を示す.

した文となっている．時系列変化説明として，変化箇所の描画だけでは不十分であり，変化の内容や程度における重要度を言語化することが望ましい。たとえば，図 1 では，並木道から住宅地へのインフラ面での変化は，周辺の木々の増減といった自然環境の変化よりも重要度が高いと考えられる. そのため，変化の説明としてもこの点を強調した形で書かれることが望ましい。一方で，詳細な時系列変化説明を含むデータセットを新たに人手で構築するには，コストや所要時間という点で限界がある.

そこで，本研究では二時期衛星画像の時系列変化説明データセットを効率的に構築することを最終的な目標として，Large-scale Vision-Language Models (LVLMs) によって生成した時系列変化説明の精度比較を行う．評価実験の結果，正解センテンス中の名詞網羅率においては，LLaVA-1.5 [5] に二時期衛星画像を同時入力する手法が最も優れており,説明が事実に基づいているかという点，画像の詳細な情報が含まれているかという点において， GPT-4-vision-preview [6] に二時期衛星画像を同時入力する手法が最も優れていることを確認した。

## 2 関連研究

Simone ら [7] は，複数の画像キャプション生成モデルから出力されたキャプションを融合すること

## All at Once

Concatenate Images

Generate Change Description

The image shows a change in the area from
Step by Step

Generate Description Generate Description

Generate Change Description

The image shows a change in the area from ...

図 22 種類の Prompting による二時期衛生画像からの時系列変化説明生成

で，より詳細なキャプションを生成する手法を提案している。この手法では，5つの異なるモデルによって画像キャプションを生成し，画像テキストマッチングによりキャプションをランキングした後，上位 2 つのキャプションを GPT-3 によって融合することで，より詳細なキャプションを生成する。

Zilun ら [8] は，LVLMs に衛星画像を説明させるための RSICap データセットと評価ベンチマークを提案している。

以上のように従来研究でも，画像キャプション生成タスクにおいては Large Language Model (LLM) は利用され, 衛星画像の認識においても LVLMs は利用されてきた. 本研究では, 二時期衛星画像の時系列変化説明生成タスクにおける, LVLMs の有効性を比較する。

## 3 方法

図 2 に示すように，本手法では 2 種類の Prompting による時系列変化説明生成を提案する。具体的なプロンプト例は付録表 3,4 を参照のこと。

## 3.1 All at Once Prompting

LVLMs の中には，複数枚の画像入力に対応していないものも存在する.このアプローチでは，画像ペアを左右に連結して 1 枚の画像として LVLMに入力する。なお指示文には以下の要素を含める.

・画像は 2 枚の衛星画像を左右に連結したものであること

・二時期衛星画像であること

・時系列的変化について説明する旨

## 3.2 Step by Step Prompting

LVLM は，個別の衛星画像に対するキャプショニング能力は高い [8].このアプローチでは，まず LVLM を用いて，時系列変化の前後にある各衛星画像に対するキャプションを生成する。 そして，これらのキャプションを LLM に入力することで時系列変化を説明させる。なお，各衛星画像に関するキャプション生成の際には，より詳細な説明を期待して，以下の Spatial Concepts[9] を含むようにキャプションに制約を与える.
- 場所

・空間エンティティ

・パス

・位相関係
- 方向関係

・オブジェクトの特性

・参照フレーム

・モーション
表 1 人手評価基準

 \\
& 5 &

5 In the image on the left, there is a stretch of land with healthy green vegetation on either side of a well-defined white road, and some brownish patches indicate areas where the vegetation is sparse or dead. By contrast, in the image on the right, the overall color of the terrain is duller.

情報性

## 4 評価実験

各手法を比較するため，様々な評価方法を用いて検証を行った。

## 4.1 実験設定

モデル All at Once Prompting では，二時期衛星画像を入力する LVLM として, LLaVA-1.5 および GPT4-vision-preview を利用した. Step by Step Prompting では，LLaVA-1.5 で各衛星画像に関するキャプションを生成し, 各キャプションを入力する LLM として LLaVA-1.5, GPT-3.5-turbo および GPT-4-turbo を利用した。

データセット画像ペアと対応した時系列変化に関する 5 つの説明文を含む Levir-CC を用いた. Levir-CC は6815/1333/1929の訓練/検証/テスト用データを含み，半数は変化がないぺアである。本実験では，テスト用データから抽出した 100 ペアの二時期衛星画像を用いて，各手法で生成された時系列変化説明を比較した。

出力の制約文長を制限するために，1 節で説明がなされるように指示文に制約を与えた.

## 4.2 評価方法

自動評価生成された説明に対して，Levir-CC における変化説明文中の名詞の網羅率を測る.
Levir-CC に含まれる正解センテンスから $\mathrm{spaCy}$ ライブラリで名詞を抽出し，生成文に含まれる割合を網羅率とした。

人手評価生成されたキャプションに対して，忠実性と情報性を測る．表 1 は各評価軸の実例である. 忠実性は説明に嘘が含まれていないかを評価し, 忠実性 1 の例では「芝生から舗装路への変化」 という誤りを含んでいる. 情報性は画像の詳細な情報（特徴）が記述されているかを評価し，情報性 5 の例では，「未舗装の道路から舗装路への変化」や 「木々が家に置き換えられた」など，オブジェクトの位置や関係性についての記述を含む. 本実験では，英語話者のアノテーター 1 名に各評価軸について 1 から 5 までの 5 段階で回答してもらった.

## 4.3 実験結果

表 2 は，各手法による衛星画像の時系列変化説明に対する評価結果を示している。網羅率に関しては，Step by Step Prompting を利用した LLaVA-1.5 が最も優れていた. 忠実性と情報性に関しては, All at Once Prompting を利用した GPT-4-vision-preview が最も優れていた。

## 4.4 考察

低スコアの要因分析 GPT-4-vision-preview に Step by Step Prompting を適用して生成した時系列変化説
表 2 評価実験の結果

In comparing the left and right images of the same area, one can observe that a number of changes have taken place over time. In the right image, which represents the area after the changes, additional roads have been constructed, the landscape appears more developed with more houses built throughout the area, trees have been removed, and there is an overall increase in the infrastructure and human habitation, suggesting residential or suburban development.

図 3 忠実性 1 の出力例

明のうち，忠実性と情報性がそれぞれ 1 と評価されたものを図 3,4 に示す. 忠実性 1 のケースでは存在しない変化に関する記載があり，情報性 1 のケースでは変化の具体的な内容に関する記載がない。また，低スコア出力事例は，その多くがほぼ変化のない二時期衛生画像であった.このため，忠実性や情報性が低い説明を生成する要因としては，目立った時系列変化がない場合にも変化を説明しようとしていることが考えられる。よって，今後は変化がない場合の例外処理を指示文に含める必要がある.

Prompting の比較 LLaVA-1.5 では, All at Once Prompting と Step by Step Prompting の両方で説明生成を行い, 全ての評価軸において Step by Step Prompting のほうが優れていることが判明した. このことから， Step by Step Prompting の有効性が示された. また，自身の推論情報を用いて最終的な時系列変化説明を生成するという点で，視覚タスクにおいても Chain of Thought Prompting [10] が有効であることが確認できたと考える.

単語数のスコアへの影響 LLaVA-1.5 に Step by Step Prompting を適用して生成された説明の平均単語数は 132.92 [tokens] である。一方で，GPT-4-turbo

In the left image of the area before the change, the land appears largely undeveloped with clear lots and minimal construction activity, whereas the right image shows significant development with completed houses, additional roads, and swimming pools, indicating a transition from an undeveloped to a developed residential neighborhood.

図 4 情報性 1 の出力例

に Step by Step Prompting を適用して生成された説明の平均単語数は 29.99 [tokens] であり，前者の 4 分の 1 程度であった。また, Step by Step Prompting を適用した GPT-3.5-turbo および GPT-4-turbo は，忠実性は他の手法と同等でありながらも，網羅性および情報性においてスコアが極端に低下している．従来の画像キャプションタスクでは，被写体の簡潔な説明が求められるが，今回の時系列変化説明タスクにおいては，より詳細な出力が求められる。このため, 網羅率，情報性には出力の単語数が大きく影響をしていると考えられる。

## 5 おわりに

本研究では，LVLMを用いて，二時期衛星画像の時系列変化に関する説明を生成した。また，評価実験により，網羅性においては LLaVA-1.5，忠実性と情報性においては GPT-4-vision-preview の有効性を確認した。分析により, GPT だと出力単語数が他のモデルと比べて顕著に少ない傾向にあり，これが網羅性を損なう原因になっていることが明らかになった. 今後の展開としては，指示文の調整がある。また，地理情報システムを利用した，より情報性の高い時系列変化説明生成の手法などが考えられる。

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けたものです.

## 参考文献

[1] 宇宙航空研究開発機構 (JAXA). 東日本大震災後の人工衛星の防災活用について, 2021. https://earth.jaxa.jp/ja/earthview/2021/ 03/12/1720/index.html.

[2] 笹川啓, 田代ゆかり, 石塚麻奈, 柴田光博. 二時期の空中写真と衛星画像による自動変化抽出手法の開発.国土地理院時報, Vol. 134, No. 4, pp. 33-42, 2021.

[3] 橋本直之, 齋藤裕樹, 山本修平, 牧雅康, 本間香貴. 農家水稲圃場における uav によるマルチスペクトル空撮画像を用いた追肥に伴う葉面積変化の検出. 日本作物学会紀事, Vol. 90, No. 2, pp. 211-221, 2021.

[4] Chenyang Liu, Rui Zhao, Hao Chen, Zhengxia Zou, and Zhenwei Shi. Remote sensing image change captioning with dual-branch transformers: A new method and a large scale dataset. IEEE Transactions on Geoscience and Remote Sensing, Vol. 60, pp. 1-20, 2022.

[5] Haotian Liu, Chunyuan Li, Yuheng Li, and Yong Jae Lee. Improved baselines with visual instruction tuning, 2023.

[6] OpenAI. Gpt-4 technical report, 2023.

[7] Simone Bianco, Luigi Celona, Marco Donzella, and Paolo Napoletano. Improving image captioning descriptiveness by ranking and llm-based fusion, 2023.

[8] Yuan Hu, Jianlong Yuan, Congcong Wen, Xiaonan Lu, and Xiang Li. Rsgpt: A remote sensing vision language model and benchmark, 2023.

[9] James Pustejovsky, Parisa Kordjamshidi, Marie-Francine Moens, Aaron Levine, Seth Dworman, and Zachary Yocum. SemEval-2015 task 8: SpaceEval. In Preslav Nakov, Torsten Zesch, Daniel Cer, and David Jurgens, editors, Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), pp. 884-894, Denver, Colorado, June 2015. Association for Computational Linguistics.

[10] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models, 2022.

## A プロンプト例

表 3 All at Once Prompting
This image is a concatenation of two satellite images placed side by side.
入力文
- Both images show the same area.
- The left image shows the area before the change over time, while the right image shows it after.
Please describe where and what kind of changes in a clause, don't use bullet-points.

表 4 Step by Step Prompting

Please provide a detailed description of the image.
The description should includes the following spatial concepts
- Places: toponyms, geographic and geopolitical regions, locations.
- Spatial Entities: entities participating in spatial relations.
LVLMへの入力文 $\quad$ - Paths: routes, lines, turns, arcs.
- Topological relations: in, connected, disconnected.
- Orientational relations: North, left, down, behind.
- Object properties: intrinsic orientation, dimensionality.
- Frames of reference: absolute, intrinsic, relative.
- Motion: tracking objects through space over time.
description of the area before the change: DESCRIPTION
description of the area after the change: DESCRIPTION
Please describe where and what kind of changes occurred in the area, in a clauce.


# TexT2TraJ2TExt: 大規模言語モデルを活用した 段階的データ生成に基づく人物移動軌跡の言語化

浅野 輝 $1,2,3$ 米谷竜 $^{3}$ 関井 大気 ${ }^{3}$ 大内 啓樹 $4,2,5$
1 東京大学大学院 2 理研 AIP
3 サイバーエージェント 4 奈良先端科学技術大学院大学 5 国立国語研究所
asano-hikaru19@g.ecc.u-tokyo.ac.jp \{yonetani_ryo, sekii_taiki\}@cyberagent.co.jp
hiroki.ouchi@is.naist.jp

## 概要

本論文では，実世界における人物の移動の背後にある目的や意図を理解し，その説明文を生成する言語モデルを学習するフレームワーク Text2Traj2Text を提案する. 計測・アノテーションコストの高い説明文付き移動データの大規模収集を回避するため, 提案フレームワークでは既存の学習済み大規模言語モデルを活用し，演繹的・段階的に人物の多様な行動パターンと説明文を生成する。 また，生成した説明文をパラフレーズすることでデータを大規模化する. このように構築された学習データを用いて新たに言語モデルをファインチュー ニングすることで，移動軌跡の説明文生成モデルを獲得する. スーパーマーケットでの買い物を題材に評価実験をおこない，ROUGE，BERT Score などの指標を用いて提案モデルの有効性を確認した。

## 1 はじめに

日常生活のさまざまな場面における人物の「移動」の背後には，しばしば何らかの目的や意図といった行動の動機となる文脈 (以降，単に「文脈」) がある．たとえばスーパーマーケットにおいて，それぞれの来店客は「夕飯の買い出しをしたい」といった目的や「できるだけ安いものを選びたい」という意図に基づいて，いくつかの売り場を訪れ，商品を見比べ，購入に至る. 店内におけるこのような移動を計測し，背後の文脈を言語化できれば，パー ソナライズされた情報推薦や店内広告の効果測定といった小売サービスへの活用が期待できる [1]. より広い観点で，移動をともなう行動の文脈を理解する技術は，美術館やテーマパークでのナビゲーション [2] や移動に困難を抱えるユーザへの支援 [3] な
ど，幅広い応用につながる。

人物活動を対象とした言語化は，自然言語処理 $\cdot$ コンピュータビジョンの融合領域において活発に取り組まれている。とりわけ近年の研究では，ウェブ上で収集された大量の画像・テキストペアをもとに大規模言語モデル (Large Language Model， LLM) を学習するアプローチが主流である [4]. 一方で， ウェブ上から得られない実世界のシーンを対象として人物活動を言語化する場合，計測環境のセットアップに費やす人的コスト，プライバシやセキュリティ侵害のリスクに関する懸念から，モデルの学習に必要なデータを計測・アノテーションする段階からそもそも実施困難となる。

このような課題に対して，ユビキタスコンピュー ティング領域では WiFi や BLE の信号を用いた電波ベースの移動計測技術が研究されている [5]. 同技術は，計測対象の人物がスマートフォンなどの端末で電波を受信できる状況で初めて機能するため，先述したプライバシ・セキュリティの課題に対してデータ収集に関するオプトインの仕組みが導入しやすいというメリットがある．ただし，その結果得られるのは環境における対象の移動情報のみであり，監視カメラのようなセンサを利用するアプローチと比較して情報量が限定的である。加えて，移動情報の収集が容易になったとしても，その移動の文脈を説明するテキストアノテーションコストの高さは依然として課題である.

以上の問題意識のもと，我々は人物の移動軌跡を入力とし，その背後にある文脈を説明文として言語化するタスク（移動軌跡の言語化）に取り組む. そのための学習フレームワークとして，本研究では Text2Traj2Text を提案する。本フレームワークでは，大量に移動データを収集し，その文脈を説明
文として直接アノテーションするのではなく，既存の学習済み LLM を活用した段階的なデータ生成によって演繹的に大規模なデータセットを構築できる. 具体的には，はじめに学習済み LLM を活用することで半自動的に説明文を得る. 次に，それらの説明文に即した移動軌跡を機械的に生成しつつ，学習済み LLM を用いて説明文をパラフレーズすることで，移動軌跡と説明文のペアを大量に生成する (Text2Tras). 最後に，生成された大規模データを用いて言語モデルを新たにファインチューニングすることで，移動軌跡を直接言語化する説明文生成モデルを獲得する（TRAJ2TEXT）。

Text2Traj2Text の性能を検証するため，スーパー マーケットでの買い物を題材に説明文付きの移動データを生成し，そこから学習された説明文生成モデルと既存の学習済み LLM の性能を比較評価した。実験の結果，ROUGE，BERT Score の指標において提案フレームワークの有効性が確認された。

## 2 準備

スーパーマーケットや美術館といった特定の目的が想定された環境において，人物が移動をともなう活動（たとえば買い物）を行う状況を考える. 本研究では，環境の持つ意味的情報と人物の移動軌跡をもとに，その移動の背後にある文脈を言語化した説明文を生成する．本節では，同タスクに関連する基本的な用語の定義と前提条件について述べる.

人物が移動する環境は，その中に存在するアイテ么の集合 $C=\left.\{c_{1}, \ldots, c_{N}\right.\}$ （たとえばスーパーマー ケットに陳列された商品やそのカテゴリ，あるいは美術館に展示された作品）によって意味づけられる. 一方で人物の移動軌跡を，近傍に存在したアイテムの系列 $P=\left(p_{1}, \ldots, p_{T}\right), p_{t} \in C$ として間接的に表現する ${ }^{1)}$. 加えて， $P$ に含まれるアイテムの集合のうち，同人物が実際に接触・選択したアイテムの集合（接触アイテム集合） $C^{\prime} \subset P$ は $P$ と区別して既知であると仮定する. 実用上は，任意の測位技術によって計測された人物の位置情報と環境の地図情報を照合することによって，アイテム系列 $P$ を機械的に取得できる．また，動き情報に基づく行動認

識 $[6,7]$ あるいは人物の購買履歴などのメタデータを活用することで，接触アイテム $C^{\prime}$ の推定も可能である.

移動軌跡の説明文として，たとえば「商品の品質を重視し，色々な商品を見比べて，より良い商品を購入しようとしている。一度の購入量は少なく, 頻繁にお店を訪れている.」のように，移動の背後にある移動者の属性や意図，動機といった文脈を含む簡潔なパラグラフを考える．計算のうえでは，説明文は既存のトークナイザーで変換されたトークン列 $S=\left(s_{1}, \ldots, s_{K}\right)$ として表現される.

以上の準備より，移動軌跡の言語化とは，移動軌跡 $P$ と接触アイテム集合 $C^{\prime}$ に基づいてその説明文 $S$ を生成するタスクとして定義される.

## 3 Text2Traj2Text

先述の言語化タスクは，説明文付きの移動デー タ，すなわち $\left(P, C^{\prime}, S\right)$ のタプルを多様な実環境において大量に収集することによって，言語モデルを直接教師あり学習することが可能である.しかしながら，実環境における $P, C^{\prime}$ の計測あるいは $S$ のアノテーションをおこなうには，いずれも高い人的コストを必要とするため，大規模なデータを得ることは容易ではない.

Text2Traj2Text は上記の問題を解決するためのフレームワークである。具体的には，事前学習済み LLM を活用した段階的なデータ生成 (TExt2TraJ) によって大規模な学習データセットを演繹的に構築する。そして同データセットを用いて新たに LLM をファインチューニングすることで，移動軌跡の説明文生成モデルを獲得する（TRas2TExt）。

## 3.1 LLM を活用した段階的データ生成

指示チューニング (Instruction Tuning [8]) された学習済み LLM に対して指示と事例を対話的に与えることで，段階的に説明文 $S$ とそれに対応する移動軌跡 $P$ および接触アイテム集合 $C^{\prime}$ を生成する.ここでは具体例として，学習済み LLM に GPT-4 [9] を， また，出力データを所定の形式に整形するために LangChain ${ }^{2}$ を利用しつつ，スーパーマーケットでの買い物を題材とした場合の指示を示す.

STEP 1: 移動軌跡の文脈に関する説明文 $S$ を生成するための指示

STEP 2: 説明文 $S$ と整合性のある抽象的な行動計画を生成するための指示

STEP 3: 移動軌跡 $P$ を構成するアイテム候補 $C$ と接触アイテム集合 $C^{\prime}$ の生成のための指示

- Generate the "show_interest" list by carefully considering both the
customer's intentions and their "purchase_consideration" score, which ranges
from 1 to 5 . If the purchase_consideration score is low, focus on a smaller "
show_interest" list. Conversely, if the score is high, the "show_interest"
list can be more extensive but should remain below \{num_purchase_items\} in
total.
Tips:
- Pay close attention to the item descriptions and customer intentions
provided.
\#\#\# Customers intention
\{intention\}
\#\#\# "purchase_consideration" (1-5)
\{purchase_consideration\}
\#\#\# Item description
\{item_description\}
\{format_instructions\}

さらに，STEP 3 で得られたアイテム候補 $C$ からランダムにアイテムをサンプリングすることによって，移動軌跡 $P$ を生成する.

## 3.2 説明文のパラフレージングによるデー 夕拡張

学習データのうち移動軌跡 $P$ は，先述のサンプリングによって比較的多様なパターンを生成できる. さらに提案フレームワークでは，別途 LLMを利用することで，STEP 1 で得られた説明文 $S$ をパラフレージングして多様化する. これにより, 移動軌跡とその説明文の組み合わせをパラフレーズ数分だけ拡張した，より大規模なデータセットを構築できる. ${ }^{3)}$

## 3.3 説明文生成モデルの学習

以上に述べた方法で生成されたデータセットを用いて，移動軌跡 $P$ および接触アイテム集合 $C^{\prime}$ を入力とし, 説明文 $S$ を生成する言語モデルを学習する.具体的には，一定のルールにしたがい $P, C^{\prime}$ を言語モデルに入力可能な文章に変換する. この入力文を，T5 [10] をはじめとする系列変換モデルの入力として用いて，説明文 $S$ を出力するタスクを学習する. ここでは単純に $P=\left(p_{1}, \ldots, p_{T}\right), C^{\prime}=\left.\{c_{1}, \ldots, c_{M}\right.\}$ "Trajectory is Stay at $p_{1}</ \mathrm{s}>\ldots</ \mathrm{s}>$ Stay at $p_{T}$. And customer purchases item list is [" $c_{1} ", \ldots$, " $c_{M}$ "]" という形式に変換した.

## 4 実験

Text2Traj2Text の有効性を検証するため，スー パーマーケットにおける買い物を想定した実験設定においてデータ生成・学習結果の性能評価をおこなった.

3）実装の工夫として，説明文およびアイテム候補の段階的生成には GPT-4 をはじめとした高機能・高コストの LLM が必要となる一方，パラフレージングには GPT-3.5 など性能が限定されたモデルが利用できる。両者を併用することで，より低コストに大規模データセットの構築が可能となる。

## 4.1 実験設定

3.1 節の方法に基づき，合計 100 ペアの説明文付き移動軌跡データを生成した。これを学習デー タに用い, 説明文生成モデルとして $\mathrm{T} 5$-small4) と T5-base5）[10]をそれぞれファインチューニングした. 学習にあたり, これら 100 ペアのサンプルを訓練・検証 (訓練中の性能評価)・テストの 3 種類に分割し評価に用いた。また，訓練・検証データに対してパラフレージングによるデータ拡張をおこなった. 実際には，元のサンプル数を基準として， 2 倍， 4 倍， 8 倍， 16 倍， 25 倍にパラフレーズの総量を増加させたサブセットを用意し，それぞれの性能を比較評価した. モデルパラメータの最適化には AdamW を用い，学習率を $5.6 e-5$ ，バッチサイズを 8, 総エポック数を 50 に設定した. 各エポック終了時に検証データで BERT Precision Score [11]を計算し，同スコアが最高となるエポック時点での性能を最終的なモデル性能として評価に採用した.

## 4.2 評価方法

比較対象のベースライン手法として GPT-3.5 ${ }^{6}$ [12] および GPT-4 [9] を選択した. GPT-3.5， GPT-4 では Maynez ら [13] に倣い訓練データからランダムに選択された数サンプルを例示として与えた上で，説明文を対話的に生成した. 評価指標は要約タスクにおける標準的な自動評価である ROUGE (R-1, R-2， R-L) [14] と BERT Score (BS-precision, recall, f1 score) [11]を採用した.

## 4.3 実験結果

表 1 にベースラインと提案手法の定量評価結果を示す. 提案手法によって学習されたモデルは，デー タ拡張におけるパラフレーズ数が増加するにつれてすべての評価指標で性能を改善することが確認された. 特に，25 パラフレーズによって拡張されたデータから学習された T5-base の性能は, GPT-4 において 4 サンプルを提示した場合と比較して， BERT Score recall に関してほぼ同等，それ以外のスコアに関しては上回る結果となっている. それぞれの手法によって生成された説明文の例については，付録表 2 を参照されたい。

4) https://huggingface.co/t5-small

5) https://huggingface.co/t5-base

6) https://chat.openai.com

表 1 移動軌跡の言語化タスクの定量評価

## 5 おわりに

人物の移動軌跡を入力とし，その背後にある文脈を説明文として言語化する言語モデルを効率的に学習するフレームワークとして TexT2TRAJ2TEXTを提案した。学習済み LLM を用いた演繹的かつ段階的なデータ生成およびパラフレージングに基づくデー タ拡張をおこなうことにより，同言語化タスクにおいて GPT-3.5 や GPT-4 と比肩する性能のモデルを学習できることを確認した. 今後は，生成された文章をエキスパートを通じて厳密に定量評価することにより，提案フレームワークの実用性を検証する。

## 参考文献

[1] Anindya Ghose, Beibei Li, and Siyuan Liu. Mobile targeting using customer trajectory patterns. Management Science, Vol. 65, No. 11, pp. 5027-5049, 2019.

[2] Alexandros Kontarinis, Claudia Marinica, Dan Vodislav, Karine Zeitouni, Anne Krebs, and Dimitris Kotzinos. Towards a better understanding of museum visitors' behavior through indoor trajectory analysis. In Proceedings of the International Conference on Digital Presentation and Preservation of Cultural and Scientific Heritage (DiPP), Vol. 7, pp. 19-30, 2017.

[3] Eshed Ohn-Bar, João Guerreiro, Kris Kitani, and Chieko Asakawa. Variability in reactions to instructional guidance during smartphone-based assisted navigation of blind users. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

(IMWUT), Vol. 2, No. 3, 2018.

[4] Muhammad Awais, Muzammal Naseer, Salman Khan, Rao Muhammad Anwer, Hisham Cholakkal, Mubarak Shah, Ming-Hsuan Yang, and Fahad Shahbaz Khan. Foundational models defining a new era in vision: A survey and outlook. ArXiv e-prints (arXiv:2307.13721), 2023.

[5] Faheem Zafari, Athanasios Gkelias, and Kin K Leung. A survey of indoor localization systems and technologies. IEEE Communications Surveys \& Tutorials, Vol. 21, No. 3, pp. 2568-2599, 2019.

[6] Yair Poleg, Chetan Arora, and Shmuel Peleg. Temporal segmentation of egocentric videos. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014.

[7] Yu-Chuan Su and Kristen Grauman. Detecting engagement in egocentric video. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 454-471. Springer, 2016.

[8] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[9] OpenAI. GPT-4 technical report. ArXiv e-prints (arXiv:2303.08774), 2023.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, 2020.

[11] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[12] OpenAI. ChatGPT General FAQ. https://help.openai.com/en/articles/ 6783457-chatgpt-general-faq, 2023. Accessed: March 3, 2023.

[13] Joshua Maynez, Priyanka Agrawal, and Sebastian Gehrmann. Benchmarking Large Language Model Capabilities for Conditional Generation. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9194-9213. Association for Computational Linguistics, 2023.

[14] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics, 2004.

 \\

表 2 付録：移動軌跡の言語化タスクの定性評価


# 否定表現を伴う文における自然言語理解の性能検証

内田巧 $1{ }^{1}$ 南條浩輝 $^{2}$
1 滋賀大学大学院データサイエンス研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ s6022105@st.shiga-u.ac.jp ${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp

## 概要

本稿では，対偶により否定表現を伴う含意関係認識の学習・評価データセットを作成し, 否定表現の自然言語理解タスクへの影響を調査した. 実験の結果，含意関係認識では，前提文に否定表現が伴うことで精度が悪化することを確認した. 悪化の原因として，否定表現に過剩に依存する shortcut learning が発生している可能性を示した. STS では，2 文共に否定表現が含まれるだけで，類似度を高めに予測してしまう傾向を確認した．以上より，言語モデルは否定表現による意味の変化を捉えることなく推論していることを示した。

## 1 はじめに

本稿では，自然言語理解タスク，特に含意関係認識と意味的類似度計算 (STS)への否定表現の影響を調査する．否定表現を伴う文を含むように生成された既存の含意関係認識用データセットとして JSICK [1][2] や JaNLI [3] などがあるが，ラベルに偏りがあり，ルールベースで解けることから，否定表現による文意の変化を問うデータセットになっていないという問題がある [4]. そこで，既存の含意関係認識用データセットから否定表現を伴うデー タセットを生成する手法として対偶を提案した [4]. しかし, 対偶で生成されたデータだけでは, 前提文と仮説文共に否定表現が伴う場合しか評価できない. STS の場合は，既存のデータセットにJSICKなどがあるが，否定表現により非含意関係となるデー タに対して，2 文の表層表現が類似していれば高い類似度（正解ラベル）が与えられている.したがって，否定表現による文の意味の変化をモデルが捉えているか評価するには適切でない。

そこで，含意関係認識では，否定表現の含意関係認識への影響を網羅的に調査するデータセットを生成して実験を行う．STS では，既存のSTS 用データセットに自動で否定表現を付与することで，否定表現の影響を調査するデータセットを作成して実験を行う。また，それぞれのタスクにて，対偶による拡張データを用いて学習する効果も確認する. 本稿での否定表現は，文末を否定する「ない」や「なかった」，「ません」に限定し，その他の表現，たとえば文中の否定要素や否定の接頭辞である「非」や「不」 などは本研究の対象としない.

## 2 関連研究

## 2.1 含意関係認識

既存の言語モデルは含意関係認識において，否定文に対して否定表現による意味の変化を考慮した推論ができていない [5]. その理由に shortcut learning [6] という問題が上げられる. shortcut learning とは, 学習データと同分布 (Independent and Identically Distributed: i.i.d.) なデータには高い推論性能を発揮するモデルが，汎化につながる特徴量ではなく表層的な情報しか捉えておらず，学習データと異なる分布のデータ (Out of Distribution: o.o.d.) に対して高い推論性能を発揮できないという問題である．文献 [7] では，非含意の推論において否定表現に強く依存していること，すなわち否定表現だけから非含意と予測する shortcut learning が起きていることが確認された.これは,既存のデータセットによっては否定表現と非含意のラベルが強く共起していることが原因と考えられている [8]. さらに， shortcut learning を引き起こす要因がデータセットに含まれているとそれを早い段階で学習してしまう [9]ことから，既存のデータセットでは shortcut learning を防ぐのは難しい.このように，言語モデルは否定表現を伴う文の意味理解を適切に行えていない。

## 2.2 STS

否定表現をある文に付与すると，元の文とは意味が大きく異なる一方，表層表現は元の文と否定表現
以外で同一となる.このような元の文と大きく意味が異なる一方，ほぼ同じ表層表現である文は soft negative samples とよばれ [10], feature suppression により元の文との類似度が高めに予測されることが知られている。この問題に対して, 文献 [10] では上記のような文を soft negative sample として扱う対照学習手法 SNCSE が提案されている. 否定表現だけを付与した文と元の文のペアの評価はされているものの，元の表層表現が異なる 2 文（文献 [10] では negative sample とよばれている）に対し，それぞれまたは片方に否定表現を付与した場合に言語モデルは 2 文の意味的類似度を正しく予測できるのか，といったことは十分に調査されていない. さらに，このような否定表現を含むデータに対する STS のためのデータセットも著者が知る限り見当たらない.

## 3 実験 1. 含意関係認識

本章では，含意関係認識において，文に否定表現が伴うことで言語モデルの推論性能に変化が見られるかを検証する．また，推論時に shortcut learning が発生していないかを調査する。

## 3.1 対偶による学習・評価データの拡張

含意関係認識の実験では，JSNLI[11] に対して対偶によるデータ拡張を適用することで，否定表現を伴う学習・評価データセットを生成して使用する. 前提文あるいは仮説文に否定表現を伴う割合は $1.7 \%$ 程度であるため，対偶により生成したデー タセットの大半は，前提文または仮説文に否定表現を伴うことになる. 文献 [4] に基づき，JSNLI 学習データセット（533,005 件）に対して対偶処理を適用したところ，482,715 件を対偶処理対象として抽出でき，これらに対して対偶をとり否定表現を伴うデータからなるデータセットを生成した. 本稿では以降このデータセットを N-JSNLI とよぶ. なお，正確な比較を行うため, 元の JSNLI 学習データからも対偶処理の対象となったデータと同数を取り出して使用する. 評価データセットに対しても同様の処理を行い，JSNLI 評価データセット（3,916 件）から， N-JSNLI 評価データセット（3,593 件）を生成した.

## 3.2 網羅的な評価データの生成

既存の含意関係認識のデータセットは，前提文と仮説文ともに肯定文であるぺアが多く，対偶処理により従来のデータセットを拡張したものは，前提文
と仮説文が共に肯定文または否定文のペアが大半を占める。いずれか一方が肯定文でもう一方が否定文であるデータはほとんど存在しない. したがって，拡張データセットのままでは，このようなデータに対する性能の評価を確認することができない．そこで，JSNLI と N-JSNLIを用いて，前提文あるいは仮説文の一方にのみ否定表現が伴うデータも含むような，網羅的に否定表現の影響を調査できる評価用データセットを作成する．その方法を以下に示す。

・PP（含意/非含意）：JSNLIをそのまま使用

・PN/NP（含意）：JSNLI（含意）の片文を二重否定
- PN/NP (非含意) : JSNLI (非含意) の片文を否定

$\cdot$ NN（含意/非含意）：N-JSNLIを使用

ここで $\mathrm{P} \mathrm{N}$ はそれぞれ肯定文，否定文を表す. PP， $\mathrm{PN}$ などは，含意関係認識における前提文と仮説文のそれぞれが肯定文か否定文かを表す．PNを例にとって説明すると，これは前提文が肯定文 $(\mathrm{P})$ ，仮説文が否定文 $(\mathrm{N})$ あることを表している。

これにより，両文が肯定文のデータ，仮説文のみ否定文のデータ，前提文のみ否定文のデータ，両文が否定文のデータの 4 種類に，それぞれ含意・非含意のデータを作成した. 例を付録表 A. 1 に示す. 片文が否定文かつ含意関係のデータ（PN/NP : 含意） には二重否定が含まれている。これは，片文を否定しつつ含意のデータを作成することが難しいことが原因である.

N-JSNLI と同数の JSNLI 評価データセット（3,593 件）に上述した処理を適用して，網羅的な評価デー タセット（3,526 件）を生成した. 本稿では以降このデータセットを NegEval とよぶ. なお, 本研究における含意関係認識は，対偶により付与された否定表現による意味の変化を捉えて明確に含意あるいは非含意と判定できるか調査するために 2 値分類タスクとする。そのため，JSNLI 内の中立 (neutral) ラべルのデータは使用しない.

## 3.3 実験設定

含意関係認識器には，東北大学が公開している事前学習済み $\mathrm{BERT}^{1}$ )を使用し，既存データセット (JSNLI)，もしくは拡張データセット (JSNLI+NJSNLI) で学習したモデルを，NegEval で評価する。性能評価指標は Accuracy を使用する。

表 1 NegEval に対する推論性能の比較

## 3.4 実験結果

結果を表 1 に示す。否定表現をほとんど含まない既存データセット (JSNLI) で学習した BERT は NP と $\mathrm{NN}$ パターン，すなわち前提文に否定表現を含むデータに対して精度が低い（表 1 上段）。一方で，対偶で生成したデータ (N-JSNLI) も共に学習させた BERT では，NN（前提文と仮説文の両方に否定表現を含む）パターンのデータに対して精度が改善したものの，NP（前提文のみ否定表現を含む）パターンのデータに対しては改善しなかった.これは対偶によって生成されたデータのほとんどが $\mathrm{NN}$ パター ンで構成されていることが原因である. 否定表現をほとんど含まないデータセット (JSNLI) で学習した BERT の誤分類の傾向を図 1 の上段に示す. NP パターンのデータに対しては非含意の事例を含意と誤分類する傾向が見られ，NN パターンのデータに対しては含意の事例を非含意と誤分類する傾向が見られた。この結果は既存の JaNLIを用いても確認できるが，JaNLI のテストデータには NP/NNがそれぞれ 15 件しか含まれておらず，ラベルも偏っており，さらにテンプレートをもとに生成したため，前提文と仮説文がほぼ同じ表層表現という問題点がある. ラベルのバランスがよく，表層表現も異なる 3,500 件以上のデータで実施した本実験でも同様の現象が観測されたことから，NP/NNを学習していない日本語モデルは否定表現ばかり着目して推論する shortcut learningが行われた可能性が考えられる.

そこで，誤分類した事例における pooler_output への Attention を付録図 A. 1 のように可視化した. 文末の否定表現に Attention がかかっているようにも見えることから shortcut learning の可能性を否定できない. 今後詳細に調査する必要がある.

## 4 実験 2.STS

本章では，STS において，文に否定表現が伴うことで言語モデルの推論性能に変化が見られるか検証する。また，否定表現を伴う学習データを学習する効果も確認する. STS の評価データセットには日本

図 $1 \mathrm{NP} / \mathrm{NN}$ に対する含意関係認識の分類結果

語言語理解ベンチマーク (JGLUE)[12][13] に含まれるJSTS を使用する。

## 4.1 データ生成

既存の STS 用データセットは否定表現をほとんど含んでいないため，STSへの否定表現の影響を調査することができない．そこで，JSTS の評価データセットに含まれる二文共に自動で否定表現を付与することで，否定表現を含む STS 評価データセットを生成した. その際，評価データセットの両文に否定表現を付与する前後で二文間の意味的類似度は変化しないと仮定した. 本稿では以降このデータセットを N-JSTS とよぶ.

## 4.2 実験設定

STSへの否定表現の影響を調査する実験方法について述べる. 1 文ずつ文をモデルに入力して文埋め込みを獲得し，その cosine 類似度を計算することで類似度を予測する。事前学習済み BERT ${ }^{1)}$ と $\operatorname{RoBERTa}^{2}$ [14] に対して, 既存のデータセット (JSNLI) と拡張データセット (JSNLI+N-JSNLI)を用いて，教師ありSimCSEによる対照学習を行ったモデルを使用する。 そして，既存のデータセットである JSTS と，JSTS に含まれる 2 文それぞれに否定表現を付与した N-JSTS で評価し，精度の比較を行う. さらに，アーキテクチャによって結果に違いが見られるかを確認するため，Encoder-Decoder モデルを使用して実験を行う． Encoder-Decoder モデルには $\mathrm{T} 5^{3}$ [15] と Sentence-T $5^{4)}[16]$ を使用する。性能評

2) https://huggingface.co/nlp-waseda/ roberta-base-japanese

3) https://huggingface.co/sonoisa/t5-base-japanese

4) https://huggingface.co/sonoisa/ sentence-t5-base-ja-mean-tokens
表 2 否定表現の有無によるSTS タスクの精度比較

Spearman の順位相関係数を使用

価指標には文献 [17] を踏まえてスピアマンの順位相関係数を使用する。

## 4.3 実験結果

実験結果を表 2 に示す. 対照学習したモデルは 1, 2，7 段目の baseline モデル (BERT/RoBERa/T5) と比較して精度が高くなった. 既存データセット (JSNLI) で対照学習した Encoder モデルの結果は表 2 の 3， 5 段目である. sup-SimCSE+BERT のスピアマン順位相関係は, JSTS では 0.774 , N-JSTS では 0.656，sup-SimCSE+RoBERTa の場合は，JSTS では 0.770，N-JSTS では 0.697 となった. いずれも否定表現が付与されるだけで推論性能が悪化することが確認された. 次に, Encoder-Decoder モデルの結果を表 2 の 7，8 段目に示す. T5 のスピアマン順位相関係は, JSTS では 0.636, N-JSTS では 0.616 , Sentence-T5 の場合は, JSTS では 0.809 , N-JSTS では 0.786 となった. Encoder モデルと同様に，否定表現が付与されるだけで推論性能が悪化することが確認された.

次に予測結果の変化について詳細に分析を行った. 分析には, sup-SimCSE+BERT と Sentence-T5 を用いた. sup-SimCSE+BERT の予測類似度とラベル （正解の類似度）の分布を図 2 に示す. ほとんど否定表現を学習していないSup-SimCSE+BERT（図 2 左）は，テストデータの両文に否定表現が伴うだけで文章の意味的類似度を高めに予測していた. さらに，付録図 A. 2 で示すように，Sentence-T5 でも同様の現象が確認された。これは Transformer ベースのモデルが語彙の類似度と意味的な類似度の違いを区別できないという feature suppression が働いたことが原因と考えられる. 両文に否定表現を付与したことで類似した語彙（否定表現）が増えたため，二文の

図 2 予測類似度の分布（左：JSNLI で対照学習した BERT，右: JSNLI+N-JSNLI で対照学習した BERT） ※: 目的タスク (JSTS/N-JSTS) で学習していないため，正解ラベルと予測類似度は乘離している。

類似度を高めに予測するようになったと推測する。以上より, 既存のデータセットで学習したモデルでは否定文同士の意味的類似度を適切に予測することができないことが明らかになった。

一方で，対偶により生成されたデータを含む拡張データセットを用いて対照学習したモデルの結果を表 2 の 4，6 段目に示す. sup-SimCSE+BERT はJSTS におけるスピアマン順位相関係数が 0.761 , N-JSTS においては 0.775 , sup-SimCSE+RoBERTa は JSTS におけるスピアマン順位相関係数が 0.775 , N-JSTS においては 0.774 となった. いずれも否定表現を含む文に対する推論性能が改善しつつ, 肯定文のテストデータ (JSTS) に対しても性能が悪化しないことを確認した. 拡張データセットで学習した sup-SimCSE+BERT による類似度分布を図 2 (右) に示す. 既存データセットで学習した BERT と比較して, 拡張データセットで学習した BERT は否定文同士の文ペア（N-JSTS）に対して，低い類似度を予測するできるようになったことがわかる.このことは，対偶データを学習データに追加したことで，否定表現という表層表現の類似度の影響を軽減し，意味的な類似度をより反映した結果と考えられる。以上のように，対偶により生成されたデータも含めて対照学習することで，既存のデータでは解くことができなかった否定表現を伴う文章に対するSTS タスクを解くことができるようになることが明らかになった.

## 5 まとめ

対偶で拡張したデータセットを用いることで，含意関係認識とSTSへの否定表現の影響と, 否定表現を伴う文を多く含むデータセットを学習する効果を確認した。

## 参考文献

[1] Hitomi Yanaka and Koji Mineshima. Compositional Evaluation on Japanese Textual Entailment and Similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 2022.

[2] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論 ・類似度データセットの構築. 人工知能学会全国大会論文集第 35 回, 2021.

[3] Hitomi Yanaka and Koji Mineshima. Assessing the Generalization Capacity of Pre-trained Language Models through Japanese Adversarial Natural Language Inference. In Proceedings of the 2021 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP2021), 2021.

[4] 内田巧, 南條浩輝. 否定表現を伴う文における含意関係認識のための対偶によるデータ拡張. Technical report, 第 257 回自然言語処理研究会, 2023.

[5] Md Mosharaf Hossain, Dhivya Chinnappa, and Eduardo Blanco. An Analysis of Negation in Natural Language Understanding Corpora. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 716-723. Association for Computational Linguistics, May 2022.

[6] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis, Richard Zemel, Wieland Brendel, Matthias Bethge, and Felix A Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp. 665-673, 2020.

[7] Mengnan Du, Fengxiang He, Na Zou, Dacheng Tao, and Xia Hu. Shortcut Learning of Large Language Models in Natural Language Understanding. Communications of the ACM, Vol. 67, No. 1, pp. 110-120, 2023.

[8] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112. Association for Computational Linguistics, June 2018.

[9] Mengnan Du, Varun Manjunatha, Rajiv Jain, Ruchi Deshpande, Franck Dernoncourt, Jiuxiang Gu, Tong Sun, and Xia Hu. Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 915-929, 2021.

[10] Hao Wang and Yong Dou. SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples. In International Conference on Intelligent Computing, pp. 419-431. Springer, 2023.

[11] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. Technical report, 第 244 回自然言語処理研究会, 2020.

[12] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022 .
[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966. European Language Resources Association, June 2022.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. The Journal of Machine Learning Research, Vol. 21, No. 1, pp. 5485$5551,2020$.

[16] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. SentenceT5: Scalable Sentence Encoders from Pre-trained Text-toText Models. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1864-1874. Association for Computational Linguistics, May 2022.

[17] Nils Reimers, Philip Beyer, and Iryna Gurevych. TaskOriented Intrinsic Evaluation of Semantic Textual Similarity. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 87-96. The COLING 2016 Organizing Committee, December 2016.

## A 付録

表 A. 1 NegEval の例

 & 非含意 &  &  \\

Premise: 荒\#\#波でパラ\#\#セー\#\#リングをしている男が描かれていない。 Hypothesis: 男はパラ\#\#シュートからぶら\#\#下\#\#がっています。

Premise: 一人の男が立ち\#\#止\# \#まり、高架の電車の近くの牛に甘いキスをしません。

Hypothesis: 男は外にいる

Premise: 黄色の救助用具に身を包んだ男が野原を歩いていません。 Hypothesis: 男は屋外です。

図 A. 1 NPデータに対して誤分類した事例の推論根拠を Attention で可視化

図 A. 2 Sentence-T5 の予測類似度の分布 ※: 目的タスク (JSTS/N-JSTS) で学習していないため,正解ラベルと予測類似度は乘離している。


# 自然言語処理でもスコープ解釈を取り扱うべきか? $-Q R$ の棄却と主述関係を基にした分析の提案一

井上恵利佳
九州大学大学院 人文科学府
inoue.erika.029@s.kyushu-u.ac.jp

## 概要

近年の大規模自然言語処理モデルは著しい進展により、かつて取り扱いが難しいとされてきたスコー プ解釈のような意味的に複雑な現象に対する処理能力が向上している。では、自然言語処理の分野においてスコープ解釈などは特にこれ以上扱う必要がないのだろうか。本研究では、依然として人間と同じようには処理できていない部分が存在しているため、自然言語処理でもスコープ解釈という言語現象を扱うべきであると主張する。その上で、どのように扱うべきかを考える際、従来スコープの分析として受け入れられてきたように QR を仮定することは妥当ではないと指摘し、主述関係を基にした代替案を提案する。

## 1 はじめに

ChatGPTをはじめとした近年の大規模自然言語処理モデルの発展は目覚ましく、従来の比較的構造が単純な文や短い文だけではなく、意味的に複雑な現象についても取り扱いが可能になりつつある。しかしその一方で、現在の自然言語処理の考え方だけでは、人間と全く同じように言語処理を行うことができていない部分も存在する。

例えば、(1)に挙げる文の解釈を ChatGPT に説明させたところ、表面的にそのまま解釈するようなグル ープ読みはもちろんのこと、スコープ解釈と呼ばれる特別な解釈の一部も記述として含まれていた。

(1)

4 人の少年が $>3$ 人の少女を
* 3 人の少女を $>4$ 人の少年が

[Hoji 1985: 236 (53a)]

$\lceil 4$ 人の少年が $>3$ 人の少女を」というスコープ解釈は、「1 人につき 3 人の少女を招待したということ
が当てはまる少年が 4 人いる」という解釈を表しており、ChatGPT も合計で少年が 4 人、少女が 12 人いるという場合を回答することができる。しかし、 (1)の場合には容認されないものの、スコープ解积には別の解釈も考えられる。例えば、(2)の文の場合は $「 4$ 人の少年が $>3$ 人の少女を」という解釈だけではなく、「3 人の少女を $>4$ 人の少年が」という解釈も容認可能である。

(2)

$
\begin{aligned}
& \text { ヨガ V 語順 : ヨ>ガガ>ヨ } \\
& \text { [3 人の少女を] [4 人の少年が] 招待した。 } \\
& 4 \text { 人の少年が }>3 \text { 人の少女を } \\
& 3 \text { 人の少女を }>4 \text { 人の少年が }
\end{aligned}
$

[cf. Hoji 1985: 237, (55)]

$\lceil 3$ 人の少女を $>4$ 人の少年が」というスコープ解釈は、「1 人につき 4 人の少年が招待したということが当てはまる少女が 3 人いる」という解釈を表しており、(2)のような文においては両義的なスコープ解釈が容認可能であるということが一般的に受け入れられている。しかし、このような場合でも ChatGPT の回答には $\Gamma 4$ 人の少年が $>3$ 人の少女を」は容認可能な解釈としてあったが、「3 人の少女を $>4$ 人の少年が」という解釈は容認可能かどうか以前にそもそも言及すらなかった。

つまり、現在の ChatGPT のような自然言語処理モデルは、一見するとスコープ解釈のような意味的に複雑な現象も適切に取り扱うことができているようだが、実際のところ、片方のスコープ解釈のみを取り扱っていたり、一義的なスコープ解釈になる場合と両義的なスコープ解釈になる場合を区別できなかったりといった部分で、人間と同じように処理することが難しいと考えられる。しかし、スコープ解釈のように表面的には 1 つの文だが複数の解釈ができ得る文は日常生活でも出てくるものであり、AI であれば人間と同じように処理できるようになることを目指すべきであるため、今後の自然言語処理の分野においても取り組むべき課題である。つまり、自然
言語処理の分野でもスコープ解釈という意味的に複雑な言語現象を取り扱うべきであり、どのようなアプローチによって扱うべきかということを考える必要がある。

## 2 従来の生成文法のスコープ分析

生成文法の分野において、スコープ解釈は文構造に関する議論における重要な手掛かりとなる言語現象として取り上げられてきた。さらに、従来の生成文法では、 $\mathrm{QR}$ （量化詞繰り上げ）という統語操作が仮定されており、スコープの分析として量化表現であれば QR しなければならないと考えることが一般的に受け入れられてきた。しかし、従来の研究では議論されていなかったが、この分析には本研究で指摘するような重大な問題があるため、QR を仮定した分析でスコープ解釈という言語現象を説明しようとすることは妥当ではないと主張する。

まず、生成文法において、QR が好んで用いられてきた理由としては、述語論理学の形式に写像しやすいという点だけではなく、QR はどの順番で適用しても構わないので、スコープ解釈の両義性も簡単に説明できるという大きな利点があったことが挙げられる。しかし、その後の研究を経て、Kuroda (1969/1970)、Huang (1982)、Hoji (1985)、 Liu (1990)、

Szabolcsi (1997) でも述べられているように、現在ではスコープ解釈は両義的であるとは限らないと考えられている。例えば、日本語における両義的ではないスコープ解釈の例として(1)を再揭する。

(1) ガヲ $\mathrm{V}$ 語順: ガ $>$ ヲ *

[4人の少年が] [3人の少女を] 招待した。

4 人の少年が $>3$ 人の少女を

*3 人の少女を $>4$ 人の少年が

[Hoji 1985: 236 (53a)]

(1)のようなガヲ V 語順の文では、「4 人の少年が> 3 人の少女を」というスコープ解釈は容認されるが、「3 人の少女を $>4$ 人の少年が」といらスコープ解釈は容認されないとしばしば論じられてきた。このように、スコープ解釈の両義性がそもそも説明対象でないならば、QR を仮定する最大の利点は失われてしまっているのである。もちろん QR を仮定したまま(1)のようなスコープ解釈の一義性を説明する方法自体はある。(1)の観察を説明するために、Hoji (1985) は(3)を仮定するべきであると主張した。 at $\mathrm{LF} * \mathrm{QP}_{\mathrm{i}} \mathrm{QP}_{\mathrm{j}} t_{\mathrm{j}} t_{\mathrm{i}}$ where each member c-commands the member to its right

[Hoji 1985: 244, (76)]

ただし、これだけでは以下で再掲しているような(2) で挙げたヲガ $\mathrm{V}$ 語順で見られるような両義的なスコ一プ解釈が説明できなくなってしまう。

(2)

[3人の少女を] [4 人の少年が] 招待した。

4 人の少年が $>3$ 人の少女を

3 人の少女を $>4$ 人の少年が

[cf. Hoji 1985: 237, (55)]

Hoji (1985: 247) がこの両義性を説明するために付け加えた補助的仮定は、(4)のようにまとめられる。

顕在移動の痕跡があるときには、QR の痕跡が削除可能である。

(3)、(4)を仮定することで、従来の生成文法では QR を仮定する最大の利点を失ってもなお、スコー プ解釈を $\mathrm{QR}$ で捉えることが妥当であるとされてきた。しかし、本研究では主に 2 つの理由から QRを仮定した分析はスコープの分析として妥当ではないと考えるべきであることを示す。

## 3 QR の分析を棄却する妥当性

本研究では、(3)、(4)を仮定してもなお、説明できない観察がいくつもあること、そして、スコープを正しく捉えるために検討する必要がある派生のパ夕 ーンが膨大であるらえに、現象を適切に説明することができないこと、という 2 点によって、QR を仮定した分析を棄却することが妥当であると主張する。

## 3.1 問題となるスコープ解釈

まず、(5)では、S 構造でデ格名詞句がガ格名詞句を c 統御しているので、デ>ガが容認可能と予測されるが、実際には容認不可能である。

(5) デガ V 語順 : *デ>ガ吕>デ a. [4つの材料で] [2八のコックが] 料理を作った。

$
\begin{array}{r}
* 4 \text { つの材料で }>2 \text { 人のコックが } \\
2 \text { 人のコックが }>4 \text { つの材料で }
\end{array}
$

[井上 2023: 26, (4)]
b. [3つの過失で] [2 人の議員が] 信用を失った。

*3つの過失で $>2$ 人の議員が

2 人の議員が $>3$ つの過失で

一方(6)は、(5)と同じ文構造であるが、今度はデ>ガが容認可能となっている。

(6)

$
\begin{aligned}
& \text { デガ V 語順 : デ>>ガ_ガ>デ } \\
& \text { [4 ケ所の地方都市で] [3 人の先生が] } \text { 講 } \\
& \text { 演会を開いた。 }
\end{aligned}
$

4 ヶ所の地方都市で $>3$ 人の先生が

?3 人の先生が $>4$ ヶ所の地方都市で

[井上 2023: 26, (3)]

本研究では、この容認性の違いは、デ格名詞句の意味役割にあるということを指摘する。(6)のようにデ格名詞句の意味役割が Location であればデ>ガが容認可能になるが、(5a)の Instrument や(5b)の Reason のような場合は容認不可能である。QR を仮定する分析の場合、文構造にのみ言及しているので、意味役割の違いによる容認性の違いは説明できず、重大な問題となってしまう。さらに、(7)のようにデ格名詞句の意味役割が Location であったとしても、デ> ガが必ずしも容認されるわけではないという問題もある。

$
\text { ガデ } \mathrm{V} \text { 語順 : *デ>ガ苂>デ }
$

[3人の先生が] [4 ヶ所の地方都市で] 講演会を開いた。

3 人の先生が $>4$ ヶ所の地方都市で ?*4 ヶ所の地方都市で $>3$ 人の先生が

[井上 2023: 25, (2)]

従来の研究では、ガ格名詞句やヲ格名詞句のような項名詞句が議論の中心であったため、QR を仮定する分析によってスコープ解釈が問題なく説明できると考えられてきた。しかし、上述したように、デ格名詞句など付加詞とのスコープ解釈についても観察していくと、実際にはこの分析では説明できない観察がいくつもあり、これは $\mathrm{QR}$ を仮定した分析を棄却するべき明示的な理由の 1 つであると言える。

## 3.2 派生パターンの検証の煩雑さ

しかし、 3.1 節で述べた問題は、何かしらの仮定を付け加えれば説明できるようになる可能性があるた
め、QR の分析を棄却するのは早計であると考える人もいるかもしれない。そこで、本節ではその可能性を否定するとともに、QR を仮定した分析を棄却するべき 2 つ目の理由を示す。

その際、まず注意するべきなのは、考慮しなければならない派生が膨大になってしまうことである。 QR を仮定した分析の場合、それぞれの要素について、(8)の可能性に応じてすべて異なる派生となる。

（8） a. どこに基底生成されるのか。

b. 顕在移動があるのかどうか。

c. QR 後の位置はどこなのか。

d. QR の痕跡削除があるのかどうか。

具体的に上記のようなガ格名詞句とデ格名詞句について検討すると、(5)と(6)のデガ V 語順におけるデ >ガに対応する文の派生方法が 30 通り、(7)のガデ $\mathrm{V}$ 語順におけるデ>ガに対応する文の派生方法が 30 通り考えられる。(7)のデ>ガに対応する派生はすべて非文法的でなければならないはずだが、従来の仮定だけでは文法的となってしまう派生が 30 通り中 16 通りもあり、それらを排除するための新たな制約が必要となる。また、(5)と(6)のデ＞ガに対応する派生は、意味役割の違いに応じて文法的であるかどうかを決めなければならないが、従来の仮定だけではどれも文法的になってしまう派生が 30 通り中 16 通りもある。

このように、従来の分析では、スコープを正しく捉えるために検討する必要がある派生のパターンが膨大であるうえに、現象を適切に説明することができない。そもそも Hoji (1985) において(3)が必要であると考えられた理由は、QR を仮定したことにより、S 構造の語順と LF の語順に違いが出る可能性があったからである。そして、(3)を仮定したからこそ、 (4)も考えなければならなくなってしまった。これらのことを踏まえると、QR を仮定した考え方は、実際にはスコープ解釈全体を正しく説明することができないので、スコープの分析として $\mathrm{QR}$ を仮定しなければならないという大前提が間違っていると考えるべきである。

本研究では、主に以上の 2 つ理由から量化表現であれば QR しなければならないという考え方が妥当ではないと結論づける。そして次節では、この $\mathrm{QR}$ の代わりとなる代替案を提案する。

## 4 本研究の代替案

本研究ではその全容を述べることはできないが、 $\mathrm{QR}$ に代わるスコープ分析の代替案をすでに考案している。代替案では、スコープを Kuroda (1969/1970) を参考にした文の主述関係によって捉えるという考え方を採用している。Kuroda (1969/1970: 78) では subject という概念を導入した上で、(9a, b)のそれぞ

こで「 $\sigma 」$ はサェ、「 $\delta$ はダケを表している。)

(9) a. John sae S.S. dake o yonda

b. S.S. dake wa John sae ga yonda

(10)
a. $\quad S(\sigma J o h n, ~ Y(-, \delta S . S)$.
b. $\quad S(\delta$ S.S., $Y(\sigma$ John, -$))$

[Kuroda 1969/1970: 85 87, (26), (30), (34), (37)]

以下では、混乱を避けるために Kuroda (1969/1970) の意味での subject を「論理的主部」と呼ぶことにする。(10a)では、論理的主部である「 $\sigma \mathrm{John} 」$ の論理的述部「Y $(-, \delta S . S) 」 の中に. 「 \delta S . S . 」$ S゙含まれているため、「ジョンさえ>S.S.だけ」という解釈に対応している。同様に、(10b)は、「S.S.だけ>ジョンさえ」という解釈に対応することになる。

つまり、このような主述関係を基にした分析に則ると、スコープ解釈の容認性と文構造の関係を図 1 のように捉えることができる。

図 $1: \alpha>\beta$ の場合の文構造

$\alpha>\beta$ が容認可能な場合、 $\alpha$ が $\beta$ を論理的述部に含む主述関係の論理的主部になれるということを意味している。一方、 $\alpha>\beta$ が容認不可能な場合、 $\alpha$ は $\beta$ を論理的述部に含む主述関係の論理的主部になれないということになる。このように QR の代わりに主述関係でスコープを捉えることによって、(8)で考慮しなければならないとしていた派生パターンのうち、 QR を含む (8c, d)を排除することができるため、検証寸る必要がある文の派生パターンの数を大幅に減らすことができる。
そして、主述関係によるスコープの分析には、(5)〜(7)の付加詞を含む文のスコープ解釈についても妥当な説明をすることが可能になるという大きな利点もある。まとめると(11)のようになるガ格名詞句とデ格名詞句のスコープ解釈の観察は、(12)のように説明することができる。

(11) a. ガ>デは常に容認可能である。

b. デ>ガはデガ $\mathrm{V}$ 語順で意味役割が Location の場合にのみ容認可能である。

(12) a. ガ格名詞句は常に論理的主部になれる。

b. デ格名詞句はデガ $\mathrm{V}$ 語順で意味役割が Location の場合にのみ論理的主部になれる。

以上のように、提案する代替案では、検証する派生パターンを大幅に抑えつつ、従来の分析では説明ができなかった観察についても妥当な説明が可能となる。さらに、このように検証がシンプルになることによって、今後もし説明できない観察が出てきたとしても対応が容易になることが期待される。その上で、紙幅の関係上詳しくは述べることができないが、派生パターンがシンプルになったことと、統語意味論の枠組みを合わせることによって、機械処理にも対応できるようになり得るため、自然言語処理の分野にも反映できる研究成果を十分に見込むことができる。

## 5. おわりに

急速な発展により ChatGPT などの大規模自然言語モデルでもスコープ解釈のような意味的に複雑な現象を適切に取り扱うことが可能に見えているものの、本研究では実際には人間と同じように処理できているわけではないということを指摘した。そして、 AI であれば人間と同様の言語処理が可能となることを目指すべきであるため、自然言語処理の分野でもスコープ解釈という言語現象を取り扱うべきであると主張した。

さらに、スコープ解釈について研究が行われてきた生成文法の分野で従来受け入れられてきた $\mathrm{QR}$ を仮定する分析では、スコープ解积全体に対して妥当な説明をすることができないということも示した。 その上で、 $\mathrm{QR}$ に代わるスコープ分析の代替案として主述関係を基にした分析についても概説を行った。

## 謝辞

本研究は、JST 次世代研究者挑戦的研究プログラ

ム JPMJSP2136 の支援を受けたものです。

## 参考文献

1. Hoji, Hajime (1985) Logical Form Constraints and Configurational Structures in Japanese. Doctoral dissertation, University of Washington.

2. Huang, C.-T. James (1982) Logical Relations in Chinese and the Theory of Grammar, Doctoral dissertation, Massachusetts Institute of Technology, Cambridge.

3. 井上恵利佳 (2023) 「デ格名詞句のスコープ解釈と文構造」『日本語学会 2023 年度春季大会予稿集』pp. 25-30.

4. Kuroda, S.-Y. (1969/1970) "Remarks on the Notion of subject with Reference to Words like Also, Even or Only," Annual Bulletin, Research Institute of Logopedics and Phoniatrics, University of Tokyo, vol. 3, pp. 111-129, and vol. 4, pp. 127-152.

5. Liu, Feng-hsi (1990) Scope Dependency in English and Chinese, Doctoral dissertation, University of California, Los Angeles.

6. Szabolcsi, Anna. (Ed.) (1997) Ways of Scope Taking. Dordrecht: Kluwer Academic Publishers.