# 主節と関係節における Weak Crossover 現象の 非構造的要因を制御した経験的検証

福島遥 1 Daniel Plesniak ${ }^{2}$ 戸次大介 1
1 お茶の水女子大学 ${ }^{2}$ Seoul National University
\{fukushima.haruka, bekki\}@is.ocha.ac.jp
plesniak@usc.edu

## 概要

主節における Weak Crossover 現象と関係節における Weak Crossover 現象は，どちらも容認可能性判断について様々な主張が存在する. 本研究では, Language Faculty Science (LFS) の方法論を使用して各被験者の容認可能性判断に注目した実験を行い，主節における Weak Crossover 現象と関係節における Weak Crossover 現象について特定の解釈に対し制約があるかを調査した. そして, この実験の結果は,主節においては特定の解釈に対し制約があるが，関係節においてはそのような制約はないことを示している.

## 1 はじめに

Weak Crossover (WCO) [1] 現象は照応的解釈の容認可能性に関わる現象であり，主節における WCO （以下，M-WCO）現象と関係節における WCO（以下，R-WCO）現象などが存在する．まず，文 (1b) が M-WCO の例文である.

(1) a. Every boy loves his mother.

b. *His mother loves every boy.

(「それぞれの男の子が自身の母親に愛されている」という解釈のもとで)

Bekki [2] を含む多くの分析で，(1a)は「それぞれの男の子が自身の母親を愛している」という束縛変項照応 (以下，BVA) 解釈 [3] が可能と予測されるが, (1b) は「それぞれの男の子が自身の母親に愛されている」という BVA 解釈が容認不可能と予測される.次に，文 (2b) が R-WCO の例文である.

(2) a. Every boy who loves his mother bought flowers.

b. Every boy who his mother loves bought flow- ers.

Higginbotham [4] や Safir [5] などは (2a) において, every boy に対し，「それぞれ自身の母親を愛している」という BVA 解釈が可能だが，(2b) については， every boy に対し，「それぞれ自身の母親に愛されている」という BVA 解釈が不可能と予測する。一方， Bekki [2]の DTS は (2b) について BVA 解釈が可能と予測する。

これらの分析を検証するには，R-WCO 構文における BVA 解釈の容認可能性判断を明確にする必要があるが，これは経験的問題であり，被験者の判断が異なることで問題が複雑になっている。

これは M-WCO 現象についても同様だが，M-WCO では LFS の手法により，複数の文に対するさまざまな解釈の判断によって被験者を分類すると，構造的でない要因に影響されない被験者は，一貫して (1b) における BVA 解釈を拒否することが判明している.

そこで本研究では，BVA 解釈に対するDTS の予測を検証するため，M-WCO 現象に対する LFS の手法による実験デザインを，R-WCO 現象に対しても適用可能となるよう拡張することを試みた。

## 2 背景

## 2.1 DTS による予測

自然言語の証明論的意味論の一つであるDTS の主な特徵は，照応と前提について合成原理に基づく分析が存在することである.

近年，Bekki [2] は，WCO 現象に関連して主語と目的語の非対称性を捉えるため，照応に関連する未指定メカニズムについての理論のアップデートを提案した。具体的には，代名詞が述語の引数の位置ではなく，出現した統語的位置で照応解決される。それゆえ，M-WCO 現象について，従来の DTS が（他の動的意味論と同様に) 文 (1a)と (1b) の両方につい

て BVA 解釈が可能であると予測する一方，Bekki [2] の DTS は，BVA 解釈は文 (1a)においてのみ可能であり，文 (1b)においては不可能であると予測する.

さらに，Bekki [2]の DTS は R-WCO 現象については，文 (2a) と (2b) の両方において BVA 解釈が可能であると予測する．これらの意味表示は，照応解決を経て命題 (3a)(3b) となる.

(3)
a. $\quad\left(r:\left[\begin{array}{l}x: e \\ \left.\left[\begin{array}{l}w: \operatorname{boy}(x) \\ \text { love }\left(x, \pi_{1} \operatorname{mother} O\right.\end{array}(x, w)\right)\right)\end{array}\right]\right.$
] $\int \rightarrow \operatorname{buy}\left(\pi_{1} r, f\right)$

## 2.2 LFS の方法論

LFS の手法の基本的な考えは，文の容認可能性に関する被験者の判断は様々な要因で変化するが，同一人物がある時間に下した判断と判断の間には，不変な関係が存在する，ということである。

Hoji [6] は日本語の M-WCO 構文において，構造以外の要因に影響されない母語話者は一貫して BVA 解釈を拒否することを示した。そして，Plesniak [7] は Hoji [6] の結果を英語において再現することに成功した.

これらの先行研究では，主実験の他に，被験者の注意力と理解度を測る補助実験を行っている. 主実験では，(a) BVA 以外の解釈（Distributive Readings (DR) と Coreference (Coref)）を用いて被験者の判断に影響する非構造的な要因があるかを確認し，(b)対象となる BVA 解釈の文に対する被験者の判断を確認した. Plesniak [8] では, BVA 解釈の要因は (4) とされている。なお，(4)におけるX(binder) は量化表現，Y(bindee)は照応表現を表す。

(4) $\mathrm{BVA}(\mathrm{X}, \mathrm{Y})$ の成立要因(以下のいずれかが成立)

a. FR (Hoji [9] における Formal Relation): X が Yを c-command する.

b. ID (Ueyama [10] における Indexical Dependency) : X が Y に先行する。

c. NFS1 (Hoji [9] における Non-Formal Source 1): Xが「文の主題」として解釈される.

d. NFS2 (Hoji [9] における Non-Formal Source 2): Y が「non-individual denoting」として解釈される.

Hoji [6] と Plesniak [7] では，多くの被験者が MWCO 構文において BVA 解釈を容認したが，そのよ
うな被験者は DR と Coref の例文に対する判断から， (4a) 以外の要因を経由して BVA 解釈を得たものと分析している。一方，(4a)をもとに文を判断をする被験者は (1a)のような文における BVA 解釈を容認するが，M-WCO 構文における BVA 解釈を一貫して拒否するとされる.

## 3 実験デザイン

## 3.1 使用した例文

表 1 主実験で使用する例文の形式

例文の形式 Plesniak [7] に従い，主実験で使用した BVA, DR, Coref の例文の形式は表 1 のようにした. Plesniak [7] では (4a) が被験者の判断に影響するかを確認するために OSV と WCO を使用したが，本研究では SVO と PSB (Precedence Spec-Binding), SRC (Subject Relative Clause), ORC (Object Relative Clause) も加えた. PSB は (4b) を被験者の判断要因から排除するために用意した.SRC は関係節の中の構造が SVO に相当し, ORC が R-WCO 構文に相当する. なお，例文のタイプと形式は BVA，DR，Coref，全てにおいて共通である.

BVA $(X, Y)$ における X と $Y$ について加えて，要因 (4c) と (4d) により, 例文で X と Y に何を使用するかも被験者の判断に影響する。

たとえば，Xについて，先行研究では (4c) が成立する被験者が多いため, 本研究では $(4 \mathrm{c})$ をより制御できる「more than one N」を BVA と DR の例文の X に使用した。そして，Yについては，Plesniak [11] よると,「his」と「her」,「heir」にした場合, 被験者が「Xが男性/女性と分からないのに his/herを使用する」「単数名詞の所有格が複数形になる」ことに影響される可能性があるため, 本研究では BVA と Coref の例文の Y に「its」を使用した．BVA，DR，Coref の解釈における SVO の例文は文 (5)(6)(7) である.

(5) BVA (more than one school in Japan, its) More than one school in Japan sued its high-
achieving student.

(6) DR (more than one school in Japan, two highachieving students)

More than one school in Japan sued two highachieving students.

(7) Coref (a school in Japan, its)

A school in Japan sued its high-achieving student.

Plesniak [12] にならい, $\operatorname{BVA}(\mathrm{X}, \mathrm{Y})$ の X と Y は各 1 種類，DR(X, Y) は $\mathrm{Y}$ を 2 種類 (「two high-achieving students」と「three high-achieving students」), $\operatorname{Coref}(\mathrm{X}$, Y) もXを 2 種類 ( 「a school in Japan」と「the school in Japan」)を使用し, 本実験では計 60 文を使用した.

## 3.2 採用した実験の形式

Plesniak [7] の実験では, BVA と DR, Coref の解釈を文章で言い換えて被験者に説明していたが，被験者の解釈の理解を容易にするため, Plesniak [11]を参考に図 1 のように各例文の解釈を表した。

図 1 (5) の解釈

被験者は各例文に対し，BVA，DR，Coref の解釈に対応している図とそれとは異なる解釈の図のペアが与えられる. そして，被験者に各例文について， どの解釈が可能か（片方だけ可能か，両方とも可能・不可能か）を尋ねた。

たとえば，文(5) と図 1 が与えられたとき，図 1 の上の図が BVA 解釈で下の図がそうでない解釈だが，これはどちらも可能な解釈であるため, 両方選択することが可能である.

しかし，文 (8) と図 1 が与えられた場合，文 (8) は BVA 解釈が不可能なため, 注意力と理解力がある被験者は図 1 の下の図のみを選ぶだろう.
More than one school in Japan lied to the same high-achieving student.

## 4 実験結果

Prolific  を使用して 107 人の英語母語話者に対し調査実験を行った.

実験の結果，まず M-WCO 現象に関して先行研究 [7] の結果を再現することができた. また，先行研究の手法を R-WCO 現象に拡張すると，M-WCO 現象の場合とは異なる結果が得られた。すなわち， Coref/DR の例文と補助実験に対する判断から被験者を分類すると，M-WCO 現象に関しては明確なパターンが現れるが，R-WCO 現象に関しては同様のパターンが現れない.この結果は，M-WCO 構文と R-WCO 構文が容認可能性において同じパターンを示すと予測する理論を反証するものであると考えられるが， 4.3 で述べるように，少なくとも 1 つの重要な疑問が残っている.

## 4.1 LFS の手法による分析以前の結果

まず，LFS の手法による分析以前の BVA の例文の全体的な容認率を図 (2) に文タイプ別で示す.

図 2 文タイプ別の BVA の例文の容認率

(M-)WCO の BVA の例文は $35 \%$ しか容認されない一方，ORC も含め他のタイプは 80-90\%が容認される. ただし, Plesniak [12] で示されるように, LFS の手法を適用した被験者の結果は, 適用以前の結果と異なる場合があり,その結果を 4.2 で述べる.

## 4.2 LFS の手法による分析

LFS の手法による分析をする上で，補助実験の例文を何種類も使用したり，PSB の例文を使用し， R-WCO 構文についても (4a) だけを基に判断する被験者に注目する予定だったが，全ての基準を満たす
表 2 分類結果 (M-WCO)

表 3 分類結果 (R-WCO)

被験者が存在しなかったため，最終的に (9) の基準で被験者を分類した。

（9） M-WCO 現象についての分類基準

a. 補助実験 Inst-Sub を通過したか（注意力 /理解力があるか)

b. SVO か OSV の DR の例文を 1 度は容認するか（(4c)を満たさない）

c. WCO の Coref の例文を 1 度でも拒否するか（(4d)を満たさない）

まず，先行研究に従って，基準 (10) で M-WCO 構文に対する判断を分類した結果は表 2 である.

（10） BVA の例文についての分類基準 (M-WCO 構文)

a. OSV の BVA の例文を容認するが, WCO の BVA の例文は常に拒否

b. OSV の BVA の例文も WCO の BVA の例文も常に拒否

c. WCO の BVA の例文を容認

全ての基準を満たす 6 人の被験者は，全員が (10a) のタイプであった. つまり，(4a) 以外の要因に影響されない被験者は，一人も WCO の BVA の例文を容認しなかった。

次に，基準（10）におけるOSVを SRC，WCO を ORC で置き換え，R-WCO 構文に対する判断を分類した結果が表 3 である.M-WCO 構文とは異なり，全ての基準を満たす被験者は，全員が R-WCO 構文を容認した。つまり，M-WCO 構文に関しては (4a) だけを基に判断する被験者が BVA 解釈を拒否するが，R-WCO 構文はそうではないと分かった。

## 4.3 考察と結論

M-WCO 構文は X が Y に先行しないが，R-WCO 構文では X が Y に先行するため, M-WCO 構文と R-WCO 構文で BVA 解釈について異なる結果が得られたことの原因が (4a) と (4b) のどちらに依るものかは, 現時点では不明である. (4b) が原因の場合, Plesniak [11,12]によると, R-WCO 構文における BVA 解釈は (4b) か (4c)/(4d) にしか基づかないことになる.しかし, PSB の容認率が高かったため, (4a) と (4b) の要因を分離した予測の検証ができなかった.

したがって，この原因が構造か語順かを明確にするため，(a) (4b) が原因となりにくいXと Yを利用した英語での実験 (Ueyama [10] XXに「no」を使用することで，(4b)を制限または抑制する可能性を示唆している)，(b) 日本語などの関係節が修飾する名詞に先行する言語での（(4b) を排除した）実験を，今後行う予定である.

## 5 おわりに

本研究では，主節と関係節における WCO 効果を， LFS の方法論に基づいて検証する実験を行った. その結果, 非構造的要因に影響されない被験者の判断に注目すると，それらの被験者は，M-WCO 構文における BVA 解釈を常に拒否するのに対し, R-WCO 構文における BVA 解釈を常に容認することが分かった. 今後，この結果の要因が構造・語順のいずれに依るものかを明らかにする必要があるが，要因が前者であるならば，R-WCO 構文について BVA 解釈が容認可能と予測する理論（Bekki [2]の DTS 等） が支持されることになるだろう。

## 謝辞

本研究の一部は，JST CREST JPMJCR20D2 および JSPS 科研費 JP23H03452 の支援を受けたものである.

## 参考文献

[1] Thomas Wasow. Anaphoric relations in English. PhD thesis, Massachusetts Institute of Technology, 1972.

[2] Daisuke Bekki. A proof-theoretic analysis of weak crossover. In Proceedings of LENLS18, pp. 75-88, 2021.

[3] Tanya. Reinhart. Coreference and bound anaphora: a restatement of the anaphora questions. Linguistics and Philosophy, Vol. 6, pp. 47-88, 1983b.

[4] James Higginbotham. Pronouns and bound variables. Linguistic Inquiry, Vol. 11, No. 4, pp. 679-708, 1980.

[5] Ken Safir. Weak crossover. In the Wiley Blackwell Companion to Syntax,SECOND EDITION. Wiley Blackwell, 2017.

[6] Hajime Hoji. Predicted correlations of judgments in japanese. In The Theory and Practice of Language Faculty Science. Berlin and Boston: De Gruyter Mouton, 2022.

[7] Daniel Plesniak. Possibility-seeking experiments: Testing syntactic hypotheses on the level of the individual 1 . In Studies in Generative Grammar, 2023.

[8] Daniel Plesniak. C-command and beyond: The emerging universe of formal and non-formal relations. In The Korean Journal of Linguistics 48(2). The Linguistic Society of Korea, 2023.

[9] Hajime Hoji. Detection of c-command effects. in the theory and practice of language faculty science. In The Theory and Practice of Language Faculty Science. Berlin and Boston: De Gruyter Mouton, 2022b.

[10] Ayumi Ueyama. Two Types of Dependency. PhD thesis, Los Angeles: University of Southern California, 1998.

[11] Daniel Plesniak. Towards a correlational law of language: Three factors constraining judgement variation. PhD thesis, University of Southern California, 2022a.

[12] Daniel Plesniak. Predicted correlations of judgments in english. In The Theory and Practice of Language Faculty Science. Berlin and Boston: De Gruyter Mouton, 2022b.


# 文字系列情報による性能への影響から ニューラルモデルが有する言語的な傾向を見出せるか

黒澤友哉 谷中 瞳
東京大学
\{kurosawa-tomoya, hyanaka\}@is.s.u-tokyo.ac.jp

## 概要

本研究では，文字系列情報を付加的に利用するニューラルモデルにおいて，文字系列情報による性能への影響度を定義し，その值がどのような言語的な傾向を反映しているかを検証する．実験では 48 の言語を対象に, 品詞タグ付けと依存構造解析の 2 つのタスクにおいて，文字系列情報による性能への影響度を調査する。文字の数が多いほど情報量も多いことから，仮説として「文字系列情報が与える性能への影響度は，その言語の平均単語長が長いほど大きい」と立て検証する．実験の結果，ラテン文字を用いる言語において仮説を支持する値が得られた一方で，検定の結果，依存構造解析においては仮説を示すことができなかった.

## 1 はじめに

文字は，記述された自然言語を構成する最小の要素である。我々人間は文字を読み，意味を理解する. ニューラルモデルは基本的に, 文字の特定の並びを一つのトークンとして扱う。一部のモデルは，文を構成する文字についてもトークンと同様埋め込みを計算するなどして，文字の情報を利用するものがある.ここではその文字の情報を文字系列情報と呼び，文を構成する文字の列として定義する. 文字系列情報を利用したモデルは，それを利用しなかった場合よりも高い性能が，様々な言語とタスクで報告されている $[1,2,3]$. しかし, 文字系列情報による性能上昇は，それを利用した場合と利用しなかった場合のスコアの差として計算されており，モデルがトークン (単語) から得られる情報に比べ，文字系列情報をどの程度利用したかが明らかになっていない. そのため本研究では [4] にならい, 文字系列情報を付加的に利用するニューラルモデルにおける文字系列情報の影響の度合いを調査する。最近は大規模汎用言語モデルの発展が目覚ましく，そのようなモデルは様々な言語において高い性能を達成している。ただし，高性能を達成できるのは十分なデータが存在する言語のみに限られ, 低リソース言語においてはモデルの構築が難しいことが知られている [5]. いくつかの先行研究では, 言語類型論などに基づいた言語的な特徴を利用したり， ニューラルモデルから言語的な特徴や傾向を見出したりする試みがある $[6,7]$. 後者の試みは，人間が観測し得ない傾向を観測できることができ，例えば言語転移を取り入れるモデルの学習に利用できることから，近年注目されているアプローチである [5]. しかし，後者では主に言語間で共通な特徴に着目されており，言語間で異なる特徴や傾向を見出す試みが多くない.

そこで本研究では，文字系列情報を付加的に利用するニューラルモデルにおける文字系列情報が性能に与える影響の度合い（影響度）を複数のタスクで評価する。そして，その評価結果を観察し，言語間で異なる言語的な傾向を明らかにする. 文字系列情報は文字の数が多いほど情報量も多いという点に着目し, 仮説として平均単語長が長い言語ほど, 文字系列情報による性能への影響度が大きいと立て，この仮説を実験で検証する．対象とするタスクは，基礎タスクに分類される品詞タグ付けと依存構造解析とする。これらは系列ラベリングタスクであり，文字系列情報の比重が単語より大きく，その影響が数値に反映されやすいことを利用するという狙いがある.

## 2 関連研究

## 2.1 文字系列情報の利用

文字系列情報を利用するニューラルネットワークモデルには二種類あり，文字系列情報のみを利用す

るモデルと，それを付加的に利用するモデルに大別される．前者のモデルは，RNN や双方向 LSTM [8] などを利用して文字埋め込みを得る $[9,10]$. 最近では，注意機構 [11]を用いて文字埋め込みを計算するモデルも提案されている [12].

文字系列情報を付加的に利用するモデルには，主に特定のタスクを解くものが多い. 文字系列情報を付加的に利用する動機の一つとして, 学習時に出現しなかった語彙 (out of vocabulary) が扱いやすくなるという点がある [13]. 文字系列情報のみを利用するモデルの機構と学習済みの文字埋め込みを使用することで, 品詞タグ付け, 依存構造解析, 意味解析,翻訳タスクなど，様々なタスクで高い性能を達成している $[1,2,3,14]$.

## 2.2 多言語モデルにおける言語的な特徵や 傾向の扱い

複数の言語にわたり共通のタスクを解くようなモデルには, World Atlas of Language Structures (WALS, [15]) ${ }^{1)}$ という言語類型論から得られた言語的な特徵を保有するデータベースなどを利用し，その情報を利用するものがある. [6] は WALS から得た主語,動詞，目的語の順序などの言語的な特徵を埋め込み情報の一部として与えている。近年では学習済み多言語モデルの開発が活発化したことで，それらから言語的な特徴や傾向を見出す研究も出てきた. [7] は学習済み多言語モデルが有する，言語間で共通の統語的現象を明らかにした. また, [16] はバイト対符号化 (BPE) の結果から言語特有の傾向を見出した. 本研究は，ニューラルモデルを利用して言語的な傾向を見出す点で [16] に類似しているが，ニュー ラルモデルの性能から言語的な傾向を見出す点は [16] と異なったアプローチである.

## 3 手法

文字系列情報を付加的に用いるニューラルモデルにおいて，その文字系列情報がモデルの性能に与える影響度を次のように定義する。

(i) 学習データと正しい文字系列情報を用いてモデルを学習する。

(ii) (i) の学習済みモデルを，評価データと正しい文字系列情報を用いて評価する。得られた値を $x$ とおく.

(iii) (i) の学習済みモデルを，評価データと，(i)の学習時に出現しなかった文字のみから構成され

1) https://wals.info/

図 1 モデルの構造. $A_{\text {cute }}$ は文字単語ベクトル以外のものを表しており，品詞タグ付けにおいては単語埋め込み $\boldsymbol{w}_{\text {cute }}$, 依存構造解析においては単語埋め込み $\boldsymbol{w}_{\text {cute }}$ と事前学習済みの単語埋め込み $\boldsymbol{p}_{\text {cute }}$ である.

る文字系列情報を用いて評価する。得られた値を $y$ とおく。

（iv） (ii) と (iii) の結果を比較し, 文字系列情報の影

響度を，正しい文字系列情報を与えて評価したときの性能と, 正しい文字列と学習時に出現しなかった文字のみから構成される文字系列情報を与えて評価したときの性能差の比として定義する.この値は $\frac{x-y}{x}$ と計算される.

学習済みモデルの評価時に, 学習時に出現しなかつた文字のみから構成される文字系列情報を与えることで，そのモデルは学習時に観測した正しい文字系列情報を利用してラベルを予測することができなくなる. そのため影響度 $\frac{x-y}{x}$ は，その学習済みモデルにおける正しい文字系列情報の貢献の割合とみなすことができる.

## 4 実験

## 4.1 モデル

本実験では，品詞タグ付けと依存構造解析のそれぞれにおいてほぼ同等の構造を有するニューラルモデルを用いる. 品詞タグ付けにおいては [1]のモデルを，依存構造解析においては [2] のモデルをそれぞれ用いる. 各モデルの共通する構造を図 1 に示す.いずれのモデルにおいても，単語で使用される各文字 $i$ の埋め込み $\boldsymbol{c}_{i}^{\prime}$ を力力とし，それぞれの方向で最後の隠れ層における表現を利用する LSTM である sequence bi-LSTM [8] により文字から得られる単語ベクトル（以下，文字単語ベクトル） $\boldsymbol{c}_{j}$ を各単語
表 1 使用する言語のコード，データ数と平均単語長.

$j$ について得る. 数式では以下のように表される.

$
\boldsymbol{c}_{j}=\mathrm{bi}^{-} \operatorname{LSTM}_{\mathrm{seq}}\left(\boldsymbol{c}_{1: m}^{\prime}\right)=\operatorname{LSTM}_{\mathrm{f}}\left(\boldsymbol{c}_{1: m}^{\prime}\right) \circ \operatorname{LSTM}_{\mathrm{b}}\left(\boldsymbol{c}_{m: 1}^{\prime}\right)
$

なお， $\operatorname{LSTM}_{\mathrm{f}}, \mathrm{LSTM}_{\mathrm{b}}$ はそれぞれ順方向，逆方向の LSTM で，引数の最後のべクトルを入力する個の LSTM の隠れ層における表現を指す. 品詞タグ付けモデルにおいては，文字単語ベクトルは単語埋め込み $\boldsymbol{w}_{j}$ と結合される。一方, 依存構造解析モデルにおいては，文字単語べクトルは学習可能な単語埋め込み $\boldsymbol{w}_{j}$ に加え, 事前学習済みの単語埋め込み $\boldsymbol{p}_{j}$ と結合される。そして，結合された単語ベクトル $\boldsymbol{x}_{j}$ を入力として，それぞれの方向で特定の位置の隠れ層における表現を利用する LSTM である context bi-LSTM により各単語の文脈ベクトル $\boldsymbol{v}_{j}$ を得る.数式では以下のように表される.

$
\boldsymbol{v}_{j}=\operatorname{bi-LSTM}_{\mathrm{ctx}}\left(\boldsymbol{x}_{1: n}, j\right)=\operatorname{LSTM}_{\mathrm{f}}\left(x_{1: j}\right) \circ \operatorname{LSTM}_{\mathrm{b}}\left(\boldsymbol{x}_{n: j}\right)
$

品詞タグ付けモデルは，交差エントロピー誤差を用いた確率的勾配降下法により文脈ベクトルから品詞を予測する。一方，依存構造解析モデルは，遷移ベース解析 (transition-based parsing, [17]) の一種である arc-hybrid 型 [18] 解析により，文脈ベクトルから依存構造を特定する. 品詞タグ付けの性能は精度 (accuracy), 依存構造解析の性能は LAS (label attachment score) で計算され，それぞれ 3 回の試行の平均値を示す。なお LAS は，予測された依存関係を表す弧の両端とラベルがすべて正しいものの割合を表す.

## 4.2 データ

本実験では [2]にならい, 大規模コーパス Universal Dependencies (UD, [19]) ${ }^{2)}$ のうち v2.0を使用する.対象言語は, [2] で使用された 47 の言語に加え， ノルウェー語の Bokmål (no_bokmaal) の計 48 言語とする. 各言語の平均単語長は UD v2.0 に含まれるすべてのデータ（学習，検証，評価データ）から計算される。表 1 に使用する言語の ISO 639 における言語コード，およびデータ数と平均単語長を示す。言語名，各言語の文字体系とデータ数については付録 （表 2）に示す。なお，手法の (iii) で言及した具体的な「学習時に出現しなかった文字」は，対象のタスクと言語でそれに当てはまる割合が最も高かった, ASCII コード 92 で表される逆斜線 \を基本とする。 この文字が学習時に出現している場合，すなわち $\mathrm{ar}$, $\mathrm{hr}, \mathrm{id}, \mathrm{ru}$ での依存構造解析では，ASCII コード 125 で表される終わり波括弧\}とする。 そして「学習時に出現しなかった文字のみから構成される文字系列情報」は，入力文の空白以外の文字をすべて上記の文字に置き換えたものとする。例えば en（英語）において，Yuri_is_so_cute の (iii) の評価時の文字系列

## 4.3 結果

図 $2 \mathrm{a}$ と $2 \mathrm{~b}$ に品詞タグ付けと依存構造解析における実験の結果をそれぞれ示す.いずれも，横軸は各言語の平均単語長，縦軸は各言語の文字系列情報の

(a) 品詞タグ付け

(b) 依存構造解析

図 2 それぞれのタスクでの結果の散布図. 赤色の丸印はラテン文字をアルファベットとして用いる言語を，赤色のバツ印はラテン文字ではないアルファベットを用いる言語を，青色はアブジャドを用いる言語を，緑色はアブギダを用いる言語を，黄色は表意文字を用いる言語をそれぞれ表している.

影響度でプロットされた散布図である. 48 言語すべてのデータの Pearson の相関係数は，品詞タグ付けと依存構造解析においてそれぞれ 0.50 と 0.26 と計算される. 依存構造解析においては平均単語長と文字系列情報による影響度には強い相関が見られないが，品詞タグ付けにおいては若干の強い相関が認められる。

ここでは，言語の文字体系と使用される文字の種類に着目し, 特に 48 言語の中で最も多い, ラテン文字を用いる言語（30 言語）に着目する. ラテン文字を使用する言語のデータの Pearson の相関係数は,品詞タグ付けと依存構造解析においてそれぞれ 0.70 と 0.68 と計算される. この値は十分に大きく，ラテン文字を使用する言語において，平均単語長と文字系列情報による影響度に強い相関があることがわかる。なお，各言語でのそれぞれの影響度の値は付録 （表 2）に示す. また，言語数やデータ数が十分ではないが，ラテン文字ではないアルファベットを用いる言語についても，同様の傾向が示唆される.

検定ここでは，相関係数が 0.5 より大きい場合に「平均単語長が長い言語ほど，文字系列情報による性能への影響度が大きい」という仮説が示せるとする. ラテン文字を用いる言語について得られた 2 つの（標本）相関係数を，「母相関係数が 0.5 である」 を帰無仮説，「母相関係数が 0.5 より大きい」を対立仮説とし, 有意水準 $5 \%$ の下で検定する. その結果,品詞タグ付け，依存構造解析において $\mathrm{p}$ 値はそれぞ
れ $0.0494,0.0785$ と計算される.このことから, 品詞タグ付けにおいては帰無仮説を棄却でき，母相関係数が 0.5 よりも大きいことが言える。一方，依存構造解析においては帰無仮説を棄却できず，母相関係数が 0.5 よりも大きいことが言えない.

## 5 おわりに

本研究では，文字系列情報を利用するニューラルモデルにおいて，学習時に出現しなかった文字を評価時に与えることにより，モデルにおける文字系列情報による性能の影響度を定義した。この指標を利用し，「平均単語長が長い言語ほど，文字系列情報による性能への影響度が大きい」という仮説を判定するために，二つの基礎的な言語処理タスクで実験を行なった．その結果，すべての言語に関しては仮説が支持されなかった一方，ラテン文字を用いる言語においては仮説を支持する傾向が得られた。一方で，依存構造解析での結果に関しては仮説検定の結果から仮説が支持されなかった．今後の展望としては，応用的なタスクを含む様々な言語処理タスクにおいてこの仮説が正しいか確かめる予定である。また，ラテン文字以外の言語についても確かめる余地がある.

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受けたものである.

## 参考文献

[1] Barbara Plank, Anders Søgaard, and Yoav Goldberg. Multilingual part-of-speech tagging with bidirectional long short-term memory models and auxiliary loss. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 412-418, Berlin, Germany, August 2016. Association for Computational Linguistics.

[2] Miryam de Lhoneux, Yan Shao, Ali Basirat, Eliyahu Kiperwasser, Sara Stymne, Yoav Goldberg, and Joakim Nivre. From raw text to Universal Dependencies - look, no tags! In Jan Hajič and Dan Zeman, editors, Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 207-217, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Minh-Thang Luong and Christopher D. Manning. Achieving open vocabulary neural machine translation with hybrid word-character models. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1054-1063, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Tomoya Kurosawa and Hitomi Yanaka. Does character-level information always improve DRS-based semantic parsing? In Alexis Palmer and Jose Camacho-collados, editors, Proceedings of the 12th Joint Conference on Lexical and Computational Semantics ('SEM 2023), pp. 249-258, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] Edoardo Maria Ponti, Helen O'Horan, Yevgeni Berzak, Ivan Vulić, Roi Reichart, Thierry Poibeau, Ekaterina Shutova, and Anna Korhonen. Modeling Language Variation and Universals: A Survey on Typological Linguistics for Natural Language Processing. Computational Linguistics, Vol. 45, No. 3, pp. 559-601, September 2019.

[6] Yuan Zhang and Regina Barzilay. Hierarchical low-rank tensors for multilingual transfer parsing. In Lluís Màrquez, Chris CallisonBurch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1857-1867, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Karolina Stańczak, Lucas Torroba Hennigen, Adina Williams, Ryan Cotterell, and Isabelle Augenstein. A latent-variable model for intrinsic probing. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 37, No. 11, pp. 13591-13599, June 2023.

[8] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, November 1997.

[9] Ilya Sutskever, James Martens, and Geoffrey Hinton. Generating text with recurrent neural networks. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML'11, p. 1017-1024, Bellevue, Washington, USA, 2011. Omnipress.

[10] Wang Ling, Chris Dyer, Alan W Black, Isabel Trancoso, Ramón Fermandez, Silvio Amir, Luís Marujo, and Tiago Luís. Finding function in form: Compositional character models for open vocabulary word representation. In Lluís Màrquez, Chris CallisonBurch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1520-1530, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Proceedings of the Thirty-first Conference on Neural Information Processing Systems, Long Beach, California, December 2017. Curran Associates, Inc.

[12] Kris Cao. What is the best recipe for character-level encoder-only modelling? In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5924-5938, Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Clara Vania, Andreas Grivas, and Adam Lopez. What do characterlevel models learn about morphology? the case of dependency parsing. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2573-2583, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[14] Rik van Noord, Antonio Toral, and Johan Bos. Character-level representations improve DRS-based semantic parsing even in the age of BERT. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4587-4603, Online, November 2020. Association for Computational Linguistics.

[15] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online. Zenodo, 2013. Available online at https://wals. info, Accessed on January 12, 2024.

[16] Ximena Gutierrez-Vasques, Christian Bentz, and Tanja Samardžić. Languages Through the Looking Glass of BPE Compression. Computational Linguistics, pp. 1-59, 102023.

[17] Joakim Nivre. Algorithms for deterministic incremental dependency parsing. Computational Linguistics, Vol. 34, No. 4, pp. 513-553, 2008.

[18] Marco Kuhlmann, Carlos Gómez-Rodríguez, and Giorgio Satta. Dynamic programming algorithms for transition-based dependency parsers. In Dekang Lin, Yuji Matsumoto, and Rada Mihalcea, editors, Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 673-682, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[19] Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Yoav Goldberg, Jan Hajič, Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal Dependencies v1: A multilingual treebank collection. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Sara Goggi, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Helene Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1659-1666, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

## A 言語の詳細と実験結果の数値

表 2 に, 本研究で使用した言語の詳細と実験結果の数値を示す。

## B ハイパーパラメータの詳細

表 3 に各種ハイパーパラメータを示す。基本的に先行研究 $[1,2]$ で提示された値を使用する。

表 2 言語名, ISO 639 言語コード，文字の体系と種類,品詞タグ付け (POS) と依存構造解析 (DEP) の影響度。表 3 各種ハイパーパラメータ。POS は品詞タグ付けでの，DEP は依存構造解析での値を示す。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# サブワード系列の変化が固有表現抽出に与える影響の調査

辻 航平 1 平岡 達也 ${ }^{2}$ 鄭 育昌 1,2 岩倉 友哉 1,2
1 奈良先端科学技術大学院大学 2 富士通株式会社
tusji.kohei.tl1@naist.ac.jp
\{hiraoka.tatsuya, cheng.yuchang, iwakura. tomoya\}@fujitsu.com

## 概要

サブワード正則化によって，複数の分割結果を考慮することで，翻訳や文書分類タスクで精度の向上が得られている.しかし，複数のサブワード系列を用いた推論の調査はあまり行われてはいない。本稿では，固有表現抽出において，複数のサブワード系列から得られた推論結果と本来の推論結果との関係を調査した結果を報告する．結果として，サブワー ド分割に依らずに一致した推論結果を多く得られていた文はそうでない文よりも精度が良いことが確認でき，モデル間で比較した場合，サブワード分割に依らない推論ができているモデルほど精度が上がることが確認できた。また，固有表現抽出においてもサブワード正則化を用いた単一モデルアンサンブルにより精度を向上させる余地があることも分かった.

## 1 はじめに

サブワード分割 $[1,2,3]$ は近年の自然言語処理で広く利用されている手法であり，単語をより細かいサブワードの列として扱うことで未知語や低頻度語の抑制，辞書数の制限などが行える. しかし，サブワード分割は学習時のデータに対して統計的に処理するため，推論時に出現する単語のサブワード系列が学習時に多く学習したサブワードの列になるとは限らない。

そこで，複数のサブワード分割を用いるサブワー ド正則化が研究されている. サブワード正則化は,単一の文章から複数のサブワード系列を生成し学習することで，推論時に新規のサブワードや系列が出現することを低減させる. 図 1を例にすると，通常の学習では Tom / has と分割されてモデルに入力されるところ, Tom / ha/ や T / om / has のようなサブワード分割についても学習を行う.

ユニグラム言語モデルを用いたサブワード正則

図 1: 複数のサブワード系列を用いて単一モデルから複数の出力を取得する例

化 [3] は，n-best のサブワード系列を取得し，学習のイテレーションごとに用いるサブワード系列を変更することで，モデルをよりロバストにするための手法である. しかしながら，ユニグラム言語モデルと異なり，サブワード正則化を用いるために必要な n-best のサブワード候補を尤度に基づいて取得する手法は，BERT [4] などで用いられている wordpiece [1] や，RoBERTa [5] などで用いられているバイトペア符号化（Byte Pair Encoding，以下 BPE）[2]では利用できない。そこで，wordpiece に対しては最長一致候補を単語ごとにランダムに棄却することで複数のサブワード系列を取得する MaxMatch-Dropout [6] が，BPE に対しては結合時にランダムに結合を行わないことで複数のサブワード系列を取得する BPE-Dropout [7] が提案されている.

また，図 1 のようにサブワード正則化によって複数の出力を得た場合でも，サブワード分割前の文は同一であることから，同一文からの異なる分割結果に対して，予測分布の差を小さくするように学習する手法 [8] や，推論時にもサブワード正則化を用いることで単一モデルから複数の出力を取得し，それらをアンサンブルすることで単一モデルアンサンブルを行う手法 [9] も研究されている.

しかしながら，先行研究では，複数のサブワードを用いた精度改善手法が主であり，異なるサブワー ドに対する出力への影響調査は深く行われていな

(a) 全データに対しての結果

(b) 10 種類以下に絞った結果

図 2: ラベル列の種類数と 1-best の F1 スコアの関係. 折れ線グラフが F1 スコア，ヒストグラムが文の数を表している.

い. 本稿では，サブワード正則化によって得られる複数のサブワード系列を同一モデルに入力した際の推論結果に対して調査を行うことで，サブワード系列の変化と推論結果の関係の調査と今後の精度改善に向けた議論を行う.

先行研究 $[3,7,6,9]$ では, サブワード正則化は, ニューラル機械翻訳タスク，文書分類タスクといった生成，分類タスクに対して用いられてきた. しかしながら，本稿では，サブワード系列の変化と推論結果の関係を明らかにする目的から，抽出タスクである固有表現抽出（Named Entity Recognition, 以下 NER）が適していると考え，調査対象とする.

## 2 実験設定

## 2.1 データセット

CoNLL-2003 [10] および，CoNLL-2003 と同様の定義で 2020 年の記事で新しく作成されたテスト用データセット CoNLL++ [11] を用いた. 学習には CoNLL-2003 の訓練データを，評価には，CoNLL2003 の開発用データおよび評価データ, CoNLL++ を用いた。

## 2.2 推論方法

本稿ではサブワード系列の変化が推論に与える影響を調べるため，推論時にサブワード正則化を適用する。

推論には，CoNLL-2003 の訓練データで fine-tuning した BERT BASE [4], BERT $_{\text {LARGE [4], }}$ [oBERTa ${ }_{B A S E}$ [5], RoBERTa $_{\text {LARGE [5], LUKE }}^{\text {LARGE [12] を用いた. この }}$ とき, LUKE 以外のモデルはエポック数 20 , バッチサイズ 32, 学習率 5e-5 (RoBERTa ${ }_{\text {LARGE }}$ のみ 1e-5), weight decay 0.01 で fine-tuning した. LUKE について
は Hugging Face 上に公開されている fine-tuning 済みモデル1）を利用した．また，LUKE 以外の 4 モデルに対しては同様のハイパーパラメータでサブワー ド正則化を用いて fine-tuning したものも用いた. このとき，サブワード正則化は，BERT に対しては MaxMatch-Dropout (MMD) [6] を，RoBERTa には BPE-Dropout (BD) [7]をそれぞれ利用し，ハイパー パラメータ棄却率 $\mathrm{p}=0.1$ および 0.3 で学習した.

学習したモデルを用いてテストデータそれぞれに対してサブワード正則化なしの推論 1 回とサブワー ド正則化ありの推論 100 回の計 101 回の推論を行った. このとき，サブワード正則化なしの推論 1 回を 1-best とする.

## 2.3 評価方法

各文で得られた 101 個の推論で出現したラベル列の種類数と，1-best の文ごとの F1 スコアの関係を調査した. ラベル列の種類数について図 1 を例に説明すると， 3 種類のサブワード系列を入力に 3 つの出力を得たとき，そのうち 2 つが同じ B-PER O... というラベル列で，残りの 1 つが B-ORG O... というラべル列だったため，この文のラベル列の種類数は 2 種類になる.

F1 スコアは seqeval2)を用いて計算した. seqeval において正解している O ラベルは計算から省かれる. 本調査では 1 文ごとの F1 スコアを計算するため，正解ラベルと推論ラベルがどちらもすべて O ラベルの場合があり，このとき seqeval では F1 スコアが得られない.この場合，調査対象から除いた.

表 1: 各モデルの各データセットでの 1-best の文ごとの F1 スコアとラベル列の平均種類数および， 101 個の推論がすべて一致していた割合 (一致率)。vanilla はサブワード正則化なしで学習したモデル。

## 3 実験結果

## 3.1 種類数と F1 スコアの関係

図 2 に RoBERTaLARGE モデルでの実験結果を示す. どちらの図もラベル列の種類数に対しての，それぞれその種類数だった文の 1-best の平均 F1 スコア（折れ線グラフ）とその種類数だった文の数（ヒストグラム）である．左図はすべてデータセットに対する結果であり，種類数が多くなると，文の数も減り，平均 F1 スコアが安定していない. そこで，観測数がそれなりに得られる種類数が 10 種類以下を対象とした調査も行った. 図 2 の右図から，ラべル列の種類数が 10 種類以下の範囲では，種類数が少ないほど，つまり，一致した出力結果が得られているほど，平均 F1 スコアが上がっていることが確認できる。

## 3.2 モデル間の評価

3.1 節で単一モデル内で異なる文を比較した際に推論で表れたラベル列の種類数が少ないほど平均 F1 スコアが上がっていることが確認できた. 本節では異なるモデル間で比較をすることで，一致した出力と精度の関係を調査する。

それぞれのモデルに対して，各データセット全体での 1-best の F1 スコアとラベル列の平均種類数および，101 個の推論がすべて一致していた割合（ラベル列の種類数が 1 だったデータの割合）を示したものが表 1 である.

表 1 から，ほとんどの場合でサブワード正則化による精度の変化は, モデルの違いによる精度の変化
よりも小さいの対して，サブワード正則化を用いた推論は用いていない推論よりも一致率が大きく上昇し，平均種類数は大きく減少していることがわかる.

## 3.3 アンサンブルモデル

翻訳タスクにおいて，サブワード正則化によって得られた複数の推論結果をアンサンブルすることで精度が向上したことが報告されている [9]. そこで，実験で取得した推論 101 個を用いて，最も多く推論されたラベルを選択する多数決によるアンサンブルに加えて，複数推論結果を用いた際に出せる精度の上限を調べるために，ラベル単位で最も良い結果になるように選択した上界を表 2 に示す.

表 2 の多数決の結果では一部精度向上がみられ， また，上界の結果からより高い精度が得られる見込みも得られた。

## 4 考察

## 4.1 ラベル数と F1 スコアの関係

3.1 節では出力ラベル列の種類数が少ないほど F1 スコアが高くなりやすいことを報告した。ここで， ラベル列の種類数は 1 文のラベル数が少ないほど，取れる種類数が減るため少なくなりやすい。このとき，ラベル数が少ない文の F1 スコアが高いと，ラベル列の種類数と平均 F1 スコアは疑似相関となってしまう．そこで，各文のラベル数と F1 スコアの関係を調べたものが図 3 になる。図の直線は回帰直線であり，その傾きがわずかに正であることから， ラベル数が少ないほどが F1 スコアが高くなりやす
表 2: 各モデルでの単独モデルアンサンブルの結果 (F1 値). 括弧内は 1-best との差. 太字は 1-best より精度が改善しているもの.

図 3: 1 文におけるラベルの数とその文の RoBERTaLARGE モデルの 1-best の F1 スコアの関係

いとは言えない.

## 4.2 アンサンブルモデル

3.3 節では単一モデルアンサンブルによる精度を示した. 多数決法では最大で+0.40 ポイントの改善がみられ，合計で 22 件が改善しているものの，ほとんどが $\pm 0.2$ ポイント以内に収まっており，残りの 17 件では低下していた. さらに，上界の結果ではどのモデルも少なくとも 1.5 ポイントは上昇できる可能性があるため, 複数のサブワード系列を用いた推論は NER において精度を向上させる余地があることがわかった.

また，ほとんどのモデルにおいて，サブワード正則化のハイパーパラメータを上げるほど上界のスコアが減少している. これは表 1 の一致率からわかるように，サブワード正則化によってほとんどの出力が同じになっているため，サブワード正則化なしの場合に少数のサブワード系列でのみ得られていた推論結果が得られなくなっているためだと思われる.

## 4.3 サブワード正則化での学習

3.2 節の結果より，サブワード正則化を行うことで通常よりも多くの文に対して一致した出力を得ることは可能になるものの，モデルの精度はあまり改善していない. しかし，サブワード正則化を行っていないモデル同士を比べた際には，ほとんどの場合で一致率が高いモデルのほうが精度が高くなっている. そのため，現在のサブワード正則化とは異なる手法を用いて一致した出力の取得を目指すことで， NER の精度を上げることができる可能性がある.

## 5 おわりに

NER において，サブワード分割に依らない予測結果が得られた場合，その結果が正しい可能性は，得られなかった場合よりも高いことが示唆された. モデル間で比較を行った場合，サブワード分割に依らない推論ができているモデルほど精度が上がることが確認できたが，サブワード正則化を用いて学習することでサブワード分割に依らない推論結果を得た場合には精度の改善はほとんど見られないことも示された。また，単純な多数決でも精度が改善する場合も多く，上界の結果より，複数のサブワード系列を用いることで精度を向上させる余地があることも分かった. これらの結果から，今後は既存のサブワード正則化とは異なる方法で，サブワード分割に依らない推論ができる手法や，多数決よりも良いアンサンブル手法について研究を行っていく.

## 参考文献

[1] Xinying Song, Alex Salcianu, Yang Song, Dave Dopson, and Denny Zhou. Fast WordPiece tokenization. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2089-2103, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Iryna Gurevych and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[6] Tatsuya Hiraoka. MaxMatch-dropout: Subword regularization for WordPiece. In Nicoletta Calzolari, Chu-Ren Huang, Hansaem Kim, James Pustejovsky, Leo Wanner, Key-Sun Choi, Pum-Mo Ryu, Hsin-Hsi Chen, Lucia Donatelli, Heng Ji, Sadao Kurohashi, Patrizia Paggio, Nianwen Xue, Seokhwan Kim, Younggyun Hahm, Zhong He, Tony Kyungil Lee, Enrico Santus, Francis Bond, and Seung-Hoon Na, editors, Proceedings of the 29th International Conference on Computational Linguistics, pp. 4864-4872, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[7] Ivan Provilkov, Dmitrii Emelianenko, and Elena Voita. BPE-dropout: Simple and effective subword regularization. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online, July 2020. Association for Computational Linguistics.
[8] Xinyi Wang, Sebastian Ruder, and Graham Neubig. Multiview subword regularization. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 473-482, Online, June 2021. Association for Computational Linguistics.

[9] Sho Takase, Tatsuya Hiraoka, and Naoaki Okazaki. Single model ensemble for subword regularized models in low-resource machine translation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2536-2541, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[10] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[11] Shuheng Liu and Alan Ritter. Do CoNLL-2003 named entity taggers still work well in 2023? In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8254-8271, Toronto, Canada, July 2023. Association for Computational Linguistics.

[12] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.


# 木構造自己注意機構を用いた教師なし統語構造解析

成田百花 ${ }^{1}$ 持橋大地 ${ }^{2}$ 小林一郎 1
1 お茶の水女子大学大学院 2 統計数理研究所
\{g1820529,koba\}@is.ocha.ac.jp daichi@ism.ac.jp

## 概要

X (旧 Twitter) などのソーシャルメディアでは，口語に近い文体で文章が記述される傾向にある。こうした文は文法規則にとらわれない自由な文体で，構文構造について従来のルールベースの手法では解析することができない文が数多く存在する．そこで本研究では，実データの例としてXコーパスを対象に，深層学習を用いて統語構造解析を行う教師なし学習モデルを提案する. 提案手法では, 条件付き確率場（CRF）による構文木の解析精度の向上を促すよう，Transformerの自己注意機構を入力文の統語構造を反映するように変更したエンコーダを用いる.提案モデルを用いることで，従来のモデルと比較してXコーパスにおける構文解析精度が向上することが確認された。

## 1 はじめに

様々な文字媒体が存在する今日において，それに伴い様々な文体を持つ文が存在している。例えば， X（旧 Twitter）における文は，これまで統語構造解析の主な対象となっていた英字新聞コーパスなどと比べて，文法規則にとらわれない自由な文体を持つことが挙げられる. 文法規則にとらわれないコー パスでは，従来の構文規則によるルールベースの手法を用いるだけでは，構文構造を解析することができない文が数多く存在することとなる。一方で， Transformer [1] は高い汎用性を持つことから機械翻訳にとどまらず，様々な自然言語処理課題に対して採用され，高い成果を挙げている. 自己注意機構とは，文中の各単語間の関連性を表すスコアを算出するもので，潜在的に統語構造情報を捉えている可能性が考えられることから，これを工夫した統語構造解析手法が提案されている [2] [3]. 深層学習を統語構造解析に用いることで，文を連続值の情報であるべクトルで扱うことが可能となり，従来の文法規則のマッチングによる処理とは違い，より頑健な処理を実現できるという利点がある. そこで本研究では，Xコーパスをはじめとするソーシャルメディアのような実データに対応するような自己注意機構を用いた教師なし統語構造解析モデルを提案する.

## 2 関連研究

Recurrent Neural Network Grammar(RNNG) [4]は, 文とその句構造をトップダウン，また左から右に同時に生成する生成モデルの一つである. Unsupervised Recurrent Neural Network Grammars（URNNG）[5] は RNNG の，アノテーションされた構文木が必要であるという問題点に着目して開発された教師なし学習モデルである. URNNG は，CRF 構文解析器を用いた推論ネットワークと，Stack LSTM [6] と Tree LSTM [7] [8] を用いた生成モデルを組み合わせたアーキテクチャを持ち，変分推論 [9] を用いて学習される．推論ネットワークの CRF には，双方向 LSTM を用いて抽出された特徴量が入力される。しかし, 双方向 LSTM の出力には統語構造情報は明示的には反映されていないため, CRF 構文解析器への入力としてはまだ改善の余地がある．そこで本研究では，より確かな統語構造情報を反映するような制約を用いて抽出した特徴量を CRF 構文解析器へ与える手法を提案する。

自己注意機構を用いた教師なし統語構造解析モデルとして, Wang ら [3] は Tree Transformerを提案している. Tree Transformer は Transformer のエンコーダを用いたモデルで，自己注意機構に入力文の統語構造情報を反映するように制約を加える。エンコーダは，BERT [10] の学習タスクである，[Mask]トークンに置き換えられた文中の単語を予測する Masked Language Modeling (MLM) により教師なし学習される.しかし，このMLMによる学習は，エンコーダのみを学習の対象としているため，デコーダから出力される構文木について予測をするのではなく，エンコーダからの出力を用いた [Mask] トークンの予測をしており，統語構造の学習が十分とは言えな

図 1: URNNG 概要図. (左) CRF 構文解析器を用いた推論ネットワーク（右）RNNG を用いた生成モデル

い. よって，本研究はエンコーダのみの学習ではなく，エンコーダとデコーダ両方をアーキテクチャに持った教師なし統語構造解析モデルを提案する.

## 3 基本モデル

本節では，提案モデルのベースとなる URNNG [5] のアーキテクチャについて説明する。各単語を $x$,長さ $T$ の文を $\mathrm{x}=\left[x_{1}, \ldots, x_{T}\right]$, 長さ $T$ の文に対するラベルなし二分木を $\mathrm{z} \in \mathscr{I}_{T}$ として，概要図を図 1 に示した. 図の左側の推論ネットワークでは，双方向 LSTM によって抽出された特徴量を用いて, CRF 構文解析器で図の点線に示す二分木の分布を生成する.また，図の右側の生成モデルは RNNG [4] であり, Stack LSTM [6] と Tree LSTM [7] [8] で構成され,入力文を復元するように文の生成を行う.

## 3.1 変分推論

URNNG は変分推論 [9] によって, 事後分布 $q_{\phi}(\mathrm{z} \mid \mathrm{x})$ を学習可能なパラメータ $\phi$ を用いて定義する. 学習は以下の式 (1)を最適化することを目的とする.

$
\max _{\theta, \phi} \log p_{\theta}(\mathrm{x})-\mathrm{KL}\left[q_{\phi}(\mathrm{z} \mid \mathrm{x}) \| p_{\phi}(\mathrm{z} \mid \mathrm{x})\right]
$

はじめに，事後分布 $q_{\phi}(\mathrm{z} \mid \mathrm{x})$ を生成する $\mathrm{CRF}$ 構文解析器への入力を, 入力文の単語埋め込みと位置埋め込み加えたべクトルに対する双方向 LSTM の出力から得る. 双方向 LSTM の出力より前方表現 $\left[\vec{h}_{1}, \ldots, \vec{h}_{T}\right]$ と後方表現 $\left[\overleftarrow{h}_{1}, \ldots, \overleftarrow{h}_{T}\right]$ を隠孔表現として， $x_{i}$ から $x_{j}$ のスパンスコア $s_{i, j}$ は式 (2)で表さ
れる。

$
s_{i, j}=\operatorname{MLP}\left(\left[\vec{h}_{1}, \ldots, \vec{h}_{T} ; \overleftarrow{h}_{1}, \ldots, \overleftarrow{h}_{T}\right]\right.
$

図 1 内の B は構文木のバイナリ行列であり， $x_{i}$ と $x_{j}$ が同じ構成要素に属するときに $\mathrm{B}_{i, j}=1$, 属さないときに $\mathrm{B}_{i, j}=0$ を表す. そして, CRF 構文解析器がギブス分布によりバイナリ構文木の分布を分割関数 (3)を用いて，式 (4)のように定義する.

$
\begin{aligned}
Z_{T}(\mathrm{x}) & =\sum_{\mathrm{B}^{\prime} \in \mathrm{B}_{T}} \exp \left(\sum_{i \leq j} \mathrm{~B}_{i j}^{\prime} s_{i j}\right) \\
q_{\phi}(\mathrm{B} \mid \mathrm{x}) & =\frac{1}{Z_{T}(\mathrm{x})} \exp \left(\sum_{i \leq j} \mathrm{~B}_{i j} s_{i j}\right)
\end{aligned}
$

最後に，双射影 $f: \mathrm{B}_{T} \rightarrow Z_{T}$ より， $q_{\phi}(\mathrm{z} \mid \mathrm{x}) \triangleq$ $q_{\phi}\left(f^{-1}(\mathrm{z}) \mid \mathrm{x}\right)$ から事後分布が定義される.

## 3.2 文の生成

URNNG の生成モデルでは，パラメータ $\theta$ を用いて同時確率 $p_{\theta}(\mathrm{x}, \mathrm{z})$ を定義する。モデルは，スタック表現を利用して SHIFT または REDUCE のアクションをサンプリングする. スタックの各要素は, Stack LSTM の隠れ状態と入力ベクトルのペアで構成され，初期スタックを $S=[(0,0)]$, 一番上の要素を $\operatorname{top}(s)=\left(h_{\text {prev }}, g_{\text {prev }}\right)$ として表す. 各ステップのアクション $z_{t}$ （SHIFT または REDUCE）は，式 (5) よりベルヌーイ分布からサンプリングされる.

$
z_{t} \sim \operatorname{Bernoulli}\left(p_{t}\right), \quad p_{t}=\sigma\left(\mathrm{w}^{\top} h_{\text {prev }}+b\right)
$
1. $z_{t}=0$ （SHIFT）の場合

はじめに，式 (6) で表されるソフトマックス関数を用いたカテゴリ分布より終端記号（単語） を生成する。

$
x \sim \operatorname{softmax}\left(\mathrm{Wh}_{\text {prev }}+\mathrm{b}\right)
$

そして，生成された単語 $x$ は Stack LSTM を用いてスタック上にシフトされる。
2. $z_{t}=1$ （REDUCE）の場合

スタックから最後の要素を 2 つ取り出し, Tree LSTMを用いて組み合わせ，新しい表現を得る。

生成モデルのパラメータ $\theta$ は, Stack LSTM と Tree LSTM のパラメータである.

## 4 提案モデル

URNNG をべースに，双方向 LSTM の代わりに Tree-Transformer [3] の木構造自己注意機構 (4.1 節) を用いたモデルを提案する。また，木構造自己注意

図 2:（左）木構造自己注意機構を用いたエンコー ダ.ブロックは大力文から生成された constituent を表している。層を登るにつれ constituent はマージされ徐々に大きくなる。（右）エンコーダ各層の構成.

機構を用いるにあたり，スパンスコアの算出方法についても変更を加える (4.2 節).

## 4.1 木構造自己注意機構

URNNG のエンコーダ部がより確かな統語構造情報を抽出するために, 木構造自己注意機構を導入する. 木構造自己注意機構は，自己注意機構に隣り合う単語間の関連性を捉える“Constituent Attention モジュール”を導入している。“Constituent Attention モジュール”では， $\mathrm{N}$ 個の単語を含む文の各単語に対して，文中の句または節（constituent）の区切りを推測する確率 $a=\left.\{a_{1}, \ldots a_{N}\right.\}$ を生成する. 確率 $a$ を用いて, 同じ constituent に属する単語同士のみで自己注意機構を作用させる制約 “Constituent Priors $C_{i, j}$ ”が生成される. “Constituent Priors $C_{i, j}$ ”は, 式 (7) で表される, 文中の $i$ 番目の単語と $j$ 番目の単語が同じ constituent に含まれるかの確率である.

$
C_{i, j}=\prod_{k=i}^{j-1} a_{k}
$

上層に移るにつれ constituent は隣同士でマージされて徐々に大きくなり，エンコーダ内部で入力文の構文木を形作る (図 2). 式 (7)を用いて，木構造自己注意機構は式 (8)のように求められる.

$
\operatorname{Attention}(Q, K, V)_{\text {tree }}=C \odot \operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

木構造自己注意機構を用いることで，通常の自己注意機構よりも統語構造情報を反映した特徵量を抽出することができる. これにより, CRF 構文解析器が効率よく文中に含まれる句または節を捉えることを可能とする.

## 4.2 スパンスコア

URNNG では, CRF 構文解析器に入力するスパンスコアを双方向 LSTM の出力より前方表現表 1: 事前処理後のXコーパスの例文.

where are @ person and @ person nooo i dont want to get out of bed what is ur great m0ment in cricket in the bus with my twins @url there 's me

$\left[\vec{h}_{1}, \ldots, \vec{h}_{T}\right]$ と後方表現 $\left[\overleftarrow{h}_{1}, \ldots, \overleftarrow{h}_{T}\right]$ を隠れ表現として用いていた. しかし，提案モデルでは双方向 LSTM とは異なり，木構造自己注意機構により構文情報を含んだべクトルを既に得ていることから，前方表現と後方表現を使った隠れ表現は不要であると考えられる。そこで提案モデルでは，式 (9) のように木構造自己注意機構から出力されたべクトルをそのまま用いることによってスパンスコア $s_{i j}$ を表す.

$
s_{i, j}=\operatorname{MLP}\left(\left[h_{\text {tree }} ; h_{\text {tree }}\right]\right)
$

$h_{\text {tree }}$ は木構造注意機構の出力を指す.

## 5 実験

本節では，Xコーパスの作成手順を示し，4章で提案したモデルの性能および有効性を Xコーパスを用いた実験により検証する．双方向 LSTMを用いた通常の URNNG と，また木構造自己注意機構を用いたスパンスコアを変更する前のモデル (URNNG+Tree) と，提案モデル（URNNG+Tree+Span）で構文解析結果の比較を行った.

## $5.1 \mathrm{X$ コーパス}

英語で記述された Xコーパスを用いる. 事前処理を行う前の実データを図 4 に示す。実データを以下の手順で事前処理を行い，コーパスを作成する.

・複数行に改行された文を削除

・本文前後のシンボルを削除

・文の先頭にあるメンションを削除

・メンション、URLを@person, @URLに置換

・絵文字を含む文を削除

・ハッシュタグを\#hashに置換

・ 1 単語もしくは 2 単語で構成される文を削除

・同じ文字の連続を 3 文字に制約

・全て小文字にする

・文章を文に分割

事前処理を行った後のデータに含まれる例文を表 1 に示す. さらに学習効率を上げるために事前処理を行った実データに対して，文に含まれる単語数の制限を加える。コーパスに用いられる文は $3 \sim 15$単語で構成されるものに限定し，それぞれ訓練デー

図 3: 双方向 LSTM を用いた通常の URNNG，木構造自己注意機構を用いたスパンスコアを変更する前のモデル (URNNG+Tree), 提案モデル （URNNG+Tree+Span）におけるそれぞれの構文解析結果例.

タ 26,987 , 評価データ 4,475 であり，単語数ごとのデータ数を表 10 に示す.

## 5.2 実験設定

$\mathrm{X}$ コーパスは教師データを持たないため，実験では予測される構文木が正しく解析されているか目視によって評価を行う. 大力文の単語埋め込みを作成する際に使用する Vocabulary には，コーパスに 2 回以上現れる単語のみを登録し，Vocabulary 数は 7,330 となった. 学習の際, Epochを 15, batch 数を 16 とする. また，提案モデルにおいて木構造自己注意機構を 10 層，Multi-Head 数を 8 に設定した.

## 5.3 実験結果

双方向LSTMを用いた通常の URNNG, 木構造自己注意機構を用いたスパンスコアを変更する前のモデル (URNNG+Tree), 提案モデル (URNNG+Tree+Span) それぞれの実験結果を示し, 考察を行う. 解析結果の例を図 3 と付録に示す. 解析結果の描画には Syntax Tree Generator ${ }^{1)}$ を用いた.

## 5.3.1 URNNG

3〜7 単語の文に対して，ほとんどの文が全ての単語の間で括弧が挿入されるような解析（図 3参照） が行われていた. これは、双方向 LSTM が少ない単語の文の依存関係を正しく抽出することができておらず，モデルのパラメータがうまく学習できていないと考えられる．8 単語以上の文に対しても，全て
の単語の間で括弧が挿入されるような解析が多くの文において散見され，課題の残る結果となった。

## 5.3.2 URNNG+Tree

URNNG と比べて数は減ったが，まだ 3７単語の文おいて全ての単語の間で括弧が插入されるような解析が行われる文が多く見られる結果となった。 しかし，構文木全体として正しい解析は行われていないものの，URNNGよりも部分的に統語構造を捉えようとするような解析が見られた. また， 10 単語以上の長い文に対しては正しい解析が散見され， URNNG と比べて解析精度が向上したことが確認できたが，全ての単語の間で括弧が挿入されるような解析が行われる結果もまだ多く見られた。

## 5.3.3 URNNG+Tree+Span

3〜7 単語の文おいて全ての単語の間で括弧が挿入されるような解析が行われる文の数が URNNG, URNNG+Tree と比べてかなり減少し，多くの文で正しく構文木を解析することができていた. 10 単語以上の長い文に対しても，全ての単語の間で括弧が挿入されるような解析が行われる文の数は減少し，部分的に統語構造を正しく捉えているような解析がかなり増加した。これによって，木構造自己注意機構は $\mathrm{CRF}$ 構文解析器のパフォーマンスを向上させ, さらに，スパンスコアを変更するこで変更前では重複していた統語構造情報が正しく CRF 構文解析器へ入力されたことが考えられる。

## 6 まとめ

本論文では，Xコーパスを解析する自己注意機構を用いた教師なし統語構造解析モデルを提案した.木構造自己注意機構を用いることで，CRF 構文解析器のパフォーマンスを向上させ，従来の双方向 LSTM を用いたモデルを上回る結果を実験により確認した。加えて，スパンスコアの算出方法を変更することにより，より正しい統語構造情報を CRF 構文解析器へ入力することができることも実験により示された. 今後の展望として, 入力文の単語埋め込み表現を BERTを用いて得たり，既存の構文解析データ Penn Tree Bankを用いた教師あり学習と組み合わせた半教師あり学習など，モデルの更なる性能向上に取り組みたい.

1) http://mshang.ca/syntree/

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 05521$ の助成を受けたものです.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proc. of the 31st NIPS, 2017.

[2] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Yau-Shian Wang, Hung yi Lee, and Yun-Nung (Vivian) Chen. Tree transformer: Integrating tree structures into self-attention. In EMNLP, 2019.

[4] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. CoRR, Vol. abs/1602.07776, , 2016

[5] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised recurrent neural network grammars. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Chris Dyer, Miguel Ballesteros, Wang Ling, Austin Matthews, and Noah A. Smith. Transition-based dependency parsing with stack long short-term memory. In Chengqing Zong and Michael Strube, editors, Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 334-343, Beijing, China, July 2015. Association for Computational Linguistics.

[7] Kai Sheng Tai, Richard Socher, and Christopher D. Manning. Improved semantic representations from tree-structured long short-term memory networks. In Chengqing Zong and Michael Strube, editors, Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566, Beijing, China, July 2015. Association for Computational Linguistics.

[8] Xiaodan Zhu, Parinaz Sobhani, and Hongyu Guo. Long short-term memory over tree structures. CoRR, Vol. abs/1503.04881, , 2015.

[9] Diederik P Kingma and Max Welling. Auto-encoding variational bayes, 2022.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 事前処理前の実データ

<tweet from="asvparke">

Noooo I dont want to get out of bed !!! : (

</tweet>

<tweet from="genohsis">

arealistbalti princess probs

</tweet>

<tweet from="NikolaWirkus">

@MariieBaumann lmao this was done by you? http://t.co/gloJRoszl8 </tweet>

<tweet from="_KayxJay">

@YouCraveTati_ thank you Tati !!

</tweet>

<tweet from="DatprettyMafaca">
Good Morning a Candy N Vodka

図 4: 事前処理前の実データ.

図 5: Xコーパスに含まれる文の単語数による内訳.

（上）訓練データ。（下）評価データ.

## C 構文解析結果例

左から双方向 LSTM を用いた通常の URNNG，木構造自己注意機構を用いたスパンスコアを変更する前のモデル (URNNG+Tree), 提案モデル （URNNG+Tree+Span）におけるそれぞれの構文解析結果例を示す.

図 6: 5 単語の文における構文解析結果例.

図 7: 6 単語の文における構文解析結果例.

図 8: 7 単語の文における構文解析結果例.

図 9: 10 単語の文における構文解析結果例.

図 10: 12 単語の文における構文解析結果例.


# 系列ラベリングデータにおける CutMIX によるデータ拡張

田村光太郎
株式会社ユーザベース
koutarou.tamura@uzabase.com
k. tamura. phd@gmail . com

## 概要

固有表現抽出モデルを構築するにあたり，訓練データとして，固有表現の位置をアノテーションする系列ラベリングデータが必要となる．しかし， データ構築の際のアノテーションでは，テキストの精読が必要となり，継続的に高品質な教師データを作成することが難しい．そのため，少量のデータを利用した効率的な学習として，テキストに対する拡張手法を適用することを試みた。ここではニュー ステキストにおける情報抽出タスクを題材として，画像データで利用される Mix-based の手法を適用しデータ拡張を行った。これらの拡張手法におけるデータ量やその強度での精度変化を調べ, モデルの精度向上を行った.

## 1 はじめに

固有表現抽出モデルの構築では，系列ラベリングされたデータが必要となる. しかし, 系列ラベリングのアノテーションでは，対象となるテキストの精読が必要であり，質の良い大規模なデータを構築することに，非常に大きなコストがかかる. そのため，モデル構築の初期では少量データでの効率のよい学習が求められ, その一つの方法としてデータ拡張がある.

テキストデータにおけるデータ拡張の方法は, ルールベースの置換操作 $[1,2,3,4]$, データを利用した合成 $[5,6,7,8,9]$ ，モデルによる生成 [10] の 3 つに分類される．その一つであるルールベースでの手法は，文章の一部を入れ替えることで意味情報にノイズを付加する基礎的な方法として主流となっている。これらは，少量データにおいて精度が有意に改善することが報告 [1] され，その有効性も認識されている。

最近では，画像認識タスクで利用される，Mixbased の拡張手法 [11] が，自然言語処理の領域でも応用 $[5,6,7,8,9]$ されている. 基本的な操作として,画像データにおける利用に類似して，2つのテキストデータを一定の比率で混ぜ合わせ，教師データにはないデータを合成する方法である。主には，文書分類タスクにおいて利用されている. テキストデー タにおいては，データにある 2 つの文章をある比率で分割し，つなぎ合わせる方法もあり，精度改善したことが報告 $[8,9]$ されている. しかし，文章を連結して拡張する方法はデータの半分は元データで構成されるため過学習の発生が懸念されること [8] や，逆に，多量のデータを同時に混ぜ合わせると，ラべルの足し合わせで過度な平滑化がおき，データの特徵が薄れてしまうことが懸念される。

しかしながら，固有表現抽出における系列ラベルがついたテキストデータにおいては，ラベル間の足し合わせは生じないため，多数のテキストの連結によるデータ拡張が有効であることが期待される。本研究では，これらの観点に基づきデータ拡張の手法を検討する。さらに，この拡張方法をニュース記事における情報抽出タスクに適用し，拡張の有効性を検証する。

第 1 章では，本研究の背景を述べた. 2 章では,関連する先行研究について，3 章では，提案する手法，4 章では利用するデータセットの詳細について述べる． 5 章では，有効性を検証するための実験設定を述べ，6 章ではその結果を，最終章では本研究をまとめる。

## 2 関連研究

## 2.1 Mix-based によるデータ拡張

Mix-based の手法は，画像データにおけるデータ拡張手法として，いくつかの方法が提案されている. 主流な方法として, MixUP[11]と CutMIX[12]があり，それらについて本研究と関連のある部分について簡単に説明する。

## MixUP

最も基本的な方法で, Zhang ら [11]により2017 年に提案された方法である. 1 件の拡張データは, 既存のデータにある 2 つの画像データ $x_{1}, x_{2}$ とそれに対応するラベル $y_{1}, y_{2}$ から作成される. 具体的には，選ばれた 2 つの画像データの数值情報を割合 $\lambda$, $1-\lambda$ で混ぜ合わせることで， 1 件の拡張データ $X, Y$ を得る。

$
\begin{aligned}
X & =\lambda x_{1}+(1-\lambda) x_{2} \\
Y & =\lambda y_{1}+(1-\lambda) y_{2}
\end{aligned}
$

ここで， $x_{i}$ は画像データを表す RGB のカラー行列や埋め込み表現などの数值情報, $y_{i}$ は分類ラベルの One-hot 表現のベクトルなどである.

自然言語処理においては Guo[5] や Sun ら [6] が適用を試みている。テキストの埋め込み表現における MixUP を行うことで，既存の分類タスクで精度が改善することを示している. また，固有表現抽出においても Wu ら [7] が精度の向上が見込まれることを報告している。一方で，菊田ら [9] は，これら MixUP の方法でデータ拡張を行う際に，文書の埋め込み表現を事前に作る必要があることから，モデルの学習プロセスの順序に課題があることを指摘している.

## CutMIX

画像の一部を切り出し, 別の画像をあてはめて合成するCutMix[12] と呼ばれるデータ拡張方法がある. テキストデータにおける CutMIX 手法のアナロジーとして，文章の単語やトークン列を分割し，異なる分割同士を連結する方法が提案 $[9,8]$ されている. 具体的には, 井上らは, 混合比率 $\lambda$ を Cut rate と読みかえ，データ $x_{1}$ の文頭から $\lambda$ の比率のトークンと，データ $x_{2}$ の文末から $1-\lambda$ の比率のトークンを取得し，双方から取得したトークン列を組み合わせることで拡張データを作成する方法を提案している. Cut rate によっては，拡張データの大半が元データと似ることになるため, 過学習の発生が懸念されることを言及しているが, 分類タスクの精度改善が一定程度期待できる結果を得ている.これは， CutMIX 手法がテキスト系タスクにおけるデータ拡張手法として有効であることを示唆している。

## 2.2 ニューステキストの情報抽出モデル

本研究では，拡張方法を適用する固有表現抽出夕スクの例として，ニュース記事における情報抽出を題材とする。著者ら [13] は，ニュース記事の情報抽出モデルとして，ニュース記事から組織名を固有表現として抽出するモデルを提案している. ニューステキストに IOBE 形式のラベルを付与した教師デー タを用い，先行研究でべースとされていたモデルである BERT から LUKE[14] に置き換えたものを利用する.ここでの LUKE は，トークナイザーを MeCab に変更し, 固有表現抽出タスクで単語境界をより自然な形でとらえるようにし，Wikipedia の 7 月 1 日時点の日本語記事ファイルで事前学習している [15]. この LUKE をべースとして, 最終層に CRF 層を接続する構造とした. ここでの CRF 層において， IOBE 形式における禁止遷移に関しては，遷移コストを-100 に設定している.

## 3 提案手法

テキストデータにおける Mix-based の手法では，埋め込み表現の足し合わせのほかに，文章が連結される形での合成方法が提案されていることに注目する. 特に，系列ラベルが付与されている文章の連結では，ラベル間の混合が生じないため, ラベルの足し合わせによる平滑化の懸念を避けられると考え，複数件のデータから拡張する次のような方法を拡張方法として提案する。

ここで，文は句点で区切られたもので，文が集まったものを文章とする.1つの文章に含まれる文の数の分布 $P(L)$ （以下，文数分布）と，全文章における $L$ 文で構成される文章が固有表現を含有する割合 $p_{0}(L)$ のもと，次の方法で拡張データを作る.

図 1 実データにおけるデータ拡張の方法の手順. (図中のテキストは架空の例)

## 実験設定

＼cjkstart元データの文章の特徴を反映する CutMIX 手法元データにおける $L$ 文の文章の固有表現の含有割合 $p_{0}(L)$ ，記事の文数分布 $P(L)$ を設定する.

・訓練データにおける文章データの全てのテキストを句点ごと，1 文ずつに分割する.
- 固有表現の含まれる文の集合 $M$ と固有表現の含まれない文の集合 $\bar{M}$ に分ける.

・文数分布 $P(L)$ に従う変数 $\mathrm{L}$ を決める.

・下記の確率 $p_{M}$ で集合 $M$ から，1- $p_{M}$ で集合 $\bar{M}$ から文を選択することを $L$ 回実施し，選ばれた文章を連結する。

$
p_{M}=1-\left(1-p_{0}(L)\right)^{1 / L}
$

このアルゴリズムによって，元データにおける 1 文章に含まれる文数の分布 $P(L)$ や $L$ 文の文章の固有表現の出現割合 $p_{0}(L)$ が保った拡張文が作られることになる. つまり, 元データと拡張データの特徴が類似したものになり，拡張データの混在によりモデルの傾向が変わらないことを期待するものである.

## 4 利用するデータ

本研究で利用するデータは，NewsPicks が取得した 2023 年 1 月〜6月までのニュース記事から，経済メディアを中心にサンプルした 1991 件の記事デー タである. 記事本文の長さ（文字数）は平均 801 字で，最長 6341 字となる記事もある. このため，アノテーションコストや学習時の特定の記事のテキスト量でバイアスが発生することを避けるため，主要な内容が記述されるタイトルと本文冒頭 10 文までの
テキストを利用する。この記事冒頭 10 文までのテキストに対して，系列ラベルを付与したデータを，本研究で利用する固有表現抽出の教師データとする. 固有表現抽出のための系列ラベルとして，単語が企業名であるかとその出現位置を付与している.

## 5 数値実験

元データ 1991 件のデータのうち 500 件を検証データとし， 1491 件を学習データとしてファインチューニングを行った. この学習データのデータ量を変え，拡張方式を適用することを 5 セット行っている.また，学習は 5 epoch 行い，モデルの入力で 512 トークンをこえる文章については，512 トークンを超えないように文章を当分割している。このデータについて，前章の記述のとおりの図 1 に例示したように拡張を行い，実際のデータに則した $p_{0}(L)$ ) と，文数分布 $P(L)$ を利用する. 最後に，元データの量に対し，拡張データの比率を表の割合で変えたときの混合データを学習の対象とする.

## 結果

検証データ 500 件に対して，各条件の精度（5セッ卜における平均）は表 1 のとおりとなった。各組み合わせに対して，固有表現の出現位置を正確に推論できたことをもとに正解とし，F 值を表に記載している。全体的に，少量データのときに精度の改善は大きいが，データ量の増大とともに精度改善の効果は薄れていくことが分かる．また，元データの量に依存して，適切な拡張データの量も変わってくる.特に，元データ量の大きいところでの精度向上の厳密な効果については検討の余地を残している.
表 1 各条件下における数値実験の結果. 数値は, $\mathrm{F} 1$ で 5 セット行ったものの平均をとっている.

} & & $25 \%$ & $50 \%$ & $75 \%$ & $100 \%$ \\

## 6 まとめと今後の課題

本研究では，ニュース記事中の組織名を抽出する固有表現抽出タスクに対して，Mix-based の手法をもとに文章を連結する拡張方式を提案し，モデルの精度改善が期待されることを検証した。

系列ラベルにおいては，データの合成による過度な平滑化をさけることができるため，元データに類似したデータの生成をさけることができることが示唆された. さらに，本提案手法では，拡張手法による元のテキストデータからの乘離を抑えることを検討し，元データの特徵を残したまま拡張する方法とした.それにより，精度改善が見込まれることが示唆され，本提案手法が固有表現におけるデータ拡張の方法として検討の余地があることが期待された.今後の課題として，与えられたデータセットに対し，適切な拡張手法やその強度，比率などを推定するため，テキストデータの構造と拡張手法の関係について調べていく.

## 参考文献

[1] X. Dai and H. Adel. An analysis of simple data augmentation for named entity recognition. In Conference: Proceedings of the 28th International Conference on Computational Linguistics, 2020.

[2] J. Wei and K. Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. In EMNLP-IJCNLP 2019 short paper, 2019.

[3] 大林弘明. データ拡張を用いた固有表現抽出の精度向上. 言語処理学会第 25 回年次大会発表論文集, 2019.

[4] 山崎智弘. 系列ラベリングタスクのための単純なデータ水増し. 言語処理学会第 29 回年次大会発表論文集, 2023 .

[5] et al. H. Guo. Augmenting data with mixup for sentence classification: An empirical study. In arXiv:1905.08941, 2019.

[6] et al. L. Sun. Mixup-transformer : Dynamic data augmentation for nlp tasks. In COLING 2020, 2020.

[7] et al. L. Wu. Robustself-augmentation for named entity recognition with meta reweighting. In NAACL 2022, 2022.
[8] 井上顧基ほか. Mixed-based データ拡張手法による文書評価問題に対する予測精度の向上. 第 37 回人工知能学会全国大会論文集, 2023.

[9]新納浩幸菊田尚樹. Bertを用いた文書分類タスクへの mix-up の適用. 第 27 回言語処理学会年次大会, 2021

[10] 田村光太郎. 疑似ニュース生成による固有表現抽出タスクのデータ拡張. 第 19 回 Web インテリジェンスとインタラクション研究会, 2023 .

[11] et al. H. Zhang. mixup: Beyond empirical risk minimization. In ICLR 2018, 2018.

[12] et al. S. Yun. Cutmix: Regularization strategy to train strong classifiers with localizable features. In arXiv:1905.04899.

[13] 田村光太郎, 北内啓, 高山温. 固有表現抽出によるニューステキスト内の企業名抽出. 人工知能学会全国大会論文集, 2023

[14] H. Shindo H. Takeda I. Yamada, A. Asai and Y. Matsumoto. Luke: Deep contextualized entity representations with entity-aware self-attention. pp. 6442-6454. Association for Computational Linguistics, 2020.

[15]（2023-01 閲覧）. https://huggingface.co/uzabase/lukejapanese-wordpiece-base.


# BPE を用いたトークナイザーの性能に対する, 言語・語彙数・ データセットの影響

中島大 野崎雄太 佐藤諒 麻場直喜 川村晋太郎
}

株式会社リコー デジタル戦略部

デジタル技術開発センター 言語 AI 開発室

\{dai.nakashima, yuta.nozaki1, ryo.sato4, naoki.asaba, shintaro.kawamura\}@jp.ricoh.com
## 概要

大規模言語モデル (Large Language Model: LLM)への入出力に使われているトークナイザーについて，下流タスクから評価した研究が複数行われているものの, タスク内容やモデルの種類など議論の難しい要素が非常に多く, 実際の開発では経験的な決め打ちによってトークナイザーを作成している場合が多いと推察する. そこで, 本研究ではトークナイザーの定量的な指標となる, 評価用テキストをトー クナイズしたときの 1 トークンあたりの平均文字数 (Length per Token: LPT) を複数の場合で調べた. 結果として, LPT は語彙数に対していずれの言語でも $\log$的に増加し,ただしその係数は言語特性を強く反映することが明らかとなった. また, 英語に比べて日本語の場合で特に LPT がデータセットのドメインに影響を受けることが明らかとなった。

## 1 はじめに

近年, LLM の研究・開発が盛んに行われている. その中でトークナイザーは LLM にテキストを入出力するための不可欠な要素である. 一方で, 複数の研究結果 $[1,2]$ から, トークナイザーの語彙数は下流夕スクに対して強く良く影響するものではないと判断できる. そのため, トークナイザーの語彙数を大幅に増やした LLM は主流ではなく, 現在は語彙数 32,000 程度のトークナイザーが広く用いられている.これは 16-bit に収まる值でもある $(<65,535)$. 例外として多言語モデルではより多くの語彙数が必要とされる. 実際に多言語モデルの Qwen[3] では語彙数 150,000となっており, 最も小さい7B モデルでは語彙数の影響を受けているパラメータが全体の $8.9 \%$ を占めている. また, LLM の学習に用いるテキストはトークナイザーによってトークン数が変わる. 以上のようにしてトークナイザー, 特にその語彙数は LLM の学習コストに影響を与える。

本研究ではそうした観点から，トークナイザーの性能評価として, 評価用テキストをトークナイズしたときの 1 トークンあたりの文字数 (LPT) を複数の場合で調べた. その結果について, 特に以下の 2 点に注目して議論する。

・語彙数・言語による影響

・データセットによる影響

## 1.1 Length per Token (LPT)

LPT は Characters per Token とも呼ばれ,トークナイザーの性能を定量的に評価する指標である. 与えられたテキストをトークナイズしたときに 1 トー クンあたり何文字であるかを表しており,テキストの文字数をトークン長で割った値である.これはテキストの圧縮比の逆数に相当する. これが大きいほどトークン化効率が良いと言え, LPT が高いほど固定されたトークン数で扱える文字数が増える, とも言い換えられる。ここで, LPT は学習に用いていない評価用のデータセットをトークナイズしたときの 1 トークンあたりの平均文字数であり，トークナイザーの語彙辞書内の語彙の平均文字数ではない. LPT は下流タスクの性能を表すものではないが,コストの面で LLM と直接関係している.

本研究ではトークナイザーの手法として Byte Pair Encoding (BPE) を採用している [4]. 他の類似手法として Unigram[5] も BPE と同等かそれ以上の性能を持つことが知られているが [6], 本研究では Llama[7] と同じ BPEを SentencePiece[8] で実装した。

## 2 語彙数・言語による影響

LPT が語彙数と正の相関を持つことは明らかだが, 語彙数を 2 倍にしても LPT が 2 倍になるわけで

図 1 言語ごとの語彙数と LPT. 青点線が英語, 赤点線が日本語, 緑点線が中国語の結果を表し, 各色の実線がその fit 結果を表す. fit は vocab size < 20000 で行い, そのパラメータは表 1 に示す.

表 1 フィットしたパラメータの値

English $11.7728 \quad 1634.19$

Japanese $245.88 \quad 4032.83$

Chinese $853.231 \quad 7520.37$

はない. また, LPT は言語によってその値が非常に大きく変化する. 例えば英語での典型的な LPT は 4 程度だが, 日本語では 2 程度である.ここでは, 語彙数と言語が,トークナイザーの性能にどのように影響するかを示す.

## 2.1 実験方法

日本語・中国語・英語について, Wikipedia のコー パスを用いてトークナイザーを作成した.このとき，日本語・中国語についてはデータ全体, 英語については全体から $3 \mathrm{~GB}$ 相当の行をランダムにサンプルし, そこから $98 \%$ を学習用, $2 \%$ を評価用として BPE の学習・評価を行った。

## 2.2 実験結果

図 1 は英語・日本語・中国語での語彙数 (vocab size) と LPT の関係を表しており, 実線はそれぞれの言語で, 5,000, 5,000, 9,000 から 20,000 までの範囲のみでフィットさせた. 図 1 より,いずれの言語でも語彙数に対して同様に LPT が $\log$ 的に増加していくことが分かり,

$
(\text { vocab size })=\left(N_{p c}\right)^{(L P T)}+N_{e x}
$

で非常によく fitできている.これは $N_{p c}$ の文字の組み合わせでほとんど全ての語彙が形成され, $N_{e x}$ が語彙に寄与しない低頻度の文字であるとしたときの LPT と vocab sizeの関係式である.この関係式は, character coverage $\sim 1$ のとき $L P T=1$ となる語彙数はコーパス内の文字の種類数とおよそ同じになることから

$
\text { vocab size }(\mathrm{LPT}=1) \text { 〜コーパス内の文字種 }
$

のように $L P T=1$ のときの語彙数が固定されていることと, 関係が $\log$ 的であることから決定した.なお，英語については日本語・中国語と特性が異なり, 語彙数の大きな領域でやや異なる振舞いにみえる.この領域では一例として

$
(\text { vocab size })=27.6^{(L P T)-1}
$

でよく fit されているように見えるものの, さらに大きな語彙数の領域を調査する必要があり, 今回は行わない。

以上の結果から, 日本語・中国語は $N_{p c}$ が英語と比べて大きいために, 語彙数を増やしても LPT が上昇しにくいことが分かる. また, LPTを 2 倍するには語彙数を 2 乗する必要がある (vocab size $\gg N_{e x}$ の場合).

最後に fit の妥当性について考察する. $N_{e x}$ については (2) 式の関係があるため容易で, 英語の $N_{p c}+N_{e x}$ に日本語のひらがな 84 字カタカナ 84 字,常用漢字数 2,136 字を加えると 3,770 であり, 日本語の $N_{p c}+N_{e x}$ とおよそ一致する. 同様に英語の $N_{e x}$ に, 中華人民共和国国務院の通用規範漢字表 (Retrieved 2023-01-09) に記載されている文字数 8,105 を加えると 9,739 となり, ややオーバーするが中国語の $N_{p c}+N_{e x}$ とおよそ一致する。

$N_{p c}$ については, 英語の $\mathrm{N}$-gram (bigram, trigram 等) が古くから研究されており $[9,10]$, 英語語彙を形成する文字には偏りがあることが知られている. 例として, 以下に頻出の bigram, trigramを示す。

表 2 英語の bigram, trigram[10]

このような偏りがトークナイザーにも反映されており,トークナイザーの語彙にも同様の偏りが見られる (図2)。

図 2 トークナイザーの語彙における頻出文字と, その頻度 (上位 30 種類のみ.).””"は, 空白文字を表す. なお,この図はコーパス内の文字の出現頻度ではなく, トークナイザーの語彙辞書内での出現頻度である。

## 3 データセットによる影響

ここでトークナイザーの学習に使うデータセットについて検証する. 検証すべき内容は, トークナイザーの学習にどの程度の量のデータセットが必要で, またデータセットにはどのようなものを用意すれば良いか, という 2 点である.

## 3.1 実験方法

## データセットの量について

英語, 日本語の Wikipedia からランダムに行をサンプルし, 語彙数を 32,000 として BPEで学習した.

## データセットの内容について

英語・日本語の公開されているデータセットとして, 表 3 の学習データセット・評価デー タセットを用意し, それぞれの学習データセットに対して個別に32,000 語彙のトークナイザーを作成, 評価データセットで評価した $[11,12,13,14,15,16]$. 次節に記すデータセットの量についての実験から 300 MB のデータがあれば十分と判断し，これを用意した.ここで日本語は基本的に 1 文字 3 バイトであるため同じファイルサイズでも文字数は少なくなるが, それでも $300 \mathrm{MB}$ あれば十分であった.

表 3 データセット

英語 Wikipedia, Book (RedPajama), C4

日本語 Wikipedia, $\mathrm{CC100,} \mathrm{mC4,} \mathrm{OSCAR}$

図 3 データセットの文字数と, LPT の相関. 英語の文字数はそのままファイルサイズに相当する.

## 3.2 実験結果

## 3.2.1 データセットの量について

データセットの量 (文字数) と LPT の相関を図示したものが図 3 である.このように, ある程度まではデータセットを大きくするほど性能が伸びていくが, ある程度を超えると性能の伸びが急激に低下する. 図 3 において, およその閾値は文字数 $10^{6}$ であり,英語では $1 \mathrm{MB}$ に相当する. ただし, この結果はデー タセットの質・ドメイン・言語差に影響を受ける。

## 3.2.2 データセットの内容について

トークナイザーの学習に用いるデータセットによって, その評価結果が変わることが表 4,5 から分かる. 日本語 Wikipedia で評価する場合, 学習データセットを CC100 から Wikipedia にすることは, 語彙数を 14,000 から 20,000 に変更することに相当するスコアの向上が見られる. また, 特徴的な点として言語による差異が見られる. 表 4 は英語, 表 5 は日本語でそれぞれ学習・評価した結果である. 特にこの中で英語での Wikipedia と C4, 日本語での Wikipedia と $\mathrm{mC} 4$ に注目すると, 英語で最も相対スコアの低いパターンは, Wikipedia で学習し, C4 で評価したものである. 日本語で最も相対スコアの低いパターンも同様で, Wikipedia で学習し, $\mathrm{mC4} 4$ で評価したものが 4 種の中では最も低い. しかしそのスコアは大きく異なり, 英語では相対スコアが 0.968 であるのに対して日本語では相対スコアが 0.874 まで低下しており， スコアにおよそ 1 割の差がある. 実験 2 の結果を思

い出せば, 英語では bigram, trigram 等の語彙を構成する主要な文字 (T, H, E, ・・) がコーパスに依存しないのに対し, 日本語では語彙を構成する主要な文字がコーパスのドメインによって置き換わっているためと考えられる。

図 4,5 は英語 Wikipedia と英語 C4, 日本語 Wikipedia と日本語 $\mathrm{mC4}$ でそれぞれ作成したトークナイザー (32,000 語彙) の語彙辞書に出現する文字を表しており,コーパスの違いがトークナイザーにどのように影響するのかを示す. 図 4 から英語 Wikipedia と C4 ではそれぞれに由来するトークナイザーの語彙における各文字の出現頻度はほとんど変化がない一方で, 図 5 から日本語 Wikipedia と $\mathrm{mC4}$ の場合では, トークナイザーの語彙に出現する文字の頻度に大きな変化があることが分かる. また,トークナイザーの語彙自体も英語では 32,000 語彙のうち $72 \%$ が共通であるのに対して日本語では $54 \%$ にとどまっていた. 以上の結果から, 英語のトークナイザーと比べて, 日本語のトークナイザーを作成する場合は, その言語特性のためにデータセットのドメインに気を付ける必要がある.

表 4 学習データセットと評価データセット (英語).

数値は LPT で, 括弧 () 内の数值は同種の評価データでの LPT の値を 1 としたときの相対スコア.

表 5 学習データセットと評価データセット (日本語).数値は LPT で, 括弧 () 内の数値は同種の評価データでの $\frac{\text { LPT の值を } 1 \text { としたときの相対スコア. }}{\text { 学習データ }}$

## 4 おわりに

以上,トークナイザーの性能に対する言語・語彙数・データセットの影響の調査結果を示した. 結果として, 実験 2 において, 今回調査した英語・日本語・中国語のいずれでも LPT は語彙数に対して $\log$ で増加し, そのパラメータは言語の特性を反映していることが明らかとなった. また, 実験 3 において, データセットのサイズとトークナイズ性能の相関,

図4 英語 Wikipedia, C4 でそれぞれ作成したトークナイザーの語彙における頻出文字と, その頻度 (Wikipedia における上位 30 種類のみ. ).

図 5 日本語 Wikipedia, $\mathrm{mC4} 4$ でそれぞれ作成したトークナイザーの語彙における頻出文字と, その頻度 (Wikipedia における上位 30 種類のみ. ). マス文字は空白文字を表す.

及びデータセットの内容による影響を調べた結果，特に日本語のトークナイザーは英語と比べてデータセットの内容に強く影響を受けることが明らかとなった. 結論としてトークナイザーは言語特性に影響を受け，そのために日本語のトークナイザーを作成する場合はデータセットの内容の偏りに注意する必要がある.

本研究は Ricoh-13B 日英バイリンガルモデル [18] および，より大規模な 70B モデル作成のために行った.

## 参考文献

[1] 井上誠, Nguyen Tung, 中町礼文, 李聖哲, 佐藤敏紀, 日本語 GPTを用いたトークナイザの影響の調査, 言語処理学会第 28 回年次大会 (2022).

[2] Thamme Gowda, and Jonathan May Finding the Optimal Vocabulary Size for Neural Machine Translation, EMNLP 2020, 3955 (2020).

[3] Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang $\mathrm{Wu}$, Benfeng $\mathrm{Xu}$, Jin $\mathrm{Xu}$, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, and Tianhang Zhu, Qwen Technical Report. arXiv: 2309.16609 (2023).

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units, In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, Berlin, Germany. Association for Computational Linguistics (2016).

[5] Taku Kudo, Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates, In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 66-75, Melbourne, Australia. Association for Computational Linguistics (2018).

[6] 藤井巧朗, 柴田幸輝, 山口篤季, 十河泰弘, 日本語 Tokenizer の違いは下流タスク性能に影響を与えるか?, 言語処理学会第 29 回年次大会 (2023).

[7] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample, LLaMA: Open, Efficient Foundation Language Models, arXiv: 2302.13971 (2023).

[8] Taku Kudo and John Richardson, SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing, In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 66-71, Brussels, Belgium. Association for Computational Linguistics (2018).

[9] Henry Beker and Fred Piper, CIPHER SYSTEMS: The Protection of Communications (Northwood Books, London, 1982).

[10] Peter Norvig, English Letter Frequency Counts: Mayzner Revisited or ETAOIN SRHLDCU, norvig.com. Retrieved 2023-01-09.

[11] Common Crawl, https://commoncrawl.org.

[12] Together Computer, RedPajama: An Open Source Recipe to Reproduce LLaMA training dataset https://github.com/togethercomputer/RedPajama-Data
(2023).

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu, Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Journal of Machine Learning Research, 21(140): 1-67 (2020).

[14] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov, Unsupervised Cross-lingual Representation Learning at Scale, In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8440-8451, Online. Association for Computational Linguistics (2020).

[15] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave, CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data, In Proceedings of the Twelfth Language Resources and Evaluation Conference, pages 4003-4012, Marseille, France. European Language Resources Association (2020).

[16] OSCAR, https://oscar-project.org.

[17] Bo Zheng, Li Dong, Shaohan Huang, Saksham Singhal, Wanxiang Che, Ting Liu, Xia Song, and Furu Wei. Allocating Large Vocabulary Capacity for Cross-Lingual Language Model Pre-Training, In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 3203-3215, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics (2021).

[18] 麻場直喜, 野崎雄太, 中島大, 佐藤諒, 池田純一, 伊藤真也, 近藤宏, 小川武士, 坂井昭一朗, 川村晋太郎, 語彙置換継続事前学習による日英バイリンガルモデルの構築と評価, 言語処理学会第 30 回年次大会 $(2024$,予定).


# 固有表現を対象とした小説登場人物検出

大島 一海 $^{1}$ 窪田智徳 ${ }^{1}$ 小川浩平 ${ }^{1}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科
oshima.kazumi.u4@s.mail.nagoya-u.ac.jp

## 概要

人間は，小説中の登場人物を容易に把握できる。 この処理を機械的に行うのが，登場人物検出である。本論文では，固有表現を対象とする登場人物検出器を提案する. 本システムは，3つのモジュールから構成されており，小説テキスト中の人物を指し示す表現（人物表現）を認定し，同一人物を指し示す人物表現に同一の人物 ID を割り当てた後，小説テキスト中の人物表現の出現箇所にタグを付与する。

## 1 はじめに

人間は，小説を読む際に，小説テキスト中の登場人物を容易に把握することができる. 登場人物検出とは，これに相当することを機械的に実現する処理を指す. 登場人物を把握することは，小説の理解には不可欠であり，コンピュータによる小説理解の実現のために，解決すべき重要なタスクである。

しかしながら，登場人物検出は，次のような理由により，定義するのが難しいタスクでもある.

1. 小説の登場人物の全集合は，それほど明確ではない。例えば，一瞬しか登場しない人物や名も無い人物（通行人など）も登場人物に含めるのか.

2. 同一人物が異なる表現・言語形式で記述されるため，個々の登場人物をどう記述すべきかが明確ではない.

3. 人物を表す文字列が，人物を指し示さない場合もある。例：「千葉さん」が登場しても，「千葉県」の「千葉」は人物を指し示さない.

これらの点を踏まえ, 本研究では, 登場人物検出タスクを，以下のようなタグ付けタスクとして定義する.

小説のテキスト中に出現する，登場人物を指し示す表現に，人物 IDを属性として持つ人物夕
グを付与する．同一人物を指す表現には，同一の人物 IDを付与する。主要登場人物 ${ }^{1}$ は，必ずタグ付け対象人物に含めることとする。

一般に，人物を指し示す表現（人物表現）には，以下のものがある.

1. 固有表現 (名前)

姓，名，姓名（フルネーム），ニックネーム

2. 固有表現以外

(a) 人称代名詞私，あなた，彼，彼女など

(b) 人物を指し示す名詞父，母，兄，妹，社長，先生など

本論文では，これらの人物表現のうち固有表現 （名前）をタグ付け対象とする登場人物検出器を提案する. 提案する登場人物検出器は, まず固有表現抽出器を利用して人物表現を認定し, 次に同一人物判定を行って人物表現に人物 ID を割り当てて辞書を作成し，最後にこの辞書を用いてテキスト中の人物表現に人物タグを付与する。

## 2 関連研究

## 2.1 固有表現抽出

登場人物検出は, 固有表現抽出 [1] の人物名検出と重なる部分があるが，相違点もある．主な相違点を表 1 に示す.人物名検出の主な対象は実在する人物名であるのに対し, 登場人物検出の主な対象は,小説中の架空の人物である. 実在しない人物名や突飛な人物名が使用されることもあり，既存の固有表現抽出器をそのまま適用すると，検出漏れや誤検出が起こりやすいと考えられる。一方で，小説では，主要登場人物の人物表現の出現回数がかなり多く, それらのいずれかの出現で人物表現であることが認定できたならば，その事実を利用して，それ以外の出現箇所も正しくタグ付けできる可能性がある。な

表 1 固有表現抽出と登場人物検出の主な相違点

 & 小説 \\

お，先に示した登場人物検出のタスク定義においては，同一人物判定が必須である.

## 2.2 登場人物名検出・抽出

日本語小説の登場人物名検出 - 抽出に関する研究は，いくつか存在する。馬場ら [2] は，英米文学小説を対象に，人物情報抽出の 1 ステップとして，形態素の品詞と人名辞書を用いて人物名（カタカナ） を抽出している。さらに，姓名・姓・名，および人物名と人物を指し示す名詞の同一人物判定を実現している. 一方, 米田ら [3] は, 主語となっている単語を人物名候補として抽出し, 局所出現頻度と述語情報を用いて人物名か否かを判定する手法を提案した. 西原ら [4] は，登場人物の関係抽出の前処理として，CaboCha [5] の固有表現解析，日本語語彙大系のカテゴリ情報，選択制約を利用して人物名を抽出している。これら 2 つの手法は，同一人物判定を実現していない。

## 3 登場人物検出器

## 3.1 システム構成

提案システムの構成を図 1 に示す. 本システムは，人物表現認定 (3.2 節)，人物表現辞書作成（3.3 節)，人物タグ付与（3.4 節）の 3 つのモジュールから構成される。本システムの入出力は，以下の通りである.

・入力：小説テキスト（と人物名の読み）

・出力：人物タグを付与した小説テキスト

作品によっては，人物名にふりがなが付与されていることがある。そのような場合は，人物名の読みを入力として与えてよいこととする.

すでに述べたように，システムのタグ付け対象は固有表現（名前）のみとし，主要登場人物がタグ付け対象人物に漏れなく含まれていればよいこととする。

図 1 システム構成

## 3.2 人物表現認定

固有表現抽出器を用いて人物表現候補を検出した後，その検出結果の誤りを修正または除外することで，人物表現を認定する．人物表現認定は，次のステップで構成される.

1. GiNZA [6] による解析・人物表現候補検出オープンソース日本語 NLP ライブラリ GiNZA を用いて，固有表現抽出を実行する。この際，前段処理として，形態素解析および係り受け解析も実行される. 固有表現抽出結果のうち, “Person”タグが付与されたスパンを人物表現候補とする。

2. 人物表現候補の修復

人物表現候補のうち，誤検出である可能性が高いものを修復する。その詳細を付録 A に示す。具体例を，以下に示す。
- /千反//田/ $\rightarrow$ /千反田/（連続する人名候補）

-/糸魚川/養子 $\rightarrow$ /糸魚川養子/（名前の組入）

・/ち/ー ー/ちー/（長音記号の組入）
- 折木/さん $\rightarrow$ /折木|さん/（敬称の認識）

$\cdot$/ふくちゃん/ $\rightarrow$ ふくく|ちゃん/（同上）

3. 人物表現候補の適格性判定

人物表現候補のうち，人物表現である可能性が高いものを適格と判定する。その詳細を付録 B に示す.

4. 人物表現の認定

適格と判定された人物表現候補のうち，テキスト中に 3 回以上出現しているものを人物表現と認定する。

## 3.3 人物表現辞書作成

以下の 3 ステップで，人物表現辞書を作成する.

1. 人物表現のタイプ判定

人物表現（敬称なし）を以下のいずれかのタイ

プに分類する.
- full：フルネーム
- first : 名前の先頭部
- last : 名前の末尾部 ${ }^{2}$

・reading：名前の読み
- nickname : ニックネーム

・null：上記の 5 タイプに判定できなかった

アルゴリズムを以下に示す.

(a) すべての人物表現に，タイプnullを仮に割り当てる.

(b) first（または last）と fullのペアとなる人物表現の組を探す. 具体的には，人物表現 $\left.X^{3}\right)$

を満たす人物表現 $Y$ を探す. ただし， $Y$ のタイプは null か full であり,$X$ と $Y$ の差分は，ひらがな・カタカナ 1 文字ではないことを条件とする．見つかった場合は， $X$ と $Y$ を紐付け，それぞれにタイプを割り当てる.

例 $1: X=$ 福部 (first) $\leftrightarrow Y=$ 福部里志 (full)

例 $2: X=$ 里志 (last) $\leftrightarrow Y=$ 福部里志 (full)

(c) タイプがまだ null の人物表現のうち，ひらがな・カタカナ文字列であるもの $(X)$ を reading と仮定して, 読みが $X$ となる人物表現 $Y$ を探す. 見つかった場合は， $X$ と $Y$ を紐付け， $X$ にタイプ readingを割り当てる.例: $X=$ フウカ (reading) $\leftrightarrow Y$ =風歌

(d) タイプがまだ null の人物表現のうち，ひらがな・カタカナ文字列であるもの $(X)$ を nickname と仮定し, タイプが reading 以外の人物表現から，読みの類似度が最大の人物表現 $Y$ を選ぶ. 類似度は，次式で定義する.

$
\text { 類似度 }=\frac{\text { len( common prefix })}{\text { len(shorter string) }}
$

その類似度が 0.5 以上ならば， $X$ と $Y$ を紐付け， $X$ に nicknameを割り当てる.

例 : $X=$ ちー (nickname) $\leftrightarrow Y=$ 采友田

2. 同一人物判定 (人物表現のグルーピング）

各人物表現に人物 ID (PID) を割り当てる. 紐付けられた人物表現には，例外を除き，同一の PIDを割り当てる. その詳細を付録 Cに示す.

2）日本語名の場合は, first が姓, last が名となる. 英語名の場合は， firstが given name， last が family name となる。

3） $X$ は文字列が長い順に試す。以降の処理でも同様。

## 3. 人物表現辞書作成

人物表現とその情報を保持する辞書を作成す

る. 辞書のエントリは，以下の 5 項目である.
- 人物 ID (PID)

・人物表現（敬称なし）

・タイプ

・敬称リスト

・敬称が必ず付くか（検出結果に基づく）

## 3.4 人物タグ付与

以下の方法で，人物タグを付与する。なお，文字列検索で用いる人物表現には，敬称なしの人物表現と敬称付きの人物表現の両方を用いる。ただし，敬称が必ず付く人物表現でタイプが full 以外の場合は，敬称なしの人物表現は使用しない.

1. 辞書を用いた人物表現検出

(a) 文字列検索（最長一致）で，いずれかの人物表現に一致するスパンを見つける。

（b）以下の条件を全て満たす場合，そのスパンを検出結果として採用する。

・前境界が形態素境界である

・後境界が形態素境界であるか, 人物表現に敬称が含まれる

・GiNZA でも検出されている，または，人物表現に敬称が含まれる，または，直後の形態素が人物表現直後の形態素として標準的（付録 D）である

2. タグ付与

検出した人物表現のスパンに人物タグを付与する.タグに含める属性は，人物 ID と敬称（敬称を含む場合）である。

上記の 1(b)により，すべての人物表現の出現に対して人物タグが付与されるわけではない点に注意されたい. 例えば，「神山高校」や「千反田家」は，「神山」や「千反田」が人物表現として認定されていても人物タグは付与されない。

## 4 実験

実装した登場人物検出器を用いて，2つの実験を行った. GiNZA は，v5.1.3を使用した. 実験に使用した作品の作品 ID と作品名を以下に示す.

1. 谷川流『涼宮ハルヒの憂鬱』

2. 辻村深月『かがみの孤城』

3. 西尾維新『化物語（上）』
表 2 各手法によるタグ付与の精度

表 3 人物表現の正誤判定結果

## 4.1 実験 1 ：GiNZA と提案手法の比較

登場人物検出器による検出漏れ・誤検出修正の有効性を確認するため, GiNZA での “Person” タグ付与と, 登場人物検出器での人物タグ付与の精度を比較した. タグを付与したスパンが人物を指し示す場合に正解とし，敬称は含んでも含まなくてもよいものとした. 結果を表 2 に示す. 表中の TP (True Positive) は，正しく検出された箇所数を表す.

いずれの作品においても，提案手法は F1 スコア 0.98 以上を達成し, 高い精度で人物タグの付与が可能であることが示唆された。

作品 1 では, GiNZA と提案手法いずれにおいても高い精度となった。

作品 2 では, GiNZA において, Precision は十分に高いものの, 主に検出漏れにより Recall が低くなった. 一方，提案手法において，Recall が大幅に向上しており，検出漏れを救う処理を担う人物タグ付与モジュールの有効性が確認された.

作品 3 では，GiNZA において，主に誤検出により Recall・Precision ともに低くなった。一方，提案手法において, Recall・Precision ともに大幅に向上しており，誤検出の修正・除外を担う人物表現認定モジュールの有効性が確認された。

## 4.2 実験 2 : 同一人物判定の性能評価

まず，人物表現辞書に含まれる人物表現の正誤を人手で判定した. その結果を表 3 に示す. 主要登場人物は全て検出されたことを確認した. この表に示すように，提案手法で認定した人物表現のうち，正しいものの割合は，最大でも 0.88 であり，十分に高いとはいえない.この精度は, 同一人物判定の性
疑似的な Recall.

能にも影響することから，人物表現の認定に関しては，さらなる検討が必要である。

次に，正しいと判定された人物表現が，どの人物を指し示すかを人手で判定した後，各人物に付与された PID の種類数を調べた. その結果を表 4 に示す.いずれの作品においても，各人物に割り当てられた PID 数が 1 であった（正しく同一人物判定ができた）割合が高く，同一人物判定は概ね機能していると考えられる。

同一人物に複数の PID が割り当てられたとしても，まれにしか出現しない人物表現の同一人物判定に失敗しているのであれば，それほど大きな問題とはならない，そこで，割り当てられた PID 数が 2 であった人物について，それぞれの人物表現の出現数 （人物タグを付与した数）を調査した. その結果を表 5 に示す.このように，同一人物判定に失敗した人物表現の出現数は， $3 \%$ (28/996) 以下であるため，大きな問題とはならないと考えられる.

## 5 今後の課題

現状のシステムには，以下のような課題がある。

1. GiNZA で一度も “Person”タグが付与されなかった人物表現を検出できない

2. 人物表現辞書に人物表現でないものが含まれる

1 つ目の課題に対する解決策として，関連研究 $[3,4]$ を参考に，主語となっている単語を人物表現候補とする方法や，格フレームの選択制約を利用する方法など，固有表現抽出器以外も利用する検出方法を考えている。

2 つ目の課題に対する解決策として，適格性判定と人物表現認定の増強を考えている。具体的には，関連研究 $[3,4]$ を参考に，述語情報または格フレー ムの選択制約を利用した判定の追加や，出現数による人物表現認定の閾値引き上げを考えている。

## 謝辞

本研究は JSPS 科研費 JP21H03497 の助成を受けたものです.

## 参考文献

[1] Basra Jehangir, Saravanan Radhakrishnan, and Rahul Agarwal. A survey on Named Entity Recognition - datasets, tools, and methodologies. Natural Language Processing Journal, Vol. 3, p. 100017, 2023.

[2] 馬場こづえ, 藤井敦. 小説テキストを対象とした人物情報の抽出と体系化. 言語処理学会第 13 回年次大会発表論文集, Vol. 13, pp. 574-577, 2007.

[3] 米田崇明, 篠崎隆宏, 堀内靖雄, 黒岩眞吾. 述語情報を利用した小説の登場人物の抽出. 言語処理学会第 18 回年次大会発表論文集, Vol. 18, pp. 855-858, 2012.

[4] 西原弘真, 白井清昭. 物語テキストを対象とした登場人物の関係抽出. 言語処理学会第 21 回年次大会発表論文集, Vol. 21, pp. 628-631, 2015.

[5] 工藤拓, 松本裕治. チャンキングの段階適用による日本語係り受け解析. Vol. 43, No. 6, pp. 1834-1842, 2002.

[6] GiNZA - Japanese NLP Library. https://megagonlabs. github.io/ginza/.

## A 人物表現候補の修復

人物表現候補の修復では，以下の手順で人物表現候補を修復する。このうち 3 の敬称は，誤検出ではないが，人物表現か否かを判定する際の重要な要素であるため修復する。

1. 隣接する人物表現候補を 1 つの人物表現候補として結合する.

例 : /千反//田/ $\rightarrow$ /千反田/

2. 直後の形態素が以下の場合は，その形態素を人物表現候補に組み入れる。

・品詞が「名詞-固有名詞-人名-名」

例：/糸魚川/養子 $\rightarrow /$ 糸魚川養子/

・長音記号「一」

例：/ち/ー ↔/ちー/

3. 直後の形態素または末尾が敬称の場合は, 敬称を区別して人物表現候補に組み入れる。

敬称：さん, ちゃん, 先輩, 先生など

例 $1:$ 折木/さん $\rightarrow$ /折木|さん/

## B 人物表現候補の適格判定の条件

検出された人物表現候補が以下に示す 3 つの条件のいずれかを満たす場合，適格と判定する。

条件 1 人物表現候補の検出箇所が，以下のいずれかを満たす

・敬称が付く箇所がある

・直後が区切り文字（直後なし，または，句読点や括弧，改行）である

・直後が助詞の箇所が 3 以上ある

条件 2 すでに適格と判定された人物表現候補が suffix となっている

条件 3 以下の全てを満たす

・すでに適格と判定された人物表現候補の部分列でない

・すでに適格と判定された人物表現候補が prefix となっている

-人物表現候補の文字列検索で一致する箇所が，以下の両方を満たす

-10 回以上出現する
- 条件 1 のいずれかを満たす

なお，文字列 $A$ が文字列 $B$ の suffix となっている $(A=\operatorname{suffix}(B))$ とは，Bが $A$ で終わることを表す. 同様に, prefix となっている $(A=\operatorname{prefix}(B))$ とは，Bが $A$ で始まることを表す。例えば，「里志」は「福部里志」の suffix となっており，「福部」は「福部里志」 の prefix となっている.

## C 人物 ID の割り当て

それぞれの人物表現に人物 ID (PID) を割り当てるアルゴリズムを以下に示す.

1. full または null に対し，それぞれ異なる PIDを割り当てる.

2. first または last に対し，

(a) full が 1 つだけ紐付けられている場合： full と同じ PIDを割り当てる。

(b) full が複数紐付けられている場合：

出現数最多の人物の PIDを割り当てる.

3. reading または nickname に対し, 紐付けられている人物表現と同じ PIDを割り当てる.

## D人物表現直後の形態素として標準的

形態素が以下のいずれかに当てはまる場合，人物表現直後の形態素として標準的であると定義する。

$\cdot$区切り（形態素なし，または，句読点や補助記号，改行）

$\cdot$助詞

・助動詞「だ」「です」

・副詞，または，副詞可能
- 人物名の直後に出現しやすい語

例: 本人，相手，みたい


# 移動軌跡解析：文章中の人物の地理的な移動を読み取る

山本和太郎 1 大友宽之 ${ }^{2}$ 大内啓樹 $1,3,5$
東山翔平 4,1 寺西裕紀 ${ }^{3,1}$ 進藤裕之 ${ }^{1}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学 2 株式会社サイバーエージェント
3 理化学研究所 4 情報通信研究機構 5 国立国語研究所
\{yamamoto.aitaro.xv6, hiroki.ouchi, shindo, taro\}@is. naist.jp
otomo_hiroyuki@cyberagent.co.jp hiroki.teranishi@riken.jp
shohei.higashiyama@nict.go.jp

## 概要

本研究では，計算機によって，文章中の人物の地理的な移動を読み取り，その移動軌跡を地図上に再現することをめざす. 入力文章中の場所に対し，移動者の訪問状態・訪問順序を予測するタスクを定義するとともに，100 記事からなるアノテーションデータセット ATD-VSO を構築し, ベースラインモデルの学習・性能評価を行った。

## 1 はじめに

移動軌跡データは，時空間データ解析や地理情報分野において，人間活動と環境条件を分析するための重要データとされている。一般的な移動軌跡は緯度・経度の系列データである．そのため，人間の理解可能な粒度での「場所」の行程として解釈するのは容易でなく，移動者が「東京駅」にいるかどうかという単純な問題さえ判然としない。そこで我々は，文章から移動軌跡を取り出すことを試みる。文章からは，「どの場所にいるか」に加え，その場所で移動者が何をして何を思ったかといった豊かな意味情報も同時に取り出せる可能性を秘める。

このような展望のもと，本研究では，文章中の人物の地理的な移動を読み取る移動軌跡解析と，その軌跡を地図上に再現することをめざす。図 1 にその処理過程を示す. 移動軌跡解析では, (1) 入力文章から場所を表す表現（場所参照表現）を抽出し，(2)同じ場所を指す表現をグルーピングする共参照解析を行う．次に，(3) 移動者である文章の書き手が各場所を訪れたか否か等を表す訪問状態を予測し，(4)訪問場所を時系列順に並た訪問順序を予測し，移動軌跡を得る。さらに各訪問場所の経緯度を推定するジオコーディングを経ることで，得られた移動軌跡

図 1 移動軌跡解析の処理過程と可視化のイメージ

は地図上に可視化可能となる.

既存研究 $[1,2]$ では，訪問場所を時系列順に並べた一本の「線」として訪問順序を表現しているものの，「線」では適切に表せない場合も多い（§4.1で詳述)。そこで本研究では, 地理的階層構造も同時に表せる表現形式「訪問順序グラフ」を提案する (図 1 中段).このグラフの情報を 100 記事にアノテーションしたデータセット ATD-VSO ${ }^{1)}$ を構築し,訪問状態予測と訪問順序予測についてべースラインモデルの学習・性能評価を行った.

1) Arukikata Travelogue Dataset with Visit Status and Visiting Order Annotation
表 1 エンティティ単位の訪問状態ラベルの一覧

Visit 参照先の場所を訪問した。

VisitPossibly 参照先の場所を訪問した可能性が示唆されているが不確定。

Others 他のいずれの状態にも非該当.

## 2 前提

「地球の歩き方旅行記データセット」 [3, 4] の一部の国内旅行記に対して，場所参照表現，共参照関係，地理データベース（DB）エントリのリンク情報が付与されたデータセットである ATD-MCL [5] を使用する. ATD-MCL の場所参照表現は，「近鉄奈良駅」のような固有名詞に加え，「お店」「最寄駅」のような一般名詞句も含む. また，同じ場所を指すと解釈できる場所参照表現間には共参照関係が認定され，それらは共参照クラスタをなしている. このようなアノテーション済み旅行記を前提として，本研究では訪問状態と訪問順序に焦点を当てた.

## 3 訪問状態予測

場所に対する訪問状態を判定する訪問状態予測夕スクを提案する。たとえば「近鉄奈良駅に到着！」 という実体験に基づく記述からは，移動者が「近鉄奈良駅」を訪れたと判断できる．一方，「JR 奈良駅は近鉄奈良駅から少し離れています.」のように事実を説明した記述の場合，移動者がこれらの場所を訪れたことを必ずしも意味しない. このような識別を行うことが本タスクの目的である.

## 3.1 アノテーションデータ作成

訪問状態の定義表 1 の 3 種類の訪問状態ラベルを定義し，場所を表す各エンティティ（共参照クラスタ）に対して，適切なラベルを人手で付与した。 さらに，各エンティティに含まれる言及に対しても，7 種類の訪問状態ラベル（付録 A に記載）を定義した。エンティティ単位では，文書全体の内容を考慮し，移動者が最終的にその場所を訪れたかを表す訪問状態を決定することが目的である。一方，言及単位では，当該言及の文脈（具体的には文内）から読み取れる内容に基づいて，当該文脈のより詳細な訪問状態を認定することを目的とする. ${ }^{2)}$

作業者間一致率旅行記 5 記事について，訪問状態ラベルのアノテーションを 2 名の作業者に依頼

し，その一致率（F1 值マイクロ平均および Cohen's Карра $\kappa ） を$ 調査した. 言及 180 件に対して F1 值 $0.80 ， \kappa 0.68$ ，エンティティ 124 件に対して F1 值 0.89 ， 0.81 と高い一致率が得られた.

記述統計 1 記事につき作業者 1 名とし，追加の 95 記事にも同様の作業を行い，前述の 5 記事と合わせて，約 3,300 のエンティティを含む 100 記事のアノテーションデータを作成した。詳細は付録の表 6 と表 7 に示す.

## 3.2 タスク定義

文書の各エンティティ $\boldsymbol{e}_{q} \in E$ に対して適切な訪問状態ラベル $y \in Y^{\text {vis_ent }}$ を付与することが目標である. 各エンティティ $\boldsymbol{e}_{q}$ は 1 つ以上の言及 $m_{i}^{(q)}$ から構成され， $\boldsymbol{e}_{q}=\left.\{m_{1}^{(q)}, \ldots, m_{\left|\boldsymbol{e}_{q}\right|}^{(q)}\right.\}$ である. 前述のように，各言及にも訪問状態ラベルが定義されているため，まず各言及のラベルを予測し，その予測ラべルをもとにエンティティ単位のラベルを予測するという多段階の解法が可能である。言及単位の予測では，各言及 $m_{i}^{(q)}$ に対して適切な訪問状態ラベル $y \in Y^{\text {vis_men }}$ 付与することが目標である.

ベースラインモデル前述した多段階解法を採用する。まず，各言及 $m_{i}^{(q)} \in \boldsymbol{e}_{q}$ に対するラベル確率分布 $P\left(y \mid m_{i}^{(q)}\right)$ を計算し ${ }^{3)}$ ，これに従って最も可能性の高い訪問状態ラベルを選ぶ.

$
\hat{y}_{i}^{(q)}=\underset{y \in Y^{\text {vis_men }}}{\arg \max } P\left(y \mid m_{i}^{(q)}\right)
$

次に，以下のルールに基づいてエンティティ単位のラベルを選ぶ.

1. エンティティ $\boldsymbol{e}_{q}$ を構成する言及 $m_{i}^{(q)} \in \boldsymbol{e}_{q}$ の中で，VisitもしくはPlanToVisit と予測された言及が 1 つでもあれば， $\boldsymbol{e}_{q}$ のラベルをVisit とする。

2. 上記 1. に該当せず，かつ，VisitPossibly と予測された言及が 1 つでもあれば， $\boldsymbol{e}_{q}$ のラベルを VisitPossiblyとする.

3. 上記 1. と 2. に該当しない場合は， $\boldsymbol{e}_{q}$ のラベルをOthersとする。

## 4 訪問順序予測

訪問場所の時間的順序関係を判定する訪問順序予測タスクを提案する。

図 2 訪問順序グラフの例. エンティティ間の包含関係を Inc，前後関係をBA で表す.

## 4.1 目標出力「訪問順序グラフ」

場所間の地理的な包含関係と時間的な前後関係を考慮した訪問順序グラフを導入する. 図 2 の例のように，場所に該当するエンティティがノードであり，エンティティ間にエッジが張られている. 包含関係 Incのエッジは，始点ノードが終点ノードを地理的に包含することを表している. 前後関係 BA のエッジは，移動者が始点ノードの場所の次に終点ノードの場所を訪れたことを表している。これらの関係について以下に詳述する。

包含関係「奈良市に行き，奈良公園を訪れた.」 という例文を考える. 奈良市の領域が奈良公園の領域を包含しているという地理的知識を踏まえ，「奈良公園を訪れ，その際に必然的に奈良市にも訪れた」と解釈するのが妥当と考える. このように，包含関係にある複数のエンティティをどちらも訪問したことを表現するため，包含関係 Inc を定義する.

前後関係エンティティ間の包含関係を前提としても，どの階層のエンティティ間に訪問順序を付与すべきかが問題となる. 都道府県同士などの同等の粒度で前後関係を認定する素朴な方法は表現力が乏しい4). そこで本研究では，「共通の親エンティティを持つエンティティ間」に対してのみ，続けて訪れたことを表す前後関係 BA を付与可能とする. 図 2 では，＜奈良市＞を共通の親ノードとする<奈良駅 $>$ から＜奈良公園>へ前後関係が付与されている.一方，＜奈良駅＞と＜猿沢池園地＞は親が異なるため，前後関係の付与対象とならない. このように前後関係を表現すると, 包含関係のエッジをたどることで，直接的には前後関係が付与されていないエンティティ間についても，どちらを先に訪れたかという情報を得ることが可能になる.

4）また，「奈良公園っ興福寺っ興福寺国宝館」のように地域や施設に関して複雑な包含関係が成立するため，あらゆる場所を分類できる階層レベル区分の定義も容易でない.

## 4.2 アノテーションデータ作成

作業者間一致率旅行記 5 記事について，関係のアノテーションを2 名の作業者に依頼し, その一致率（F1 值マイクロ平均）を調査した。前後関係について 0.745)，包含関係について 0.94，両関係合わせて 0.85 と概ね高い値であった.

記述統計 1 記事につき作業者 1 名とし, 追加の 95 記事にも同様の作業を行い，前述の 5 記事と合わせて，約 3,700 の関係付きエンティティペアを含む 100 記事のアノテーションデータを作成した. 詳細は付録の表 8 に示す.

## 4.3 包含関係予測

タスク定義文書中で訪問状態が Visit または VisitPossibly のエンティティ集合 $E=\left.\{\boldsymbol{e}_{q}\right.\}_{q=1}^{|E|}$ の各エンティティ $\boldsymbol{e}_{q}$ に対して，親エンティティ $\boldsymbol{e}_{q}^{\mathrm{pa}}$ を予測することが目標である. 親エンティティの候補集合を $E_{q}^{\text {pacand }}=E \backslash\left.\{\boldsymbol{e}_{q}\right.\} \cup\{$ ROOT $\}$ と定義する. つまり，エンティティ集合 $E$ から自身 $\boldsymbol{e}_{q}$ を除き，かつ，他のエンティティを親として持たないことを表す疑似ノード ROOTを加えた集合である.

ベースラインモデルスコア関数 scorep ${ }^{p a}$ によ $\eta^{6)}$, 候補集合 $E_{q}^{\mathrm{pa}-\text { cand }}$ から親エンティティである可能性が最も高いエンティティを選出する.

$
\hat{\boldsymbol{e}}_{q}^{\mathrm{pa}}=\underset{\boldsymbol{e}^{\prime} \in E_{q}^{\text {pacand }}}{\arg \max } \operatorname{score}^{\mathrm{pa}}\left(\boldsymbol{e}_{q}, \boldsymbol{e}^{\prime}\right)
$

## 4.4 前後関係予測

タスク定義文書中の各エンティティ $\boldsymbol{e}_{q} \in E$ に対して, 訪問順序が後続するエンティティ $\boldsymbol{e}_{q}^{\text {after }}$ を予測する. 後続エンティティの候補集合 $E_{q}^{\text {after-cand } は, ~}$ $\boldsymbol{e}_{q}$ と共通の親を持つエンティティ集合である.

$
E_{q}^{\text {after_cand }}=\left.\{\boldsymbol{e}_{k} \mid \boldsymbol{e}_{q}^{\mathrm{pa}}=\boldsymbol{e}_{k}^{\mathrm{pa}}, \boldsymbol{e}_{k} \in E\right.\} \cup\{\mathrm{NONE}\}
$

ここで，NONE は後続エンティティを持たないことを表す疑似ノードである.

ベースラインモデルスコア関数 score ${ }^{\text {after }}$ によ

る可能性が最も高いエンティティを選出する.

$
\hat{\boldsymbol{e}}_{q}^{\text {after }}=\underset{\boldsymbol{e}^{\prime} \in E_{q}^{\text {after }}}{\arg \max } \operatorname{score}^{\text {after }}\left(\boldsymbol{e}_{q}, \boldsymbol{e}^{\prime}\right)
$

5） 前後関係の不一致の要因として，一方の作業者が前後関係を認定しているエンティティが他方で包含関係として認定されたことで差異が生じた事例があった。

6）本研究で用いたスコア関数相当のモデルは $\$ 5$ で後述する.

7）本研究で用いたスコア関数相当のモデルは $\$ 5$ で後述する.
表 2 評価セットにおける訪問状態予測の正解率

表 3 評価セットにおける訪問順序予測の F1 値

## 5 実験設定

タスク設定訪問状態予測では正解エンティティを所与とした. 包含関係予測ではさらに正解訪問状態を所与とした. 前後関係予測ではさらに正解包含関係を所与とする設定とし，訪問状態ラベルが Others でないエンティティのみ入力とした.

データ分割 100 記事を 7:1:2 で訓練，開発，評価セットに分割した（付録 B に記述統計を示す）.

ベースラインモデル実装訪問状態予測 (式 1)には Hugging Face Transformers ${ }^{8}$ ) の LukeForEntityClassification [6] を用いた. 包含関係予測（式 2）および前後関係予測（式 3）には LukeForEntityPairClassificationを用いた. モデルの学習設定などの詳細は付録 C に示す.

## 6 実験結果

各タスクとも，5つの異なるシード値で学習させたベースラインモデルの精度の平均を報告する.

訪問状態予測ベースライン（LUKE）と，訓練データでの出現頻度が最も高いラベルを予測するルール（Majority）による訪問状態予測の正解率を表 2 に示す. 言及単位とエンティティ単位の両方において，LUKE が Majority を上回る結果となった.

訪問順序予測：包含関係ベースライン (LUKE) と，候補エンティティをランダムに選出する方法（Random）による包含関係予測の F1 値（エンティティペア単位）を表 3 に示す. LUKE の精度は Random は超えているものの絶対的には低いと言える。要因として，地域や施設の間の地理的な位置関係が学習されていない点が挙げられる.

訪問順序予測：前後関係ベースライン（LUKE） と，エンティティを記事中の出現順／ランダムに並ベるルール（SimpleOrder／Random）による前後関

8) https://huggingface.co/docs/transformers/index係予測の F1 值（エンティティペア単位，本設定では正解率と一致）を表 3 に示す. LUKE は SimpleOrder より精度が低く，また記事の出現順と逆順序となる前後関係を正しく予測できたケースもなかった.

総括と展望ベースラインにより，訪問状態予測では正解率 0.84 と実用に向けて期待の持てる精度が得られた. 前後関係予測では記事中の出現順に基づくルールに劣る結果となり，エンティティ内の各言及やそれらの周辺文脈を含む大域的な文書内情報を考慮し，出現順と異なる前後関係も捉えられるような改良が必要である。包含関係予測の精度は低いが，エンティティに対応する経緯度や地理 DB エントリを予測するジオコーディングとの併用による改善が考えられる．本研究では，前段タスクの正解を所与としたが，生テキストに対する移動軌跡解析を実現するには，前段タスクの予測結果を基に後段タスクを実施する必要があり，予測誤りの伝搬・累積は避けられない。今後は，個々のタスクの予測精度向上に加え, 移動軌跡解析全体を解決可能なシステムの構築に取り組む予定である。

## 7 関連研究

訪問状態予測 Li ら [7]，松田ら [8] は，ツイートを対象に場所参照表現の抽出とその言及単位での訪問状態の予測を行った。本研究では，同一文書中で同一の場所を指す複数の場所参照表現が出現する状況を想定し，各場所についての最終的な訪問状態としてエンティティ単位での予測も行っている。

訪問順序予測郡ら [1] は，文章中での地名の出現順を訪問順序と仮定し，ブログからユーザの代表的な行動経路を抽出する手法を提案した。本研究では，出現順と異なる訪問順序も書き手の意図通り正確に抽出することを試みている．Ishino ら [2] は，震災関連ツイートから行動経路の出発地と目的地を抽出する手法を提案した．本研究では，長い文章を想定し，任意の数の訪問場所を含む複雑な行動経路を抽出することに焦点を当てている。

## 8 おわりに

本研究では，移動軌跡解析に向けて，訪問状態・順序に関するタスク定義，データセット構築，ベー スラインモデルの学習・評価を行った. 今後，原文を入力として訪問順序までの移動軌跡を予測する移動軌跡解析と，移動軌跡の地図上への接地 ・可視化までを行うシステムの構築に取り組む予定である.

## 謝辞

本研究は JSPS 科研費 JP22H03648 の助成を受けたものです. 本データセットの構築にあたり，「地球の歩き方旅行記データセット」を利用しました.

## 参考文献

[1] 郡宏志, 服部峻, 手塚太郎, 田島敬史, 田中克己. ブログからのビジターの代表的な行動経路とそのコンテキストの抽出. 情報処理学会研究報告データベースシステム, No. 78 (2006-DBS-140), 2006.

[2] Ishino Aya, Odawara Shuhei, Nanba Hidetsugu, and Takezawa Toshiyuki. Extracting transportation information and traffic problems from tweets during a disaster. The Second International Conference on Advances in Information Mining and Management, 2012.

[3] 株式会社地球の歩き方. 地球の歩き方旅行記データセット, 2022. 国立情報学研究所情報学研究データリポジトリ. (データセット). https: //doi.org/10.32130/idr.18.1.

[4] 大内啓樹, 進藤裕之, 若宮翔子, 松田裕貴, 井之上直也,東山翔平, 中村哲, 渡辺太郎. 地球の歩き方旅行記デー タセット. 言語処理学会第 29 回年次大会発表論文集, 2023.

[5] Shohei Higashiyama, Hiroki Ouchi, Hiroki Teranishi, Hiroyuki Otomo, Yusuke Ide, Aitaro Yamamoto, Hiroyuki Shindo, Yuki Matsuda, Shoko Wakamiya, Naoya Inoue, Ikuya Yamada, and Taro Watanabe. Arukikata travelogue dataset with geographic entity mention, coreference, and link annotation. arXiv:2305.13844, 2023.

[6] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[7] Chenliang Li and Aixin Sun. Fine-grained location extraction from tweets with temporal awareness. In Proceedings of the 37th International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR'14, p. 43-52, New York, NY, USA, 2014. Association for Computing Machinery.

[8] Koji Matsuda, Mizuki Sango, Naoaki Okazaki, and Kentaro Inui. Monitoring geographical entities with temporal awareness in tweets. In Computational Linguistics and Intelligent Text Processing: 18th International Conference (CICLing 2017, Revised Selected Papers, Part II 18), pp. 379-390, Budapest, Hungary, 2018.

[9] Ryokan Ri, Ikuya Yamada, and Yoshimasa Tsuruoka. mLUKE: The power of entity representations in multilingual pretrained language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7316-7330, Dublin, Ireland, May 2022. Association for Computational Linguistics.

## A 訪問状態ラベルの詳細

言及単位の訪問状態ラベルを表 4 に示す.

表 4 言及単位の訪問状態ラベルの一覧

 \\

## B データセット記述統計

本データセットを分割した訓練，開発，評価の各セットの記述統計を表 5 に示す. なお，言及数については，エンティティを構成しているもののみカウントした。言及とエンティティの訪問状態ラベルの分布をそれぞれ表 6 (ラベルは表 4 と同一順)，表 7 （ラベルは表 1 と同一順）に示す. エンティティペア（表 5 の「関係」）のラベルの分布を表 8 に示す9).

表 5 本データセットの記述統計

表 6 言及の訪問状態のラベル別件数

## C ベースラインモデル詳細

訪問状態予測多言語 LUKE [9] 事前学習モデル (https://huggingface.co/studio-ousia/ mluke-large-lite）を用いた. 対象とする言及を含む文と，文内での言及の位置（文字オフセット）を LukeForEntityClassification の入力として，表 4

表 7 エンティティの訪問状態のラベル別件数

表 8 訪問順序のラベル別件数

の 7 クラスの分類を行った. 学習時はエポック数 10 ，バッチサイズ 16 , 学習率 5e-6 とした.

包含関係予測日本語 LUKE 事前学習モデル (https://huggingface.co/studio-ousia/ luke-japanese-base）を用いた. 対象とするエンティティ $\boldsymbol{e}^{q}$ と各候補エンティティ $\boldsymbol{e}^{\prime} \in E_{q}^{\text {pac.cand }}$ のペアに対して二値分類を行った. その際， $e^{q}$ 中の代表言及と $\boldsymbol{e}^{\prime}$ 中の代表言及が出現する各文とそれら 2 文間に出現する文をつないだ文字列, および $\boldsymbol{e}^{q}$ と $\boldsymbol{e}^{\prime}$ の各文字オフセットを LukeForEntityPairClassification の入力とした. 代表言及は訪問状態ラベルを元に選出した．表４の並び順にラベルが Visit の言及を最優先に選択し，さらに，普通名詞よりも固有名詞の言及を優先して選出した. 学習時はエポック数 10 , バッチサイズ 4, 学習率 5e-6 とした。

前後関係予測包含関係予測と同一の事前学習モデルを用いた. 訪問順序グラフ（\$4.1） を構築する目標のため，包含関係予測と同様の入力および八イパーパラメタを使用し, LukeForEntityPairClassification によってエンティティペア単位での前後関係スコアを推定した後, 同階層にある全ノードが 1 本の線になるという制約に基づく前後関係系列の推論を行った. 具体的には，以下の手順の貪欲探索を用いた。

1. 同一階層にあるエンティティ数 $n=\left|E_{q}^{\text {after_cand }}\right|$ の集合から得られる ${ }_{n} P_{2}$ 個のエンティティペア

$\left(e_{a}, e_{b}\right)$ を選択する.
2. $\left(e_{a}, e_{b}\right)$ の逆方向のペア $\left(e_{b}, e_{a}\right), e_{b}$ を後件とするぺア $\left(*, e_{b}\right), e_{a}$ を前件とするぺア $\left(e_{a}, *\right)$ を元集合から除外した集合 $\mathscr{P}^{\prime} を$ 作る.

3. 上記 2.の手順を繰り返し, 全エンティティの前後関係が確定次第終了とする。


# Word2Box を用いた人々の移動に基づく 地域メッシュの領域表現

奥島 海 $^{1}$ 廣田 雅春 1,2
1 岡山理科大学 総合情報学部 2 岡山理科大学情報理工学部
i20i022ok@ous.jp hirota@ous.ac.jp

## 概要

単語の埋め込み表現は，自然言語処理の様々なタスクで用いられている重要な技術である。また，地理情報に関する様々なタスクで，位置情報から得た地域メッシュの埋め込み表現が用いられている. 本研究では, 地域メッシュの埋め込み表現の作成に，Word2Box を用いることで集合演算が可能な埋め込み表現を作成する. Word2Box は，単語の意味の広がりや階層関係などを表すことが可能な Box Embeddings を獲得するための教師なし学習の手法である. 獲得された領域表現に対して集合演算を行い，地図上に可視化した結果を分析する.

## 1 はじめに

モビリティ技術の発展により，様々なデバイスから移動軌跡が収集されている. それに伴い，マーケティングや，災害，交通，観光などの分野において，人々の移動パターンを分析することの重要性が高まっている。その際に，人々の移動を表現する方法として地域メッシュを用いることがある。地域メッシュとは，緯度と経度に基づいて領域をほぼ同じ大きさの網の目に分割することで得られる小さい領域のことである.

本研究では，移動軌跡から得られる人々の地域メッシュ間の移動に基づいた地域メッシュの埋め込み表現を獲得する。測位点を地域メッシュに変換したものを単語とみなし, 移動軌跡を単語列とみなすことで，地域メッシュのベクトルを作成する．地域メッシュの埋め込み表現は，位置情報の予測 [1] や，移動軌跡の補間 [2], 目的地の予測 [3], 場所の推薦 [4] などの様々な分野で利用されている.

単語の埋め込み表現は，単語をべクトルで表現するための方法として一般的であり，多くのタスクで利用されている。その際には，Word2Vec [5] や，

Word2Box $\square$

図 1: 地域メッシュ間の移動に基づいた Word2Box によって獲得される領域表現

GloVe [6]，FastText [7] などの手法が主に用いられてきた. また，これらの手法は文脈を考慮しない分散表現を獲得するが，ELMo [8]，BERT [9] などの文脈を考慮した単語の埋め込み表現を獲得可能な手法も提案されている. しかし, これらの手法では, 単語をひとつのべクトルで表現するため，単語を点でしか表現することができないという課題を持つ。そのため, 本研究では, 単語の意味の包含関係や階層関係などの集合的な性質を表すことができる単語の Box Embeddings [10]を利用する． Box Embeddings は，単語を 2 つ点で表現することにより，単語を超直方体による領域で表現する. 本研究では，教師なし学習により，Box Embeddings を獲得可能な Word2Box [11]を用いる.この手法により獲得された領域の集合演算は, tongue $\cap$ body は eye や mouth, tongue $\cap$ language は dialect や idiom が得られるなど単語の集合演算が可能である.

ここで，本研究で獲得される地域メッシュの領
域表現の例を図 1 に示す.はじめに, $1 \mathrm{~d}$ (空港) $\rightarrow$ $3 \mathrm{~d}$ (バス停) $\rightarrow 5 \mathrm{e}$ (神社) $\rightarrow 3 \mathrm{e}$ (バス停 $) \rightarrow 4 \mathrm{~g}$ (ホテル) のように移動軌跡が地域メッシュの単語列で表現されているとする。このような単語列に対して， Word2Box を適用すると，図 1 の下側のような Box Embeddings による領域表現を得ることが期待される.このとき, 空港からの移動に関して, 移動軌跡から一定以内の移動回数によって得られる地域メッシュの種類数が最も多いならば，空港の地域メッシュの領域は最も大きくなることが期待される.これは，一般的な領域表現において，単語の意味の広がりが大きいことを表している．次に，バス停と駅は，空港との往復とホテルや神社などの往復が行われるが，それらは互いに往復での移動が行われないならば，それらの領域は空港よりも小さくなるかつ互いに重なりが存在しない領域が得られる. 神社と寺は，バス停と駅のそれぞれに対して往来があるため，バス停と駅のいずれにも重なる領域が得られる. 同様に，タワーとホテルは， バス停と駅のいずれかとの往復しか無いため, それぞれの領域にのみ包含された領域が得られる. 本研究では，このような人々の移動に基づき, 移動先の多様さを単語の意味の広がりとして扱うことで地域メッシュの領域表現を得る。

本研究では， $X^{1)}$ (旧 Twitter) から得た移動軌跡を Word2Box で学習することで地域メッシュの領域表現を獲得する。また，その領域表現を用いた集合演算を行うことによる人々の移動について分析の例を示す.

## 2 関連研究

単語の埋め込み表現の技術は，単語以外にも文章 [12] や，絵文字 [13]，グラフのノード [14], 遺伝子 [15], 地域メッシュ [16] など様々な分野に応用されている。そのため, 埋め込み表現の研究は盛んに行われており，近年では，単語の意味の広がりや階層関係を表現するために，単語を双曲空間に埋め込む手法や領域で表現する手法が研究されている。

双曲空間に単語を埋め込む手法として，ポアンカレ円盤モデルに単語を埋め込む Poincaré Embeddings [17] や，ローレンツモデルを用いた Lorentz Embeddings [18] が提案されている.また， Poincaré Embeddings を獲得するために, Glove と組み合わせることで，教師なし学習で獲得する手法で

ある Poincaré Glove [19] が提案されている.

単語を領域で表現するために様々な形状や分布で埋め込む手法が提案されている．たとえば，ガウス分布 [20] や，ベータ分布 [21]，円錐 [22]，円盤 [23] で単語を表現する手法が提案されている. それらに加えて，単語の領域を超直方体で表現する Box Embeddings [10] が提案されている. その後, 領域の重なりの局所的識別性を改善するために，その評価にガンベル分布を用いる Gumbel Box [24] が提案された。また, Gumbel Box を教師なし学習によって得るために Continuous Bag of Words (CBOW) を用いて学習するWord2Box [11]が提案された. 本研究では，移動軌跡から単語の領域表現を教師なし学習によって獲得するために Word2Box を利用する。

## 3 移動軌跡への Word2Box の適用

## 3.1 移動軌跡の変換

移動軌跡をWord2Box で学習可能な形式に変換する方法について説明する. 移動軌跡 $T=$ $\left.\{p_{1}, p_{2}, \cdots, p_{n}\right.\}$ は, 測位点 $p_{i}$ のシーケンスで構成される。そして, 測位点 $p_{i}=\left.\{l a t_{i}\right.$, lng $\left._{i}, t_{i}\right.\}$ は, GPS で測位された緯度 $l a t_{i}$, 経度 $l n g_{i}$, およびタイムスタンプ $t_{i}$ で構成される.

移動軌跡に対する前処理として，連続する 2 つの測位点のタイムスタンプの差が閾値より大きい場合は，その測位点の前後で移動軌跡を分割する。分割した移動軌跡について，一定回数の移動をしていない移動軌跡を削除する．また，測位点のフィルタリングとして，連続する 2 つの測位点の移動速度が間値よりも大きい場合はその測位点を削除する.

本研究では，地域メッシュを表現するために quadkey ${ }^{2}$ を用いる. quadkey は，地図上の特定の地域を一意に識別するためのインデックスある．特定のズームレベルによって作成されたインデックスの值は，重複する地域が存在しない四角形の地域メッシュとなる.なお，本研究では quadkeyを利用しているが，地域の重複がない地域メッシュに変換可能であれば，quadkey 以外の手法や，四角形以外の形状でも構わない. 移動軌跡 $T$ のそれぞれの測位点を quadkey の値のシーケンスに変換した結果を $T^{\prime}=\left.\{w_{1}, w_{2}, \cdots, w_{m}\right.\}$ とする. $w_{i}$ は, 測位点 $p_{i}$ から特定のズームレベルで作成された quadkey の值であ

表 1: データセット

る.このとき，同じインデックスが連続することがあるが，それは地域メッシュ間の移動ではないとみなし重複を削除する。この処理により得られた quadkey の値を単語，移動軌跡を文とみなして， Word2Box を適用する。

## 3.2 Word2Box

本研究では，Word2Boxを適用することで，Box Embeddings による領域表現を獲得する。はじめに， Box Embeddings について説明する. Box Embeddings は， $d$ 次元空間において，単語 $w$ の領域を 2 つの点で表す. 単語 $w$ の Box Embeddings による領域 $\operatorname{Box}(w)$ を以下のように表現する.

$
\operatorname{Box}(w):=\prod_{i=1}^{d}\left[x_{i}^{-}, x_{i}^{+}\right]=\left[x_{1}^{-}, x_{1}^{+}\right] \times \cdots \times\left[x_{d}^{-}, x_{d}^{+}\right]
$

ここで， $x_{i}^{-}$と $x_{i}^{+}$は，それぞれボックスの左下と右上の座標を表し,$d$ 次元のベクトルである.

次に，Word2Box の学習について説明する. Word2Box は, CBOW のように学習し, 単語の領域間のマージンの最適化に取り組む。はじめに，文の単語から中心語を 1 つ選択する. また，ウインドウサイズに従い周辺語の集合を作成する。そして， それぞれの単語を Box Embeddings に変換し, 中心語と周辺語の領域の重なりが大きくなるように学習を行う. また，ネガティブサンプリングによる負例を作成し，中心語と負例の領域の重なりが小さくなるように学習を行う. この学習結果に対して，2つの単語の領域の共通部分や差を取ることで，集合演算を行うことが可能である.

## 4 地域メッシュの集合演算

## 4.1 データセット

本研究では，X から得たポストをデータセットとする. データセットが含む全てのポストは，東京都周辺で投稿された緯度経度情報が付与されている。
データセットの詳細を表 1 に示す.

本研究では， quadkey のズームレベルは 17 と設定した。このズームレベルにより作成される地域メッシュの一辺は，約 305m である．Word2Box のパラメータについて，Box Embeddings に用いる 2 つ点の次元数は，それぞれ 32 次元とした。また，ウインドウサイズは 20 と設定した. 演算結果の地域メッシュの可視化には，OpenStreetMap ${ }^{3)}$ を用いた.

## 4.2 集合演算の結果の可視化

Word2Box を用いて獲得した領域表現の集合演算を行った結果について示す. 集合演算により得られた領域の大きさが集合演算のスコアとなる ${ }^{4)}$.たとえば，図 2 (a) の新宿駅 $\cap X$ は，新宿駅を含む地域メッシュとそれ以外の地域メッシュ $X$ の積集合のスコアを計算することを意味する。また，図 2 (d) の (目白駅 \新宿) $\cap X$ は，目白駅と新宿駅のそれぞれを含む地域メッシュの差集合を計算した結果とそれら以外の地域メッシュとの積集合のスコアを計算することを意味する。

図 2 (a) 〜図 2 (f) に，集合演算により得られた地域メッシュを示す。それぞれの図において，マーカのある黒い地域メッシュが演算に用いた地域メッシュである．また，赤いメッシュが演算結果で得られたスコアが高い上位の 20 件である。

図 2 (a)において，スコアが高い地域メッシュとして，新宿駅の周辺や新大久保駅が得られた.この結果は，それらの地域メッシュの往来は，新宿駅に類似していることを示している。また，東京駅や，池袋駅などの主要な駅の地域メッシュも得られている.これらの駅は，多様な地域メッシュとの往来があることからそれぞれの領域が大きく，それらの地域メッシュの領域の大きさは，すべての地域メッシュの中で東京駅が 1 位，新宿駅が 3 位，および池袋駅が 83 位である．結果として，それらの共通領域が大きくなったと考えられる。

図 2 (b) と図 2 (c) は，新宿駅の地域メッシュと,中野駅と目白駅の積集合をそれぞれ求めた領域のスコアが高い地域メッシュである．中野駅と目白駅のいずれの駅も新宿駅からの鉄道路線がある駅である.この集合演算は，新宿駅との往来と，それらの駅との往来に共通する往来を持つ地域メッシュを得ることを表す。図 2 (a) と比較して，図 2 (b) と

(a) 新宿駅 $\cap X$

(b) (新宿駅 $\cap$ 中野駅) $\cap X$

(c) (新宿駅 $\cap$ 目白駅) $\cap X$

(e) 東京スカイツリー $\cap X$

(f) (東京スカイツリー \浅草寺) $\cap X$

(d) $($ 目白駅 \新宿駅) $\cap X$

図 2: 集合演算のスコアが高い地域メッシュの上位の 20 件

図 2 (c) は，それらの駅が存在する中央本線の駅や，山手線の駅とそれらの周辺の地域メッシュが得られており，新宿駅とそれぞれの駅の往来に類似する地域メッシュを得られたと考えられる。

さらに，図 2 (d) は，目白駅の地域メッシュから新宿駅の地域メッシュの差集合の結果との積集合のスコアが高い地域メッシュである. この集合演算は, 目白駅との往来とは類似しているが新宿駅との往来とは類似していない地域メッシュを得ることを表している. この結果では, 新宿駅周辺の地域メッシュは得られずに, 東武東上線の駅とその周辺の地域メッシュが多く得られている。

次に，観光スポットの地域メッシュの集合演算を行った結果について述べる. 図 2 (e) は, 東京スカイツリーを含む地域メッシュと往来が類似する地域メッシュである. 近隣に浅草寺や，とうきょうスカイツリー駅，押上駅などが存在するため，それらの周辺の地域メッシュが類似する地域メッシュとして得られている. 図 2 (f) は, 図 2 (e) の集合演算に浅草寺の本堂を含む地域メッシュの差集合の演算を加えた結果である. 演算結果は, 浅草寺周辺の地域メッシュは得られずに，錦糸公園や，複合商業施設であるオリナス，東京メトロ半蔵門線の錦糸町駅などを含む地域メッシュが得られている。 そのため，浅草寺と組み合わせて往来されることが少なく，と
うきょうスカイツリー駅などと共通した往来があると思われる地域メッシュを得ることができた。これらの結果より，移動軌跡から地域メッシュの領域表現を獲得することで，人々の移動に基づく地域メッシュの集合演算を行うことができたと考えられる。

## 5 まとめ

本研究では，移動軌跡から作成した地域メッシュの単語列に対して Word2Box を適用することで地域メッシュの領域表現を作成した. 獲得した領域表現を用いて集合演算を行った結果を地図上で可視化し，定性的な分析を行った。

今後の課題として, 今回作成した領域表現を地域メッシュの埋め込み表現を用いる他のタスクにおいて活用することがあげられる。また，今回は， Word2Box の学習の際に，地域メッシュを単語として学習しているが，quadkey は地域メッシュの表現に階層性があるため, FastText などのようにサブワードを利用することで階層性を考慮した領域表現を作成することがあげられる。

## 謝辞

本研究は JSPS 科研費 19K20418 の助成を受けたものです. また，データセットをご提供いただいた筑波大学吉田光男准教授に心より感謝いたします。

## 参考文献

[1] Shuang Wang, Bowei Wang, Shuai Yao, Jiangqin Qu, and Yuezheng Pan. Location prediction with personalized federated learning. Soft Computing, 2022.

[2] Y. Chen, H. Zhang, W. Sun, and B. Zheng. Rntrajrec: Road network enhanced trajectory recovery with spatialtemporal transformer. In 2023 IEEE 39th International Conference on Data Engineering, pp. 829-842, 2023.

[3] Jie Hu, Shijie Cai, Tengfei Huang, Xiongzhen Qin, Zhangbin Gao, Liming Chen, and Yufeng Du. Vehicle travel destination prediction method based on multi-source data. Automotive Innovation, Vol. 4, No. 3, pp. 315-327, 2021.

[4] Yan Luo, Haoyi Duan, Ye Liu, and Fu-Lai Chung. Timestamps as prompts for geography-aware location recommendation. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management, p. 1697-1706, 2023.

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, Vol. 26, 2013.

[6] Jeffrey Pennington, Richard Socher, and Christopher Manning. GloVe: Global vectors for word representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 15321543, 2014.

[7] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[8] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, 2018.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[10] Luke Vilnis, Xiang Li, Shikhar Murty, and Andrew McCallum. Probabilistic embedding of knowledge graphs with box lattice measures. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 263-272, 2018.

[11] Shib Dasgupta, Michael Boratko, Siddhartha Mishra, Shriya Atmakuri, Dhruvesh Patel, Xiang Li, and Andrew McCallum. Word2Box: Capturing set-theoretic semantics of words using box embeddings. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2263-2276, 2022 .
[12] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Proceedings of the 31st International Conference on Machine Learning, Vol. 32, pp. 1188-1196, 2014.

[13] Ben Eisner, Tim Rocktäschel, Isabelle Augenstein, Matko Bošnjak, and Sebastian Riedel. emoji2vec: Learning emoji representations from their description. In Proceedings of the Fourth International Workshop on Natural Language Processing for Social Media, pp. 48-54, Austin, TX, USA, 2016

[14] Aditya Grover and Jure Leskovec. Node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, p. 855-864, 2016.

[15] Jingcheng Du, Peilin Jia, YuLin Dai, Cui Tao, Zhongming Zhao, and Degui Zhi. Gene2vec: distributed representation of genes based on co-expression. Vol. 20, p. 82, 2019.

[16] Masaharu Hirota, Tetsuya Oda, Masaki Endo, and Hiroshi Ishikawa. Generating distributed representation of user movement for extracting detour spots. In Proceedings of the 11th International Conference on Management of Digital EcoSystems, 2020.

[17] Maximillian Nickel and Douwe Kiela. Poincaré embeddings for learning hierarchical representations. In Advances in Neural Information Processing Systems, Vol. 30, 2017 .

[18] Maximillian Nickel and Douwe Kiela. Learning continuous hierarchies in the Lorentz model of hyperbolic geometry. In Proceedings of the 35th International Conference on Machine Learning, Vol. 80, pp. 3779-3788, 2018.

[19] Alexandru Tifrea, Gary Becigneul, and Octavian-Eugen Ganea. Poincare glove: Hyperbolic word embeddings. In International Conference on Learning Representations, 2019.

[20] Luke Vilnis and Andrew McCallum. Word representations via gaussian embedding. In 3rd International Conference on Learning Representations, 2015.

[21] Hongyu Ren and Jure Leskovec. Beta embeddings for multi-hop logical reasoning in knowledge graphs. In Proceedings of the 34th International Conference on Neural Information Processing Systems, 2020.

[22] Octavian Ganea, Gary Becigneul, and Thomas Hofmann. Hyperbolic entailment cones for learning hierarchical embeddings. In Proceedings of the 35th International Conference on Machine Learning, Vol. 80, pp. 16461655, 2018.

[23] Ryota Suzuki, Ryusuke Takahama, and Shun Onoda. Hyperbolic disk embeddings for directed acyclic graphs. In Proceedings of the 36th International Conference on Machine Learning, Vol. 97, pp. 6066-6075, 2019.

[24] Shib Dasgupta, Michael Boratko, Dongxu Zhang, Luke Vilnis, Xiang Li, and Andrew McCallum. Improving local identifiability in probabilistic box embeddings. In Advances in Neural Information Processing Systems, Vol. 33, pp. 182-192, 2020.