# 計算資源が限られた複数組織での出力選択による協働の検討

伊藤郁海 ${ }^{1}$ 伊藤拓海 ${ }^{1,2}$ 鈴木潤 1,3 乾健太郎 1,3
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所
ikumi.ito.p8@dc.tohoku.ac.jp \{t-ito,jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

潤沢な計算資源を持たない組織一つでは，高性能な大規模ニューラルモデルの開発は困難である. 本稿では，そのような組織がそれぞれ開発したモデルを集結させて組み合わせた場合の性能は, 潤沢な計算資源を使い一箇所で訓練されたモデルの性能に匹敵するのかどうか検証する．実験では，独立に訓練された少訓練データかつ小サイズの小モデル群と,多訓練データかつ大サイズの単独大モデルの英日翻訳の性能比較を行った. 実験の結果，小モデル群が生成する複数の出力の中から適切な出力を選択した場合, 小モデル単体と比較して 10 倍の訓練データ量かつ 3 倍のモデルサイズの大モデルの能力に匹敵する性能を達成した。

## 1 はじめに

近年，自然言語処理分野において大規模ニューラルモデルが様々なタスクで高い性能を達成している. その背景には，より多くの訓練データを用いて，より大きなモデルを訓練することで，モデルの性能がべき乗則に従って向上し続けることが期待できるという実験的知見がある [1]. 今後も高性能モデルの実現を目的とした訓練データやモデルサイズのさらなる大規模化が進む可能性は十分考えられる.こうした大規模モデルの開発には多くの計算資源が必須となるため，潤沢な計算資源を持つ一部の企業や研究機関 (大組織) のみがモデル開発を行っているというのが実情である. しかし，大学の研究室など計算資源が潤沢ではない組織（小組織）が高性能なモデルの開発に関与できないという状況は望ましくない [2]. 限られた計算資源を最大限に活用する方法を模索し, より広く多くの研究者や開発者がモデルの性能向上において競争力を持つことは重要である.

では，どのようにすれば計算資源で劣る組織が性能の高いモデルを開発することができるだろうか.本稿では，計算資源で劣る複数の小組織が力を合わせた場合に，大組織が作るモデルに匹敵する性能を達成できるかどうかを検証する．具体的には，独立に訓練された少訓練データかつ小サイズの小モデル群と多訓練データかつ大サイズの単独大モデルの性能比較を行う. 本稿では，小モデル群の活用方法として，各小モデルの出力の中から最適であると推定される出力を小モデル群全体の出力として採用するという戦略をとる。訓練済みモデルを多数集め，それらのモデルの出力の中から最適であると推定される出力を選択するという戦略は，各モデルの訓練は独立に行うことができるという点で有用である. モデルの訓練を独立に実行できることには二つの利点がある。一つ目は，訓練データの共有が不要な点である。これによりプライバシー保護が必要な組織 （例: 医療機関，金融機関など）が持つデータを活用できる。二つ目は，他の組織の開発やモデル共有後の工程に対する考慮が不要な点である．個々の組織は，既存のモデル開発ノウハウをそれぞれの状況に合わせて自由に適用することができる.

本稿では，英日翻訳タスクを題材として小組織群と大組織間の比較を行った. 模擬実験としての簡易化のために，以下の制約のもとに実験を行った.

・各小組織は，大組織用の訓練データを等分割したものの一部を訓練データとして用いる.

$\cdot$訓練，推論の独立性は保った上で，小組織間で同一の実験設定を用いる.

実験の結果，複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行ったところ，大モデル（小モデル単体と比較して 10 倍の訓練データ量かつ 3 倍のモデルサイズ）の性能に匹敵する結果となった。

## 2 関連研究

計算資源が限られている場合でも，高精度なモデルを構築するため，さまざまな研究が行われてい

る. 例えば，モデル性能を保ちながら効果的な訓練データを選択することで，訓練データ量の削減を試みた研究がある $[2,3]$. また，量子化などによりパラメータサイズを削減した上でモデルを訓練するという方法も提案されている [4, 5].

他にも，本研究と類似した取り組みとして，独立した複数の計算機の協働による分散的なモデル訓練方法も研究されている. 例えば，連合学習は，モデルの訓練データが分散して存在する場合に，それぞれの場所で独立にモデルの訓練を行った後，各モデルの更新情報を集約することにより，全体として一つの大きなモデルを訓練する手法である [6]. また，訓練の独立性を保ちながら複数モデルの合成を繰り返し，性能向上を試みる新たな事前訓練手法も提案されている [7].

また，本研究と同様に，複数のモデルを推論時に用いることで良い出力を得る方法も研究されている. 例えば，アンサンブル [8] は，複数のモデルの予測確率を共有し, その平均から最終的な出力を得る手法である. そのため, 複数の組織間でアンサンブルを適用するためには事前にモデルの辞書を共有することが必要である.

モデルの推論時ではく，推論後の出力集合をリランキングやその集合から最も良い出力を選択するという方法も研究されている [9].

## 3 タスク定義

本稿では，モデルの訓練に使用するデータ量とモデルサイズを制御することにより，使える計算資源が少ない小組織と，豊富な計算資源を使える大組織を再現する．本実験の概要を図 1 に示す.小組織の総数を $n$ とし，大組織，小組織が使用する訓練データをそれぞれ $D, d_{i}(1 \leq i \leq n)$ とすると，本実験における $D$ と $d_{i}$ の関係は以下のように表される1).

$
D=d_{1} \cup d_{2} \cup \ldots \cup d_{n}, \quad d_{i} \cap d_{j}=\emptyset(i \neq j)
$

また，大組織，小組織が使用するモデルをそれぞれ $M, m_{i}$ とすると，モデルサイズに関して， $M>m$ が成り立つ. 実験にて使用する具体的なデータセットおよびモデルは， 4.2 節， 4.1 節にて述べる.

大組織は，訓練データ $D$ を用いてモデル $M$ の訓練を行い，評価データ $X$ に対する出力を評価指標

1）組織間において共通の訓練データが存在し，かつ訓練デー タの一部のみが各組織独自のデータであるような状況も想定され得るが，本実験の対象外とする。

図 1 実験設定の概要

$\operatorname{Eval}(\cdot)$ により評価する．大組織のモデルのスコアは次の式で表される.

$
\text { score }_{\text {Large }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \underset{x_{n} \in X}{\operatorname{Eval}\left(M\left(x_{n}\right)\right)}
$

各小組織は，訓練データ $d_{i}$ を用いてモデル $m_{i}$ の訓練を独立に行う. その後, 評価データ $x_{j} \in X(1 \leq j \leq|X|)$ に対する小モデルたちの候補文集合 $Y_{j}$ を得る.

$
Y_{j}=\left.\{y_{1}=m_{1}\left(x_{j}\right), y_{2}=m_{2}\left(x_{j}\right), \ldots, y_{i}=m_{i}\left(x_{j}\right)\right.\}
$

出力選択関数を $f_{\mathrm{sel}}(\cdot)$ とすると, 評価文 $x_{j}$ に対して最終的な出力 $h_{j}$ は以下のようになる.

$
h_{j}=\underset{y \in Y_{j}}{\arg \max } f_{\mathrm{sel}}(y)
$

評価データ $X$ に対する小モデル群のスコアは次の式で表される.

$
\text { score }_{\text {small }}=\frac{1}{|X|} \sum_{n=1}^{|X|} \operatorname{Eval}\left(h_{n}\right)
$

実験にて使用する具体的な Eval および $f_{\text {sel }}$ は, 4.3 節にて述べる.

なるかどうかを検証する。

## 4 実験

本稿では，英日翻訳タスクにて実験を行う。

## 4.1 モデル

翻訳モデルとして, Transformer [10]を使用した. モデルパラメータが約 100M のモデルを小組織が扱う小モデル，約 $300 \mathrm{M}$ のモデルを大組織が扱う大モデルとみなした.

## 4.2 訓練用/評価用データセット

訓練データとしてJParaCrawlv3.0 [11]（約 25M）を使用した. 小モデルは，25M の訓練データを等分割したもの2)の一部を用いてモデルの訓練を行う．大モデルは，25M の訓練データを全て用いてモデルの訓練を行う。また，評価用データとして WMT2022 の newstest2022 [12]を使用した. サブワード分割器およびモデルの辞書の作成は，分割前の全訓練デー 夕をもとに行い，小組織，大組織含め全モデルで同一のものを使用した.また、評価指標として， COMET[13] ${ }^{3)}$ と BLEURT $[14,15]^{4)}$, sacreBLEU [16] を使用する。

## 4.3 出力選択方法

本実験では，式 4 の出力選択関数 $f_{\mathrm{sel}}(\cdot)$ として,参照あり評価指標である COMET と参照なし評価指標である COMETKIWI [17] ${ }^{5}$ を使用する。参照あり手法は評価時に参照テキストを使用し出力選択をしているため，実際の設定では使用することができない。また，COMET は評価指標として使用したものと同じモデルを使用した. つまり，COMET による出力選択はオラクル設定である。一方で， COMETKIWI は出力選択時に，翻訳モデルへの原文と翻訳モデルの出力のみが必要であり，現実の設定でも利用可能な方法である. ${ }^{6)}$

## 4.4 比較設定

本稿では，以下の設定の翻訳性能を比較する。

・Small : 小モデル. それぞれ小モデル群の平均値（Mean），最大値（Max），最小値（Min）を報告する.
- Large : 大モデル単体.

-Est：小モデルの候補文集合から COMETKIWI で最大スコアとなる翻訳文を選択する方法.

2）本実験では，分割においてドメインやトークン数など各データ集合の性質に関する考慮は行わない。

3) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-comet-da.tar.gz（11月 22 日時点で公開されていたモデル)

4) https://storage.googleapis.com/bleurt-oss-21/ BLEURT-20.zip

5) https://unbabel-experimental-models.s3.amazonaws. com/comet/wmt22/wmt22-cometkiwi-da.tar.gz（11 月 23 日時点で公開されていたモデル)

6） wmt22-comet-da の訓練データは，2017 年から 2020 年の WMT News Translation Task における人手評価データである. また, wmt22-cometkiwi-da の訓練データは, wmt22-comet-da の訓練データと MLQE-PE データ [18] である.表 1 訓練データを 10 等分割した場合の結果（newstest2022)

-PostCosE：小モデルの候補文集合に含まれる各文を単語分散表現を用いてべクトル化し，他の文とのコサイン類似度が最も高い翻訳文を選択する方法 [9]. 単語分散表現は，fastText[19] により，JParaCrawlv3.0 の日本語データを用いて作成.

・MaxRef : 小モデルの候補文集合から COMET で最大スコアとなる翻訳文を選択する方法.

個々の小モデルのハイパーパラメータ等の設定は全て揃えて実験を行った。なお，ハイパーパラメータ等の詳細な設定は付録 $\mathrm{A}$ に示す.

## 4.5 実験結果・考察

表 1 に，訓練データを 10 等分割し，小モデルが 10 個存在する状態における WMT2022 の newstest2022 に対する各手法の評価結果を示す. 7$)$

Small は，いずれもLarge に劣る性能を示した. ${ }^{8)}$ Est は, COMET と BLEURT において Large を超える性能を示し，MaxRef は全ての評価指標において Large を超える性能を示した。これらの結果より，モデルを複数用意した上で，それぞれの出力の中から最適な選択ができた場合，個々のモデルの性能から大きな性能向上が期待できる．また，Est と MaxRef の性能差は COMET と COMETKIWI の性能差でもある.

他方，PostCosE は Est と比較して小さな性能向上に留まった。その要因として，それぞれの手法の出力選択戦略の違いが考えられる. PostCosE は，モデル群の中央值的な出力を採用する手法である．この手法は，モデル群の中で及第点となる性能を持つモデルが多数派となるような状況において有効である

7) WMT2022 の newsdev2022, WMT2020 の newsdev2020 に対する評価も行い，結果を付録 Cに示した。

8）付録 B に，全訓練データで訓練した Small モデルの性能と 10 分割データで訓練した Large モデルの性能を示す. Large が Smallを超える性能を示した要因は，訓練データの量とモデルサイズの両方の影響であると示唆される..

と考えられる. 一方で, Est は, モデル群の中で最良と推定される出力を採用する手法である. この手法は，モデル群の中で性能の低いモデルが多数派であっても，高性能なモデルが一つでも存在すればそのモデルの出力が選択される. 訓練データが全く異なるなど，本実験のように各モデルの性能にばらつきが生じる得る状況の場合は，Est の方が PostCosE よりも好相性であることが示唆される.

## 4.6 発展：アンサンブル

使用できるモデルが複数ある場合に，それらのモデルを活用する方法の一つとして推論時のアンサンブル [8] が挙げられる. しかし，一般的なアンサンブルではモデル間でモデルの辞書を共有する必要がある。本稿では各小モデルが独立に訓練される場面を想定しているため，アンサンブルは比較設定に含まなかった. しかしながら，実験前に全ての小組織間で調整を行い，アンサンブルの実施が可能な場合は有効な手法である．そこで，本章では追加でアンサンブルを含む実験を行い，その結果を報告する。 なお，章 4.5 とは異なり，訓練データを 4 等分割し,小モデルが 4 個存在する状態にて実験する.

表 2 に，WMT2022 の newstest2022 に対する各手法の評価結果を示す. Small-*のハイフン以下はモデルのIDを示す. また, $0+1$ は Small-0と Small-1 をアンサンブルした場合の結果である。***(4), ***(15) は出力選択の対象となるモデル数の違いを示す.つまり, Est(4) は Small-0から Small-3 の 4 モデル、Est(15) は Small-0から Small-0+1+2+3 までの 15 モデルで候補文集合を得て出力選択を行った設定である.

全ての評価指標において, Est(4)よりも Est(15), MaxRef(4)よりもMaxRef(15) の方が高い性能を示した。これは，モデルアンサンブルを適用することで，候補文集合内により良い出力を得られたことを意味する。

また，アンサンブルに参加するモデル内に，性能が低いモデルが含まれる場合は，性能が向上しない場合もあることがわかった. 4 つの小モデル単体の性能に着目すると，Small-2 の COMET が他のモデルと比較して低く, Small-2がアンサンブルに関わる場合の COMET の値に注目すると，Small-2 が参加しない場合の方が高い性能を示している（例：

Small-0+1:0.7919, Small-0+1+2:0.7898).

## 5 おわりに

本稿では，独立に訓練された少訓練データかつ小サイズの小モデル群は，多訓練データかつ大サイズの単独大モデルと同等の性能を達成できるのか，という研究課題の検証を英日翻訳の性能比較により行った. 複数の小モデルの出力集合に対して，参照なし評価指標を用いた出力選択を行った場合の性能は，大モデルの性能に匹敵することを示した．本実験結果は，計算資源の制約により単独組織が構築できるモデルの性能に限界があったとしても，複数の組織が協働することで，潤沢な計算資源を持つ単独組織が作成する大規模モデルに匹敵する性能を達成できる可能性があることを示唆するものである.

候補文集合から出力選択を行う戦略においては,出力選択器の性能が鍵となるため, 出力選択器のさらなる性能向上が望まれる，今後の展望として，翻訳タスク以外でも実験を行うことを計画している。 また，GPT-3 [20]のような汎用言語モデルによる複数タスクの性能比較においても本実験と同様の結果が得られるのかも検証する予定である。本実験では各小組織の訓練データが全て異なる設定を用いたが，訓練データの一部を共有するなど，より現実に即した設定での実験を検討する。

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2011（fundamental research), JSPS 科研費 JP21J14152 の助成を受けて実施されたものです.また，本研究を進めるにあたり，有益な助言を頂きました東北大学乾 - 坂口 ・徳久研究室の仲村祐希氏へ感謝いたします.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling Laws for Neural Language Models, 2020.

[2] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会, 2022.

[3] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset Distillation, 2018 .

[4] Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations. J. Mach. Learn. Res., Vol. 18, No. 1, p. 6869-6898, jan 2017.

[5] Ron Banner, Itay Hubara, Elad Hoffer, and Daniel Soudry. Scalable Methods for 8-Bit Training of Neural Networks. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, NIPS'18, p. 5151-5159, Red Hook, NY, USA, 2018. Curran Associates Inc.

[6] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, and Blaise Aguera y Arcas. Communication-Efficient Learning of Deep Networks from Decentralized Data. In Aarti Singh and Jerry Zhu, editors, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Vol. 54 of Proceedings of Machine Learning Research, pp. 1273-1282. PMLR, 2017.

[7] Margaret Li, Suchin Gururangan, Tim Dettmers, Mike Lewis, Tim Althoff, Noah A. Smith, and Luke Zettlemoyer. Branch-TrainMerge: Embarrassingly Parallel Training of Expert Language Models, 2022.

[8] Lior Rokach. Ensemble-based classifiers. Artificial intelligence review, Vol. 33, No. 1, pp. 1-39, 2010.

[9] Hayato Kobayashi. Frustratingly Easy Model Ensemble for Abstractive Summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4165-4176, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, Marseille, France, June 2022. European Language Resources Association.

[12] Tom Kocmi, Rachel Bawden, Ondrej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, et al. Findings of the 2022 Conference on Machine Translation (WMT22).
[13] Ricardo Rei, José GC de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. COMET-22: Unbabel-IST 2022 Submission for the Metrics Shared Task. In Proceedings of the Seventh Conference on Machine Translation, Abu Dhabi. Association for Computational Linguistics, 2022.

[14] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

[15] Amy Pu, Hyung Won Chung, Ankur Parikh, Sebastian Gehrmann, and Thibault Sellam. Learning Compact Metrics for MT. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 751-762, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[16] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[17] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José GC de Souza, Taisiya Glushkova, Duarte M Alves, Alon Lavie, et al. CometKiwi: ISTUnbabel 2022 Submission for the Quality Estimation Shared Task. arXiv preprint arXiv:2209.06243, 2022

[18] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva, Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4963-4974, Marseille, France, June 2022. European Language Resources Association.

[19] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017

[20] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[21] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

## A 実験設定の詳細

翻訳モデルの構築には fairseq [21]を使用した。 どのモデルでも共通して，最適化手法には Adam, Label-Smoothing は $\epsilon_{l s}=0.1$, Warmup Steps は更新回数の三分の一とした。また，推論時のビーム探索幅は 5 とした. 付録 $\mathrm{B}$ で使用する $2 \mathrm{~B}$ モデルは，大モデルのアーキテクチャに対して、隠れ層と順伝播層の次元増やしたモデルである。表 3 ，表 4 ，表 5 に Small，Large，2Bでのハイパーパラメータで異なる設定を示す.

表 3 Small モデルのハイパーパラメーターの一覧.

表 4 Large モデルのハイパーパラメーターの一覧.

## B データ量とモデルサイズの影響

表 6 に訓練データ量とモデルサイズを変化させ

25M の訓練データで訓練したモデルの性能を示す. ***-div10 は，25M の訓練データを 10 分割したものの一部を用いて訓練したモデルの性能を示す。また，比較対象として新たに $2 \mathrm{~B}$ のモデルを加えた. ${ }^{9)}$ ***-div10 と***-full の比較より，訓練データ量の違い (***-div10:2.5M，***-full:25M) がモデルの性能に影響していることがわかる. Small-div10

9） Large の性能を超えられなかったため，今回の訓練データに対しては訓練がうまくいかなかった.
と Large-div10 の比較より, モデルサイズの違い （Small：100M，Large：300M）もモデルの性能に影響していることが示唆される. Est（Small）と Est （Large）の比較より，出力選択は個々のモデルの性能が向上した場合でも有効であることがわかる.

表 6 訓練データ量とモデルサイズを変化させた場合の各評価指標の值 (newstest2022)

## C 10 分割設定における性能評価

表 1 の実験と同様の実験を, newsdev2022と newsdev2020を評価データとして行った. 表 7 に newsdev2022 に対する結果を，表 8 に newsdev2020 に対する結果を示す.いずれの評価データにおいても，全ての評価指標で Est が Large を上回ることはなかった. しかし, Est と Small の比較から出力選択が性能向上に寄与していることがわかる.

表 7 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2022)

表 8 訓練データを 10 等分割した場合の各評価指標の値 (newsdev2020)


# 形式論理学に基づく演繹コーパスによる 言語モデルに対する演繹推論能力の付与

森下皓文 森尾学 山口篤季 十河泰弘
日立製作所 研究開発グループ
terufumi.morishita.wp@hitachi.com

## 概要

言語モデルに演繹推論を学習させるための事例からなる演繹コーパスを提案する. 先行研究では演繹規則が恣意的に選ばれていた為，演繹推論の核心を捉えられなかった. 我々はこれを再考し, 形式論理学に基く根拠ある演繹規則群を採用する. 実験により，提案コーパスで学習した言語モデルが既存コー パスで学習した言語モデルより頑健な演繹推論能力を持つことを示す. 更に後続研究のため，コーパス・学習済みモデル・ソースコードを公開する。

## 1 はじめに

論理的に物事を考える機械の実現は，人工知能黎明期からの夢である [1]. このゴールに対して近年，様々な論理推論ベンチマークが提案されている $[2,3,4,5]$. これらは通常, 優れた言語理解能力を持つ最先端の言語モデルを用いて取り組まれている. しかしながら，言語モデルをもってしても論理推論は難しいことが認識されつつある $[6,7,8]$.

言語モデルは，人間が書いた文章中の多くの良質な事例から，言語理解能力を帰納的に獲得した [9].逆に考えると，言語モデルの論理推論能力の低さは，人間が書いた文章中に良質な論理推論の事例が十分数含まれていないことを示唆している. そうであるならば，良質な論理推論の事例を多く含むコー パスを生成し，言語モデルに学習させることで，論理推論能力を獲得することができるはずである.

このようなコーパスの 1 つとして，近年提案された RuleTaker [10] が挙げられる. RuleTaker は，自動生成された多段演繹証明を含む。 各演繹証明は，与えられた事実の集合に対して演繹規則を複数回適用することにより，仮説を証明 (あるいは反証) する (図 1 中の “Deduction Instance" と同様). 演繹規則としては, $\forall x F(x) \rightarrow G(x), F(a) \vdash G(a)(\vdash$ は “導出
する”の意) 等の，含意に類する規則が用いられた。 Artifical Argument Corpus [11] は RuleTaker 同様，自動生成された一段演繹証明からなるコーパスで，演繹規則として人手で選ばれたクリティカル・シンキングに役立つ規則，例えば対偶 $\mathcal{F} \rightarrow \mathcal{G} \vdash \neg \mathcal{G} \rightarrow \neg \mathcal{F}(\neg$ は否定) が用いられた。これらの演繹コーパスはいずれも，最も普遍的な論理推論能力の一つである，演繹推論能力を獲得する機会を提供し得る.

しかしながら，これら演繹コーパスで採用された演繹規則は少数に限られ，また，恣意的であった。現実世界の複雑な演繹推論では多様な演繹規則が求められるため，再考する必要がある。

本研究はこの問題に答えることを目指す.まず，形式論理学 (Formal Logic) を訪れる (2 節). 形式論理学によれば，既存コーパスで使用された演繹規則も含め，妥当な演繹規則は無限に存在する。しかし， その中でも基本的な演繹規則群 (公理系) が存在し，公理系による多段演繹推論によって，その他の任意の演繹規則を導出できる（完全性）よって，公理系による多段演繹推論は任意の演繹規則による多段演繹推論を模擬することができる。既存コーパスの演繹規則群はこの性質を持たないので，たとえそれらを獲得したとしても，他の多様な演繹規則を模擬できない，我々はこの点を改め，演繹規則群として公理系を採用したコーパス FLD (Formal Logic Deduction, 3 節) を構築し，言語モデルに公理系を用いた演繹推論能力を獲得させることを目指す。

次に FLD の有効性を実験的に確かめる (4 節-6 節 ). 複数種のベンチマークにて，FLDで学習された言語モデルが既存コーパスで学習された言語モデルより頑健な演繹推論能力を持つことを示す.

最後に，FLDコーパス・ソースコード・学習済みモデルを公開する ${ }^{11}$ ．FLDコーパスは既存コーパスより挑戦的なのでベンチマークとして有用である.

図 1: FLD は一階述語論理の公理系に基づく演繹推論事例を生成することを目的とする．また，将来の解析研究において様々なパターンのコーパスを生成することを見据え，多様なオプションが用意されている.

## 2 事前知識: 形式論理学

このステップは 2 つの前提 (棒の上) から結論 (棒の下) を導いており，記号を用いて抽象化できる:

この形式の演繹ステップを modus ponens と呼ぶ.

Modus ponens 以外にも，演繹ステップは無数に存在する。例えば二段論法 (syllogism) は有名である:

$
\frac{(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H})}{\mathcal{F} \rightarrow \mathcal{H}} \text { syllogism }
$

無論，妥当でないステップ2)を考えることもできる:

上記の例から分かるように，演繹推論とは，特定の規則に従って前提から結論を導き出す思考形態と定義できる. 形式論理学では，このような演繹規則のことを論証と呼ぶ. 従って，(2)-(4)は全て形式論理学における論証である。なお，F $\mathcal{F}$ や $\mathcal{G}$ などは， $\mathcal{F}=\neg(A \vee \neg B)$ など $(A, B$ は原子論理式 $)$, 任意の複合論理式でよい. 更に，前提・結論に現れる論理式は無限パターン考えることができるため，論証は (妥当でないものも含めて) 無限に存在する.

2）前提が全て真 $(=1)$ だが結論が偽 $(=0)$ となるような真理值割り当てが存在するステップ (論証) のこと．表 $5 \mathrm{~b}$ 参照.

図 2: 公理系を用いた多段演繹推論. (左): 三段論法の導出 (右): ステップ数を大く取ることで，三段論法を用いた多段推論を模擬できる.

次に多段演繹推論を考える。図 2(左) から分かるように，三段論法はより「原子的な」論証による多段演繹推論によって導出できる (他の例として，先行研究で使用された論証の導出を図 4 に示す). 実は，形式論理学では公理系と呼ばれる原子的な論証群（図 3a）が存在し，以下のことが知られている

定理 1 (一階述語論理 ${ }^{3}$ ) の完全性 Gödel, 1930). 全ての妥当な論証4) は，公理系による多段演繹推論によって導出できる。また，公理系による多段演繹推論によって導出された論証は全て，妥当である.

ここに我々は，形式論理の核心，即ち，公理系を用いた多段演繹推論に至った. 完全性により，妥当な論証は全てこの方法に導出でき，かつ，この方法によって導出される (無限種類の) 論証は全て妥当なのである。また，図 2(右) に例示するように，公理系を用いた多段演繹推論は，原理的に，任意の論証を用いた多段演繹推論を模擬できることになる.

3）本論文は一階述語論理に議論を限る.

4）前提が全て真 $(=1)$ となるような任意の真理値割り当てにおいて，結論も必ず真 $(=1)$ となる論証のこと. 表 5 a に例示.

## 3 形式論理演繹コーパスの生成

公理系による多段演繹推論事例を生成するためのフレームワーク FLD (Formal Logic Deduction)を提案する. 直感的な理解のために図 1 を参照のこと。参考として，実際に生成された事例を図 5 に示す.

ランダム演繹による証明木生成 RuleTaker は，論理式群をランダムに生成し, それらにソルバーを走らせて偶発的に生じた演繹関係を特定し，証明木として用いた. しかしこの方法は外部のソルバーに依存するため, 証明に用いる論証群を指定できない.

そこで我々は，ユーザが指定した論証群を用いてランダムな演繹推論を行うことにより証明木を生成するモジュール (図 1 中の “Proof Tree Generator')を開発した.このモジュールは, 前向き・逆向きの各ステップ (図中“forward"と "backward") において,論証をランダムに 1 つ選び，現在の証明木に結合する. 証明木のノードの複合論理式 $(\mathcal{F}$ や $\mathcal{G})$ は任意である（2 節）ため, 原子論理式 ( $A$ や $B$ 等) と論理演算子 $\wedge, \vee, \neg$ を用いてランダムに生成する ${ }^{5}$ ).

負例事実群の生成現実の論理推論では，事実群は与えられるのではなく，検索システム等によって取得しなければならないので，ノイズとなる事実 (負例事実) が含まれる.これを模擬した負例事実群を生成する (図 1 中の “Factual Distractor Generator").負例事実は, 正例事実と類似する論理式 (例えば正例 $(A \wedge B) \rightarrow C$ に対して負例 $A \rightarrow C$ ) 等を用いる.

自然言語の割り当て各論理式に，自然言語を割り当てる (図 1 の “Natural Language Assigner”)。まず，各論理式ごとに，事前に用意された以下のようなテンプレートからランダムに 1 つ選択する:

$
\begin{gathered}
A \rightarrow B \text { : "If A, then B.", "A leads to B." } \\
F(a) \rightarrow G(b): \text { "If a F, then b G.", "When a F, b G." }
\end{gathered}
$

$A, B, F, G, a, b$ のような要素には一定の文法制約の下，語彙からランダムに構築した言明を割り当てる:

$A$ : "an Earthquake occurs" $B$ : "the year ends"

$F$ : "run" $G$ : "answer" $a$ : "the hamburger" $b$ : "Peter"

ランダムである理由は，演繹推論の妥当性は論理式の記号形式にのみ依存し, その内容は依存しない6) ので，論理式への内容割り当てはいかなるものも許容されなければならないからである.

演繹推論事例の生成事例を生成する (図1 中の “Deduction Instance Converter"). 事例は，事実群 - 仮

5）ただし先行研究と同様, 原子論理式の数は 3 までとする.

6）「Aと $A \rightarrow B$ が成り立っている時には，Bも成り立つ」という形の推論は， $A$ の実際の内容にかかわらず妥当である.表 1: 本研究で用いたコーパス (詳細は付録 A.1).比較対象となるコーパス間の条件を揃えるため,複数のコーパスを構築した. “RT” は RuleTaker[12].

} \\

RT.BE はテストセットのみなので評価のみに使う。

説・証明・回答ラベル，から構成される．回答ラベル「証明された」の場合: (i) 証明木の根ノードを仮説として (ii) 証明木の葉ノードと負例事実を事実群として (iii) 証明木の中間ノード群を証明として，用いる. 回答ラベル「反証された」の場合，根ノードの否定文を仮説とすることにより，証明木によって仮説が反証されるようにする。回答ラベル「不明」 の場合，葉ノードの一部をランダムに削除することで，仮説を証明も反証もできないようにする。

## 4 実験

FLD で学習された言語モデルの論理推論能力を,他の演繹コーパスで学習された言語モデル，またこのような学習をしない言語モデルと比較する。

## 4.1 モデル

演繹タスクでは，与えられた事実の集合から与えられた仮説を証明・反証する証明系列を生成することが求められる.このために, [8] の証明器を用いる.これは T5[13] に基づく生成モデルで, “fact1 \& fact3 -> The Earth has seasons.' のように，選ばれた前提群と導出される結論からなる証明ステップを $1 つ$ づつ生成していく. 学習の詳細は付録 A. 2 に示す.

## 4.2 ベンチマーク

演繹コーパス表 1 中のあるコーパスで証明器を学習し, 別のコーパスで性能を計測する. 証明器が頑健な演繹推論能力を獲得していれば少ない事例のみで転移するはずなので，ターゲットコーパスでの
表 2: 各コーパスにおいて，全データを用いて fine-tuning された証明器の証明正解率.

表 3: コーパス間で few-shot 転移した証明器の証明正解率.これらコーパスは用いた論証群が異なる.

} & RT & 70.1 & 92.4 & 91.3 & 76.2 & 74.4 & 76.7 \\

学習は few-shot ( $1 \%=300$ 事例) で行う. 性能指標として証明正解率 (proof accuracy) [12] を用いる.

EntailmentBank (EB) [14] 証明木は人手で作成されており，また，各証明ステップは厳密な論理ステップだけでなく含意的なステップも許される。 よって，より現害的なシーンでの演繹推論能力を測定できる，上記のように，証明ステップの性質が演繹コーパスとは異なるため, 少数事例での転移は望めない．よって，演繹コーパスで学習した証明器を EB 全データで fine-tuning して性能を計測する。性能指標として証明正解率 (“AllCorrect” [14]) を用いる.

## 5 言語モデルは論理を解けるか?

まず，言語モデルが各演繹コーパスをどれくらい解けるか示しておく(表 2). 証明器は RuleTaker では良好な性能を発揮しているが，FLDでの性能は悪い. FLD が難しい理由の一つは，以下のように考えられる (詳細は付録 A.3). RuleTaker は含意に類する少数の論証 (図 3b) のみを使用するのに対し, FLD は公理系 (図 3a) に含まれる様々な論証を使用する. よって，FLDは証明木生成の際に，木の各レベルにおいて選択可能な論証の種類が多い. 証明木は，各レベルにおいて選択された論証の組み合わせによって構成されるので，ありうる木のパターンは組み合わせ的に大きくなる (大雑把に $O\left(|\mathcal{A}|^{d}\right)$ パターン. ここで $|\mathcal{A}|$ は各レベルにおける論証の選択肢数, $d$表 4: EntailmentBank における証明器の証明正解率.

は木の深さ). 結果，FLD は RuleTaker よりも多様なパターンの証明木を含んでおり，難易度が高いと考えられる。実際，最も木が深いFLD`は極めて難易度が高かった。

## 6 FLD は有効か?

## 6.1 論証への汎化

演繹推論能力の獲得において最も重要なのは演繹規則（論証）の獲得であるので，演繹コーパスがうまく言語モデルに論証を教えられるかを調べる。

表 3 から分かるように，論証群が異なるコーパス間の転移に関して，sFLD-axiomで学習された証明器が最も平均性能が高かった。これは，コーパス毎の結果から分かるように，論証群が異なる他のコー パスに対して最も頑健に転移したことによる.

この頑健性こそがまさしく，形式論理に基づく演繹の美徳を示している．sFLD-axiom は論証群として公理系を用いているので，完全性により，他コー パスの論証による多段演繹推論を全て模擬することができる（参考に図 4 に例を記す)。即ち，公理系から得られる演繹推論能力は，様々な論証に汎化するのである。一方，他コーパスの論証群は完全性のような性質を持たず，論証への汎化は得られない。

## 6.2 より複雑なタスクへの汎化

表 4 に，EB での性能を記す。EB は深い木 (最大で 10 以上)を含むので，深い木を含む演繹コーパスから転移させた．FLDによる学習は，より実世界に近い複雑な論理推論にも汎化することが分かる．参考に表 8 に証明器の出力例を示す.「否定 (ᄀ) の意味」「次の結論を導くために必要十分な前提のみを選ぶ」「前提から論理的に導ける事項のみ結論に含める」など，論理の基本が学習されている。

## 7 おわりに

形式論理学に基づく演繹コーパスを提案し, 有効性を実験的に示した，今後は，事実群の獲得も求められる演繹推論や仮説推論など，より高度な推論に対して，本アプローチを昇華させていく．

## 謝辞

本研究は，計算機リソースとして，産総研の $\mathrm{AI}$橋渡しクラウド $(\mathrm{ABCI})$ を用いた。また，日立製作所の清水正明氏には，社内大規模計算機環境の維持管理をして頂いた．両者ともに，お礼申し上げる。

## 参考文献

[1] John W. McCarthy. Programs with common sense. In Proc. Tedding Conf. on the Mechanization of Thought Processes, pp. 75-91, 1959 .

[2] Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M Rush, Bart Van Merriënboer, Armand Joulin, and Tomas Mikolov. Towards ai-complete question answering: A set of prerequisite toy tasks. arXiv preprint arXiv:1502.05698, 2015.

[3] Ivan Habernal, Henning Wachsmuth, Iryna Gurevych, and Benno Stein. The argument reasoning comprehension task: Identification and reconstruction of implicit warrants. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1930-1940, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[4] Timothy Niven and Hung-Yu Kao. Probing neural network comprehension of natural language arguments. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4658-4664, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Kyle Richardson, Hai Hu, Lawrence Moss, and Ashish Sabharwal. Probing natural language inference models through semantic fragments. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8713$8721,2020$.

[6] Amanda Askell. Gpt-3: Towards renaissance models. Daily Nous Blog: Philosophers On GPT-3, 2020.

[7] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis \& insights from training gopher. arXiv preprint arXiv:2112.11446, 2021

[8] Kaiyu Yang, Jia Deng, and Danqi Chen. Generating natural language proofs with verifier-guided search. In Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019

[10] Peter Clark, Oyvind Tafjord, and Kyle Richardson. Transformers as soft reasoners over language. arXiv preprint
arXiv:2002.05867, 2020.

[11] Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 63-75, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[12] Oyvind Tafjord, Bhavana Dalvi, and Peter Clark. ProofWriter: Generating implications, proofs, and abductive statements over natural language. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3621-3634, Online, August 2021. Association for Computational Linguistics.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J Liu, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., Vol. 21, No. 140, pp. 1-67, 2020.

[14] Bhavana Dalvi, Peter Jansen, Oyvind Tafjord, Zhengnan Xie, Hannah Smith, Leighanna Pipatanangkura, and Peter Clark. Explaining answers with entailment trees. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7358-7370, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A 参考情報

(a) 一階述語論理の公理系 (FLD の論証群)

(b) RuleTaker ${ }^{G(b)}$ “含意” 論証群図 3: 本研究や先行研究で用いられた論証を示す.ただし, Artificial Argument Corpus で用いられた論証は [11] の Figure. 1 参照のこと.

(a) RuleTaker の論証.

(b) Artificial Argument Corpus の論証.図 4: 公理系を用いた多段演繹推論による, 先行研究の論証の導出例.

表 5: 論証の前提 $\left(\mathcal{P}_{i}\right)$ ・結論 $(C)$ に関わる真理値表. 青色は, 前提が真 $(=1)$ の場合には結論も真. 赤色は, 前提が真なのに結論が偽 $(=0)$.

(a) 妥当な論証 (3) (syllogism).

$
\begin{aligned}
& \mathcal{P}_{1}=(\mathcal{F} \rightarrow \mathcal{G}) \wedge(\mathcal{G} \rightarrow \mathcal{H}), \\
& C=\mathcal{F} \rightarrow \mathcal{H} .
\end{aligned}
$

(b) 妥当でない論証 (4).

$\mathcal{P}_{1}=\mathcal{F}, \mathcal{P}_{2}=\mathcal{F} \vee \mathcal{G}$

図 5: FLD の事例 (本例では証明中に背理法が用いられている).

## A. 1 コーパス詳細

“skewed” な深さ分布のコーパスは，深い木よりも浅い木をより多く含む. これは, 公平な比較のために RT(D0-D3) に合わせた分布である. 一方，“flat”は一様分布を持つ. 全てのコーパスの事例は，負例事実群を最大 20 程度まで，ランダムに含んでいる。 RuleTaker: 他のコーパスとの条件を合わせるため，回答ラベルの分布が一様に・学習セットサイズが $30 \mathrm{k}$ となるように，一部をサンプリングした. “含意”論証群は図 3b. その他詳細は [12].

FLD: オプション機能を用いて，様々な条件のコーパスを作成した. “公理系” 論証群は図 $3 \mathrm{a}$ を, “含意” 論証群は図 $3 \mathrm{~b}$ を, “クリティカル・シンキング”論証群は，[11] の Figure. 1 記載のものを，用いた. クリティカル・シンキング論証は粒度が大きく多段に組み合わせるのが難しいので，木の深さは 1 とした. 回答ラベルの分布は一様である．学習セットサイズは $30 \mathrm{k}$ ，バリデーション・ テストセットは $1 \mathrm{k}$ である。その他詳細はウェブ参照のこと。

## A. 2 証明器学習の詳細

表 6: 証明器学習のハイパーパラメータ.

5 節, 付録 A. 3 での “全データでの fine-tuning”では，20000 ステップ学習している. EntailmentBank は難易度が高いので, [8] の verifier も用いている. その他, 学習の詳細は [8] を参考のこと。

## A. 3 各コーパスの難易度の詳細分析

表 7: 各コーパスで, 全データで fine-tuning された証明器の証明正解率.

$

$

“skewed”コーパス群において, sFLD-impl は RuleTaker より難易度が高い，論証群や木の深さ等の諸条件は同じなので，その他の実装の詳細に起因すると考えられる．例えば，FLDの負例事実は正例事実と混同しやすいように設計されており，自然言語割り当てはランダム言明によって極めて多様である (3 節). FLD-impl は sFLD-impl と同様の “含意” 論証を用いているが，より難易度が高い。これは，“flat”コーパス群は skewed に比べて，深い証明木をより多く含む (付録 A.1) からであろう．FLD の難易度が FLD-impl より高いのは，公理系からなる多様な論証をを用いるので，多様なパターンの証明木を含むからであろう (5 節 ). FLD $\star$ 極めて難しい理由は，証明木の深さが最も深く，指数関数的に多様なパターン $\left(|\mathcal{A}|^{d}\right)$ の証明木を含むからであろ.

 & rocks cannot form fossils & \multirow{2}{*}{  } \\

$a$ https://github.com/hitachi-nlp/FLD

イン (T5) の誤った証明ステップが治った例.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ExDistilBERT：辞書拡張できる モデル蒸留によるドメインに特化した言語モデル

高 鵬挙 ${ }^{1}$ 山崎 智弘 $^{1}$ 伊藤 雅弘 $^{1}$
1 株式会社東芝 研究開発センター
知能化システム研究所 アナリティクスA I ラボラトリー
\{pengju1.gao, tomohiro2.yamasaki, masahiro20.ito\}@toshiba.co.jp

## 概要

本論文は小規模コーパスでもドメインに特化できる ExDistilBERTを提案する。蒸留手法において，独自の手法で専門用語を辞書氾追加し, 一般用語と専門用語を独立して計算可能な損失関数を導入し，二種類の語彙や文脈知識を同時に学習できる。

蒸留手法で課題となっている過学習氾る知識忘却の問題を回避できることを実験により確認し，特殊ドメインにおいて, ExDistilBERT は教師モデルの性能を大幅に超えるだけでなく，軽量化もできた。

## 1 はじめに

近年，大規模コーパスを用いて学習された大規模言語モデルが注目を集めている。

BERT[1]を代表として，自然言語処理 (NLP) 領域での様々なタスクで，良い性能を達成している。汎化性能が高いと Fine-tuning の訓練コストが低くできる一方、BERT は Base サイズモデルでも一億を超えるパラメータを持つため，それを実装するためには膨大な計算リソースが必要である. 様々な場面で応用するため，モデルの軽量化が要求される。さらに小規模コーパスで Fine-tuningする場合, 事前学習した知識を忘れて，過学習しやすいことも課題になる。

金融，インフラ，法律，化学などの様々な分野では，一般文書にはない専門用語が大量に含まれている. 一般文書を使って学習した言語モデルをそれらの分野に応用する場合, 未知語として扱うことや，既知の短い単語の組み合わせに分割することが多い. 日本語では, 後者の場合が多く, 長い専門用語がより小さい断片に分割されて，元の意味を保持できなくなることや，分割によって処理量が増えるなどの恐れがある.
モデル軽量化において，よく使われている手法には知識蒸留 (Knowledge Distillation)[2], 枝刈り (Pruning), 量子化 (Quantization) など [3] が存在するが，元モデルの性能を超えることができない，そこで我々は, モデル蒸留手法纪辞書拡張機能を追加し, 教師モデルの知識を学習すると同時に, スムーズに新たな単語を追加することができる ExDistilBERTを提案する. すなわちモデル軽量化と特殊ドメインへの適応性を両立できる。

結果として, ExDistilBERT は特殊ドメインの性能が教師モデルより向上することを示す. 同時に，学習速度や推論時間も改善し, 過学習問題も回避できることを示す。

## 2 関連研究

本節は本研究と関連性の強い事前学習言語モデル, モデル蒸留, 辞書抎張の研究について説明する. BERT[1] は, Transformer[4] ユニットによって構成される. BERT は Masked Language Model (MLM) と Next Sentence Prediction(NSP) を使って，大規模コー パス用いた教師なしの事前学習法として提案され， NLP の様々なタスクにおいて小規模な教師データを用いた Fine-tuning によって，非常に良い性能を示した.

モデル軽量化においてょく使われる知識蒸留 (Knowledge Distillation)[2] では学生モデルが教師モデルの出力分布を近似するよう学習させる。 NLP 領域では，蒸留手法を用いた軽量版 BERT の DistilBERT[5] がよく使われている. 新納 [6] らは DistilBERTを用いて，ドメインに特化したモデルを構築したが, Fine-tuning しないと, 教師モデルを超える性能を取得することが難しいことがわかった。自然言語処理技術を特殊ドメインで活用するニーズの高まりから，様々な分野に特化した言語モ

デルの研究がある. 英語において, 生物ドメインのコーパスを使って，特化した BERTを訓練した BioBERT[7], 科学文章から専門用語を抽出し, 科学ドメインに特化した SciBERT[8], 生物医学に関するデータベース PubMed を使って, 生物医学ドメインに特化した PubMedBERT[9] などが存在する. 日本語においても, 医学分野 [10], 金融分野 [11], 法律分野 [12] などでドメインに特化した BERT が汎用日本語 BERT を超える性能を示した. ただし， ゼロから BERTを事前学習するには，大規模コーパスと計算リソースが必要となる. さらにより特化したドメインにに合致する，大規模コーパスを用意できない問題も存在する.

## 3 提案手法

本研究では，辞書拡張できるモデル蒸留の手法 ExDistilBERT を提案し，モデルを軽量化すると同時に，事前に大規模コーパスで訓練した汎用モデルで課題となっていた特殊ドメインの適応性を解決する. 提案手法は, 大規模汎用モデルを追加学習し,辞書拡張する従来手法と比べて，小規模コーパスを用いた条件で，過学習の恐れを低減することを確認する。

本論文は追加した単語を新単語と呼ぶ，教師モデル辞書に含んでいる単語を一般用語と呼ぶ。 ExDistilBERT の概念図を図 1 に示す. 新単語と一般用語を分けて, エンベディングや損失関数など処理を行うことで，新単語の知識と教師モデルの知識を同時に学習できる.

## 3.1 エンベディングと単語マスク

図 1 の token embedding において, 拡張した辞書で，センテンスを分割し，単語をエンベディングする.

一般的にモデル蒸留は教師モデルと学生モデルの辞書を同じものにする必要があるが，辞書拡張のため, 教師モデルに入力不可の新単語が存在する. 図 1 の token masking において, 教師モデルと学生モデルに対する，新単語と一般用語を分けて，特殊なマスク手段を設計した。

## 新単語のマスク

・教師モデルの辞書には新単語が含んでいないため，全部マスクして，モデルに入力する.

・学生モデルの辞書には新単語が含んでいるため，確率 $P(0<P \leqq 1)$ でマスクされる $P=1$ の時, 学生モデルの大力も新単語が全部マスクされるため，教師モデルの入力と同じになる. もし追加した単語の数が非常に多い場合, $P$ で学生モデルの入力にマスクされた単語の比率を制御できる. 新単語の範囲情報 $\mathbf{M}_{\text {newtoken }}$ はマスクベクター の形で損失関数の計算を利用する.

一般用語のマスク新単語以外の部分において, BERT の MLM タスクと同じく, ランダムで単語のマスクと入れ替えを行う．入り替えの単語は教師モデルの辞書からピックアップしたものである.

## 3.2 損失関数計算

本節は新単語と一般用語を分けて，損失関数を計算する仕組みを説明する。

図 1 の右半分，二つの入力を教師モデル $(\mathrm{t})$ と学生モデル (s) に入力し, 最後レイヤの隠れ状態べクター Hidden state, $H_{t, s}$ と単語予測の Logits, $L_{t, s}$ を取得する. 教師モデルの知識を学習するため, 一般用語の範囲 (selected position) だけに類似度などを計算する。範囲を設定は以下の式 1,2 で行っている.

$
\begin{aligned}
H_{t, s}^{\prime} & =\left.\{H_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\} \\
L_{t, s}^{\prime} & =\left.\{L_{t, s}(i) \mid \mathbf{M}_{\text {newtoken }}(i)=0\right.\}
\end{aligned}
$

以下の三つの尺度, Cosine 類似度, 式 3 ; カルバック・ライブラー情報量, 式 4 ; MSE 損失 (Mean squared error), 式 5, を用いて，損失関数を計算し，教師モデルの知識を学習させる.

$
\begin{gathered}
\mathscr{L}_{\text {Cosine }}\left(H_{t}^{\prime}, H_{s}^{\prime}\right)=\frac{H_{t}^{\prime} \cdot H_{s}^{\prime}}{\left.\|H_{s}^{\prime}\right.\|\left.\|H_{t}^{\prime}\right.\|} \\
\mathscr{L}_{\mathrm{KL}}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\sum_{i} L_{t}^{\prime}(i) \log \frac{L_{t}^{\prime}(i)}{L_{s}^{\prime}(i)} \\
\mathscr{L}_{M S E}\left(L_{t}^{\prime}, L_{s}^{\prime}\right)=\frac{1}{n} \sum_{i=1}^{n}\left(L_{t}^{\prime}(i)-L_{s}^{\prime}(i)\right)^{2}
\end{gathered}
$

次は, BERT と同じく, 学生モデルの Logits $L_{s}$ とラベル $L_{\text {label }}$ を用いて，マスクされた単語を推測する損失関数 $\mathscr{L}_{M L M}$ を計算する。

最終的な損失関数は，式 6 で以上の各損失の重み付き和を計算することで取得する。

$
\begin{array}{r}
\mathscr{L}_{\text {final }}=\alpha \mathscr{L}_{\text {Cosine }}+\beta \mathscr{L}_{\mathrm{KL}}+\gamma \mathscr{L}_{M S E}+\delta \mathscr{L}_{M L M}, \\
\quad \text { where } \alpha, \beta, \gamma \geq 0,(\alpha, \beta, \gamma) \neq(0,0,0), \delta>0
\end{array}
$

このような仕組みで，一般用語を学習する同時に, 専門用語の知識を学習ことで, ドメインに特化した言語モデルを構築する。

図 1 ExDistilBERT の概念図

表 1 新単語長さ分布と単語例 (新単語数 2000 の場合)長さ数単語例

2368 本件, 客様, 発送, 本日, 切替, 用紙, 客先, 取替,取付, 異音, 送出, 新品

3681 不具合, 不適合, 可能性, 再起動, 本事象, 再現性, 設定値, 一時的, 確認後

4648 機体交換, 動作確認, 客様対応, 長期使用, 動作不良, 自動停止, 不具合品

5+ 314 添付ファイル, 不具合現象, 作業管理者, 事象発生時, 点検・修理, 調査結果報告

## 4 評価実験

本節は本研究のデータ設定, 実験設定と結果について説明する.

## 4.1 学習データと評価データ

モデル蒸留と辞書拡張コーパスは東芝社内のインフラドメインのテキスト文書データ (約 170 万文)を用いた. 追加した単語の自動抽出は専門用語自動抽出システム [13][14] を使用した. 教師モデルに存在せずかつ出現頻度高いの単語をピックアップした.新単語長さ分布と単語例は表 1 で示す.

イベント抽出データセットとして長文主体の文書 Data $_{A}$ と短文主体の文書 Data $_{B}$ の 2 種類を用意して，蒸留したモデルのエンベディング能力を評価する．イベント抽出タスクは，ドキュメント文書から，「配管に亀裂」や「水位が低下」のように原因や結果となりうる表現を抽出するタスクである. トラブル表現を正確に抽出するには，インフラドメインの文脈を理解することができる言語モデルを構築することが重要と考えられる．データセットのセンテンス長さと規模を表 2 で示す. 抽出性能は完全一致表 2 データセットのセンテンス長さと規模

表 3 各モデルハイパーパラメータ設定

の $\mathrm{F}$ 值と主要部一致 (イベント末尾 5 形態素のいずれかが重複する [15]) の F 值で評価している。

## 4.2 実験設定

本論文のモデル学習設定について説明する. 本研究のベースラインモデルと ExDistilBERT の教師モデルは，東北大学乾・鈴木研究室によって作成・公開された BERT モデル bert-base-japanese-v2[16] を使っている. 追加した単語の数は 2000 個であり, HuggingFace's Transformers[17] の上に, PyTorch の実装を構築した. 従来の手法と比較するため， ExDistilBERT と同じコーパスを用いて，BERT モデルから蒸留したBERT_distillation, 同じ辞書で拡張した BERT_addtoken のモデルも学習した. 各モデルのハイパーパラメータ設定は表 3 に示す.

訓練環境はRTX6000一枚で行う. ExDistilBERTと BERT_distillation において, $\alpha=3, \beta=1, \gamma=0.2, \delta=1$ の設定をした.

## 4.3 評価結果

MLM タスク可視化, 単語エンベディング能力,計算リソースにおいて，評価を行った.
表 4 MLM タスク出力の可視化 (推測された単語 Top5)

表 5 イベント抽出タスクにおいて，モデル評価結果

 & .599 & .859 & .619 & .868 \\
DistilBERT_Namco[19] & .528 & .758 & .580 & .820 \\

## 4.3.1 Masked Language Model(MLM) の可視化

ベースライン BERT モデルと比べて ExDistilBERT がドメインに特化した文脈理解能力を獲得しているかを確認するため，MLM タスクの出力を可視化した. [MASK] トークンの推測結果として得られた Top5 の単語を表 4 に示す. 表 4 に示す通り， DistilBERT の方が動作確認や納期や試験といったインフラドメインでよく使われる専門用語を優先的に推測できた.

## 4.3.2単語のエンベディング性能評価

本節では，単語エンベディングの性能評価を提案手法と既存手法で比較する. 4.2 節説明したべースライン BERT モデル, ExDistilBERT, BERT_distillation と BERT_addtoken を含めて，既存の汎用蒸留モデルの DistilBERT_Laboro[18] と DistilBERT_Namco[19] も追加し評価を行った. 評価した結果は表 5 で示す. ベースライン BERT や単純なモデル蒸留手法 BERT_distillationと比べて，辞書拡張した ExDistilBERT と BERT_addtoken, Data CD Data $_{B}$ において性能向上した. 専門用語の拡張効果が確認できた. Data $_{A}$ において ExDistilBERT は BERT_addtoken の性能を超えて，ベースライン BERT より完全一致の $\mathrm{F}$ 值 5 ポイント以上を向上した. BERT 丸ごとで学習して辞書拡張のは，パラメータ数が大規模である. 相対的に小さい規模のコーパスで追加学習するとき，過学習して，元の知識を忘れてしまい，性能表 6 各モデルの学習時間, 推論時間とパラメータ数

モデル学習時間推論時間パラメータ数

劣化の恐れがあることから，学習ハイパーパラメー タの最適化という課題を残っている. Data において，ExDistilBERT は BERT_addtoken を超えていない. 短い文に対して，性能劣化の影響が少ないと推測された. BERT_distillation はできるだけベースラインの BERT に近づくのが学習目標となっており, ベースライン BERT と大体同じレベル性能を取得した. 二つ公開された DistilBERT は，性能劣化の恐れがある. 両者は今回のインフラドメインのコーパスではなく，一般的な日本語コーパスでモデル蒸留したもので，教師モデルからの知識勉強が不足の可能性が高いと推測された。

## 4.3.3計算リソース

4.2 節のモデル学習時間と評価実験において推論時間，パラメータ数を表 6 に示す. ExDistilBERT について，学習時間は従来の蒸留手法 BERT_addtokenと同じレベルであるが，BERTを辞書拡張 BERT_addtoken より 4 倍の学習速度になった. 推論時間も BERT_addtokenより約 $23 \%$ 减少した. パラメータ数は BERT_addtoken より約 $37 \%$ 減少した. ExDistilBERT の方が計算リソースの観点からも優れていることが確認できた。

## 5 おわりに

本論文は小規模コーパスでもドメインに特化する ExDistilBERT を提案した. 辞書拡張できるモデル蒸留の手法より，一般用語の知識はモデル蒸留によって教師モデルから継承すると同時に、専門用語に対して知識を学習できた。特殊ドメインの性能が教師モデルと比べて大幅に向上した. 小規模コーパスで BERT を追加学習する場合，元の知識を失う過学習の問題も回避できて，BERT の追加学習より安定の学習結果を得ることができた。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] Geoffrey Hinton, Oriol Vinyals, Jeff Dean, et al. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, Vol. 2, No. 7, 2015.

[3] 康平山本, 素子橘, 蔵人前野. ディープラーニングのモデル軽量化技術. Oki テクニカルレビュー, Vol. 86, No. 1, pp. 24-27, 052019.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[5] Victor Sanh, L Debut, J Chaumond, and T Wolf. Distilbert, a distilled version of bert: Smaller, faster, cheaper and lighter. arxiv 2019. arXiv preprint arXiv:1910.01108, 2019.

[6] 新納浩幸, 白静, 曹鋭, 馬ブン. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集第 34 回 (2020), pp. 1E3GS9021E3GS902. 一般社団法人人工知能学会, 2020

[7] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. Biobert: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[9] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), Vol. 3, No. 1, pp. 1-23, 2021.

[10] Yoshimasa Kawazoe, Daisaku Shibata, Emiko Shinohara, Eiji Aramaki, and Kazuhiko Ohe. A clinical specific bert developed using a huge japanese clinical text corpus. Plos one, Vol. 16, No. 11, p. e0259763, 2021.

[11] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用いた事前学習言語モデルの構築と検証. 人工知能学会第二種研究会資料, Vol. 2021, No. FIN-027, p. 05, 2021.

[12] 宮崎桂輔, 菅原祐太, 山田寛章, 徳永健伸. 日本語法律分野文書に特化した bert の構築. 第 28 回年次大会発表論文集 (2022 年 3 月), 2022.

[13] 専門用語自動抽出システム (配布). http://www. forest.eis.ynu.ac.jp/Forest/ja/ term-extraction.html.

[14] 中川裕志, 湯本紘彰, 森辰則. 出現頻度と連接頻度に基づく専門用語抽出. 自然言語処理, Vol. 10, No. 1, pp. 27-45, 2003.

[15] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用いたエンティティ抽出. 第 27 回年次大会発表論文集
(2021 年 3 月), 2021.

[16] Tohoku NLP Group. Pretrained japanese bert models. https://github.com/cl-tohoku/bert-japanese.

[17] Hugging Face team. State-of-the-art machine learning for pytorch, tensorflow, and jax. https://github.com/ huggingface/transformers.

[18] 株式会社 Laboro.AI. Laboro distilbert. https://laboro.ai/activity/column/engineer/ laboro-distilbert.

[19] バンダイナムコ研究所技術開発本部. Wikipedia 日本語版全文を学習した distilbert モデル. https://github.com/BandaiNamcoResearchInc/ DistilBERT-base-jp.


# 分散文章データ統合解析のための データコラボレーション文章解析

関 口拓海 ${ }^{1}$ 今倉暁 ${ }^{2}$ 櫻井鉄也 ${ }^{2}$
1 筑波大学大学院 2 筑波大学システム情報系
sekiguchi.takumi.ss@alumni.tsukuba.ac.jp \{imakura,sakurai\}@cs.tsukuba.ac.jp

## 概要

複数機関が保有する個人情報を含むデータの解析のため，プライバシー保護を考慮した学習手法が注目を集めている。近年提案されたデータコラボレー ション解析は生データではなく各パーティが独自に次元削減を行った中間表現を共有する手法であるが，文章のような順序情報を持つデータの解析が困難である. 本研究では分散文章データの統合解析を目的として，文章を単語の分散表現辞書と順序情報の 2 要素に分解して解析を行うデータコラボレー ション文章解析を提案する. 文章分類問題の実験の結果, 単独機関での解析と比較して約 20 ポイントの分類精度向上（生データを直接共有する場合と比較して 1 3 ポイント以下の精度低下）を確認した.

## 1 はじめに

一般に，機械学習では学習用のサンプルデータが多いほど高い精度で学習が可能である。類似したデータを持つ複数の機関の間では，データを共有して多くのサンプルデータを用いた解析を行うことで高精度な解析結果を得ることが期待できる.

しかし，サンプルデータの中にはプライバシー保護のため共有の難しいデータが存在する. 医療デー タなどのセンシティブなデータは直接共有して解析することが困難な場合がある．

そのようなデータを直接共有せず解析するための手法としてデータコラボレーション解析 [1-3] が提案された。データコラボレーション解析は複数のデータ提供パーティが各自の生データに独自に次元削減を行った中間表現を共有する手法で，各パー ティ間で生データを秘匿しつつ解析者の下で統合して解析を行える技術である。この技術によりクラウドサービスや外部の解析機関によるデータ解析においてプライバシーを保護しつつ多くのサンプルデー
タを活用した解析を可能とする。

一方，データコラボレーション解析では文章のようなシーケンスデータを解析する場合，次元削減時に順序情報が失われてしまう欠点がある。文章デー タでは単語の並び順が文脈を構成しておりデータ解析に影響を与える。解析時に順序情報を活用できないことは学習精度の低下に繋がると考えられる。

そこで，本研究では順序情報を保持して解析を行うために，文章データを単語の分散表現辞書と単語の順序情報に分解して解析を行う手法を提案する.単語の分散表現辞書について解析者に秘匿しつつ解析を行い順序情報を後から復元することで，順序情報を活用した高精度な文章解析を実現する。

また文章分類の実験により性能評価を行い，生データを直接共有する場合に近い十分な分類精度で文章データの解析を行えることを確認する。

## 2 データコラボレーション解析

データコラボレーション解析は複数パーティに分散したデータを直接共有せずに解析者の下で統合して解析を行うための手法である．複数パーティからなるデータ提供者がそれぞれデータを保有する場合において，各パーティが独自に次元削減を行った中間表現をアンカーデータを介して統合して解析を行う.

データ提供者が計 $c$ パーティ存在し，初期状態としてパーティ $i(1 \leq i \leq c)$ は $n_{i}$ 個の $m$ 次元からなるサンプルデータ $X_{i} \in \mathbb{R}^{n_{i} \times m}$ を持つと仮定する.

最初に，共有可能な公開データや人工データを用いて作成した $r$ サンプルのデータ $X^{\mathrm{anc}} \in \mathbb{R}^{r \times m}$ をアンカーデータと定義し，各提供者パーティで同一のアンカーデータを共有する。ここでアンカーデータは解析者には公開しない。

ング関数 $f_{i}$ を適用して中間表現 $\tilde{X}_{i}=f_{i}\left(X_{i}\right) \in$
$\mathbb{R}^{n_{i} \times \tilde{m}}, \tilde{X}_{i}^{\text {anc }}=f_{i}\left(X^{\text {anc }}\right) \in \mathbb{R}^{r \times \tilde{m}}$ を作成し, 解析者の下に中間表現を集める、マッピング関数 $f_{i}$ は各パー ティが任意に決める関数であり，関数 $f_{i}$ を持たない解析者は中間表現から元のデータを復元することはできない. マッピング関数は線形または非線形の行単位の変換関数であり，例えば主成分分析による次元削減等が該当する. また, 秘匿性向上のため乱数行列を使用した変換を併用しても良い.

その後，中間表現を受け取った解析者はアンカー

作成する. $g_{i}$ は個別に作成された中間表現を比較可能な形に揃えるための関数で，アンカーデータ

$g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)=g_{i}\left(\tilde{X}_{i}^{\text {anc }}\right)(i \neq j)$ とするための摂動を最小化する次式の全体最小二乗問題 [4] の解として得られる。

$
\begin{array}{r}
\min _{E_{i}, G_{i}^{\prime}(i=1,2, \cdots, c), Z\left(\|Z\|_{F}=1\right)} \sum_{i=1}^{c}\left.\|E_{i}\right.\|_{F}^{2} \\
\text { s.t. }\left(\tilde{X}_{i}^{\text {anc }}+E_{i}\right) G_{i}^{\prime}=Z .
\end{array}
$

この式は [4] の手法により次式の特異値分解によって $g_{i}$ を求めることができる. ただし, $\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger}$ は $\tilde{X}_{i}^{\text {anc }}$ の擬似逆行列, $C$ は正則な正方行列とする.

$
\begin{aligned}
{\left[\tilde{X}_{1}^{\text {anc }}, \tilde{X}_{2}^{\text {anc }}, \cdots, \tilde{X}_{c}^{\text {anc }}\right] } & =\left[U_{1}, U_{2}\right]\left[\begin{array}{ll}
\Sigma_{1} & \\
& \Sigma_{2}
\end{array}\right]\left[\begin{array}{l}
V_{1}^{T} \\
V_{2}^{T}
\end{array}\right] \\
& \approx U_{1} \Sigma_{1} V_{1}^{T}, \\
G_{i} & =\arg \min _{G \in \mathbb{R}^{m \times m}}\left.\|Z-\tilde{X}_{i}^{\text {anc }} G\right.\|_{F}^{2} \\
& =\left(\tilde{X}_{i}^{\text {anc }}\right)^{\dagger} U_{1} C .
\end{aligned}
$

最後に, 解析者はコラボレーション表現 $\hat{X}_{i}=\tilde{X}_{i} G_{i} \in$ $\mathbb{R}^{n_{i} \times \hat{m}}$ を作成し, 統合したコラボレーション表現を入力として機械学習モデルの学習を行う.

## 3 提案手法

既存のデータコラボレーション解析ではシーケンスデータの順序情報を保持して学習を行うことができない問題がある。中間表現を作成する際にはマッピング関数で $m$ 次元ベクトルのデータを $\tilde{m}$ ベクトルに変換を行う．このため文章データで同様の変換を行う場合，(単語分散表現) $\times$ (単語数) の行列をベクトルに変換する必要があり, その際に単語の順序情報が失われてしまう。

本研究では文章サンプルを単語の分散表現辞書と順序情報の 2 要素に分解してから組み合わせて学習を行う手法を提案する．単語の順序情報は単体では元の文章を復元できないため，秘匿せず直接解析者に渡すことができる。そのため，データコラボレー ション解析で分散表現辞書のコラボレーション表現を作成した後に単語の順序情報と組み合わせることで順序情報を保持した統合解析を行う。

複数のパーティからなる提供者が持つ文章データを単一の解析者の下で解析することを考える．解析者は埋め込み層のない RNNをべースとした学習モデルを保有し，単語の順序に従い単語分散表現を入力とすることで解析を行うことができる.

## 3.1 分散表現辞書の作成

最初に，提供者の間で分散表現辞書を作成し共有する. Word2 Vec [5] 等の手法で作成された単語分散表現の事前学習済みモデルを元にして，ランダムに並び替えた順番をインデックスとすることでインデックス-単語-分散表現の間で一意な対応を作成する. 作成した対応を元にインデックス-単語の対応 $v$ ，インデックス-分散表現の対応 $D \in \mathbb{R}^{m \times p}$ を作成しデータ提供者間で共有する。 $\boldsymbol{v}, D$ はインデックスに従い行方向に順番にそれぞれ単語, 分散表現を並べることで作成される。なお， $m$ は単語分散表現の実べクトル次元数を表し, $p$ は事前学習モデルに含まれる単語の総数を表す. ${ }^{11}$

$
\begin{aligned}
& \boldsymbol{v}=(\text { "'a","is", "pen", "this") } \\
& D=\left[\begin{array}{llll}
1.2 & 0.5 & 1.8 & 0.2 \\
1.3 & 0.6 & 1.9 & 0.3 \\
1.4 & 0.7 & 2.0 & 0.4
\end{array}\right] .
\end{aligned}
$

## 3.2 文章の分解

提供者は共有された対応 $v$ を用いて順序情報を表すシーケンス $s_{i j}$ を作成する. 各提供者 $i$ は保有する文章サンプル $j$ を単語ごとに分解して $l_{i j}$ 個の要素を持つ単語列とする. $v$ を用いて単語列の単語をそれぞれ対応するインデックスに置き換えることでシーケンス $s_{i j} \in\{1,2, \ldots, p\}^{l_{i j}}$ を得る. また，提供者 $i$ の保有するシーケンスをまとめて $s_{i}$ と表す.

このように作成されたシーケンス $s_{i j}$ は $D$ との演算により学習モデルへの入力を得ることができる. 行列 $D=\left(d_{1}, \boldsymbol{d}_{2}, \ldots, \boldsymbol{d}_{p}\right)$ とべクトル $\boldsymbol{s}_{i j}=$ $\left(s_{1}, s_{2}, \ldots, s_{l_{i j}}\right)$ の間において, $D=\left(\boldsymbol{d}_{s_{1}}, \boldsymbol{d}_{s_{2}}, \ldots, \boldsymbol{d}_{s_{l_{i j}}}\right)$ に並び替える演算を $D\left(:, s_{i j}\right)$ として定義する.このとき $D\left(:, s_{i j}\right)$ は分散表現による文章を表し，RNNを
含まれない単語を表す未知語タグ等も含む。

ベースとした学習モデルへの入力とすることができる.

$
\begin{gathered}
\text { ( 文章 ) } \cdots . . . \text { “'This is a pen“, } \\
\boldsymbol{s}_{i j}=(4,2,1,3), \\
D\left(:, s_{i j}\right)=\left[\begin{array}{llll}
0.2 & 0.5 & 1.2 & 1.8 \\
0.3 & 0.6 & 1.3 & 1.9 \\
0.4 & 0.7 & 1.4 & 2.0
\end{array}\right] .
\end{gathered}
$

## 3.3 データコラボレーション文章解析

データコラボレーション解析における $X_{i}=X^{\text {anc }}=$ $D^{\top}$ として $D$ のコラボレーション表現を作成する.

図 1 に示すように各提供者パーティ $i$ は個別のマッピング関数 $f_{i}$ を用いて中間表現 $\tilde{D}_{i}=f_{i}(D) \in \mathbb{R}^{\tilde{m} \times p}$ を作成する. 作成した中間表現を解析者の元へ集め，解析者は中間表現を元にマッピング関数 $g_{i}$ を作成してコラボレーション表現 $\hat{D}_{i} \in \mathbb{R}^{\hat{m} \times p}$ を得る. 個別に作成された中間表現から元データを復元することはできないため，分散表現辞書 $D$ は解析者に対し秘匿されることになる. ${ }^{2)}$

最後に，コラボレーション表現をシーケンス $s_{i}$ と組み合わせて解析を行う，提供者はシーケンスを秘匿せずそのまま提供者から解析者に渡す. 図 1 に示すように解析者の元で $\hat{D}_{i}$ と $s_{i}$ を用いて $\hat{D}_{i}\left(:, s_{i}\right)$ を作成し解析を行う. $\hat{D}_{i}\left(:, s_{i}\right)$ は単語の順序に従い行方向に分散表現が並べられている。解析者はRNN をべースとした学習モデルへの入力とすることで単語の順序情報を活用して解析が行える.

## 3.4 シーケンスからの単語推測

シーケンス $s_{i}$ は秘匿されないため解析者は単語の使用頻度情報を用いた攻撃が可能である. 解析者はシーケンスに出てくる各インデックスの使用回数を数えることで単語の使用頻度の情報を得られる。一般に自然言語では単語ごとに使用頻度に差があるため，データ解析者は使用頻度を比較することで元の単語を推測することができる.

しかし，使用頻度の情報のみでは元の文章の復元は困難である．同程度の使用頻度の単語を正確に分類することは難しく，十分な単語数がある場合の復元は難しい. またこの攻撃への対抗策として，一部の単語を他の単語に置き換えたり空白として扱うと

2） $\hat{D}$ に対し標準化の処理を適用すると学習精度の向上に繋がる場合がある． $\hat{D}$ は $g_{i}$ を適用する際に $D$ と比較して絶対值が小さい値になりやすいため，ニューラルネットワークによる誤差逆伝播が機能しにくくなることを防ぐ効果がある.
いった差分プライバシーの手法によって使用頻度を変化させる手法が考えられる.

図 1 提案手法による文章解析の概略

## 4 実験

文章分類の実験によって提案手法の性能評価を行う. 提供者が他のパーティとデータを共有せず個別に解析を行う個別解析，生データを秘匿せず直接共有して解析を行う集中解析の 2 つと比較を行う.

## 4.1 実験設定

実験ではサンプルデータの総数と解析精度の関係を確認する。データ提供者は各パーティ 500 サンプルずつ保有するものとし, パーティ数を 1 から 10 まで変化させることでサンプルデータの総数を 500 から 5000 に変化させる. マッピング関数 $f_{i}$ では主成分分析による次元削減の後 $[0,1]$ の一様乱数を要素に持つ乱数行列をかけている. 主成分分析では分散表現の事前学習モデル GloVe [6] による 300 次元の分散表現を 128 次元に削減した. 解析者は GRU [7] と全結合層からなるニューラルモデルを用いて解析を行う.

サンプルデータには映画レビュー文とニュース記事の 2 種類のデータセットを使用する.1つ目の実験では IMDB 映画レビューデータセット [8] を使用し, 映画のレビュー文を入力として内容が好意的か批判的か判定を行うの 2 值分類を行う. 2 つ目の実験ではロイターニュース記事データセット [9]を用いて 46 種類のトピックからニュース記事がどのト

図 2 IMDB 映画レビュー分類

ピックに対応するかの多值分類を行う.

## 4.2 結果

図 2 に IMDB 映画レビュー文，図 3 にロイター ニュース記事の実験結果を示す. グラフはそれぞれ 10 回試行した平均値を取っており，エラーバーは標準誤差を表している。個別解析では提供パーティを増やしても分類精度（ACC）がほぼ一定の結果となった一方, 集中解析では提供パーティを増やし学習に利用するサンプル総数が増えるに従い ACC も向上している.

提案手法の ACC は集中解析に近い值を示し，提供パーティ数に応じて精度が向上していることが読み取れる。提供パーティ数 10 の 5000 サンプル時点では個別解析と比較して 20 ポイント以上高い数值となっており, 集中解析との比較では IMDB 映画レビューでは同等の数値, ロイターニュース記事では $1 \sim 3$ ポイント程度低い数値となった.

## 4.3 考察

提案手法により複数パーティのデータを統合して集中解析に近い精度で学習できた。単一パーティのデータしか利用できない個別解析では提供パーティを増やしても ACC は向上しない。一方, 全パーティのデータを統合して解析する提案手法と集中解析では提供パーティの増加に応じて ACC も向上しサンプル数に応じて高い精度で解析できている.

また，集中解析と比較して提案手法は映画レビュー分類では同等の精度で学習できているが， ニュース記事分類では $1 \sim 3$ ポイント程度低い精度となってしまった. しかし，サンプル数に応じて精

図 3 ロイターニュース記事分類

度が向上していることから十分なサンプル数を用意すれば実用に足る十分な精度で学習できると考えられる.

提案手法が高い精度で学習できていることは，文章の順序情報を保持して学習できていることが大きな要因であると考察する。提案手法では単語の並び順を考慮して学習ができるため前後の文脈を踏まえて分類を行えるため集中解析に近い精度を出せたと考えられる。

提案手法と集中解析の精度の違いは分散表現辞書のコラボレーション表現作成による違いだと考察する. 分散表現辞書は中間表現の作成時に次元削減と乱数列の積をとっており，次元削減により失われる情報やマッピング関数 $g_{i}$ によって各パーティの乱数列の違いの影響を打ち消せなかった部分が精度に現れたと考えられる。

## 5 おわりに

本研究では文章を分散表現辞書とシーケンスで表現し，順序情報を活用しながらプライバシー保護を考慮して学習を行う手法を提案した。文章分類の実験を行い，提案手法により文章の順序情報を活用して集中解析に近い精度で学習できることを確認した.

一方，提案手法による解析時は解析者の元に単語の使用頻度の情報を渡す事になる久点を抱えている. 使用頻度から元の文章を復元する攻撃の成功率の検証，差分プライバシーによる対策を行う場合の精度低下の検証は今後の課題としたい。

## 謝辞

この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構（N E D O）の委託業務 （JPNP18010）の結果得られたものです.

## 参考文献

[1] Akira Imakura, Tetsuya Sakurai. Data Collaboration Analysis Framework Using Centralization of Individual Intermediate Representations for Distributed Data Sets. ASCEASME Journal of Risk and Uncertainty in Engineering Systems, Part A: Civil Engineering, Vol. 6, No. 2, p. 04020018, 2020.

[2] Akira Imakura, Xiucai Ye, and Tetsuya Sakurai. Collaborative Data Analysis: Non-model Sharing-Type Machine Learning for Distributed Data. In Hiroshi Uehara, Takayasu Yamaguchi, and Quan Bai, editors, Knowledge Management and Acquisition for Intelligent Systems, Vol. 12280 of PKAW 2021. Lecture Notes in Computer Science, pp. 14-29, Cham, 2021. Springer International Publishing.

[3] Akira Imakura, Ryoya Tsunoda, Rina Kagawa, Kunihiro Yamagata, Tetsuya Sakurai. DC-COX: Data collaboration Cox proportional hazards model for privacy-preserving survival analysis on multiple parties. Journal of Biomedical Informatics, Vol. 137, p. 104264, 2023.

[4] Shinji Ito and Kazuo Murota. An Algorithm for the Generalized Eigenvalue Problem for Nonsquare Matrix Pencils by Minimal Perturbation Approach. SIAM Journal on Matrix Analysis and Applications, Vol. 37, No. 1, p. 409-419, 2016.

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space, 2013.

[6] Jeffrey Pennington and Richard Socher and Christopher D. Manning. GloVe: Global Vectors for Word Representation. In Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, 2014.

[7] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, 2014.

[8] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Learning Word Vectors for Sentiment Analysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 142-150, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[9] Reuters-21578,Distribution 1.0. http://www. daviddlewis.com/resources/testcollections/ reuters21578.


# 破滅的忘却を防ぐ最適化関数を用いた構文情報の事前学習

岩本 蘭 1,2 吉田 一星 ${ }^{1}$ 金山 博 ${ }^{1}$ 大湖 卓也 ${ }^{1}$
1 日本アイ・ビー・エエ株式会社東京基礎研究所 2 慶應義塾大学
ran.iwamoto1@ibm.com \{issei,hkana,ohkot\}@jp.ibm.com

## 概要

構文構造は複雑な文や長い文の中の重要な情報に目を向ける手助けとなる。しかし BERT などの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済 BERT がもつ意味表現を保持しつつ構文知識を加えるために、破滅的忘却を防ぐ 2 つの最適化関数 (Elastic Weight Consolidation と Gradient Surgery)を用いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いて GLUE の 3 つのタスク (CoLA, RTE, MRPC) を解き、意味と構文両方の情報を持つモデルが高性能を発揮することを示した。

## 1 はじめに

事前学習済言語モデル（以降、モデルと呼ぶ）は近年の言語処理タスクの性能向上に大きく寄与している。それらのモデルは品詞や依存構造などの構文情報を大まかに捉えているが [3]、実際には応用タスクを解くための構文情報がまだ不足している [20]。

構文構造を明示的/暗黙的に組み込んだ言語処理モデルは機械読解 [24] や言語理解 [23]、翻訳 [2] などで高い性能を発揮している。それらの研究ではモデルに構文構造を読み込むモジュールを明示的に組み込む。しかし既存の応用タスクの多くは Hugging Face [19] などが配布している形式のモデルの読み込みを前提としており、他のタスクへの活用が難しいという側面がある。そこでモデルの再利用性の向上を目的とし、構文構造の追加学習のみを行うモデルが台頭している $[16,21]$ 。本論文では近年の流れに倣い、BERT [4]への構文構造の追加事前学習を行い、後段タスクで使いやすいモデルを作成した。学習済モデルに別のタスクを学習させると以前学んだことを忘れる破滅的忘却 [5] という問題が起こりやすいため、破滅的忘却を防ぐ最適化関数を用いた。

図 1 構文事前学習の概要。破滅的忘却を防ぐ最適化関数を用いて構文情報を追加学習し、モデルが元々持つ意味表現を損なわず構文情報を獲得する。

構文事前学習の概要を図 1 に示す。本論文の主な貢献は以下の 3 つである。

・事前学習済 BERTに 4 つの異なる構文情報を新たに組み込み(構文学習)、後段タスクでの性能を比較した。

・構文学習の際に、既存の知識を忘れてしまう破滅的忘却を防ぐ最適化関数を用いて、意味情報と構文知識の両方を持つモデルを作成した。

・GLUEの 3 タスクでの実験で、事前学習済BERT が元々持つ意味情報と、追加学習で得た構文知識をバランスよく含むモデルが高い性能を発揮することを示した。

## 2 構文構造の事前学習

本節では学習させる構文情報の種類について述べる。既存研究では係り受けの予測 [18] や、依存関係の距離、兄弟関係の予測 [16] など主に 2 つの語の関係を用いている。実応用、例えば名詞句の抽出 [6] や感情分析 [7] などでは主節/従属節の関係や並列構造を従来モデルを用いてうまく扱えていない。タスクに応じて必要な構文情報をモデルに反映させるに

図 2 構文事前学習タスクの例。Tian らのシステム [16] を用い、4つの事前学習ではラベル 1 と 2 を同時に学習する。青い部分はフレーズや主節、並列構造を持つ。

は、多様性に富んだ構文学習を行う必要がある。 そこで我々は構文事前学習として、1) deprel prediction 2) phrase detection, 3) main/subordinate detection, 4) conjunction detection を行い、どのような構文情報が応用タスクに有用かを調べた。

## 2.1 構文事前学習システム

構文学習のために Tian らのシステム [16] を用いた。システムは係り受けを予測する dependency masking (DM) と関係名を予測する masked dependency prediction (MDP) を同時学習する構造を持つ。本論文では MDP 側を我々のタスクに変更する。

## 2.2 構文事前学習タスク

本節では図 2 の 4 つの事前学習について述べる。 それぞれ文中の単語の係り受けを予測する部分は同じとし (図 2 のラベル 1 に相当)、図 2 のラベル 2 の部分が各タスクによって異なる。

Deprel prediction (deprel) 依存構造解析と同様であり、構文事前学習のベースラインタスクとする。

Phrase detection (phrase) Basirat ら [1] から着想を得たタスクである。彼らはフレーズのような単位である nucleus を用いて依存構造解析の性能を向上させた。本論文でもそれに倣いフレーズ間の関係 (フレーズの主辞の deprel) を予測する。

Main/subordinate detection (main/sub) Nikolaev $ら$ [12] の、BERT が従属節を検出可能かどうかを調査するタスクを参考にし、主節と従属節を予測する。

Conjunction detection (conj) A and B といった並列構造を予測する。具体的には A, B それぞれの主辞 (conj) とその中の子要素 (child)、and 等の並列接続詞 (cc)、それ以外 (other) のラベルを予測する。

## 3 破滅的忘却を防ぐ最適化

本節ではモデルの意味情報を保持しつつ構文知識を追加するための 2 つの最適化関数を紹介する。

モデルに対してタスクを連続で学習させると、最初の方のタスクの性能が著しく低下する破滅的忘却 [5] という問題が生じる。事前学習済モデルでも破滅的忘却を防ぐ様々な研究が提案されており[8]、我々はマルチタスク学習、特に強化学習や翻訳の分野でよく用いられる最適化手法 Gradient Surgery (GS)[22] と、継続学習で一般的な最適化である Elastic Weight Consolidation (EWC)[9]を用いた。

## 3.1 Gradient Surgery (GS)

Gradient Surgery は複数タスクを同時に学習するマルチタスク学習で、勾配の対立を解消する最適化手法である。例えばある 2 つのタスクで勾配が逆方向になる場合、片方の勾配をもう一方の勾配の直行平面に射影し、もう一方の勾配と対立している部分を消す。その後 2 つの勾配を足し合わせる。

## 3.2 Elastic Weight Consolidation (EWC)

EWC はタスクを順に学習する継続学習で最初のタスクの最適解を探した後 (または学習済モデルを用いる時) にそのタスクと次のタスク両方で高性能を出すパラメータを探す最適化手法である。Fisher 情報行列を用いて、最初のタスクで重要なパラメー タはなるべく更新せず、重要でないパラメータの更新重みを大きくする。GS を用いるマルチタスク学習では最初のタスクのデータを大量に必要とするのに対し、継続学習でEWC を用いる際には少量のデータのみでパラメータの重要度を計算できる。

## 4 実験 1: 構文事前学習

本実験では事前学習済モデルが意味情報を残したまま構文情報をどの程度学習可能かを検証する。

## 4.1 設定

構文学習には 2 節で述べた Tian らのシステム [16] を、事前学習済モデルとして bert-base-cased ${ }^{1)}$ を用いた。構文学習のデータは UD-EWT v2.10 [15] から作成し、train/dev/test の割合は変えていない。単語数が 5 未満の文、PoS タグ “X” や関係ラベル“dep”を含む文を除去した。実験に用いた文数を表 2 に示す。

表 1 構文構造の事前学習での、構文タスクと最適化関数の違いによる構文/MLM タスクの性能比較。

& AdamW & 98.02 & 96.04 & 96.82 & 96.90 & 95.37 & 95.63 & $\mathbf{9 6 . 2 2}$ & 702.87 \\
& SGD & 97.86 & 95.86 & 96.64 & 96.90 & 95.37 & 95.63 & 96.13 & 32392.10 \\
& GS & 97.30 & 94.75 & 95.69 & 96.48 & 94.93 & 95.18 & 95.43 & $\mathbf{1 0 . 4 4}$ \\
& EWC & 97.43 & 94.70 & 95.56 & 96.03 & 94.40 & 94.71 & 95.13 & 25.63 \\

& SGD & 97.19 & 95.20 & 95.89 & 95.64 & 95.44 & 95.36 & 95.62 & 2587.11 \\
& GS & 97.58 & 95.80 & 96.53 & 95.08 & 95.21 & 95.02 & 95.78 & $\mathbf{9 . 6 8}$ \\
& EWC & 97.70 & 95.74 & 96.51 & 94.79 & 94.72 & 94.66 & 95.58 & 24.17 \\

& SGD & 96.90 & 94.80 & 95.49 & 100.00 & 100.00 & 100.00 & 97.74 & 1471.63 \\
& GS & 95.70 & 93.86 & 94.16 & 94.93 & 95.56 & 95.24 & 94.70 & $\mathbf{1 1 . 1 6}$ \\
& EWC & 97.57 & 95.22 & 96.07 & 94.52 & 94.52 & 94.52 & 95.29 & 23.59 \\

& SGD & 83.81 & 83.65 & 82.57 & 97.49 & 95.79 & 96.53 & 89.55 & 1412.65 \\
& GS & 89.57 & 88.19 & 87.75 & 96.46 & 93.93 & 94.92 & 91.33 & $\mathbf{9 . 5 6}$ \\
& EWC & 89.57 & 88.19 & 87.75 & 96.13 & 93.15 & 94.26 & 91.00 & 23.78 \\

表 2 実験に使用した UD-EWT コーパスの文数.

最適化関数は 3 節で述べた破滅的忘却を防ぐ GS、 EWC と、比較手法として AdamW [10] と SGD [13] を用いた。GS と EWC を用いた学習では構文学習の 1 ステップごとに WikiText2 [11] からランダムに 100 文を選び MLM (Masked Language Modeling) の勾配を求めた。GS ではその勾配を構文学習の勾配に足す、 つまり少量の MLM データでのマルチタスク学習を行なった。EWCではパラメータの重要度計算に勾配を用いただけで、MLM の追加学習はしていない。 bert-base-cased を構文学習なしのベースラインとし、4つの構文学習をそれぞれ行なった。BERTの元々の意味情報を保持しているか確かめるため、構文学習後に全てのモデルに対して WikiText2を用いて MLM を測定した。MLM の評価尺度として擬似対数尤度スコア (PPL) [14] を、構文タスクの評価尺度として適合率、再現率、F1スコアを用いた。学習率は $\{1$ e-4,1e-5,1e-6\}、epoch 数は $\{50,70,100\} を$ 用い、 test データで Syntax Head と Syntax Label 予測の平均 F1 スコアが一番高いモデルの值を載せた。

## 4.2 結果

結果を表 1 に示す。GS と EWC のみ MLM 事前学習の知識を保ったまま (PPL が低いまま) 構文学習ができたのに対し、AdamW と SGD は破滅的忘却が起こり PPL が増大した。AdamW はどの構文タスクでも最も良い平均 F1 スコアを達成したが、特に deprel タスクにおいては他の最適化との $\mathrm{F} 1$ スコアの差はほぼない。AdamW と SGD は target タスクにこでは構文学習) の性能向上に特化するので、直前のタスクの性能が低くなる (PPL が高くなる)。PPL と応用タスクの関係については栗林ら [25] も触れている。 GS と EWC では PPL が低く、構文学習よりも前に身につけた意味的な知識を保っていることがわかる。

タスクごとの違いについても述べる。AdamW での Syntax Label のスコアの違いを比較すると、 main/subordinate タスクや conj タスクは Syntax label の種類が少ないため F1 スコアが高いが、それ以外のタスクは Syntax label の種類が多く F1 スコアが低い。この結果はデータの性質から予測可能である。注目すべきは Syntax Head で、4 タスクで正解が同じなのにも関わらず、もう片方のタスクとの相性によってスコアが異なる。例えば、conj と head の組み合わせは他に比べて F1 スコアが低い。
表 3 構文事前学習タスクと最適化関数のそれぞれの違いに基づく GLUE タスクの性能比較。構文事前学習タスクごとの最も高いスコアを下線、それぞれの GLUE タスクにおいての最高スコアを太字で示す。

## 5 実験 2: GLUE

構文知識が言語理解に及ぼす効果を、言語理解のベンチマーク GLUE [17] の中で構文構造が有用と思われるタスク (CoLA, RTE, MRPC) で評価する。 CoLA はある英文の文法が正しいかどうかを、RTE は 2 つの文の含意関係を、MRPC は 2 つの文が同じ意味かを判定する 2 值分類タスクである。

## 5.1 設定

訓練時の epoch 数は 5 に設定し、評価指標は GLUE に倣い、CoLA では Matthews correlation, RTE では精度、MRPC では精度と F1 スコアを用いた。また, 3 タスクの評価值のマクロ平均をとった。2) 次節で示す結果は表 1 のモデルとは異なり、GLUE の 3 タスクの平均スコアが一番高いモデルの結果を載せている。そのため構文学習のスコアも記している。

本論文では最適化と事前学習の違いによる性能の違いを開発データのみで評価した。鈴木ら [26] が述ベたように、リーダーボードに多数の投稿をすることは評価データの傾向の判明につながるため、本実験では開発データでの性能比較で十分と判断した。

2） MRPC の 2 つの值は 0.5 で重み付けして他の值と平均した。

## 5.2 結果

結果を表 3 に示す。CoLA やMRPC では破滅的忘却を防ぐ GS や EWC を用いたモデルが AdamW やSGD に比べ高いスコアを示した。EWCを用いて conj タスクを学習したモデルが最も高い平均スコア (72.22) を達成し、他のモデルも構文学習なしのスコア (70.54) を上回った。つまり多様な構文情報が性能向上に寄与し、中でも意味情報を保持しつつ構文情報を“ほどほどに”学習したモデルが高い性能を発揮していると考えられる。

## 6 まとめ

本論文では事前学習済モデルに構文知識を取り入れるために、破滅的忘却を防ぐ最適化関数 GS と EWC を導入し、 4 つの構文追加学習を比較した。モデルに元々含まれる意味情報と追加学習で補った構文知識を併せ持ったモデルは CoLA, RTE, MRPC タスクにおいて高い性能を発揮した。

適切な最適化関数を用いて知識をモデルに追加する本手法は、構文情報以外の事前学習にも適用できる。また作成したモデルは事前学習済モデルと同じ形式を持ち、応用タスクでの活用に適している。

## 参考文献

[1] Ali Basirat and Joakim Nivre. Syntactic nuclei in dependency parsing - a multilingual exploration. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1376-1387, 2021.

[2] Emanuele Bugliarello and Naoaki Okazaki. Enhancing machine translation with dependency-aware self-attention. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1618-1627, 2020.

[3] Ethan A. Chi, John Hewitt, and Christopher D. Manning. Finding universal grammatical relations in multilingual BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5564-5577, 2020.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[5] Robert M. French. Catastrophic forgetting in connectionist networks. Trends in Cognitive Sciences, Vol. 3, No. 4, pp. 128-135, 1999.

[6] Xiaotao Gu, Zihan Wang, Zhenyu Bi, Yu Meng, Liyuan Liu, Jiawei Han, and Jingbo Shang. UCPhrase: Unsupervised ContextAware Quality Phrase Tagging. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 478-486, 2021.

[7] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clauselevel Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[8] Sudipta Kar, Giuseppe Castellucci, Simone Filice, Shervin Malmasi, and Oleg Rokhlenko. Preventing catastrophic forgetting in continual learning of new natural language tasks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, p. 3137-3145, 2022.

[9] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, and Raia Hadsell. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, Vol. 114, No. 13, pp. 3521-3526, 2017.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019.

[11] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. In International Conference on Learning Representations, 2017.

[12] Dmitry Nikolaev and Sebastian Pado. Word-order typology in multilingual BERT: A case study in subordinate-clause detection. In Proceedings of the 4th Workshop on Research in Computational Linguistic Typology and Multilingual NLP, pp. 11-21, 2022.

[13] H. Robbins and S. Monro. A stochastic approximation method. Annals of Mathematical Statistics, Vol. 22, pp. 400-407, 1951.

[14] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2699-2712, 2020.

[15] Natalia Silveira, Timothy Dozat, Marie-Catherine de Marneffe, Samuel Bowman, Miriam Connor, John Bauer, and Christopher D. Manning. A gold standard dependency corpus for English. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC-2014), 2014.

[16] Yuanhe Tian, Yan Song, and Fei Xia. Improving relation extraction through syntax-induced pre-training with dependency masking. In
Findings of the Association for Computational Linguistics: ACL 2022, pp. 1875-1886, 2022.

[17] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, 2018.

[18] Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu Ji, Guihong Cao, Daxin Jiang, and Ming Zhou. K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1405-1418, 2021.

[19] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[20] Zenan Xu, Daya Guo, Duyu Tang, Qinliang Su, Linjun Shou, Ming Gong, Wanjun Zhong, Xiaojun Quan, Daxin Jiang, and Nan Duan. Syntax-enhanced pre-trained model. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 5412-5422, 2021.

[21] Zhixian Yang and Xiaojun Wan. Dependency-based mixture language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 7758-7773, 2022.

[22] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. In Advances in Neural Information Processing Systems, Vol. 33, pp. 5824-5836, 2020.

[23] Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang, Xi Zhou, and Xiang Zhou. Semantics-aware BERT for language understanding. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9628-9635, 2020.

[24] Zhuosheng Zhang, Yuwei Wu, Junru Zhou, Sufeng Duan, Hai Zhao, and Rui Wang. SG-Net: Syntax-Guided Machine Reading Comprehension. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9636-9643, 2020.

[25] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎.予測の正確な言語モデルがヒトらしいとは限らない. 言語処理学会第 27 回年次大会予稿集, 2021.

[26] 鈴木潤, 全炳河, 賀沢秀人. ニューラル言語モデルの効率的な学習に向けた代表データ集合の獲得. 言語処理学会第 28 回年次大会予稿集, 2022.


# What Food Do We Tweet about on a Rainy Day?

Maija Kāle ${ }^{1}$ Matīss Rikters ${ }^{2}$
${ }^{1}$ University of Latvia ${ }^{2}$ National Institute of
Advanced Industrial Science and Technology
\{name.surname\}@lu.lv
\{name.surname\}@aist.go.jp
}

\begin{abstract}
Food choice is a complex phenomenon shaped by factors such as taste, ambience, culture or weather. In this paper, we explore food-related tweeting in different weather conditions. We inspect a Latvian food tweet dataset spanning the past decade in conjunction with a weather observation dataset consisting of average temperature, precipitation, and other phenomena. We find which weather conditions lead to specific food information sharing; automatically classify tweet sentiment and discuss how it changes depending on the weather. This research contributes to the growing area of large-scale social network data understanding of food consumers' choices and perceptions.
\end{abstract
## 1 Introduction

This paper focuses on the relationship between food sentiment and weather using the previously collected Latvian Twitter Eater Corpus (LTEC [1]). We seek to answer (1) is there a correlation between food sentiment and weather experienced at the time of tweeting and (2) what are the differences in the term frequencies of food mentioned depending on the weather. The rationale for this paper is to contribute to deeper understanding of human-food relationship, in particular in relation to weather data. We believe that with more nuanced knowledge of human-food relationships and factors influencing them, we can provide valuable inputs for public health policy makers when they develop their strategies and nudge consumers to choose more healthy options of food. Weather people - this is a term that Bakhshi [2] used to explain our dependence on the weather regarding food choices and satisfaction with food. While the weather is known to alter consumers' mood significantly and consequently their behaviour [3], there have been surprisingly few studies that illustrate weather's impact on food perception and food choices, except some that have used online and offline restaurant reviews as a proxy of measuring it $[4,3]$. They find that weather impacts both the frequency of the feedback that food consumers provide, as well as its content. Typically, sunny and pleasant weather leads to more frequent and more positive feedback, since low levels of humidity and high levels of sunlight are associated with high mood. At the same time, reviews written on rainy or snowy days, namely days with precipitation, tend to have lower ratings. Instead of analysing restaurant reviews, we focus on Twitter, where food represents one of the key themes discussed, providing us with spontaneous reactions, which is a unique feature when compared to other data collection methods like reviews or food diaries [5]. Our analysis of the LTEC provides a foodrelated set of discussions that we can correlate with weather data, leading to the following research inquiries: 1) is there a correlation between food tweet sentiment and the weather that the tweet authors are experiencing at the time of tweeting? 2) what are the differences in terms of frequencies of what food is mentioned in tweets depending on weather? One of the reasons, why there are few weather-food choice related studies, is the lack of data - we do not have access to retailers' food sales data that could be correlated with the weather data. Instead, we are focusing how food is represented in social media - in particular Twitter, assuming that tweet is an appropriate proxy to measure sentiment related to food consumption. By analysing weather-related dynamics in LTEC, we contribute to the research field that links food and
mood, adding weather impact on the mood.

## 2 Related Work

Food consumption is a complex process that is impacted interchangeably by various endogenous factors, such as taste, quality, texture, colour and others, as well as exogenous or external factors ranging from demography, educational level, time of the day, weather, the ambience where it is consumed and others $[6,3]$. Mood is the determining factor in food choice, where good mood is associated with healthier food choices and bad mood with less healthy food choices [7]. Food choice is also seasonally patterned in particular in areas with more seasonal climate in terms of temperature. Even though most of our modern lives are spent indoors, weather and climate conditions still impact our food preferences and consumption [8]. While seasonal food consumption patterns are culture-based and differ in various geographical regions, weather-related preferences seem universal. Sunny and moderate temperature-wise weather leads to better mood, while more extreme weather (hot, cold, precipitation) is less pleasant and impacts mood, food consumption experiences.

A large-scale study on demographics, weather, and restaurant reviews reveals that pleasant weather impacts not only the content but also the frequency that is higher than during non-pleasant weather conditions [4]. This is an important indicator that a review can serve as a proxy for measuring the weather's impact on mood and, thus, the food consumption experience. Consumer comments and word-of-mouth have also been studied in relation to weather, implying that consumers' pre-consumption mood directly influences post-consumption mood, and consumers' satisfaction with the service accordingly. Pre-consumption mood, is viewed via weather conditions, where eight weatherrelated variables have been considered, including visibility, rain, storm, humidity, wind speed, pressure. By including temperature, barometric pressure, and rain as variables reduces unexplained variance and improves results of the experiment. This study successfully links weather to mood and its transfer to affective experience and consumer behaviour [3].

Considering previous studies that prove the link of weather to mood and food perception accordingly, with our work, we aim to illustrate this link via tweet sentiment evaluation. We refine our study by looking at frequencies - what foods authors tweet more in pleasant weather and unpleasant weather conditions, mapping the weather-related food scene in Latvian language Twitter.

## 3 Case Study of Latvia

Latvia has four distinct seasons: winter is December to February, spring - March to May, summer June to August, autumn - September to November. The average annual air temperature in Latvia is only $+5.9^{\circ} \mathrm{C}$. The warmest month is July, and the coldest months are January, February (also the snowiest). Months with the most precipitation are July and August, while the least is in February and March. The highest wind speeds are in November, December and January, and the lowest are in July and August [9]. Latvia provides an example of a country in the Northern hemisphere with various weather conditions to analyse from the perspective of tweeting about food.

Besides recognising weather data, Latvian national cuisine seasonality aspects should be considered. Specific foods are consumed in certain seasons in Latvia - cold soup in summer, grey peas, tangerines and gingerbread for the Christmas season [10]. This cultural context is important for understanding weatherrelated impact on food tweet understanding.

Other cyclical events that are present in any modern society should also be considered. Not just weather and seasonal celebrations are cyclical in nature and correlate with the time of the year. There are other variables that correspond to the time of year that could be possible confounds, for example, school schedules, holiday seasons, election events, sport events, etc. While aware of such cyclical events, we do not highlight them here due to lack of previous research to provide us with reference data. The only study about the timeline of food related tweets in Latvia reveals that a slight decrease of food tweeting was observed on weekend evenings, and a significant one - on weekend mornings [10]. These results imply the overall differences in mood and behaviour at various times of the day/meals: people tend to be more
'virtuous' in mornings by choosing healthy and nutritious food, while snacking during afternoons [11].

The nuances to consider can be categorised in individual circadian rhythms, culture/climate bound seasonality cycles, celebrations, and cyclical events. While being aware of those multiple factors, in this work we focus on weather data primarily, linking them with tweet sentiment without additional references to cyclical nature of human life.

## 4 Data Collection and Processing

We used a combination of the LTEC for tweets and weather data exported from Meteostat ${ }^{11}$. We mainly focused on tweets and weather relating to Riga, the capital of Latvia, since most tweets with location data originated there, and it was difficult to obtain detailed historical weather data for the smaller regions.

The LTEC has a total of $2.4 \mathrm{M}$ tweets generated by $169 \mathrm{k}$ users. It has been collected over ten years following 363 eating-related keywords in Latvian. Among the tweets, $167 \mathrm{k}$ have location metadata specified, of which $68 \mathrm{k}$ were from Riga and 9k more from areas around Riga. To further increase the number of location-related tweets, we selected all remaining tweets which mention Riga or any of its surrounding areas (Marupe, Kekava, etc.) in any valid inflected form. This added 54k tweets, totalling to 131,595.

In addition to location metadata, the LTEC provides all food items mentioned in the text and a separate subset of sentiment-annotated tweets for training sentiment analysis models. We use the 5420 annotated tweets to fine-tune a multilingual BERT [12] model for this task along with $\sim 20,000$ sentimentannotated Latvian tweets from other sources ${ }^{2}$. Evaluation was performed on the 743 tweet test set from LTEC and reached an accuracy of $74.06 \%$. We then use the model to automatically classify the locationspecific tweets as positive, neutral or negative.

We could reliably obtain only data for temperature and precipitation from Meteostat, while data for snowfall was only available up to 2017 , and data for wind speed and air pressure was only available from 2018 onward. There was no available data to trace

1) https://meteostat.net/en/place/lv/riga

2) https://github.com/Usprogis/Latvian-Twitter-Eater-

Corpus/tree/master/sub-corpora/sentiment-analysis daily sunshine, but it can be inferred from looking at precipitation, snowfall and air pressure.

## 4.1 Limitations and Assumptions

Our work has several important limitations that can be grouped into categories of 1) data availability, 2) tweet author's demographic profile, and 3) generalisation of the results. First, we could only obtain fairly superficial weather data while weather change during the same day was not considered due to lack of detail. Second, we cannot provide a demographic outlook of the usual tweet author in LTEC, and our analysis includes tweets by general digitally literate people active on Twitter. Third, considering the limitations discussed, our results are not an exact extrapolation of weather-related food perception in Latvian society. Nevertheless, our approach adds to the understanding of weather's impact on the part of the Latvian society which tweets about food.

## 5 Analysis and Results

While the results of tweet sentiment in terms of the percentage of negative, neutral and positive tweets are largely the same for all weather conditions, we can observe considerably fewer positive tweets during windy weather and high-pressure, as shown in Table 2. Surprisingly, even during low-pressure weather conditions, tweets are not necessarily dominated by negative sentiment - quite the opposite - food tweets have been related to mostly positive sentiment. It could be explained by the fact that people are tweeting about comfort food (e.g. coffee, chocolate, other) or that any food could be comforting during days of low-pressure weather conditions. This remains to be answered in a more fine-grained manual analysis.

The right part of Table 1 shows that tea exceeds coffee during cold weather, and there is also a slight increase in tweets about chocolate in cold weather, while the frequency of ice-cream tweets doubles in warm weather. Interestingly, in hot or cold weather tweet amount about meat, cake or soup remains largely similar. While warm weather tweets include strawberries, cold weather tweets include gingerbread, which coincides with seasonal Christmas food. There are no other notable differences between warm and

Table 1 Comparison of top products during windy (wind speed $\geq 20 \mathrm{~km} / \mathrm{h})$, rainy (precipitation $>0)$, cold $\left(\leq 0{ }^{\circ} \mathrm{C}\right)$, and warm weather $\left(\geq 0{ }^{\circ} \mathrm{C}\right)$.

Table 2 Weather relation to tweet sentiment.

cold weather tweets, which leads to a conclusion that spending so much time indoors has harmonised foods tweeted about in different seasons and conditions.

A slightly different result is revealed in the left part of Table 1, which indicates that during windy weather, meat becomes the most popular food item, while in rainy weather, the results are similar to cold weather where tea dominates. While it is difficult to explain this, a speculation could be that wind is less visible than temperature that is frequently reported in media or precipitation that is visually noticeable before leaving the home, and, thus, without proper clothing during windy weather one might become uncomfortably cold, which in turn could lead to higher willingness to consume meat. Chocolate is twice as popular during rainy weather than during windy weather, and it could be related to a lack of sunshine during rainy weather that needs to be compensated with chocolate, while a windy day can still be sunny.

Only potatoes remain stable in terms of tweeting frequencies in any weather - warm, cold, windy or rainy. This can be explained by the fact that potatoes are part of a daily diet in Latvia and constitute the basis for energy intake.

## 6 Conclusion

This paper contributes to understanding how weather impacts the mood of food consumers by examining influence on food tweets. The knowledge can be useful to public health policymakers and applied when nudging consumers to choose more healthy food alternatives in different weather conditions and seasons. Obesity, type 2 diabetes and cardiovascular diseases are just a few of the health problems acquired due to nutritional specifics $[13,14]$. The global spread of obesity has been labelled a pandemic and it is of utmost importance to understand the underlying factors behind food choice. Acknowledging and understanding the impact of weather on food consumers and their affective reactions helps explain the complexities associated - food waste, healthy vs. unhealthy choices and other issues.

We also highlight the lack of weather data to obtain precise results. A more fine-grained and longitudinal weather data set could allow for higher precision for food tweet data correlation. Besides that, there should also be additional studies done with regard to other cyclical events encountered in modern lives - e.g. school schedule and holidays, annual sport events and others - to capture the impact of weather and nonweather related seasonality on food tweet sentiment.

We aim to contextualise the behaviour of tweeting about food in a given geographical area and build a framework for more nuanced understanding of foodrelated discourse in Latvian language Twitter [6]. The contextual knowledge created can be helpful to researchers working with personalised food and health application model development, since humans are social beings, and peer behaviour impacts their choice. Furthermore, we wish to highlight how interconnected our digital and analogue lives are - following up the tweet sentiment and frequency indicators with actual purchasing behaviour and food sales data. We plan to release the tweet-weather dataset as an addition to the existing LTEC and make it public on GitHub.

## References

[1] Uga Sproğis and Matīss Rikters. What Can We Learn From Almost a Decade of Food Tweets. In Proceedings of the 9th Conference Human Language

Technologies - The Baltic Perspective (Baltic HLT 2020), pp. 191-198, Kaunas, Lithuania, 2020. IOS Press.

[2] Jason Maderer. A rainy day can ruin an online restaurant review. https: //news.gatech.edu/news/2014/04/02/ rainy-day-can-ruin-online-restaurant-review, April 2014. Accessed: 2022-04-15.

[3] Milos Bujisic, Vanja Bogicevic, H. G. Parsa, Verka Jovanovic, and Anupama Sukhu. It's raining complaints! how weather factors drive consumer comments and word-of-mouth. Journal of Hospitality \& Tourism Research, Vol. 43, No. 5, pp. 656-681, 2019.

[4] Saeideh Bakhshi, Partha Kanuparthy, and Eric Gilbert. Demographics, weather and online reviews: A study of restaurant recommendations. In Proceedings of the 23rd International Conference on World Wide Web, WWW '14, p. 443-454, New York, NY, USA, 2014. Association for Computing Machinery.

[5] Patricia Puerta, Laura Laguna, Leticia Vidal, Gaston Ares, Susana Fiszman, and Amparo Tarrega. Co-occurrence networks of twitter content after manual or automatic processing. a case-study on “gluten-free". Food Quality and Preference, Vol. 86, p. 103993, 2020.

[6] Carlos Velasco, Charles Michel, and Charles Spence. Gastrophysics: Current approaches and future directions. International Journal of Food Design, Vol. 6, No. 2, pp. 137-152, 2021.

[7] Charles Spence. Explaining diurnal patterns of food consumption. Food Quality and Preference, Vol. 91, p. 104198, 2021.

[8] Charles Spence. Explaining seasonal patterns of food consumption. International Journal of Gastronomy and Food Science, Vol. 24, p. 100332, 2021.

[9] LVĞMC. Climate of latvia. https://www. meteo.lv/en/lapas/environment/climate-change/ climate-of-latvia/climat-latvia?id=1471, 2009. Accessed: 2022-04-15.

[10] Maija Kāle, Jurğis Šķilters, and Matīss Rikters. Tracing multisensory food experiences on twitter. International Journal of Food Design, Vol. 6, No. 2, pp. 181-212, 2021.

[11] Charles Spence. Explaining diurnal patterns of food consumption. Food Quality and Preference, Vol. 91, p. 104198, 2021.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[13] Weiqing Min, Shuqiang Jiang, Linhu Liu, Yong Rui, and Ramesh Jain. A survey on food computing. ACM Comput. Surv., Vol. 52, No. 5, sep 2019.

[14] Robert Mai, Stefan Hoffmann, Jens R Helmert,
Boris M Velichkovsky, Susann Zahn, Doris Jaros, Peter EH Schwarz, and Harald Rohm. Implicit food associations as obstacles to healthy nutrition: the need for further research. The British Journal of Diabetes \& Vascular Disease, Vol. 11, No. 4, pp. 182-186, 2011.

## A Weather Data Availability

Figure 1 shows a visualisation of the data. We could reliably obtain only data for temperature and precipitation for the entire period. There is only a slight gap in precipitation data for the first half of 2018. However, data for snowfall was only available up to February of 2017, and data for wind speed and air pressure was only available from August of 2018 onward.

Figure 1 Available weather data from Meteostat.


# 単語音素のベクトル化による言語地図作成

近藤泰弘
青山学院大学
yhkondo@cl.aoyama.ac.jp

## 概要

同じ意味の単語について，方言によって語形が異なることが一般的だが，その細かな語形を分類して，その方言形の採取地点の地図上に対応するアイコンを配置したものを，「言語地図」という。これまでは, 言語地理学の分野で, 「言語地図」は単語の語形を見ながら，研究者がそれを分類して，アイコンの色や形を決めていたが，本研究では，語形をその音素の分布のベクトルに変換し，機械学習によって分類することで，アイコンの種類の決定を自動化する手法を提案した. 単語のベクトル化は. 文脈から意味の分散表現による埋め込みべクトルを作成するのが一般的だが，言語地図のための方言の語形には，そのような意味による文脈は存在しないため，今回は, 文書ベクトルの BoW(Bag of Words) の手法に習い，語形の音素の BoC（Bag Of Characters）表現を用いて，音素の頻度ベクトルを用いて分類を行った. そして，音素の unigram の BoC のベクトルによる方法に実用的な優位性があることを示した.

## 1 はじめに

社会言語学の研究の中では, 方言語形を地点ごとに配置するいわゆる「言語地図」を作ることが一般的である。そのような方法は「言語地理学」と言われることが多い。その初期には手作業でスタンプを地図に押印する方法がとられたが，近年では，GIS の手法を用いて，電子的に表現する方法が一般的である. 「言語地図」の研究手法は, 古く, 柳田国男の 『蝸牛考』[1]で知られるように（例えば，列島の中心部で「デンデン」，その回りに「マイマイ」さらにその周辺部で「カタツムリ」，そして「ナメクジ」があるように見えることから，周圈分布などと呼ばれた）日本語の古語の語形の歴史的な流布順序などを推定するのに役立つとされている. 方言語形は非常に多様で。「かたつむり」の方言形のひとつである 「ナメクジ」系にしても，「ナメクシ・マメクジ・ナ
メクジリ・ナメラ・ナメクジナ」など極めて多くのバリエーションがある.これらをひとまとまりとして.「マイマイ」系や「デンデンムシ」系などをまとめたものと，はっきりと区別するように表示する必要がある. しかし今回，テストデータとして用いた「日本言語地図」データなどでは全国に 2800 地点分程度の方言語形があり，それぞれが微妙なバリエーションを示している. したがってこれを全部，研究者の判断で分類して，特定のアイコンに結びつけることは非常に手間が掛かり，言語地図を作るうえでの障害であったため, その自動化の手法を提案したい.

今回はそれを自動化するために，各単語ごとの音素（ローマ字 1 字に相当）の頻度を測り, Bag of Characters あるいは, Bag of character N-gram ( $\mathrm{n}=1$ または2)のようにして，各単語について 26 次元のべクトルを作成した. 実際は，その中で今回は使わない，音素に含まれない文字，例えば Xなどもあるが，今後の拡張も考えて 26 個とした.

## 2 関連研究

日本語の言語地図をコンピュータで作成する試みは既になされている. 古くはメインフレームの時代の荻野綱男の GLAPS， [2] PC になってからの福嶋（尾崎）秩子の SEAL [3] などがある. 大西拓一郎も，Adobe イラストレータや GIS 系のアプリを駆使して言語地図を発表している. [4] Pythonを用いたものも，松浦年男 [5]，加藤幹治 [6] のものなどが公開されている。

類似した発想によるものとして，語形（音形）のレーベンシュタイン距離を用いて，方言間の差異を計測した研究があり，参考になる [7]. [8] 日本語においても，方言分類を論じる場合に使われた. しかし，それらで既に示されているように，音素（ロー マ字と同一と考える）のレーベンシュタイン距離では，母音字と子音字とが区別なく扱われるため，母音交替や子音交代が頻繁に起きる日本語の実状にあ
表 1 DENDENMUSI の語形音素ベクトル 00022000100120000101000000 abcdefghijklmnopqrstuvwxyz

## わない部分がある.

また，モーラの unigramを用いて，方言間の距離を計算して，方言を分類するという研究もある [9]. これも母音・子音の交代を反映できない問題がある.また，方言区画を計算する研究もある。 [10]

以上のように，語形の距離を測るという方向での研究は多いが，本研究のような手法を用いたものは管見では，世界的に存在しない。

## 3 提案手法

1 節で述べた通り，本研究では，単語の語形のローマ字表記をデータとして用いた。 ローマ字表記は，ほぼ音素表記と同等のものと考えることができる。それをべクトル化し，その後に，教師なし機械学習で 2 次元への圧縮を行い，クラスタに分類することで，その1クラスタごとにアイコン (今回は色) を与えて，アイコン付与の自動化を実現した。

## 3.1 モデル

表 1 のように、アルファベットの 26 次元のベクトルを用意し、それぞれに語形内（この例は「デンデンムシ DENDENMUSI」）の各文字の使用頻度を入れる。つまり、このベクトルはある単語の語形 (の構成音素）の持つ母音・子音の分布と頻度情報を持っていることになる. ここでは $\mathrm{N}=1$ (unigram) なので、字の順序情報は入っていない.

この語形音素べクトルを地図ごと（地図により、 それぞれ 1500 から 2800 余の語形がある）に、機械学習で適宜次元圧縮して、さらにクラスタに分けて、音素ベクトルの特徴量によって語形アイコンの色分けを行った.

なお，比較のため， $\mathrm{N}=2$ (bigram)のものも作成した. その場合は, aa から始まり zz までの 676 次元のベクトルを作成するので，DENDENMUSI の場合は，DE,EN,ND,DE,EN,NM,MU,US,SI となり，DE と ENが頻度 2，他が 1 となる。

## 3.2 学習

各地点の音形（ローマ字）を語形ごとに音素の頻度を計算し，BoCの形にベクトル化した。その後， そのべクトル化したデータを，学習データとして，
Python のライブラリの scikit-learn の PCA を用い, 26 次元ベクトルのまま学習させた。また，それによって次元圧縮し，いくつかの次元のデータを作成した後，最適な次元を決定し，またその低次元データを K-Means で学習させることで，クラスタに分類した。 クラスタ数の最適化については，語形分類が実用的にできるかどうかを主として考え，エルボー法などで結果を裏付けた，最終的な地図の見やすさの評価については，今後の課題とすべき点が残っている.

## 3.3 分類結果の表示

クラスタに分類した語形を，アイコンの色に置き換えて，方言の採取地点の緯度経度によって指定された位置に配置する．地図のスケールの動的な変更を用いることによって，従来の静的な言語地図よりも見やすい表示を実現する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には，代表的な日本語方言の言語地図用のデータセットである「日本言語地図データベース」(国立国語研究所編) [11]を用いた. 公開されている「日本言語地図」データには各種あるが， ここでは，熊谷康雄が開発したものを用いた。 デー タは，CSV 形式で，語形（ローマ字音素表記），地点番号, 緯度, 経度, からなっている.

日本言語地図のすべての語形についてではなく, その一部についてのみ公開されているが，今回はその中から「かたつむり」と「くるぶし」のデータを用いた. それぞれ，2800 件のデータ数である. 処理プログラムの実装には Python 3.8.16 と scikit-learn 1.0.2を用いた，地図へのプロットには動的地図を作成できるため，folium 0.14.0を用いた.

## 4.2 結果

実験結果を表 2 に示す.このように，BOW の音素の単位を unigram にしたばあいと bigram にした場合を比較すると，どちらの語でも unigram の方がよい成績を示した. bigram では出現順情報の一部を捉えられるが，ベクトルがかなりスパースになるため，データ量が少ない今回のようなものでは精度が出ないものと考えられる。 また, 図 3 に7クラスタでの散布図を示した（`印は中央点），図 4 から図 6 が，実際の言語地図の例である。
表 2 主成分の分散の寄与度 (第 2 成分まで)

表 3

## 5 クラスター数の調整と性能

K-Means には，クラスター数決定の難しさがある。今回もどれだけのアイコンの種類（色）にするかという点で決定的な問題がある. 方言語形は非常に多様であるので，そのすべてを完全に分類することは原理的に不可能であり，おおよそ，代表的な語形が同じ分類になり，頻度の少ない語形については，ある程度，多種の語形が同じ分類になっても実用上はかまわないという点もある. そこで，まず基本的な数値を把握するために，通例のようなエルボー図 （図 1 と図 2）を作成したところ，クラスター数 4 あたりで十分と見られる. エルボー図はあくまでも概要を捉えるに過ぎないので，いくつかの值によって作成した言語地図を作り，実際の分類状態を観察してみた。示したのは，クラスター数 7 という値，つまり，アイコンの種類が 7 ということになる. 7 の場合，主要語形の「カタツムリ」「デンデン」「ダイ口」系はほぼ完全にそれぞれ 1 つのアイコン色に当てはまり分離ができるが，それ以外の語形の「ナメクジ」系などの資料が少ない語形は表 3 のように同色に配当されてしまう。これはこの方法の限界であるが，地図を見る場合には，色の異なりで，「主要語形とは違う」ことがわかるため，参考資料として使うには問題ない部分がある。

図1「かたつむり」のクラスター数調整

図 2 「くるぶし」のクラスター数調整

## 6 結論

本研究では，従来不可能だった，言語地図における語形のアイコンへの適切な割り当てを行う手法を提案し，ほぼ当初の目的通りの自動化を実現した。 そのために，単語の音素情報のみによって作る BoW 方式の音素べクトルを作成して機械学習によって分類するモデルを考案し，それによって既存の言語地図データセットを学習することで，語形をある程度分類することが可能であることを示した。また，性能的には，音素の unigram と bigram によるものを比較し，この場合，unigram の方が分類性能が高いことを示した。

今後，語形ベクトルを演算することで，分布の比較の数量化や，方言語形の移動の計算なども行うことを検討したい。

図 3 「かたつむり」unigram 散布図

図 4 「かたつむり」関西

図 6 「くるぶし」関東 (拡大図)

図 5 「かたつむり」東北 (拡大図)

## 謝辞

本研究の評価データセットに用いた『日日本言語地図』データベース」を開発した，国立国語研究所，熊谷康雄氏，サイトの保守にあたっている大西拓一郎氏に感謝申し上げます。

## 参考文献

[1] 柳田国男. 蝸牛考. 刀江書院, 1830 .

[2] 荻野綱男. コンピュータ言語地理学. 言語研究, Vol. 1978, No. 74, pp. 83-96, 1978.

[3] 福嶋秩子. 言語地理学のへや, 2022. https://www. unii.ac.jp/chitsuko/inet/lg7.html.

[4] 大西拓一郎. 言語地図作成の電算化. 日本語学, Vol. 21, No. 11, 2002.

[5] 松浦年男. Python でプロットした地図を出力する, 2020. https://note.com/yearman/n/n69fa3f2d583d.

[6] 加藤幹治. Python の geopandas を使って，複数の言語特徼に基づいた地図を出力する, 2020. https://qiita.com/ hamident0/items/1baabe5f7034df838589?fbclid= IwAR1EnwTQwidJDDWoR-5UHzwTSM0dFxJtepnmbKNxEoXW65xRiGDpe4w-6PY.

[7] 鑓水兼貴. 共通語化過程の計量的分析. 東京外国語大学博士論文, 2009.

[8] Wolfgang Vierreck. The computer developed linguistic atlas of england, volumes 1 (1991) and 2 (1997). International Computer Archive of Modern English: ICAME journal, Vol. 1997, No. 21, pp. 79-90, 2015.

[9] 金明哲・中村靖子. 文学と言語コーパスのマイニング. 岩波書店, 2021.

[10] INOUE Fumio. Computational dialectology. Area and Calture Studies, Vol. 52, No. 1, pp. 68-100, 1996.

[11] 国立国語研究所. 『日本言語地図データベース』, 2016. https://www. lajdb.org/TOP.html.


# 建物分布の変化を考慮した GPT-2 を用いた人流予測のための一検討

小林 亮博 ${ }^{1,2}$ 武田 直人 ${ }^{1}$ 山崎 悠大 ${ }^{1}$ 上坂 大輔 ${ }^{1}$
${ }^{1}$ 株式会社 KDDI 総合研究所 ${ }^{2}$ KDDI 株式会社
\{ao-kobayashi, no-takeda, yd-yamazaki, da-kami saka\}@kddi.com

## 概要

近年, Transformer などの自然言語処理分野で発達した深層学習技術を, 都市内における人流の予測に活用する動きが始まっている. しかし, 既存の手法は建物などの環境の状態は変化しないとの前提に基づくものであり，例えば大規模開発後の交通量予測に応用することが困難であった．本研究は，建物分布の変化に応じた将来の人流を予測するために, GPT-2 と建物分布系列の予測器を組み合わせた上で,人流を予測する方式を提案する．本稿では，個々の予測器の性質を分析した上で, 2 者を組み合わせた提案法を評価した。

## 1 はじめに

自治体やディベロッパーにとって, 再開発や大規模商業施設の建設といった建物分布の変化がもたらす来訪者数の変化や周辺交通一の影響を予測するメリットは大きい. 特に, 現在着目されているオンデマンドタクシーや相乗りなどといった動的に提供される交通サービスでは，個々のユーザの居住地や生活スタイルに沿った細かな移動需要の把握が重要となるため, ユーザの過去の移動系列を反映して将来の移動を予測可能な Transformer ベースの人流予測手法に関心が集まっている[2,3]. 本研究は，大規模なスマートフォン位置情報から抽出した都市における交通行動と, POI(Point of Interest)情報を場所毎・建物種類毎に統計化した建物分布の関係性をモデリングすることで，建物分布の変化に応じて増減する移動需要の予測を目指す。

## 2 関連研究

近年，交通行動の予測においては，移動需要の発生を将来の昼間・夜間人口のみから予測していた四段階推定法[13]に代わり, ユーザの移動行動を細かくモデル化した Activity Based Model が提案されるようになってきた[1]. 石井らは, 自宅から主要な活動先へと向かい帰ってくるまでの一連の行動を「ツアー」と定義し, 活動先の建物分布と現在位置からの移動コストから, Nested Logit Model を用いて活動先やツアーの発生を予測することで，日常的な都市交通を再現している[1]. しかし現在位置にどのような経路で移動してきたかといった過去の移動系列は考慮されておらず，「職場に行く前に保育園に子供を送る」など過去の移動系列に含まれるユーザの個々の細やかな移動需要の把握が困難となっている。 さらに，ツアー単位での行動推定となるため，観光や運輸目的で対象エリアを通り過ぎる行動の再現が難しい。

[1] に代表される移動モデルはアンケートで取得されたデータを元に構築されてきたが，近年では大量に取得されるスマートフォンの位置情報から Transformer ベースの移動モデルを構築する研究が始まっている[2, 3]. Mizuno らは，自然言語モデル GPT-2を用いて、地域メッシュコード(以下メッシュと呼ぶ)で離散化したユーザ位置の系列をモデル化することで，京都駅周辺の人流を高精度に再現している[2].ここで，メッシュとは，地域を一定サイズのグリッドに分割し総務省が定めた規格 JIS X 0410 に従いコード(離散値)で表現したものである.

[2]では GPT-2 を用いることで, 現在時刻までの移動系列からそのユーザが最終的に自宅に帰るのか，京都駅を通り過ぎるだけのユーザかを区別できており，1 日の終わりに出発地に戻ると予測したユーザの割合が実データと合致する。しかし，建物などの地理的環境の変化は考慮されておらず，将来予測という点では課題が残る。

## 3 提案するモデル

本研究では，位置系列をエンコードすることで個々のユーザの生活スタイルに沿った細かな移動需要の予測が可能な，GPT-2 のメリットを保ちつつ，建物分布に変化に応じた人流の予測を可能とするモデルを提案する.

図 1 本研究が想定するデータ表現

図 1 に本研究が想定するデータ表現を示す. スマ ートフォンを用いて一定の時間間隔で観測されたユ ーザの移動軌跡を，メッシュの系列で表現する。また，メッシュ内における種別毎の建物件数を素性とする固定長ベクトルを，建物分布ベクトルと呼ぶ.建物分布は,ユーザの移動目的と強く関係するため,移動需要の説明変数として用いられており [1], その系列はユーザの移動行動系列に内包されるセマンテイクスを示すと期待される。

本研究では，環境中の建物分布が変化した場合でも，上記セマンティクスは大きく変化しないと仮定する. 例えば, 図 1 のユーザは $\mathrm{t}=3$ でオフィス街に移動した後, $\mathrm{t}=4$ で商業施設が多く存在するエリアに移動している. 仮に Mesh3 の近辺に新規の大型商業施設が開店した場合, このユーザは $\mathrm{t}=4$ において異なるメッシュに移動する可能性がある。しかし，

「オフィス街に移動した後に商業地に移動する」というセマンティクスそのものは, 大型商業施設開店後も大きく変化しないと仮定する.

図 2 は提案する人流予測モデルを示す. 図の最下段に示す空間制約表現部は[2]で提案されている GPT-2 に基づく移動軌跡予測モデルを示し，ユーザ $\mathrm{u}$ に $\mathrm{t}=0 . . \mathrm{i}$ におけるメッシュ系列 $m_{u, 0} . . m_{u, i}$ が与えられた際に， i+1 時点におけるメッシュ尤度 $P\left(m_{u, i+1}\right)$ を予測する。図最上段のセマンティクス表現部は，上記メッシュ系列に相当する建物分布の系列 $x_{m_{u, 0} .} x_{m_{u, i}}$ を入力して, $\mathrm{i}+1$ 時点の建物分布べクトル $x_{m_{u, i+1}}$ を予測する。本稿ではこの時系列の連続値データ予測器を建物分布予測器と呼び，電力需要予測などで高い精度を示した， Zeng ら[4]の手法を用いた.また, 図の中段の更新可能地図は, 各メッシユの建物分布 $x_{M_{0}} . . x_{M_{k}}$ を並べた行列を示す.ここで $M_{j}$ は，GPT-2 の辞書に登場するメッシュを指す. 更新可能地図と $x_{m_{u, i+1}}$ は, 建物分布ベクトルのノルムが 1 になるよう正規化した上で内積を取ることで，予測した次時点の建物統計べクトルと各メッシュとの $\cos$ 類似度 $S\left(m_{u, i+1}\right)$ を算出する. 建物分布予測に基づく $S\left(m_{u, i+1}\right)$ と，GPT-2 が予測した $P\left(m_{u, i+1}\right)$ の Hadamard 積を取ることで，セマンティクスと空間上の制約を満たした次メッシュを予測する。

## 4 データセット

本研究では，KDDI 株式会社が au スマートフォン利用者より同意を得て取得する GPS データを使用して検証を行った.この GPS データは測位間隔に粗密があるが，集計した結果は各種人口統計と相関し，交通需要の推計等に用いられている[5, 6]. 2019 年 6 月に観測された GPS データから宇都宮市在住のユーザをサンプリングし，エリアを限定せずに 8 日間の移動軌跡を抽出した. 1 日に最低 1 点以上ロ

図 2 建物分布の変化を考慮した人流モデル
表 1 建物分布予測性能

図 3 正解メッシュの建物分布との $\cos$ 類似度グがある移動軌跡のみを分析対象とし, 6,050人のユ一ザからなる 98,213 件の移動軌跡を抽出した.

上記の移動軌跡から, 30 分毎のメッシュの系列を抽出した. 前述の通り, この GPS データは観測頻度に粗密があるため, 30 分毎の時点において直前・直後となる観測点を抽出し, 時間差を重みとする重心位置を, 30 分毎のユーザ位置とした. 最後にユーザ位置を 1 辺の長さが約 $250 \mathrm{~m}$ の 4 分の 1 地域メッシユで表現し， 8 日間のメッシュ系列を抽出したものを Pre-Training 用データセットと呼ぶ. 5 節では，以上のデータセットを訓練: 検証: 評価用に 8:1:1 の割合で分割し評価に用いた。

建物分布はゼンリン社の商品を用いた[12]. 建物の種別(個人家屋・共同住宅・事業所・複合建物)や,業種(飲食, 物販, 教育, 医療...), 規模(階数, 床面積...)で分類された建物の件数が 113 次元で表現されている. 本データは $100 \mathrm{~m}$ 四方毎に集計されているため, 面積按分で 4 分の 1 地域メッシュ毎に再集計した. 本研究では, 上記データセットに登場する建物分布を z-score に標準化して用いる。

## 5 実験と考察

## 5.1 建物分布の予測

はじめに建物分布予測器の性能を評価した。 Zeng ら[4]は, 順序情報が保持されない Attention メカニズムは連続値の時系列予測においては不利であると主張しており,簡易な線形NWからなるDLinear， NLinear を用いて Transformer ベースの予測器 Autoformer[7], Informer[8]を超える精度を確認している. Pre-Training 用データセットを用い, 建物分布
においても同様の傾向が見られるか確認した.

各移動軌跡における 7 日間の建物分布ベクトルの系列から次の 1 日間の系列を予測し, 精度評価した結果を表 1 に示した. ここで ACC は, 予測した建物分布ベクトルを k-means 法により 5 クラスに分類した場合の Accuracy を示す(クラス分類方法の詳細は付録に記載). 本研究では, Transfomer ベースの手法に比べて優れた性能を示した DLinear を建物分布の予測モデルとして採用した. DLinear が推定した建物統計ベクトルと正解值との $\cos$ 類似度の分布を図 3 に示す. $\cos$ 類似度の中央値は 0.71 となっており. 図 2 における類似度べクトル $S\left(m_{u, i+1}\right)$ は, 次义ツシュの予測に効果があると期待できる.

## 5. 2 GPT-2 の Pre-Training

本研究では, 図 2 のモデルを構築する前に, PreTraining 用データセットを用いて GPT-2 の訓練と評価を実施した. Mizuno らの研究[2]を参考に,語彙数を50,000 語としBPE[11]を用いてメッシュをトークナイズし, GPT-2 の Pre-Training を実施した. モデルサイズは, Radford ら[9]と同様に 12 層, 768 次元の内部表現を用いた。

GPT-2 部の推定精度を評価するため，小林ら[3]を参考に 7 日間の移動軌跡を入力し, GPT-2 のサンプリング生成[10]機能を用いて次の 1 日間の移動軌跡を 10 通り推定した(サンプリングパラメータは Top $\mathrm{k}=100$, Top p=0.95). 推定した軌跡は, 交通需要予測において重要視されている出発地(Origin)と目的地 (Destination)の頻度分布(OD 表)を, bi-gram 頻度から簡易的に求め評価したところ, 正解との相関は 0.73 であり, 都市の移動を一定程度再現できていると考えられる。

## 5.3 提案するモデルの評価

本研究は, 図 2 のモデルの基本的な特性を調查するため, 5.1 と 5.2 で Pre-Training した建物分布予測部と GPT-2を用いて 2 者を統合した提案モデルの性能を評価した. 各時点の推定性能を評価するため, Pre-Training データセットの評価セットから開始時刻を 30 分ずつ 48 パターンでずらしたサンプルを抽出した. 説明変数として 7 日間 336 時点のメッシュ系列を入力し, $S\left(m_{u, i+1}\right)$ と $P\left(m_{u, i+1}\right)$ を算出した. 図 4 は GPT-2 が予測した尤度 $P\left(m_{u, i+1}\right)$ をヒートマップ (緑色が濃いほどスコアが高い)で示したものであり，正解メッシュを赤枠で表示している、いずれも正解

次メッシュ：住宅地

次メッシュ：商業地

図 4 GPT-2 が予測した次メッシュの尤度

図 5 推定した建物分布類似度

建物分布の類似度

GPT-2の尤度

図 6 GPT2 単体ではうまく推定できない時点メッシュのスコアが極端に高い単峰性の分布をしており，GPT-2には人の移動における空間上の制約が埋め込まれているといえる。

図 5 は, 同様に建物分布類似度 $S\left(m_{u, i+1}\right)$ を可視化したものである. 図 5(左)は正解である宇都宮二荒山神社周辺のメッシュとの類似度が高くなっている一方で、図 5(右)では正解から空間的にかけ離れた浅草寺周辺のメッシュとの類似度が高くなった。

5.2 節で述べた通り GPT-2 の予測精度は概数高いが, 図 6(右)のように尤度に高い峰が現れず, GPT-2 単体での次メッシュ予測が困難なケースも存在する。

表 2 GPT-2 と建物分布類似度を組み合わせた次メッシュ予測の精度

2. Mizuno, Takayuki, Shouji Fujimoto, and Atushi Ishikawa: Generation of individual daily trajectories by GPT-2. Frontiers in Physics (2022): 1118.

3. 小林, 上坂, 武田, 南川, 森本: GPT-2 を用いた位置情報ビッグデータに基づく交通需要推定技術,土木計画学研究講演集 Vol.65, 2022

4. Zeng, Ailing, et al. "Are Transformers Effective for Time Series Forecasting?." arXiv preprint arXiv:2205.13504 (2022).

5. 石井, 末成, 越智, 関, 大塚, 酒井, 會田, 南川,「携帯電話 GPS ビッグデータの都市交通分野における活用に向けた信頼性検証」,土木計画学研究講演集, vol. 58, 2018.

6. 吉羽, 小林, 中管, 南川, 冨岡, 森本: スマートフォン位置情報データを活用したバス需要予測に関する研究, 土木学会論文集 D3, Vol.76, No. 5 (2021)

7. Wu, Haixu, et al. "Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting." Advances in Neural Information Processing Systems 34 (2021): 22419-22430.

8. Zhou, Haoyi, et al. "Informer: Beyond efficient transformer for long sequence time-series forecasting." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 35. No. 12. 2021.

9. Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.

10. Angela Fan, Mike Lewis, and Yann Dauphin. 2018. Hierarchical Neural Story Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 889-898, Melbourne, Australia. Association for Computational Linguistics.

11. Sennrich, Rico, Barry Haddow, and Alexandra Birch. "Neural machine translation of rare words with subword units." arXiv preprint arXiv:1508.07909 (2015).

12. ゼンリン社建物統計, https://www.zenrin.co.jp/product/category/gis/contents/b uilding-statistics/index.html

13. 北村隆一, 交通需要予測の課題, 土木学会論文集, 1996, 1996 巻, 530 号, p. 17-30

## 付録

建物分布ベクトルの特性を確認するため, k-means で 5 クラスに分類した結果を図 7 に示す. 各クラスは概ね，都心・商業地・共同住宅地・一戸建て住宅地・田畑/山林を示すメッシュに分類されており，建物分布の系列がユーザの移動行動のセマンティクスを内包すると期待できる。

マンション

都心

図 7 建物分布のクラスタリング結果