# 大規模言語モデルによる症例報告の構造的要約

八幡早紀子 ${ }^{1}$ 清丸寛一 ${ }^{1}$ Cheng Fei $^{1}$ 黒橋禎夫 ${ }^{1}$ 佐藤寿彦 ${ }^{2}$ 永井良三 ${ }^{3}$
1 京都大学 2 株式会社プレシジョン 3 自治医科大学
\{yahata, kiyomaru, feicheng, kuro\}@nlp.ist.i.kyoto-u.ac.jp
satoh@premedi.co.jp rnagai@jichi.ac.jp

## 概要

われわれは医学的知見の共有を促進する基盤システムの構築を目的として、症例報告の中から重要な情報を抽出し、それらの関係を構造化するタスク、構造的要約に取り組んでいる。本稿では、大規模言語モデル（Large Language Model; LLM）が関係抽出タスクにおいて高い性能を達成していることを背景に、症例報告の構造的要約における LLM の有効性を検証する。実験の結果、ファインチューニングした LLM が既存手法と同程度の性能を達成することを確認した。

## 1 はじめに

医学分野は専門化・細分化が進んでおり、一人の医師が包括的な観点から診断を行うことが困難な状況にある。一方、医療現場では、経験頻度の少ない症例や他の診断に役立つ示唆を含む症例について要点をまとめた症例報告が各診療科に蓄積されている。症例報告の知見の共有を促進することはこの状況を改善する上で極めて重要であると考えられる。

この目的のもと、症例報告検索システム JCaseMap $^{1)}$ が開発されている。J-CaseMap は、検索対象である各症例報告に症例報告の要点となる病態や所見の因果関係、修飾関係などを構造的に表した構造的要約がアノテーションされている点に特徴がある。構造的要約の例を図 1 に示す。J-CaseMap は構造的要約を活用することで、単に特定の病態や所見を含む症例を検索するだけでなく、病態や所見の因果関係や修飾関係を考慮した症例の検索を可能にしている。しかし、構造的要約の作成には医学の専門知識と仕様の理解が必要であり、人手で大量に作成することが難しい。

この問題を解決するため、関係抽出に基づき症例報告から構造的要約を自動生成する手法が提案さ

1) https://www.naika.or.jp/j-casemap/

症例報告

構造的要約

図1構造的要約タスク。症例報告を入力としてその構造的要約を生成する。本例は国家試験問題を元にした作例。

れている [1]。本手法は、構造的要約中のエンティティと関係を対応する症例報告に発見的に対応付けることで関係抽出の弱教師データを作成し、それを用いて BERT [2] のようなエンコーダ型の事前学習モデルを訓練するものである。

一方、近年の言語モデルの飛躍的な性能向上により、テキスト生成の枠組みで関係抽出を解くことが可能になってきた $[3,4]$ 。このアプローチは、先行研究 [1] の弱教師データ構築のステップを経ず、症例報告からグラフ構造要約を直接予測することを学習できることから、構造的要約生成の性能改善に有効であると考えられる。

本稿では、大規模言語モデル（LLM）を用いた症例報告からの構造的要約生成の有効性を検証する。実験の結果、ファインチューニングした LLM が先行研究と同程度の性能を達成することを確認した。

## 2 症例報告の構造的要約

本研究では、症例検索システム J-CaseMap において使用されている症例報告の構造的要約の自動生成に取り組む。構造的要約の例を図 1 に例を示す。構造的要約は木構造をなす。ノードは症例報告中の主な病態や所見などのエンティティを表す。親子関係は、病態や所見同士の因果関係などのつながりを表す。ノードは内部にさらに構造を持ち、病態や所見

のエンティティ（以下主辞と呼ぶ）とそれらを修飾するエンティティの関係を表現することができる。修飾関係は以下のように記述される。
- 解剖部位（記号：@）：病態や所見の存在する部位を表す (例：「完全閉塞@冠動脈)。主辞は前方のエンティティ。
- 極性情報（記号：/）：検査結果の高値・低値、薬剤投与の有効・無効などを表す（例：「SpO2 ／低値」)。主辞は前方のエンティティ。
- 検体名・検査名 $($ 記号 : = ) : 所見が得られた検査項目を表す（例：「心エコー＝僧帽弁逆流」）。主辞は後方のエンティティ。
- 補足情報 (記号：*）：部位の左右や病態の持つ特徴などを表す (例：「泡沫状火痰」)。主辞は後方のエンティティ。

修飾関係は「MRI = DWI 高信号@右*大脳半球」のように複数組み合わせて表される場合もある。

例えば、図 1 の構造的要約は、急性心筋梗塞という病態が胸痛、冠動脈の完全閉塞および僧帽弁逆流を引き起こしたこと、さらに僧帽弁逆流が $\mathrm{SpO} 2$ の低値という検査結果および泡沫状の痰を引き起こしたこと、僧帽弁逆流が心エコー検査によって観察されたことを表す。

構造的要約は二つのエンティティとその関係からなる関係三つ組の集合として表すことができる [1]。 ノード内のエンティティの修飾関係は、主辞のエンティティ、それを修飾するエンティティ、修飾関係を要素とする関係三つ組で表される。ノード間の親子関係は、親ノードの主辞のエンティティ、子ノー ドの主辞のエンティティ、親子関係を要素とする関係三つ組で表される。

## 3 関連研究

症例報告から構造的要約を自動生成する手法として、尾崎ら [1] が関係抽出に基づく手法を提案している。尾崎らの手法は、構造的要約を関係三つ組の集合とみなし、関係抽出モデルを用いて関係三つ組を予測することで構造的要約を生成する。関係抽出モデルは、情報抽出モデルとエンティティ間の関係予測モデルからなる。情報抽出モデルが症例報告からエンティティを抽出する。関係予測モデルは抽出された二つのエンティティ間の関係を予測し、親子関係や修飾関係を同定する。

関係抽出モデル $[5,6]$ は BERT のようなエンコー
ダ型の事前学習モデル $[2,7]$ を基盤として構築される。情報抽出モデルの訓練には、症例報告に構造的要約中のエンティティに言及しているスパン（メンション）をアノテーションしたデータが必要である。しかし、構造的要約は症例報告とは独立した形でアノテーションされており、エンティティとメンションの対応はアノテーションされていない。この問題を解決するため、尾崎らは構造的要約中のエンティティを対応する症例報告に発見的に対応付けることで、情報抽出の弱教師データ $[8,9,10]$ を構築している。

尾崎らの手法は、弱教師データの品質が情報抽出モデルの性能のボトルネックとなる点に課題がある。また、関係抽出モデルがエンティティ間の関係を独立に判定するため、抽出される関係三つ組間の一貫性を陽に考慮できないという問題もある。

一方、近年の言語モデルの飛躍的な性能向上により、テキスト生成の枠組みで関係抽出タスクを高精度に解くことが可能になりつつある $[11,12,3,4]$ 。 テキスト生成による関係抽出では、テキストを入力として、その中で言及されている関係三つ組を特定のフォーマットで生成する。この方法では、エンティティが入力テキスト中のどのスパンに対応しているかのアノテーションは必ずしも必要ない。また、予測した関係三つ組を文脈として参照できるため、関係三つ組間の一貫性も考慮できる。加えて、大規模言語モデル（LLM）になると医学的知識をかなりの程度保持しており、医師免許国家試験に合格するほどの能力を持つことが示されている [13]。こうした背景から、LLMを症例報告の構造的要約の生成に適用することは有望であると考えられる。

## 4 提案手法

本研究では、LLMを利用した構造的要約生成モデルを提案する。本稿ではこれを生成モデルと呼ぶ。

生成モデルの学習の概要を図 2 に示す。生成モデルは入力された症例報告から構造的要約を直接出力することを学習する。LLM はテキストを入出力とするため、LLM によって構造的要約を生成する際は構造的要約を何らかの形式のテキスト表現に変換する必要がある。

本研究では、構造的要約を図 2 のように変換した。この表現では、一行に一つのノードが記述され、字下げによって親子関係が表現される。近年の LLM は事前学習データには一般に Python 等のプロ

図 2 学習のワークフロー。構造的要約をテキスト表現に変換し、症例報告と構造的要約のペアから訓練データを作成する。作成した訓練データを利用し、LLMをファインチューニングする。訓練では訓練データの黒字部分を入力として青字部分を予測することを学習する。

グラムコードが含まれ、字下げによって論理構造を表すことはLLMにとって自然な形式の一つであると考えられる。構造的要約のテキスト表現の違いが性能に与える影響については今後検証を行う予定である。

## 5 実験

LLM の構造的要約の生成における有効性を検証するため実験を行った。

## 5.1 実装の詳細

症例報告と構造的要約のペアを用いてモデルのファインチューニングを行った。ファインチューニングでは LoRA [14] を使用した。訓練データとして 15,100 件の症例報告と構造的要約のペアを利用した。15,100 件の症例報告は、訓練データ 14,400 件, 開発データ 200 件, テストデータ 500 件に分割して使用した。事前学習済みの日本語 LLM として、Youri-7B-instruction ${ }^{2)}$, Swallow-13B-

した。

また比較のため、尾崎らの手法 [1] も検証した。本稿ではこのモデルを関係抽出モデルと呼ぶ。実験では基盤モデルとして DeBERTa [15] を使用し、関係抽出モデルを学習した。

## 5.2 評価指標

尾崎ら [1]にならい、出力の構造的要約を関係三つ組の集合に分解し、正解の正解三つ組の集合と比

2) https://huggingface.co/rinna/youri-7b-instruction

3) https://huggingface.co/tokyotech-llm/

Swallow-13b-instruct-hf

4) https://huggingface.co/llm-jp/

llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0較することで評価を行った。出力と正解の間でエンティティのペアとその関係性が全て一致している関係三つ組が存在する場合を正解とし、Precision、 Recall、F 値を算出した。

エンティティの同一判定では、表記摇れおよび誤字脱字などを一部許容した。まず、同義語辞書によってエンティティの代表語への変換を行った。次に、出力エンティティと正解エンティティの間の編集距離を正解の文字数で割ったものを閾値と比較し、閾値以下であれば同一であるとみなした。本実験では、経験的に閾値を 0.5 とした。ただし、修飾関係のうち極性情報は語彙が閉じているため、表記摇れを許容せず、完全一致の場合のみ同一と見なした。また、同じ親を持ち子を持たない同一のノードが複数回出力された場合は、一つに統合した上で評価を行った。

## 5.3 結果

表 1 に結果を示す。生成モデルの中で、最も高いスコアを達成したモデルは LLM-jp-13B-instruction であった。パラメータ数が 7B のモデルと 13B のモデルを比較すると、パラメータ数のより大きいモデルの方が高いスコアを達成していた。このことから、さらに大規模な LLMをファインチューニングすることでスコアの向上が見込めると考えられる。関係抽出モデルと比較すると、生成モデルは Recall においてわずかに優れているものの、Precision と F 值はやや下回る結果となった。

## 5.4 分析

生成モデルは原理的に構造的要約としてパースできない不適当な出力を生成する可能性がある。し
表 1 実験結果。親子関係は病態や所見の因果関係を表す。修飾関係は、エンティティの解剖部位、極性情報、検体名・検査名、補足情報などの関係を表す。太字は最高スコアを示す。P,R,F1 はそれぞれ Precision,Recall,F 值を表す。

親子関係修飾関係 1 全体

図 3 国家試験問題を元にした作例から生成された構造的要約の例。

かし、本実験において生成モデルの出力にそうしたフォーマットのエラーは確認されなかった。実験に使用した LLM は Python 等のコードを学習していることで字下げの深さを利用した構造的要約のテキスト表現を扱うことができ、また修飾関係を示す記号の意味も適切に学習できていると考えられる。

生成モデルおよび関係抽出モデルによる構造的要約の例を図 3 に示す。関係抽出モデルと比較して、生成モデルは出力したエンティティが多く、情報抽出の抜けが少なかった。また、関係抽出モデルよりも親を持たないエンティティが少なく、関係抽出モデルはより多くの関係を予測していた。これは、 Precision の差が大きくRecall の差が小さいという実験結果に合致する。

生成モデルに特徴的な誤りとして、同一エンティティが繰り返し生成されるケースが確認された。同じ文字列が繰り返し生成されるのはテキスト生成の典型的な誤りであり、これはベースの LLM 自体の改善により一定程度緩和されると考えられる。

また、生成モデルの出力の一部に、症例報告中に

存在しないエンティティを生成してしまうハルシネーションの問題が確認された。関係抽出モデルは原理的にこうしたハルシネーションは発生しない。今後、ベースとなる LLM 自体の改善や医学分野のテキストを用いた LLM の追加学習等により、この問題がどの程度緩和されるか検証する予定である。

## 5.5 医師による評価

生成モデル・関係抽出モデルの出力からランダムに選出された 10 件程度に対して著者の医師が評価を行った。結果、生成モデルは症例の主要部分の抽出抜けや親子関係のエラーが少なく、関係抽出モデルよりも人間の医師が作成したものに近い構造的要約を生成していることが確認された。

この結果は、自動評価の結果と合致していない。 この原因は、現在の評価手法ではすべての関係三つ組を同等に扱っている一方、人間の医師は主要な病態の抽出とそれらの親子関係を重視している点にある。主要な病態に着目した、人間の医師の評価と整合する自動評価手法を開発することは今後の課題としたい。

## 6 結論

本稿では LLM を用いた症例報告の構造的要約生成の有効性を検証した。症例報告から構造的要約を生成するよう LLM をファインチューニングし、既存の関係抽出モデルに基づく手法と同等程度の性能が達成されることを確認した。実験ではLLM のパラメータ数が性能に大きく影響することが示唆された。また、今回の実験で使った事前学習済みモデルは全て汎用的なドメインのモデルであった。医学分野のテキストを用いてドメイン適応することは性能の向上に有効であると考えられる。今後はより大規模な LLM の適用と LLM の医学分野へのドメイン適用について検証を進める予定である。

## 7 謝辞

本研究は戦略的イノベーション創造プログラム (SIP)「統合型ヘルスケアシステムの構築」JPJ012425 の補助を受けて行った。

## 参考文献

[1] 尾崎立一, 清丸寛一, Cheng FEI, 黒橋禎夫, 永井良三,佐藤寿彦. 弱教師学習に基づく症例報告の構造的要約. 第 26 回日本医療情報学会春季学術大会, 2022.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Somin Wadhwa, Silvio Amir, and Byron Wallace. Revisiting relation extraction in the era of large language models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1556615589, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Zhen Wan, Fei Cheng, Zhuoyuan Mao, Qianying Liu, Haiyue Song, Jiwei Li, and Sadao Kurohashi. GPT-RE: In-context learning for relation extraction using large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 3534-3547, Singapore, December 2023. Association for Computational Linguistics.

[5] Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Kristina Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell, Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 50-61, Online, June 2021. Association for Computational Linguistics.

[6] Zhen Wan, Qianying Liu, Zhuoyuan Mao, Fei Cheng, Sadao Kurohashi, and Jiwei Li. Rescue implicit and longtail cases: Nearest neighbor relation extraction. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 17311738, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A ro- bustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[8] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Keh-Yih Su, Jian Su, Janyce Wiebe, and Haizhou Li, editors, Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[9] Hao Peng, Tianyu Gao, Xu Han, Yankai Lin, Peng Li, Zhiyuan Liu, Maosong Sun, and Jie Zhou. Learning from Context or Names? An Empirical Study on Neural Relation Extraction. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3661-3672, Online, November 2020. Association for Computational Linguistics.

[10] Zhen Wan, Fei Cheng, Qianying Liu, Zhuoyuan Mao, Haiyue Song, and Sadao Kurohashi. Relation extraction with weighted contrastive pre-training on distant supervision. In Andreas Vlachos and Isabelle Augenstein, editors, Findings of the Association for Computational Linguistics: EACL 2023, pp. 2580-2585, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[11] Daojian Zeng, Haoran Zhang, and Qianying Liu. Copy$\mathrm{mtl}$ : Copy mechanism for joint extraction of entities and relations with multi-task learning. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 9507-9514, 2020.

[12] Ranran Haoran Zhang, Qianying Liu, Aysa Xuemo Fan, Heng Ji, Daojian Zeng, Fei Cheng, Daisuke Kawahara, and Sadao Kurohashi. Minimize exposure bias of Seq2Seq models in joint entity and relation extraction. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 236-246, Online, November 2020. Association for Computational Linguistics.

[13] Jungo Kasai, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir Radev. Evaluating gpt-4 and chatgpt on japanese medical licensing examinations, 2023.

[14] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.

[15] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTav3: Improving deBERTa using ELECTRA-style pretraining with gradient-disentangled embedding sharing. In The Eleventh International Conference on Learning Representations, 2023.


# 新聞記事からの都々逸生成のための訓練データの作成手法と生成アルゴリズムの改良

高昕＊小坂想太朗＊ 佐山龍之介＊～松崎拓也
東京理科大学 理学部第一部 応用数学科
}

1420038@ed.tus.ac.jp 1420039@ed.tus.ac.jp 1420046@ed.tus.ac.jp matuzaki@rs.tus.ac.jp
## 概要

新聞記事を入力とし，記事の内容を要約する都々逸を出力する齊藤ら [?] の手法の改良を試みた. 具体的には，訓練データとなる都々逸の作成数を従来より増やし，候補の絞り込みを TF-IDF，BERT の回帰モデルを使用し改良した. また，生成アルゴリズムの制約を追加し, 単語の重複を排除するように改良を行った. 結果として，大幅な都々逸候補数の増加と生成する都々逸の質の向上に成功した. ${ }^{1)}$

## 1 はじめに

新聞記事の見出しは，本文の概要を正確に示す必要がある. また，簡潔で内容が伝わりやすいことが求められると同時にインパクトがあることが望ましい. 都々逸は語呂が良く, 頭に残りやすい七五調である. そこで，齋藤ら [?] は Text-toText 型のニューラル言語モデルを用いて新聞記事の内容を要約する都々逸を自動的に生成する手法を提案している.

都々逸とは，七・七・七・五のリズムに従う定型詩であり，始まりは江戸末期に寄席芸人が寄席で歌ったものが流行した事による. 区切られた 4 つの部分をそれぞれ上七，中七，下七，座五と呼ぶ. さらに，それぞれの句は以下のようにより細かく区切られる (それぞれを以下では半句と呼ぶ).

・上七 $\cdots 3+4$ モーラまたは $4+4$ モーラ

・中七 $\cdots 4+3$ モーラまたは $2+5$ モーラ

・下七 $\cdots 3+4$ モーラまたは $4+4$ モーラ

・座五 … 5 モーラ

半句の区切り (上記の"+"の部分) は形態素境界である.また，内容語と機能語が区切りで分かれてはいけない。例えば，上七で「クリス」+「マスイブ」 や「東京」+「へ行こう」のように区切ることはできない.

図 1 見出しから都々逸

## 2 手法

## 2.1 全体の流れ

図 1 亿斎藤らの手法のうち，訓練データとなる記事の見出しから生成した都々逸と記事本文のペアの作成までの流れを示す。まず，記事の見出しから， いくつかの半句の欠落を許しつつ，都々逸のモーラ数制約に従う形態素列（穴あき都々逸）を抽出する.次に，穴あき部分の数に基づくスコア付けに従って上位の穴あき都々逸を選ぶ。そして，選んだ穴空き都々逸に対して，穴の部分を $\mathrm{T} 5$ を用いた予測ですべて埋める。このようにして，得られた記事と都々逸のペアを訓練データとして T5 の学習を行う. 実行時は，入力された記事本文に対して，生成される確率が最も大きい都々逸を選ぶ.

## 2.2 見出しの自動生成による改良

斎藤らは記事の見出しから穴あき都々逸を抽出していた。これに対し本研究では，穴あき都々逸の候補数を増やすために，自動生成した見出しからも穴あき都々逸を抽出した。具体的には，記事の見出しと本文を用いて T5を見出し生成にファインチュー ニングし，各記事から 27 文字以上になるように見
出しを 10 個ずつ生成し, 元の見出しを含めて各記事 11 個の見出しから穴あき都々逸を抽出した. 生成した見出しを 27 文字以上とした理由は，都々逸は字余りを許すと $26 \sim 28$ 文字であることと, 予備実験において, 見出しが 25 文字から 35 文字の間で抽出できた穴あき都々逸の数が多くなったためである。

## 2.3 穴あき都々逸抽出の改良

本研究では，意味が通る穴あき都々逸を抽出するために，斎藤らの手法に文法的制約と本文からの抽出を加え，改良を行なった。

## 2.3.1 文法的制約の考慮

形態素を単位とする穴あき都々逸の抽出では,「な

「密猟しない」のように, 文法的・意味的な誤りを含む抽出結果となる場合がある. そこで, 抽出時に以下の二種類の制約を加えた。

1.「なかっ」＋「た」のように, 片方だけを抽出した場合に文法的な誤りとなるような連続する形態素は結合し,「なかった」という一つの単位として扱う。

2. 一つの単位としてしまうと半句のモーラ数を超える場合は,代わりに以下の制約を加える。

・「規制」＋「しない」のように, どちらか片方だけを抽出した場合に意味的あるいは文法的な誤りとなる場合, 一方を抽出したら他方も同じ句に含めるようにする. そのような例としては他に，○○＋形容詞の「ない」,動詞「し」+助動詞「ない」などがある。

・「規制」＋「する」のように，「する」だけ抽出しても意味が通らないものについては,両方抽出するか,「規制」だけを抽出する.他の例としては, 内容語十助動詞「ない」以外の助詞・助動詞や, 動詞十「こと」などがある.

## 2.3.2 本文も利用した穴あき都々逸抽出

見出しから単語を抽出し，都々逸を生成する方法ではモーラ数制約のため，使う単語が限られてしまい，都々逸の穴が多くなってしまう，そこで，都々逸に使う単語のバリエーションを増やすため, 見出
しの単語のみを抽出するのではなく，本文の単語も同様に抽出できるように改良した. 手順としては， まず見出しから単語を抽出し, 次に見出しから抽出した単語に関連する単語を本文から抽出する。具体的には見出しから抽出した記号, 助詞以外の単語に対して，本文中で係り受け関係にある単語がモーラ数の制約を満たす場合に抽出した.

## 2.4 穴あき都々逸のランキングと絞り込み

齊藤らの手法に比べ，我々の手法では一記事に対して抽出される穴あき都々逸の数が大幅に増える.穴埋めアルゴリズムは自己回帰型の生成モデルに基づくため計算コストが大きく, かつ候補数に比例して実行時間が増える。齊藤らは穴あき都々逸に対し穴の数と種類に従ってぺナルティを付与し，それを用いて候補を絞り込むことで穴埋めのための時間を削減していたが，単純に穴の少ない都々逸が選ばれやすく, 記事本文の要約として適切でないもの，日本語として不自然なものが選ばれる場合があった. そこで本研究では以下の 2 つの改良を行った.

## 2.4.1 TF-IDF に基づくランキング

TF-IDFを用いて穴あき都々逸にスコア付けし，絞り込みを行った。 ある記事の本文 $d$ 中のある単語 $t$ の出現回数を $\operatorname{tf}(t, d)$, 全記事数を $N$, 全記事に対して記号を除いたある単語 $t$ が出現する記事数を $\operatorname{df}(t)$ として,

$
\begin{aligned}
\operatorname{idf}(t) & =\log \frac{N}{\operatorname{df}(t)+1} \\
\operatorname{tf}-\operatorname{idf}(\mathrm{t}, \mathrm{d}) & =\operatorname{tf}(t, d) \times(\operatorname{idf}(t)+1)
\end{aligned}
$

とする。記事 $d$ に対する穴あき都々逸 $\delta$ 中の（穴以外の）単語列を $t_{1}, t_{2}, \ldots, t_{n}$ とするとき $\delta$ のスコアを $\sum_{i=0}^{n} \mathrm{tf}-\mathrm{idf}\left(\mathrm{t}_{\mathrm{i}}, \mathrm{d}\right)$ と定めた. $\operatorname{df}(t)$ の計算には，毎日新聞の $2,035,436$ 記事の本文を用いた。

## 2.4.2 穴埋め後のスコアの予測に基づくランキング

齊藤らは入力の記事に対し穴埋め後の都々逸の候補が見出しとして生成される確率を $\mathrm{T} 5$ に基づく見出し生成モデルによって得て，それが最大のものを記事とペアにして訓練データとしていた. 本研究では穴あき都々逸を入力として BERTによる回帰を用いて，穴埋め後のスコアを予測することで，穴埋め処理の対象とする候補数を絞り込むことにした。

図 2 本文から都々逸

手順としては，まず穴あき都々逸および記事本文を入力とし T5 による穴埋め後の都々逸のスコアを出力とする回帰モデルを BERTを用いて学習した. 次に，回帰モデルで穴あき都々逸候補の穴埋め後のスコアを予測し，スコア上位の候補のみを選ぶことで絞り込みを行った。

## 2.5 都々逸生成アルゴリズムの改良

斎藤らの方法では，入力を記事本文，出力を穴埋めした都々逸として T5を訓練し，実行時は， Encoder に記事本文を入力し，Decoder で自己回帰的に次のトークンを予測していき，モーラ数制約を満たす生成結果のみを保持しつつビームサーチを行うことによって，最終的な都々逸を生成していた（図 2).これに対し本研究では，このアルゴリズムの 2 通りの改良を行なった。

## 2.5.1 重複の排除などのビームサーチのエ夫

ビームサーチで生成した都々逸には, 同じ単語が複数回出現することで不自然あるいは意味不明になることが多いという問題があった. この問題を解決するために，ビームサーチで保持する生成結果に以下の制約を付け加えた。

1. 漢字，カタカナを含む 3 文字以上の単語の重複を禁止する

2. 文字種に無関係に文字数 2 以上かつモーラ数 3 以上の単語を重複の禁止する

3. 数字が連続することを禁止する

1,2 の制約は「漁協漁船が海岸座礁 2 人救出伊豆諸島」のように同一の単語を意味なく複数都々逸に含むことを防ぐ．3 の制約は「1994 年」のような連続した数字を含む単語を禁止しない。

## 2.5.2 句ごとの都々逸生成

斎藤らのビームサーチをすると似た都々逸の候補ばかり残りやすく，句ごとでの意味を考慮していない. これに対し本研究では，生成を句ごとにランダ么性を持たせて行なった。まず，入力を記事本文とし，出力を穴埋めされた都々逸全体，あるいは，その都々逸の上七・中七・下七・座五のそれぞれとして T5を訓練し，5つのモデルを作成した. 実行時は，句ごとに訓練したモデル，記事本文を入力し， ビームサーチによって、各句の候補を複数生成した. その際，助詞や接続詞を句の始めに入れないなどの文法的制約を満たすようにした。そして，都々逸全体を出力として訓練したモデルを用いて，生成した句を結合した結果をスコアリングし，スコアが最大の都々逸を得た。

## 3 実験

記事の元の見出しを基準として，4つの手法で生成した都々逸を比較するため，評価に ROUGE を用いて実験を行なった。

## 3.1 実験設定

## 3.1.1 使用データ

1994 年から 2018 年の毎日新聞データの記事 $2,035,436$ 件を使用した。見出しが 11 文字以上かつ本文 31 文字以上の記事のみを使い，著作権上の問題で本文が閲覧できない記事や新聞の休み報告をする記事は使用していない。これらのうち，訓練デー タとして 1995 年から 2003 年の記事からそれぞれ 10,000 記事ずつ合計 90,000 記事，テストデータとして 2004 年の記事から 500 記事を使用した.

## 3.1.2 比較手法

都々逸生成の４つの異なる手法を，テストデータの 500 記事に適用し，生成成功率を調べるとともに，生成した都々逸と元の記事の見出しの一致度を ROUGE で測り評価し比較した。その 4 つの手法を説明する。1つ目は，訓練データから自動生成した 10 個の見出しに元の見出しを加えた計 11 個から穴あき都々逸を抽出して，TF-IDFによって各記事あたり最大 100 候補まで絞り込んだ後，BERTを用いたランキングでさらに 10 個まで絞り込み，穴埋め処理の後見出し生成モデルを用いたスコアリングの結果が最も良いものをその記事に対する都々逸とする
表 1 ROUGE による評価

 & 斉藤ら &  &  \\

手法である. 2 つ目以降の手法では，訓練データ用の 90,000 記事に対して，1つ目と同じ方法で生成した都々逸を T5 の訓練データとして用いる．2つ目は，都々逸生成の訓練を行なった $\mathrm{T} 5$ を用いてビー ムサーチによって生成する斎藤らの生成アルゴリズムを用いる手法である。3つ目は, 斎藤らの生成アルゴリズムに重複の排除などを加えた § 2.5.1で述べた手法である（表 1 の「ビーム十制約」．4つ目の手法は，句ごとに生成したあと，それらの組み合わせを都々逸生成モデルによるスコアリングに従って選ぶ § 2.5.2で述べた手法である（表 1 の「句ごとに生成」).

## 3.2 生成成功率と ROUGE による評価

4 つの手法によって生成した都々逸を ROUGE によって評価結果及び各手法で記事本文から都々逸が得られた割合（生成成功率）を表 1 に示す. 生成した都々逸の評価は，全ての手法で生成が成功した記事を対象とした。

## 4 分析

## 4.1 穴あきランキング

穴あき都々逸のランキングにおいて，斎藤らの穴あき部分の数に基づくスコア付けと, 本研究の TFIDF と BERT の回帰を使ったランキングで，穴埋め後の本文と一致度を測るスコアリングで各記事から最も良いスコアの平均の比較と, 本研究の方がスコアが良くなった記事数を示す. 図1の「スコアリング」をした後に, 生成が成功している 5000 記事を使用した。スコアは低い方が良いとして，平均値は斎藤らが 7.05 , 本研究が 6.89 で本研究の方が少し良い結果を得られた. また, 本研究の方がスコアが良い記事は $54.1 \%$ (2706 件) であった.

## 4.2 穴空き都々逸抽出手法の比較評価

## 4.2.1 文法的制約の追加前後での穴あき都々逸の候補数の変化

1994 年から 2018 年の記事からそれぞれ 1,000 記事ずつ計 25,000 記事を使用して, 文法的制約（§ 2.3.1）による穴あき都々逸の候補数の変化を調べた。 その結果, 制約がない場合と比べて一記事あたり平均 $46.9 \%$ 候補数が減少した. この改良により, 文法的に誤っている候補を排除し，より質の良い候補を抽出することができる.

## 4.2.2 本文からの抽出による都々逸の穴の変化

1994 年の 50,000 記事に対して, 本文も利用した抽出方法 ( § 2.3.2) による都々逸の穴の変化を調べた.改良前は，抽出段階でひとつも穴を含まない都々逸が 1 記事に対して平均 0.15 個であったのに対して，改良後は，平均 1.74 個となっていた. これは本文抽出により，改良前よりも都々逸の穴が埋まっていることを示している. 抽出段階で穴が埋まっていることで，穴埋めのコストを削減することにつながる。

## 5 終わりに

新聞記事の内容を要約し都々逸を生成する際の,訓練データと生成アルゴリズムの改良を行なった. その結果, 各記事に対する平均の都々逸生成率と, 本文との一致度両方において, 斎藤らの手法より良い結果を示すことができた. その一方で, 文章としてのわかりやすさという面ではまだ改善の余地がある.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 物語を対象とした登場人物の関係図抽出

内野 太智 ${ }^{1}$ Danushka Bollegala $^{2} \quad$ Naiwala P. Chandrasiri ${ }^{1}$
${ }^{1}$ 工学院大学大学院 ${ }^{2}$ リバプール大学
em23006@ns. kogakuin. ac.jp bollegala@liverpool.ac.uk
chandrasiri@kogakuin. ac. jp

## 概要

本研究では，小説の物語テキストから登場人物を抽出し, 人物関係図を作成するシステムを提案する。小説を選ぶ際に，作成した人物関係図を使用することで，小説を読まなくても内容の全体像の概要を把握でき，好みの内容の小説だけ選択できる.また,物語の進行を忘れた場合にも，それまでの物語の全体像を把握でき，読書の再開を手助けする．本システムで，少しでも読書をする際のストレスになりうる要因を無くすことを目指す.詳細な手法としては,物語テキストから人名を抽出し，登場人物リストを作成した後, GPT-2を使用して代名詞を最も適切な単語に置き換え, 関係性を出力し関係図を作成した。定量評価の結果, 代名詞の変換を行った関係図の方が正解率が高いという結果となった。

## 1 はじめに

近年, 読書離れが深刻化している。その中でも特に 20 代を中心に読書をする習慣がない人が多くなっており, 問題視されている. その原因の一つとして, 読書は多くの時間を取られ, 読み進めないとどのような内容かわからないということが考えられる。現代には，多くの媅楽が存在しており，そのほとんどが多くの時間をかけずとも楽しめるものだ。そんな状況だからこそ, 内容を忘れてしまったら読み返すしか方法がない読書をする人が減少してしまう原因のひとつとなっていると考察した。このように若者の読書離孔は深刻化しているが，近年，スマートフォンやタブレットの普及により, 電子出版の市場規模が増加している，そのため，スマートフォンやタブレット等の電子媒体で読書する機会が増えた。

電子媒体で読書することは，読書をより身近なものとし, 読書離れを解決する方法の一つではないかと考えた。電子媒体で読書をする場合，紙媒体での小説と異なり, 複数冊所持しても重たくない. そのた
め, 複数冊を並列して読む人が増えると考えられる。並列して小説を読む場合，物語の進行を忘れてしまうことが増えることが想定される。 しかし, 現代社会では読書にまとまった時間を確保することが難しく，隙間時間を利用し読書する人が多いため，前のページに戻るために時間を使うことは効果的ではない.そこで，小説の物語テキストから登場人物を抽出し，人物関係図を作成するシステムを作り，読み返しをしなくても本の内容を思い出せるようにしたいと考えた。

## 2 関連研究

小林らの研究[1]では, 物語を既存の辞書などを利用して場所，時間，人物候補を抽出し，これら 3 つのカテゴリ別に数えた語句の異なり数を基準としてシーンを分割する手法を提案している。また，米田らの研究[2]では, 物語から局所出現頻度と共起する述語情報を利用して未知の人物名を抽出する手法を提案している. 神代らの研究[3]では, 発話文と話し手の相対的な位置などを素性とした機械学習により話し手と聞き手を同定し，さらに「わたくしめ」のような人称表現などを素性として人物関係の有無を判定する分類器を学習し, 会話文から友好・敵対関係及び上下関係にある人物を抽出する手法を提案している. Srivastava ら[4]は, テキストの文脈の意味を利用寸るために感情分析を使用し，相互作用に極性を関連付けられることを示した。そして，Chu ら[5] は，BERT を活用したニューラル学習とテキストパッセージの要約を組み合わせた手法が関係抽出に有効だと示した. Shahsavari ら[6]は，読者レビューを使用することにより，物語の枠組みの生成が可能であることを示している。

## 2. 1 人物情報の抽出と体系化について

馬場らの研究[7]では, 英米文学の推理小説の物語テキストから形態素解析結果に基づいて人名を抽出

し, 体系化では場面における共起頻度を用いて特定二者間の関連度を計算している。その結果, 人物相関図を作成できることが明らかにされている，図 1 は, 馬場らが考案した手法の概要を示す. 入力は小説テキストを使用し, 出力は人物相関図となっている. 長方形は処理を表し, 円柱は使用する規則や辞書などの資源を示している. また, 縣らの研究[8]では，あらかじめ生成した死亡表現リストに基づいた存在状態の判定が人物の情報を抽出に有効であることを示した。

図 1 抽出と体系化の概要 [7]

Fig. 1 Extraction and Systematization Overview

## 2. 2 事前トレーニング済みの言語モデル

## の改善

Tianyu らの研究[9]では, 少数の用例を用いて言語モデルを微調整するための, 効果的なファインチュ ーニングする手法が提案された. 本研究では，小説テキストに関係性をマスクにしたテンプレートを挿入し，関係性を出力している。

## 3 システム内容

従来の研究では，登場人物同士の関係性を明らかにする手法は見当たらない. そのため, 本研究では,代名詞を登場人物の名前に置き換え，関係性を明らかにする。まず，青空文庫に収録されている書籍から登場人物の名前の抽出を行う．各処理を文単位で行うため，テキストを一文ずつに分割する。次に，形態素解析結果に基づいて人名を抽出し，登場人物リストを作成する。その後, 代名詞を登場人物リストに基づいて，変換する，人名同士の関連度は，文単位の名詞リストを作成し, 共起単語のペアと出現頻度からなる辞書オブジェクトを参照する. 最後に， GPT-2 [10]を使用し，関係性を出力する。

## 3. 1 人名抽出

本研究では，まず馬場らや西原ら[11]の手法を参考に,MeCab[12]を使用し形態素解析を行う. そして，形態素解析の結果, 品詞が「'固有名詞', '人名’」 と解析された形態素を人名として抽出し，登場人物リストを作成する。その際に，文章中に連続して，品詞が「' 固有名詞'，'人名’」と解析された形態素がある場合，その単語は苗字と名前の可能性が高いため，その二つを合わせた単語を名前として扱う。また，人名として登録されていない登場人物の名前を抽出できるように品詞が，「' 助詞’」と解析された形態素の中で「' 接続助詞’」ではないもののひとつ前の単語も抽出する.

## 3. 2 代名詞の変換

MeCab を使用し形態素解析を行い，品詞が「'代名詞' , ’一般'」の単語を” [MASK]”というト一クンに変える。その後，その” [MASK]”に登場人物リストの単語を順に入れていく.そして, GPT-2を使用し，登場人物リストの単語ごとの Perplexity スコアを計算し, Perplexity スコアの最も低い単語を文章に挿入する。

## 3. 2. 1 Perplexity スコア

Perplexity は指定されたトークンの並びが発生する確率を変換したものである。本研究では， Perplexity スコアが低いほど，自然な文とした。 Perplexity を計算する式(1)に示す. n はデータセット中の $\mathrm{n}$ 番目の単語を表す. $t_{n, k}$ は $\mathrm{n}$ 番目の単語の正解ラベル, $P_{\text {model }}\left(y_{n, k}\right)$ は $\mathrm{n}$ 番目の単語に $\mathrm{k}$ 予想する確率を表す。

$
p p l=\exp \left(-\frac{1}{N} \Sigma_{n} \Sigma_{k} t_{n, k} \log p_{\text {model }}\left(y_{n, k}\right)\right)
$

## 3. 3 関係性出力

Tianyu らの研究を参考に，小説テキストを 600 文字ごとに区切り，関係性を” [MASK]" としたテンプレートを文末に挿入する. その後, ” [MASK]" に関係性を表す単語を入れる。本研究で，関係性を表す単語として扱う単語は，表 1 に表す。そして，GPT2 を使用し, 各単語の Perplexity スコアを計算し，その中で最も低い単語を文章に挿入する。表 2 に本研
究で使用したテンプレートを示す.

表 1 使用した人物同士の関係性を表す名詞

Table 1 Nouns used to describe relationships between

表 2 使用したテンプレート

Table 2 Templates used

## 3. 4 関係図の作成

本研究では，関係図を作成する際に，ノードを人物名とし，人物関係をエッジとして，人物関係図を表現する。また, 関連度の高さが上位 3 位までのエッジは太く表現される。グラフ作成には， networdx[13]を使用する.

## 3. 5 評価

本実験では，それぞれの関係性の出力結果をもとに, 正解率を算出し, 各物語と各関係性での精度を確認した。本研究では, 正解として扱う関係性は, 20 代前半の男女 3 人が小説を読んで選択したものとする.

人物関係性クラスを $L_{1}$ から $L_{n}$ までとし, クラス $L_{i}$ と予想されたクラス $L_{j}$ の件数を $C_{i j}$ をすると, 正解率 A は以下の式(2)で表される.

$
A=\frac{\sum_{i=1}^{N} C_{i i}}{\sum_{i=1}^{N} \sum_{j=1}^{N} C_{i j}}
$

## 4 実験

本研究では, 青空文庫に収録されている作品の中で芥川龍之介の「あばばばば」，「秋」，「羅生

門」,「藪の中」,「鼻」, 太宰治の「律子と貞子」, 江戸川乱歩の「日記帳」を使用した. 以下の 2 つの実験を行った.

## 4. 1 実験 1

GPT-2 での代名詞の変換を行わずに人物関係図を作成した.

## 4. 2 実験 2

GPT-2 での代名詞の変換を行い，人物関係図を作成した.

## 5 実験結果

## 5. 1 実験 1 結果

GPT-2 を使用し関係性を出力した結果を示す. 図 2 に, 実験 1 で物語テキストが入力された際に, 出力された関係図の例と出力された人物関係図の正解の例を示す. 表 3 は, 物語ごとの正解率を算出し表にまとめたものである.

(a) 予測結果 (出力)

(b) 正解とする結果図 2 実験 1 で出力された「あばばばば」の人間関係図（a）と正解とする関係図 (b)

Fig. 2 Human relationship diagram of "Ababababa" in the experiment 1, (a) Predicted (b) Ground truth

表 3 実験 1 の物語ごとの人間関係の正解率

Table 3 Accuracy of Human relationship extraction for different stories in experiment 1

図 2 より，「尼」という物語の登場人物ではない単語が名前として登場人物リストに入っていた。ま

た, 図2（b）より, 正しい出力結果である「同一人物」ではなく，「親子」と出力されている.このような出力になってしまう原因のひとつとして, 前後の文章で親子に関する会話や描写がされているためだと考えられる。また，表 3 より，「あばばばば」より「秋」の方が正答率が高いことが分かる.理由としては,「秋」で使われる文章が GPT-2 が学習対象としている現代仮名遣いに近いものであるからだと考えられる。

## 5. 2 実験 2 結果

GPT-2 を使用し関係性を出力した結果を示す. 図 3 に，実験 2 で物語テキストが入力された際に, 出力された関係図と出力された人物関係図の正解の例を示す. 表 4 は，物語ごとの正解率を算出し表にまとめたものである.

(a) 予測結果 (出力)

(b) 正解とする結果図 3 実験 2 で出力された「あばばばば」の人間関

係図（a）と正解とする関係図 (b)

Fig. 3 Human relationship diagram of "Ababababa" in the experiment 2, (a) Predicted (b) Ground truth

表 4 実験 2 の物語ごとの人間関係の正解率

Table 4 Accuracy of Human relationship extraction for different stories in experiment 2

図 3 より，登場人物ではない単語が登場人物リストに入っていることが分かる．表 4 より，実験 1 と比較して実験 2 の正解率がどの物語でも高くなって
いることが分かる.

## 6 考察

名詞の変換を行った後の文章の方が，登場人物同士の関係性をより正しく出力できていることが分かった．しかし，実験 2 での正解率を見ても，80.0\%が最大となっている. 正解率を下げている原因のひとつに，登場人物の名前ではない単語が人物関係図に出力されていることが考えられる．関係性を表す単語の候補として与えている「無関係」は1回も出力されていない.このことから, 本研究で使用した人物関係を表す単語の中で，広義的な単語と狭義的な単語があり，それが原因だと考えられる。また，人物関係図を作成する際に使用する登場人物の名前リストの中に，物語テキストで使用された地域や土地の名称や，本の著者など，登場人物ではない名詞も入っている。このことから，登場人物の名前をリス卜とする際に，人の氏名にも土地の名称にも使われるような名詞は，前後の文脈を考慮する必要があると考えられる。物語ではそれまでに登場していない人物が代名詞を使用し，登場することがある．現在の手法では，そのような場合に間違った登場人物の名前を入れてしまう。また，そのような場合に対応するためには，Perplexity スコアを比較した際に，任意の閾値以上の場合に変換を行わないというシステムにする必要がある。 その閾值の設定を正確に行わなくては，間違った代名詞の変換が行われてしまうため，今後適切な閾値を分析する必要もある。

## 7 むすび

本研究では，まず，物語テキストから人名を抽出して登場人物リストを作成した。その後，代名詞を GPT-2を使用し, Perplexity スコアの最も低い登場人物リスト内の単語に入れ替え, 関係性の出力し関係図を作成した。性能評価の結果，代名詞の変換を行った方が，高い精度で関係図を作成することができた. 今後の課題としては，登場人物同士からみた関係性を出力するための手法を考える必要がある.

## 参考文献

[1] 小林聡, “場・時・人に着目した物語のシーン分割手法”, 情報処理学会自然言語処理研究会, pp. 25-30, 2007.

[2] 米田崇明, 篠崎隆宏, 堀内靖雄, 黒岩眞吾, “述語情報を利用した小説の登場人物の抽出”, 語処理学会第 18 回年次大会発表論文集, Vol.18, pp.855858, 2012.

[3] 神代大輔, 高村大也, 奥村学, 物語テキストにおけるキャラクタ関係図自動構築, 言語処理学会第 14 回年次大会発表論文集, Vol.14, pp.380-383, 2008. [4] Shashank Srivastava,Snigdha Chaturvedi, Tom Mitchell, Inferring interpersonal relations in narrative summaries, In 30th AAAI Conference on Artificial Intelligence, 2016

[5] Cuong Xuan Chu, Simon Razniewski, Gerhard Weikum, "KnowFi, Knowledge Extraction from Long Fictional Texts” , AKBC, 2021

[6] Shadi Shahsavari, Ehsan Ebrahimzadeh, Behnam Shahbazi, Misagh Falahi, Pavan Holur, Roja Bandari, Timothy R, Tangherlini, Vwani P, Roychowdhury,

"An Autoated Pipeline for Character and Relationship Extractionfrom Readers Literary Book Reviews on Goodreads.Com”, WebSci , 2020.

[7] 馬場こづえ,藤井敦, “小説テキストを対象とした人物情報の抽出と体系化, ” 言語処理学会年次発表論文集, 13th, pp574-577, 2007.

[8] 縣啓示, 伊藤雄一, 高島和毅, 北村喜文, 岸野文郎，“物語テキストから進行状況に応じて登場人物の存在状態と関係を推定する手法”，2010.

[9] Tianyu Gao, Adam Fisch, Danqi Chen, "Making Pre-trainbed Language Models Better Few-shot Learners”, Association for Computational Linguistics, 2021.

[10] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, " Language Models are Unsupervised Multitask Learners” , 2019.照:2024-1-9).
[11] 西原弘真，白井清昭，“物語テキストを対象とした登場人物の関係抽出”, 言語処理学会第 21 回年次大会, 2015.

[12] 工藤拓, “MeCab” http://mecab.

sourceforge.net/(参照:2024-1-9).

[13] Network,

http://networkx.lanl.gov/contents.html (参照:2024-1-

$9)$.


# 深層学習モデルにおける言語特徵分布に関する研究

平野颯 上垣外英剛 渡辺太郎
奈良先端科学技術大学院大学
\{hirano. hayate.hc2, kamigaito.h, taro\}@is.naist.jp

## 概要

Transformer ベースの言語モデルは、自然言語処理の幅広いタスクで活用されるようになった。モデルが行った判断の解釈のため、複数の分析方法が提案されてきた。以前の研究により、複数言語のコーパスで学習した言語モデルにおいて、言語の系統的な分布がモデル内部で学習されることが知られているが、事前学習の目的関数にそのような制約は含まれていないため特筆すべきである。本研究では、そのような分布が得られることが、言語特徴を学習できているためであると結論づけられるかどうかを、モデル表現の分布と比較することで分析する。

## 1 はじめに

Transformer [1] は、機械翻訳を目的に開発された Encoder-Decoder モデルだが、その応用範囲は広がりつづけている。これは、学習時に入力系列を並列に学習でき、また以前の手法と比較して高いタスク解決能力をもつためである。入力系列を並列に学習できる特性は、より多くのデータをモデルに学習させることを可能にした。

機械翻訳では Transformer の登場以前より、複数言語の翻訳を単一のモデルで学習する方法が成功を収めていた [2] が、Transformer 登場以後は、さまざまなタスクを複数の言語で解く試みがより活発に行われるようになった。そのような複数言語で学習されたモデルの利点のひとつは、リソースが比較的取得しづらい言語のデータで、単一の言語でのみ学習されたモデルよりもよい性能を発揮することである。これは、複数言語で学習されたモデルは、リソースの多い言語の学習で得た知識をリソースの少ない言語に対して用いることができるためと転移学習の文脈から説明されてきた。mBERT [3] は、多言語で学習された事前学習済み言語モデルだが、言語を明示するラベルは与えられておらず、機械翻訳を解くときのような言語どうしの変換も学習しない。
このような場合でも、タスクを解く際に言語間での転移の効果が見られることは特筆すべきである。この能力について、入力する言語の特性の影響としては言語同士の近さと言語間の語彙の重複に焦点が当てられてきた。語彙の重複度が高いことが、モデルの言語間転移能力と相関するとした結果 [4] が報告されている。しかしながら、表記体系が異なる言語間での知識の転移 [5] も報告されており、語彙の重複のみから議論することはできない。

複数言語におけるマルチタスク学習は、語彙をはじめとした表面的な違いがあるにも拘らず、言語どうしには学習に利用できる共通した性質があることを仮定している。そのような言語がもつ普遍的性質の探求は言語学で進められており、複数の言語で定義可能な言語特徴が、人手により経験的に整理されてきた [6]。複数の言語を同時に学習した深層学習モデルにおいて、データから学習された言語共通の知識は、前述の言語同士の近さや語彙の重複の他にもこの言語特徴からも分析することが可能であると考えられる。

本研究は、複数の言語で学習された言語モデルがどのような言語特徴を獲得しているかを調査する。具体的にはまず、事前学習済みマスク言語モデルである mBERT [3] および、機械翻訳を学習した条件付き言語モデル m2m100 [7] から文表現を獲得する。獲得した文表現から、それぞれの言語特徴に対応する言語特徴表現を導出し、分析手法 SVCCA [8] を用いて言語特徴間およびモデル間の分析を行った。また、導出した言語特徴表現が空間上でどのように配置されているかを低次元空間上に射影することで可視化し、言語特徴ごとにどのような違いがあるかを確認した。実験結果は、mBERT と $\mathrm{m} 2 \mathrm{~m} 100$ ともに語順を示す言語特徴については文表現の空間上での配置と関連があり、先行研究の結果を支持した。一方で、動詞範疇などそれ以外の性質についての言語特徴に対しても文表現との関連があることがわかった。

## 2 言語特徵

本研究の分析に用いる言語特徴は、言語横断的なデータベース WALS [9] から獲得する。WALS は、各言語の文法記述など世界中の言語に対するデータをもとに、言語および言語特徴の地理的分布をまとめたものである。言語学の一分野である言語類型論は、このような記述された言語のデータから言語を分類することで、言語の多様性および共有する性質を研究する。たとえば、以下の 2 文のように

$
\underbrace{\text { 桃太郎は }}_{\text {主語 }} \underbrace{\text { 鬼を }}_{\text {的語 }} \underbrace{\text { 退治しました。 }}_{\text {述語 }}
$

$\underbrace{\text { Momotaro }}_{\text {主語 }} \underbrace{\text { beats }}_{\text {述語 }} \underbrace{\text { the demons }}_{\text {目的語 }}$.

日本語と英語では語順、ここでは主語・述語・目的語が並べられる順序が異なることがわかる。言語類型論では、通言語的に比較できるものを言語特徴として扱い、WALS には 144 種類の言語特徴が収録されている。各言語特徴には、それが取りうる実現値の一覧とそれぞれの言語がどの値を取るかが設定されており、主語・述語・目的語の順序であれば 7 種類 ${ }^{1)}$ の値をもち、日本語は SOV 、英語は SVO という実現値が設定されている。

## 3 言語特徵単位での表現分析

## 3.1 言語モデルからの文表現の獲得

言語モデルから特定の入力文表現 $s$ を獲得する方法を説明する。 $n$ 単語からなる文 $\left.\{x_{1}, x_{2}, \ldots, x_{n}\right.\}$ が与えられたとき、これをモデルに入力して各単語位置に対する層 $L$ の中間出力 $\left.\{\boldsymbol{h}_{1}^{L}, \boldsymbol{h}_{2}^{L}, \ldots, \boldsymbol{h}_{n}^{L}\right.\}$ を得る。このとき、層 $L$ における入力文表現 $s^{L}$ を位置 $i$ に対するトークンの分散表現 $\boldsymbol{h}_{i}$ を系列内で平均して計算する。ここで、下流タスクに用いるために挿入されている記号位置に対応する中間出力は平均の計算に含めない。分析に用いるモデルにおいては、 mBERT における [CLS] および [SEP] トークン位置、 および $\mathrm{m} 2 \mathrm{~m} 100$ における言語タグ < xx > 位置の出力を無視する。

1）主語・述語・目的語の並び順 6 種類と、基本となる語順が定まらないことを意味する”No dominant Order”。後者は主節では主語-述語-目的語の順だが、従属節では主語-目的語-述語を原則とするドイツ語のような、基本の語順が明確でない場合があるために用意されている。

## 3.2 言語特徴分析のための表現獲得

いま分析の対象とする言語特徴 $F$ が $n$ 種類の実現値 $\left.\{F_{1}, F_{2}, \ldots, F_{n}\right.\}$ をもつとする。ある言語 $L$ に対する $m$ 文の組 $\left.\{\boldsymbol{x}_{1}^{L}, \boldsymbol{x}_{2}^{L}, \ldots, \boldsymbol{x}_{m}^{L}\right.\}$ に対して、文表現の組 $\left.\{\boldsymbol{s}_{1}^{L}, \boldsymbol{s}_{2}^{L}, \ldots, \boldsymbol{s}_{m}^{L}\right.\}$ を得る。分析の対象とする言語のうち、同じ言語特徴 $F$ の実現値 $F_{r}$ をもつ言語内で同一の意味をもつ文表現を平均する。これを実現値 $F_{r}$ における文 $s_{i}$ の言語特徵表現 $f_{s_{i}}^{F r}$ とする。

$
f_{s_{i}}^{F_{r}}=\operatorname{mean}\left(\left.\{s_{i}^{l}\right.\}_{l \in L_{F_{r}}}\right)
$

言語特徴は品詞のような他の言語情報と異なり、文ごとではなく言語ごとに定義される。そのため、分析の対象とする $m$ 文すべての $f_{s_{i}}^{F_{r}}$ の組 $f^{F_{r}}=\left.\{f_{s_{1}}^{F_{r}}, f_{s_{2}}^{F_{r}}, \ldots, f_{s_{m}}^{F_{r}}\right.\}$ が分析の対象となる言語特徵表現である。

## 3.3 SVCCA による中間表現の比較

本研究では、モデル間の表現分析に SVCCA [8]を用いる。これは、深層学習モデルで扱われるべクトル表現どうしの比較を高速に、またアフィン変換に不変な形で行うことのできる手法として提案された。具体的には、 $n$ 個の入力データに対して、対象とする深層学習モデルのある中間層が出力する中間出力の組を $l \in \mathbb{R}^{n \times d}$ とする。比較したい 2 つの層について計算した中間出力を $l_{1} \in \mathbb{R}^{n \times d_{1}}, l_{2} \in \mathbb{R}^{n \times d_{2}}$, とする。ここで、対象とする層は異なるモデルに属していてもよい。 $l_{1}$ および $l_{2}$ を力力に受け取り、 SVCCA は以下の手続きを行う。
1. $l_{1}$ おび $l_{2}$ に対して特異值分解を行い $l_{1}^{\prime} \subset l_{1}, l_{2}^{\prime} \subset l_{2}$ を得る。本研究では、元のデータの分散が $99 \%$ 保持されるように軸の数を決定する。
2. $l_{1}^{\prime} およひ ゙ ~ l_{2}^{\prime}$ に対して正準相関分析 [10]を行う。 それぞれに線形変換を施し $\tilde{l}_{1}^{\prime}=W_{1} l_{1}^{\prime}, \tilde{l}_{2}^{\prime}=W_{2} l_{2}^{\prime}$ を得る。この線形変換後の空間を張る各データの相関係数が最大になるようにする。

本研究では Raghu ら [8] にならい、相関係数の平均で分析を行う。正準相関分析は同じデータに対して複数種類の観測結果が得られる際に、共通して含まれる情報を抽出する分析手法である。そのため本研究では、Kudugunta ら [11] と同様に複数言語で同一の意味をもつ文を収録する多言語平行コーパスを利用する。
表 1 言語特徴中の任意の 2 つの実現値間で平均した SVCCA での射影先におけるデータの相関係数。各言語特徴の分類に対応する言語特徴のリストは付録 A に示した。

## 4 実験

## 4.1 実験設定

本実験では、Transformers [12] 上に実装された $\mathrm{mBERT}^{2)}$ および、 $\mathrm{m} 2 \mathrm{~m} 100^{3)}$ を用いる。 $\mathrm{m} 2 \mathrm{~m} 100$ はパラメータ数の異なるモデルが提供されており、実験では $418 \mathrm{M}$ パラメータ $\left(\mathrm{m} 2 \mathrm{~m} 100 \_418 \mathrm{M}\right)$ と $1.2 \mathrm{~B}$ パラメータのモデル (m2m100_1.2B)を用いる。各モデルからの表現の獲得のために、Wikipedia から抽出された文を人手で 101 言語に翻訳し構築された FLORES-101 [13] コーパスを利用する。これは、本実験で利用するモデル mBERT および $\mathrm{m} 2 \mathrm{~m} 100$ の学習に用いられておらず、また対象とする任意の 2 つの言語に対して意味的に等価な文を用意することができるためである。本研究の目的は、言語がもつ機能である言語特徵に関する分析を行うことであり、言語間で意味が等価である平行コーパスを用いる必要がある。モデルおよびコーパスに共通の対象言語は 64 言語であり、評価用サブセット devtest から言語ごとに 1012 文を取得する。モデル表現は、 $\mathrm{m} 2 \mathrm{~m} 100$ はエンコーダから獲得する。WALS に収録されている 144 の言語特徴のうち、対象の 64 言語のうち 1 つの言語のみが属する実現値をもつものは分析対象から除外し、75 の言語特徴を分析に用いる。

## 4.2 中間表現に反映される言語特徴の違い

分析の対象とした 75 種類の言語特徴を、音韻や形態をはじめとした、WALS 上で示されているグループに分類する。各グループはそれぞれが語や文のもつ機能に対応している。この分類のもとで、各言語特徴の任意の 2 つの異なる実現値どうしの関連性をSVCCA により分析することで、同種の言語特徴の共通性をモデルが捉えられているかを判断することができる。特異値分解の結果、 $\mathrm{mBERT}$ ・m2m100_418M・m2m100_1.2B それぞれの

モデルから獲得した言語特徴表現は、平均で 169 次元・218 次元・114 次元に次元圧縮された。表 1 に各モデルにおける分析結果を示す。最も相関の低い m2m100_1.2B の複文の言語特徴においても 71.7 と、いずれも高い相関係数を示している。これは平行コーパスである FLORES-101 から計算した文表現をもとにしていることから、文表現に捉えられている文どうしの意味の同一性も影響していると考えられる。言語特徵ごとに見ると、名詞・動詞範疇、語順が他のグループの言語特徴と比べ高い数値を獲得している。とくに実現値どうしの相関が低いものは複文に関する言語特徴であり、構文解析などの言語処理タスクでもこれまで解決が難しかった文の性質と対応する。またモデルの違いについては、 $\mathrm{m} 2 \mathrm{~m} 100$ の間での比較を行うとパラメータ数の大きい $2 \mathrm{~m}$ _1.2B が相関係数が低くなっている。この点は、モデルのサイズが及ぼす影響についてのさらなる分析が必要である。また、特定の語彙の情報はすべての文に含まれるわけではなく弱い情報であるのに対して、語彙の言語特徴は高い相関を示した。これについては、低次元空間での可視化を用いて考察する。

## 4.3 表現空間での言語特徵の分布

図 1 および図 2 は、mBERT 言語特徵表現を t-SNE [14] で 2 次元空間上に射影し、各言語特徴の実現値ごとに色分けをしたものである。いずれの図中においても、各点はある文・実現値における言語特徴表現である。モデルがもつ層の数は異なるものの、 $2 \mathrm{~m} 100$ においても可視化結果は同様の傾向を示し結論は変わらないため、実験結果は mBERT によるもののみを示す。図 1 は言語特徴 81A、主語・述語・目的語の順序について、図 2 は言語特徴 138A、茶を意味する単語の歴史的な分類についての可視化結果である。いずれも下位の層からの出力結果から計算した表現は、言語特徴の実現値が異なる場合同じ文を表していても空間上では異なった位置に配置されている。しかし、より上位の層からの

図 $181 \mathrm{~A}$ 特徴の特徴空間での分布

図 $2138 \mathrm{~A}$ 特徴の特徴空間での分布

中間表現から獲得した言語特徴表現では、言語特徴 138Aの2つの異なる実現値に対する表現が分離されていない。138A のような語彙の言語特徴は、実現値に関係なく空間上で非常に近い位置に配置されているため、SVCCA によるデータの相関の計算結果で高い数値を獲得したと考えられる。一方で言語特徴 $81 \mathrm{~A}$ は、上位の層においても異なる実現値の言語特徴表現が分離されつつ、表 1 に示すように同じ言語特徵どうしの関連性も捉えられている。

## 5 関連研究

Probing $[15,16]$ は、品詞タグなどの特定の言語処理タスクのラベル分類を行うための分類器を、分析の対象とする学習済みの深層学習モデルの内部表現から構成し、分類がうまくできるほど分析対象の言語知識をモデルが獲得しているとする分析方法である。ここで、学習する分類器に何を選択すべきかは自明ではない [17]。また、言語情報へのクラスタ割り当てを行い分類する、分類器を新たに学習しない分析方法 [18] が提案されている。本研究は、言語固有の特性を分析に用いる点で、Probing と類似している。しかしながら、本研究で対象とする言語特徴は言語ごとに定義され、Probing における分析に用いられるものとは異なる。

複数言語で学習された機械翻訳モデルに対して、平行コーパスを用いることでSVCCA を異なる言語の文の組に適応可能にした研究 [11] は、異なる言語の Encoder 表現は言語の類似性を捉えることを示した。本研究の分析の用いる言語特徴は、言語自体の機能に基づく分析が可能であり、その点で同じく分析に言語特徴を用いた [19] と同様の分析を行った。 しかしながら [19] は、言語特徴に基づく Probing 分類器を学習し分析を行っており、分類器の選択が適当かどうかの判断が困難である [17] 課題が残る点で本研究の分析手法とは異なる。

## 6 おわりに

本研究は、言語横断的に学習された Transformer ベースの言語モデルが、言語の系統的な分布を獲得することに関連して、同様に言語がもつ機能的な特徴についても獲得できているかを分析した。言語特徴に注目することで、言語の系統関係に基づいた類似性を分析に用いる場合では行えない、言語がもつ機能に基づく分析を可能にした。本研究の分析方法および結果は、事前学習済み言語モデルがデータのみから、明示的な制約なしでどれほど言語がもつ要素を学習できるかを考えることに役に立つ。これにより今後のモデル開発・応用タスクへの精度向上に必要な要素の特定に活用できる。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[2] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Shijie Wu and Mark Dredze. Beto, bentz, becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 833-844, 2019.

[5] Wietse de Vries, Martijn Wieling, and Malvina Nissim. Make the best of cross-lingual transfer: Evidence from POS tagging with over 100 languages. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7676-7685, 2022.

[6] William Croft. Typology and universals. Cambridge University Press, 2002.

[7] Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Michael Auli, and Armand Joulin. Beyond english-centric multilingual machine translation. Journal of Machine Learning Research, Vol. 22, No. 107, pp. 1-48, 2021.

[8] Maithra Raghu, Justin Gilmer, Jason Yosinski, and Jascha Sohl-Dickstein. Svcca: Singular vector canonical correlation analysis for deep learning dynamics and interpretability. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[9] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online (v2020.3). Zenodo, 2013.

[10] David R. Hardoon, Sandor Szedmak, and John ShaweTaylor. Canonical correlation analysis: An overview with application to learning methods. Neural Computation, Vol. 16, No. 12, pp. 2639-2664, 2004.

[11] Sneha Kudugunta, Ankur Bapna, Isaac Caswell, and Orhan Firat. Investigating multilingual NMT representations at scale. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 15651575,2019 .

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, 2020.

[13] Naman Goyal, Cynthia Gao, Vishrav Chaudhary, PengJen Chen, Guillaume Wenzek, Da Ju, Sanjana Krishnan, Marc'Aurelio Ranzato, Francisco Guzmán, and Angela Fan. The Flores-101 evaluation benchmark for lowresource and multilingual machine translation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 522-538, 2022.

[14] Geoffrey E Hinton and Sam Roweis. Stochastic neighbor embedding. In S. Becker, S. Thrun, and K. Obermayer, editors, Advances in Neural Information Processing Systems, Vol. 15, 2002.

[15] Alexis Conneau, German Kruszewski, Guillaume Lample, Loïc Barrault, and Marco Baroni. What you can cram into a single $\$ \& ! \# *$ vector: Probing sentence embeddings for linguistic properties. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2126-2136, 2018.

[16] Ian Tenney, Patrick Xia, Berlin Chen, Alex Wang, Adam Poliak, R Thomas McCoy, Najoung Kim, Benjamin Van Durme, Sam Bowman, Dipanjan Das, and Ellie Pavlick. What do you learn from context? probing for sentence structure in contextualized word representations. In International Conference on Learning Representations, 2019.

[17] John Hewitt and Percy Liang. Designing and interpreting probes with control tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2733-2743, 2019.

[18] Yichu Zhou and Vivek Srikumar. DirectProbe: Studying representations without classifiers. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5070-5083, 2021.

[19] Rochelle Choenni and Ekaterina Shutova. Investigating language relationships in multilingual sentence encoders through the lens of linguistic typology. Computational Linguistics, Vol. 48, No. 3, pp. 635-672, 2022.

## A 分析に用いた WALS 言語特徵

表 2 に分析に用いた WALS 言語特徴 75 種類の番号と、各言語特徴がどのような言語情報のグループに属するかの情報を示す。


# 時間関係に基づくテ形節の用法分類

野口咲帆 戸次大介
お茶の水女子大学
\{noguchi.sakiho, bekki\}@is.ocha.ac.jp

## 概要

テ形節は日本語において頻出する形式である.テ形節の用法を判定できれば，テ形節と後続する節の意味関係を考慮した意味解析が可能となるが，その基礎となるのはテ形節の用法分類と，それに基づくテキストアノテーションである. 日本語学においてはこれまで多様なテ形節の用法分類がなされてきた. ところが先行研究の用法分類をもとにアノテー ションを試みると，一つの表現に複数の用法が当てはまってしまう，といった問題がある。 そこで本研究ではアノテーションを念頭に置いたテ形節の用法分類を提案する. 本研究の用法分類はテ形節と主節の時間関係を軸に行い，その中で継続動詞／瞬間動詞のテ形で形成されたテ形節が「動作の継続「結果残存」を表す場合に着目した分類を設けた。

## 1 はじめに

テ形節には複数の用法が存在することが知られている.

(1) コップが机から落ちて割れた

(2) このイチゴは赤くて大きい

文(1)では「机から落ちて」, 文 (2)では「このイチゴは赤くて」の部分がテ形節である. テ形節と主節の意味関係を比較すると，文 (1) はコップが落ちたことと割れたことの間に順序関係が成り立ち，対して文 (2) はイチゴが赤いことと大きいことに並列関係が成り立っている. このようなテ形節と主節の意味関係を考慮すれば，より適切な意味解析を行うことができる。その意味において，テ形節の用法分類は自然言語処理分野の重要なタスクの一つと言える.本研究の背景にある目標は，このような意味関係を判別した上で意味合成を行い，テ形節を含む文のより適切な意味表示を得ることである. その部分タスクとしてテ形節の自動用法判定器を作成するために，本研究では用法分類およびアノテーションガイドライン作成に取り組んでいる。

## 2 先行研究

## 2.1 森田 (1975) [1]

日本語学におけるテ形節の用法分類の例として,森田 (1975) [1]を挙げる。森田 (1975) [1] では，テ形節の用法は前件と後件の間の意味関係によって定まるとしている。各用法の説明として, その特徴と例文，加えてその用法のテ形節と同じ意味になる表現が述べられている。森田 (1975) [1] で提案された 8 分類を表 1に示す.

用法アノテーションにおける課題点テ形節についての先行研究は必ずしも実テキストのアノテー ションを目的としたものではないため，用法分類の判断基準が明確に示されていないことがある. 先行研究をもとに用法を判断する際の課題点を 2 点述べる.

1 点目は，非専門家にとって用法を判断することが難しい場合があることである。森田 (1975) [1] では，〈同時進行〉（以降，用法名を〈〉内に記す）のテ形節を含む文の前件と後件の間には「〜ナガラ」 の関係が成り立つ（文 (3a)）としている.

（3） a. 飛行機が煙を吐いて墜落した〈同時進行〉

b. 飛行機が煙を吐きながら墜落した

その上で，「〜ナガラ」は状態性を表す前件に接続しない点でテ形節と異なり，言い換えができない場合があると述べている，例として，文 (4a)を文
(4b) に言い換えると不自然になる.

(4) a. 立って話しましょう〈同時進行〉

b. 立ちながら話しましょう

したがって〈同時進行〉のテ形節であっても，「〜 ナガラ」へ置き換えられるかという基準で判断すると正しく〈同時進行〉に分類されない場合がある.

2 つ目は， 1 つのテ形節に複数の用法の特徴が当てはまる場合があることである。森田 (1975) [1] ではそれぞれ「〜テカラ」が〈順序〉，「〜ノデ」が〈原因・理由〉のテ形節と同じ意味の表現として挙げられている.「〜テカラ」「〜ノデ」への言い換えができるかどうかでテ形従属節を異なる用法へ分類しようと試みるとする．その場合，「雨が降って，水たまりができた」という文のテ形従属節はどちらの言い換えも可能であるため，用法は 1 つに特定できない.

用法分類とアノテーションガイドラインの作成にあたって，以上の問題点を解決する必要があると考えた.

## 2.2 野口ら (2023) [2]

野口ら (2023) [2] では，テ形節の用法分類と言語学的テストを用いたアノテーションガイドライン [3][4] を設計した. 用法は〈並列〉〈逆接〉〈仮定〉〈原因〉〈手段〉〈目的〉〈状態〉〈継起〉の 8 分類である. 言語学的テストとは，文に対して対象表現の置き換えや語順の入れ替えといった操作を行い文の容認性や適切性を判定するもので，アノテーション時の判断の摇れが軽減されることが期待される。野口ら (2023) [2] のアノテーションは, 用法ごとに設定された言語学的テストを指定の順番で試し, 言語学的テストを通った時点でその用法をアノテーションするという手順で行われる。 そのため必ず 1 つの用法がアノテーションされる。

言語学的テストの導入により, 非専門家にとって用法の判断が難しいという課題点は克服できたと考えられる。しかし 1 つのテ形節に複数の用法の特徴が当てはまるという課題点は十分に解消されたとは言えない。野口ら (2023) [2]では 1 のの用法だけがアノテーションされるものの，実際には複数の用法の特徴が当てはまることに変わりないからである. その原因として, 用法の判断軸が時間関係や因果関係などにまたがっており1つに定まっていないことが考えられる. この課題点の解決には野口ら (2023) [2] のようなアノテーション方法の工夫だけ
ではなく，用法の設計を見直すことが必要だと思われる。

## 2.3 金子 (2020) [5]

金子 (2020) [5] は日本語談話関係の分類体系と客観的な決定手順を定義している。談話関係には「命題間の時間的な関係」「明示的に因果を主張する関係」「論理的な関係」というカテゴリーが設けられており，カテゴリーごとに用意されたラベルが述部対に付与される。

金子 (2020) [5] の特徴の 1 つは，解釈が摇れる「意図に関する関係」は排除し，「明示的な情報により解釈が一意に定まる関係」のみに絞って談話関係を定義していることである。「意図に関する関係」の例として「毎日ブドウにありがとう，と言って，立派なブドウが育った」という文の節間に因果関係があるかの判断は人それぞれであることを述べている. さらにこのような判断の摇れは談話関係の分析を難しくすると指摘している。この指摘と野口ら (2023) [2] の課題点を受け, 本研究ではテ形節の時間関係を軸とした用法分類を行うこととした。

また，金子 (2020) [5] では談話関係アノテーションの前段階として述部に event，state，modality のいずれかを付与する方法が定義されている．動詞には event または state を付与するとし，その判定には金田一 (1950) [6] による動詞の分類に基づいた動詞の eventuality 判定テストを作成している。

## 2.4 金田一 (1950) [6]

金田一 (1950) [6] は日本語動詞をアスペクトに関する特徴から 4 分類している. 主文における接尾語「ている」との接続可能性，または「ている」形式をとる際の意味について以下の特徴が述べられた。

・状態動詞。「ている」を接続できない「ある」「いる」

・継続動詞．動作の継続を表す「読む」「歩く」

$\cdot$瞬間動詞 (変化動詞)．結果の残存を表す「死ぬ」「消える」

・第四種動詞．常に「ている」を接続して用いられる「そびえる」「ありふれる」

金子 (2020) [5] の動詞の eventuality 判定テストはこの特徴を用いて作成されており，継続動詞と瞬間動詞は event だと判定される.

ここで，テ形節の述部が継続動詞である文 (5)と瞬間動詞である文 (6) の意味を考える.
表 2 述部の分類とテ形節の用法分類の対応

(5) 歌を歌って帰る [1]

(6) 腕を組んで話す [7]

文 (5) は帰る間に歌を歌うという動作が継続しているという意味で，文 (6) は腕を組んだ状態で話すという意味である。 さらにそれぞれのテ形節の述部に 「ている」を接続した意味を考える。すると「歌を歌う」は「歌を歌っている」となり，歌を歌うという動作の継続を表す。また，「腕を組んでいる」は腕を組む動作の結果として腕を組んだ状態であることを表す.このことから, 文 (5)と文 (6) は前件がテ形節の述部に「ている」を接続した意味で捉えられていると考えられる. 本研究ではこの考察を取り入れた用法分類を行う。

## 3 本研究の用法分類の提案

本研究ではテ形節と主節の時間関係を軸として， テ形節の用法を〈動作の並列〉〈状態の並列〉〈前後〉〈背景〉〈同時〉の 5 つに分類する. 用法の詳細は後述する。

テ形節の用法分類のために，テ形節と主節の述部を分類し, 節間の時間関係を考察した. 述部の分類とテ形節の用法の対応を表 2に表す。

1 行目の event, state, 継続動詞+teiru，瞬間動詞+teiru はテ形節の述部の分類であり， 1 列目の event, state は主節の述部の分類である. 本章では述部の分類について説明した後，テ形節の用法の特徴を説明する。

## 3.1 述部の分類

event/state は述部の eventuality が event/state であることを表す. eventuality の判定方法は金子 (2020) [5] で定義された方法を用いる．ただし，金子 (2020) [5] においてはモダリティ表現に対して独立して modality というタグが付与されるが，現時点では，構造が [[テ形節主節] モダリティ] か [[テ形節 [主節モダリティ] かを判断する方法を提示できていないという問題が残っており，ここではモダリティの分析は今後の課題とする.

継続動詞+teiru，瞬間動詞+teiru は本研究で新しく設けた分類である．継続動詞+teiru と瞬間動詞+teiru をまとめて「動詞+teiru」と表記する．動詞+teiru はテ形節の述部が継続動詞や瞬間動詞である場合，かつ，「動作の継続」もしくは「結果残存」の意味で捉えられている場合に付与する。 テ形節の述部が継続動詞や瞬間動詞であっても，「ている」形式の意味で捉えられていなければ event に分類される。

テ形節の述部が継続動詞または瞬間動詞である場合の述部の分類の判断方法は 4章で議論する。

## 3.2 テ形節の用法

テ形節の用法の特徴を説明する．以降で，テ形節と主節が表す内容を単に前件・後件とする. 前件/後件の出来事時とは，述部の分類が event であるときはその event が生じてから終わるまでの時区間， state であるときはその stateが成立する時区間，継続動詞+teiru であるときは継続動詞が表す動作が継続している時区間、瞬間動詞+teiru であるときは瞬間動詞が表す動作が終わりその結果が残存している時区間を指すとする。

動作の並列与えられた時間幅において前件と後件が成り立つ. いわゆる Parallel な関係である. 前件と後件がどちらも成立することを表し，2つの事象の時間的配置については言及しない. テ形節の述部と主節の述部はどちらも event である.

（7）おじいさんは山へ芝刈りに行って，おばあさんは川へ洗濯に行った

状態の並列与えられた時点において前件と後件が成り立つ. テ形節の述部と主節の述部はどちらも state であるか，テ形節の述部が動詞+teiru で主節の述部が state である.

(8) リンゴがあって，ミカンがある

（9）交通は混乱して，人心は険悪である [8] （テ形節の述部が継続動詞+teiru）

前後前件の出来事時の開始時点が後件の出来事時の開始時点に先行する. テ形節の述部と主節の述部が event または state である. ただし前件と後件がどちらも stateである場合を除く。

（10）彼は立ち上がって外出のしたくを始めた [1]
背景前件の出来事時が後件の出来事時を包含する. テ形節の述部が state または瞬間動詞+teiru で，主節の述部が event である. テ形節の述部が瞬間動詞+teiru であるとき，瞬間動詞で表される動作が後件の動作より時間的に先に位置する。

(11) お金がなくて困った [9]

(12) 眼鏡をかけて本を読む

（テ形節の述部が瞬間動詞+teiru）

同時後件の出来事時が前件の出来事時を包含する. テ形節の述部が継続動詞+teiru で，主節の述部が event である.

（13）テープを聞いて練習します [1]

## 4 用法の判断

テ形節を3.2章で提案した用法に分類する方法について議論する. テ形節の述部が継続動詞または瞬間動詞でない場合は，金子 (2020) [5] で定義された eventuality 判定方法に従ってテ形節の述部と主節の述部に対して event/state の判定を行い，前件と後件の時間関係を判断すれば用法が一意に定まる見込みである.しかしテ形節の述部と主節の述部の組が以下の場合には，テ形節の述部が動詞+teiru，event のどちらであるか判断が必要になる.

1. (継続動詞，分類が event)

2. (瞬間動詞，分類が event)

3. (継続動詞，分類が state)

4. (瞬間動詞，分類が state)

現時点でケース 1〜4 のテ形節の述部の分類は,動詞+teiru であるという仮定の元で当てはまる用法が，文の意味と照らし合わせて適切であれば動詞+teiru であり，そうでなければ event であるとしている. 例としてケース 1 の場合，つまりテ形節の述部が継続動詞かつ主節の述部が event である以下の 2 文のテ形節の述部を分類する。

## ケース 1

(5) 歌を歌って帰る

（14）インスタント食品にお湯を注いで，2，3分待ちます [10] ${ }^{1)}$

文 (5) のテ形節の述部を継続動詞+teiru だと仮定する. すると文 (5) のテ形節が同時に分類されるはずである。文 (5) は帰る間に歌っているという同時進

1） BCCWJ サンプル ID:PB26_00004山田みどり『「この人から買いたい」と思わせるプロの接客！』行を表し，テ形節の用法が同時で適切であるため， テ形節の述部は継続動詞+teiru に分類される。一方で文 (14) のテ形節の述部を継続動詞+teiru だとすると，仮定の上で文 (14) のテ形節が同時に分類され， 2，3 分待つことの開始時点がお湯を注ぐ動作より先ということになる。文 (14) はお湯を注いでから 2 ， 3 分待つという意味であり矛盾が生じるため, テ形節の述部は event に分類される.

## ケース 2

ケース 1 の場合には，以上のように前件と後件の開始時点の前後を考えることで比較的容易にテ形節の述部を判定できると見られる。しかしその他のケース 2〜4については現段階で判定方法を検討中である.ケース 2 のときにテ形節の述部を判定する際の難しさを述べる.

難しさの原因は，テ形節の用法が〈背景〉と〈前後〉であるときに前件と後件の時間的配置は同じになることだと考えられる。なぜならテ形節の述部を event に分類することが適切である場合でも，テ形節の述部が継続動詞+teiru でテ形節の用法が〈背景〉 だという仮定を拒否しづらいからである．以下の文を例にする。

a. Aさんは今日図書館へ行って

b. 帰り道で友達に会った

節 (15a) の動作の結果維持は, 図書館に $\mathrm{A}$ さんが到着した状態の維持，つまり図書館にいることだと考えられる。節 (15b) によると A さんが友達に会ったのは図書館の外であるため，この文のテ形節の用法は〈背景〉ではないと判断でき，テ形節の述部は event に分類される。しかしながら，もし節 (15b) に 「帰り道で」という情報がなかったら以上のように述部の分類を判断できるだろうか. その場合はテ形節の動作自体と動作の結果維持のどちらに焦点が置かれているかで判断をする他なく，テ形節の用法や述部の分類を判断することは難しい。

## 5 まとめ

本研究では「述部の分類」と「テ形節と主節の時間関係の判断」を利用したテ形節の用法分類を提案した. テ形節の述部の分類として，非明示的に「ている」形式で意味を解釈することを表す「動詞+teiru」を新たに設けた。述部の分類の判定方法には定まっていない箇所があるため，今後は判定方法の定義を行いアノテーションを実施する予定である.

## 謝辞

本研究は，JST CREST JPMJCR20D2，および JSPS

科研費 JP23H03452 の助成を受けたものである.

## 参考文献

[1] 森田良行. 複文の文型練習一「たら」「て」を含む文型を中心に一. 講座日本語教育, No. 11, pp. 1-15, 1975.

[2] 野口咲帆, 田中リベカ, 戸次大介. テ形従属節の用法判定のための用法分類アノテーション.人工知能学会全国大会論文集第 37 回 (2023), pp. 2E6GS601-2E6GS601. 一般社団法人人工知能学会, 2023 .

[3] 田中リベカ, 小池恵里子, 戸次大介, 川添愛. 言語学的テストに基づく意味アノテーションのガイドライン設計一確実性判断に関わる表現を中心に. 言語処理学会第 18 回年次大会発表論文集, pp. 401-404, 2012.

[4] 川添愛, 田中リベカ, 戸次大介. Mcn コーパス：モダリティ関連表現の曖昧性解消のためのアノテーションと言語学的テストの利用. テキストアノテーションワークショップ・コンテスト, 国立情報学研究所, 2012.

[5] 金子貴美. 日本語談話関係認識のための理論とコー パス構築. PhD thesis, お茶の水女子大学, 2020.

[6] 金田一春彦. 國語動詞の一分煩. 言語研究, Vol. 1950, No. 15, pp. 48-63, 1950.

[7] 森田良行. 基礎日本語 2. 角川小辞典, 1980.

[8] 仁田義雄. シテ形接続をめぐって. 複文の研究, pp. 87-126, 1995.

[9] 益岡隆志, 田窪行則. 基礎日本語文法-改訂版, 1992.

[10] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Lang Resources \& Evaluation, Vol. 48, pp. 345-371, 2014.


# 依存型意味論における暗黙的な文脈拡張による 慣習的推意の分析

松岡 大樹 1 戸次大介 ${ }^{2}$ 谷中 瞳 1
1 東京大学
\{daiki.matsuoka, hyanaka\}@is.s.u-tokyo.ac.jp
2 お茶の水女子大学
bekki@is.ocha.ac.jp

## 概要

文や発話の争点とはならない補足情報のことを慣習的推意といい，これは聞き手が直接的に応答できない形で会話の文脈を更新するという特殊な性質を持つ. 本稿は慣習的推意に対して依存型意味論という枠組みに基づく分析を与える．具体的には，型検査の過程で型付け文脈を拡張するような型を提案し，これにより慣習的推意に関する意味現象に対して適切な予測ができることを示す.

## 1 はじめに

自然言語の文や発話は，複数の情報を異なる仕方で伝達することがあり，この違いは談話の進み方や推論の可否に影響することが知られている [1]. 例として，以下の発話 (1a) とそれに対する返答 (1b), (1c)を取り上げよう。なお (1a) 中の「3 年前に買った」は，指示対象が定まっている「このスマホ」について情報を補足する同格関係節 (appositive relative clause; ARC) である. ${ }^{1)}$

(1) a. A: 3 年前に買ったこのスマホがとうとう壊れてしまった。

b. B:いや，そんなはずはない. 充電が切れただけのように見えるよ.

c. B: \#いや，そんなはずはない。その機種が出たのは 2 年前だったと思うよ.

このとき，主節の内容（このスマホが壊れた）を否定する (1b) は応答として問題ない一方で，ARC の内容を否定する (1c) は不適格である. ${ }^{2)}$ この違いは，主節の内容は A の発話にとって中心的という意味で争点的 (at-issue) である一方で，ARC の内容はそうではないことに由来する。

1） ARC は非制限 (non-restrictive) 関係節とも呼ばれる.

2）本稿では例文の意味論的・語用論的な不適格性を\#で表す.
このように特定の語や構文を介して争点的内容とは別に補足される内容（ないしそれを導く推論） のことを，慣習的推意 (conventional implicature; $\mathbf{C l}$ ) という [2]. (1) が示す通り，CI は聞き手が正面から肯定・否定する対象にはならず，会話の文脈に直接追加される $[3,4]$. このような CI の性質は通常の古典論理のような形式体系で捉えることが難しく，また，特に ARC と主節の間の関係は複雑かつ多様である $[5,6,7,8,9]$. そのため, CI の談話・推論での振る舞いに統一的な分析を与えることは，自然言語の形式意味論において 1 つの課題とされてきた.

この問題に取り組むために，本稿は依存型意味論 (Dependent Type Semantics; DTS) [10,11] を拡張する提案を行う．DTSを用いる動機は，その高い表現力によって発話の適格性や照応的な意味を扱えるため，後述する CI に関する意味現象を分析する上で有望だと考えられる点にある。なお以下では，CIを引き起こす表現として英語の ARC に焦点を絞る.

## 2 同格関係節の性質

投射先述の通りARC の内容は非争点的であるため，ARC は主節からある程度独立して情報を伝達する。例えば，否定や条件文の前件といった，含意を打ち消す演算子は ARC には影響しない. 実際， (2a) と (2b) の両方から，ARC の内容 (Alex danced) が帰結する。この現象を投射 (projection) という。

(2) a. It is not true that Alex, who danced, met Kim.

b. If Alex, who danced, met Kim, she was happy.

節境界をまたぐ照応一方で，ARC は主節から完全に独立しているわけではない。その証拠として， 2 つの節の境界をまたいで照応 (anaphora) の関係が成り立つことが挙げられる [8]. 例えば (3a)では，主節の代名詞 her が ARC 中の a girl を先行詞にするという解釈が可能である。 (3b)より，ARC から主節へ

の向きでも同様の照応が可能であることが分かる.

(3) a. Alex, who met a $\operatorname{girl}_{1}$, praised her ${ }_{1}$.

b. A girl $1_{1}$ met Alex, who praised her ${ }_{1}$.

ただし，このような照応は完全には自由ではない. (4) が示すように, every girl のような非指示的 (non-referential) な量化詞は，ARC 中の代名詞の先行詞にならない [6].

(4) $\#\{$ Every/No $\}$ girl 1 met Alex, who praised her ${ }_{1}$.

## 3 枠組み: 依存型意味論

## 3.1 型理論による意味表示

DTS の理論的背景は，命題とその証明を型とその項に対応付けるカリー・ハワード同型対応である.例として, 連言 $A \wedge B$ は直積型 $A \times B$ に対応する. また, 述語を伴う命題 $P(x)$ は, 項に依存した型である依存型 (dependent type) [12] に対応する。例えば 1 項述語に相当する dance : $\mathrm{e} \rightarrow$ type を用いれば，型 dance(a) で命題 Alex danced を表すことができる. ${ }^{3)}$

自然言語を扱う上で重要となる型として，П型 $(x: A) \rightarrow B$ と $\Sigma$ 型 $(x: A) \times B$ がある. П 型は $B$ が $x$ に依存しうるような関数型であり，全称量化 $\forall x \in A . B$ に対応する. $\Sigma$ 型は同様に一般化された直積型であり，存在量化 $\exists x \in A . B$ に対応する.

最後に，型付け文脈 $\Gamma\left(\equiv x_{1}: A_{1}, \ldots, x_{n}: A_{n}\right)$ は,共通基盤 (common ground), すなわち会話の参加者が相互に受け入れた文脈情報の集まり [13] を表すものとして扱うことができる．例えば，型の well-formed 性に関する判断 $\Gamma \vdash A$ : type は，共通基盤 $\Gamma$ の下で発話 $A$ が適格であることに対応する.

## 3.2 未指定型

本稿が依拠する DTS の定式化 [11] は， $(x @ A) \times B$ で表記される未指定型 (underspecified type) を導入する.ここで $x @ A$ は，後から型 $A$ の項で置き換えられるプレースホルダーのような役割を果たす。 (5) が示すように，未指定型は照応的な表現の意味を表すために用いることができる. ${ }^{4)}$

(5) She danced. $\mapsto(x @ \mathrm{e}) \times \operatorname{dance}(x)$

未指定型を含む意味表示は中間的なものであり，最終的な意味表示を得るためには未指定型を除去す

4）代名詞に伴うジェンダーの情報は誌面の都合上割愛する.
る（ $x$ @ $A$ を具体的な項で置換する）必要がある. この処理は, 型検査 (type checking), すなわち型判断に対する導出木を構成する過程で行われる. 具体的には，未指定型の well-formed 性に関する型検査は以下のように行われる（形式的定義は付録を参照）.

(6) a. 推論規則

$
(@ F) \frac{\Gamma \vdash A: \text { type } \Gamma \vdash M: A \quad \Gamma \vdash B[x:=M]: \text { type }}{\Gamma \vdash(x @ A) \times B: \text { type }}
$

b. 出力: $\Gamma \vdash B[x:=M]$ : type の導出木

推論規則の仮定部はそれぞれ (i) 型 $A$ の well-formed 性の確認, (ii) 項 $M$ の探索, (iii) 型 $B[x:=M]$ の well-formed 性の確認に相当する. これら 3 つの導出木が構成された後, 型検査の出力が (iii) の導出木であるとすることで，検査対象の型が $(x @ A) \times B$ から $B[x:=M]$ へと上書きされる. すなわち， $x @ A$ が項 $M$ により置換されることになる.

例として, A girl came が既に共通基盤にある状態で (5) の未指定型を除去する状況を考える。このとき (5) が適格となるための条件（適格性条件, felicity condition）は(7) となる. ここで $\pi_{1}$ は組の第 1 要素を取り出す関数であり, 意味表示中の $\pi_{1} u$ は $x_{1}: \mathrm{e}$ に相当する．また以下では， $(x \circ A) \times B$ の形式の型を $\left[\begin{array}{l}x \circ A \\ B\end{array}\right]$ で表記することがある.

$
v: \underbrace{\left[\begin{array}{l}
u:\left[\begin{array}{l}
x_{1}: \mathrm{e} \\
\operatorname{girl}\left(x_{1}\right)
\end{array}\right] \\
\operatorname{come}\left(\pi_{1} u\right)
\end{array}\right]}_{\text {A girl came. }} \vdash \underbrace{\left[\begin{array}{l}
x_{2} @ \mathrm{e} \\
\operatorname{dance}\left(x_{2}\right)
\end{array}\right]}_{\text {She danced. }}: \text { type }
$

型検査では規則 (6a) が型 e の項を要求するが，今回は $\pi_{1} \pi_{1} v$ を構成できる $\left(v:[\cdots] \vdash \pi_{1} \pi_{1} v: \mathrm{e}\right)$. これを $x_{2}$ に代入すると，結果として型判断 (8)を得る.

(8)

$
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x_{1}: \mathrm{e} \\
\operatorname{girl}\left(x_{1}\right)
\end{array}\right]+\text { dance }\left(\pi_{1} \pi_{1} v\right): \text { type } \\
\operatorname{come}\left(\pi_{1} u\right)
\end{array}\right]
$

矢印が示す通り，このとき $\pi_{1} \pi_{1} v$ は $x_{1}$ : e に相当するので， she が a girl を先行詞とする解釈が予測できたことが分かる. 以上のように型検査の過程で型を動的に書き換えることで，（通常の意味での）型検査と未指定型の除去を同時に行うことができる.

## 3.32 段階の確認プロセス

DTS の型検査は，意味表示から未指定部分を取り除き内容を確定する過程に相当し，その内容を聞き手が受け入れるか，すなわちそれが共通基盤に追加されるかとは関係しない。ここでは，このような聞

図 12 段階の確認プロセスにおける，争点的内容と非争点的内容の処理過程.

図 2 (10)を導出する過程. 述語記号は略記している (例: dance $\mapsto \mathrm{d}$ ). $\mathscr{D}[J]$ は型判断 $J$ を結論に持つ導出木 $\mathscr{D}$ を表す.

き手による受け入れの判断は，型検査で得られた型 $A$ で型付け文脈 $\Gamma を \Gamma, x: A$ へと拡張する時点で起こるものと想定する。まとめると，ある文・発話の内容が共通基盤に追加される際には，(i) 型検査と (ii) 文脈拡張の 2 ステップを経ることになる.

## 4 提案

冒頭の (1) が示すように，CI は非争点的であり，聞き手の直接的な返答の対象とならない。よって，前述の 2 段階の確認プロセスにおいて，CI の情報が型付け文脈に追加されるのは (ii) の文脈拡張よりも前でなければならない。

このことを踏まえて, 次のように定義される型 $(x \triangleleft A) \times B （ \mathbf{C l}$ 型, Cl type）を提案する.

(9) a. 推論規則

$
(\triangleleft F) \frac{\Gamma \vdash A: \text { type } \quad \Gamma, x: A \vdash B: \text { type }}{\Gamma \vdash(x \triangleleft A) \times B: \text { type }}
$

b. 出力: $\Gamma, x: A \vdash B:$ type の導出木

$\mathrm{CI}$ 型を型検査すると，もとの型付け文脈 $\Gamma$ が $\Gamma, x: A$ へと上書きされる. すなわち CI 型は，(i) の型検査の間に文脈を拡張するような型となっている。この文脈の拡張は, (ii) の場合とは異なり聞き手の直接的な返答の対象とならない暗黙的なものであり，CI の争点的内容との違いを反映している (図 1).

なお，CI 型は型検査の途中で型付け文脈を拡張するため，変数宣言の順序に影響し，例えば型付け文脈の先頭にある変数を束縛する規則が適用できなくなってしまう恐れがある。このような場合，以下の交換規則 (permutation rule) を適用する.ただし，先頭側の型 $B$ が入れ替え先の $x: A$ に依存している場合，この規則は適用できないことに注意する.

$
(\text { perm }) \frac{\Gamma, x: A, y: B, \Delta \vdash M: C}{\Gamma, y: B, x: A, \Delta \vdash M: C}(x \notin \mathrm{FV}(B))
$

## 5 予測と検証

以下では，2 節で述べた現象を今回の提案が正しく予測できることを確認する。まず，投射を示す例 （2a）の適格性条件は次のようになる.5）なお意味表示において，否定は $(x: A) \rightarrow \perp$ で表されている. ${ }^{6}$

(10) $\quad \vdash\left(v:\left[\begin{array}{l}u \triangleleft \operatorname{dance(a)} \\ \operatorname{meet}(\mathrm{a}, \mathrm{k})\end{array}\right]\right) \rightarrow \perp$ : type

型検査の過程を図 2 に示す. まず変数 $v$ の型が well-formed であること (p1) を導出すると $\left(D_{1}\right), \mathrm{CI}$型により文脈が $u: \mathrm{d}(\mathrm{a})$ で拡張される.この拡張された文脈の下で結論の型が well-formed であること (p2) を導出する $\left(\mathscr{D}_{2}\right)$. 最終的にП 型を再構成すると，以下の型判断 (11)を出力として得る. ARC の内容 (Alex danced) が否定のスコープ外に出ており，投射の振る舞いを予測できたことがわかる.

(11) $\quad u:$ dance(a) $\vdash(v:$ meet $(\mathrm{a}, \mathrm{k})) \rightarrow \perp$ : type

次に照応の例を見る。まず，(3a) の適格性条件は次のようになる。なお以下では, $(x: \mathrm{e}) \times P x$ を $P^{*}$ と省略する。

(12)

5）意味合成の過程は誌面の都合上割愛する.なお，条件文の前件の場合 (2b) でも П 型を用いるため予測は同様である.

6）」は項を持たない空型 (empty type)であり，矛盾を表す.

図 3 (12) を導出する過程.

図4(13) の導出が失敗するまでの過程.

型検査の過程を図 3 に示す.未指定型の型検査 (p2) では，(7) の場合と同様に $\pi_{1} \pi_{1} v$ : e が見つかり，最終的な導出木 $D_{2}$ では争点的内容が $\mathrm{p}\left(\mathrm{a}, \pi_{1} \pi_{1} v\right)$ となる. このとき $\pi_{1} \pi_{1} v$ は ARC 中の a girl に相当し, 照応が適切に予測できていることが分かる.

照応のもう一つの例の前に，照応が許されない例 (4)を確認する。主語が every girl である場合の適格性条件を以下に示す。7)

$
\vdash\left(u: \operatorname{girl} l^{*}\right) \rightarrow\left[\begin{array}{l}
v \triangleleft\left[\begin{array}{l}
x @ \mathrm{e} \\
\operatorname{praise}(\mathrm{a}, x)
\end{array}\right] \\
\operatorname{meet}\left(\pi_{1} u, \mathrm{a}\right)
\end{array}\right]: \text { type }
$

型検査が失敗する様子を図 4 に示す. CI 型の型検査 (p2) の過程で内部の未指定型を $\pi_{1} u$ : e で除去すると, 文脈は $v: \mathrm{p}\left(\mathrm{a}, \pi_{1} u\right)$ で拡張される. П型を再構成するためには交換規則を適用して局所変数 $u: \mathrm{g}^{*}$ を文脈の先頭に移動する必要があるが， $v$ の型が $u$ に依存しているため，これは不可能である。このため型検査が失敗し，(4) の不適格性が予測される.

最後に (3b) を確認する. 不定名詞句 $a$ girl が $\Sigma$ 型で変数を導入すると，(13) と同様に交換規則が適用できず不適切となってしまう．そのため，不定名詞句が CI 型によっても変数を導入しうると仮定する. $\left.{ }^{8}\right)$ このとき，適格性条件は以下のようになる.

(14) $\left.\quad \vdash\left(u \triangleleft \operatorname{girl} l^{*}\right) \times\left[\begin{array}{l}v \triangleleft\left[\begin{array}{l}x @ \mathrm{e} \\ \text { praise }(\mathrm{a}, x)\end{array}\right] \\ \operatorname{meet}\left(\pi_{1} u, \mathrm{a}\right)\end{array}\right]\right]$ :type

この場合， $x$ を $\pi_{1} u$ で置換しても交換規則の問題は生じず，照応を適切に予測する型判断 (15)を得る.

7） no の場合でも П型を用いるため予測は同様である.

8）この追加の仮定は，不定名詞句の特定的 (specific) な解釈という，より一般的な現象を説明するために必要である（例えば (3b) の a girl は特定的である). 特定的な不定名詞句は指示詞と似た振る舞いを示し，例えば否定や条件よりも高いスコープをとる [14]. この現象は $\Sigma$ 型を用いた意味表示だけでは説明できないと思われる。
(15) $\quad u: \operatorname{girl} l^{*}, v: \operatorname{praise}\left(\mathrm{a}, \pi_{1} u\right)+\operatorname{meet}\left(\pi_{1} u\right.$, a $):$ type

## 6 関連研究

本研究と同様に DTS を用いて CI を分析した [15] は，未指定型と同様のメカニズムで CI を定式化した. 具体的には，項の探索が失敗した場合に文脈を適宜拡張する調節 (accommodation)の機構により，投射などの振る舞いを予測した。しかし，(4)で示した every girl のような非指示的な量化詞の場合については議論がなされていなかった. さらに，より近年の調節の定義 [11] に従うと，調節される型が局所変数に依存する場合でも調節が成功するため，非指示的な量化詞の場合でも照応が可能と予測されることになる。本稿の提案は，型検査の過程で文脈を拡張するというアイデアは [15] から引き継いでいる一方で，変数の依存関係も考慮することができる。

## 7 おわりに

本稿では，DTS の枠組みに基づき，型検査の過程で型付け文脈を拡張する CI 型を提案した. CI 型による文脈拡張は聞き手の直接的な応答の対象にならない点で暗黙的であり，この機構のもとで ARC に関する投射・照応が適切に予測できることを示した. 今後の課題として，DTS における前提 (presupposition) の分析との接続が挙げられる. 前提は文脈により解決されるため DTS では未指定型で表現されるが，CI との間で様々な共通点がある.例えば前提の調節は CI と同様に共通基盤を拡張し， また前提と CI が照応に関して類似したパターンを示すことがある [16]. そのため，これら 2 つの現象をより統一的に説明できることが望ましい.

## 謝辞

本研究は，JST さきがけ JPMJPR21C8，JST CREST JPMJCR20D2，および JSPS 科研費 JP23H03452 の助成を受けたものである.

## 参考文献

[1] Christopher Potts. Presupposition and implicature. The handbook of contemporary semantic theory, pp. 168-202, 2015.

[2] Christopher Potts. The Logic of Conventional Implicatures. Oxford University Press, 2005.

[3] Sarah E. Murray. Varieties of update. Semantics and Pragmatics, Vol. 7, No. 2, pp. 1-53, March 2014.

[4] Kristen Syrett and Todor Koev. Experimental Evidence for the Truth Conditional Contribution and Shifting Information Status of Appositives. Journal of Semantics, Vol. 32, No. 3, pp. 525-577, 2014.

[5] Patricia Amaral, Craige Roberts, and E Allyn Smith. Review of the logic of conventional implicatures by Chris Potts. Linguistics and Philosophy, Vol. 30, pp. 707749, 2007.

[6] Francesca Del Gobbo. On the syntax and semantics of appositive relative clauses. Parentheticals, Vol. 106, p. 173, 2007.

[7] Rick Nouwen. On appositives and dynamic binding. Research on language and computation, Vol. 5, pp. 87102, 2007.

[8] Scott AnderBois, Adrian Brasoveanu, and Robert Henderson. At-issue proposals and appositive impositions in discourse. Journal of Semantics, Vol. 32, No. 1, pp. 93-138, 2015.

[9] Philippe Schlenker. Supplements without bidimensionalism. Linguistic Inquiry, Vol. 54, No. 2, pp. 251-297, 2023.

[10] Daisuke Bekki and Koji Mineshima. Context-Passing and Underspecification in Dependent Type Semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Modern Perspectives in Type-Theoretical Semantics, pp. 1141. Springer, 2017.

[11] Daisuke Bekki. A proof-theoretic analysis of weak crossover. In Katsutoshi Yada, Yasufumi Takama, Koji Mineshima, and Ken Satoh, editors, New Frontiers in Artificial Intelligence, pp. 228-241, Cham, 2023. Springer Nature Switzerland.

[12] Per Martin-Löf. Intuitionistic type theory, Vol. 9. Bibliopolis Naples, 1984. Notes by Giovanni Sambin of a series of lectures given in Padua, June 1980.

[13] Robert C Stalnaker. Assertion. In Pragmatics, pp. 315332. Brill, 1978.

[14] Janet Dean Fodor and Ivan A Sag. Referential and quantificational indefinites. Linguistics and philosophy, Vol. 5, pp. 355-398, 1982.

[15] Daisuke Bekki and Elin McCready. CI via DTS. In New Frontiers in Artificial Intelligence: JSAIisAl 2014 Workshops, LENLS, JURISIN, and GABA, Kanagawa, Japan, October 27-28, 2014, Revised Se- lected Papers, pp. 23-36. Springer, 2015.

[16] Patrick D Elliott and Yasutada Sudo. Generalised crossover. In Semantics and Linguistic Theory, Vol. 30, pp. 396-408, 2021.

## 付録: 形式的定義

推論規則依存型理論の推論規則の一部を示す.なお type と kindをソート (sort)といい，以下ではこれらをメタ変数 $s$ で表す。

・ $\Pi$ 型 (依存関数型)

$
(\Pi F) \frac{\Gamma \vdash A: \text { type } \quad \Gamma, x: A \vdash B: s}{\Gamma \vdash(x: A) \rightarrow B: s} \quad(\Pi I) \frac{\Gamma, x: A \vdash M: B}{\Gamma \vdash \lambda x \cdot M:(x: A) \rightarrow B} \quad(\Pi E) \frac{\Gamma \vdash M:(x: A) \rightarrow B \quad \Gamma \vdash N: A}{\Gamma \vdash M N: B[x:=N]}
$
- $\Sigma$ 型 (依存直積型)

$
(\Sigma F) \frac{\Gamma \vdash A: \text { type } \quad \Gamma, x: A \vdash B: s}{\Gamma \vdash(x: A) \times B: s} \quad(\Sigma I) \frac{\Gamma \vdash M: A \quad \Gamma \vdash N: B[x:=M]}{\Gamma \vdash\langle M, N\rangle:(x: A) \times B} \quad\left(\Sigma E_{1}\right) \frac{\Gamma \vdash M:(x: A) \times B}{\Gamma \vdash \pi_{1} M: A} \quad\left(\Sigma E_{2}\right) \frac{\Gamma \vdash M:(x: A) \times B}{\Gamma \vdash \pi_{2} M: B\left[x:=\pi_{1} M\right]}
$
- 空型

$(\perp F) \frac{\Gamma \text { valid }}{\Gamma \vdash \perp: \text { type }}(\perp E) \frac{\Gamma \vdash M: \perp \Gamma \vdash P: \perp \rightarrow \text { type }}{\Gamma \vdash \operatorname{rec}_{\perp} M: P M}$

$\cdot$その他

(ctx-empty) $\overline{[] \text { valid }} \quad$ (ctx-ext) $\frac{\Gamma \text { valid } \Gamma \vdash A: S}{\Gamma, x: A \text { valid }}(x \notin \operatorname{dom}(\Gamma)) \quad(\operatorname{var}) \frac{\Gamma \text { valid }}{\Gamma \vdash x: A}(x: A \in \Gamma) \quad($ type $F) \frac{\Gamma \text { valid }}{\Gamma \vdash \text { type }: \text { kind }}$

$\mathrm{CI}$ 型を含みうる型判断 $\Gamma \vdash M: A$ を引数として，未指定型・CI 型を含まない導出木の集合を返す。なお返り值が導出木の集合となるのは，未指定型を消去する方法は一般に複数ありうるためである．以下に，匹-』の帰納的定義の一部を示す.9) ここでは， $\mathscr{D} . t m$ (resp. $\mathscr{D} . \mathrm{ctx}$ ) で導出木 $\mathscr{D}$ の結論の判断 $\Gamma \vdash M: A$ の項 $M$ (resp.

・ П型 $(\Sigma$ 型も同様)

$
\llbracket \Gamma \vdash(x: A) \rightarrow B: \text { type } \rrbracket=\left.\{\begin{array}{l|l}
(\Pi F) \frac{\mathscr{D}_{1}^{\prime}: \mathscr{D}_{2}^{\prime}}{\mathscr{D}_{2} \cdot \operatorname{ctx}+\left(x: \mathscr{D}_{1} \cdot \operatorname{tm}\right) \rightarrow \mathscr{D}_{2} \cdot \mathrm{tm}: \text { type }} & \begin{array}{l}
\mathscr{D}_{1} \in \llbracket \Gamma \vdash A: \text { type } \rrbracket \\
\mathscr{D}_{2} \in \llbracket \mathscr{D}_{1} \cdot \mathrm{ctx}, x: \mathscr{D}_{1} \cdot \mathrm{tm} \vdash B: \text { type } \rrbracket \\
\mathscr{D}_{1}^{\prime}=\text { Extend }\left(\mathscr{D}_{1}, \mathscr{D}_{2}, x\right) \\
\mathscr{D}_{2}^{\prime}=\operatorname{Arrange}\left(\mathscr{D}_{2}, x\right)
\end{array}
\end{array}\right.\}
$
- Extend $\left(\mathscr{D}, \mathscr{D}^{\prime}, x\right)$ は，弱化規則により $\mathscr{D} を \mathscr{D}^{\prime}$ の $x$ 以降の変数宣言で拡張して得られる導出木を返す関数である.
- Arrange $(\mathscr{D}, x)$ は，交換規則により $\mathscr{D}$ の中で $x$ を型付け文脈の先頭へと移動して得られる導出木を返す部分関数である（そのような導出木が構成できない場合，型検査は失敗する）.

・未指定型

$
\llbracket \Gamma \vdash(x @ A) \times B: \text { type } \rrbracket=\left.\{\begin{array}{l|l}
\text { Normalize }\left(\mathscr{D}_{3}\right) & \begin{array}{l}
\mathscr{D}_{1} \in \llbracket \Gamma \vdash A: \text { type } \rrbracket \\
\mathscr{D}_{2} \in \llbracket \Gamma \vdash M: \mathscr{D}_{1} \cdot \mathrm{tm} \rrbracket \text { for some term } M . \\
\mathscr{D}_{3} \in \llbracket \mathscr{D}_{1} \cdot \operatorname{ctx} \vdash B[x:=M]: \text { type } \rrbracket
\end{array}
\end{array}\right.\}
$
- Normalize(D) は，D.tm を正規化した判断を結論に持つ導出木を返す関数である.

$\cdot$ CI 型

$
\llbracket \Gamma \vdash(x \triangleleft A) \times B: \text { type } \rrbracket=\left.\{\begin{array}{l|l}
\mathscr{D}_{2} & \begin{array}{l}
\mathscr{D}_{1} \in \llbracket \Gamma \vdash A: \text { type } \rrbracket \\
\mathscr{D}_{2} \in \llbracket \mathscr{D}_{1} \cdot \operatorname{ctx}, x^{\prime}: \mathscr{D}_{1} \cdot \operatorname{tm} \vdash B\left[x:=x^{\prime}\right]: \text { type } \rrbracket\left(x^{\prime} \notin \operatorname{dom}\left(\mathscr{D}_{1} \cdot \operatorname{ctx}\right)\right)
\end{array}
\end{array}\right.\}
$

$-x$ が既に D $1_{1}$.ctx で用いられている場合， $x^{\prime}$ として新たな変数をとる必要があることに注意する.

論規則（導入規則や，判断が kindを含む場合など）についても，概ね [11] の定式化に適宜変更を加えることで定義が可能だと考えられるが，完全な定義は今後の課題とする。


# 長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する一

都地悠馬 1 高橋惇 2 横井祥 3,4 栗林樹生 5 上田亮 6 宮原英之 ${ }^{7}$
1 北海道大学 工学部 ${ }^{2} \mathrm{CQuIC}$, University of New Mexico ${ }^{3}$ 東北大学 大学院情報科学研究科
4 理化学研究所 革新知能統合研究センター ${ }^{5}$ MBZUAI NLP Department
6 東京大学情報理工学系研究科 7 北海道大学 大学院情報科学研究院
toji.yuma.c1@elms.hokudai.ac.jp, juntakahashi@unm.edu， yokoi@tohoku.ac.jp,
tatsuki.kuribayashi@mbzuai.ac.ae, ryoryoueda@is.s.u-tokyo.ac.jp,
miyahara@ist.hokudai.ac.jp

## 概要

最近，大規模言語モデル (LLM) のスケーリング則や創発的な能力が報告され，LLM のメカニズムを理解する上で重要な手掛かりになることが期待されている. 実は統計力学においてもこれらの概念に相当する「相転移」と呼ばれる概念が存在する. 本研究では，言語モデルの性質を相転移の観点で再検討する。具体的には，長距離相互作用を持つ 1 次元イジング模型を念頭にした単純な言語モデルを構成し, 統計力学的な意味での相転移現象が起きることを示す. さらに，シンボル数が增えるという統計力学モデルにはない言語モデル特有の過程に注目することで, 統計力学モデルにはない現象を発見したことを報告する。

## 1 はじめに

ChatGPT [1] や Google Bard [2] などの大規模言語モデル (LLM）がどのような性質を持つのか，またなせ優れた性能を示すのかといった問いに対して， LLM の機序と原理の解明に向けた研究が盛んに行われている。面白い知見として，[3]では LLM におけるスケーリング則が報告され，[4]では LLM の創発的な性能の向上が示されている. これらの現象はシステムサイズ (学習データ, 学習時間, パラメー 夕数)を大きくしたときに現れる現象であり，統計力学における相転移現象との類似性が見られる. 本研究では, 言語モデルを相転移の観点から理解することを試みる。

相転移とは，系を指定するなんらかのパラメータ (通常は温度や圧力など)を変化させたときに，ある值を境に急激に系の巨視的な性質 (通常は磁化, 密度, 結晶構造など)が定性的纪変化する現象で, 統計力学においてよく研究されている. 例として，水を冷やすと $0{ }^{\circ} \mathrm{C}$ で突然性質の異なる氷になる, あるいは磁石を温めるとある温度で突然磁力が 0 になる， といった現象が知られている。相転移現象は, 物質の状態が大きく変わる現象としても興味深いが，ある種の相転移が起こる点 (臨界点) 直上では興味深いスケーリング則が現れることも重要な特徴である. また，相転移はシステムサイズを大きくしたとき1) に現れる現象で，この点でも LLM との対応がある. なお，自然言語と相転移の関連を論じること自体は本研究がはじめてではなく, 特に文脈自由文法 （CFG）の相転移を論じる既存研究が複数ある.しかしこれらの研究は依然共通見解に至っておらず， とくに，どういうクラスの言語が相転移を持つのかについては不明な状況が続いている $[5,6,7,8]^{22}$.

本研究では, $\mathrm{CFG}$ よりも強力な文法である文脈依存文法 (CSG) の枠組み内で明確な相転移現象が起こることを, 長距離イジング模型から着想を得て構成した CSG の数值計算に基づいて主張する.自然言語を統計力学的にモデル化する際には, 素朴には「文の初めから終わり」に対応する 1 次元方向のみを持つと考えるのが自然であらう．統計力学分野において相転移を示す最も単純な模型の 1 つであるイジング模型は，空間次元を 1 次元としたときに短距離相互作用のみでは相転移を示さず，長距離相互作用を持つ場合 (長距離 1 次元

イジング模型) は相転移を示すことが知られている $[9,10,11,12,13,14,15,16,17]$. このイジング模型の性質に従い，長距離イジング模型に対応するような CSG を構成し，相転移の有無を調べる。

また，通常の統計力学モデルは持たず言語モデルは持つ特有の性質として, 時事刻々とシンボルが増えるという点がある. このシンボルの増え方に対して，相転移点の挙動が変わることも議論する.この現象は, 元々の統計力学のモデルにはなく自然言語をモデル化した際に生じる新しい現象であるという意味でも興味深い

## 2 問題設定

本研究で扱うモデルと計算する物理量を説明する. モデルに関しては，シンボル間の相互作用の入りかたを重点的に説明する．計算する物理量は，相転移を議論する上でよく用いられる量を導入し，それらが自然言語の何に対応し得るかを説明する。

## 2.1 提案モデル

本研究では，自然言語を大幅に簡略化した模型として，非終端記号と終端記号をそれぞれ 2 つ持ち，以下の 3 種の生成規則を持つ言語モデルを考える:

$
\begin{aligned}
X & \rightarrow x, \\
X & \rightarrow Y Z, \\
\alpha X \beta & \rightarrow \alpha Y \beta .
\end{aligned}
$

大文字の $X, Y, Z$ は非終端記号であり $, A, B$ をる. また，小文字の $x, y$ は終端記号であり $, a, b$ をとる. 式 (1a) は非終端記号がそれぞれ対応する終端記号になる規則群である. 式 (1b) は非終端記号が 2 つの非終端記号に置き換わる規則群である.式 (1c) は非終端記号に文脈依存性を導入しており,前後の文脈 $\alpha$ と $\beta$ をとと, 非終端記号を書き換える (後述). 自然言語の文脈依存性の程度については議論の余地があるが，文脈アクセスが強力な昨今のニューラル言語モデルを念頭におき CSG を採用する. なお式 (1c) を除くと CFG となり $[5,6,7,8]$ で扱われたモデルと一致する。式(1a), 式(1b), 式(1c) の規則が採択される確率はそれぞれ $q t, q(1-t)$, $1-q$ とする. 各規則群内で適用可能な規則が複数存在する場合は，それぞれを等確率で用いる. $t \rightarrow 0$ は非終端記号が現れない極限であり，相転移を議論する上で最も単純な熱力学極限 (シンボル数無限大の極限 $N \rightarrow \infty$ ）を議論できるパラメータである.文脈依存性: 式 (1c) の詳細を述べる. $N$ を文字列全体の長さとし, $\alpha:=X_{-\left[N r_{\alpha}\right]} X_{-\left(\left[N r_{\alpha}\right]-1\right)} \ldots X_{-1}$, $\beta:=X_{1} \ldots X_{\left[N r_{\beta}-1\right]} X_{\left[N r_{\beta}\right]}$ とする. $X$ は任意の文字 （非終端記号含む）を表し，下付きの値は，式(1c)における $A(B)$ を基準とした相対位置を表す. [$\cdot$] はガウス記号であり $, r_{\alpha}, r_{\beta}$ は長距離イジング模型の相互作用範囲に対応するパラメータである.

以下の確率でシンボルを変更する:

$
p=\min \left[1, e^{-\Delta E / T}\right]
$

ただし， $\Delta E$ の定義は以下である:

$
\Delta E:=2 J\left(\sum_{\ell=1}^{\left[N r_{\alpha}\right]} \frac{\sigma_{0} \sigma_{-\ell}}{\ell^{1+s}}+\sum_{\ell=1}^{\left[N r_{\beta}\right]} \frac{\sigma_{0} \sigma_{\ell}}{\ell^{1+s}}\right)
$

さらに， $\sigma_{j}$ の定義は以下で与えられる:

$
\sigma_{j}:= \begin{cases}1 & \left(X_{j}=A, a\right), \\ -1 & \left(X_{j}=B, b\right) .\end{cases}
$

式(2)より， $\Delta E$ が小さいほどシンボルは反転しやすくなる.また式 (3)より， $\Delta E$ は $\sigma_{0} \sigma_{-\ell}$ と $\sigma_{0} \sigma_{\ell}$ が負の値をとるときに小さくなる. 式 (4)より，これは周辺記号が自身と異なる記号のときに記号が反転することを意味し， $T$ は同じ記号を揃えたがる傾向の強さを定めるコントロールパラメータである3).式 (3) が長距離相互作用と言われる理由は, シンボル間の相互作用がべき的 $\left(1 / \ell^{1+s}\right)$ に減衰しているためである. またここで $s$ はべき減衰の強度を決定するパラメータであり, 本論文では $s=0.9$ と固定した.まとめると，式 (1c) の規則は，確率 $1-q$ で適用され，さらに式 (2) によって反転するか否かが判定される.

式 (1c) の規則は統計力学的には, 長距離 1 次元イジング模型の 1 シンボルのフリップに関する Metropolis-Hastings 法を用いた Monte Carlo シミュレーションの操作に対応している. 式 (3) はその際に参照される, 長距離 1 次元イジング模型において 1 スピン (1 シンボル) のみを変更した場合のエネルギー変化である.

## 2.2 相転移を議論するための物理量

相転移はオーダーパラメータの特異性で議論する. オーダーパラメータとは何かしらの確率変数の期待値であり，イジング模型の例では磁化 (アップスピンとダウンスピンの割合)を採用することが通例である.

3） 統計力学では絶対温度に対応する.
本研究では磁性体を扱うわけではないが，2 シンボルを考えるとイジング模型と同様にオーダーパラメータを定義することができる．そのオーダーパラメータを磁化と呼ぶことにし，以下で定義する：

$
M:=\frac{N_{A}-N_{B}}{N} \text {. }
$

ただし， $N_{A}$ と $N_{B}$ をそれぞれシンボル $A$ と $B$ の数とし, $N:=N_{A}+N_{B}$ とする ${ }^{4)} . M$ は「単語 $A$ と単語 $B$ の頻度がどの程度偏るか」を表す量である．以下では，独立変数である温度 $T$ を動かした時に，従属変数である $M$ がどう変化するかを観察することで, 1 次元イジング模型 (最も単純な統計力学模型) を元に構成される言語の性質が質的に急激な変化を起こす点（相転移点）が存在するかを考える．相転移点直上で, 熱力学極限 $(N \rightarrow \infty)$ において磁化 (式 (5)) が微分不可能になることが相転移の特徴づけになる。

続いて，帯磁率を以下で定義する：

$
\chi:=N\left(\left.\langle|M|^{2}\right.\rangle-\langle|M|\rangle^{2}\right) .
$

帯磁率 (式 (6)) は相転移点直上で発散することが知られており，実験的な測定のしやすさからよく調べられている。

磁化 (式 (5)) の微分不可能性，帯磁率 (式 (6)) の発散は, 最も基本的な相転移の特徴付けであるが,数値実験においては熱力学極限 $(N \rightarrow \infty)$ を取れないというシステムサイズの困難がある。そこで， Binder パラメータを用いた解析がよく用いられる. Binder パラメータを以下で定義する:

$
U:=\frac{1}{2}\left(3-\frac{\left.\langle M^{4}\right.\rangle}{\left.\langle M^{2}\right.\rangle^{2}}\right)
$

スケーリング解析より Binder パラメータ (式 (7)) の温度依存性をシステムサイズを変えながらプロットすると，臨界点では交差することが知られている他，臨界的でない相転移点においては負に発散することなどが知られている。よって，数値計算における相転移点の同定には Binder パラメータ (式 (7))のシステムサイズ依存性を調べるという手法が標準的になっている.

## 3 数値計算

提案モデル (式 (1))のの Binder パラメータ(式 (7))の結果を示す ${ }^{5)}$. 式 (1b) の規則として,$X \rightarrow Y Z$ (等確

4） 2.1 節で定義した文字列の長さ $N$ と等価である.

5）磁化 (式 (5)), 帯磁率 (式 (6)) の計算は，参考情報 (A) に示す.

図 $1 X \rightarrow Y Z$ の場合の Binder パラメータの温度依存性. $q=10^{-2}, t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. シンボル数 $N$ を 16，32，64，128，256，512，1024，2048，4096 と変えた。

率でシンボルが増える場合) と $X \rightarrow X X$ (シンボルが複製される場合)を考える。

## $3.1 X \rightarrow Y Z$ (等確率でシンボルが増える 場合)

$X \rightarrow Y Z$ (等確率でシンボルが増える場合)を考える. 非終端シンボルの数は 2 つなので，8つの過程があることに注意する:

$
\begin{aligned}
& A \rightarrow A A, A \rightarrow A B, A \rightarrow B A, A \rightarrow B B, \\
& B \rightarrow A A, B \rightarrow A B, B \rightarrow B A, B \rightarrow B B .
\end{aligned}
$

また，これらの過程が $A ， B$ に対してそれぞれ等確率で起こるとする。

図 1 に数値計算の結果を示す. $q=10^{-2}, t=0$, $s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. 図 1 において, 綺麗な Binder パラメータの交差が見え，臨界点が $T \sim 2$ に存在することがわかる。

## $3.2 X \rightarrow X X$ (シンボルが複製される場合)

$X \rightarrow X X$ (シンボルが複製される場合)を考える.非終端シンボルの数は 2 つなので，2つの過程があることに注意する:

$
A \rightarrow A A, B \rightarrow B B .
$

図 2 に数値計算の結果を示す. $q=10^{-2}, t=0$, $s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした.$X \rightarrow Y Z$ の場合 (図 1 ) と同様に，図 2 において，綺麗な Binder パラメータの交差が見え，臨界点が $T \sim 2$ に存在することがわかる。

## $3.3 q$ 依存性

式 (1a)，あるいは式 (1b) の規則が採択される確率 $q$ を固定し， $X \rightarrow Y Z$ の場合 (図 1)と $X \rightarrow X X$ の場合 (図 2)を比較すると，ほとんど見分けのつかない結果が得られた．続いて，これらの結果が $q$ を変えたときにどのように変化するかをみる. 図 3 に数

図 $2 X \rightarrow X X$ の場合の Binder パラメータの温度依存性. $q=10^{-2}, t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. シンボル数 $N$ を 16，32，64，128，256，512，1024，2048，4096 と変えた。

図 3 (左) $X \rightarrow Y Z$, (右) $X \rightarrow X X$ の場合の Binder パラメータの $q$ 依存性. $t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした.図 3 では, 同じ $q$ に対して異なるシステムサイズ (異なる $N)$ を同じ色でプロットしている. $q=10^{-0.5}, 10^{-1.0}$, $10^{-1.5} ， 10^{-2.0}$ とした.

值計算の結果を示す. $t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. 図 3 では, 同じ $q$ に対して異なるシステムサイズ (異なる $N$ )を同じ色でプロットしている.図 3 では， $X \rightarrow Y Z$ の場合 (図 1) と $X \rightarrow X X$ の場合 (図 2) で，Binder パラメータの交差点の挙動が大きく異なることがわかる. 図3(左) に示されているように， $X \rightarrow Y Z$ (等確率でシンボルが増える場合) は $q$ を大きくすると相転移温度 (Binder パラメータの交差点) が下がっていることがわかる. さらに，qが十分大きいときに相転移点がなくなっていることがわかる。一方で， $X \rightarrow X X$ (シンボルが複製される場合) は大きく挙動が異なる. 図 3(右) を見ると， $q$ を大きくしても相転移温度 (Binder パラメータの交差点) が変化していないことがわかる.

## 4 議論

本研究では長距離 1 次元イジング模型に類似する CSG を構成し, 連続的な相転移 (臨界点) が存在することを数値的に示した. 本研究で発見された相転移はイジング模型と同様， $\mathbb{Z}_{2}$ 対称性の自発的破れであり，[7] 等で議論されている CSG における相転移とは別種の相転移である. しかし, 相転移の存在が現状論争になっている CFG と比較して，CSG では明確に相転移を発生させることが比較的容易であることを本研究は示している. これは，我々が構成し
た CSG が CFG となる $q=1$ 付近にて相転移が消失するという事実からも裏付けられる。この結果は言語モデルにおいて長距離相互作用が相転移を安定化させることを示唆している。

また，今回発見された相転移が明確に臨界的であったことも重要である．相転移が発生するような系を適当に構成した際には，一般的には臨界的でない不連続転移になることも多々あるためである. 不連続転移においては非自明なスケーリング則が存在しないため，自然言語にみられる Zipf 則などの説明には適さない. 本研究では Bidner パラメータが負に発散する傾向無く綺麗に交差することを確認したことで，不連続転移よりも非自明な臨界転移であることも明確にできた.

なお，通常の統計力学モデルには系自体が時間と共に増大する式 (1b) のような規則は存在せず，これらの規則は言語モデル特有のものである. そのため, 本研究の相転移現象は単に統計力学の長距離 1 次元イジング模型の計算を自然言語処理の文脈でやり直しただけではない。言語に限らず，時間と共に空間的に拡大する系の統計力学を一般に考える際にも，本研究の結果は新しい洞察を与えうる。

また，自然言語処理の深層学習モデルにおいて， Attention 機構が重要であると考えられている [18]. Attention 機構は長距離相互作用を実現しており，本研究の研究の結果と整合するように思われる.

## 5 おわりに

本研究では，シンプルな相転移を示す言語モデルの研究を行った. さらに，言語モデル特有の規則に対して，非自明な相転移現象を示すことが明らかになった. 今後, [5,7] で議論されているような更に非自明な相転移が，今回のような CSG やその確率的拡張模型で実現されるかを考察する．また，より現実な言語モデルを考えることで，LLM で観測されているスケーリング則，創発的な言語能力のメカニズムを明らかにすることを目指す。なお，本研究で長距離相互作用が言語モデルの相転移に重要な役割を果たしていることが明らかになったが，Attention 機構などとの関係は明らかになっていない. Attention 機構の長距離極限における挙動を今後明らかにし,長距離相互作用，Attention 機構，相転移，スケーリング則，創発的言語能力の関係を明らかにする.

## 謝辞

本研究を行うにあたり，宮原英之は吉岡真治教授に有益なコメントをいただいた。本研究は JSPS 科研費 JP23H04489，JP22H05106，及び NSF 科研費 No. 2116246 の助成を受けた.

## 参考文献

[1] OpenAI. Chatgpt, 2023. https://chat.openai.com/ chat.

[2] Google. Google bard, 2023. https://bard.google.com.

[3] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[4] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint arXiv:2206.07682, 2022.

[5] E. DeGiuli. Random language model. Phys. Rev. Lett., Vol. 122, p. 128301, Mar 2019.

[6] Eric De Giuli. Emergence of order in random languages. Journal of Physics A: Mathematical and Theoretical, Vol. 52, No. 50, p. 504001, nov 2019.

[7] Kai Nakaishi and Koji Hukushima. Absence of phase transition in random language model. Phys. Rev. Research, Vol. 4, p. 023156, May 2022.

[8] Fatemeh Lalegani and Eric De Giuli. Robustness of the random language model. arXiv preprint arXiv:2309.14913, 2023.

[9] Freeman J Dyson. Existence of a phase-transition in a one-dimensional ising ferromagnet. 1969.

[10] Jürg Fröhlich and Thomas Spencer. The phase transition in the one-dimensional ising model with $1 / \mathrm{r}^{\wedge} 2$ interaction energy. 1982.

[11] Freeman J Dyson. Non-existence of spontaneous magnetization in a one-dimensional ising ferromagnet. 1969.

[12] Freeman J Dyson. An ising ferromagnet with discontinuous long-range order. Communications in Mathematical Physics, Vol. 21, pp. 269-283, 1971.

[13] D. J. Thouless. Long-range order in one-dimensional ising systems. Phys. Rev., Vol. 187, pp. 732-733, Nov 1969.

[14] YunFeng Chang, Liang Sun, and Xu Cai. Phase transition of a one-dimensional ising model with distance-dependent connections. Phys. Rev. E, Vol. 76, p. 021101, Aug 2007.

[15] J.G. Martínez-Herrera, O.A. Rodríguez-López, and M.A. Solís. Critical temperature of one-dimensional ising model with long-range interaction revisited. Physica A: Statistical Mechanics and its Applications, Vol. 596, p. 127136, 2022.

[16] Yusuke Tomita. Monte carlo study of one-dimensional ising models with long-range interactions. Journal of the Physical Society of Japan, Vol. 78, No. 1, p. 014002,
2009.

[17] YunFeng Chang, Liang Sun, and Xu Cai. Phase transition of a one-dimensional ising model with distance-dependent connections. Phys. Rev. E, Vol. 76, p. 021101, Aug 2007.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

図 4 (左) $X \rightarrow Y Z$ と (右) $X \rightarrow X X$ の場合の磁化の温度依存性. $q=10^{-2}, t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. シンボル数 $N$ を $16 ， 32 ， 64 ， 128 ， 256 ， 512 ， 1024 ， 2048$ ， 4096 と変えた。

図 5 (左) $X \rightarrow Y Z$ と (右) $X \rightarrow X X$ の場合の帯磁率の温度依存性. $q=10^{-2}, t=0, s=0.9, r_{\alpha}=r_{\beta}=0.25$ とした. シンボル数 $N$ を $16 ， 32 ， 64 ， 128 ， 256 ， 512 ， 1024 ， 2048$, 4096 と変えた。

## A 参考情報

## A. 1 磁化の計算

章 3.1 と章 3.2 のセットアップの場合の帯磁率の計算を図 4 に示す. どちらの場合でも，転移点以下 $T \lesssim 2$ ではシステムサイズ $N$ が大きくになるにつれて非ゼロの值に磁化が収束していき，転移点以上では 0 に収束していく様子が見られる. Binder パラメータの交差と併せ，臨界的な $\mathbb{Z}_{2}$ 対称性の破れと整合的である.

## A. 2 帯磁率の計算

章 3.1 と章 3.2 のセットアップの場合の帯磁率の計算を図 5 に示す. どちらの場合も相転移点近傍で発散的な振る舞いが見られ，相転移現象と整合する結果である。


# BERT はどのように逆接の談話関係を判定しているか Attention と品詞を手がかりとして一

佐藤拓真 ${ }^{1}$ 窪田愛 ${ }^{2}$ 峯島宏次 ${ }^{1}$
1 慶應義塾大学 2 東京大学
takuma1229@keio.jp aikubota@g.ecc.u-tokyo.ac.jp
minesima@abelard.flet.keio.ac.jp

## 概要

本研究は、BERT が自然言語処理・計算言語学の中でも特に複雑な意味構造の把握が必要な逆接等の談話関係認識を行う際に、どのような品詞に Attentionを向けているかを明らかにする。分析の結果、BERT は談話関係認識において、各品詞に満遍なく注意を向けているものの、各 layer や head はそれぞれ異なる品詞に注意を向けており、アーキテクチャにおいてそれぞれの layer や head が異なる役割を果たしているという先行研究の結果が日本語における逆接等の談話関係認識においても同様に認められることが明らかになった。

## 1 はじめに

自然言語には、「また」や「しかし」といった、文や節の間にある意味的な関係・つながりを示す様々な表現が存在し、言語学・自然言語処理いずれの分野でも研究の対象となっている $[1,2]$ 。この意味的な関係は談話関係 (discourse relation) と呼ばれ、談話関係がどのように決定されるかを解明することは、言語理解において意味的なつながりや構造がどのように把握されているかを解明することに繋がる。本研究では、Transformer ベースの言語モデルである BERT [3] が逆接等の談話関係を判定する際にどのような品詞に注意を向けているかを、モデルの推論時の Attention Weightを分析することで明らかにする。また、BERT の各 layer や head がそれぞれ異なる言語的側面を捉えているという先行研究における知見 $[4,5]$ が、日本語においても同様に認められるか、さらに、複雑な意味構造の把握を必要とする逆接等の談話関係認識においても認められるかを明らかにする。

これらの問いに答えるために、本研究では、逆接

図 1 分析の概略図

等の談話関係認識に特化したデータセットで BERT を fine-tuning して談話関係認識モデルを構築したあと、 testデータに対するモデルの推論において、分類問題における予測を総合的に表現するとされる [CLS]トークンからの Attention Weight を分析することで、モデルがどのような品詞に注意を向けて談話関係認識を行っているかを検証する（図 1)。その際に、モデルの各 layer や head ごとにも分析を行う。

分析の結果、BERT は日本語談話関係認識において、全体としては入力トークンの品詞に一定程度満遍なく注意を向けていることが明らかになった。また、英語を対象とした先行研究が示すのと同様に、各 layer や head が最も強い注意を向けている品詞はそれぞれ異なり、日本語談話関係認識においてもアーキテクチャにおける個々の要素がそれぞれ異なる役割を果たしていることが示唆された。本研究の結果は、自然言語処理や計算言語学の視点から、言語における意味的な構造の把握のなかでも、特に逆接がもつ暗黙の推論関係がどのように認識されるかの解明に寄与するものとして位置づけられる。

## 2 背景と関連研究

談話関係 (discourse relation) とは、文や節の間にある意味的な関係・つながりのことであり $[6,7]$ 、自然言語処理の領域において計算機を用いて談話関係を分類するタスクは、談話関係認識 (discourse relation recognition) と呼ばれる [8]。日本語の談話関係についてアノテーションを行った先行研究は複数存在する [6,7,9]。この内、窪田ら (2023) によるもの [9] は、表層的特徴としては表れない談話関係における複雑

な意味論的構造に焦点を当てるものであるため、本研究ではこれをデータセットとして採用した。このデータセットは、接続詞「ながら」「つつ」を対象として談話関係ラベルのアノテーションを行ったものである。これらの接続詞は「同時進行」と「逆接」 の異なる二つの談話関係を示しうるが、以下の例文のようなケースでは、この二つの談話関係のどちらが正しいかを判別することが容易でない。

（1）あなたは私をおだてながら、内心はお人好しのバカだと思ってるんでしょ。

窪田ら (2023) は、逆接の談話関係が以下の例文のように暗黙的な推論を伴うことに着目してアノテー ションを行なっている[9]。

(2) a. 自分から誘っておきながら、彼は来なかった。

(逆接)

b. 自分から誘ったならば、普通はきちんと来るだろう。

(暗黙の推論)

他方、Transformer ベースの言語モデルが著しい発展を見せる中で、これらのモデルが内部的にどのようなメカニズムで動作しているかを説明する手法が盛んに探求されている [10]。それらの手法の一つに、モデルの Attention を分析することで、モデルがいかなる特徴に「注意」を向けているかを説明するものがある [11,12]。Attention の分析を行った先行研究においては、Transformer ベースの言語モデルのの Attention が一定の構文情報や意味情報といった知識を獲得しており、さらに各 layer や head がそれぞれ異なる言語的知識を獲得していることが示唆されている [4, 5, 13, 14, 15]。例えば、Tenney ら (2019)[14] はモデルの浅い層は構文情報を、深い層はより複雑な意味構造を捉えていることを、Vig ら（2019）[13] は個々の head がそれぞれ特定の品詞に強い注意を向けていることを報告している。

しかしながら、Transformer ベースの談話関係認識モデルがどのような根拠によって談話関係を判断しているのか、その仕組みは解明されていない。したがって、本研究は、そのようなモデルの Attention を分析することで、その仕組みの解明に寄与する。

## 3 談話関係認識モデルの構築

## 3.1 タスクの定式化

本研究で行う談話関係認識タスクは、入力トークン列 $S=\left.\{w_{1}, \ldots, w_{d}\right.\}$ に対して正しい談話関係ラべ自分から誘っておきながら、彼は来なかった。

正しい談話関係ラベルはどれ?

\{逆接｜同時進行｜時間｜場所｜その他 $\}$

図 2 談話関係認識タスク

表 1 データセット

ル $L \in\left.\{l_{1}, \ldots l_{n}\right.\}$ を 1 つ判定することを目的とする、多クラス分類タスクとみなすことができる（図 2)。 ただし、 $w_{i}$ はトークン列における $i$ 番目のトークン、 $d$ はトークン列の長さ、 $l$ は談話関係ラベル、 $n$ は文書集合における談話関係ラベルの数を表す。

## 3.2 データセット

使用したデータセットは、接続詞「ながら」「つつ」を含む文書を対象とした窐田らによる日本語談話関係データセット [9] に、新たに接続詞「ところで」を含む文集合に対するアノテーションを行い追加したものである。このデータセットの文は、文に対する品詞タグと統語構造が付与されている Kainoki Treebank[16] から、複雑な統語的条件のもと抽出したものである。データセットを $8: 1: 1$ の割合で分割し、それぞれ train / valid / test データとした。

なお、結果の解釈性向上の観点から、談話関係ラベルは [9] において設定されているものに少々の簡略化を加えた ${ }^{1)}$ 。簡略化後の接続詞と各談話関係ラベルの件数の対応、およびアノテーションにおける Kappa 係数を表 1 に示す。なお、「その他」のラベルは、イディオムや慣用的な表現のほか、構文的に談話として捉えることが困難なものなどといった例外的なケースに付与されたものである。

表 2 fine-tuning の結果（test データでの実験）

## 3.3 BERT の fine-tuning による談話関係認識モデルの構築

上述のタスク設定とデータセットのもと、 Transformer ベースの Encoder-only モデルである BERT [3] を fine-tuning して、談話関係認識モデルを構築した2)。事前学習済みモデルおよびトークナイザとして、Hugging Face 上で公開されている cl-tohoku/bert-base-japanese-v33) を使用した。モデルは 12 層の layer（隠れ層）と 12 個の head をもつ。 fine-tuning 後のモデルを用いて testデータで予測を行った際の結果を表 2 に示す。なお、データセットのクラスは不均衡に分布しているため、全体における各スコアは Macro 平均を用いて算出した。 BERTを用いた日本語談話関係認識タスクの先行研究 [17] における結果や、データセットに対する談話関係ラベル付与アノテーション時のカッパ係数を考慮し、本研究において、ここで fine-tuning を行った談話関係認識モデルの推論における Attention 分析を行うことの有意味性は十分に高いと判断した。本タスクのデータセットにおいて、談話関係の判別が接続表現だけで決定されず、文脈や常識的な知識などを参照する必要があることを考慮すると、BERT が本タスクで表 2 のような高い能力を示していることは、直観に反する興味深い結果である。

## 4 推論時の Attention の分析

## 4.1 分析の概要

上述のモデルを用いて test データにおいて談話関係認識を行った際の、推論時の Attention Weight の分析を行った。具体的には、入力となるトークン列において、[CLS]トークンの Attention Weight を取得し、[CLS]トークンから最も強く注意を向けられているトークンの品詞が何であるかを分析した (図 1)。

図 3 分析対象の文書集合の品詞分布

[CLS]トークンは分類問題において集約された文レベルの表現であり、分類問題におけるモデルの予測を総合的に表現するものと考えられている [5]ため、 これを Attention 分析の対象トークンとした。

実装の都合上、test データの 168 文中、言語モデルにおけるトークナイズと MeCabによる形態素解析時の分かち書きのパターンを完全に一致させることが可能である 100 文のみを分析の対象とした。分析対象の 100 文中に出現する品詞の分布を図 3 に示す。なお、BERT の注意は “[SEP]” などの special token 強く向けられる傾向があるが、これらのトー クンへの注意は出力にほぼ影響を与えない “no-op” である [4]ため、special token と日本語における句読点を stop token (ST) として分析から除外した。

## 4.2 分析の詳細と結果

上述の方法のもと、Attention Weight の分析を 3 パターン行った。

## 4.2.1 全 layer/head の Attention の総和の分析

1つ目のパターンとして、推論時のモデルにおける全ての layer と head の Attention Weight の総和を算出し、分析を行った。モデルの $n$ 層目の layer, $m$ 番目の head における Attention Weight ベクトルを $a_{n, m} \in \mathbb{R}^{d}$ とする4)。ここで、[CLS] トークンから最も強い注意を向けられたトー クンのインデックスをMAX_ATT_IDX とすると、 MAX_ATT_IDX $=\underset{i \in\{1, \ldots, d\}}{\operatorname{argmax}} \sum_{n=1}^{12} \sum_{m=1}^{12} \boldsymbol{a}_{n, m}$ である。

4） 3.1 において述べた通り、d は入力トークン列の長さである。また、 3.3 にて述べたモデル構造の設定より、本研究においては $n, m \in\{1, \ldots, 12\}$ となる

図 4 最も強い注意を向けられたトークンの品詞分布

このときの $w_{\text {MAX_ATT_IDX }}$ の品詞の分布を図 4 に示す。図 3 と図 4 を比較すると、特に上位の品詞では順位や分布の仕方が一定程度類似しているため、 BERT は全体としては、概ね全ての品詞に満遍なく注意を向けて分類を行っていることが示唆される。

## 4.2.2 layer ごとの attention 分析

2 つ目のパターンとして、各 layer における全 head の Attention Weight の総和を算出し、分析を行った。このとき、 $m$ 番目の headにおける Attention Weight ベクトルを $\boldsymbol{a}_{m} \in \mathbb{R}^{d}$ とし、その他はすべて 4.2.1 と同様の記号法のもとで、各 layer について MAX_ATT_IDX $=\underset{i \in\{1, \ldots, d\}}{\operatorname{argmax}} \sum_{m=1}^{12} \boldsymbol{a}_{m}$ である。

各 layerにおいて $w_{\text {MAX_ATT_IDX }}$ の品詞として最も多かったものを、表 3 に示す。各 layer において最も強い注意を頻繁に向けられた品詞が異なることは、日本語談話関係認識においても、先行研究が指摘する [5,13]ように各 layer がそれぞれ異なる役割を果たしていることを示している。BERT の浅い層は構文情報を、深い層はより複雑な意味的情報をそれぞれ処理しているとする先行研究 [14] と本研究の結果から、談話関係認識における意味的情報の担い手となる要素が何であるかを分析することが、今後の研究方針として考えられる。

## 4.2.3 head ごとの attention 分析

3 つ目のパターンとして、各 head における全 layer の Attention Weight の総和を算出し、分析を行った。このとき、 $n$ 層目の layerにおける Attention Weight ベクトルを $a_{n} \in \mathbb{R}^{d}$ とし、その他はすべて表 3 各 layer において最も強い注意を向けられたトークンの品詞（最上位のもの）

表 4 各 head において最も強い注意を向けられたトークンの品詞（最上位のもの）

4.2.1と同様の記号法のもとで、各 head について MAX_ATT_IDX $=\underset{i \in\{1, \ldots, d\}}{\operatorname{argmax}} \sum_{n=1}^{12} \boldsymbol{a}_{n}$ である。

各 head において $w_{\text {MAX_ATT_IDX }}$ の品詞として最も多かったものを、表 4 に示す。head ごとに最も注意が強く向く傾向のある品詞が異なることは、先行研究の結果 [13] と一致するものである。各 head が談話関係認識においていかなる「分業」を行っているかを他の先行研究 $[4,5,15]$ を参考に明らかにすることが、今後の研究方針として考えられる。

## 5 おわりに

本研究では、日本語談話関係認識タスクにおける BERT の推論時の Attention を分析し、BERT は談話関係認識において各品詞にまんべんなく注意を向けているが、各 layer と head はそれぞれ異なる品詞に注意を向けていることを明らかにした。

しかしながら、本研究の結果から、逆接の談話関係認識における BERT の予測根拠が完全に明らかになった訳ではない。したがって、今後の課題として、BERT の Attention が強く向いている先のトークンとの距離や、品詞以外の言語的情報と Attention の関係について分析を行うことで、Transformer ベースの言語モデルが逆接のような複雑な意味関係をいかなる仕方で捉えているかをさらに調査することなどが挙げられる。本研究が、言語モデルや人間の意味理解について、自然言語処理・計算言語学からのアプローチとして有意味な一部分となることを期待する。

## 謝辞

本研究は、JST CREST、JP-MJCR2114 の支援を受

けたものである。

## 参考文献

[1] Yang Liu, Sujian Li, Xiaodong Zhang, and Zhifang Sui. Implicit discourse relation classification via Multi-Task neural networks. AAAI, Vol. 30, No. 1, 2016.

[2] Katherine Atwell, Junyi Jessy Li, and Malihe Alikhani. Where are we in discourse relation recognition? In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 314325. Association for Computational Linguistics, 2021.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[4] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286. Association for Computational Linguistics, 2019.

[5] Anna Rogers, Olga Kovaleva, and Anna Rumshisky. A Primer in BERTology: What We Know About How BERT Works. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 842-866, 2020.

[6] 岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語談話関係解析：タスク設計・談話標識の自動認識・コー パスアノテーション. 自然言語処理, Vol. 27, No. 4, pp. 889-931, 2020.

[7] 金子貴美. 日本語談話関係認識のための理論とコー パス構築. PhD thesis, お茶の水女子大学大学院人間文化創成科学研究科理学専攻, 2020 .

[8] Wei Xiang and Bang Wang. A survey of implicit discourse relation recognition. ACM Comput. Surv., Vol. 55, No. 12, 2023.

[9] 窪田愛, 佐藤拓真, 天本貴之, 秋吉亮太, 峯島宏次. 逆接の推論関係に着目した日本語談話関係アノテー ション. 言語処理学会第 29 回年次大会発表論文集, pp. 375-380, 2023.

[10] Haiyan Zhao, Hanjie Chen, Fan Yang, Ninghao Liu, Huiqi Deng, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, and Mengnan Du. Explainability for large language models: A survey. 2023.

[11] Andrea Galassi, Marco Lippi, and Paolo Torroni. Attention in natural language processing. IEEE Transactions on Neural Networks and Learning Systems, Vol. 32, No. 10, p. 4291-4308, 2021.

[12] Xiaobing Sun and Wei Lu. Understanding attention for text classification. In Proceedings of the 58th Annual Meeting of the Association for Computational Lin- guistics, pp. 3418-3428. Association for Computational Linguistics, 2020.

[13] Jesse Vig and Yonatan Belinkov. Analyzing the structure of attention in a transformer language model. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 63-76. Association for Computational Linguistics, 2019.

[14] Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601. Association for Computational Linguistics, 2019.

[15] Phu Mon Htut, Jason Phang, Shikha Bordia, and Samuel R. Bowman. Do attention heads in BERT track syntactic dependencies? CoRR, Vol. abs/1911.12246, , 2019.

[16] The Kainoki Treebank - a parsed corpus of contemporary Japanese,（2022年 1 月 9 日閲覧）. https://kainoki. github.io.

[17] Yudai Kishimoto, Yugo Murawaki, and Sadao Kurohashi. Adapting BERT to implicit discourse relation classification with a focus on discourse connectives. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1152-1158. European Language Resources Association, 2020.

## 付録 (Appendix)

表 A: 談話関係ラベルと例文

 &  \\

表 B: ハイパーパラメータ


# 神経科学に着想を得たシナプス刈り込みによる 大規模言語モデルの原理解明

原田宥都前田ありさ 森田早織 大関洋平
東京大学
\{harada-yuto,alyssa-maeda,msaori6012, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

言語モデルが大規模化し、高度な言語能力を獲得していくにつれ、モデルの内部処理は更にブラックボックス化している。これに対して近年の言語モデルの説明性は、内部情報を直接取得し解釈するというよりはむしろ、入力プロンプトに対するモデルの振る舞いをもって担保する傾向にある。そこで本研究では、大規模言語モデルの新たな説明手法としてプルーニングを利用した方法を提案する。意図的にモデルを損傷させ、その振る舞いの変化を定量的に評価することで、モデルの内部処理についての示唆を得ることを目的とする。実験の結果、モデルをプルーニングする際には、対象とするレイヤーによってベンチマークでの性能に影響が出るかどうかが異なる可能性が示唆された。

## 1 はじめに

近年の大規模言語モデルは高度な言語理解能力を実現しているが、その仕組みには人間の脳との相違点が多く存在する。例えば、ニューロン同士のネットワークの発達過程に着目すると、脳においてシナプスの形成ペースが変化していくことが知られている [1]。そのペースは脳の領域ごとに異なるが、出生直後からある一定の時期までは非常に密なシナプス形成が行われ、その後に不要なシナプスだけが大幅に減少する。この動的なネットワークの形成により、機能的な神経回路が完成していく。この過程は「シナプス刈り込み (Synapse elimination, Synaptic pruning)」と呼ばれ、生後発達期の神経系で普遍的に起こる重要な現象であり、効率的な神経回路を形成するための基本的な過程であるとされている [2]。 また、一部の精神神経疾患の原因として発達期の異常なシナプス刈り込みが関連しているということも指摘されており [3]、脳機能におけるシナプス刈り込みは普遍的で重要な要素であるようである。

一方、機械学習の研究においても、プルーニング (刈り込み) という技術があり、こちらは量子化 (Quantize) や蒸留 (Distillation) などと並んでモデルを軽量化することを目的とした手法の代表的なものである。プルーニングは自然言語処理モデルにおいても有効であり、現在盛んに研究されている大規模言語モデルにおいても様々なアルゴリズムを通じて適用可能である [4]。機械学習におけるプルーニングは、脳機能におけるシナプス刈り込みとは異なる形ではあるが、自然言語処理技術の発展に貢献する重要な技術である。

本研究では、本来モデルを軽量化するための工学的手法であるプルーニングを、モデルの説明手法として利用する方法を提案する。これは、脳においてシナプス刈り込みの異常 (過剩や不足) が一部の精神疾患の原因となっている可能性があることに着想を得ており、言語モデルを意図的にプルーニングによって部分的に損傷させることで、モデルの振る舞いの変化を評価するものである。手法としては神経科学における脳の損傷研究 (Lesion Studies) [5] のアナロジーとして捉えることができ、損傷研究とは特定の脳部位や機能に損傷を受けた場合の対象の振る舞い (Behavior) の変化を観察することでその関係性を明らかにしようとする方法論である。

本稿では、脳機能と機械学習における 2 つの「刈り込み」について整理したのち、既存のモデルの説明手法を分類しつつ紹介し、その後、プルーニングを用いて部分的に損傷した状態の大規模言語モデルの評価実験を行う。実験の結果、プルーニングによって起こるモデルの性能低下は特に中間層以下で顕著であり、評価タスクによって低下の度合いが異なることがわかった。これらの結果は大規模言語モデルの内部でどのような処理が行われているかについて新たな示唆をもたらす。

## 2 関連研究

## 2.1 脳機能におけるシナプス刘り込み

ニューロン同士の情報伝達を担うシナプスは、出生直後からある程度の期間、過剩に形成されることが知られる。シナプスの数は人間の場合、大脳皮質視覚野では 6 から 8 ヶ月の間で最大になり、前頭前野等の領域などでは 3 年を経て最大になるなど、領域によってそのペースは異なるものの、出生時に対しておおよそ 10 倍程度の数になる [6]。最大数に達したシナプスはその後不要なものから除去され、大幅な減少に転じ、最終的に最大数の半数程度に落ち着く。この過程はシナプス刈り込みと呼ばれ、神経系の発生過程において広く見られる現象であることから、脳の神経回路網の形成に重要な役割を果たしていると考えられている。ただし、不必要なシナプスがどのような単位で選択され、削除が起きるのかは現在も研究がなされている。

発達段階でのシナプス刈り込みの異常は自閉スペクトラム症や統合失調症といった社会性障害をきたす代表的な疾患の病因の一つと見られており [3] シナプス刈り込みが正常に機能しなかった場合、発達過程において精神神経疾患として問題をきたしてしまうことが指摘されている。このような脳における神経回路網の形成過程は、明示的には、学習の完了までパラメータ数が一定である深層学習モデルとは異なっている。ただし、機械学習におけるプルー ニング技術は、不要な重みをネットワークから削除した上で再学習を行い、モデルのサイズを小さくするという点で、脳機能におけるシナプス刈り込みと対応する。

## 2.2 機械学習におけるプルーニング

効率的な神経回路網を形成するためのシナプス刈り込みというアイデアは、1980 年代後半の初期のニューラルネットワーク研究にも応用された。これらは現在の機械学習におけるプルーニング技術の源流となる研究であり、Optimal Brain Damage[7]を始めとして、様々な手法が検討されている $[8,9,10,11]$ 。当時からモデルの軽量化を目的とした手法であり、あるいはその軽量化によるニューラルネットワークの解釈性の向上 [9] を目指した面もあった。その後深層学習モデルの台頭により、2000 年台に再び関心が集まった [12]。
プルーニングには、まず、不要な重みを選択するための刈り込みプロセスがあり、その次に再学習によって精度を回復するプロセスがある [13]。必要に応てこの一連のプロセスを繰り返し、モデルのサイズを軽量化することができる。不要な重みの選択にはニューロン単位やレイヤー単位など様々な単位があり、また刈り込みの基準としても重みのノルムから大きさを見て判定する単純なアルゴリズムから、タスクへの寄与度を計算して不要な重みを選定するアルゴリズムなど、複数の手法が存在する。

機械学習におけるプルーニングはモデルの軽量化を目的とした工学的な手法であるが、本研究ではプルーニングによってモデルを意図的な単位で過剰に損傷し、その際のモデルの振る舞いの変化を評価夕スクを通じて定量的に観察することを目的とする。

## 2.3 自然言語処理モデルの解釈性

深層学習モデルの台頭と共に、そのモデル内部のブラックボックス性が問題となった。モデルが学習する膨大な数のパラメータは人間にとって直感的に理解できる形式ではないため、様々な方法でモデルの説明性を担保するための手法が開発されてきた。 それらの手法は、モデルの個々の入出力において局所的に説明するローカルなものと、モデル全体の内部構造を説明するためのグローバルなものに分けて整理することができる [14]。

例えば、ローカルな手法としては、BERT[15] のような Masked Language Model が主な対象だったときには、Attention に基づいた可視化手法 [16] や、 Feature Attributionを利用した勾配べースの判断根拠の可視化 [17]、Adversarial Example を利用した Example ベースの手法 [18] などが利用されてきた。 グローバルな手法としては、モデルの埋め込みを利用したプロービングタスクなどが存在する。BERT においては、プロービングタスクを利用した分析によって、レイヤーごとに保持している情報が異なることが指摘されている [19]。

ただし、これらの従来手法は近年のよりスケールアップした大規模言語モデルに対してはあまり適切でないことが指摘されている [14]。近年のモデルでは高度な推論能力が示されており、局所的な例を利用した説明はあまり本質的な説明にはならず、また、計算負荷の高い説明手法は大規模なモデルに対して適用が難しい。その他にも、高度な文章生成の仕組みや、Hallucination を起こす仕組み、高度な推

表 1 評価実験の結果の概要。太字はそのプルーニング割合における最も高いパフォーマンス。

論能力を引き出すためのより良い方法など、従来とは解明したい内容も異なってきているという背景がある。そのため、このような大規模言語モデルに対しては、現在、主により入力プロンプトを重視した説明性の担保が試みられている。例えば、出力結果に大きな影響を与えるような入力トークンをスコアで評価する技術などがある [20]。

このように、モデルがより大規模になり、高度な言語能力を獲得するにつれて、その仕組みを理解するための手法は、モデル内部の情報に直接アクセスするというよりはむしろモデルの入力と出力（振る舞い）へ着目する向きが強くなっている。このような潮流を考慮し、本研究では、これまでは複雑な研究対象である脳に対して行われてきた損傷研究 (Lesion Studies) を参考にして、プルーニング技術を用いた言語モデルの説明手法を検討する。

## 3 実験

## 3.1 実験の目的

本稿では、プルーニングを用いた大規模言語モデルの検証のための最初の簡易的な実験を行う。 BERT を対象とした先行研究 [19] ではレイヤーごとに保持している情報が異なる可能性が指摘されていることを踏まえ、更に大規模なモデルにおいても、 レイヤーごとに処理している情報の種類が異なることを仮定する。異なるレイヤーをプルーニングで損傷した際のモデルの振る舞いの変化を、既存のベンチマークを利用して評価する。

## 3.2 実験設定

実験に用いるモデルとしては、Llama2[21]をべー スに日本語による追加事前学習を行ったモデルである、ELYZA-japanese-Llama-2-7b-instruct[22]を使用する。また、プルーニングのためのツールとしては、LLM-pruner[4] を用いた。ニューロン単位の構造的プルーニングを行い、重み削除の基準としては単純な L1ノルムを参照した。また、MLPレイヤと
Attention レイヤの両方の重みを削除の対象としている。モデルは全体で 32 層あり、そのうち 5 層の重みに対してプルーニングを行う。浅い層 (1-3 層) と最も深い層 (32 層)へのプルーニングはモデルの性能を著しく低下させることが知られている [4] ため、削除対象のレイヤは 4-8 層、10-14 層、14-18 層、 20-24 層、24-28 層の 5 通りとした。また、それぞれの設定において、モデル全体のパラメータの $0.5 \%$ を

場合とがある。

## 3.3 評価データ

ベンチマークとしては、llm-jp-eval ${ }^{11}$ を用いた。タスクとしてはJNLI(自然言語推論)、JSTS(文ぺアの意味的類似度の判定)、JCommonsenseQA(5 択での QA) の 3 つを採用した。プルーニング後のモデルは出力を途中で止めることができなくなるケースが散見され、実験時間が大幅に増えてしまうため、すべての実験設定で最大出力系列長を 30 に設定した。その他の設定については、全て 1lm-jp-eval のデフォルトの値を利用している。

JNLI Japanese Natural Language Inference(JNLI) は、 2 つの文のペア (前提・仮説) が与えられたときに、前提の文が仮説の文に対してどのような推論関係を持つかを回答するタスクである。回答となる推論関係には「含意 (entailment)」「矛盾 (contradiction)」「中立 (neutral)」の 3 つの値がある。

JSTS Japanese Semantic Textual Similarity(JSTS) は、与えられた 2 つの文のペアに対して、意味的な類似度を推定し付与するタスクである。正解の類似度は、 0 (意味が完全に異なる) 5 (意味が等価) の間の値として付与されており、正解の類似度とどの程度同様の推定を行えるかを測る。

JCommonsenseQA JCommonsenseQAは、モデルの常識推論能力を評価するための 5 択 $\mathrm{QA}$ 問題である。自由回答でないため、回答は 1 から 5 までの数字で行う。

## 4 結果

評価実験の結果を表 1 にまとめた。JNLI は exact match でスコアが算出されており、JSTS については Pearson 相関係数でスコアが算出されている。まず、プルーニングの割合については、モデル全体の

た際は、ほとんどの設定でオリジナルモデルとの性

ルーニングした際には、全てのタスクで性能が低下する傾向があることがわかる。3つのタスクにおいて、性能が大きく低下しているケースとあまり影響がないケースが見られるが、性能が低下している場合では、どのタスクにおいても、few-shot で与えた問題例の回答をそのまま繰り返したり、few-shot で与えた問題の例の中にある単語を無意味な回答として提示するような挙動がほとんどであった。少なくとも、与えられた例に従って個々の問題に取り組むことはできなくなるようである。ただし、2.0\%のプルーニングにおいても、JNLI と JCommonsenseQA においては、20-24 層、24-28 層という比較的深い層のプルーニングではほとんど影響がなかった。このことは、同じ数のパラメータの削除を行ったとしても、どの層に対してプルーニングの操作を行なうかによってモデルへの影響が異なる可能性を示している。また、タスクによるプルーニングの影響の差を見ると、JSTS においてのみ、深い層のプルーニングをした際にも大幅な性能低下が起きている。出力を確認すると、この場合の性能低下も他のケースと似ており、事前に与えたプロンプトでの例の回答をただ繰り返してしまっている(ほとんどの問題に対して直前に見た例の回答である類似度の数値を回答してしまっている)。このような結果から、 3 種類実施したいずれのタスクにおいても同様の理由による性能の低下が見られ、それぞれのべンチマークで本来調べたい能力 (常識的な知識や、文章の類似度を測る能力) が低下しているというわけではないようだった。

## 5 今後の課題

今回の実験では、 32 層のモデルを 5 層ずつに区切り一部をプルーニングすることでモデルを損傷させたが、特にモデル全体のパラメータのうち $2.0 \%$ をプルーニングする実験の際に、レイヤーによって損傷の影響が異なる可能性が示された。その場合、
20-24 層や 24-28 層などの深い層は、今回のタスクで正解するためにあまり影響していないといえ、このことはさらに多くのベンチマークによってモデルの性能を評価することで、より深く調査することができる。今回は小規模な 3 つのベンチマークのみを採用したが、今後はより多くのベンチマークでの実験を行っていきたい。

また、プルーニングによってモデルの性能が低下したケースでは、タスクの種類に関わらず、入力プロンプトの意図を適切に処理出来ず、few-shot として与えられた回答の例をたた繰り返してしまう、つまりほとんどの問題で同じ回答を繰り返してしまうことにより性能が大幅に低下していることがわかった。このことは、比較的浅い層が入力プロンプトの意図の理解に関連している可能性を示唆しているものの、どのタスクにおいても同様の振る舞いを行なっているため、タスクごとで異なる振る舞いを見ることはできなかった。今後は、プルーニング対象の重みを選定するアルゴリズムの変更しつつ、プルーニングの割合を更に調整することによって、タスクが本来求めている能力 (知識や推論の能力など) がモデルの損傷によりどれくらい失われたのかを調べられるようにしたい。

## 6 おわりに

本稿では、脳機能におけるシナプス刈り込みと機械学習におけるプルーニング技術について類似点と相違点を整理し、シナプス刈り込みにアイデアを得ているプルーニングを用いて、大規模言語モデルの意図的な損傷を行い、振る舞いの変化を定量的に評価した。プルーニングを利用した言語モデルの調査は近年の大規模な言語モデルに対する新たな説明的手法となりうるもので、実験の結果、レイヤーごとに性能低下の影響が異なること可能性が示された。 ただし、複数のタスクにおいて同様の理由による性能低下を起こしているため、より深くモデルへの影響を調査するためには、手法の改善が必要である。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Hua JY and Smith SJ. Neural activity and the dynamics of central nervous system development. Nat Neurosci., 2004.

[2] 渡邊貴樹, 上阪直史, 狩野方伸. 生後発達期の小脳におけるシナプス刈り込みのメカニズム. Journal of Japanese Biochemical Society, Vol. 88, No. 5, pp. 621-629, 2016.

[3] Peter Penzes, Michael E Cahill, Kelly A Jones, Jon-Eric VanLeeuwen, and Kevin M Woolfrey. Dendritic spine pathology in neuropsychiatric disorders. Nature neuroscience, Vol. 14, No. 3, pp. 285-293, 2011.

[4] Xinyin Ma, Gongfan Fang, and Xinchao Wang. Llmpruner: On the structural pruning of large language models. arXiv preprint arXiv:2305.11627, 2023.

[5] Avinash R Vaidya, Maia S Pujara, Michael Petrides, Elisabeth A Murray, and Lesley K Fellows. Lesion studies in contemporary neuroscience. Trends in cognitive sciences, Vol. 23, No. 8, pp. 653-671, 2019.

[6] Christopher A Walsh. Peter huttenlocher (1931-2013). Nature, Vol. 502, No. 7470, pp. 172-172, 2013.

[7] Yann LeCun, John Denker, and Sara Solla. Optimal brain damage. Advances in neural information processing systems, Vol. 2, 1989.

[8] Steven A Janowsky. Pruning versus clipping in neural networks. Physical Review A, Vol. 39, No. 12, p. 6600, 1989.

[9] Michael C Mozer and Paul Smolensky. Skeletonization: A technique for trimming the fat from a network via relevance assessment. Advances in neural information processing systems, Vol. 1, , 1988.

[10] MICHAEL C. MOZER and PAUL SMOLENSKY. Using relevance to reduce network size automatically. Connection Science, Vol. 1, No. 1, pp. 3-16, 1989.

[11] Ehud D Karnin. A simple procedure for pruning backpropagation trained neural networks. IEEE transactions on neural networks, Vol. 1, No. 2, pp. 239-242, 1990.

[12] Davis Blalock, Jose Javier Gonzalez Ortiz, Jonathan Frankle, and John Guttag. What is the state of neural network pruning? Proceedings of machine learning and systems, Vol. 2, pp. 129-146, 2020.

[13] Song Han, Jeff Pool, John Tran, and William Dally. Learning both weights and connections for efficient neural network. Advances in neural information processing systems, Vol. 28, 2015.

[14] Haiyan Zhao, Hanjie Chen, Fan Yang, Ninghao Liu, Huiqi Deng, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, and Mengnan Du. Explainability for large language models: A survey. ACM Transactions on Intelligent Systems and Technology, 2023.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[16] Jesse Vig. Bertviz: A tool for visualizing multihead selfattention in the bert model. In ICLR workshop: Debugging machine learning models, Vol. 23, 2019.
[17] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In International conference on machine learning, pp. 33193328. PMLR, 2017.

[18] Di Jin, Zhijing Jin, Joey Tianyi Zhou, and Peter Szolovits. Is bert really robust? natural language attack on text classification and entailment. arXiv preprint arXiv:1907.11932, Vol. 2, p. 10, 2019.

[19] Ian Tenney, Dipanjan Das, and Ellie Pavlick. Bert rediscovers the classical nlp pipeline. arXiv preprint arXiv:1905.05950, 2019.

[20] Skyler Wu, Eric Meng Shen, Charumathi Badrinath, Jiaqi Ma, and Himabindu Lakkaraju. Analyzing chainof-thought prompting in large language models via gradient-based feature attributions. arXiv preprint arXiv:2307.13339, 2023.

[21] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[22] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-llama-2-7b, 2023.